Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 3 additions & 1 deletion plugins/ndf/contracts/limits.json
Original file line number Diff line number Diff line change
Expand Up @@ -145,7 +145,9 @@
"relay.signal-lock": {"summary": "シグナルファイル(次のセグメントのマーカー・質問)の排他を待つ上限。hook の締め切りの中に収める", "seconds": 0.3},
"relay.auth-hold": {"summary": "認証の失敗で、そのアカウントを替え先と指定の候補から外す秒(#3864)", "seconds": 3600},
"relay.limit-unknown": {"summary": "上限の行を見たアカウントの使用率の記録に有効な窓が無いとき、上限として扱う秒(5 時間の窓の長さ)", "seconds": 18000},
"relay.usage-guard": {"summary": "利用上限の前にカットポイントでアカウントを替える使用率(百分率。#3336)", "count": 90},
"relay.five-hour-guard": {"summary": "閾値 A。5 時間の窓の使用率がこれ以上のアカウントを使い切りの組に入れ、見回りで替える(百分率。#3864 の決定 5)", "count": 85},
"relay.weekly-prefer": {"summary": "閾値 B。7 日の窓の使用率がこれより下のアカウントを余裕の組に入れる。カットポイントと替え先の選び方だけに効く(百分率)", "count": 70},
"relay.weekly-guard": {"summary": "閾値 C。7 日の窓の使用率がこれ以上のアカウントを使い切りの組に入れ、見回りで替える(百分率)", "count": 90},
"relay.transcript-tail": {"summary": "ラッパーが文脈の量を読む会話の記録の末尾の大きさ(バイト)", "count": 262144},
"relay.context": {"summary": "中継の下のセッションを次のセグメントへ切り替える文脈の量(token。#2595)", "count": 800000},
"release-steps.head-moved": {"summary": "HEAD が動いたときに比べ直して入れ直す回数(最初の 1 回を含む)", "attempts": 4},
Expand Down
193 changes: 150 additions & 43 deletions plugins/ndf/src/ndf/domains/relay/account_decide.py
Original file line number Diff line number Diff line change
@@ -1,67 +1,174 @@
"""アカウントを替えるかの判断(#3336・#3337)。時計とファイルを読まない純粋な関数。

- 利用上限の前(#3336): カットポイント(子が次のセグメントのマーカーを書いた時点)で、今のアカウントの使用率が閾値以上で、
閾値より下のアカウントがあれば、そのアカウントで次のセグメントを始める。下のアカウントが無ければ替えない
- 利用上限の後(#3337): 上限に当たったら、背景の待ち(`wait`・`merge-when-green` など)が残っていても替える。
背景の待ちは会話の記録に残り、`--resume` した先のセッションが受け取るので、替えない理由にしない
- 替える先が無ければ `wait_reset` を返し、呼ぶ側はリセットの後に同じアカウントで再起動する(止まったまま残さない)
"""アカウントを替えるかの判断(#3336・#3337・#3864 の決定 5・11)。時計とファイルを読まない純粋な関数。

- 選ぶ順の組: 0 余裕の組(5 時間が閾値 A より下か窓が無く、7 日が閾値 B より下か窓が無い)・1 使用率の分からないもの・
2 B 越えの組(5 時間が A より下か窓が無く、7 日が B 以上 C より下)・3 使い切りの組(5 時間が A 以上か 7 日が C 以上)。
上限のものはどの組にも入れない。並びは組の番号 → 7 日の窓のリセットの早い順 → 7 日の使用率の大きい順 → 名前の順
- カットポイント(`before_limit`): 今の組より番号の小さい組の候補があれば替える(同じ組なら替えない。切り替えの余裕)
- 見回り(`guard`): 今が使い切りの組で、閾値の内側(組 0〜2)の候補があれば替える(I12)
- 上限の後(`after_limit`): 背景の待ちが残っていても替える。替え先は使い切りの組も入れ、無ければ従量の接続、それも
無ければ `wait_reset`。上限が解けた今のアカウントが最良の候補より悪い組でなければ同じアカウントで再開する
- 認証の失敗の後(`after_auth`): 順の先頭、無ければ従量の接続、それも無ければ `stalled`

`candidates` は呼ぶ側が渡す起動できる登録済みアカウントの名前で、判断の関数は候補の外の名前を返さない。
"""

from __future__ import annotations

import math
from typing import NamedTuple, Optional

from ndf.domains.relay.account_registry import METERED

KEY_PREFIX = "key:" # API キーの子の起動先の名前(`key:<キーの名前>`)
LIMITED = 4 # 今のアカウントが上限のときに比べる組の番号
GROUP_NAMES = ("余裕の組", "使用率の分からないもの", "B 越えの組", "使い切りの組", "上限")


class Usage(NamedTuple):
"""アカウント 1 つの使用率(5 時間と週のクォータの大きいほうの百分率)と、上限に当たっているか。"""
"""アカウント 1 つの使用率。`percent` は窓の最大(一覧の表示)、`five`・`seven` は窓ごと(窓が無ければ None)。

`percent` が None の行は、使用率は分からないが上限のもの(`limited` が真)だけである。
"""

name: str
percent: float
percent: Optional[float]
five: Optional[float]
seven: Optional[float]
seven_resets_at: Optional[float]
limited: bool


class Guards(NamedTuple):
"""閾値 A・B・C(`relay.five-hour-guard`・`relay.weekly-prefer`・`relay.weekly-guard`)。"""

five: float
prefer: float
seven: float


class Pick(NamedTuple):
"""`kind` は `keep`(替えない)・`switch`(`account` へ替える)・`wait_reset`(替える先が無い)。"""
"""`kind` は `keep`(替えない)・`switch`(`account` へ替える)・`wait_reset`(替える先が無い)・
`stalled`(認証の失敗で替える先が無い)。"""

kind: str
account: Optional[str]
reason: str


def _best(current: Optional[str], rows: list[Usage], below: float) -> Optional[Usage]:
"""今のアカウントを除き、上限に当たっておらず使用率が `below` より下で、最も空いているもの。"""
usable = [u for u in rows if u.name != current and not u.limited and u.percent < below]
return min(usable, key=lambda u: (u.percent, u.name)) if usable else None
def metered(name: Optional[str]) -> bool:
"""従量の接続(`metered`・`key:<名前>`)の起動先か。"""
return name is not None and (name == METERED or name.startswith(KEY_PREFIX))


def group(u: Optional[Usage], g: Guards) -> Optional[int]:
"""選ぶ順の組の番号。上限のものは None。"""
if u is None:
return 1
if u.limited:
return None
if (u.five is not None and u.five >= g.five) or (u.seven is not None and u.seven >= g.seven):
return 3
return 0 if u.seven is None or u.seven < g.prefer else 2


def order(exclude: Optional[str], rows: list[Usage], candidates: list[str], g: Guards) -> list[str]:
"""`candidates` から `exclude` と上限のものを除き、選ぶ順に並べた名前。"""
by = {u.name: u for u in rows}
keyed = []
for name in dict.fromkeys(candidates):
u = by.get(name)
n = group(u, g)
if name == exclude or n is None:
continue
resets = u.seven_resets_at if u is not None and u.seven_resets_at is not None else math.inf # 分からないものは後
seven = -u.seven if u is not None and u.seven is not None else math.inf
keyed.append(((n, resets, seven, name), name))
return [name for _, name in sorted(keyed)]


def _group_of(name: str, rows: list[Usage], g: Guards) -> int:
n = group(next((u for u in rows if u.name == name), None), g)
return LIMITED if n is None else n

def before_limit(current: Optional[str], rows: list[Usage], threshold: float) -> Pick:
"""カットポイントで、上限に当たる前に替えるか(#3336)。"""

def _state(name: str, u: Usage, g: Guards) -> str:
"""今のアカウントの組と、組を決めた窓と閾値(名で書く)。"""
if u.limited:
return f"{name} が上限"
if u.five is not None and u.five >= g.five:
return f"{name} の 5 時間 {u.five:g}% が閾値 A {g.five:g}% 以上"
if u.seven is not None and u.seven >= g.seven:
return f"{name} の 7 日 {u.seven:g}% が閾値 C {g.seven:g}% 以上"
if u.seven is not None and u.seven >= g.prefer:
return f"{name} の 7 日 {u.seven:g}% が閾値 B {g.prefer:g}% 以上(B 越えの組)"
return f"{name} は余裕の組"


def _to(name: str, rows: list[Usage], g: Guards) -> str:
return f"{name}({GROUP_NAMES[_group_of(name, rows, g)]})"


def _back(current: str, ranked: list[str], rows: list[Usage], g: Guards) -> Pick:
"""従量の接続から登録済みアカウントへ戻る。候補が無ければそのまま。"""
if not ranked:
return Pick("keep", current, f"{current}(従量の接続)から戻れる登録済みアカウントが無い")
return Pick("switch", ranked[0], f"{current}(従量の接続)から {_to(ranked[0], rows, g)} へ戻る")


def before_limit(current: Optional[str], rows: list[Usage], candidates: list[str], g: Guards) -> Pick:
"""カットポイントで、上限に当たる前に替えるか(決定 5)。"""
ranked = order(current, rows, candidates, g)
if metered(current):
return _back(str(current), ranked, rows, g)
now = next((u for u in rows if u.name == current), None)
if now is None:
return Pick("keep", current, "今のアカウントの使用率が分からない(センサーの記録が無い)")
if now.percent < threshold and not now.limited:
return Pick("keep", current, f"{current} の使用率 {now.percent:g}% は閾値 {threshold:g}% より下")
best = _best(current, rows, threshold)
if best is None:
return Pick("keep", current, f"{current} は {now.percent:g}% だが、閾値より空いたアカウントが無い")
return Pick(
"switch", best.name, f"{current} の使用率 {now.percent:g}% が閾値 {threshold:g}% 以上。{best.name}({best.percent:g}%)へ替える"
)


def after_limit(current: Optional[str], rows: list[Usage]) -> Pick:
"""上限に当たった後に替えるか(#3337)。背景の待ちが残っていても替える。

今のアカウントの上限が解けていれば(リセットの後)、同じアカウントで再開する。
"""
if current is None or now is None:
return Pick("keep", current, "既定のログインか、今のアカウントの使用率が分からない(見回りと上限の後に任せる)")
mine = _group_of(current, rows, g)
if not ranked or _group_of(ranked[0], rows, g) >= mine:
return Pick("keep", current, f"{_state(current, now, g)}。より前の組の候補が無いので替えない")
return Pick("switch", ranked[0], f"{_state(current, now, g)}。{_to(ranked[0], rows, g)} へ替える")


def guard(current: Optional[str], rows: list[Usage], candidates: list[str], g: Guards) -> Pick:
"""見回りで、今のアカウントが使い切りの組なら閾値の内側の候補へ替えるか(決定 11・I12)。"""
ranked = order(current, rows, candidates, g)
if metered(current):
return _back(str(current), ranked, rows, g)
now = next((u for u in rows if u.name == current), None)
if current is None or now is None or group(now, g) != 3:
return Pick("keep", current, "今のアカウントは使い切りの組に無いか、使用率が分からない")
if not ranked or _group_of(ranked[0], rows, g) > 2:
return Pick("keep", current, f"{_state(current, now, g)}。閾値の内側の候補が無いので使い切る")
return Pick("switch", ranked[0], f"{_state(current, now, g)}。{_to(ranked[0], rows, g)} へ替える")


def _fallback(current: Optional[str], fallbacks: list[str]) -> Optional[str]:
return next((f for f in fallbacks if f != current), None)


def after_limit(current: Optional[str], rows: list[Usage], candidates: list[str], fallbacks: list[str], g: Guards) -> Pick:
"""上限に当たった後に替えるか(#3337・決定 8)。背景の待ちが残っていても替える。"""
ranked = order(current, rows, candidates, g)
now = next((u for u in rows if u.name == current), None)
if now is not None and not now.limited:
return Pick("switch", current, f"{current} の上限が解けた。同じアカウントで再開する")
best = _best(current, rows, 100.0)
if best is None:
return Pick("wait_reset", current, f"{current} が上限に当たり、替える先が無い。リセットの後に同じアカウントで再開する")
return Pick(
"switch",
best.name,
f"{current} が上限に当たった。{best.name}({best.percent:g}%)で再開する。背景の待ちは再開した先のセッションが受け取る",
)
if current in candidates and now is not None and not now.limited:
if not ranked or _group_of(current, rows, g) <= _group_of(ranked[0], rows, g):
return Pick("switch", current, f"{current} の上限が解けた。同じアカウントで再開する")
if ranked:
return Pick(
"switch", ranked[0], f"{current} が上限に当たった。{_to(ranked[0], rows, g)} で再開する。背景の待ちは再開した先が受け取る"
)
nxt = _fallback(current, fallbacks)
if nxt is not None:
return Pick("switch", nxt, f"{current} が上限に当たり、登録済みの替え先が無い。従量の接続 {nxt} で再開する")
return Pick("wait_reset", current, f"{current} が上限に当たり、替える先が無い。リセットの後に同じアカウントで再開する")


def after_auth(current: Optional[str], rows: list[Usage], candidates: list[str], fallbacks: list[str], g: Guards) -> Pick:
"""認証の失敗の後の替え先(決定 6)。"""
ranked = order(current, rows, candidates, g)
if ranked:
return Pick("switch", ranked[0], f"{current} の認証に失敗した。{_to(ranked[0], rows, g)} で再開する")
nxt = _fallback(current, fallbacks)
if nxt is not None:
return Pick("switch", nxt, f"{current} の認証に失敗し、登録済みの替え先が無い。従量の接続 {nxt} で再開する")
return Pick("stalled", current, f"{current} の認証に失敗し、替える先が無い")
34 changes: 28 additions & 6 deletions plugins/ndf/src/ndf/domains/relay/accounts.py
Original file line number Diff line number Diff line change
Expand Up @@ -221,14 +221,30 @@ def usages(
w = seen[name]
if not w:
if name in limited:
rows.append(account_decide.Usage(name, None, True)) # type: ignore[arg-type] # 型の変更は U6
rows.append(account_decide.Usage(name, None, None, None, None, True))
continue
percent = max(p if r > now else 0.0 for p, r in w.values())
full = any(p >= FULL for p, r in w.values() if r > now)
rows.append(account_decide.Usage(name, percent, full or name in limited))
rows.append(_windowed(name, w, now, name in limited))
return rows


def _windowed(name: str, w: Windows, now: float, seen_limit: bool) -> account_decide.Usage:
"""窓ごとの値の行。過ぎた窓は 0% で、7 日の窓が過ぎていればそのリセットの時刻は分からない(None)。

7 日の使用率は `seven_day` と、モデル別のスロットのうち過ぎていないものの最大の、大きいほう。
"""

def live(k: str) -> Optional[float]:
return None if k not in w else (w[k][0] if w[k][1] > now else 0.0)

scoped = [p for k, (p, r) in w.items() if k.startswith(f"{SCOPED}/") and r > now]
weekly = [v for v in (live("seven_day"), *scoped) if v is not None]
seven = max(weekly) if weekly else None
resets = w["seven_day"][1] if "seven_day" in w and w["seven_day"][1] > now else None
percent = max(p if r > now else 0.0 for p, r in w.values())
full = any(p >= FULL for p, r in w.values() if r > now)
return account_decide.Usage(name, percent, live("five_hour"), seven, resets, full or seen_limit)


def _legacy_usages(state_dir: Path) -> list[account_decide.Usage]:
path = usage_path(state_dir)
if not path.is_file():
Expand All @@ -244,9 +260,15 @@ def _legacy_usages(state_dir: Path) -> list[account_decide.Usage]:


def _usage(row: Any, path: Path) -> account_decide.Usage:
"""旧い 1 つのキャッシュの行。窓ごとの値(`five`・`seven`)を持たない従来の形の行は、窓の最大の `percent` を
5 時間と 7 日の両方の値として読む(従来の `percent` と閾値の比べ方を保つ)。"""
try:
return account_decide.Usage(name=str(row["name"]), percent=float(row["percent"]), limited=bool(row["limited"]))
except (KeyError, TypeError, ValueError) as exc:
opt = {k: None if row.get(k) is None else float(row[k]) for k in ("five", "seven", "seven_resets_at")}
Comment thread
takemi-ohama marked this conversation as resolved.
Resolved
percent = float(row["percent"])
if "five" not in row and "seven" not in row:
opt["five"] = opt["seven"] = percent
return account_decide.Usage(name=str(row["name"]), percent=percent, limited=bool(row["limited"]), **opt)
except (AttributeError, KeyError, TypeError, ValueError) as exc:
raise AccountError(f"使用率のキャッシュの行の形が違う({path}): {row!r}") from exc


Expand Down
6 changes: 5 additions & 1 deletion plugins/ndf/src/ndf/domains/relay/cli.py
Original file line number Diff line number Diff line change
Expand Up @@ -284,7 +284,11 @@ def wrapper_settings(name: str, rest: list[str], parsed: Optional[claude_args.Pa
stall=limits.seconds("relay.stall"),
spin=hub.spin_of(environ),
context_limit=int(limits.value("relay.context", "count")),
usage_threshold=limits.value("relay.usage-guard", "count"),
guards=account_decide.Guards(
limits.value("relay.five-hour-guard", "count"),
limits.value("relay.weekly-prefer", "count"),
limits.value("relay.weekly-guard", "count"),
),
transcript_bytes=int(limits.value("relay.transcript-tail", "count")),
ask_plan=lane_question.plan_asker(environ, name, cwd, ident.root, limits.seconds("relay.lanes-ask")),
update=updater,
Expand Down
Loading