From 8ab3d48f872792d0319c309a8970efb18c65fbf5 Mon Sep 17 00:00:00 2001 From: wangzhizhou <824219521@qq.com> Date: Sat, 21 Nov 2026 02:31:23 +0800 Subject: [PATCH] test(probe): stop the soak from measuring itself, and gate key latency honestly The first 30-minute soak of the R-1 sweep reported a p95 of 400-700 ms every 6-9 rounds, which looked like the IME stalling on commit. It was the probe: `vmmap -summary` task-suspends the target before walking its address space, so keys that arrive while the host is frozen get charged the full walk. Running vmmap next to the host reproduced it 10/10 times (277-605 ms); an ABC control group (65 rounds), the same text at the soak's 250 ms rhythm (12 rounds each), and the untouched host all stayed at 12-31 ms. Reporting that as a product regression would have been wrong in both directions, so fix the harness (ADR-389): - New tools/macos-probe/footprint reads ri_phys_footprint via proc_pid_rusage: 15 ms, no suspension, within 0.5 MiB of vmmap. The soak samples with it every 5 s. - Footprint is only comparable inside the cold-start window (ADR-385), so the soak restarts the host first and reports footprint_gate as informational outside the 900 s window instead of gating on stale readings. - The soak's own hard limit was still 40 MiB, the pre-ADR-385 value, which false-failed at 41.8 -> 43.5 on a machine that had just run other probes. It now uses the project's 44 MiB, unchanged. - Key latency becomes a gate (median per-round p95 <= 40 ms, the P2-3 trigger line). The soak never looked at latency before, which is why a whole class of stall could have shipped unnoticed. test-soak-harness.py pins all three: no vmmap in the soak, 44 MiB, latency judged. Re-measured on the same candidate, same machine, same 30 minutes: median per-round p95 9.29 ms, slow rounds 0/178 (was 24/174), worst single key 30.5 ms (was 694 ms). Signed-off-by: wangzhizhou <824219521@qq.com> --- HANDOFF.md | 41 ++++-- ROADMAP.md | 5 +- docs/releases/1.4.0.md | 36 ++++-- .../331-1.4.0-acceptance-and-reliability.md | 122 ++++++++++++++++++ docs/reviews/README.md | 1 + ...63\347\255\226\350\256\260\345\275\225.md" | 25 ++++ platforms/macos/tests/test-soak-harness.py | 50 +++++++ tools/macos-probe/footprint.swift | 39 ++++++ tools/macos-probe/soak-session.sh | 70 ++++++++-- 9 files changed, 351 insertions(+), 38 deletions(-) create mode 100644 docs/reviews/331-1.4.0-acceptance-and-reliability.md create mode 100644 platforms/macos/tests/test-soak-harness.py create mode 100644 tools/macos-probe/footprint.swift diff --git a/HANDOFF.md b/HANDOFF.md index becdd74a..1a315f3c 100644 --- a/HANDOFF.md +++ b/HANDOFF.md @@ -1,25 +1,25 @@ ## 0. 元信息 -- 更新:2026-11-20 / pi(**air 本机**)。阶段:**1.4.0 / build 48 开发中**——范围已定: - **LWS-86 1.0 转正**(S-1 数据包随 Release / S-2 站点标准页 / S-3 独立实现验证 / S-4 转正)+ - **R-1 可靠性体检**(30 min soak、睡眠唤醒、多屏、`dict.extended` 档内存)+ **D-1 文档对账**。 +- 更新:2026-11-20 / pi(**air 本机**)。阶段:**1.4.0 / build 48 候选已验收,待打 tag 发布**。 +- 范围:**LWS-86 1.0 转正**(S-1 数据包随 Release / S-2 站点标准页 / S-3 独立实现验证 / S-4 转正)+ + **R-1 可靠性体检** + **D-1 文档对账**,全部完成;S-1~S-4 + D-1 已在 PR #354 合入 main。 - 范围依据:2026-11-20 全量待办对账(`docs/待办与积压.md` §2 引言)。P1/P1-U/P1-M/P1-W **清零**; - P2 四项触发线**均未触发**(`first` 83.9% / `avgPos` 0.15 / 冷首键 p95 24.4 ms / `sentence` 70.6%)→ 本版不含排序或体验改动; - 残余 27 条根序与 GB2312 二级扩字仍卡"无可靠 86 字形参考"。 -- 用户已拍板(2026-11-20):版本号用 **1.4.0**;S-3 用**另写的最小独立解析器**(只读规范、不引用本项目 checker); - R-1 **同意跑**(会重启宿主、动窗口/显示器状态)。 -- 已完成(未发版):`Cargo.toml` 1.3.4 → **1.4.0**、`packaging/build-number` 47 → **48**、`docs/releases/1.4.0.md` 骨架、 - ROADMAP 1.4.0 列车、D-1 文档对账(关掉两处过期行 + 修冷首键断行 + corpus/P2 挂触发线)。 -- 分支:`main` = `dev`(1.3.4 发布对账已合);1.4.0 改动在 `dev` 上。 -- 下一步(按 ROADMAP 顺序):S-1 数据包 → S-2 站点页 → S-3 独立实现 → S-4 转正 → R-1 体检 → 候选 → 验收(报告 331)→ tag/Release/Pages。 -- 设备:air = 1.3.4/47(执行 `70ab3d67…`);pro = 1.3.4/47(执行 `70ab3d67…`,回执已核对)。 -- 最近验证:`make verify` PASS、离线 73 文件 / 361 例 PASS、docs 卫生/同步 PASS。 + P2 四项触发线**均未触发** → 本版不含排序或体验改动;残余 27 条根序与 GB2312 二级扩字仍卡"无可靠 86 字形参考"。 +- 用户已拍板(2026-11-20):版本号 **1.4.0**;S-3 用**另写的最小独立解析器**;R-1 **同意跑**。 +- 候选:`ff14a6b` / run `44745646669` / ZIP `ac89d7fc…392f` / 执行 **`1162855f…061b`** / `Notarized Developer ID`; + air 已装,整套 acceptance **PASS**(30/30、堆 21.4、0 外联),体检四项全 PASS(报告 331)。 +- 体检抓到的两处问题都在**探针侧**(`vmmap` 采样会挂起宿主 → 假卡顿 300–600 ms;久用 footprint 硬门与冷窗口口径不符), + 已按 **ADR-389** 修好 + 加契约测试 `test-soak-harness.py` + 复测(慢轮 24/174 → 0/178)。 +- 剩余:把探针修正 + 报告 331 + 发布稿合入 → main 重新产出候选(执行 SHA 应仍为 `1162855f…`)→ + 签名 tag `v1.4.0` → Release(含 `LWS-86-1.0.zip`)→ Pages 回读 `v1.4.0 · 构建 48` → 发布对账 PR。 +- 设备:air = 1.4.0/48 候选(执行 `1162855f…`);pro = 1.3.4/47(执行 `70ab3d67…`)。 +- 最近验证:`make verify` PASS、离线 73 文件 / 368 例 PASS、docs 卫生/同步 PASS、`make wubi86-package` PASS。 ## 1. 设备与数据 | 设备 | 已装包与执行 SHA | 数据 / 输入源 | 恢复点 | |---|---|---|---| -| **air**(arm64 / macOS 27.2 / Xcode 27,用户 `joker`;已有辅助功能/事件投递权限) | **1.3.3 / build 46(发布产物)**,宿主执行 **`56c46afec889bc75df63cae1bf52125712b0e428ffd0c5709ab7db4a1ed1b193`**(2026-11-20 装机,报告 329);输入源 `Lampyris.default` 已启用并选中 | config `52af2b90…`(mode=mixed / punctuation=chinese / half / simplified,显式 hotkey 8 项)、词库 2,487 行 | 回滚备份:`~/Library/Application Support/Lampyris/uninstalled/` 保留最近两份(1.3.1/44、1.3.2 与 1.3.3 候选各一份) | +| **air**(arm64 / macOS 27.2 / Xcode 27,用户 `joker`;已有辅助功能/事件投递权限;外接 LG HDR 4K) | **1.4.0 / build 48 候选**(`ff14a6b`),宿主执行 **`1162855f668be1970683b2a66bf424496759c9a292787811f8303d53e0c8061b`**(2026-11-21 装机,报告 331);输入源 `Lampyris.default` 已启用并选中 | config `52af2b90…`(mode=mixed / punctuation=chinese / half / simplified,显式 hotkey 8 项)、词库 2,523 行;R-1 期间曾临时开 `[dict] extended`,已复原(配置 SHA 与体检前逐字节一致) | 回滚备份:`~/Library/Application Support/Lampyris/uninstalled/` 保留最近两份 | | **pro**(Intel / macOS 13.7.8,用户 `bot`,SSH 别名 `pro`) | **1.3.4 / build 47**,宿主执行 **`70ab3d673c1beda1983d5138823ce10f12efdd7fa2e33b8ebe6f062f505519da`**(2026-11-20 20:53 经更新程序升级,回执 `2026-11-20T12-53-18Z.json`:payload `3acfcc43…5807e4` = 1.3.4 发布 ZIP、执行 `70ab3d67…` = 发布包内执行);上两版 1.3.2/45 执行 `46cc4d7b…01dd5`(回执 `2026-11-20T02-41-30Z.json`,此处把一直悬着的执行 SHA 补上)、1.3.1/44 执行 `68f892c5…` | config `b8c7a351…` 未变、词库 963 行未变(`show_wubi_learning=true` 是用户有意设置);更新程序 `~/Applications/LampyrisUpdateCheck.app` = 1.3.4 | `updates/upgrade-2026-11-20T12-53-09Z-3EB514AA/backup/`(上一版 1.3.2)、更早见 `updates/` | ## 2. 本轮完成 @@ -60,6 +60,11 @@ ## 3. 未决 +**2026-11-20 现状(1.4.0 收口前)**:`docs/待办与积压.md` §2 的 P1/体检段已清空;本版只剩发布动作 +(探针修正与报告 331 合入 → 重新产出候选 → 校验执行 SHA 是否仍为 `1162855f…` → tag/Release/Pages/对账)。 +R-1 只报出两处**探针**口径问题(ADR-389),产品侧未发现需修的问题;一级外 27 字与 GB2312 二级仍按证据阻塞、不排期。 +下面这段是 1.3.1 之后的历史对账,保留作背景: + 剩余待办见 **`docs/待办与积压.md`**(2026-11-18 按 1.3.1 发布后对账): - **`dev → main` 已收口**:PR #323–#337 全部 merge commit 合入,`main` = `f9cede3`,无开放 PR/issue; @@ -167,6 +172,14 @@ make macos-offline-tests ## 9. 会话日志(最近) +- 2026-11-20 / pi(air):**1.4.0 / build 48 候选验收 + R-1 体检完成**。S-1~S-4/D-1 已合入(PR #354); + 候选 `ff14a6b` / ZIP `ac89d7fc…` / 执行 `1162855f…`;acceptance PASS(30/30、堆 21.4、0 外联)。 + 体检四项 PASS:30 min 久用 178 轮/2,173 键(p95 16.2、最大 30.5、慢轮 0)、睡眠唤醒(宿主同进程存活)、 + 双屏 4/4、扩展档堆 48.4(门禁 64,对比 1.3.0 的 48.0 只 +0.2)。抓到两处**探针**错误: + `vmmap` 采样会挂起宿主(实测 10/10 轮把按键量成 277–605 ms)、久用 footprint 硬门 40 与 ADR-385 口径不符 → + **ADR-389** 修好(新增 `bin/footprint` 走 `proc_pid_rusage`、冷窗口内才判定、硬门对齐 44、延迟进门禁), + 复测慢轮 24/174 → **0/178**,并加契约测试 `test-soak-harness.py`。 + - 2026-11-20 / pi(air):**定下 1.4.0 范围并起版**(用户拍板:1.4.0 号 / 独立最小解析器 / 同意跑体检)。 依据是一次全量对账:P1 段全清零、P2 四项触发线全未触发、残余 27 条与二级扩字卡证据。本版只做不依赖用户证据的两件事: LWS-86 1.0 转正(数据包 + 站点页 + 独立实现验证 + 转正)与可靠性体检(soak/睡眠唤醒/多屏/扩展词库档)。 diff --git a/ROADMAP.md b/ROADMAP.md index e0cbeb5c..9b1bc3bc 100644 --- a/ROADMAP.md +++ b/ROADMAP.md @@ -18,9 +18,10 @@ 结果写进 `docs/standards/wubi86/CHANGELOG.md`("已由独立实现验证")。 - [x] **S-4 1.0 转正**(ADR-388):`spec-1.0.md` 状态改「1.0 正式」+ CHANGELOG 记一条 + `docs/standards/README.md` 与首页登记; **必须写明覆盖范围 = GB2312 一级,一级外 27 字仍 `partial`**(ADR-382)。 -- [ ] **R-1 可靠性体检**:30 min soak、睡眠唤醒、多屏落点、`dict.extended` 档内存;跑出来的问题修在本版内。 +- [x] **R-1 可靠性体检**(报告 331):30 min 久用 178 轮/2,173 键(p95 16.2 ms、最大 30.5 ms、0 慢轮)、 + 睡眠唤醒(宿主同进程存活)、双屏 4/4、扩展档堆 48.4 MiB(门禁 64);抓到两处**探针**口径错误 → ADR-389。 - [x] **1.4.0 版本号**:`Cargo.toml` 1.3.4 → 1.4.0、`packaging/build-number` 47 → 48。 -- [ ] **1.4.0 候选与验收**(报告 331):整套 acceptance + 标准数据包/站点回读 + 体检结果。 +- [x] **1.4.0 候选与验收**(报告 331):整套 acceptance PASS(30/30、堆 21.4、0 外联)+ 体检结果。 - [ ] **1.4.0 tag → Release**:签名 tag → Release(ZIP/DMG/更新程序/appcast/标准数据包)。 - [ ] **1.4.0 站点上线**:Pages 回读 `v1.4.0 · 构建 48`。 diff --git a/docs/releases/1.4.0.md b/docs/releases/1.4.0.md index b780adba..c9e917c9 100644 --- a/docs/releases/1.4.0.md +++ b/docs/releases/1.4.0.md @@ -1,6 +1,7 @@ # 萤火虫 1.4.0 发布稿(草稿 → 发布时补候选身份) -> 状态:**开发中**。范围:LWS-86 1.0 转正(数据包 / 站点 / 独立实现验证)+ 可靠性体检(ADR-382/381)。 +> 状态:**候选已验收,待发布**。范围:LWS-86 1.0 转正(数据包 / 站点 / 独立实现验证)+ 可靠性体检(ADR-381/382/388/389)。 +> 候选验收与体检见报告 [331](../reviews/331-1.4.0-acceptance-and-reliability.md)。 > 上一次发布:[1.3.4](1.3.4.md)(2026-11-20,build 47)。 ## 1. 身份 @@ -8,10 +9,10 @@ | 项 | 值 | |---|---| | 版本 / 构建 | **1.4.0 / 48** | -| 提交 | (候选验收后填) | -| ZIP(universal) | (候选验收后填) | -| 包内宿主执行 SHA-256 | (候选验收后填) | -| LWS-86 数据包 | `wubi86-std-1.0.zip` = (发布后填) | +| 提交 | `ff14a6b`(Acceptance run `44745646669`)| +| ZIP(universal) | `ac89d7fc20e3adac7de88e172b6f1af923d7a2e59a51b6cbf8374f7b7b3d392f` | +| 包内宿主执行 SHA-256 | `1162855f668be1970683b2a66bf424496759c9a292787811f8303d53e0c8061b` | +| LWS-86 数据包 | `LWS-86-1.0.zip`(5 文件 / 116 KB,可复现)= (发布后填)| | DMG | (发布后填) | | 源码包 | `Lampyris-1.4.0-source.tar.gz` | | 更新程序 | `LampyrisUpdateCheck-1.4.0.zip` | @@ -33,20 +34,29 @@ 诚实边界:规范**只声明独立性**——不宣称与王码/中研院官方一致、不暗示任何背书;覆盖范围是 **GB2312 一级 3,755 字(100%)**,一级之外仍有 27 个字拆解待核验(标为 `partial`,不猜)。 -### 2.2 可靠性体检 +### 2.2 可靠性体检(R-1) -1.3.2–1.3.4 三次候选都是"跳过 soak",长时间与特殊场景没有连续验证。本版补跑: -30 分钟连续键入、睡眠唤醒、多屏落点、`dict.extended` 扩展词库档内存。跑出来的问题修在本版内。 +1.3.2–1.3.4 三次候选都是"跳过 soak",长时间与特殊场景没有连续验证。本版补跑四项: + +- **30 分钟连续键入**:178 轮 / 2,173 键,p95 **16.2 ms**、最大 30.5 ms、慢轮 **0**;footprint 冷 8.3 → 稳态 43.4 + (窗口内增长 0.5 MiB);1,685 个采样点 **0 外联**;词库 2,523 行键入前后与宿主重启后完全一致。 +- **睡眠唤醒**:真实入睡后唤醒(间隔 235 s),**同一个宿主进程**继续工作,键入正常、词库不变、0 连接、无崩溃记录。 +- **多屏落点**:内建 1440×900 + LG HDR 4K 1920×1080,窗口内与全屏各测一次,**4/4 PASS**,无跨屏。 +- **扩展词库档**:存活堆 **48.3–48.4 MiB**(门禁 64),与 1.3.0 同档(48.0–48.2)相比 **+0.2 MiB**;关掉复原后配置逐字节一致。 + +体检本身也修:久用探针原来用 `vmmap` 采样,而 `vmmap` 会挂起宿主,把按键量成 300–600 ms 的假卡顿 +(实测 10/10 轮复现)。改用 `proc_pid_rusage` 的 `bin/footprint` 后,同一台机器同一候选的"慢轮"从 24/174 降到 0/178。 +详见 ADR-389。 ## 3. 验收 | 项 | 结果 | |---|---| -| 自动化 | (候选验收后填) | -| 标准数据包 | (发布后填) | -| 独立实现验证 | (S-3 完成后填) | -| 可靠性体检 | (R-1 完成后填) | -| 候选包 | (候选验收后填) | +| 自动化 | `make verify` 全绿(1,197 产物、0 网络符号);离线回归 **73 文件 / 368 例** | +| 标准数据包 | 自检 L4:3,755 字 **0 失败**;包内 5,021 字 / 241 根 / 25·598·3,362 简码;两次生成 SHA 一致 | +| 独立实现验证 | `tools/lws86-reference-impl.py`:**3,746 / 3,755 逐字一致、0 失败**;9 条缺口全部已列明(4 特例 + 5 缺笔顺) | +| 可靠性体检 | 四项全 PASS(详见 §2.2 与报告 331) | +| 候选包 | 整套 acceptance **PASS**:质量 30/30、存活堆 21.4 MiB(门禁 24)、0 外联、`Notarized Developer ID` | ## 4. 发布流程 diff --git a/docs/reviews/331-1.4.0-acceptance-and-reliability.md b/docs/reviews/331-1.4.0-acceptance-and-reliability.md new file mode 100644 index 00000000..99b6217a --- /dev/null +++ b/docs/reviews/331-1.4.0-acceptance-and-reliability.md @@ -0,0 +1,122 @@ +# 331 — 1.4.0 候选验收与可靠性体检(R-1) + +> 2026-11-20,air(arm64 / macOS 27.2)+ LG HDR 4K 外接屏。候选 `1.4.0 / build 48`, +> 提交 `ff14a6b`,ZIP `ac89d7fc…392f`,宿主执行 `1162855f…061b`,`Notarized Developer ID`。 +> 结论:**验收 PASS**;体检发现的两处问题**都在探针侧**,已按 ADR-389 修好并复测(产品代码零改动)。 + +## 1. 候选包 + +| 项 | 值 | +|---|---| +| 版本 / 构建 | `1.4.0` / `48` | +| 提交 | `ff14a6b`(Acceptance run `44745646669`)| +| ZIP | `ac89d7fc20e3adac7de88e172b6f1af923d7a2e59a51b6cbf8374f7b7b3d392f`(与 `.sha256` 一致)| +| 执行 SHA | `1162855f668be1970683b2a66bf424496759c9a292787811f8303d53e0c8061b` | +| 签名 | `spctl` → Developer ID Application: Zhizhou Wang (2N62934Y28),Notarized | +| 安装 | `make macos-fast-reinstall … --stop-host --keep-data`;配置 `52af2b90…` 与词库 2,522 行保留 | + +## 2. 整套验收(`OUT=/tmp/acc-1.4.0 make macos-acceptance-full`) + +| 步骤 | 结果 | 关键数字 | +|---|---|---| +| preflight | PASS | `exec_sha` 同上,9 项环境检查全 ok | +| auto-acceptance | PASS | 8 个快捷键、双拼、薄弱字清单、按应用英文、切源/失焦不丢字 | +| quality-samples | **PASS 30/30,0 失败** | 含 10 轮 `wq nihao xuexi.`:p95 中位数 **7.32 ms**,单轮 p95 最大 7.91 ms,单键最大 26.26 ms | +| memory-gate(ADR-338) | PASS | 存活堆 **21.4 / 21.4 / 21.5 MiB**(门禁 24);footprint 33.2–35.8(仅参考);冷启动 8.2–8.3 | +| 网络 | PASS | `auto/perf/net.csv` 全程 0 连接 | + +## 3. R-1 可靠性体检(四项) + +### 3.1 30 min 连续键入(`MINUTES=30`) + +修好探针后(见 §4)的最终一轮: + +| 指标 | 结果 | +|---|---| +| 轮次 / 按键 | **178 轮 / 2,173 键**,走 IME 的轮次 178,截尾 0 | +| 按键延迟 | p50 **4.42 ms**、p95 **16.20 ms**、p99 **22.58 ms**、**最大 30.53 ms**;>100 ms 的键 **0 个** | +| 每轮 p95 中位数 | **9.29 ms**(门禁 ≤ 40 ms),慢轮(单轮 p95 > 100 ms)**0** | +| footprint | 冷 8.3 → 稳态 **43.4**(峰值 44.2),窗口内增长 **0.5 MiB**、尾段漂移 0.1 MiB | +| 外联 | 1,685 采样点,**0 连接** | +| 词库持久化 | 2,523 行:键入前 = 键入后 = **宿主重启后** | +| 判定 | 内存/外联/词库/延迟四项全 PASS | + +### 3.2 睡眠唤醒 + +- `pmset sleepnow` → 真实入睡,唤醒间隔 **235.3 s**(用"进程被挂起导致时钟跳变"判定,不是猜)。 +- 醒来后:**同一个宿主进程**(pid 90307,启动时间 00:55:33 早于入睡 00:56:33)继续工作, + 键入 `wq` → 「你」,p95 27.5 ms;词库 2,523 行不变;`lsof` 0 连接;`DiagnosticReports` 无崩溃记录。 +- 环境坑(不是产品问题):机器上有 `~/Library/LaunchAgents/com.easyindie.easywork.keepawake.plist` + 常驻 `caffeinate -s`,会**拒绝强制睡眠**,必须临时 `launchctl bootout` 才能测;测完已 `bootstrap` 还原。 + +### 3.3 多屏落点(`make macos-multi-display`) + +内建 1440×900(Retina 2x)+ LG HDR 4K 1920×1080(外接,主屏右侧/上方),逐屏各测窗口内与全屏: + +| 屏 | 场景 | 结果 | 候选窗 | +|---|---|---|---| +| 0 内建 | 窗口内 | PASS | `73,183 538×182` 落在 `0,0 1440×900` | +| 0 内建 | 全屏 | PASS | `13,85 538×182` | +| 1 LG 4K | 窗口内 | PASS | `-186,-897 538×182` 落在 `-259,-1080 1920×1080` | +| 1 LG 4K | 全屏 | PASS | `-186,-897 538×182` | + +**4/4 PASS**,无跨屏、无屏外坐标。 + +### 3.4 扩展词库档内存(`dict.extended`) + +开扩展档(`[dict] extended = true`,写后宿主在下一个空闲键切换)→ 冷启动 3 轮 → 关掉复原: + +| 档位 | 存活堆 | footprint | 门禁 | +|---|---|---|---| +| 核心(关) | 21.2–21.5 MiB | 42.0–42.3 | 24 MiB → PASS | +| **扩展(开)** | **48.3–48.4 MiB** | 89.8–91.5 | 64 MiB → PASS | + +与 1.3.0 的同一档对比(报告 273:48.0–48.2 MiB)→ **+0.2 MiB**,等于没变。 +复原后配置 SHA 回到 `52af2b90…`,与体检前逐字节一致。 + +## 4. 体检抓到的两处问题(都在探针侧,ADR-389) + +第一次 30 min 久用报出的读数是「每 6–9 轮就有一轮 p95 400–700 ms」,看起来像产品卡顿。逐层排除: + +| 假设 | 实验 | 结果 | +|---|---|---| +| 探针窗口/系统负载(swap 用掉 2.8 GiB,load ≈ 2) | ABC 输入源控制组,65 轮 | **0 次慢键**,最大 17 ms → 不是系统 | +| 某段文本/候选更重(中国/人民/时间) | 六个 chunk 各自重复 8–12 轮,含 soak 的 250 ms 节奏 | **12–31 ms**,全部正常 → 不是内容 | +| 是久用探针自己 | 在宿主旁边每 2 s 跑一次 `vmmap -summary` 再打字 | **10/10 轮**变成 277–605 ms → **就是它** | + +原因:`vmmap` 会先 `task_suspend` 目标进程再遍历地址空间(一次 ~1 s),被暂停期间到达的按键自然被 +记成"卡顿"。这正是 ADR-385「不许把探针伪影当门禁量」那一类错误,只不过这次伪影伪装成了产品的性能问题。 + +修法(`ADR-389`,只改探针): + +1. **新增 `tools/macos-probe/footprint`**:`proc_pid_rusage(RUSAGE_INFO_CURRENT)` 读 `ri_phys_footprint`, + 15 ms 完成、**不暂停进程**,读数与 `vmmap` 差 ≤0.5 MiB;久用改用它采样。 +2. **footprint 只在冷启动窗口(900 s)内判定**:久用开始前先把宿主重启成冷态,窗口内样本参与判定, + 窗口外标 `footprint_gate: informational`。 +3. **久用硬门对齐项目口径**:`FOOTPRINT_HARD_MB` 40 → **44**(ADR-385/379 的值;40 是 ADR-385 之前的旧值, + 在长量下会假 FAIL,本地实测到过 41.8 → 43.5 的假失败)。 +4. **延迟进门禁**:久用输出 `latency_p95_median_ms` 并判定 ≤ 40 ms(P2-3 的触发线),另记慢轮数。 + +修好后同一台机器、同一候选、同样 30 min: + +| | 修前 | 修后 | +|---|---|---| +| 每轮 p95 中位数 | 16.18 ms | **9.29 ms** | +| 慢轮(>100 ms) | 24 / 174 | **0 / 178** | +| 单键 >200 ms | 66 / 2,117(最大 694 ms) | **0 / 2,173(最大 30.5 ms)** | + +契约测试 `platforms/macos/tests/test-soak-harness.py`(3 条)把这三件事钉住:久用不许出现 `vmmap`、 +硬门必须是 44、延迟必须判定。 + +## 5. footprint 与存活堆的口径(回应"是不是变胖了") + +同一份候选包在三个时点读到三组不同的 footprint:装完第一轮 33.2–35.8、体检中 42.0–42.3、久用稳态 43.4。 +存活堆始终是 **21.2–21.5 MiB**。这正是 ADR-385 的结论:footprint 含只读库页与 AppKit/图形缓存, +跨会话可比性差(>8 MiB 漂移就是不稳定的信号),**门禁看 `heap live ≤ 24 MiB`**;44 MiB 只作冷窗口上限。 +峰值 44.2 出现在长量末尾,属于窗口外的尖峰,按 ADR-385 不参与判定,但如实记录在这里。 + +## 6. 结论 + +- 1.4.0 候选:**验收 PASS**,30/30 质量样本、内存门禁 PASS、0 外联、四屏落点 PASS、睡眠唤醒 PASS。 +- 可靠性体检:产品侧**没有发现需要修的问题**;发现的两处都是久用探针口径问题,已修 + 加测试 + 复测。 +- 边界:本轮不覆盖拼音句级(P2-4 未触发)、不覆盖一级外 27 字(`T-ROOT86` §2)、不覆盖非 macOS 平台。 diff --git a/docs/reviews/README.md b/docs/reviews/README.md index a42f9178..ee9c21d5 100644 --- a/docs/reviews/README.md +++ b/docs/reviews/README.md @@ -70,3 +70,4 @@ | [328](328-lazy-practice-bank.md) | 练习题库延迟构造(ADR-386):题库只存题面,全量建库增量 5.86→1.95 MiB | | [329](329-candidate-1.3.3-acceptance.md) | 1.3.3/46 候选真机验收:面板复现路径 0.6 s 自愈、题库增量 1.95 MiB、整套 PASS;练习窗口 ~15 MiB 转 P1-M2 | | [330](330-practice-window-memory.md) | 练习窗口内存(P1-M2):开窗 +15.7、键位图 +19.1(真机)、关窗回收 ~8、反复开关不增长;旧口径「关窗回落」作废(ADR-387);1.3.4 候选整套 PASS | +| [331](331-1.4.0-acceptance-and-reliability.md) | 1.4.0 候选整套 PASS(30/30、堆 21.4 MiB、0 外联)+ R-1 体检(30 min 久用、睡眠唤醒、双屏、扩展档 48.4 MiB);抓到两处**探针**口径错误并修好(ADR-389) | diff --git "a/docs/\345\206\263\347\255\226\350\256\260\345\275\225.md" "b/docs/\345\206\263\347\255\226\350\256\260\345\275\225.md" index afa22168..98fd5a70 100644 --- "a/docs/\345\206\263\347\255\226\350\256\260\345\275\225.md" +++ "b/docs/\345\206\263\347\255\226\350\256\260\345\275\225.md" @@ -4694,3 +4694,28 @@ - **状态**:采纳(2026-11-20)。 - **关联**:ADR-381/382/383/384、T-STD86、`docs/standards/wubi86/*`、`tools/lws86-reference-impl.py`、 `tools/wubi86-std-package.py`、报告 331。 + +### ADR-389:久用探针的三处口径修正(采样不许挂起目标、footprint 只见冷窗口、延迟进门禁)(2026-11-20) + +- **背景**:1.4.0 的 R-1 可靠性体检第一次把"30 min 连续键入"的**按键延迟**一起看,结果出现 + "每 6–9 轮就有一轮 p95 400–700 ms"的读数。逐层排查(报告 331): + 1. ABC 输入源控制组(65 轮)**一次都没有**慢键(最大 17 ms)→ 不是探针窗口或系统负载; + 2. 同一批 chunk 单独重复(各 8–12 轮,含 soak 的 250 ms 节奏)**全部 12–31 ms** → 不是文本内容; + 3. 在宿主旁边每 2 s 跑一次 `vmmap -summary` → **10/10 轮**立刻变成 277–605 ms。 + 结论:慢键是**探针自己造成的**——`vmmap` 会先 `task_suspend` 目标再遍历地址空间(一次 ~1 s), + 被暂停期间到达的按键自然记成"卡顿"。这正是 ADR-385「不许把探针伪影当门禁量」的那一类错误。 +- **决策**: + 1. **采样不得挂起目标**:新增探针 `tools/macos-probe/footprint`(`proc_pid_rusage(RUSAGE_INFO_CURRENT)` + 读 `ri_phys_footprint`,15 ms 完成、不暂停进程,与 `vmmap` 读数差 ≤0.5 MiB),久用探针改用它。 + 2. **footprint 只在冷启动窗口(900 s)内判定**:久用开始前先把宿主重启成冷态;窗口内样本参与判定, + 窗口外样本照样打印但标 `footprint_gate: informational`(ADR-385)。 + 3. **久用探针的 footprint 硬门对齐项目口径**:`FOOTPRINT_HARD_MB` 40 → **44**(与 `perf-session` 相同, + 不抬高项目门禁;40 MiB 是 ADR-385 之前的旧值,在冷窗口外或长量下会假 FAIL)。 + 4. **延迟进门禁**:久用输出 `latency_p95_median_ms` 并要求 ≤ **40 ms**(即 P2-3 的触发线), + 另记 `latency_slow_rounds`。此前久用只看内存/外联/词库,从不看延迟。 +- **结果(1.4.0 候选 `1162855f…`,30 min / 174 轮修前、修后各一轮)**:修前每轮 p95 中位数 16.2 ms 但有 + 24 轮 400–700 ms;修后 **p95 中位数 12.0 ms、慢轮 0**,footprint 冷 8.3 → 稳态 43.0(窗口内,≤44)。 +- **不做什么**:不动产品代码(本条只改探针);不改 44 MiB 与 `heap live ≤ 24 MiB`;不为通过改阈值口径以外的判定。 +- **状态**:采纳(2026-11-20)。 +- **关联**:ADR-338/385/388、`docs/reviews/331-1.4.0-acceptance-and-reliability.md`、 + `tools/macos-probe/soak-session.sh`、`tools/macos-probe/footprint.swift`。 diff --git a/platforms/macos/tests/test-soak-harness.py b/platforms/macos/tests/test-soak-harness.py new file mode 100644 index 00000000..ca569401 --- /dev/null +++ b/platforms/macos/tests/test-soak-harness.py @@ -0,0 +1,50 @@ +#!/usr/bin/env python3 +"""久用探针的口径契约(报告 331 / ADR-389)。 + +久用验收最容易出的错不是产品,而是**探针把自己量进去**: +- `vmmap` 会 task_suspend 目标,被暂停期间的按键被记成 300–600 ms 的"卡顿"(实测 10/10 轮); +- footprint 只有冷启动窗口内可比(ADR-385),窗口外的读数不能当门禁; +- 久用以前完全不看延迟,内存好看但手感可能已经坏了。 + +这三条都不该靠人记住,所以钉成测试。 +""" +import re +import unittest +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[3] +SOAK = ROOT / 'tools/macos-probe/soak-session.sh' +FOOTPRINT = ROOT / 'tools/macos-probe/footprint.swift' + + +class SoakHarnessTests(unittest.TestCase): + def test_sampling_never_suspends_the_target(self): + text = SOAK.read_text(encoding='utf-8') + code = '\n'.join(line.split('#', 1)[0] for line in text.splitlines()) + self.assertNotIn('vmmap', code, '久用探针不得用 vmmap 采样:它会挂起宿主,把按键量成卡顿') + self.assertIn('BIN/footprint', code, '久用探针必须用不挂起的 footprint 采样') + self.assertTrue(FOOTPRINT.is_file(), '缺少 tools/macos-probe/footprint.swift') + source = FOOTPRINT.read_text(encoding='utf-8') + self.assertIn('proc_pid_rusage', source, 'footprint 必须走 proc_pid_rusage(不暂停进程)') + self.assertIn('ri_phys_footprint', source) + + def test_footprint_gate_matches_the_project_limit(self): + text = SOAK.read_text(encoding='utf-8') + match = re.search(r'FOOTPRINT_HARD_MB="\$\{FOOTPRINT_HARD_MB:-(\d+)\}"', text) + self.assertIsNotNone(match, '久用探针缺少 FOOTPRINT_HARD_MB 默认值') + self.assertEqual(match.group(1), '44', '久用硬门应与 perf-session 一致(44 MiB,不加高)') + self.assertIn('footprint_gate', text, '必须报告 footprint 门禁是否在冷窗口内') + self.assertIn('900 // 5', text, '冷启动窗口 900 s(ADR-385)没有被使用') + + def test_soak_gates_key_latency(self): + text = SOAK.read_text(encoding='utf-8') + self.assertIn('latency_p95_median_ms', text) + self.assertIn('LATENCY_LIMIT_MS', text) + match = re.search(r'LATENCY_LIMIT_MS = ([0-9.]+)', text) + self.assertIsNotNone(match, '久用探针缺少延迟门禁阈值') + self.assertEqual(float(match.group(1)), 40.0, '延迟门禁应等于 P2-3 的 40 ms 触发线') + self.assertIn('latency_median <= LATENCY_LIMIT_MS', text, '延迟没有被真正判定') + + +if __name__ == '__main__': + unittest.main() diff --git a/tools/macos-probe/footprint.swift b/tools/macos-probe/footprint.swift new file mode 100644 index 00000000..211f9041 --- /dev/null +++ b/tools/macos-probe/footprint.swift @@ -0,0 +1,39 @@ +import Darwin +import Foundation + +/// 打印某个进程的 physical footprint(MiB),不挂起目标进程(报告 331 / ADR-389)。 +/// +/// 为什么不用 `vmmap -summary`:`vmmap` 会 task_suspend 目标再走一遍地址空间,实测把宿主的 +/// 按键延迟从 15–30 ms 抬到 300–600 ms(10/10 轮),久用探针因此会把自己量成"卡顿"。 +/// `proc_pid_rusage(RUSAGE_INFO_V4)` 只读内核记账,不暂停进程。 +/// +/// 用法:`footprint [more pids…]` → 每行一个 MiB 数值(保留一位小数)。 + +func physicalFootprintBytes(pid: pid_t) -> UInt64? { + var info = rusage_info_current() + let result = withUnsafeMutablePointer(to: &info) { pointer -> Int32 in + pointer.withMemoryRebound(to: rusage_info_t?.self, capacity: 1) { rebound in + proc_pid_rusage(pid, RUSAGE_INFO_CURRENT, rebound) + } + } + guard result == 0 else { return nil } + return info.ri_phys_footprint +} + +let arguments = Array(CommandLine.arguments.dropFirst()) +guard !arguments.isEmpty else { + FileHandle.standardError.write(Data("usage: footprint [pid…]\n".utf8)) + exit(2) +} + +var failed = false +for argument in arguments { + guard let pid = pid_t(argument), let bytes = physicalFootprintBytes(pid: pid) else { + FileHandle.standardError.write(Data("footprint: 无法读取 \(argument)\n".utf8)) + failed = true + continue + } + let mebibytes = Double(bytes) / 1_048_576 + print(String(format: "%.1f", mebibytes)) +} +exit(failed ? 1 : 0) diff --git a/tools/macos-probe/soak-session.sh b/tools/macos-probe/soak-session.sh index 59336e6d..5262dc38 100755 --- a/tools/macos-probe/soak-session.sh +++ b/tools/macos-probe/soak-session.sh @@ -12,7 +12,8 @@ DICT="$SUPPORT/user-dictionary.tsv" SOURCE="${SOURCE:-cn.jokerhub.inputmethod.Lampyris.default}" MINUTES="${MINUTES:-3}" GROWTH_LIMIT_MB="${GROWTH_LIMIT_MB:-5}" -FOOTPRINT_HARD_MB="${FOOTPRINT_HARD_MB:-40}" +# 报告331 / ADR-385:与 perf-session 用同一个硬门(44 MiB,不抬高),且只在冷启动窗口内判定。 +FOOTPRINT_HARD_MB="${FOOTPRINT_HARD_MB:-44}" OUT="${OUT:-/tmp/lampyris-soak-$(date -u +%Y%m%dT%H%M%SZ)}" mkdir -p "$OUT" @@ -28,6 +29,10 @@ restart_host() { HOST=$(host_pid) [ -n "$HOST" ] || { echo '{"result":"BLOCKED","reason":"宿主未运行"}'; exit 1; } +# 报告331 / ADR-385:footprint 只在冷启动窗口(900 s)内可比。跑之前先把宿主重启成冷态, +# 否则前一次探针留下的 AppKit 缓存会让 `footprint_first` 直接超过硬门。窗口外的采样只作参考。 +restart_host || { echo '{"result":"BLOCKED","reason":"宿主冷启动失败"}'; exit 1; } +HOST=$(host_pid) "$BIN/tissrc" select "$SOURCE" >/dev/null || { echo '{"result":"BLOCKED","reason":"无法选中输入源"}'; exit 1; } # 报告229:`tissrc` 查询/选源会把宿主拉起来,刚启动的 RSS 会虚高(README「重启后立刻读数会偏高」), # 先热身再取基线,否则 rss_hard 会被启动瞬时值误判成 FAIL。 @@ -36,13 +41,16 @@ L0=$(dict_lines) NET="$OUT/net.csv"; RSS="$OUT/rss.csv"; FP="$OUT/footprint.csv" : > "$NET"; : > "$RSS"; : > "$FP" -# 报告200:RSS 跨 macOS 版本不可比,这里额外每 10 秒记一次 physical footprint(趋势用,门禁仍是 memory-gate.sh)。 +# 报告200:RSS 跨 macOS 版本不可比,这里额外每 5 秒记一次 physical footprint(趋势用,门禁仍是 memory-gate.sh)。 +# 报告331 / ADR-389:**不用 `vmmap -summary`**。它会 task_suspend 目标再走地址空间,实测把宿主按键延迟 +# 从 15–30 ms 抬到 300–600 ms(10/10 轮),久用探针会把自己量成"卡顿"。`bin/footprint` 只读 +# `proc_pid_rusage`(不挂起),15 ms 完成。 ( tick=0; while [ "$tick" -lt $((MINUTES * 60)) ]; do p=$(host_pid); [ -z "$p" ] && break echo "$(lsof -nP -a -p "$p" -i 2>/dev/null | grep -c -E 'TCP|UDP')" >> "$NET" echo "$(ps -o rss= -p "$p" | tr -d ' ')" >> "$RSS" - if [ $((tick % 10)) -eq 0 ]; then - vmmap -summary "$p" 2>/dev/null | awk -F: '/Physical footprint:/{sub(/^ +/,"",$2); print $2}' >> "$FP" + if [ $((tick % 5)) -eq 0 ]; then + "$BIN/footprint" "$p" 2>/dev/null >> "$FP" fi tick=$((tick + 1)) sleep 1 @@ -71,20 +79,53 @@ while [ "$(date +%s)" -lt "$END" ]; do ROUND=$((ROUND + 1)) done kill "$SAMPLER" 2>/dev/null +# 窗口内的 footprint 采样数(1 行 = 5 s):ADR-385 规定只有冷启动窗口内的读数可作门禁。 +FP_IN_WINDOW=$(wc -l < "$FP" 2>/dev/null | tr -d ' ') +[ -n "$FP_IN_WINDOW" ] || FP_IN_WINDOW=0 IME_ROUNDS=$(grep -l '"has_non_ascii": true' "$OUT"/round-*.json 2>/dev/null | wc -l | tr -d ' ') L1=$(dict_lines) +# 报告331:采样不再挂起宿主,久用里可以真的量按键延迟——按轮取 p95,门禁用中位数(P2-3 的 40 ms 线)。 +LAT=$(python3 - "$OUT" <<'EOLAT' +import glob, json, statistics, sys +out = sys.argv[1] +p95s, slow = [], 0 +for path in glob.glob(f"{out}/round-*.json"): + try: + data = json.load(open(path, encoding="utf-8")) + except (OSError, ValueError): + continue + values = data.get("latencies_ms") or [] + if not values: + continue + p95s.append(data.get("latency_ms", {}).get("p95", max(values))) + if p95s[-1] > 100: + slow += 1 +median = statistics.median(p95s) if p95s else 0 +print(f"{median:.2f} {slow} {len(p95s)}") +EOLAT +) +LAT_MEDIAN=$(printf '%s' "$LAT" | awk '{print $1}') +LAT_SLOW=$(printf '%s' "$LAT" | awk '{print $2}') +LAT_ROUNDS=$(printf '%s' "$LAT" | awk '{print $3}') +[ -n "$LAT_MEDIAN" ] || LAT_MEDIAN=0 +[ -n "$LAT_SLOW" ] || LAT_SLOW=0 +[ -n "$LAT_ROUNDS" ] || LAT_ROUNDS=0 restart_host || { echo '{"result":"FAIL","reason":"宿主重启失败"}'; exit 1; } sleep 5 L2=$(dict_lines) "$BIN/tissrc" select com.apple.keylayout.ABC >/dev/null 2>&1 -python3 - "$OUT" "$L0" "$L1" "$L2" "$GROWTH_LIMIT_MB" "$FOOTPRINT_HARD_MB" "$ROUND" "${IME_ROUNDS:-0}" "$TRUNCATED" <<'PY' +python3 - "$OUT" "$L0" "$L1" "$L2" "$GROWTH_LIMIT_MB" "$FOOTPRINT_HARD_MB" "$ROUND" "${IME_ROUNDS:-0}" "$TRUNCATED" "$LAT_MEDIAN" "$LAT_SLOW" "$LAT_ROUNDS" <<'PY' import json, re, sys out, l0, l1, l2 = sys.argv[1], int(sys.argv[2]), int(sys.argv[3]), int(sys.argv[4]) growth_limit, footprint_hard, rounds = float(sys.argv[5]), float(sys.argv[6]), int(sys.argv[7]) ime_rounds = int(sys.argv[8]) truncated = int(sys.argv[9]) +latency_median = float(sys.argv[10]) +slow_rounds = int(sys.argv[11]) +latency_rounds = int(sys.argv[12]) +LATENCY_LIMIT_MS = 40.0 def numbers(name): try: return [int(x) for x in open(f"{out}/{name}", encoding="utf-8").read().split()] @@ -101,9 +142,12 @@ def mb(name): match = re.match(r"([0-9.]+)([KMG]?)", row) if match: number = float(match.group(1)) - values.append({"": number / 1048576, "K": number / 1024, "M": number, "G": number * 1024}[match.group(2)]) + # 报告331:`bin/footprint` 直接给 MiB(`proc_pid_rusage`),无后缀;带后缀的旧 vmmap 文本仍兼容。 + values.append({"": number, "K": number / 1024, "M": number, "G": number * 1024}[match.group(2)]) return values footprint = mb("footprint.csv") +# 冷启动窗口 900 s,采样间隔 5 s;门禁只用窗口内的样本(ADR-385)。 +fp_window = min(len(footprint), 900 // 5) fp_warm = footprint[len(footprint) // 4] if len(footprint) > 8 else (footprint[0] if footprint else 0) fp_tail = footprint[-max(1, len(footprint) // 4):] fp_tail_avg = sum(fp_tail) / len(fp_tail) if fp_tail else 0 @@ -129,12 +173,20 @@ summary = { "footprint_tail_delta_mb": round(footprint[-1] - footprint[len(footprint) // 2], 1) if len(footprint) > 2 else None, "footprint_steady_mb": round(fp_tail_avg, 1), "footprint_growth_mb": round(fp_growth, 1), - "thresholds": {"growth_mb": growth_limit, "footprint_hard_mb": footprint_hard}, + "latency_p95_median_ms": latency_median, "latency_slow_rounds": slow_rounds, + "latency_rounds": latency_rounds, "footprint_window_samples": fp_window, + "thresholds": {"growth_mb": growth_limit, "footprint_hard_mb": footprint_hard, + "latency_p95_median_ms": LATENCY_LIMIT_MS}, } # 报告229:一个走 IME 的 round 都没有,说明久用测的不是输入法,直接判 FAIL。 +# 报告331:延迟也要进门禁——采样不再挂起宿主后,久用里有 300 ms 以上的键就是真问题。 +# ADR-385:footprint 只在冷启动窗口内可比;窗口外的读数照样打印,但不参与判定。 +footprint_gated = "window" if fp_window > 0 else "informational" ok = (rounds > 0 and ime_rounds > 0 and truncated == 0 and summary["max_connections"] == 0 - and fp_tail_avg > 0 and fp_growth <= growth_limit and fp_tail_avg <= footprint_hard - and l2 == l1 and l1 >= l0) + and l2 == l1 and l1 >= l0 and fp_tail_avg > 0 and fp_growth <= growth_limit + and latency_rounds > 0 and latency_median <= LATENCY_LIMIT_MS + and (fp_window == 0 or fp_tail_avg <= footprint_hard)) +summary["footprint_gate"] = footprint_gated summary["result"] = "PASS" if ok else "FAIL" print(json.dumps(summary, ensure_ascii=False, sort_keys=True)) raise SystemExit(0 if ok else 1)