Repository navigation
fix: keep Qwen best candidates usable after verified dependency failures - #473
Conversation
…ures Classify the optional TBE dependency failure at the Qwen candidate call boundary after a verified baseline. Require normal execution and bound evidence before a rejection can continue the shared lifecycle; preserve best, failed attempts and independent final. Agent-assisted-by: Codex (implementation) Signed-off-by: dengyunyang <584797741@qq.com>
There was a problem hiding this comment.
LGTM
PR review verdict — PASS
Reviewed base 2cbfab66b00d75e69be583ebfeabee2b8f83c4ea and head f7cf82b1a1da0fb2e38f6c1082263d331c68a413.
Verified Qwen TBE/EC0010 candidate_failure only after verified baseline + recovery_check, assess exit/identity binding, shared _settle rejecting interrupted/unknown execution, keep-best + independent final lifecycle tests, docs boundaries, DCO, and ready CI all green at head. Refs #419 slice A; Issue stays open.
Dong1017
left a comment
There was a problem hiding this comment.
LGTM
PR review verdict — PASS
Reviewed base 2cbfab66b00d75e69be583ebfeabee2b8f83c4ea and head f7cf82b1a1da0fb2e38f6c1082263d331c68a413.
Independent steward second Approve (Dong1017) after cursor[bot] PASS. Verified Qwen TBE/EC0010 candidate_failure path with baseline recovery_check, shared _settle execution-fact gate, keep-best + independent final lifecycle, ready CI green. Refs #419 slice A; Issue stays open.
问题与交付范围
Refs #419
后续候选尝试一个当前环境不支持的算子,不应让前面已经找到的有效实现失去独立 final 的机会。 本 PR 修复已经实际复现的 Qwen TBE 依赖失败,并要求执行事实与基线复查支持“可以继续”的判断。
用户授权从最新 main 单独实现此问题并提交 PR。此分支不包含实验性的收益预估、efficient 策略、检索或诊断接口改动。
前因后果
#419 的两组 Qwen 探索都已有有效 best,后来调用旧
npu_layer_norm_eval时失败。旧评测将其记录为infrastructure_failure,共享 Harness 随即进入blocked;recover只结算已有回执,不解锁状态,因而final也被拒绝。历史实验最终只能另外补测 best,原 campaign 仍是不完整的。核对原始日志后确认,最外层异常是 RuntimeError,不是可直接捕获的 Python ModuleNotFoundError:
main 已有正确的
candidate_failure → 保留 best → 继续/独立 final生命周期。因此本 PR 在任务侧明确失败归属,并加强共享执行检查,复用这条生命周期;没有增加通用解除 blocked 的命令。修改前后流程
flowchart TD A["已经保存有效 best"] --> B["后续候选调用不支持的 TBE 内核"] B --> C["修改前:RuntimeError 统一落入 infrastructure_failure"] C --> D["campaign blocked;recover 不解锁;final 被拒绝"] B --> E["修改后:仅在候选函数调用边界识别明确 TBE 诊断"] E --> F{"同 case 的基线先前已通过?"} F -->|否| D F -->|是| G["同一分配内重新执行基线:原始输入、独立参数、同步和参考精度检查"] G --> H{"基线复查通过?"} H -->|否| D H -->|是| I["记录 candidate_failure;保留原始异常和复查证据;无性能分数"] I --> J{"执行正常结束,源码及证据绑定有效?"} J -->|否| D J -->|是| K["Harness 消耗本轮、保留失败、best 不变,保持 active"] K --> L["Agent 按原轮次/时间预算修复或调用 final"] L --> M["新进程执行完整冻结协议,独立复测留存 best"]基线复查失败时保留候选异常和复查异常,阶段保持
baseline_recovery_check。成功时恢复原候选阶段,再记录候选拒绝。复查不重试失败候选、不产生优化分数、不晋升代码。各模块具体改动
benchmark/tasks/qwen21-denoise-npu/benchmark.pyModuleNotFoundError.name=tbe/子模块,或同时包含 Compileopt、EC0010、明确 TBE 导入失败的 CANN 诊断。要求对应 case 已有基线成功记录,再实际复查基线;记录缺失模块、原异常和复查事实。optimization.py::assessfailed/2;失败结果也验证 candidate、task、evaluator 快照身份。依赖拒绝还必须有同 case 的基线复查记录;保留 error.log 哈希。harness/optimization.py::_settle普通项目的候选失败仍由调用方冻结的质量/测量协议判定,不引入 Qwen 专用逻辑,也不导入 Benchmark。它同样受共享 Harness 的执行事实检查保护。
验证
真实 NPU 回归
这是一项确定性的失败处理回归,不是新的 Agent 搜索实验,也不用于证明优化效率或性能增益。
npu run --gpus 1 --timeout 10m --wait 2m自动分配;无依赖安装和共享环境修改。pairs=1, samples=1, warmups=0。在已有分配内运行,不嵌套调度。test_qwen21_task.py:43 passed,0 skipped;包含真实 CPU 数学计算下基线复查成功/失败两支原始执行日志、候选和完整 campaign 在本地留存,未将含环境路径的原始包上传到代码仓。以上是脱敏摘要;仓内自动化回归测试可以独立运行,不依赖这份私有实验目录。
软件检查与版本对应
ruff check src tests tools与git diff --check通过。实机运行的冻结提交为
af702e1ade503007a099c1a2cb300676c88b64b6。之后 main 合入证据归档和打包改动,本 PR 已 rebase 至2cbfab66b00d75e69be583ebfeabee2b8f83c4ea,当前提交f7cf82b1a1da0fb2e38f6c1082263d331c68a413。已核对两个候选提交的全部src/以及相关测试字节一致,因此复用上述执行证据;未声称在新 SHA 上另跑了一次 NPU。边界与后续
未知设备错误、初始化/基线失败、未确认执行结束、证据异常仍为 blocked。正常退出不等于证明远端资源租约已释放;本 PR 没有通用环境修复或租约恢复能力。
现有 blocked 历史 campaign 不解锁、不改写;
recover语义不变。失败 final 也不自动重试,exact 轮次和截止时间不能绕过。本 PR 完成 #419 中已知候选能力失败导致无法收尾的修复切片,整体优化效率目标仍待单独验证,Issue 保持开放。知识库受保护路径:不涉及。正式维护者 review 与合并验收仍待进行。