WorkBuddy Bench:Clover 在 MetaCodes harness 上的跨域评测

离线分析:2026-11-17 · 被测模型 Clover-35B-A3B-Preview · 参照模型 GLM5.2、GLM5.3-Flash · 同一冻结 MetaCodes(c2d6074f),V1 版与 V2 版两种配置
主要结论
  1. Office 是 Clover 相对表现最好的任务域。以“同题得分比”(Clover 均分 ÷ 参照模型同题均分)衡量,V2 版下 Office 为 0.97(95% CI 0.85–1.13),高于 Code 0.82、Web 0.75、Security 0.78。三种参照配置下 Office 都排第一;Office 对其他三域的 9 次比较中,8 次在 Holm 校正后 p < 0.05。
  2. 控制任务难度后,Office 仍是 Clover 相对最好的域。Office 中低难度题占 26%,高于 Code 的 9% 和 Web 的 11%。按难度档加权标准化后,Office 在三种配置下仍排第一(0.89 到 0.95);Office 对 Web 的优势在 3 种配置下显著,对 Code 在 2 种、对 Security 在 1 种配置下显著(Holm 校正)。
  3. Clover 与参照模型的差距随任务难度扩大,低难度任务上接近持平。四域合并后,低、中、高难度的同题得分比在三种配置下都依次下降(V2 版为 0.98、0.84、0.74);“低难度减高难度”的差值在三种配置下置信区间均不含 0。
  4. 这一趋势在两种 harness 配置、两个参照模型和多种数据处理方式下都成立。V1 版参照 GLM5.2 时 Office 为 0.93,参照 GLM5.3-Flash 时为 0.88,均为四域最高。把 Clover 缺失题按 0 分、按参照得分、甚至按满分填补,或纳入补跑结果,Office 仍排第一。
  5. Clover 从 harness 的验证机制中获益明显,进一步针对 harness 优化有提升空间。V2 版使 Clover 的 Code 提升 +10.2 分(95% CI +4.0 到 +17.0)、Web 提升 +15.0 分(95% CI +5.6 到 +24.8);同样的配置对 GLM5.2 在四个域上都没有显著影响。Clover 的失分集中在需要反复与环境交互的环节,这是 harness 可以补的部分(第 6 节)。

1.实验背景

WorkBuddy Bench 是面向办公与工程 Agent 的基准,共 260 道固定任务,分四个域:Code(80 题,仓库内编码任务,单元测试评分)、Office(50 题,文档、表格、报表处理,确定性检查项评分)、Web(70 题,前端页面与分析报告,规则检查加 LLM 评委)、Security(60 题,安全分析与检测规则,确定性评分)。

MetaCodes 是本团队开发的 Agent harness,负责对话循环、工具调用、权限沙箱与验证机制。它在发布初期(0.1.0,2026 年 9 月)就在 WorkBuddy Bench 上达到了官方 harness 的水平:同一个 GLM-5.2,在由隐藏测试评分、可以跨 harness 直接比较的 Code 域上得分 72.7,高于腾讯官方 harness CodeBuddy Code 的 71.5(见下表)。此后 MetaCodes 仍在高速迭代、持续引入新特性。本次评测使用的是开发分支上的最新中间版本 c2d6074f,同一个冻结二进制分别以两种配置运行:

开发版的 benchmark 分数会随新特性的引入而波动,个别域低于发布初期属于正常现象。这不影响本报告的结论:所有模型比较都在同一个 harness 版本、同一种配置内完成,harness 的绝对水平对两个模型是相同的。

Harness(模型均为 GLM-5.2)CodeWebOfficeSecurity说明
MetaCodes 0.1.0(发布初期)72.781.178.859.02026-09,单次自测,260 题
MetaCodes 开发版 V172.070.279.268.0本次评测,单次,正常出分的题
MetaCodes 开发版 V273.877.174.165.2本次评测,单次,正常出分的题
CodeBuddy Code 2.109.371.567.479.6—官方榜 v1.2,3 次均值
Claude Code 2.1.18777.160.779.6—官方榜 v1.2,3 次均值
只有 Code 列可以跨行比较:Code 由隐藏测试评分,各行一致。Web 和 Office 的评委不同(0.1.0 用 gpt-5.6-sol,本次 Web 用 kimi-k3、Office 不用 LLM 评委,官方榜用 Kimi K2.7 Code),这两列只作参考;官方榜 v1.2 没有公布 GLM-5.2 的 Security 成绩。MetaCodes 各行都是单次运行,官方为 3 次均值。0.1.0 的数据和协议差异见仓库 doc/BENCHMARKS.md 与 evals/benchmarks/2026-09-12-metacodes-takeover-audit。

2.实验设计与流程

项目设置
被测模型Clover-35B-A3B-Preview,经 OpenAI 兼容接口调用;上下文窗口 131072
参照模型GLM5.2(两种配置都跑)、GLM5.3-Flash(只完成了 V1 版,V2 版按要求中途停止,未使用);经 Anthropic 兼容接口调用;上下文窗口 200000
共同设置每题 1 次运行;时间上限为原题 3 倍;单次请求最多输出 32768 token;reasoning effort high;重试策略沿用 WorkBuddy 默认值
评分Code、Security、Office 为确定性评分,Office 不使用 LLM 评委;Web 使用 kimi-k3 作为替代评委(非官方评委),两种配置相同
冻结与核验MetaCodes 二进制、overlay、任务树和运行镜像均按 SHA-256 冻结(附录 A);同题在两种配置下的 task checksum 和题面哈希一致

纳入流程

域(题数)Clover V1Clover V2GLM5.2 V1GLM5.2 V2GLM5.3-Flash V1
Office(50)4948363448
Code(80)7273656565
Web(70)6966537053
Security(60)4946404436
合计(260)239233194213202
数字为首次运行即“正常出分”的题数。正常出分 = 有评分结果、Agent 没有异常退出、全部模型请求返回 2xx。被排除的题:Clover 主要是 Agent 运行中止(V2 版 27 题中 25 题是 MetaCodes 续写计数 bug,已在 PR #526 修复);两个 GLM 主要是中转服务上游接口错误(UnknownApiError / 无可用账号)。

主分析只用首次运行的结果,两个模型同等对待;GLM 的补跑结果只在稳健性检验中使用(第 5 节)。比较总是在“两个模型都正常出分的同一道题”上进行。

3.主分析:同题得分比

跨域直接比较均分并不公平:各域难度和评分方式不同,两个参照模型在 V1 版中也都是 Office 均分最高。因此主指标采用同题得分比,即同一批题上 Clover 均分除以参照模型均分。同一域内两个模型使用同一评分器,域难度和评分尺度在比值中相互抵消。置信区间用逐题配对 bootstrap(1 万次,固定随机种子)。

V1 版 · 参照 GLM5.2
Office 0.93
Code 0.71
Web 0.61
Security 0.70
0.40.60.81.01.2
V1 版 · 参照 GLM5.3-Flash
Office 0.88
Code 0.64
Web 0.61
Security 0.79
0.40.60.81.01.2
V2 版 · 参照 GLM5.2
Office 0.97
Code 0.82
Web 0.75
Security 0.78
0.40.60.81.01.2
点为得分比,横线为 95% 置信区间,虚线为 1.0(与参照模型持平)。悬停可看数值。
参照配置OfficeCodeWebSecurityOffice 排名
V1 版 · 参照 GLM5.20.93[0.84, 1.03]n=350.71[0.60, 0.82]n=580.61[0.47, 0.76]n=530.70[0.55, 0.85]n=30第 1
V1 版 · 参照 GLM5.3-Flash0.88[0.83, 0.93]n=470.64[0.53, 0.76]n=590.61[0.48, 0.74]n=520.79[0.64, 0.95]n=27第 1
V2 版 · 参照 GLM5.20.97[0.85, 1.13]n=330.82[0.71, 0.93]n=600.75[0.64, 0.85]n=660.78[0.64, 0.90]n=34第 1

Office 是否显著高于其他域

参照配置Office − CodeOffice − WebOffice − Security
V1 版 · 参照 GLM5.2+0.22[+0.07, +0.37]p=0.002+0.32[+0.14, +0.49]p=0.001+0.22[+0.05, +0.40]p=0.004
V1 版 · 参照 GLM5.3-Flash+0.24[+0.11, +0.37]p<0.001+0.27[+0.13, +0.41]p<0.001+0.10[-0.07, +0.25]p=0.121
V2 版 · 参照 GLM5.2+0.15[-0.02, +0.34]p=0.040+0.22[+0.06, +0.42]p=0.010+0.19[+0.02, +0.40]p=0.035
每格:Office 得分比减去该域得分比,方括号内为 95% bootstrap 置信区间;p 为单侧 bootstrap p 值,按每行 3 次比较做 Holm 校正。加粗表示 p < 0.05。

唯一不显著的比较是 V1 版参照 GLM5.3-Flash 时 Office 对 Security(Security 只有 27 道有效同题,区间很宽)。

4.难度分析

差距随难度扩大

按任务难度分档后,Clover 的相对表现呈清晰梯度:低难度任务上接近参照模型,难度越高差距越大。三种配置下方向一致,“低 − 高”的差值都显著大于 0。

配置低难度中难度高难度低 − 高
V1 版 · 参照 GLM5.20.90[0.77, 1.03]n=300.74[0.63, 0.84]n=640.65[0.55, 0.76]n=82+0.24[+0.08, +0.41]
V1 版 · 参照 GLM5.3-Flash0.84[0.74, 0.94]n=340.71[0.61, 0.81]n=640.68[0.59, 0.78]n=87+0.16[+0.02, +0.29]
V2 版 · 参照 GLM5.20.98[0.87, 1.12]n=320.84[0.73, 0.95]n=650.74[0.65, 0.82]n=96+0.25[+0.10, +0.41]
难度沿用基准自带的分级:低 = easy / L2,中 = medium / L3,高 = hard / L4(含 1 道 expert)。四域合并计算同题得分比,方括号为 95% bootstrap 置信区间。分域看,V2 版下四个域都是低 > 中 > 高;V1 版个别域的中难度样本较少,顺序有波动。

控制难度后 Office 仍然领先

各域的难度构成不同:低难度题占比为 Office 26%、Code 9%、Web 11%、Security 25%。如果 Clover 只是低难度题做得好,Office 的领先可能只是难度构成造成的。下表把各域调整到相同的难度构成后再比较。

配置OfficeCodeWebSecurityOffice − CodeOffice − WebOffice − Security
V1 版 · 参照 GLM5.20.900.720.630.73+0.18p=0.043+0.27p=0.018+0.17p=0.043
V1 版 · 参照 GLM5.3-Flash0.890.660.620.83+0.23p=0.011+0.27p=0.001+0.06p=0.347
V2 版 · 参照 GLM5.20.950.870.760.76+0.08p=0.258+0.20p=0.042+0.19p=0.067
难度标准化:先在每个域内按难度档分别计算得分比,再按四域合并后的难度档占比加权平均,使各域的难度构成相同。p 为单侧 bootstrap p 值,每行 3 次比较做 Holm 校正,加粗表示 p < 0.05。只看高难度题,Office 的得分比在三种配置下为 0.85(n=8)、0.90(n=12)、0.93(n=9),仍是四域最高,但样本较少。

控制难度后 Office 仍排第一。对 Web 的优势最稳健,三种配置下都显著;对 Code 的优势比未调整时明显缩小,V2 版下不再显著;对 Security 只在一种配置下显著。

5.稳健性检验

缺失数据与补跑

Clover 被排除的题多是长任务,缺失并非随机。下表对 V2 版中“参照模型有效、Clover 缺失”的题做四种填补,从最有利到最不利于 Office 结论。

缺失题处理(V2 版 · 参照 GLM5.2)OfficeCodeWebSecurityOffice 排名显著的比较
Clover 缺失题按 0 分0.940.780.710.57第 13 / 3
按 Clover V1 版得分0.970.820.740.73第 13 / 3
按参照模型同题得分0.970.830.760.84第 11 / 3
Clover 缺失题按满分0.980.880.780.92第 11 / 3
纳入补跑结果0.940.810.750.76第 13 / 3
“显著的比较”指 Office 对其他三域的比较中,Holm 校正后 p < 0.05 的个数。“按满分”是对 Office 结论最不利的极端假设。

全部描述性指标

主指标是在看过初步结果后选定的,不是事先注册的。为避免只报告有利口径,下表列出 Clover 在两种配置下的全部描述性指标。

Clover · 配置域n均分中位分≥60 分≥80 分0 分满分
V1 版Office4974.176.288%43%0%2%
V1 版Code7251.250.043%28%6%14%
V1 版Web6942.540.042%30%32%14%
V1 版Security4944.045.027%16%16%12%
V2 版Office4872.178.677%44%2%2%
V2 版Code7359.869.256%34%7%19%
V2 版Web6657.970.052%44%18%29%
V2 版Security4646.045.228%20%11%17%
Clover 自身正常出分的全部题,不要求参照模型同题有效。满分率是唯一 Office 不占优的指标:Office 按检查项给部分分,所有模型在 Office 上都很少拿满分(GLM5.2 3% 到 6%)。

6.harness 对 Clover 的作用

V2 版相对 V1 版的同题变化

模型OfficeCodeWebSecurity
Clover-1.6[-6.9, +2.8]n=47,升 17 / 降 23+10.2[+4.0, +17.0]n=69,升 23 / 降 14+15.0[+5.6, +24.8]n=66,升 28 / 降 10+1.5[-2.1, +5.3]n=44,升 12 / 降 6
GLM5.2-5.0[-14.0, +1.7]n=30,升 14 / 降 13-0.2[-5.2, +4.7]n=59,升 11 / 降 16+7.5[-1.9, +17.7]n=53,升 18 / 降 12+5.2[-5.7, +16.4]n=25,升 9 / 降 6
同一模型、同一道题,V2 版得分减 V1 版得分(满分 100),只计两版都正常出分的题;方括号为 95% bootstrap 置信区间,加粗表示区间不含 0。

V2 版加入的都是验证类机制。它对 Clover 在需要和环境交互的 Code、Web 上有显著提升,对目标写在题面里的 Office 基本没有影响;对 GLM5.2 则四个域都不显著。这与下面的失败模式一致:Clover 的短板在探索和验证,不在一次性生成。V2 版同时打开了多个开关,提升只能归于整套配置,不能归于单个特性。

失败模式示例

以下示例从 V2 版中两模型分差较大的题里挑选,用于说明机制,不是系统抽样。

Clover 表现好:目标由题面或测试直接给出

CloverGLM5.2
Code #5

修复 __del__ 里冒出的异常

Clover100.0
GLM5.233.3

目标由测试直接给出。Clover 一次改对;GLM5.2 改完仍有两项测试失败。

查看题目与评分详情
任务 bug_fix-easy-a_crash_in_local · 难度 easy
我这里偶发看到 `Local` 对象回收时从 `__del__` 冒异常出来,通常是在退出或清理阶段。这个阶段不应该再把异常打到外面,麻烦把清理过程处理得稳一点。
Clover
得分 100.0,通过 3/3 项,耗时 21 秒,输出 3.3k token
失分项(0)

全部检查通过

GLM5.2
得分 33.3,通过 1/3 项,耗时 164 秒,输出 6.3k token
失分项(2)
  1. test_local_del_swallows_type_error_after_partial_iteration — AssertionError: assert not True
  2. test_local_del_cleans_seen_contexts_before_shutdown_type_error — AssertionError: assert not True
Code #74

header 透传加固

Clover91.7
GLM5.241.7

拦住非法 header,同时保住多值 header;GLM5.2 收得过紧,破坏了正常用法。

查看题目与评分详情
任务 security_hardening-medium-header_injection · 难度 medium
header 透传这里我想再收紧一点,正常多值 header 还得能工作,但带换行或者奇怪 header name 的输入不要继续塞进响应里,也别静默吞掉,调用方要能知道输入不合法。
Clover
得分 91.7,通过 11/12 项,耗时 77 秒,输出 12.4k token
失分项(1)
  1. crlf in value is rejected
GLM5.2
得分 41.7,通过 5/12 项,耗时 189 秒,输出 7.5k token
失分项(7)
  1. multi value headers are preserved
  2. set replaces values after validation
  3. wsgi list preserves original case after validation
  4. crlf in value is rejected
  5. horizontal tab in value is allowed after validation
  6. numeric values are stringified after validation
  7. case insensitive lookup works after validation
Web #29

帮助中心文档迁移

Clover80.0
GLM5.210.0

材料齐全的整理类任务。GLM5.2 的链接清单有 3 个目标无法解析。

查看题目与评分详情
任务 help-center-doc-pack-L4-050 · 难度 L4
# Web-Bench Task T50

The attachments are help docs and an FAQ table exported from the old CMS. Please reorganize them into a new help-center docs pack — Markdown content, navigation structure, and link list.


## Migration Review Evidence

Make the help-center pack reviewable from the submitted files. A writer or support reviewer should be able to trace FAQ merges, glossary replacements, navigation nodes, redirects, conflict choices, orphan-link cleanup, and source-priority decisions back to concrete rows or anchors in the bundled assets. That evidence can live in article notes, manifest fields, the conflict report, a migration notes file, or another clear part of the pack; do not rely on prose-only claims that cannot be followed to a generated destination.

## Output

Create the required artifact inside `/workspace`. The required output path is:

- `/workspace/submission/help-center` (declared as `environment/submission/help-center/`)

The help-center pack must include these files at minimum:

- `/workspace/submission/help-center/articles/account-billing.md`
- `/workspace/submission/help-center/articles/account-security.md`
- `/workspace/submission/help-center/nav.json`
- `/workspace/submission/help-center/links.json`
- `/workspace/submission/help-center/glossary.json`
- `/workspace/submission/help-center/redirects.json`
- `/workspace/submission/help-center/conflict-report.json`

Do not collapse everything into one article. Split account/billing content and security/SSO/password content into the two required Markdown articles, then make `nav.json` and `links.json` point to actual files or anchors.

Do not place the final answer only in chat; write the runnable artifact files.

## Public Assets

- `legacy_html`: `/workspace/public-assets/source_docs/legacy-help.html` text/html
- `faq_csv`: `/workspace/public-assets/source_docs/faq.csv` text/csv
- `nav_schema`: `/workspace/public-assets/spec/nav-schema.json` application/json
- `term_map`: `/workspace/public-assets/source_docs/terms.json` application/json
- `redirects_csv`: `/workspace/public-assets/source_docs/redirects.csv` text/csv
- `conflict_overrides`: `/workspace/public-assets/source_docs/conflict-overrides.csv` text/csv
- `support_ticket_samples`: `/workspace/public-assets/source_docs/support-ticket-samples.csv` text/csv
- `docs_migration_notes`: `/workspace/public-assets/spec/docs-migration-product-notes.md` text/markdown
Clover
得分 80.0,通过 17/18 项,耗时 140 秒,输出 36.2k token
失分项(1)
  1. glossary terms have used in anchors — Glossary uses nonstandard 'appearsIn' field (rule: schema_used_in_ok=false, links_valid_target_count=0), and the CMS entry anchors to #migration-evidence sections whose prose never…
GLM5.2
得分 10.0,通过 14/18 项,耗时 505 秒,输出 16.5k token
失分项(4)
  1. terms glossary applied — Five terms have valid contextual backrefs, but the CMS glossary row backrefs articles/account-billing.md#reset-password, a section where 'CMS' never appears; the term is used nowhe…
  2. links manifest — Rule evidence flags 3 unresolved destinations (account-billing.md#invoices, account-security.md#close-account, account-security.md#sso-configuration) missing the articles/ prefix, …
  3. cross references and orphans — links.json cross-stitch entries reference paths 'account-billing.md#invoices', 'account-security.md#close-account', 'account-security.md#sso-configuration' without the articles/ pr…
  4. glossary terms have used in anchors — The CMS glossary row's backref (articles/account-billing.md#reset-password) points to prose that never mentions or explains 'CMS'; neither article uses the term. Rule evidence conf…
Web #51

“保存成功但不生效”根因定位

Clover100.0
GLM5.280.0

分析类任务。Clover 给出兼容的修复;GLM5.2 的修复会把故障转移到旧客户端。

查看题目与评分详情
任务 root-cause-localization-L3-013 · 难度 L3
# Web-Bench Task T13

This notification-rule page shows "save successful" but the rule never actually fires. Please help me pinpoint the cause and give me a reviewable evidence-chain report. In the report, please cite the evidence IDs exactly as they appear in the attachments and explain which possible causes you ruled out.

## Report Section Requirements

The report should be organized along the structure below (wording is up to you, but the meaning must be clear). At least 4 of the following 5 section types must appear:

1. **Symptom Description**: what the user actually sees vs. expected behavior (what "save successful but rule doesn't fire" specifically means).
2. **Hypothesis Triage**: list at least **3 candidate root-cause hypotheses**, each with a brief description. At least **1 must be ruled out by evidence**, with the elimination reasoning stated explicitly (e.g. "ruled out", "rejected", "doesn't hold").
3. **Root Cause Localization**: final conclusion plus key evidence pointers.
4. **Evidence Citations**: cite at least **4 IDs** from the attached `source/evidence-timeline.csv` (for example, use the `evidence_id` values in that CSV), and the attachment names `dispatch-miss-log.jsonl` / `rule-save-payload.json` / `save-success-dom-summary.json` must appear at least 2 times total.
5. **Fix Direction**: at least 2 fix recommendations with explicit priorities (P0 / P1 / P2).

This is a technical report that the on-call engineer will review, not a quick answer — please give it a structure that holds up under review.


## Evidence Traceability

Make the RCA reviewable. Include an evidence trail in `report.md` or a small adjacent JSON/table that connects the save payload, dispatch logs, config pipeline note, timeline ids, ruled-out hypotheses, and final fix direction. The trail should use concrete bundled ids, rows, values, and source filenames so a reviewer can re-walk the reasoning; it should not be generic prose that repeats the symptom.

## Output

Create the required artifact inside `/workspace`. The required output path is:

- `/workspace/submission/report.md` (declared as `environment/submission/report.md`)

Do not place the final answer only in chat; write the runnable artifact files.

## Public Assets

- `incident_ticket`: `/workspace/public-assets/brief/incident-ticket.md` markdown
- `rule_save_payload`: `/workspace/public-assets/fixtures/rule-save-payload.json` json
- `dispatch_miss_log`: `/workspace/public-assets/fixtures/dispatch-miss-log.jsonl` jsonl
- `config_pipeline_note`: `/workspace/public-assets/source/config-pipeline-note.md` markdown
- `save_success_dom_summary`: `/workspace/public-assets/source/save-success-dom-summary.json` json
- `evidence_timeline`: `/workspace/public-assets/source/evidence-timeline.csv` csv
- `incident_review_requirements`: `/workspace/public-assets/spec/incident-review-requirements.md` text/markdown
Clover
得分 100.0,通过 11/11 项,耗时 22 秒,输出 7.0k token
失分项(0)

全部检查通过

GLM5.2
得分 80.0,通过 10/11 项,耗时 321 秒,输出 9.2k token
失分项(1)
  1. fix does not shift failure to incompatible clients — P0 fix normalizes mode at the rule-api save boundary but never discusses compatibility risk, migration/backfill of already-saved uppercase rules, dual-read at the compiler, or clie…

Clover 表现差:约定藏在环境中,或需要真实运行才能验证

CloverGLM5.2
Code #45

A/B 实验分析

Clover7.7
GLM5.2100.0

约定写在仓库 README(7 天归因窗口、输出字段),Clover 没有读取,测试报 KeyError: 'control'。

查看题目与评分详情
任务 product_analytics-hard-ab_test_analysis · 难度 hard
结账页文案实验跑完了,我想先知道新版有没有更好。数据里有曝光和购买事件,麻烦帮我算每组转化、收入和一个简单结论,别把很久以后的购买也算进去。
Clover
得分 7.7,通过 1/13 项,耗时 25 秒,输出 7.1k token
失分项(12)
  1. both variants present
  2. control user count — KeyError: 'control'
  3. treatment user count — KeyError: 'treatment'
  4. duplicate purchases still one buyer — KeyError: 'control'
  5. control revenue includes duplicate purchase value — KeyError: 'control'
  6. treatment excludes day9 purchase — KeyError: 'treatment'
  7. conversion rates rounded — KeyError: 'control'
  8. arpu calculated — KeyError: 'control'

另有 4 项未列出

GLM5.2
得分 100.0,通过 13/13 项,耗时 62 秒,输出 2.6k token
失分项(0)

全部检查通过

Code #46

第 7 天留存

Clover7.7
GLM5.2100.0

同样未读 README:按 1 到 7 天区间计算,缺少 summary 字段。

查看题目与评分详情
任务 product_analytics-hard-day7_retention · 难度 hard
我想看新用户 7 天后有没有回来,按注册日期分一下,再顺手看免费和付费有没有差别。这个先不用接数据库,拿这几份导出的表跑出结果就行。
Clover
得分 7.7,通过 1/13 项,耗时 41 秒,输出 7.2k token
失分项(12)
  1. summary users count — KeyError: 'summary'
  2. summary retained count — KeyError: 'summary'
  3. summary retention rate — KeyError: 'summary'
  4. three cohort rows — KeyError: 'cohorts'
  5. june1 has u1 retained exactly day7 not u2 day8 — KeyError: '2026-06-01'
  6. june1 retention rate half — KeyError: '2026-06-01'
  7. june2 has u3 retained — KeyError: '2026-06-02'
  8. june3 has no retained users — KeyError: '2026-06-03'

另有 4 项未列出

GLM5.2
得分 100.0,通过 13/13 项,耗时 155 秒,输出 6.3k token
失分项(0)

全部检查通过

Web #36

移动端预约页

Clover0.0
GLM5.250.0

只做了 node 局部自测即宣布完成;真实浏览器中页面初始化报错,0 分。

查看题目与评分详情
任务 mobile-booking-flow-L4-036 · 难度 L4
# Web-Bench Task T36

I want to build a mobile store booking page where users can pick a service, pick a time slot, fill in their contact info, and confirm submission. Use the bundled service catalog and slot inventory as the source data rather than placeholder services. Full slots shouldn't be selectable, and users need to be able to review their info before submitting. Treat this like a small production booking flow, not a static form: if users go back from review and change service or slot, the review and final payload must update; confirming twice should not create duplicate bookings; and the page should make the selected slot visibly reserved/unavailable after a successful confirmation.


## Booking State Expectations

Make the booking state observable in the page itself. A reviewer should be able to select a service and slot, trigger validation errors, reach review, edit the service and slot, confirm, and then see the submitted booking summary without relying on hidden logs. The final submitted state should include service id, slot id, customer name, phone, duration, price, and a stable booking id.

The flow should be robust to edge cases: the sold-out 13:30 slot stays blocked, review edits recompute price and payload, duplicate confirm does not create a second booking, a confirmed slot becomes unavailable for the current session, and starting a fresh booking clears contact fields while preserving that reserved slot.

On mobile, keep the bottom action area usable without hiding the last form field, validation message, review row, or confirmation summary. If you use a sticky footer, include enough bottom spacing or safe-area handling that the user can still scroll every important row above it.


## Output

Create the required artifact inside `/workspace`. The required output path is:

- `/workspace/www/index.html` (declared as `environment/www/index.html`)

Do not place the final answer only in chat; write the runnable artifact files.

## Public Assets

- `service_catalog`: `/workspace/public-assets/data/service-catalog.json` application/json
- `slot_inventory`: `/workspace/public-assets/data/slot-inventory.json` application/json
- `mobile_wireframe`: `/workspace/public-assets/design/mobile-wireframe.md` text/markdown
- `validation_rules`: `/workspace/public-assets/spec/validation-rules.md` text/markdown
Clover
得分 0.0,通过 4/15 项,耗时 115 秒,输出 27.4k token
失分项(11)
  1. service_and_slot_data_used — Services render from catalog (names/durations/prices match), but no slot times or capacity status appear in rendered text or snapshots (only 3 buttons, no slot buttons), and a 'Can…
  2. sold_out_slot_disabled — Page error 'Cannot access state before initialization' prevents renderSlots; screenshots show 'Select a Time Slot' heading with no slot buttons rendered at all, so the sold-out 13:…
  3. form_validation — Page throws 'Cannot access state before initialization', breaking the app: slot grid never rendered and workflow trace shows 0 successful actions, no state change, and no validatio…
  4. review_step_correct — Runtime error 'Cannot access state before initialization' breaks the app: slots never render, no workflow action succeeds, and the review step is unreachable in rendered evidence, …
  5. submitted_payload_correct — Runtime TDZ error 'Cannot access state before initialization' breaks rendering: slot times never appear, workflow trace shows 0 successful actions and failed Continue click, so no …
  6. mobile_visual_finish — Mobile screenshot shows the 'Select a Time Slot' section empty with no slot buttons rendered, and a JS pageerror ('Cannot access state before initialization') occurred; a main regi…
  7. submit booking id visible — Rule evidence candidate status: fail.
  8. Editing after review updates review, price, and submitted payload. — agent-judge: fail (Page throws 'Cannot access state before initialization': initApp() at index.html:488 runs before let state (line 496), so renderSlots hits TDZ and slot buttons )

另有 3 项未列出

GLM5.2
得分 50.0,通过 13/15 项,耗时 978 秒,输出 28.9k token
失分项(2)
  1. submit booking id visible — Rule evidence candidate status: fail.
  2. Editing after review updates review, price, and submitted payload. — Not submitted
Office #47

保修追偿分摊

Clover69.0
GLM5.286.8

说明文字写对了政策比例 0.62、0.78,表格中却全部填 1.0:读到了,没有回读核对。

查看题目与评分详情
任务 warranty-recovery-allocation-L5-033 · 难度 medium
请读取工作目录中的 `warranty_claims.xlsx`、`event_chain_log.csv`、`return_inspection.xlsx`、`policy_versions.xlsx`、`contract_exceptions.csv`、`historical_recovery.csv` 与 `README_recovery_rules.txt`,为集团售后供应商保修追偿分摊生成一个新的 xlsx 文件 `output/warranty_recovery_allocation.xlsx`。输出必须包含 `可追偿明细`、`不可追偿或待核查`、`供应商追偿汇总` 三个 sheet,且只能围绕供应商保修追偿分摊做数据处理,不要额外做税务、会计分录或自由法律解释。

`可追偿明细` 的列依次为:claim_id, event_chain_id, supplier, policy_version, contract_exception, 责任比例, 维修成本, 已追偿金额, 本次可追偿金额, 分摊说明。`不可追偿或待核查` 的列依次为:claim_id, 原因类型, 触发规则, 缺失证据, next_action。`供应商追偿汇总` 的列依次为:supplier, claim_count, gross_repair_cost, already_recovered, 本次可追偿, 待核查金额。

规则口径限定为且仅为五个核心规则族:1) policy versioning,按索赔台账的故障日期在 `policy_versions.xlsx` 中选择政策版本;本案例最多只有 PV1-2026Q1 和 PV2-2026Q2 两个政策版本,边界为故障日期 >= 2026-04-01 使用 PV2,否则使用 PV1。2) contract override,`contract_exceptions.csv` 最多只有两类合同例外:`CAP_AMOUNT` 封顶和 `SPLIT_OVERRIDE` 分摊改写;命中例外时必须覆盖默认政策金额或默认责任分摊。3) event-chain closure,`event_chain_log.csv` 必须同时存在 REPAIR_CLOSED=DONE、RETURN_INSPECTED=PASSED、RECOVERY_READY=READY,且不能存在 HOLD_OPEN=OPEN;否则进入 `不可追偿或待核查`,原因类型填 `事件链未闭环`。4) duplicate recovery prevention,`historical_recovery.csv` 仅 `status=已入账` 的历史追偿金额可扣减;草稿、作废和非本批次记录不得扣减。若已入账金额覆盖该 claim/supplier 可追偿额,则不再进入可追偿明细,进入 `不可追偿或待核查`,原因类型填 `重复追偿`。5) supplier allocation split,`return_inspection.xlsx` 的 `责任链明细` 中只有 `evidence_state=采纳` 的供应商参与分摊,`排除` 行不得进入输出;`维修成本` 列写该供应商分摊后的维修成本,不是整单维修成本。

计算顺序为:先确认事件链闭环;再按采纳责任链确定 supplier 与默认分摊;再按故障日期选择 policy_version 和责任比例;再应用合同例外(分摊改写或封顶);再扣减已入账历史追偿;最后输出本次可追偿金额。本次可追偿金额不得为负数,金额保留两位小数。分摊说明应简要说明默认/合同改写分摊、政策比例、封顶和已追偿扣减(如有)。

汇总口径:`claim_count` 是该供应商涉及的可追偿或待核查 claim 去重数量;`gross_repair_cost` 是供应商分摊后的维修成本暴露,事件链未闭环按申报供应商归集全额;`already_recovered` 仅汇总已入账历史追偿;`本次可追偿` 汇总可追偿明细中的本次可追偿金额;`待核查金额` 只汇总事件链未闭环或缺责任证据等需要补证的维修成本,重复追偿已覆盖的记录为 0。

输入中包含非本批次和被排除/草稿/作废记录作为干扰项;不要把这些记录写入输出或用于扣减。`warranty_claims.xlsx` 分两个 sheet,列名有中文和英文差异,请按语义读取,不要固定列位置。
Clover
得分 69.0,通过 238/345 项,耗时 243 秒,输出 49.1k token
失分项(107)
  1. detail_WR-033-001_星桥电子_ratio — actual=1.0, expected=0.62
  2. detail_WR-033-001_星桥电子_allocation_note — actual=默认分摊100%; 政策比例62%, expected tokens=['星桥电子', '政策比例']
  3. detail_WR-033-002_星桥电子_ratio — actual=1.0, expected=0.78
  4. detail_WR-033-002_星桥电子_allocation_note — actual=默认分摊100%; 政策比例78%, expected tokens=['星桥电子', '政策比例']
  5. detail_WR-033-003_岚川组件_ratio — actual=1.0, expected=0.55
  6. detail_WR-033-003_岚川组件_allocation_note — actual=默认分摊100%; 政策比例55%, expected tokens=['岚川组件', '政策比例']
  7. detail_WR-033-004_岚川组件_ratio — actual=1.0, expected=0.65
  8. detail_WR-033-004_岚川组件_allocation_note — actual=默认分摊100%; 政策比例65%, expected tokens=['岚川组件', '政策比例']

另有 99 项未列出

GLM5.2
得分 86.8,通过 297/342 项,耗时 608 秒,输出 48.8k token
失分项(45)
  1. detail_WR-033-001_星桥电子_allocation_note — actual=默认分摊1.00,PV1-2026Q1责任比例0.62,本次可追偿=1800.00×0.62=1116.00, expected tokens=['星桥电子', '政策比例']
  2. detail_WR-033-002_星桥电子_allocation_note — actual=默认分摊1.00,PV2-2026Q2责任比例0.78,本次可追偿=2000.00×0.78=1560.00, expected tokens=['星桥电子', '政策比例']
  3. detail_WR-033-003_岚川组件_allocation_note — actual=默认分摊1.00,PV1-2026Q1责任比例0.55,本次可追偿=1500.00×0.55=825.00, expected tokens=['岚川组件', '政策比例']
  4. detail_WR-033-004_岚川组件_allocation_note — actual=默认分摊1.00,PV2-2026Q2责任比例0.65,本次可追偿=1600.00×0.65=1040.00, expected tokens=['岚川组件', '政策比例']
  5. detail_WR-033-005_南衡传动_contract_exception — actual=CAP_AMOUNT, expected=CAP_AMOUNT:CE-CAP-NH-PUMP
  6. detail_WR-033-005_南衡传动_allocation_note — actual=默认分摊1.00,PV2-2026Q2责任比例0.74,本次可追偿=2400.00×0.74=1776.00,追偿额2400.00×0.74=1776.00,合同封顶CAP_AMOUNT=1500.00,本次可追偿=1500.00, expected tokens=['南衡传动', '政策比例', '封…
  7. detail_WR-033-006_北陆材料_allocation_note — actual=默认分摊1.00,PV1-2026Q1责任比例0.60,本次可追偿=1300.00×0.60=780.00, expected tokens=['北陆材料', '政策比例']
  8. detail_WR-033-007_北陆材料_allocation_note — actual=默认分摊1.00,PV2-2026Q2责任比例0.72,本次可追偿=1900.00×0.72=1368.00,已入账追偿扣减400.00,本次可追偿=968.00, expected tokens=['北陆材料', '政策比例', '扣减']

另有 37 项未列出

系统统计支持这两类示例:在 V2 版 Code 题上,两边都读了 README 时分差 −0.4 分,只有 GLM5.2 读了时 GLM5.2 高 32.1 分;Web 上 Clover 有 12 题 0 分(GLM5.2 1 题),原因是数据路径 404、初始化顺序错、语法错误等运行时错误。这些是轨迹统计得到的相关性,因果需要干预实验验证。

针对 harness 的优化方向(待验证)

方向做法依据
引导探索写代码前先读取仓库文档中的接口约定;交付前在真实环境(浏览器、测试)中运行确认Code 不读约定的题分差 +32.1;Web 0 分题多为运行时错误;V2 版的验证机制已带来 +10 到 +15 分
多候选筛选同一步并行生成多个候选,用可执行检查挑选Clover 生成速度快,多采样的时间成本低
单轮输出限长限制单轮思考预算,长任务拆成多轮单轮用满 32768 token 是续写中断的主要来源
工具修改模式提供“给定前后文、只生成中间一段”的编辑接口现有编辑工具按自回归生成设计,没有利用 DLLM 双向条件生成的能力;需要推理服务开放填空接口

7.局限

A.附录:复现信息

MetaCodes commit
c2d6074f160115515f9f61764cf8333bd66fab59
artifact manifest
c35cb76728a04f1799c978a21c30bc252160f955265f2503b0f2f48a51c99f1b
overlay manifest
1de913f1b9f24de6236355563ded21c0caaea1e6c4fcde3b198a501fcda82aa2
运行镜像
sha256:317b69476f7cf8555725a898aecdbfdddc09332d48b0f838e883bd0512b29ad9
V2 版协议
wb-metacodes-enhanced-20261115/protocol.json,冻结于 2026-11-14 17:19 UTC,SHA-256 be48070e…a5e7
分析数据与脚本
credible-20261117/:extract_all.py(逐题提取,1364 条记录)、analyze.py(统计分析)、rows.json、analysis.json

运行统计(V2 版)

模型正常题一次满分率输出 token 均值 / 中位TTFT 中位TPS 中位
Clover17.9%(42/235)50.2k / 19.8k0.77 秒534
GLM5.231.5%(67/213)24.4k / 15.7k3.19 秒63
本表沿用逐题明细的口径(含 GLM 补跑),与正文的首次运行口径不同。输出 token 统计两边都完成的 231 题,含思考。TTFT 和 TPS 来自跑分负载下的 3 次短提示测速,两边 max_tokens 不同,Clover 经代理测得,仅供参考。

数据:逐题明细 · 逐题 CSV · 官方榜单 workbuddybench.com(快照 2026-11-05)