From 6ce0d02375b00e54bc462b51bcf24cbe4ef44333 Mon Sep 17 00:00:00 2001 From: "duanjialing.777" Date: Mon, 21 Sep 2026 18:16:43 +0800 Subject: [PATCH] docs(research): add Jev external evidence supplement Signed-off-by: duanjialing.777 --- .../optional-semantic-assistance-jev-v0.md | 1 + ...tional-semantic-assistance-jev-v0.zh-CN.md | 1 + docs/research/README.md | 3 + ...v-external-evidence-supplement-v0.zh-CN.md | 101 ++++++++++++++++++ 4 files changed, 106 insertions(+) create mode 100644 docs/research/agent-workflow-audits/jev-external-evidence-supplement-v0.zh-CN.md diff --git a/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.md b/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.md index 91d16bc140..1fe12a7f4a 100644 --- a/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.md +++ b/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.md @@ -375,6 +375,7 @@ Record any future accepting decision with its actual public link and exact scope | E3 | TypeSafe API/confidence/model-limitations pages linked in section 5.3 | Interface and documented limitations; not independent model quality, data terms or a live trial | | E4 | PR #4749 and its linked maintainer review | Public request and request-changes rationale; no accepted research/adoption decision | | E5 | A/B/C and F01–F12 | Proposed experiments/obligations; unexecuted for this feature | +| E6 | [Jev external evidence supplement v0 (Chinese)](../../research/agent-workflow-audits/jev-external-evidence-supplement-v0.zh-CN.md) | Third-party quality and implementation evidence as of 2026-09-21; no change to Q1-Q7 or research/adoption status | ## Appendix D: Deferred mechanisms and rejected shortcuts diff --git a/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.zh-CN.md b/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.zh-CN.md index 7ab20edd08..64b73badc1 100644 --- a/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.zh-CN.md +++ b/docs/architecture/rfcs/optional-semantic-assistance-jev-v0.zh-CN.md @@ -375,6 +375,7 @@ M0 不默认批准 D1 实施、自动 worker 采纳或隐藏的必需模型阶 | E3 | 第 5.3 节 TypeSafe API/confidence/模型限制页面 | 接口与公开限制，不是独立模型质量、数据条款或 live 实验 | | E4 | PR #4749 及链接的维护者评审 | 公开请求和请求修改理由，不是研究/采用已获接受 | | E5 | A/B/C 与 F01–F12 | 拟议实验/义务，该功能尚未执行 | +| E6 | [Jev 外部证据补充 v0](../../research/agent-workflow-audits/jev-external-evidence-supplement-v0.zh-CN.md) | 截至 2026-09-21 的第三方质量与实现证据，不改变 Q1-Q7、研究或采用状态 | ## 附录 D：延后机制与排除的捷径 diff --git a/docs/research/README.md b/docs/research/README.md index 903aa7f0a7..a2f2e7b8af 100644 --- a/docs/research/README.md +++ b/docs/research/README.md @@ -10,6 +10,9 @@ into product, architecture, or reference documentation with source links. non-active runners, adapters, and historical packets retained for archaeology. - [Agent workflow audits](agent-workflow-audits/): bounded reviews of external agent workflow patterns. +- [Jev external evidence supplement v0 (Chinese)](agent-workflow-audits/jev-external-evidence-supplement-v0.zh-CN.md): + non-normative evidence about model quality, evaluation limits, and integration + patterns for the Jev RFC. Raw private runs, trajectories, credentials, local paths, internal links, and non-public source material do not belong in this directory. diff --git a/docs/research/agent-workflow-audits/jev-external-evidence-supplement-v0.zh-CN.md b/docs/research/agent-workflow-audits/jev-external-evidence-supplement-v0.zh-CN.md new file mode 100644 index 0000000000..d259ae1086 --- /dev/null +++ b/docs/research/agent-workflow-audits/jev-external-evidence-supplement-v0.zh-CN.md @@ -0,0 +1,101 @@ +# Jev 外部证据补充 v0 + +调研日期：2026-09-21 + +本文件是 +[Jev RFC 中文版](../../architecture/rfcs/optional-semantic-assistance-jev-v0.zh-CN.md) +的非规范证据快照。RFC 仍是研究范围、系统边界和决策状态的唯一主文档。 +本文件不批准实验、数据出站、支出、实现或产品采用。 + +## 外部证据没有改变产品方向排序 + +公开结果显示，Jev 在当前快照和有限候选中的局部判断值得验证。相同材料不能证明 +Jev 能估计 Todo 的未来目标贡献、比较分支组合，或归因长轨迹失败。现有证据因此 +不支持把 D4 或 D5 提升为 LoopX 的产品优先方向，也不支持 D7 或 D8 已具备模型资格。 + +对 Q1 的建议是按目标 caller 做有界比较。D4 形状的固定候选测试可以作为可选预筛， +用于发现问题表述、输入或校准缺陷，但其通过或失败都不构成 D7/D8 的研究资格。 +owner 可以直接选择获准的 D7/D8 A/B/C 比较，在目标任务中同时测量提供方增量和 +完整流程价值。跨任务迁移分数或阈值仍缺少证据。 + +这是研究建议，不改变 RFC 的 `accepted-for-discussion` 状态。Q1 至 Q7 仍待 owner +决定。 + +## 证据登记 + +本轮没有调用 Jev。下列结果来自官方资料或社区报告，均未在 LoopX 中复跑。 + +| 来源和任务 | 报告结果 | 方法限制 | 对 LoopX 的含义 | +| --- | --- | --- | --- | +| TypeSafe 产品资料 | `jev-1.13.0`；每百万 input tokens 0.042 美元；`state + 全部 questions ≤ 64k`，且 `state + 最长 question ≤ 32k` tokens | 厂商资料会更新；本次访问日期为 2026-09-21 | 可用于估算输入预算和 API 费用；不证明质量或完整流程成本 | +| LangChain 天气 Agent 评估 | 5 条轨迹，每条重复 100 次；500 次二元判断匹配一位人工标注者 | 只有 5 条不同轨迹；连续分数只测稳定性；运行来自 `41d821f-dirty`；未记录实际 Jev 版本 | 支持在小型固定集上研究重复性；不支持通用结果判断 | +| SciFact 重排 | 60 个查询，每个 15 个候选；MRR 从 0.622 升至 0.843 | 抽样 900 对；报告未提供独立留出集 | 支持测试有限候选重排，不支持 D4 产品价值 | +| MetaTool 路由 | 200 个查询各测 random、similar 两种模式，共 400 次判断；5 个相似候选时 193/200 正确，即 96.5% | 固定工具目录；重复模式不是独立查询 | 支持测试小集合 `Choice`，不支持 D7 Todo 价值排序 | +| SkillRetBench | 501 个 Skill，500 个查询；报告的 Hybrid `recall@1` 宏平均为 75.8% | 代码计量前 k 项是否命中任一金标；BM25 38.0% 取自外部基线，未在同批样本重跑；方法在同一评测中迭代 | 可提出竞争与验证的假设，不能视为同样本收益对照 | +| InjecAgent 注入检测 | 1,105 条，其中良性样本 51 条；所选阈值下 precision 和 recall 为 100% | 阈值在同一语料上扫描；属于开发集结果 | 只能提出附加风险信号假设 | +| Shell 风险判断 | 自建 130 条命令；v2 危险拦截 100%，正常放行 98.2% | 查看 v1 错例后修改 criteria，并在同一集合报告 v2 | 说明代码规则与局部问题可以组合；不是样本外安全证明 | +| RouterBench 模型路由 | 825 条；准确率 51.3%；报告中中文切片低于英文 | 汇总未单列语言分母，也未建立同内容翻译对照 | 该配置未显示可靠路由收益；差异不能单独归因于语言 | +| Who&When 失败归因 | 1,403 个步骤；AUROC 为 0.560 | 单一社区实现 | 不支持长轨迹失败归因 | +| judge-audit 路由消融 | 同一批 120 行任务仅增加选项说明，准确率从 66.7% 变为 97.5% | 只有 61 种不同文本；难度标签由作者构造，未运行强弱模型；事后消融 | 问题定义会改变结果，不能把提示收益归因于模型替换 | +| Backnotprop 注入评测 | 误报率固定为 5% 时，精选集检出率 74.4%，真人攻击混合集为 19.9% | 两集合分别含 1,688 和 6,115 条；阈值各自扫描，非冻结阈值迁移实验；有标签争议，本轮未复跑 | 即使分别调阈值，可达效果也依赖分布；不支持跨场景复用阈值 | + +`jev-harness-lab` 的摘要称约 22,500 次调用和 2.19 美元，方法章节另称 13,616 +次调用和 0.45 美元。本文不使用这两组冲突总量推导平均成本。MetaTool 的分母见 +[明细报告](https://github.com/Aitejiu/jev-harness-lab/blob/29ddf8210e3a96f9d383e9b479e3e5c39455c394/eval/results/agent-route-k5-report.md)， +SkillRetBench 的指标与基线读取方式见 +[评测代码](https://github.com/Aitejiu/jev-harness-lab/blob/29ddf8210e3a96f9d383e9b479e3e5c39455c394/eval/run_skillretbench.py#L279-L348)。 + +## 三个实现说明了不同边界 + +[`browser-use/jev-ultrafast`](https://github.com/browser-use/jev-ultrafast/blob/1231850a0bf1a0c0341fe408ef1668dbbfdfac46/docs/performance.md) +只让 Jev 从当前 DOM 快照的编号候选中选择动作。 +[执行器](https://github.com/browser-use/jev-ultrafast/blob/1231850a0bf1a0c0341fe408ef1668dbbfdfac46/jev_ultrafast/browser.py#L88-L106) +再次检查快照是否过期，并在 +[执行前检查遮挡和几何信息](https://github.com/browser-use/jev-ultrafast/blob/1231850a0bf1a0c0341fe408ef1668dbbfdfac46/jev_ultrafast/browser.py#L135-L162)。 +仓库只报告三对 Google Flights 运行，因此该案例证明实现路径，不证明稳定性能收益。 + +[`fast-jev-compaction`](https://github.com/tamaratran/fast-jev-compaction/blob/e3f262a7f4d42bd8dd32ced30d26176f7cb545b0/src/compact.ts) +会根据 Jev 分数执行 `drop_result` 或 `drop_call`。它固定保留 pinned 和最近消息， +并在[调用失败或压缩率不足时回退](https://github.com/tamaratran/fast-jev-compaction/blob/e3f262a7f4d42bd8dd32ced30d26176f7cb545b0/hooks/fast-jev.ts)。 +实现没有证明被删材料可重新获取，也不识别 LoopX 的验收证据或权威历史。 +该案例是 D4 的边界反例，不能作为删除材料的正向依据。 + +[`pi-jev-auto-mode`](https://github.com/jomatsu/pi-jev-auto-mode/blob/06a56043088124ed650471a8589fddd8139708f4/src/extension.ts) +先执行[确定性策略](https://github.com/jomatsu/pi-jev-auto-mode/blob/06a56043088124ed650471a8589fddd8139708f4/src/policy.ts)， +再把未决调用交给 Jev。缺少引擎、取消、异常或 +[无效响应](https://github.com/jomatsu/pi-jev-auto-mode/blob/06a56043088124ed650471a8589fddd8139708f4/src/jev/response.ts) +都会阻止高风险调用。这个案例支持语义判断不能覆盖确定性拒绝，不证明 Jev +可以取得安全 authority。 + +三个实现的失败策略和动作影响不同，不能归纳成一个已经验证的通用 provider +接口。 + +## 对 Q1 至 Q7 的增量影响 + +| 待决问题 | 外部证据带来的变化 | 仍未成立的结论 | +| --- | --- | --- | +| Q1：研究方向 | D4 预筛可选；可以直接开展获准的目标 caller 比较 | D4 结果不能授予或否定 D7/D8 研究资格 | +| Q2、Q3：问题与对照 | 在相同证据、标准和选项含义下比较模型；将问题改写另作消融 | 不能把输入整理或提示优化收益归因于 Jev | +| Q4：模型、数据和支出 | 研究可以固定 `jev-1.13.0`；官方价格只用于预算估算 | 移动别名不能用于长期校准；数据出站仍未获批准 | +| Q5：采用证据 | 在目标任务的独立留出集评价质量与成本，并按来源或时间检查阈值稳定性 | 同数据集调阈值后的最好成绩不证明样本外表现 | +| Q6、Q7：机制与执行 | 社区案例支持按 caller 定义边界和失败行为 | 没有证据要求通用接口，也没有证据支持转移 LoopX authority | + +另一项机制类比来自 TypeSafe 的 +[特征发现案例](https://docs.typesafe.ai/cookbooks/autoresearch_feature_discovery)： +大模型提出问题，Jev 提取局部语义特征，CatBoost 从标签学习目标，独立留出集评价结果。 +该厂商案例使用 `jev-1.12` 和葡萄酒评论，只说明可组合的实现方式。对 LoopX， +局部语义信号能否预测工程结果仍需目标任务数据，不能直接把 Jev 概率当作 Todo +预期价值。它也不构成新增监督模型或通用框架的实施建议。 + +## 来源 + +- [TypeSafe Jev 发布说明](https://typesafe.ai/blog/introducing-system-one-models-and-jev)、 + [模型与价格](https://docs.typesafe.ai/models.md)和 + [Jev 1.13 限制](https://docs.typesafe.ai/model-jaggedness/jev-1.13)，访问于 + 2026-09-21。官方页面未版本化，后续内容可能变化。 +- [LangChain 实验说明](https://www.langchain.com/blog/jev-agent-evals-langsmith)和 + [固定结果文件](https://github.com/danielgshea/jev-as-a-judge/blob/adfea74905f721ea2594e22804c8c8edf1693163/assets/benchmark-jev-luna-terra-sonnet/6d08df72-c878-458c-b7c5-a7824ee6e721/benchmark.json)。 + 结果文件记录 `revision_id=41d821f-dirty`，固定仓库链接不等于精确复现。 +- [`jev-harness-lab` 固定版本报告](https://github.com/Aitejiu/jev-harness-lab/blob/29ddf8210e3a96f9d383e9b479e3e5c39455c394/docs/REPORT.md)。 +- [judge-audit 路由消融](https://github.com/kunko-ai-labs/judge-audit/blob/49876079135c9837f04734987ce5745a233585c6/docs/audit-jev-router-ablation.md)，保留其合成标签和重复文本限制。 +- [Backnotprop 注入评测](https://backnotprop.com/blog/jev-guardrails/)与上述 TypeSafe 特征发现页面，访问于 2026-09-21；网页未版本化。