Agent 运行评估 独立测试站
目标与技术方案 ↗

COMPANY AGENT REVIEW

监管与有效性评估

原脚本提供事实,项目与 case 串起目标、结果、代价和人的评价。

已显示最近快照快照同步 2026/10/18 01:43:10

数据已显示。交互加载期间可直接使用板块链接、分类链接和表格展开;刷新可读取最新快照。

核心 case · C30

HDR-track4world评测及多模型任务维度比较

2000局完成;总耗时5小时34分,含约2小时依赖等待。

2026-10-12 04:00 至 2026-10-15 04:00(北京时间);历史核对,执行前查最新状态。

人的最终 Review

待审

尚无明确的最终评审意见。

本 case 的 token 总数

待关联

计入该目标下的相关运行与返工,尚缺关联时不估算分摊。

这次要做到什么

评测HDR并与既有HDR/60k基线在共同任务比较。 指定HDR与正确历史基线在共同任务对比,给分项与欠缺样本/seed差异

实际做到什么

输出停止快照、排队/执行区分、swap_T故障持续及修复;最终报告同文档保留停止历史和续跑结果。另按共同50配置/40任务比较4模型,单seed对历史三seed均值仅描述差异。报告:https://qcnatfwzm13g.feishu.cn/docx/I2dldcMrvoiFeYxSFEyc24FdnEc

来源 1 ↗

使用的 Skill

缺少实际使用及版本证据,待核对原执行。

Agent 初评

理解3/4 / 交付3/4 / 可靠3/4 / 协作2/4

与人的最终 Review 分开。

这个 case 收到的反馈

任务维度补充、非明确差评

两个checkpoint的SHA相同

人指出复制错误,随后给出新SHA;这不是Agent差评,但会影响评测对象身份。

处理结果:保留纠正前后,按实际加载身份理解报告。

下一步:暂无

这俩 ckeckpoint sha256 是一样的?
来源 1 ↗
这个正常吗
来源 1 ↗
c71f5c0c924423fbec5299050c1f0014d2f7f30ecbadcdaaa04f60b1e17f0a56
来源 1 ↗
复制错了
来源 1 ↗
比较需要展开到任务维度

应结合原先已交内容判断是否漏交,不能只按补充次数扣分。

处理结果:原话题随后交逐任务比较;保留首次与补充版。

下一步:暂无

对比各个人物维度呢?
来源 1 ↗
<p>@Lv.0 茵蒂克丝 对比各个任务维度</p>
来源 1 ↗

下一步如何判断和改进

建议供评审,不表示已获准启动新的评测或整改。

建议先核对下面的证据缺口,再补充人的最终 Review;已有结果在原验收范围内判断。

已读原结果话题和含续跑的完整报告;最终审计通过但纹理专项核验、实际合批/缓存效率未知;资源清理实绩未核,不填已释放。

展开过程:运行范围、耗时、资源与返工

运行范围

seed0,50配置2000局;Run v3-hdr-track4world-2000-s0-20261012,最终generation3。五类等权Score21.96/SR16.16%,310/2000成功的逐局SR15.50%另列;20布局替补,7312产物/6000视频审计通过。历史停止时0局不能覆盖最终结果。

关键时间与耗时

北京时间10月12日17:06:53提交;17:16:34停止;17:25续跑但等待Ego;19:31:33放行、19:31:38执行;22:40:52终态、22:53报告。提交→终态5h33m59s;放行执行→终态约3h09m14s;续跑等待约2h06m。含故障与等待,非纯推理;17:07提交确认→22:53报告约5h46m。

资源使用

依赖门禁等待两组Ego;放行后dev04 32worker,首批253局分配量并非完成量。r160→r161恢复,异常批次单独保留/补跑,避免重跑1992有效局。不能按优先级低就默认绝不提前回填,必须落实当次明确等待关系。

返工与人工介入

初始低优先级仍回填启动,人要求先停、等待Ego完成后再运行,显示优先级与显式依赖须区分。停止调用传输失败后读回重试;20:00 swap_T发生device lost并卡到22:34,原Run保留1992局后补8局,22:40完成。另20候补。钱泽中追加共同任务/逐维比较是新增分析要求,不计返工。

来源 1 ↗