Agent 运行评估 独立测试站
目标与技术方案 ↗

COMPANY AGENT REVIEW

监管与有效性评估

原脚本提供事实,项目与 case 串起目标、结果、代价和人的评价。

已显示最近快照快照同步 2026/10/18 04:18:28

数据已显示。交互加载期间可直接使用板块链接、分类链接和表格展开;刷新可读取最新快照。

核心 case · C27

Track4World60k固定600与2000局

600与2000局均完成;分别耗时1小时33分、3小时1分。

2026-10-12 04:00 至 2026-10-15 04:00(北京时间);历史核对,执行前查最新状态。

人的最终 Review

待审

尚无明确的最终评审意见。

本 case 的 token 总数

待关联

计入该目标下的相关运行与返工,尚缺关联时不估算分摊。

这次要做到什么

回答本checkpoint的评测表现,保留两个范围及异常。 准确标权重、固定600和50配置2000范围,区分基础设施异常与模型失败

实际做到什么

过程输出指出节点探针超时、真实进程核对、结果回收阻塞,后续明确恢复证据。600报告:https://qcnatfwzm13g.feishu.cn/docx/WUFndjDCNo4FdOx8yvycV5Minsg 2000报告:https://qcnatfwzm13g.feishu.cn/docx/YfN8dkaMdo3vCMxn3K6cPRROnod

来源 1 ↗ · 来源 2 ↗

使用的 Skill

缺少实际使用及版本证据,待核对原执行。

Agent 初评

理解3/4 / 交付3/4 / 可靠2/4 / 协作3/4

与人的最终 Review 分开。

这个 case 收到的反馈

有故障及身份反馈,未见对最终报告质量的明确评价

两个checkpoint的SHA相同

人指出复制错误,随后给出新SHA;这不是Agent差评,但会影响评测对象身份。

处理结果:保留纠正前后,按实际加载身份理解报告。

下一步:暂无

这俩 ckeckpoint sha256 是一样的?
来源 1 ↗
这个正常吗
来源 1 ↗
c71f5c0c924423fbec5299050c1f0014d2f7f30ecbadcdaaa04f60b1e17f0a56
来源 1 ↗
复制错了
来源 1 ↗

下一步如何判断和改进

建议供评审,不表示已获准启动新的评测或整改。

建议先核对下面的证据缺口,再补充人的最终 Review;已有结果在原验收范围内判断。

已读两份最终报告和原结果话题;纹理缓存错误对画面影响仍缺专项核验,独立产物审计不证明视觉语义正常。两份Run完整身份在报告;实际GPU小时和完整交办时长尚缺。C06作为本Run尾部事件保留。

展开过程:运行范围、耗时、资源与返工

运行范围

同一次权重交办含两个seed0 Run:fixed600(54配置)与2000(50配置,排除吐司及电脑耳机各标准/随机)。600:Score19.64/SR13.57%,594原成员+6替补,不能称原固定集严格复现;2000:Score19.51/SR13.71%,21布局替补。1800/6000视频分别通过审计。两组成绩分开,不能相加当2600独立样本。

关键时间与耗时

北京时间10月12日600提交11:58:17→终态13:31:49,1h33m32s;13:41报告。2000提交12:45:29→终态15:46:38,3h01m09s;16:09报告。2000墙钟含排队、NAS协调、回传和3次恢复,纯计算及各停顿时长未完整分离;原交办起点尚未核,不能拿11:53话题建立当起点。

资源使用

600用dev04六张仿真卡,各4×最多8环境;2000期间dev04八卡声明、NAS迁移暂停新增,再因评测优先撤回暂停并由dev01/dev04接续。13:40迁移暂停,13:47撤回;声明与真实进程分列。14:48账面32批实际已退出,不能用229环境报实际并发。保留有效局修复回收,不整轮重跑。

返工与人工介入

为14:00紧急任务将早期full54改600,属人决定的范围调整;其后独立2000。600尾部595→600的恢复见C06,4次不完整批次产生6替补。2000出现退出批次未回收/错误活动状态,14:52、15:06、15:15三次恢复,保留原1459局哈希;另1次基础设施重试。模型SHA相同的疑问后由钱泽中说明复制错,不能计Agent身份错误。

来源 1 ↗