Agent 运行评估 独立测试站
目标与技术方案 ↗

COMPANY AGENT REVIEW

监管与有效性评估

原脚本提供事实,项目与 case 串起目标、结果、代价和人的评价。

已显示最近快照快照同步 2026/10/18 01:43:10

数据已显示。交互加载期间可直接使用板块链接、分类链接和表格展开;刷新可读取最新快照。

核心 case · C28

Ego/UMI与Standard双模型迁移效果比较

两份后训练权重完成对比,结论回填原研究表。

2026-10-12 04:00 至 2026-10-15 04:00(北京时间);历史核对,执行前查最新状态。

人的最终 Review

待审

尚无明确的最终评审意见。

本 case 的 token 总数

待关联

计入该目标下的相关运行与返工,尚缺关联时不估算分摊。

这次要做到什么

每个模型600/2000并比较基线、更新原研究表。 双模型两范围均完成,baseline重算共同50配置,回写原研究表,不作单seed因果结论

实际做到什么

两组原600/2000局评测及原研究表回写已交。10月12日20:50回执:两行全维度补齐并回读,baseline由54重算共同50配置,UMI ΔScore+0.133/ΔSR−0.067pp;Standard −0.601/+0.040pp。

使用的 Skill

缺少实际使用及版本证据,待核对原执行。

Agent 初评

理解3/4 / 交付3/4 / 可靠3/4 / 协作2/4

与人的最终 Review 分开。

这个 case 收到的反馈

范围澄清与基础设施问题

磁盘满影响正在运行的评测

截图为EgoStandard的No space left on device,并非泛泛担忧;单局分数不能用于归责。

处理结果:关联迁移及NAS机制;阶段腾空间完成不代表长期存储问题解决。

下一步:暂无

[Image: img_v3_0216d_a8ba165f-c44a-4f29-b66c-f87731678fcg]
来源 1 ↗
好像磁盘满了
来源 1 ↗
50与54配置的含义不清楚

正常求知或交付范围解释不足均可能,不能单凭问句给差评。

处理结果:已补解释;以后报告直接写范围差异。

下一步:暂无

50 与 54 配置是什么意思
来源 1 ↗

下一步如何判断和改进

建议供评审,不表示已获准启动新的评测或整改。

建议先核对下面的证据缺口,再补充人的最终 Review;已有结果在原验收范围内判断。

已读原结果话题;同letterbox/20%12k并不能消除预训练起点和布局差异,单seed不作因果推断。

展开过程:运行范围、耗时、资源与返工

运行范围

每模型600/54配置及2000/50配置,seed0;四Run分别验收。最终研究表重算共同50配置:UMI对V0.5 delta ΔScore+0.133/ΔSR−0.067pp;Standard−0.601/+0.040pp。

关键时间与耗时

10月12日13:40提交话题→20:50原研究表回写,约7h10m观察跨度,非精确交办或纯运行用时;Standard两报告19:11/19:41送达。

资源使用

UMI先跑,Standard由4入口到12卡/48入口再16卡/64入口;UMI释放4卡给Standard。600旧绑定等待在途结束后17:51切64;同池两Run不能把容量相加。

返工与人工介入

发生纹理错误、磁盘满、结果回收滞后及人追问54/50口径;范围变更与新增比较不直接记返工。保留C09供给协调及C11/C12环境修复背景。

来源 1 ↗