Agent 运行评估 独立测试站
目标与技术方案 ↗

COMPANY AGENT REVIEW

监管与有效性评估

原脚本提供事实,项目与 case 串起目标、结果、代价和人的评价。

已显示最近快照快照同步 2026/10/18 01:43:10

数据已显示。交互加载期间可直接使用板块链接、分类链接和表格展开;刷新可读取最新快照。

核心 case · C32

V0.5-5后训练12k:固定600与完整2100送检

两组已提交;截至10月15日20:17核查,尚无有效结果。

2026-10-15定向补入的转发证据;分别保留10月3日和10月15日原消息时点。不是原10月12日至15日试点全量窗口的刷新。

人的最终 Review

待审

尚无明确的最终评审意见。

本 case 的 token 总数

待关联

计入该目标下的相关运行与返工,尚缺关联时不估算分摊。

这次要做到什么

对图片指定的同一checkpoint提交固定600局与完整2100局评测;两项范围分别验收。 提交阶段:确认权重SHA/训练来源与recipe、checkpoint格式、预处理与动作/输入输出契约;注明复用或新建的适配登记及真实校验结果;报告模型服务和评测服务的资源容量、节点选择、部署状态;给对应范围的真实Run与首批有效执行证据。完成阶段:逐个核对请求范围、有效局数/异常、产物、正式计分与完整报告。历史样例中的硬件、54配置、2100局/seed不能直接套到新任务。

实际做到什么

已核提交确认、统一报告登记、启动故障诊断与恢复进展;暂无最终评测成绩。原任务:https://index.jiujianian.dev/?session=913b58880c031249ee26560fbeaaa31f&tab=sessions

来源 1 ↗

使用的 Skill

缺少实际使用及版本证据,待核对原执行。

Agent 初评

待评:已核受理、提交与启动受阻证据;缺后续执行与最终结果,不替人打分。

与人的最终 Review 分开。

这个 case 收到的反馈

酒嘉年12:03Z追问状态和卡顿、12:10Z要求恢复,详见F44;人的正式Review仍待审,未见满意确认。

下一步如何判断和改进

建议供评审,不表示已获准启动新的评测或整改。

建议先核对下面的证据缺口,再补充人的最终 Review;已有结果在原验收范围内判断。

本轮已从转发追到原执行会话,读取真实工具回执与用户消息;证据截止12:17:33Z。未介入正在进行的恢复,不把计划中的清理未启动记录当作完成;分数仍待该阶段成果及人审。

展开过程:运行范围、耗时、资源与返工

运行范围

同一交办两个seed0 Run:v3-v055-post12k-fixed600-s0-20261015(原固定清单600);v3-v055-post12k-full2100-s0-20261015(54配置2100)。截取原会话至2026-10-15T12:17:33Z:两Run已提交,尚无有效结果;600账面40运行中但原执行者核查无实际进程,2100仍待启动。后续状态沿原会话,不将该快照当实时监控。

关键时间与耗时

原会话UTC:11:09:18交办,11:18:49回复两组已提交(约9m31s,非精确API提交时间);12:02:56首阶段结论(距交办53m38s);12:17:33报告服务恢复但有未启动派发(距交办1h08m15s)。尚无首个有效局/计算结束/最终报告时间;这些等待不能报模型吞吐。

资源使用

准备8空闲推理卡/8副本,B4配评测4×8;两个Run同时入队,保留ID/冻结清单/同一报告话题。发布冲突时合并已有改动、等待发布占用释放,三节点逐个同步;平台恢复后需核对未真正启动的派发。资源已准备≠实际满负载,账面running≠有进程。

返工与人工介入

外部模型准入未指定节点误判不可达,修复并与并行升级协调;其后控制面NAS同步读取拖住启动、超过5分钟被终止重试。酒嘉年12:03Z追问状态及“为什么非常卡”,12:10Z要求恢复;属于实际用户追问与恢复交办,非满意Review。原执行者承认将修复与提交核验连续处理导致反馈过久。尚无整轮重跑证据。

来源 1 ↗