Agent 运行评估 独立测试站
目标与技术方案 ↗

COMPANY AGENT REVIEW

监管与有效性评估

原脚本提供事实,项目与 case 串起目标、结果、代价和人的评价。

已显示最近快照快照同步 2026/10/18 04:24:41

数据已显示。交互加载期间可直接使用板块链接、分类链接和表格展开;刷新可读取最新快照。

项目效果

RoboDojo评测服务

本轮留下3项需要接续的问题,均沿原事项处理。已解决与已暂停的保留原状态。

既有项目

项目材料:2026/10/15 04:00:00 · case 材料:2026-10-15(原快照日期)

总体完成情况

核心 case
12
当前精选范围
初评达成
9 / 12
75% · 按原完成判断归纳
部分达成 / 受阻
2 / 1
待核 0
待人审
12 / 12
初评达成不等于最终验收
初评达成 9部分达成 2受阻 1待核 0

分母为当前已归属的精选 case,每例只计一次;不代表项目全部任务的完成率。完成状态来自原表判断,人的 Review 单独保留。case 尚无连续状态历史,暂不绘制完成率折线。

各类型 case 的完成情况

沿用原表任务类型;多类型可交叉,总体按 case 去重。

case 类型总数初评达成部分达成受阻待核初评达成占比
评测执行320102 / 3 · 67%
实验分析422002 / 4 · 50%
信息说明330003 / 3 · 100%
平台工程220002 / 2 · 100%

case 汇总表

先比较同类结果,需要时展开单行查看依据。

2 / 12 条
case/展开依据类型完成情况(初评)结果摘要人的 Review核对时间/用时token/账号
C19 异步调度与三权重跨Run补位

目标与验收:用三权重跨Run真实空位补派及重启验证,区分计算释放和产物回传

完成判断原文:较好(限本轮配方):实际补位达成,不能宣称所有任务整体加速幅度。

结果:r169三权重384局/1152视频,峰12仿真卡48worker,9次补位0.06–1.82秒;重启不重复初始化。

人的反馈:明确性能问题后有实测;未见终态人评

Skill:缺少使用证据

证据缺口:已保存2026-10-14-multi-checkpoint-r169.json;容量实证仅对应这次配方。

来源 1 ↗ 完整记录
平台工程初评达成交付评价,限定配方三权重跨Run补位实测通过,9次补位延迟0.06—1.82秒。待审
材料 2026-10-15

2026-10-12 04:00 至 2026-10-15 04:00(北京时间);历史核对,执行前查最新状态。

只给局部补位延迟;无整次交办统一墙钟,不能当整轮速度。

关联话题末次用量 2026/10/15 11:08:32

case 待关联关联话题 65,837,543 token(近7天,共享范围)历史计费账号未记录
C20 原生PPU自动加载与缩容验收

目标与验收:Public60k按需加载、忙会话不截断、3到0渐进释放,重启不重复加载

完成判断原文:较好(局部):真实生命周期验收有回执;其他加载器未证实。

结果:r174,Public60k144局432视频,3→2→1→0回收,忙会话不中断;修正重复计容量,末worker后回收约10–13秒。

人的反馈:未观察到交付后反馈,不能等同认可

Skill:缺少使用证据

证据缺口:已保存2026-10-14-managed-ppu-r174.json;其他模型配方仍待各自验证。

来源 1 ↗ 完整记录
平台工程初评达成交付评价,限定配方Public60k实测按3→2→1→0回收,末尾回收约10—13秒。待审
材料 2026-10-15

2026-10-12 04:00 至 2026-10-15 04:00(北京时间);历史核对,执行前查最新状态。

末worker结束后回收约10–13秒;无整个请求耗时/成本。

关联话题末次用量 2026/10/15 11:08:32

case 待关联关联话题 65,837,543 token(近7天,共享范围)历史计费账号未记录

需要关注什么,以及下一步做什么

原复盘中的判断与建议;这里展示执行结果,不直接启动任务。

NAS:生产使用尚未验收 需原事项接续,优先

发现依据与判断

原最新话题只合PR3,未生产切换;小文件互读不够。

建议采取的行动

沿原部署事项核对实际视频生成、读取与无本地副本使用。已有容量复查继续复用。

行动后的结果

当前材料未提供已执行结果,需回原工作核对。

来源 1 ↗
每日回归:缺少首轮运行证据 需原事项接续,优先

发现依据与判断

方案明确,原话题尚无脚本首轮与两任务让资源验收;Public60k生命周期部分依赖已解。

建议采取的行动

沿原规则脚本事项补齐基线、资源让出与恢复的实跑验收。

行动后的结果

当前材料未提供已执行结果,需回原工作核对。

来源 1 ↗
默认配置:两份说明口径冲突 认知冲突需维护

发现依据与判断

现行规范OpenWAM全系;B8历史测量文档仍写已测QZZ范围。

建议采取的行动

现行规范已覆盖 OpenWAM 全系;旧文档的窄口径仍需标成历史,避免下次误用。

行动后的结果

当前材料未提供已执行结果,需回原工作核对。

来源 1 ↗
项目认识、覆盖范围与原材料

一次性试点,范围为具身评测讨论群、干活群在北京时间10月12日04:00至15日04:00的已获准来源。42条为归并后的反馈/认知主题,不是42个独立故障或原始反馈人数;31个案例独立收集。下面是截至窗口末的核对判断,处理状态以原任务最新记录为准;列为优先关注不表示已开工。本次没有新增定时扫描。人审尚未完成,沉默不计为满意。

  • 沿正式运行范围和实际通知需要生成报告,不把全量完成作为所有报告的前提。
  • 核对相同范围、总体与分项比较、单位、图表及原结果页入口。
  • 保留原停止和术语澄清,具体新诊断沿新的明确目标。

来源:项目与反馈 · 原数据 2026/10/12 20:43:30 · 已同步

人的反馈与处理结果

先测之前那几个进程没问题,但感觉其他 4/8 进程的设计也可以写一下让我先 review,这样节奏不拖

先测之前那几个进程没问题,但感觉其他 4/8 进程的设计也可以写一下让我先 review,这样节奏不拖

Agent 的分析

原生评测方案的128路、配置矩阵及标准平台反馈/决定;原Session仍执行且已有最新预算确认,不在复盘中重启评测;不是FIP版本批准。

已记录的改动

尚无核实的修改结果

后续建议

评测表要求总计和可视化;第二条明确认可前次效果,再提出浅色分档。局部肯定不是所有评测验收。

来源 1 ↗

2026/10/10 23:21:36

这俩是不是太少了?我们之前是不是有一些相对致信的测试,说单进程环境效率比较高的是 24 环境左右,我感觉 16 环境以下的这些都可以跳过了。另外 24 环境的配置(1x24 & 2x12)感觉还是可以

这俩是不是太少了?我们之前是不是有一些相对致信的测试,说单进程环境效率比较高的是 24 环境左右,我感觉 16 环境以下的这些都可以跳过了。另外 24 环境的配置(1x24 & 2x12)感觉还是可以加上。这些流程感觉可以直接开启验证了。

Agent 的分析

原生评测方案的128路、配置矩阵及标准平台反馈/决定;原Session仍执行且已有最新预算确认,不在复盘中重启评测;不是FIP版本批准。

已记录的改动

尚无核实的修改结果

后续建议

评测表要求总计和可视化;第二条明确认可前次效果,再提出浅色分档。局部肯定不是所有评测验收。

来源 1 ↗

2026/10/10 23:19:35

这个效果还是不错的。 然后我想补一个另外的可视化,就是首先任务类型那里,你内外就不用颜色区分了,因为你已经写文字说明了嘛,也很直接。 但是我觉得后面底下的单元格背景色也可以做一些修改,就是咱们也讨

这个效果还是不错的。 然后我想补一个另外的可视化,就是首先任务类型那里,你内外就不用颜色区分了,因为你已经写文字说明了嘛,也很直接。 但是我觉得后面底下的单元格背景色也可以做一些修改,就是咱们也讨论了,其实是有五种成功率的分布。也就是百分之七十以上,二十到七十,还有后面几种,加上那个缺结果嘛。 然后我理解缺结果你留白色就行,但其他的四个,你可以规则的生成排序一下,我理解可以用红橙黄绿来表达四种类型。 这样的话也能直观地发现哪一部分任务明显是成功率很高,哪一些成功率就低了非常多。 然后先看一下这个样子好不好看,但是我觉得肯定是非常花花绿绿,所以说你那个背景色用浅色的那种。

Agent 的分析

评测表要求总计和可视化;第二条明确认可前次效果,再提出浅色分档。局部肯定不是所有评测验收。

已记录的改动

尚无核实的修改结果

后续建议

评测表要求总计和可视化;第二条明确认可前次效果,再提出浅色分档。局部肯定不是所有评测验收。

来源 1 ↗

2026/10/8 16:19:38

我觉得这个表的结构基本上是我想要的,但是它缺乏一个总计的那个值。 对于其他的每一个子表,其实也是一个逻辑,带一个总计其实都会有助于我看他们大概的任务,就是因为你每个任务有高有低。 但是最终在某一个

我觉得这个表的结构基本上是我想要的,但是它缺乏一个总计的那个值。 对于其他的每一个子表,其实也是一个逻辑,带一个总计其实都会有助于我看他们大概的任务,就是因为你每个任务有高有低。 但是最终在某一个具体的场景下,无论是总体还是说一个具体的方向,大家的成功率高低都可以看一下。能不能相当于为每张表都加这一行?然后另外一点就是我觉着可以对每一行的最高最低都标一下数,可能最高的标一个绿,最低的标一个红,这样。

Agent 的分析

评测表要求总计和可视化;第二条明确认可前次效果,再提出浅色分档。局部肯定不是所有评测验收。

已记录的改动

尚无核实的修改结果

后续建议

评测表要求总计和可视化;第二条明确认可前次效果,再提出浅色分档。局部肯定不是所有评测验收。

来源 1 ↗

2026/10/8 16:00:41

这个诊断可以先暂停了,因为我们得出结论可能就是 ActionSpace 那边设置的问题,跟我们评测本身没有太大关系。 所以说他们那边修改以后,分数也基本恢复了,所以我们就可以暂时不用考虑了。

这个诊断可以先暂停了,因为我们得出结论可能就是 ActionSpace 那边设置的问题,跟我们评测本身没有太大关系。 所以说他们那边修改以后,分数也基本恢复了,所以我们就可以暂时不用考虑了。

Agent 的分析

ActionSpace问题已有外部修复,要求暂停该次诊断;不把这条历史停止授权覆盖别的新故障。

已记录的改动

尚无核实的修改结果

后续建议

保留原停止和术语澄清,具体新诊断沿新的明确目标。

来源 1 ↗

2026/9/28 21:20:08

那要不然咱们现在实现一下。我理解这个事没有那么复杂,就是咱们在那个评测提交群。写好相关的 prompt 引导就可以了。 然后你把这些机制流程做成一个 prompt ,然后或者说 skill ,它自己

那要不然咱们现在实现一下。我理解这个事没有那么复杂,就是咱们在那个评测提交群。写好相关的 prompt 引导就可以了。 然后你把这些机制流程做成一个 prompt ,然后或者说 skill ,它自己知道完成这个监控或者开个新 session 啥的。 监控一下就行,我们不是有那个定时 task 机制逻辑嘛,然后也能写一些规则脚本,你就让他用那个机制来触发,其实我觉得就够了,不用做非常复杂。

Agent 的分析

明确要求简单接通自动报告;原串记有真实触发/回读说法。本轮只复用,不冒称事前FIP版本批准。

已记录的改动

尚无核实的修改结果

后续建议

沿正式运行范围和实际通知需要生成报告,不把全量完成作为所有报告的前提。

来源 1 ↗

2026/9/26 11:53:00

我觉着倒也不用考虑那么多,咱们以后就用那个固定的文档结构发就行。不一定限制那么严,但是基本的原则我都已经加到那个文档了。 其实我觉得短期暂时够用,先让大家使用着看看体验再说。 然后就是通知机制,我

我觉着倒也不用考虑那么多,咱们以后就用那个固定的文档结构发就行。不一定限制那么严,但是基本的原则我都已经加到那个文档了。 其实我觉得短期暂时够用,先让大家使用着看看体验再说。 然后就是通知机制,我想一下就固定到我们那个评测的群里边。然后谁发的这个任务,我们就艾特谁。 然后一句话结论,你自己想想总结,然后可能也附一张图,剩下的东西我们就扔文档。

Agent 的分析

报告沿既有结构、结果群通知实际发起人;原Bot回复已确认调整,通知规则和真送达分开。

已记录的改动

尚无核实的修改结果

后续建议

沿正式运行范围和实际通知需要生成报告,不把全量完成作为所有报告的前提。

来源 1 ↗

2026/9/26 11:29:08

我思考这个事反而有点相对来说严苛了,没必要一定要是一个完整局的跑,只要他确定,明确是一个正式的运行,或者说明确要求结果通知,咱们就可以完成这个评测。 哎,这样相对来说命中的概率大一点,大家也未必一定

我思考这个事反而有点相对来说严苛了,没必要一定要是一个完整局的跑,只要他确定,明确是一个正式的运行,或者说明确要求结果通知,咱们就可以完成这个评测。 哎,这样相对来说命中的概率大一点,大家也未必一定要非得把所有的结果跑完的才需要关注比较嘛,对吧?

Agent 的分析

正式运行/明确结果通知即可纳入报告,不以跑满2025局为前提;原串已解释并调整,不扩评测重跑授权。

已记录的改动

尚无核实的修改结果

后续建议

沿正式运行范围和实际通知需要生成报告,不把全量完成作为所有报告的前提。

来源 1 ↗

2026/9/26 11:27:47

有一些分析是不是稍微有些重复? 咱们现在就是我理解其实是这样,就是说咱们要比的就是两个部分,一个是总体的比较,一个是分任务的比较。 但是呢,我们的比较都是基于现在咱们运行的这一轮评测,它到底跑多少任

有一些分析是不是稍微有些重复? 咱们现在就是我理解其实是这样,就是说咱们要比的就是两个部分,一个是总体的比较,一个是分任务的比较。 但是呢,我们的比较都是基于现在咱们运行的这一轮评测,它到底跑多少任务,然后我们摘跟历史同样大小,以及公开搜探同样大小的那一部分的比较。 所以说你现在东西感觉就是比较了很多,但每一个都比较得不完整。 所以说咱们其实按理说是不是就比两个图,或者说三个图,就是一个是总体的,本轮同族搜塔比较,以及五类能力分拆的,这三个比较,再加上一个本轮与旧部署的。 仔细比较就够了。那这个信息塞得很多,但其实有效的信息量都比较类似。

Agent 的分析

重复比较但每份不完整;原串已统一三张主图和比较范围,不重排原文档。

已记录的改动

尚无核实的修改结果

后续建议

核对相同范围、总体与分项比较、单位、图表及原结果页入口。

来源 1 ↗

2026/9/26 11:25:30

感觉这个不需要罗列了,我们那个页面其实有相关信息。但感觉页面和文档应该是双向连接的,这样不至于找不到

感觉这个不需要罗列了,我们那个页面其实有相关信息。但感觉页面和文档应该是双向连接的,这样不至于找不到

Agent 的分析

明细放结果页并双向入口;原串记已补,不重复创建报告或页面。

已记录的改动

尚无核实的修改结果

后续建议

核对相同范围、总体与分项比较、单位、图表及原结果页入口。

来源 1 ↗

2026/9/26 11:03:49

官方的口径没有细粒度的拆分吗?我们能不能把官方结果拉下来然后看一下官方和我们重叠的 2025 局是什么结论

官方的口径没有细粒度的拆分吗?我们能不能把官方结果拉下来然后看一下官方和我们重叠的 2025 局是什么结论

Agent 的分析

要求按实际评测范围与官方对齐;原串已区分配置均值与同一逐局样本。

已记录的改动

尚无核实的修改结果

后续建议

核对相同范围、总体与分项比较、单位、图表及原结果页入口。

来源 1 ↗

2026/9/26 11:02:42

这个表本身不错,我觉得有必要,但等价的图是不是也可以画一个,我们看大家反馈决定最终留哪个或者都要留

这个表本身不错,我觉得有必要,但等价的图是不是也可以画一个,我们看大家反馈决定最终留哪个或者都要留

Agent 的分析

先图表并留后按读者反馈选;不能把无人再评论当最终选择。

已记录的改动

尚无核实的修改结果

后续建议

核对相同范围、总体与分项比较、单位、图表及原结果页入口。

来源 1 ↗

2026/9/26 11:01:20

是不是实际上就是 pp? 感觉用单位比较可读

是不是实际上就是 pp? 感觉用单位比较可读

Agent 的分析

差值用pp(百分点)提高可读性;原串已修单位。

已记录的改动

尚无核实的修改结果

后续建议

核对相同范围、总体与分项比较、单位、图表及原结果页入口。

来源 1 ↗

2026/9/26 10:59:42

感觉这种开宗明义的结论部分可以画个图?你觉得这里怎么画比较合适?我感觉可以比三个: 1. 自己 2. 同族基准 3. SOTA 然后全量和分类比较都做? 你觉得这个合理吗?咱们要不整一波

感觉这种开宗明义的结论部分可以画个图?你觉得这里怎么画比较合适?我感觉可以比三个: 1. 自己 2. 同族基准 3. SOTA 然后全量和分类比较都做? 你觉得这个合理吗?咱们要不整一波

Agent 的分析

建议本轮/同族/SOTA图;原串已画图并保留匹配范围边界。

已记录的改动

尚无核实的修改结果

后续建议

核对相同范围、总体与分项比较、单位、图表及原结果页入口。

来源 1 ↗

2026/9/26 10:58:58