功能与案例
评测平台
已有RoboDojo评测、模型接入与结果分析流程；下方收拢已有12条精选方案case。
更新时间：2026-10-17 18:36（北京时间）；本次补充10月目标与协作关系，进展沿用10月17日04:13及文中所列记录。 ·
功能推进与监管指标
已有RoboDojo评测、模型接入与结果分析流程；下方收拢已有12条精选方案case。
需要持续观察：完成目标、响应与交付耗时、人工介入、token消耗、运行稳定性及人的反馈
实际案例 · 同类比较
评分规则与权重 · 通用
各项0–100分，越高越好。建议权重可调整；完整填写五项与依据后才计算总分。空白保留待评。
权重合计100%。
评测执行 3 个案例
| 任务 / 依据 | 标注 | 结果质量 | 响应速度 | 人工介入 | token效率 | 稳定性 | 综合分 | 标注与评分依据 |
|---|---|---|---|---|---|---|---|---|
公开OpenWAM60k首次全量回归过程交代资源等待、兼容修改、实际并发、有效进度和尾部；最终报告含逐能力/任务成绩、同权重25局配对、布局替补与独立审计。最终报告：https://qcnatfwzm13g.feishu.cn/docx/MHYedtYuiofWFWxovuRcg29DnNe查看依据公开OpenWAM60k首次全量回归结果与产物过程交代资源等待、兼容修改、实际并发、有效进度和尾部；最终报告含逐能力/任务成绩、同权重25局配对、布局替补与独立审计。最终报告：https://qcnatfwzm13g.feishu.cn/docx/MHYedtYuiofWFWxovuRcg29DnNe 目标与验收依据目标：先建立可追溯实跑数据，并比较历史及公开结果。 验收：核权重/seed/54配置2100局与6300视频；历史只在真实可比范围对照 原完成判断：较好：结果及审计原文齐，平台基准仍待完善。 过程：2100局完成；Score17.01，提交至完成2小时14分。 待补：已读原话题与完整最终报告；本轮整理未重跑审计。相同权重不等于全部运行条件相同：单会话→合批、release/model revision均变；不能把−4pp归因于训练。原话题链接在原话题字段。 耗时北京时间10月13日14:23要求试跑；14:51获准回收旧模型；14:59:32提交，14:59:43首worker，17:13:23终态，17:33报告送达。提交到终态2h13m52s；交办到报告约3h10m（消息分钟精度）；初始排队11s。准备/换模/许可等待含在交办总时长，不能全算推理耗时；累计GPU小时缺测。 人工介入与反馈正常选型/接口问题；未见完成后的明确质量评价 公开旧封装共用动作缓存且8行请求未按B4拆分，补通用兼容；酒嘉年确认8×4×8并批准回收8旧副本，这是资源授权，不算Agent错误。其后质询“为何公开权重另有旧机制”，Agent纠正解释。13局基础设施故障在原Run恢复，18布局替补；没有报告者重跑整轮的证据。 原Review待审 证据缺口待补 正常选型/接口问题；未见完成后的明确质量评价 未取得 | 原Review：待审 | 待评 | ||||||
Track4World60k固定600与2000局过程输出指出节点探针超时、真实进程核对、结果回收阻塞，后续明确恢复证据。600报告：https://qcnatfwzm13g.feishu.cn/docx/WUFndjDCNo4FdOx8yvycV5Minsg
2000报告：https://qcnatfwzm13g.feishu.cn/docx/YfN8dkaMdo3vCMxn3K6cPRROnod查看依据Track4World60k固定600与2000局结果与产物过程输出指出节点探针超时、真实进程核对、结果回收阻塞，后续明确恢复证据。600报告：https://qcnatfwzm13g.feishu.cn/docx/WUFndjDCNo4FdOx8yvycV5Minsg 2000报告：https://qcnatfwzm13g.feishu.cn/docx/YfN8dkaMdo3vCMxn3K6cPRROnod 目标与验收依据目标：回答本checkpoint的评测表现，保留两个范围及异常。 验收：准确标权重、固定600和50配置2000范围，区分基础设施异常与模型失败 原完成判断：较好（依据报告通知）：不将2000改称54配置全量，600恢复见C06。 过程：600与2000局均完成；分别耗时1小时33分、3小时1分。 待补：已读两份最终报告和原结果话题；纹理缓存错误对画面影响仍缺专项核验，独立产物审计不证明视觉语义正常。两份Run完整身份在报告；实际GPU小时和完整交办时长尚缺。C06作为本Run尾部事件保留。 耗时北京时间10月12日600提交11:58:17→终态13:31:49，1h33m32s；13:41报告。2000提交12:45:29→终态15:46:38，3h01m09s；16:09报告。2000墙钟含排队、NAS协调、回传和3次恢复，纯计算及各停顿时长未完整分离；原交办起点尚未核，不能拿11:53话题建立当起点。 人工介入与反馈有故障及身份反馈，未见对最终报告质量的明确评价 为14:00紧急任务将早期full54改600，属人决定的范围调整；其后独立2000。600尾部595→600的恢复见C06，4次不完整批次产生6替补。2000出现退出批次未回收/错误活动状态，14:52、15:06、15:15三次恢复，保留原1459局哈希；另1次基础设施重试。模型SHA相同的疑问后由钱泽中说明复制错，不能计Agent身份错误。 原Review待审 证据缺口待补 有故障及身份反馈，未见对最终报告质量的明确评价 未取得 | 原Review：待审 | 待评 | ||||||
V0.5-5后训练12k：固定600与完整2100送检已核提交确认、统一报告登记、启动故障诊断与恢复进展；暂无最终评测成绩。原任务：https://index.jiujianian.dev/?session=913b58880c031249ee26560fbeaaa31f&tab=sessions查看依据V0.5-5后训练12k：固定600与完整2100送检结果与产物已核提交确认、统一报告登记、启动故障诊断与恢复进展；暂无最终评测成绩。原任务：https://index.jiujianian.dev/?session=913b58880c031249ee26560fbeaaa31f&tab=sessions 目标与验收依据目标：对图片指定的同一checkpoint提交固定600局与完整2100局评测；两项范围分别验收。 验收：提交阶段：确认权重SHA/训练来源与recipe、checkpoint格式、预处理与动作/输入输出契约；注明复用或新建的适配登记及真实校验结果；报告模型服务和评测服务的资源容量、节点选择、部署状态；给对应范围的真实Run与首批有效执行证据。完成阶段：逐个核对请求范围、有效局数/异常、产物、正式计分与完整报告。历史样例中的硬件、54配置、2100局/seed不能直接套到新任务。 原完成判断：仅能确认已回应交办，不能确认已提交或完成。 过程：两组已提交；截至10月15日20:17核查，尚无有效结果。 待补：本轮已从转发追到原执行会话，读取真实工具回执与用户消息；证据截止12:17:33Z。未介入正在进行的恢复，不把计划中的清理未启动记录当作完成；分数仍待该阶段成果及人审。 耗时原会话UTC：11:09:18交办，11:18:49回复两组已提交（约9m31s，非精确API提交时间）；12:02:56首阶段结论（距交办53m38s）；12:17:33报告服务恢复但有未启动派发（距交办1h08m15s）。尚无首个有效局/计算结束/最终报告时间；这些等待不能报模型吞吐。 人工介入与反馈酒嘉年12:03Z追问状态和卡顿、12:10Z要求恢复，详见F44；人的正式Review仍待审，未见满意确认。 外部模型准入未指定节点误判不可达，修复并与并行升级协调；其后控制面NAS同步读取拖住启动、超过5分钟被终止重试。酒嘉年12:03Z追问状态及“为什么非常卡”，12:10Z要求恢复；属于实际用户追问与恢复交办，非满意Review。原执行者承认将修复与提交核验连续处理导致反馈过久。尚无整轮重跑证据。 原Review待审 证据缺口待补 酒嘉年12:03Z追问状态和卡顿、12:10Z要求恢复，详见F44；人的正式Review仍待审，未见满意确认。 未取得 | 原Review：待审 | 待评 |
实验分析 4 个案例
| 任务 / 依据 | 标注 | 结果质量 | 响应速度 | 人工介入 | token效率 | 稳定性 | 综合分 | 标注与评分依据 |
|---|---|---|---|---|---|---|---|---|
HDR-track4world评测及多模型任务维度比较输出停止快照、排队/执行区分、swap_T故障持续及修复；最终报告同文档保留停止历史和续跑结果。另按共同50配置/40任务比较4模型，单seed对历史三seed均值仅描述差异。报告：https://qcnatfwzm13g.feishu.cn/docx/I2dldcMrvoiFeYxSFEyc24FdnEc查看依据HDR-track4world评测及多模型任务维度比较结果与产物输出停止快照、排队/执行区分、swap_T故障持续及修复；最终报告同文档保留停止历史和续跑结果。另按共同50配置/40任务比较4模型，单seed对历史三seed均值仅描述差异。报告：https://qcnatfwzm13g.feishu.cn/docx/I2dldcMrvoiFeYxSFEyc24FdnEc 目标与验收依据目标：评测HDR并与既有HDR/60k基线在共同任务比较。 验收：指定HDR与正确历史基线在共同任务对比，给分项与欠缺样本/seed差异 原完成判断：混合：补充需求后展开，不能以总分优于公开替代目标基线比较。 过程：2000局完成；总耗时5小时34分，含约2小时依赖等待。 待补：已读原结果话题和含续跑的完整报告；最终审计通过但纹理专项核验、实际合批/缓存效率未知；资源清理实绩未核，不填已释放。 耗时北京时间10月12日17:06:53提交；17:16:34停止；17:25续跑但等待Ego；19:31:33放行、19:31:38执行；22:40:52终态、22:53报告。提交→终态5h33m59s；放行执行→终态约3h09m14s；续跑等待约2h06m。含故障与等待，非纯推理；17:07提交确认→22:53报告约5h46m。 人工介入与反馈任务维度补充、非明确差评 初始低优先级仍回填启动，人要求先停、等待Ego完成后再运行，显示优先级与显式依赖须区分。停止调用传输失败后读回重试；20:00 swap_T发生device lost并卡到22:34，原Run保留1992局后补8局，22:40完成。另20候补。钱泽中追加共同任务/逐维比较是新增分析要求，不计返工。 原Review待审 证据缺口待补 任务维度补充、非明确差评 未取得 | 原Review：待审 | 待评 | ||||||
Ego/UMI与Standard双模型迁移效果比较两组原600/2000局评测及原研究表回写已交。10月12日20:50回执：两行全维度补齐并回读，baseline由54重算共同50配置，UMI ΔScore+0.133/ΔSR−0.067pp；Standard −0.601/+0.040pp。查看依据Ego/UMI与Standard双模型迁移效果比较结果与产物两组原600/2000局评测及原研究表回写已交。10月12日20:50回执：两行全维度补齐并回读，baseline由54重算共同50配置，UMI ΔScore+0.133/ΔSR−0.067pp；Standard −0.601/+0.040pp。 目标与验收依据目标：每个模型600/2000并比较基线、更新原研究表。 验收：双模型两范围均完成，baseline重算共同50配置，回写原研究表，不作单seed因果结论 原完成判断：较好（依据原回写回执）：两组比较与研究表已补齐；仅一seed、有预训练起点和实际布局混杂，不作因果结论。 过程：两份后训练权重完成对比，结论回填原研究表。 待补：已读原结果话题；同letterbox/20%12k并不能消除预训练起点和布局差异，单seed不作因果推断。 耗时10月12日13:40提交话题→20:50原研究表回写，约7h10m观察跨度，非精确交办或纯运行用时；Standard两报告19:11/19:41送达。 人工介入与反馈范围澄清与基础设施问题 发生纹理错误、磁盘满、结果回收滞后及人追问54/50口径；范围变更与新增比较不直接记返工。保留C09供给协调及C11/C12环境修复背景。 原Review待审 证据缺口待补 范围澄清与基础设施问题 未取得 | 原Review：待审 | 待评 | ||||||
EgoStandard与UMI缓存异常子集补跑UMI313局、312严格配对，Standard282局全配对；缓存读取告警为0；两报告均明确无净提升不证明无影响。查看依据EgoStandard与UMI缓存异常子集补跑结果与产物UMI313局、312严格配对，Standard282局全配对；缓存读取告警为0；两报告均明确无净提升不证明无影响。 目标与验收依据目标：修复纹理读取后，对两模型受影响布局配对判断变化。 验收：两模型受影响布局严格配对，区分缓存变化与机器/版本混杂；整组总结 原完成判断：较好／有边界：两个Run结果可核；整组请求还应有联合结论与人的验收。 过程：同权重修复前后配对：UMI312局、Standard282局。 待补：已读UMI/Standard配对报告；相机画面与环境改动是可比性边界。 耗时整次交办总时长本批未完整核得，不以两条报告发布时间相减。 人工介入与反馈有诊断追问与人的当时推断，非明确终态好评 预期补测不计返工；同话题后来C12改变非纹理环境导致95局9成功→0并回滚，单独保留负例。 原Review待审 证据缺口待补 有诊断追问与人的当时推断，非明确终态好评 未取得 | 原Review：待审 | 待评 | ||||||
8/16卡600与2000局串行耗时验证8卡600局54m33、2000局2h29m21，视频审计回执；分别r162/r161，含启动与尾部、不含模型冷启。16卡后排。查看依据8/16卡600与2000局串行耗时验证结果与产物8卡600局54m33、2000局2h29m21，视频审计回执；分别r162/r161，含启动与尾部、不含模型冷启。16卡后排。 目标与验收依据目标：无其他任务干扰地测完整耗时，优先复用已有测量。 验收：复用既有证据，按已批准8卡/16卡顺序独占串行测600/2000，冻结版本与计时边界 原完成判断：阶段达成：8卡完成；版本不同不能当严格对照，16卡不标完成。 过程：8卡独占实测：600局54分33秒，2000局2小时29分。 待补：原线程实测回执/审计；GPU小时、完整准备时间未统一，不由墙钟乘峰值卡数假算。 耗时含启动和尾部、不含模型冷启；不同release限制横向解释。 人工介入与反馈明确状态追问与实验要求 人纠正应做真实独占及复用已测结果，不把资源等待混进正常吞吐。 原Review待审 证据缺口待补 明确状态追问与实验要求 未取得 | 原Review：待审 | 待评 |
信息说明 3 个案例
| 任务 / 依据 | 标注 | 结果质量 | 响应速度 | 人工介入 | token效率 | 稳定性 | 综合分 | 标注与评分依据 |
|---|---|---|---|---|---|---|---|---|
说明RoboCasa环境怎样接入既有平台21:06最终说明核历史实现，分原生环境/runner、模型adapter、结果转换与平台调度；尚无RoboCasa接入完成成果。查看依据说明RoboCasa环境怎样接入既有平台结果与产物21:06最终说明核历史实现，分原生环境/runner、模型adapter、结果转换与平台调度；尚无RoboCasa接入完成成果。 目标与验收依据目标：提供详细实施信息，明确不执行新评测。 验收：说明RoboCasa原生环境、runner、adapter、结果转换和调度接入步骤；不执行 原完成判断：较好（信息范围）：已交具体说明；无需用未执行扣分。 过程：说明RoboCasa接入所需接口与剩余工作。 待补：以逐条回答能否用于后续实施验收，不按字数或是否开工评分。 耗时实际耗时无可靠完整计时。 人工介入与反馈有范围澄清，未见最终满意度评价 C22先前429未答完整属于背景；本例没有将讨论擅自转成执行。 原Review待审 证据缺口待补 有范围澄清，未见最终满意度评价 未取得 | 原Review：待审 | 待评 | ||||||
完整链路、人的信息及高频反馈说明22:16已有完整说明，区分Request/Run/Attempt/产物/Session及完成标准；之后平台状态有新进展，本文按04点补齐。查看依据完整链路、人的信息及高频反馈说明结果与产物22:16已有完整说明，区分Request/Run/Attempt/产物/Session及完成标准；之后平台状态有新进展，本文按04点补齐。 目标与验收依据目标：讲清接评测后动作/能力/输出与目前缺口。 验收：解释整组请求到Run、恢复、审计、报告、人验收；给人应知信息和真实缺口 原完成判断：较好（原说明）：未把能力描述当全部历史表现；后续使用效果待审。 过程：解释从接单、运行到报告的完整评测链路。 待补：此例用来检验解释是否准确可用，不能将旧平台能力说明当现行状态。 耗时已知原说明22:16交付，完整起止未核。 人工介入与反馈未观察到反馈 说明任务无运行返工；人需要知道哪些信息应作为交互标准。 原Review待审 证据缺口待补 未观察到反馈 未取得 | 原Review：待审 | 待评 | ||||||
查历史DP32与非Megatron60k基准及动作语义10月14日17:12找到非Megatron60k三seed6300局历史，五类等权SR14.54%；与DP32接口同为双臂绝对EEF20但不据此认定训练配方一致。查看依据查历史DP32与非Megatron60k基准及动作语义结果与产物10月14日17:12找到非Megatron60k三seed6300局历史，五类等权SR14.54%；与DP32接口同为双臂绝对EEF20但不据此认定训练配方一致。 目标与验收依据目标：找到指定历史权重、结果和state/action含义。 验收：找到指定历史权重、三seed结果与动作语义，区分接口相同和训练配方相同 原完成判断：较好（信息交付）：有历史路径和口径；不重跑。 过程：澄清两类60k权重身份及state/action语义。 待补：概念解释价值是让人区分权重身份、接口语义与训练配方，避免错误对比。 耗时10月14日17:04/17:06给身份与语义，17:12给另一基准；不是总任务耗时。 人工介入与反馈未见明确评价；有retry请求 一条中途429保留；接口与normalizer一致不证明训练配方一致。 原Review待审 证据缺口待补 未见明确评价；有retry请求 未取得 | 原Review：待审 | 待评 |
平台工程 2 个案例
| 任务 / 依据 | 标注 | 结果质量 | 响应速度 | 人工介入 | token效率 | 稳定性 | 综合分 | 标注与评分依据 |
|---|---|---|---|---|---|---|---|---|
异步调度与三权重跨Run补位r169三权重384局/1152视频，峰12仿真卡48worker，9次补位0.06–1.82秒；重启不重复初始化。查看依据异步调度与三权重跨Run补位结果与产物r169三权重384局/1152视频，峰12仿真卡48worker，9次补位0.06–1.82秒；重启不重复初始化。 目标与验收依据目标：减少同步等待，核真实空位补派与重启接续。 验收：用三权重跨Run真实空位补派及重启验证，区分计算释放和产物回传 原完成判断：较好（限本轮配方）：实际补位达成，不能宣称所有任务整体加速幅度。 过程：三权重跨Run补位实测通过，9次补位延迟0.06—1.82秒。 待补：已保存2026-10-14-multi-checkpoint-r169.json；容量实证仅对应这次配方。 耗时只给局部补位延迟；无整次交办统一墙钟，不能当整轮速度。 人工介入与反馈明确性能问题后有实测；未见终态人评 验证重启接续与不重复初始化；实现修正和实际验收要区分。 原Review待审 证据缺口待补 明确性能问题后有实测；未见终态人评 未取得 | 原Review：待审 | 待评 | ||||||
原生PPU自动加载与缩容验收r174，Public60k144局432视频，3→2→1→0回收，忙会话不中断；修正重复计容量，末worker后回收约10–13秒。查看依据原生PPU自动加载与缩容验收结果与产物r174，Public60k144局432视频，3→2→1→0回收，忙会话不中断；修正重复计容量，末worker后回收约10–13秒。 目标与验收依据目标：验证托管模型按需加载、渐进释放、重启接续。 验收：Public60k按需加载、忙会话不截断、3到0渐进释放，重启不重复加载 原完成判断：较好（局部）：真实生命周期验收有回执；其他加载器未证实。 过程：Public60k实测按3→2→1→0回收，末尾回收约10—13秒。 待补：已保存2026-10-14-managed-ppu-r174.json；其他模型配方仍待各自验证。 耗时末worker结束后回收约10–13秒；无整个请求耗时/成本。 人工介入与反馈未观察到交付后反馈，不能等同认可 修正容量重复统计；停止/重启/释放结果需实际回执，不按配置声称。 原Review待审 证据缺口待补 未观察到交付后反馈，不能等同认可 未取得 | 原Review：待审 | 待评 |
功能反馈与处理 · 12 条原记录
正常选型/接口问题；未见完成后的明确质量评价 未取得
有故障及身份反馈，未见对最终报告质量的明确评价 未取得
任务维度补充、非明确差评 未取得
酒嘉年12:03Z追问状态和卡顿、12:10Z要求恢复，详见F44；人的正式Review仍待审，未见满意确认。 未取得
范围澄清与基础设施问题 未取得
有诊断追问与人的当时推断，非明确终态好评 未取得
有范围澄清，未见最终满意度评价 未取得
未观察到反馈 未取得
未见明确评价；有retry请求 未取得
明确状态追问与实验要求 未取得
明确性能问题后有实测；未见终态人评 未取得
未观察到交付后反馈，不能等同认可 未取得
按张思源2026-10-17的安排，具身评测暂放基模块；保留原项目及功能层级。