项目收总
具身评测
我们做具身评测，是为了看清模型能完成哪些任务、容易在哪些地方失败，帮助研究者决定下一轮该改数据、改训练，还是先查接入问题。评测也要足够快，让结果赶得上下一轮实验。
更新时间：2026-10-17 18:36（北京时间）；本次补充10月目标与协作关系，进展沿用10月17日04:13及文中所列记录。 ·
功能／子项目的完成与进展
| 功能／工作线 | 目前情况 | 应监管的指标 | 案例／反馈 |
|---|---|---|---|
| 评测平台 | 已有RoboDojo评测、模型接入与结果分析流程；下方收拢已有12条精选方案case。 | 完成目标、响应与交付耗时、人工介入、token消耗、运行稳定性及人的反馈 | 12 / 12 |
项目目前的情况与原说明
实际案例 · 同类比较
评分规则与权重 · 通用
各项0–100分，越高越好。建议权重可调整；完整填写五项与依据后才计算总分。空白保留待评。
权重合计100%。
平台工程 2 个案例
| 任务 / 依据 | 标注 | 结果质量 | 响应速度 | 人工介入 | token效率 | 稳定性 | 综合分 | 标注与评分依据 |
|---|---|---|---|---|---|---|---|---|
异步调度与三权重跨Run补位r169三权重384局/1152视频，峰12仿真卡48worker，9次补位0.06–1.82秒；重启不重复初始化。查看依据异步调度与三权重跨Run补位结果与产物r169三权重384局/1152视频，峰12仿真卡48worker，9次补位0.06–1.82秒；重启不重复初始化。 目标与验收依据目标：减少同步等待，核真实空位补派与重启接续。 验收：用三权重跨Run真实空位补派及重启验证，区分计算释放和产物回传 原完成判断：较好（限本轮配方）：实际补位达成，不能宣称所有任务整体加速幅度。 过程：三权重跨Run补位实测通过，9次补位延迟0.06—1.82秒。 待补：已保存2026-10-14-multi-checkpoint-r169.json；容量实证仅对应这次配方。 耗时只给局部补位延迟；无整次交办统一墙钟，不能当整轮速度。 人工介入与反馈明确性能问题后有实测；未见终态人评 验证重启接续与不重复初始化；实现修正和实际验收要区分。 原Review待审 证据缺口待补 明确性能问题后有实测；未见终态人评 未取得 | 原Review：待审 | 待评 | ||||||
原生PPU自动加载与缩容验收r174，Public60k144局432视频，3→2→1→0回收，忙会话不中断；修正重复计容量，末worker后回收约10–13秒。查看依据原生PPU自动加载与缩容验收结果与产物r174，Public60k144局432视频，3→2→1→0回收，忙会话不中断；修正重复计容量，末worker后回收约10–13秒。 目标与验收依据目标：验证托管模型按需加载、渐进释放、重启接续。 验收：Public60k按需加载、忙会话不截断、3到0渐进释放，重启不重复加载 原完成判断：较好（局部）：真实生命周期验收有回执；其他加载器未证实。 过程：Public60k实测按3→2→1→0回收，末尾回收约10—13秒。 待补：已保存2026-10-14-managed-ppu-r174.json；其他模型配方仍待各自验证。 耗时末worker结束后回收约10–13秒；无整个请求耗时/成本。 人工介入与反馈未观察到交付后反馈，不能等同认可 修正容量重复统计；停止/重启/释放结果需实际回执，不按配置声称。 原Review待审 证据缺口待补 未观察到交付后反馈，不能等同认可 未取得 | 原Review：待审 | 待评 |
功能反馈与处理 · 3 条原记录
按张思源2026-10-17的安排，具身评测暂放基模块；保留原项目及功能层级。