Agent 运行评估 独立测试站
目标与技术方案 ↗

COMPANY AGENT REVIEW

监管与有效性评估

原脚本提供事实,项目与 case 串起目标、结果、代价和人的评价。

已显示最近快照快照同步 2026/10/18 03:01:52

数据已显示。交互加载期间可直接使用板块链接、分类链接和表格展开;刷新可读取最新快照。

项目收总

基模研发

我们希望模型先从预训练数据中学到可迁移的能力,再通过后训练适应具体任务。研究要能说明:自己的预训练起点带来了什么改善,下一轮应该优先改数据、训练配方,还是算力投入。

更新时间:2026-10-17 18:36(北京时间);本次补充10月目标与协作关系,进展沿用10月17日04:13及文中所列记录。 · 来源 1 ↗

功能进展整理依据:2026-10-17项目说明,非实时作业状态。反馈保留各自发生时间。

功能/子项目的完成与进展

功能/工作线目前情况应监管的指标案例/反馈
预训练基座与权重接续V0.5-5已有可加载step36956基座;精确接续训练仍需单独验证。训练步数、有效样本、权重可加载性、精确恢复、同条件能力对照1 / 0
基模能力对照V055尾局已按10月16日要求停止,保留固定599/600、全量2095/2100局。有效局数、成功率、缺失原因、固定样本与全量分开、基线条件一致性1 / 0
TTT与记忆消融已有记忆消融、同数据比较方案;拟合改善尚未稳定转成任务收益。消融条件、训练拟合、任务成功率、重复实验稳定性1 / 0
UMI action监督10月16日报告使用320卡继续;当前云作业最终状态未取得。有标签比例、mask与reduction、梯度尺度、卡数与batch、同条件对照1 / 0
Caption与数据质量10月14日安排约100条小样人工对照;尚无有效配方结论。样本准确性、人工一致性、筛选有效性、同条件训练收益1 / 0
项目目前的情况与原说明

这个项目要回答的问题

我们希望模型先从预训练数据中学到可迁移的能力,再通过后训练适应具体任务。研究要能说明:自己的预训练起点带来了什么改善,下一轮应该优先改数据、训练配方,还是算力投入。 10月要集中回答一个具体问题:11月1日前,验证UMI数据能否提升OpenWAM在仿真和真机上的表现。为此,需要建立RoboDojo、Jenga和真机任务的比较基线,再分别用已有缓存数据和trainv3数据验证UMI action的收益。数据转换、训练和评测都围绕这个问题推进;OKR中的成功率是目标,部分基线仍待明确。 因此,一次训练的意义既要看模型学得怎样,也要看它实际执行任务时有什么变化。训练损失loss下降,说明它更好地拟合了相应训练目标;机器人能否更稳定完成任务,还要通过任务评测判断。

最近几条实验分别到哪里了

V0.5-5已有可加载的step36956基座。标准20%后训练于10月15日18:18完成12000步;19:00检查确认全部训练进程完成,最终权重能读回且数值一致。能否精确接续训练,仍需单独验证,具体检查记录留在实验目录。 V055评测尾局已按10月16日16:02的要求停止,保留固定测试599/600局和全量2095/2100局。现有成绩可继续分析,缺失部分保留记录。 TTT整理稿已提出记忆消融、同数据比较和数据路线;目前训练拟合的改善尚未稳定体现为实际任务收益。UMI action恢复训练据王煜楷10月16日的原报告使用320卡继续,当前云作业的最终状态尚未取得。

怎样判断收益来自哪项改动

比较训练方案时,保存数据、代码、配置、初始化和权重的对应关系,并核对图像处理、固定测试样本等条件。否则两次结果不同,可能同时受到多个变化的影响。 例如,UMI action恢复版同时改变了卡数、batch和监督方式。即使结果改变,也不能只归因于恢复了action监督,需要同条件对照才能分辨。 Kuangzhi_Ge确认,当前没有action标签的样本先置零,再按整个batch平均计算loss。这种做法会怎样影响梯度,仍在讨论,还没有对照结论。

先看模型实际拿到了什么数据

机器人动作数据需要讲清坐标系、绝对位置还是位移增量、采样频率和归一化方式。文件能读、字段齐全之后,还要回放代表性样本,看这些数值是否表达了想让机器人学的动作。 例如,Streaming汉诺塔失败时,先回放原始轨迹,核对基座使用Delta还是Absolute动作。Delta描述相对变化,Absolute描述绝对目标;如果接入时把它们弄反,不能直接把失败归为模型能力不足。 跨机器人使用数据时,也要用真实样例确认坐标和动作含义。模型名、旧指标或录音转写有歧义时,回到原件核对。

Caption先做小样,再决定是否扩大

Caption是为样本配的文字描述。10月14日站会安排先取约100条样本,做人工对照和指标评审,看描述质量是否过关,再考虑扩大重标,并用同条件训练比较效果。 这里有三个需要分别回答的问题:描述是否更准确,筛选指标能否识别好坏,以及这些变化能否改善训练后的任务表现。目前这是实验安排,还没有证明是一套有效配方。

下一轮实验怎样接续

从原实验记录找到数据、配置、权重和结果,先确定这次要验证哪一个问题,再到相关原讨论核对后续安排。对照条件尽量保持一致;必须同时改变的部分,在解释结果时说清楚。 基模研发目前按观察到的工作线整理,组织归属继续按原件和人的反馈确认。新的训练、全库重标、调卡和数据发布按具体交办执行;成本与工期预测保留估算含义。

实际案例 · 同类比较

项目页预览各功能最近2个案例;进入功能页查看完整案例及同类比较。

按类型分表 · 当前 5 / 5 个案例。横向比较同类任务,直接标注与打分。

评分规则与权重 · 通用

各项0–100分,越高越好。建议权重可调整;完整填写五项与依据后才计算总分。空白保留待评。

权重合计100%。

草稿保存在本浏览器会话;正式保存需原测试身份。

训练研究 3 个案例

任务 / 依据标注结果质量响应速度人工介入token效率稳定性综合分标注与评分依据
预训练基座与权重接续:当前证据与待验证项V0.5-5已有可加载step36956基座;精确接续训练仍需单独验证。
查看依据

预训练基座与权重接续:当前证据与待验证项

训练研究 · 项目认知记录,非实时实验日志 · 未取得

结果与产物

V0.5-5已有可加载step36956基座;精确接续训练仍需单独验证。

目标与验收依据

V0.5-5已有可加载的step36956基座。标准20%后训练于10月15日18:18完成12000步;19:00检查确认全部训练进程完成,最终权重能读回且数值一致。能否精确接续训练,仍需单独验证,具体检查记录留在实验目录。 V055评测尾局已按10月16日16:02的要求停止,保留固定测试599/600局和全量2095/2100局。现有成绩可继续分析,缺失部分保留记录。 TTT整理稿已提出记忆消融、同数据比较和数据路线;目前训练拟合的改善尚未稳定体现为实际任务收益。UMI action恢复训练据王煜楷10月16日的原报告使用320卡继续,当前云作业的最终状态尚未取得。

耗时

待补

人工介入与反馈

待补

原Review

待独立验收

证据缺口

尚未关联运行级时间、token、人工介入次数及逐维度人评。

来源 1 ↗
当前来源未提供独立的反馈记录。
原Review:待独立验收待评
TTT与记忆消融:当前证据与待验证项已有记忆消融、同数据比较方案;拟合改善尚未稳定转成任务收益。
查看依据

TTT与记忆消融:当前证据与待验证项

训练研究 · 项目认知记录,非实时实验日志 · 未取得

结果与产物

已有记忆消融、同数据比较方案;拟合改善尚未稳定转成任务收益。

目标与验收依据

V0.5-5已有可加载的step36956基座。标准20%后训练于10月15日18:18完成12000步;19:00检查确认全部训练进程完成,最终权重能读回且数值一致。能否精确接续训练,仍需单独验证,具体检查记录留在实验目录。 V055评测尾局已按10月16日16:02的要求停止,保留固定测试599/600局和全量2095/2100局。现有成绩可继续分析,缺失部分保留记录。 TTT整理稿已提出记忆消融、同数据比较和数据路线;目前训练拟合的改善尚未稳定体现为实际任务收益。UMI action恢复训练据王煜楷10月16日的原报告使用320卡继续,当前云作业的最终状态尚未取得。

耗时

待补

人工介入与反馈

待补

原Review

待独立验收

证据缺口

尚未关联运行级时间、token、人工介入次数及逐维度人评。

来源 1 ↗
当前来源未提供独立的反馈记录。
原Review:待独立验收待评
UMI action监督:当前证据与待验证项10月16日报告使用320卡继续;当前云作业最终状态未取得。
查看依据

UMI action监督:当前证据与待验证项

训练研究 · 项目认知记录,非实时实验日志 · 未取得

结果与产物

10月16日报告使用320卡继续;当前云作业最终状态未取得。

目标与验收依据

比较训练方案时,保存数据、代码、配置、初始化和权重的对应关系,并核对图像处理、固定测试样本等条件。否则两次结果不同,可能同时受到多个变化的影响。 例如,UMI action恢复版同时改变了卡数、batch和监督方式。即使结果改变,也不能只归因于恢复了action监督,需要同条件对照才能分辨。 Kuangzhi_Ge确认,当前没有action标签的样本先置零,再按整个batch平均计算loss。这种做法会怎样影响梯度,仍在讨论,还没有对照结论。

耗时

待补

人工介入与反馈

待补

原Review

待独立验收

证据缺口

尚未关联运行级时间、token、人工介入次数及逐维度人评。

来源 1 ↗
当前来源未提供独立的反馈记录。
原Review:待独立验收待评

能力评测 1 个案例

任务 / 依据标注结果质量响应速度人工介入token效率稳定性综合分标注与评分依据
基模能力对照:当前证据与待验证项V055尾局已按10月16日要求停止,保留固定599/600、全量2095/2100局。
查看依据

基模能力对照:当前证据与待验证项

能力评测 · 项目认知记录,非实时实验日志 · 未取得

结果与产物

V055尾局已按10月16日要求停止,保留固定599/600、全量2095/2100局。

目标与验收依据

V0.5-5已有可加载的step36956基座。标准20%后训练于10月15日18:18完成12000步;19:00检查确认全部训练进程完成,最终权重能读回且数值一致。能否精确接续训练,仍需单独验证,具体检查记录留在实验目录。 V055评测尾局已按10月16日16:02的要求停止,保留固定测试599/600局和全量2095/2100局。现有成绩可继续分析,缺失部分保留记录。 TTT整理稿已提出记忆消融、同数据比较和数据路线;目前训练拟合的改善尚未稳定体现为实际任务收益。UMI action恢复训练据王煜楷10月16日的原报告使用320卡继续,当前云作业的最终状态尚未取得。

耗时

待补

人工介入与反馈

待补

原Review

待独立验收

证据缺口

尚未关联运行级时间、token、人工介入次数及逐维度人评。

来源 1 ↗
当前来源未提供独立的反馈记录。
原Review:待独立验收待评

数据质量 1 个案例

任务 / 依据标注结果质量响应速度人工介入token效率稳定性综合分标注与评分依据
Caption与数据质量:当前证据与待验证项10月14日安排约100条小样人工对照;尚无有效配方结论。
查看依据

Caption与数据质量:当前证据与待验证项

数据质量 · 项目认知记录,非实时实验日志 · 未取得

结果与产物

10月14日安排约100条小样人工对照;尚无有效配方结论。

目标与验收依据

Caption是为样本配的文字描述。10月14日站会安排先取约100条样本,做人工对照和指标评审,看描述质量是否过关,再考虑扩大重标,并用同条件训练比较效果。 这里有三个需要分别回答的问题:描述是否更准确,筛选指标能否识别好坏,以及这些变化能否改善训练后的任务表现。目前这是实验安排,还没有证明是一套有效配方。

耗时

待补

人工介入与反馈

待补

原Review

待独立验收

证据缺口

尚未关联运行级时间、token、人工介入次数及逐维度人评。

来源 1 ↗
当前来源未提供独立的反馈记录。
原Review:待独立验收待评

原人评与本次标注分开保留;评分是依据人工输入计算的试算。

功能反馈与处理 · 0 条原记录
当前来源未提供独立的反馈记录。

本页面按项目说明整理功能;不修改原项目登记与token归属。