项目收总
基模研发
我们希望模型先从预训练数据中学到可迁移的能力,再通过后训练适应具体任务。研究要能说明:自己的预训练起点带来了什么改善,下一轮应该优先改数据、训练配方,还是算力投入。
更新时间:2026-10-17 18:36(北京时间);本次补充10月目标与协作关系,进展沿用10月17日04:13及文中所列记录。 · 来源 1 ↗
功能/子项目的完成与进展
| 功能/工作线 | 目前情况 | 应监管的指标 | 案例/反馈 |
|---|---|---|---|
| 预训练基座与权重接续 | V0.5-5已有可加载step36956基座;精确接续训练仍需单独验证。 | 训练步数、有效样本、权重可加载性、精确恢复、同条件能力对照 | 1 / 0 |
| 基模能力对照 | V055尾局已按10月16日要求停止,保留固定599/600、全量2095/2100局。 | 有效局数、成功率、缺失原因、固定样本与全量分开、基线条件一致性 | 1 / 0 |
| TTT与记忆消融 | 已有记忆消融、同数据比较方案;拟合改善尚未稳定转成任务收益。 | 消融条件、训练拟合、任务成功率、重复实验稳定性 | 1 / 0 |
| UMI action监督 | 10月16日报告使用320卡继续;当前云作业最终状态未取得。 | 有标签比例、mask与reduction、梯度尺度、卡数与batch、同条件对照 | 1 / 0 |
| Caption与数据质量 | 10月14日安排约100条小样人工对照;尚无有效配方结论。 | 样本准确性、人工一致性、筛选有效性、同条件训练收益 | 1 / 0 |
项目目前的情况与原说明
这个项目要回答的问题
我们希望模型先从预训练数据中学到可迁移的能力,再通过后训练适应具体任务。研究要能说明:自己的预训练起点带来了什么改善,下一轮应该优先改数据、训练配方,还是算力投入。 10月要集中回答一个具体问题:11月1日前,验证UMI数据能否提升OpenWAM在仿真和真机上的表现。为此,需要建立RoboDojo、Jenga和真机任务的比较基线,再分别用已有缓存数据和trainv3数据验证UMI action的收益。数据转换、训练和评测都围绕这个问题推进;OKR中的成功率是目标,部分基线仍待明确。 因此,一次训练的意义既要看模型学得怎样,也要看它实际执行任务时有什么变化。训练损失loss下降,说明它更好地拟合了相应训练目标;机器人能否更稳定完成任务,还要通过任务评测判断。
最近几条实验分别到哪里了
V0.5-5已有可加载的step36956基座。标准20%后训练于10月15日18:18完成12000步;19:00检查确认全部训练进程完成,最终权重能读回且数值一致。能否精确接续训练,仍需单独验证,具体检查记录留在实验目录。 V055评测尾局已按10月16日16:02的要求停止,保留固定测试599/600局和全量2095/2100局。现有成绩可继续分析,缺失部分保留记录。 TTT整理稿已提出记忆消融、同数据比较和数据路线;目前训练拟合的改善尚未稳定体现为实际任务收益。UMI action恢复训练据王煜楷10月16日的原报告使用320卡继续,当前云作业的最终状态尚未取得。
怎样判断收益来自哪项改动
比较训练方案时,保存数据、代码、配置、初始化和权重的对应关系,并核对图像处理、固定测试样本等条件。否则两次结果不同,可能同时受到多个变化的影响。 例如,UMI action恢复版同时改变了卡数、batch和监督方式。即使结果改变,也不能只归因于恢复了action监督,需要同条件对照才能分辨。 Kuangzhi_Ge确认,当前没有action标签的样本先置零,再按整个batch平均计算loss。这种做法会怎样影响梯度,仍在讨论,还没有对照结论。
先看模型实际拿到了什么数据
机器人动作数据需要讲清坐标系、绝对位置还是位移增量、采样频率和归一化方式。文件能读、字段齐全之后,还要回放代表性样本,看这些数值是否表达了想让机器人学的动作。 例如,Streaming汉诺塔失败时,先回放原始轨迹,核对基座使用Delta还是Absolute动作。Delta描述相对变化,Absolute描述绝对目标;如果接入时把它们弄反,不能直接把失败归为模型能力不足。 跨机器人使用数据时,也要用真实样例确认坐标和动作含义。模型名、旧指标或录音转写有歧义时,回到原件核对。
Caption先做小样,再决定是否扩大
Caption是为样本配的文字描述。10月14日站会安排先取约100条样本,做人工对照和指标评审,看描述质量是否过关,再考虑扩大重标,并用同条件训练比较效果。 这里有三个需要分别回答的问题:描述是否更准确,筛选指标能否识别好坏,以及这些变化能否改善训练后的任务表现。目前这是实验安排,还没有证明是一套有效配方。
下一轮实验怎样接续
从原实验记录找到数据、配置、权重和结果,先确定这次要验证哪一个问题,再到相关原讨论核对后续安排。对照条件尽量保持一致;必须同时改变的部分,在解释结果时说清楚。 基模研发目前按观察到的工作线整理,组织归属继续按原件和人的反馈确认。新的训练、全库重标、调卡和数据发布按具体交办执行;成本与工期预测保留估算含义。
实际案例 · 同类比较
评分规则与权重 · 数据质量
各项0–100分,越高越好。建议权重可调整;完整填写五项与依据后才计算总分。空白保留待评。
权重合计100%。
数据质量 1 个案例
| 任务 / 依据 | 标注 | 结果质量 | 响应速度 | 人工介入 | token效率 | 稳定性 | 综合分 | 标注与评分依据 |
|---|---|---|---|---|---|---|---|---|
Caption与数据质量:当前证据与待验证项10月14日安排约100条小样人工对照;尚无有效配方结论。查看依据Caption与数据质量:当前证据与待验证项结果与产物10月14日安排约100条小样人工对照;尚无有效配方结论。 目标与验收依据Caption是为样本配的文字描述。10月14日站会安排先取约100条样本,做人工对照和指标评审,看描述质量是否过关,再考虑扩大重标,并用同条件训练比较效果。 这里有三个需要分别回答的问题:描述是否更准确,筛选指标能否识别好坏,以及这些变化能否改善训练后的任务表现。目前这是实验安排,还没有证明是一套有效配方。 耗时待补 人工介入与反馈待补 原Review待独立验收 证据缺口尚未关联运行级时间、token、人工介入次数及逐维度人评。 当前来源未提供独立的反馈记录。 | 原Review:待独立验收 | 待评 |
功能反馈与处理 · 0 条原记录
本页面按项目说明整理功能;不修改原项目登记与token归属。