核心 case · C20
原生PPU自动加载与缩容验收
Public60k实测按3→2→1→0回收,末尾回收约10—13秒。
2026-10-12 04:00 至 2026-10-15 04:00(北京时间);历史核对,执行前查最新状态。
人的最终 Review
待审尚无明确的最终评审意见。
本 case 的 token 总数
待关联这次要做到什么
验证托管模型按需加载、渐进释放、重启接续。 Public60k按需加载、忙会话不截断、3到0渐进释放,重启不重复加载
实际做到什么
r174,Public60k144局432视频,3→2→1→0回收,忙会话不中断;修正重复计容量,末worker后回收约10–13秒。
使用的 Skill
缺少实际使用及版本证据,待核对原执行。
Agent 初评
理解3/4 / 交付3/4 / 可靠3/4 / 协作3/4
这个 case 收到的反馈
未观察到交付后反馈,不能等同认可
模型加载、渐进释放也应统一托管
Adapter代码、运行进程、权重配方分层;与worker统一调度,避免每个排队任务预占PPU。
处理结果:管理接口r167已上;Public60k原生加载缩容r174已测,其他配方保留未验收。
下一步:暂无
现在我们评测的一系列调度主要都还是在评测卡做,但其实 ppu 侧无论是加载模型还是释放也都应该放在一个维护的流程中。我们想一想这里的设计吧。 我理解如果是那些 adapter 支持的权重,其实机制应该就是我们在开启任务的时候提供权重路径(对于那些我们自己要部署的权重而言,提供已部署端口的就不需要考虑),然后评测系统自己完成权重的加载。当评测完成也自动释放。这里的意义在于我们未来可能会有非常多排队任务,不可能为每个排队任务都分 ppu 提前加载好。那这肯定就依赖我们系统完成评测侧 & 推理侧资源的统一管理调度。来源 1 ↗
但我想要让模型这边也和评测卡一样是渐进释放的,比如说上一个评测分配了 8 张评测卡,到了最后几个任务只有 4 张评测卡在消费,那这时候对应推理卡也应该释放 4 张,这样就可以并行完成下一个任务的加载和执行了。来源 1 ↗
另外一个比较关键的就是我们得知道如何启动一个权重,这些东西应该是排队时就能准备好的(也应该规范化的?)。现在我们能做到吗来源 1 ↗
或者说,adapter & worker 某种意义上是两个对称的概念,adapter 用于让模型权重变成接口,worker 让评测环境变成接口。但这里的主要差异就是 adapter 是经常变化的(换模型权重),worker 相对稳定。但按理说它们都是被一个统一的评测服务管理的子服务?来源 1 ↗
对,这里,Worker 本身也是对环境的一个加载嘛,就是它其实都涉及了两个概念,一种概念 Adapter 是这个代码,然后另一种 Adapter 的概念其实是这个代码对应的一个真实运行进程。 然后我们按这种架构要不实现一轮看看。来源 1 ↗
下一步如何判断和改进
建议先核对下面的证据缺口,再补充人的最终 Review;已有结果在原验收范围内判断。
已保存2026-10-14-managed-ppu-r174.json;其他模型配方仍待各自验证。
展开过程:运行范围、耗时、资源与返工
运行范围
r174,144局/432视频;3→2→1→0释放;忙会话不中断,重启接续。
关键时间与耗时
末worker结束后回收约10–13秒;无整个请求耗时/成本。
资源使用
按实际消费者渐进释放模型,避免全部任务结束才回收或提前打断忙会话。
返工与人工介入
修正容量重复统计;停止/重启/释放结果需实际回执,不按配置声称。