生成、重建、模拟。
让世界成为练习场。
从图像、视频等输入构建空间上下文,生成新视角、三维场景与动态,已展示机器人导航和操作的 Real-to-Sim。
官方能力与评测 ↗98 秒,理解 KAtlas。
成功确认目标的中位间隔
点云给出确认的中位间隔
95% 的帧,前台新增计算不超过此值
v60 同一段室内录制的回放结果。前两项按录制源时间统计,起点分别为目标出现与首份合格空间观测;2.09 毫秒统计点云功能给前台新增的实际计算时间。活动索引包含 60 件资产、10,958 个空间点,用 CPU 查询。整条链路的运行表现及测试条件见飞书附录。
配乐:Horizons — Scott Buckley · CC BY 4.0,节选、淡入淡出与配音混音。
A-017 · 蓝色马克杯
茶几 · 历史位置
每次观察,都有来源。
连续跟踪、按需取证、空间记忆。
三条路线,协同维护同一个世界。
调整四类证据,然后提交两张不同源帧。试试重复同一帧,或让“位置”缺失。
教学简化:第二候选固定为 0.55,其他质量与地图条件假定合格,暂不模拟 FoundYou 歧义重排。修改输入会重置本轮投票。
照片告诉机器人“在哪个像素”,深度告诉它“有多远”,位姿告诉它“放在房间的哪里”。拖动深度,看看同一像素对应的位置怎样变化。
相机横向位置 = (像素横坐标 − 主点) × 深度 ÷ 焦距。再用相机外参、底盘位姿和地图修正转换到地图坐标。
本例固定 u=380、cx=320、fx=600;显示 x_camera=0.1×深度。图为教学投影,不是标定工具。
当前实例 Mask 的快坐标用于查询;操作用可信坐标还需慢几何的质量与来源准入。仅找到旧身份不会自动升级坐标质量。
拖动时间。历史位置会留下,当前操作位置会过期。
示例按原文的 3 秒坐标有效窗口演示;刷新仍受队列、预算和观测质量影响。KAtlas 提供感知与记忆,抓取规划和控制由下游模块负责。
选物少一次重复指认。示范多一份可用经验。
找物有一条历史线索。亲手试试看。
找回物品、持续指定目标、查看上次观察。先交付找物线索,再接入导航与抓取。
工具、容器和任务经历按实例关联。重点验证相似物体混淆、遮挡恢复和移动更新。
把“又看到了什么”升级为“哪个资产变化了”。需补充业务异常规则与人工复核闭环。
让每帧观察持续更新。
将更多计算,留给真正需要核验的变化。
调度教学模型:前台 10 Hz、忽略资源争抢和处理开销。原文 YOLOE 约 8 Hz 是目标配置,并非本演示或机器人实测帧率。共享 GPU 饱和仍可能影响真实延迟。
与“每个可见目标每帧都做重身份取证”的朴素方案比较;这不代表 Atlas 的实现。
观察 60 秒,朴素基线 10 帧/秒:次数 = 目标数 × 600。按需方案:每目标初次 2 份证据 + 每 15 秒复核 1 份(60 秒内另计 4 份)+ 滑杆额外触发次数。
这是简化的任务次数估算,未计检测、跟踪、SAM 纯坐标刷新、点云、I/O、失败重试与硬件资源争用。不能据此推导总 GPU 成本、金额或对 Atlas 的加速倍数。
固定硬件与输入分辨率,对齐任务和准确率约束,测量:前台 p50/p95 帧延迟、重识别确认延迟、每分钟重模型调用、GPU 秒与峰值显存、身份误合并率、错用过期坐标次数。与可访问的 Atlas 任务做交集比较,并单列各自覆盖的能力。
K,取自 Knowin(诺因)。Atlas,意为「地图集」。
KAtlas 为真实物体建立持续更新的空间记忆。
从图像、视频等输入构建空间上下文,生成新视角、三维场景与动态,已展示机器人导航和操作的 Real-to-Sim。
官方能力与评测 ↗围绕同一件真实物体组织跟踪、几何与历史,按需复核。为在线任务提供依据,也为训练与测试积累环境记忆。
体验物体记忆 ↑Atlas 扩展可以生成与探索的三维世界。
KAtlas 持续整理真实环境里的物体与经历。
同一维度,两边一起看。
通用生成式世界模型;以共享空间上下文组织多模态输入,生成、重建和模拟世界。
为真实环境里的每件物体建立档案,把不同时间看到的同一只杯子、同一把椅子联系起来,持续更新身份、位置与观察记录。
可以生成新视角、深度、点云或三维高斯场景,并补全输入尚未拍到的区域。它把有限的素材扩展成可探索的空间,生成部分在真实执行前需要现场确认。
从实际观察积累物体表面、位置与来源视图。看过的部分可以直接查询,未知区域等待后续观察补充,适合持续维护真实环境的变化。
可以复用已有 RGBD 空间上下文,并继续编辑场景,让多次生成共享已有的空间信息。
重点维护“还是不是刚才那一件”。杯子换了位置、暂时被挡住或从另一侧出现时,系统结合历史与当前观察重新核对,把新线索补进同一份档案。
应用可以通过代码指定相机位置,生成相应的彩色画面与深度,为观察、规划或仿真提供输入;机器人动作由下游规划与控制系统执行。
已有记忆先帮助机器人缩小找物范围。下一步可用程序从三维记录中选择候选视角,比较哪边看得清、身体怎样靠近、手臂怎样伸入,再交给规划与控制系统执行。
Atlas 已展示把真实环境转成用于导航和操作的模拟空间。World Labs 的 R2S2R 系统进一步展示了仿真训练、真机迁移和策略评测,让生成的世界服务于机器人的练习与测试。
持续记录具体家庭里的物体、位置与示范经历,为训练和测试准备贴近现场的数据。接入仿真与学习后,夜间或云端可以围绕这个家练习观察、导航和操作,这是下一步的集成方向。
World Labs 的 R2S2R 路线把发现策略弱点、生成针对性练习和真机验证连起来,探索机器人如何持续提升。
以持续更新的家庭记忆为起点,让练习跟着实际变化走。未来把记忆、仿真练习、策略学习和现场验证接成闭环,就有机会把今天的经历变成明天更熟练的行动。
可由普通图像估计相机与深度,也可接收已标定的 RGBD 上下文。度量尺度需校准;Beta API 已有文档,具体任务开放取决于账号。
地图级记忆依赖有效 RGB-D、标定与位姿。多模块部署需要 GPU/CPU、队列及存储管理;是否适合端侧设备须按目标硬件验证。
生成空间需要计算,已有场景也可以复用上下文并在本地渲染。实际体验取决于生成频率、输出质量和上下文复用方式。
把日常跟踪与后台分析分开,让熟悉的物体先查已有记忆。这次成功确认目标的典型间隔为 1.53 秒(录制源时间);95% 的整帧处理时间不超过 108.14 毫秒,末帧累计落后录制进度约 26.71 秒,后续将继续优化整体处理速度。
按 Beta 任务计费,费率可能调整;容量和并发还受服务约束。需依据实际任务、画质、上下文和当前报价核算。
通过复用真实观察减少重复分析。这次一万多个空间点直接用 CPU 查询,95% 的帧只增加不超过 2.09 毫秒的前台计算,体现了查询已有记忆的轻量优势。整体成本还包含检测、跟踪等环节,两者的总费用需要放到同一任务中比较。
生成的空间进入机器人任务后,还要检验几何与物理是否足够准确。World Labs 的 R2S2R 用仿真和真机上的对应任务来检验效果。
物体档案为行动提供依据。真正执行时,机器人仍要确认当前位置,并结合碰撞检查、接触模型和控制器,把“记得”转化成“做得到”。
官方已公布相机控制生成、三维重建的量化评测和机器人演示;R2S2R 系统还提供了仿真与真机上的训练测试结果,详见下方原始资料。
已完成 5 轮、37 次同段室内录制回放,包含从相同记忆开始的对照。新版在 29.28% 的可见跟踪帧中给出正式身份,点云发布了 28 组确认,正式确认后的轨迹保持了身份连续。下一步扩展到更多场景、长期运行和学习闭环。
需要构建、补全或变化三维场景,以及生成新视角和训练测试环境时,其能力更直接相关。
需要持续回答“哪一件、在哪里、发生过什么”时,可以发挥物体记忆的优势。未来可把真实记录用于构建练习任务,再把真机验证后的经历写回记忆。
KAtlas 持续记录这个家的变化;生成与仿真系统构建练习环境;规划、学习与控制模块练习导航、观察和操作。验证后的经验回到真实任务,新的观察继续修正记忆。
World Labs 已公布 R2S2R 训练与评测闭环。KAtlas 接下来将探索与仿真、学习和验证模块的连接,让练习持续围绕真实家庭的变化展开。
查看 World Labs 系统层证据 ↗放到同一个任务里,看谁能更快、更稳地完成目标,并计算整次任务花了多少资源。输入、硬件和质量要求保持一致,再分别比较身份确认、位置更新、任务成功率与总费用;训练测试还要看练出的能力能否带回真机。
上方用“每一步重新分析”解释重复计算的代价;Atlas 自身也支持上下文复用。两者尚未进行同条件速度与费用对比。KAtlas 是 Knowin 的独立项目。