MultiDojo²
全球首个异构多机器人自进化榜单
English · 简体中文
项目官网 · 数据集 · 任务 · 评测 · RSI · 快速开始
| 训练示范 | 任务类别 | 机器人组合 | RSI |
|---|---|---|---|
| 2,000+ | 20+ · 每类 100 条 | 2 / 3 / 4 / 8 臂 | 诊断 → 训练 → 复测 |
看见协作
十台相同机械臂共同完成装配工序，在工位间传递工件、配合操作，一步步组装出完整风扇。
数据集
20+ 类协作操作任务，2,000+ 条经审核的仿真示范。 每类 100 条轨迹，覆盖物体交接、区域接力、共同搬运、顺序叠放与并行操作。
- 既看局部操作，也看团队配合。 每个机械臂均有第一视角，并配有共享工作空间的第三视角。在同一时间线上观察抓取细节与机械臂之间的协作。
- 观测与动作同步记录。 RGB、机器人状态、原生关节指令、下一时刻观测与相机标定，保留感知和执行之间的对应关系。
- 覆盖不同机器人组合。 同构与异构团队包含双臂、三臂、四臂和八臂，保留各机器人原生关节顺序、单位及执行器掩码。
- 具有实际意义的场景变化。 在保持操作目标的前提下，改变物体与终点位置、工作空间分布和场景外观。
- 逐条进行物理与完整性验收。 检查抓取与接触、物体支撑、放置稳定性、机械臂间禁止碰撞约束、图像同步和文件完整性。
2,000+ 条轨迹的数据集正在 Hugging Face 持续开放，同步保留每臂第一视角、第三视角、原生状态动作与验收信息。下载及加载方法见数据集页面。
跨形态协作
异构机器人团队
不同机械臂在同一装配流程中承担互补角色，围绕共享工件完成传递与操作。
人形机器人与机械臂
人形机器人与机械臂跨越本体形态差异，在连续装配工序中分工配合。
风扇装配展示长时序、多工序协作，覆盖同构、异构与人形机器人组合。
All-to-One. One-to-All.
机器人自动化的规模化发展，离不开协作。 共享任务需要共享的工作空间理解、相互配合的操作时序，以及适合各机器人分工的动作。
All-to-One 将多机器人的观测与状态汇聚为统一的世界认知；One-to-All 将共享认知转化为适合各机器人本体与角色的协同行动。One World, One Model 表达了这一研究愿景。
任务
任务集围绕 五类协作技能 展开：交接、接力、共同搬运、叠放与并行操作。每个任务包含 100 条训练示范，评测围绕场景条件与初始状态的变化展开。
| ID | 任务 | 团队 | 协作技能 |
|---|---|---|---|
| 00 | 双臂香蕉空中交接入锅 | 同构 · 2 臂 | 交接 |
| 01 | 双臂香蕉苹果入盘 | 同构 · 2 臂 | 并行操作 |
| 02 | 双臂共同搬纸箱 | 同构 · 2 臂 | 共同搬运 |
| 03 | 双臂杯子两段接力 | 同构 · 2 臂 | 接力 |
| 04 | 双臂积木叠放 | 同构 · 2 臂 | 叠放 |
| 05 | Franka/Piper 长方块空中交接 | 异构 · 2 臂 | 交接 |
| 06 | 同构三臂方块接力 | 同构 · 3 臂 | 接力 |
| 07 | 同构四臂苹果入篮 | 同构 · 4 臂 | 并行操作 |
| 08 | 同构四臂方块接力 | 同构 · 4 臂 | 接力 |
| 09 | 同构四臂四色叠放 | 同构 · 4 臂 | 叠放 |
| 10 | 同构四臂饼干入盒 | 同构 · 4 臂 | 并行操作 |
| 11 | 同构四臂日用品入盒 | 同构 · 4 臂 | 并行操作 |
| 12 | 同构八臂方块入盒 | 同构 · 8 臂 | 并行操作 |
| 13 | 异构三臂方块接力 | 异构 · 3 臂 | 接力 |
| 14 | 异构四臂方块接力 | 异构 · 4 臂 | 接力 |
| 15 | 异构八臂方块入盒 | 异构 · 8 臂 | 并行操作 |
| 16 | 异构三臂香蕉接力 | 异构 · 3 臂 | 接力 |
| 17 | 异构三臂白杯接力 | 异构 · 3 臂 | 接力 |
| 18 | 异构四臂香蕉接力 | 异构 · 4 臂 | 接力 |
| 19 | 异构四臂白杯接力 | 异构 · 4 臂 | 接力 |
任务原始标识
00 BananaDualArmHandover 01 IsomorphicDualArm/BananaAppleToPlates 02 IsomorphicDualArm/CollabLiftLongBox 03 IsomorphicDualArm/CupLeftToMidToRight 04 IsomorphicDualArm/LeftPlaceRightStack 05 HeterogeneousDualArm/FrankPiperBananaHandover 06 IsomorphicTripleArm/BlockZoneRelay 07 IsomorphicQuadArm/AppleToBasket 08 IsomorphicQuadArm/BlockZoneRelay 09 IsomorphicQuadArm/ColorBlockCenterStack 10 IsomorphicQuadArm/CookieToBox 11 IsomorphicQuadArm/HouseholdToBox 12 IsomorphicOctaArm/BlocksToBoxes 13 HeterogeneousTripleArm/BlockZoneRelay 14 HeterogeneousQuadArm/BlockZoneRelay 15 HeterogeneousOctaArm/BlocksToBoxes 16 HeterogeneousTripleArm/BananaZoneRelay 17 HeterogeneousTripleArm/WhiteCupZoneRelay 18 HeterogeneousQuadArm/BananaZoneRelay 19 HeterogeneousQuadArm/WhiteCupZoneRelay
任务目录 将 00–19 号任务与任务名称、相机集合、训练索引中的轨迹范围对应起来。任务与标识说明 →
评测
在受控的场景变化中检验协作。 评测改变物体与终点位置、允许变化的外观和初始状态，同时保持任务指令和物理要求。
任务成功率 = 成功试次 / 实际评测试次
总分 = 100 × 各评测任务成功率的平均值
成功判定结合任务完成情况与真实抓取、交接顺序、物体支撑、终点位置、稳定性及碰撞约束。各任务等权参与总分，执行记录支持复现与复核。
线上测评服务即将上线。
RSI
把回放证据转化为具体的训练目标。 RSI 连接执行记录、失败说明与后续训练任务，帮助研究者明确策略下一步需要练习什么。
训练建议具体到参与的机器人、操作物体、起点与终点范围、协作顺序、运动约束和成功条件。候选场景通过原生物理验收后进入训练，再通过复测衡量下一轮训练的效果。
快速开始
使用 Python 3.10+ 在本地浏览项目：
python3 scripts/check_release.py
python3 -m http.server 8000 --bind 127.0.0.1 --directory .
打开 localhost:8000，浏览数据集介绍、任务目录和评测指南。
提出问题或贡献时，请附上任务 ID、轨迹或试次 ID，以及复现步骤。
2,000+ 条轨迹，汇成协作图景
从双臂交接到八臂工位：持续滚动的场景墙，展现丰富的多机器人训练轨迹与装配研究展示。