Codex 操作双臂机器人
用自然语言布置任务，大模型通过工具调用完成观察、规划、抓取和放置：把衣服从盆里拿出来，再放回去。过程包含人工提示，下面保留了具体记录。
- 条自然语言任务完成
- 2 / 2
- 实际用时
- 42:36
- 次失败后自主换策略
- 4
实验设置
- 硬件
- 双臂机械臂，三路实时相机。
- 控制方式
- Codex 通过工具调用读取状态、获取相机画面、移动关节和夹爪。
- 任务
- 先把衣服从盆里夹出、放到一旁（已练习）；再把衣服夹回盆里（未专门练习）。
Agent 怎么做
- 1感知
- 2规划切入
- 3分段合爪
- 4试提验证
- 5失败换点
实测中看到的
- 经提示后，右臂自主选择观测角度，为夹取提供辅助视角。
- 衣服在盆里铺得很平时，先分段合爪、试提 2 厘米确认跟随，再搬出。
- 没夹稳时，模型自己分析原因，换角度、换开度重新夹取。
- 放回是未专门练习的直接泛化：摆放不算规整，但目标达成。