特斯拉Tesla Optimus人形机械人“入工厂打工” 动作精确度惊人
特斯拉人形机械人又解锁新技能了!
日前,Tesla Optimus官方发布了新的demo 视频,展示了二代Optimus人形机械人的最新进展。这次,Optimus开始进厂打工了,在特斯拉电池工厂学会了分装电池,并且比以前走得更快更远更稳了。让我们先一睹Optimus的最新技能和训练细节。
点图放大浏览Tesla Optimus照片:
现在,Optimus的端到端神经互联网经过训练,能够对特斯拉工厂的电池单元进行准确分装。Optimus在机械人的FSD电脑上即时运行,而仅依靠2D相机、手部触觉和力传感器。 Optimus利用它的腿保持平衡,同时互联网驱动整个上半身。在插入过程中需要非常精确的动作,且容错率很低,神经互联网会自动定位下一个空闲插槽。 Optimus还能从故障中自主恢复。
Optimus的训练资料是透过人类远端操作收集,并针对各种任务进行了扩展。Optimus在工厂进行测试,人工干预率持续下降。当然,Optimus现在可以在定期绕著办公室行走,不仅走得更快,走的距离也越来越远了。
对此,特斯拉Optimus(Tesla Bot)工程师Milan Kovac对Optimus的更多训练细节进行了解读。在过去的几个月里,特斯拉出色的制造团队制造出了更多的机械人,以便进行研究并收集人工智慧数据。团队训练并部署了一个神经网络,让Optimus开始执行有用的任务,例如从传送带上捡起电池单元并将它们精确地插入托盘中。这个神经互联网完全端到端运行,这意味著Optimus只消耗来自机械人2D摄影机的影片以及板载本体感受器上的数据,并直接产生关节控制序列。Optimus完全在机械人的嵌入式FSD电脑上运行,并由板载电池供电。这样的设计使得单一神经互联网可以透过添加更多样化的资料到训练过程中来执行多个任务。
【延伸阅读】疯传沙特“痴汉机械人”公然摸美女记者屁股 算否咸湿意外掀激辩(点图放大浏览):
虽然目前Optimus还不完美,速度还有点慢,但我们看到了越来越高的成功率和越来越少的失误。特斯拉还训练Optimus从失败案例中恢复,并看到了自发性的校正发生。特斯拉已经在一家工厂部署了几台Optimus人形机械人,它们每天都在真实的工作站上进行测试,并且持续改进。团队正在进行进一步的工作,以使Optimus移动更快,并应对更恶劣的地形,同时不牺牲它的人性化特性。团队还将专注于可重复性、训练神经互联网处理动态校准和机械人之间的微小差异。很快会有更多的更新。
此外,辉达NVIDIA资深研究科学家、AI Agents负责人Jim Fan对Optimus新影片展现的技能给予了很高的评价。他认为,影片让我们窥见了人类数据收集的真实场景,这是Optimus最大的优势。建立这样的管线需要什么呢? Optimus做到了以下几点:
1. Optimus的手是世界上顶级五指灵巧型机械人手之一,它具有触觉感知,拥有11 个自由度(DOF),相比之下许多竞品只有6-7个DOF,并且具有强大的稳健性,能够在不需要持续维护的情况下承受大量的物件互动。
2. 远端操作软体:我们可以看到人类操作员戴著VR眼镜和手套。设定软体以实现第一人称视讯的即时传输和精确控制输出,同时保持极低延迟,这是非常了不起的。人类对于自己动作和机械人动作之间的最微小延迟都非常敏感。 Optimus有一个流畅的全身控制器,可以即时执行人类姿态。
3. 大规模fleet:你需要不只一个机械人来并行收集数据,需要训练有素的人类每天进行多次轮班(最好全天候),以及一个随叫随到的维护团队,以确保机械人始终处于忙碌状态。这是学术研究实验室甚至不会考虑的大量操作复杂性。
4. 任务与环境:弄清楚要远端操作什么也同样重要。目前,大多数此类工作都是由简报驱动的:收集你想要放入社群媒体影片中的任务资料。但想要解决通用型机械人的问题,我们需要仔细考虑任务和环境的分布。从影片的43秒到51秒部分,我们可以看到工厂和家居环境,如行动电池、处理洗衣物、将日常物品分类放入货架。
【延伸阅读】Mercedes-Benz平治将起用“机械人搬运工” 制造商为NASA伙伴(点图放大浏览):
这是一个开放性的研究问题:如果你只有预算来收集1000个任务的训练数据,你会选择什么来最大化技能转移和泛化呢?结论:远端操作是解决人形机械人问题的必要条件,但不足以充分解决问题。它从根本上来说无法扩展。
在评论区,马斯克(Elon Musk)预告了Optimus人形机械人手部的最新目标,在今年稍后将拥有22 自由度(DoF)。这就更让人期待一波了。
先前,据马斯克在财报电话会议上透露,特斯拉Optimus人形机械人可能会在今年年底拥有完成“有用的工厂任务”的能力,并计划今年年底前在自家工厂率先使用。同时特斯拉有可能在2025年底前对外销售Optimus。
【延伸阅读】美国师奶宣布“和AI聊天机械人结婚”:一生从没这样爱过一个人(点图放大浏览):
特斯拉人形机械人“进化史”
特斯拉人形机械人最早要追溯到2021年8月的“特斯拉AI日”活动上,当时马斯克首次透露了要造人形机械人(Tesla Bot)的设想。这款人形机械人的身高大概是1.72米,重约112斤,身材匀称,还带有一张面部萤幕,能够以约8公里/ 小时的速度移动。
2022年10月,这一年的“特斯拉AI日”上,Optimus人形机械人首次亮相。彼时,它还不能做跳舞等花式表演。机械人工作时的耗电量是500W,重量达73公斤,手动的自由度有27个。不过,在Demo演示中,Optimus展示了其搬箱子、浇花、在特斯拉超级工厂工作的画面。
2023年5月,经过半年多的蛰伏,特斯拉Optimus终于具备了流畅行走、抓取物体的能力。2023年9月,特斯拉Optimus再次进化,可以自主对物体进行分类了,亮点在于神经互联网完全端到端训练:输入影片、输出控制。闲暇之余,它还能做瑜珈消遣。2023年12月,Optimus第二代到来,让人的确看到了电影《机械公敌》里的样子了。
随著新影片的发布,特斯拉人形机械人的进步速度再次令人惊叹。
【本文转自“机器之心”,微信公众号:almosthuman2014】