AI人形機器人研究:與汽車行業聯動,主機廠押注人形機器人賽道
發布時間:2023-11-20 20:32:50與機械臂、AGV相比,AI人形機器人應用場景更具通用性
智元機器人元征A1應用場景示例
AI人形機器人大模型從VLM向VLA進化
RT-2一方面吸收了VLM語義推理、問題解決、視覺解釋能力,另一方面能從真實的機器人動作中實現具身任務推理,且兩方面能夠相互促進。
訓練方式上,RT-2通過將機器人動作拆解為文本token的形式,實現了直接與視覺語言數據混合后輸入VLM進行聯合微調。
RT-2不僅是對現有VLM模型的簡單而有效的修改,還展示了構建通用物理機器人的前景,讓機器人可以推理、解決問題和解釋信息,以在現實中執行各種任務。