機器人界PyTorch來了！Hugging Face 聯合牛津團隊發布LeRobot庫

近日，Hugging Face 聯合英國牛津大學團隊發布了 LeRobot，這是一個旨在與整個機器人技術棧實現端到端集成的開源庫，業內將其稱為是「機器人界的 PyTorch」。LeRobot 支持機器人從大規模多模態數據比如文本、視頻和傳感器中學習，適配于多種硬件，助力于推動機器人技術從方程控制面向數據驅動泛化轉變。

圖 | 相關論文（來源：https://arxiv.org/pdf/2510.12403）

LeRobot 支持多種公開可用的機器人平臺，能被用于機器人操控、運動和全身控制。它還實現了統一的底層讀寫機器人配置的方法，以便能以相對較低的成本拓展對于其他機器人平臺的支持。

LeRobot 還引入了 LeRobotDataset，后者是一種原生的機器人數據集格式，目前已被 AI 社區用于記錄數據和共享數據。LeRobotDataset 是 LeRobot 最重要的功能之一，之所以開發這一功能是因為機器人數據在機器人學習中變得日益重要。

因此，LeRobot 希望能夠定義一種標準化的數據集格式，從而滿足機器人學習的特定需求，以便為跨模態的機器人數據提供既統一又便捷的訪問。LeRobotDataset 還可被用于存儲所有關于所收集到的數據的通信信息，包括供操作員執行任務的文本描述、所使用機器人的類型以及相關的測量細節，比如記錄圖像和機器人狀態流時的每秒幀數。

通過此，LeRobotDataset 能為處理多模態數據和時間序列數據提供一個統一的接口，并能與 PyTorch 以及 Hugging Face 生態系統實現無縫集成。同時，LeRobotDataset 還可以由用戶進行自行擴展和高度定制，也支持來自于 LeRobot 之中的各種機器人平臺的公開可用數據，范圍涵蓋 SO-100 機械臂以及 ALOHA-2 操作器等業內已有的開源硬件，也涵蓋現實世界中的其他人形機器人手臂，以及涵蓋完全基于模擬的數據集和自動駕駛汽車。這種數據集格式的好處在于，既可以實現機器人的高效訓練，又能靈活適應機器人遇到的各種數據類型。

LeRobot 還支持那些機器人在學習中所使用的算法，并在 PyTorch 中提供了高效的實現，也擴展了對于實驗開展和實驗跟蹤的支持。同時，LeRobot 為機器人策略定義了一個定制化的推理棧，能夠將動作規劃與動作執行解耦。

（來源：https://arxiv.org/pdf/2510.12403）

LeRobot 的相關論文指出，當前機器人學習正處于一個轉折點，而這主要得益于機器學習的快速進步以及大規模機器人數據的日益普及。LeRobo 勾勒出了一條從強化學習和行為克隆的基礎原理、再到能夠跨不同任務乃至跨機器人平臺操作的通用性語言條件模型的發展路線。

（來源：https://arxiv.org/pdf/2510.12403）

LeRobot 也描繪了機器人技術的范式轉變。原先的機器人主要采用結構化的、基于模型的方法，而當前的機器人開始轉向動態數據驅動的方法。這條進展軌跡的起點始于強化學習。雖然強化學習提供了一個能夠通過交互進行學習的強大范式，但是強化學習在機器人技術中的應用存在樣本效率低、現實世界訓練存在安全問題以及獎勵設計復雜性等不足。正因此，類似于人工干預的強化學習（HIL-SERL，Human-in-the-Loop Reinforcement Learning）這樣的前沿方法通過融入訓練時的人類指導、先前收集的數據集以及學習得到的獎勵分類器，來讓現實世界的強化學習變得更加可行。

然而，強化學習所面臨的固有困難也推動了基于模仿學習的方法的發展，基于模仿學習的方法能以較為安全的方式從數量有限的、無獎勵的現實世界專家演示中學習。隨著模仿學習方法得到更加廣泛的采用，這也催生了單任務策略的發展。這些進步為當前機器人的發展奠定了基礎，即能夠針對各種不同的現實世界任務，讓少樣本和零樣本的通用型語言條件化的視覺-語言-動作模型發揮作用。

據了解，通過利用預訓練主干網絡和流匹配等生成方法，讓美國初創公司 Physical Intelligence 的π0 模型和 SmolVLA 等模型實現了跨不同任務、甚至跨機器人平臺泛化的飛躍。LeRobot 的相關論文指出，當前機器人領域出現了大規模公開可用的數據集，也出現了標準化的穩定易用的模型架構，這與 LeRobot 這樣的開源平臺的出現密不可分。

論文還指出，LeRobot 這種面向開源機器人技術的匯聚不僅僅是一種趨勢，更是機器人領域實現更好發展的根本性推動力?？傊?，LeRobot 旨在打破機器人研發的高墻，讓機器人研發者減少重復造輪子，讓開發者只用幾行代碼即可調用 SOTA 模型，讓普通愛好者也能訓練并部署自己的機器人策略，或許它將助力于時間讓機器人從專有走向通用、從昂貴走向普及的愿景。

參考資料：

https://arxiv.org/pdf/2510.12403

運營/排版：何晨龍