銀河通用&清華推出DexNDM，用神經(jīng)動(dòng)力學(xué)重塑靈巧操作

DexNDM 成果第一作者為清華大學(xué)交叉信息研究院博士生劉雪怡，通訊作者為清華大學(xué)交叉信息研究院助理教授、上海期智研究院 PI 弋力，研發(fā)指導(dǎo)團(tuán)隊(duì)還包括北京大學(xué)助理教授王鶴與北京銀河通用有限公司

機(jī)器人使用靈巧手幫人類在工廠里擰螺絲，在家里切菜做飯的一天何時(shí)可以到來(lái)？為了實(shí)現(xiàn)這一愿景，旨在解決靈巧操作技能 sim-to-real 難題的 DexNDM 應(yīng)運(yùn)而生。

• 論文標(biāo)題：DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model
• 論文鏈接：https://arxiv.org/abs/2510.08556
• 項(xiàng)目網(wǎng)站：https://meowuu7.github.io/DexNDM/
• YouTube 視頻：https://www.youtube.com/watch?v=tU2Mv8vWftU

背景 – 高靈巧性復(fù)雜工具遙操作

實(shí)現(xiàn)高靈巧性的復(fù)雜工具遙操作，例如控制機(jī)械手使用螺絲刀或錘子，是機(jī)器人領(lǐng)域一個(gè)長(zhǎng)期存在的核心挑戰(zhàn)。傳統(tǒng)的直接映射遙操方案，即由人手直接控制機(jī)械手，其能力通常局限于簡(jiǎn)單的抓取與放置任務(wù)，無(wú)法勝任需要精細(xì)指尖協(xié)調(diào)的復(fù)雜操控。

為了突破這一瓶頸，我們主張采用一種半自主遙操作的范式。其核心思想是將復(fù)雜的遙操任務(wù)分解為一系列機(jī)器人可以自主執(zhí)行的、穩(wěn)定可靠的原子技能。操作者僅需下達(dá)高層指令，由機(jī)器人底層控制器精準(zhǔn)地完成具體操作，從而將人的意圖與機(jī)器人的高精度執(zhí)行力完美結(jié)合。

在眾多原子技能中，手內(nèi)物體旋轉(zhuǎn)是一項(xiàng)至關(guān)重要、同時(shí)又極具挑戰(zhàn)的基礎(chǔ)能力。它不僅是靈巧手 “靈巧性” 的集中體現(xiàn)，也是使用絕大多數(shù)工具的前提。然而，手內(nèi)旋轉(zhuǎn)涉及到復(fù)雜且快速變化的接觸動(dòng)態(tài)，這帶來(lái)了巨大的仿真與現(xiàn)實(shí)鴻溝（Sim-to-Real Gap）。以往的研究因此常常局限于特定場(chǎng)景，如簡(jiǎn)單的物體幾何形狀、受限的物體尺寸或特定的手腕姿態(tài)，難以形成通用的解決方案。

為此，我們提出了DexNDM，一個(gè)旨在學(xué)習(xí)通用、穩(wěn)定底層原子技能的新方法。DexNDM 旨在突破現(xiàn)有工作的局限，它能夠讓靈巧手掌握沿著多種轉(zhuǎn)軸、在多樣的手腕朝向下、穩(wěn)定旋轉(zhuǎn)各類物體的技能，覆蓋了包括具有挑戰(zhàn)性的長(zhǎng)條狀物體和微小物體在內(nèi)的廣泛場(chǎng)景。

基于 DexNDM 所提供的強(qiáng)大且穩(wěn)定的旋轉(zhuǎn)原子技能，我們最終構(gòu)建了一個(gè)高靈巧性、高魯棒性的半自主遙操系統(tǒng)。在該系統(tǒng)中，操作者可以輕松地引導(dǎo)靈巧手完成此前無(wú)法實(shí)現(xiàn)的高難度任務(wù)，例如使用螺絲刀擰緊螺絲、用錘子敲擊釘子等手 - 工具 - 物體交互的復(fù)雜工具操作，甚至可以完成對(duì)系統(tǒng)魯棒性有極高要求的長(zhǎng)程家具裝配任務(wù)。這充分證明了我們所提出的 “原子技能賦能復(fù)雜遙操” 路徑的有效性。

前所未有的靈巧性

【亮點(diǎn) 1】全場(chǎng)景物體覆蓋：從微小到超長(zhǎng)，從簡(jiǎn)單到復(fù)雜，皆可精準(zhǔn)駕馭

1. 首次攻克極端挑戰(zhàn)下的持續(xù)旋轉(zhuǎn)

DexNDM 突破了現(xiàn)有手內(nèi)旋轉(zhuǎn)技術(shù)的天花板，首次實(shí)現(xiàn)了在手掌朝下、側(cè)向等極具挑戰(zhàn)性的腕部姿態(tài)下，對(duì)長(zhǎng)條狀物體（如棍、筆）沿長(zhǎng)軸的持續(xù)穩(wěn)定旋轉(zhuǎn)，以及對(duì)微小物體沿多軸的靈巧轉(zhuǎn)動(dòng)。這是以往工作中從未實(shí)現(xiàn)過(guò)的能力。

圖 1：旋轉(zhuǎn)小物體和長(zhǎng)物體

2. 極廣物體覆蓋，完美駕馭復(fù)雜幾何體

圖 2：極廣物體覆蓋

DexNDM 在可操作物體的多樣性方面取得了顯著突破，實(shí)現(xiàn)了對(duì)從微小到細(xì)長(zhǎng)、從簡(jiǎn)單到復(fù)雜幾何體的全面覆蓋，其廣度遠(yuǎn)超以往任何工作（如圖 2 所示）。

為了量化這一優(yōu)勢(shì)，我們將其與此前在復(fù)雜幾何體旋轉(zhuǎn)方面表現(xiàn)最佳的工作 Visual Dexterity 進(jìn)行了直接比較。結(jié)果顯示，即便 DexNDM 采用的是比 Visual Dexterity 所用的定制化 D’Claw 機(jī)械手更小、更通用的 Leap Hand，它在旋轉(zhuǎn)相同物體時(shí)依然表現(xiàn)出相當(dāng)甚至更優(yōu)的性能。這證明了我們算法的卓越性，即用更通用的硬件實(shí)現(xiàn)了更強(qiáng)的能力。

更進(jìn)一步，DexNDM 開(kāi)創(chuàng)了一項(xiàng)前所未有的能力。我們首次展示了使用 Allegro、Leap Hand 這類通用型機(jī)械手，在手掌朝下等具有挑戰(zhàn)性的腕部姿態(tài)下，穩(wěn)定旋轉(zhuǎn)多種表面凹凸不平的復(fù)雜幾何體（如圖 3 所示）。這一高難度場(chǎng)景下的操控能力是所有先前工作都未能企及的。

圖 3：旋轉(zhuǎn)復(fù)雜幾何體

【亮點(diǎn) 2】全姿態(tài)精準(zhǔn)操控：任意腕部姿態(tài)，多樣旋轉(zhuǎn)軸，皆可隨心而動(dòng)

除了在物體種類上的卓越通用性，DexNDM 的另一大特色在于其對(duì)腕部姿態(tài)和旋轉(zhuǎn)軸向的強(qiáng)大適應(yīng)性。無(wú)論機(jī)械手處于何種朝向，也無(wú)論任務(wù)要求物體沿哪個(gè)軸旋轉(zhuǎn)，DexNDM 都能穩(wěn)定、精確地完成指令，展現(xiàn)了其策略的高度靈活性和泛化能力（圖 4）。

圖 4：多樣的手腕朝向

【亮點(diǎn) 3】高「靈巧性」、高魯棒性靈巧手遙操系統(tǒng)，駕馭多種工具，勝任長(zhǎng)程裝配任務(wù)

我們將 DexNDM 強(qiáng)大的手內(nèi)旋轉(zhuǎn)能力作為一項(xiàng) “原子技能”，構(gòu)建了一套靈巧性遠(yuǎn)超傳統(tǒng)方案的遙操作系統(tǒng)。在該系統(tǒng)中，操作者僅需通過(guò)手臂控制機(jī)械臂的位姿，并通過(guò)簡(jiǎn)單指令下達(dá)期望的物體旋轉(zhuǎn)軸向，DexNDM 便能自適應(yīng)地規(guī)劃并執(zhí)行精細(xì)的手指運(yùn)動(dòng)，從而穩(wěn)定地旋轉(zhuǎn)手中的物體。基于此，我們成功實(shí)現(xiàn)了多種復(fù)雜的工具使用任務(wù)，如使用螺絲刀擰螺絲，使用刀切香蕉，使用錘子錘釘子，使用筆寫字等。

更進(jìn)一步，DexNDM 策略的超強(qiáng)魯棒性，使得遙操作系統(tǒng)能夠勝任對(duì)穩(wěn)定性要求極高的長(zhǎng)程（Long-horizon）裝配任務(wù)。例如，我們成功完成了為一張桌子安裝全部四條桌腿的完整裝配流程，整個(gè)過(guò)程流暢穩(wěn)定，不會(huì)因策略失效或遭遇未見(jiàn)場(chǎng)景而中斷。

圖 5：高 「靈巧性」高魯棒的靈巧手遙操作

技術(shù)突破

DexNDM 所實(shí)現(xiàn)的真實(shí)世界中強(qiáng)大的物體旋轉(zhuǎn)能力得益于其在 sim-to-real 方法上的創(chuàng)新（圖 6）。

具體而言，本文方法的核心是一種關(guān)節(jié)級(jí)動(dòng)力學(xué)模型，它通過(guò)有效擬合少量真實(shí)世界采集的數(shù)據(jù)，并據(jù)此相應(yīng)地調(diào)整仿真策略的動(dòng)作，從而彌合仿真和現(xiàn)實(shí)之間的動(dòng)力學(xué)偏差。該模型具有很高的數(shù)據(jù)效率，并能在不同的手 - 物交互分布間實(shí)現(xiàn)良好的泛化：它對(duì)手 - 物交互的動(dòng)力學(xué)進(jìn)行逐關(guān)節(jié)的分解，將系統(tǒng)級(jí)影響壓縮為低維變量，并根據(jù)每個(gè)關(guān)節(jié)自身的動(dòng)力學(xué)特性學(xué)習(xí)其演化過(guò)程，從而隱式地捕獲這些耦合效應(yīng)。

作者配套采用了一套全自動(dòng)的數(shù)據(jù)采集策略，以最少的人為干預(yù)收集多樣化的真實(shí)世界交互數(shù)據(jù)。DexNDM 所提出的逐關(guān)節(jié)動(dòng)力學(xué)建模和全自動(dòng)數(shù)據(jù)采集策略為真實(shí)世界中復(fù)雜的交互動(dòng)力學(xué)建模提供了新的思路，并為真實(shí)世界中交互數(shù)據(jù)采集困難昂貴的問(wèn)題提出了一個(gè)巧妙地行之有效的解法。

基于訓(xùn)練得到的真實(shí)世界中靈巧手逐關(guān)節(jié)動(dòng)力學(xué)模型，作者在原 policy 的基礎(chǔ)上訓(xùn)練了一個(gè)殘差策略網(wǎng)絡(luò)，旨在根據(jù)原策略網(wǎng)絡(luò)的指令輸出來(lái)輸出一個(gè)修正項(xiàng)，從而彌補(bǔ)仿真和真實(shí)世界之間的動(dòng)力學(xué)偏差。

圖 6：方法概述

1. 關(guān)節(jié)級(jí)神經(jīng)動(dòng)力學(xué)模型

與較為直接的建模整手和物體的交互動(dòng)力學(xué)不同，關(guān)節(jié)級(jí)神經(jīng)動(dòng)力學(xué)模型將復(fù)雜的交互動(dòng)力學(xué)在每個(gè)關(guān)節(jié)進(jìn)行分解，通過(guò)從單關(guān)節(jié)的歷史信息中獨(dú)立預(yù)測(cè)其自身的下一個(gè)時(shí)刻的狀態(tài)，完成全手的狀態(tài)轉(zhuǎn)移預(yù)測(cè)。這樣做的兩個(gè)好處是增加了模型的數(shù)據(jù)利用效率并同時(shí)提高了模型對(duì)手 - 物交互數(shù)據(jù)分布變化的泛化能力。

作者通過(guò)理論分析和實(shí)驗(yàn)驗(yàn)證了關(guān)節(jié)級(jí)神經(jīng)動(dòng)力學(xué)模型的三個(gè)關(guān)鍵性質(zhì)，即高表現(xiàn)力、高數(shù)據(jù)利用效率和強(qiáng)可泛化性。這樣的泛化能力使得作者可以僅在和目標(biāo)任務(wù)有所不同的數(shù)據(jù)上訓(xùn)練該動(dòng)力學(xué)模型，并將其泛化到目標(biāo)任務(wù)上來(lái)。這也使得本文廉價(jià)的全自動(dòng)的數(shù)據(jù)采集方案成為了可能。

2. 自動(dòng)化數(shù)據(jù)采集系統(tǒng)

基于四個(gè)宗旨，即 (i) 采集到的數(shù)據(jù)與策略網(wǎng)絡(luò)的轉(zhuǎn)移分布相關(guān)，(ii) 有物體的負(fù)載，(iii) 分布覆蓋全面，(iv) 容易擴(kuò)展，作者構(gòu)建了一個(gè)自動(dòng)化的數(shù)據(jù)采集系統(tǒng)，稱為「混亂之盒」。

實(shí)現(xiàn)方法很簡(jiǎn)單：將機(jī)器人手放入一個(gè)裝有軟球的容器中。然后作者以開(kāi)環(huán)方式重放來(lái)自仿真基礎(chǔ)策略的動(dòng)作，它提供了一個(gè)粗粒度的分布先驗(yàn)（i）。手與這些球的相互作用會(huì)施加豐富、隨機(jī)化的載荷（ii-iii）。以 50% 的概率，作者為每個(gè)動(dòng)作添加高斯噪聲（σ=0.01），以擴(kuò)大覆蓋范圍（iii）。整個(gè)過(guò)程完全自動(dòng)化、對(duì)硬件安全，且無(wú)需人工復(fù)位（iv）。下圖可以支持本文模型和數(shù)據(jù)設(shè)計(jì)的合理性：?jiǎn)蝹€(gè)關(guān)節(jié)的輸入 / 輸出（I/O）歷史能夠覆蓋與任務(wù)相關(guān)的分布，而整只手的歷史則不能。

圖 7：關(guān)節(jié)級(jí)動(dòng)力學(xué)建模在有偏數(shù)據(jù)分布時(shí)的優(yōu)勢(shì)

3. 殘差策略的訓(xùn)練

結(jié)語(yǔ)

DexNDM 在 Sim-to-Real 這一機(jī)器人學(xué)的核心難題上邁出了堅(jiān)實(shí)而重要的一步。它解決了在靈巧操控中學(xué)習(xí)可靠真實(shí)世界動(dòng)力學(xué)模型的難題，并從 0 到 1 實(shí)現(xiàn)了前所未有的靈巧操作技能 —— 這些技能對(duì)于傳統(tǒng)遙操作方案而言幾乎是無(wú)法想象的，這恰恰彰顯了先進(jìn) Sim-to-Real 方法的魅力與無(wú)限潛力。

誠(chéng)然，DexNDM 尚有其局限之處。作者相信，這只是一個(gè)開(kāi)始，靈巧手作為人形機(jī)器人的皇冠，是注定的未來(lái)，也必定會(huì)大放異彩。