微納感知是機器人智能的基礎之一。2024年4月，“2024中國人形機器人生態大會”在上海舉行，主辦單位是中國機器人網和上海智能谷。會議期間，俄羅斯工程院外籍院士、蘇州大學機電工程學院機器人技術與系統國家重點實驗室副主任孫立寧做了“ 人形機器人智能感知與控制技術”的報告，從多個角度介紹了下當前在這個方面領域中的進展。

背景

從我國近幾年制定的發展政策到“十四五”規劃，尤其是2023年11月工信部發布了《人形機器人創新發展指導意見》，按照“謀劃三年、展望五年”的時間安排做了戰略部署，指出:到2025年人形機器人創新體系初步建立，到2027 年達到深入結合²。2024年3月北京又“揭榜掛帥”了19個項目³.....我們看到很多人形機器人項目發展良好。

2024年1月，工信部、教育部、科技部等7部門正式發布《關于推動未來產業創新發展的實施意見》中，在專欄“創新標志性產品”中，第一條就是“人形機器人”，之后的二~四條分別是量子計算機、新型顯示、腦機接口。從這一-點來看，我國非常重視人形機器人領域的發展。

近期業內人士也能感受到，無論是科技部還是工信部紛紛對白皮書、路線圖進行了制定，而且在各個省市的發展規劃中，紛紛成立人形機器人創新中心、研究院等。

人形機器人的優點人們已清楚，主要是從帶足形到像人一樣，解決復雜場景的應用。

1   進展:自2023年以來再次爆發

人形機器人這幾年出現了很多。尤其從2023年至2024年3月這一年多時間里，沉寂了20多年的人形機器人再次爆發。國外的案例，從美國波士頓動力的Atlas，到近期特斯拉的Optimus (擎天柱)，以及英國Ameca、 美國Digit V3、迪士尼雙足機器人、Figure 01等，國內有之江實驗室的“小之”，優必選的“Walker x”.“星動紀元”、云深處“悟空”、追覓人形機器人、樂“星動紀元”、云深處“悟空”、追覓人形機器人、樂聚“夸父”等。

2   人形機器人的發展目標

這要從兩個方面來看。

①技術層面，想使機器人像人一樣一能動、能跑、能越障;更重要的是提升智能化水平，例如能針對任務②市場層面，盡管各種應用場景還在探索之中，但靈活、 穩定、智能。

②市場層面，盡管各種應用場景還在探索之中，但至少市場目標沒有改變，希望達到:低成本、高可靠性、用于軍事場景、家用場景、搶險救援等。

網上有很多視頻。例如，波士頓動力的AI建筑機器人，還有海爾和樂聚推出的“家庭服務機器人概念演示”。2024 年3月，在“2024年中國家電及消費電子博覽會”上，海爾機器人與樂聚機器人聯合展出了國內首款面向家庭場景的人形機器人Kuavo (夸父)。這款作功能，還展示了洗衣、澆花、插花、晾衣服等近期學作功能，還展示了洗衣、澆花、插花、晾衣服等近期學習的手部操作成果。該機器人可以炒菜，這是否采用了數學模型?可能不是，是人的經驗、行為能夠數據化，這一點非常關鍵。

未來人形機器人怎么實現?人們上班后，家里收拾桌子和打掃衛生，包括把家電之間(洗衣機、冰箱、洗碗機等)連起來，變成了一個電子保姆，慢慢幫人們做家務，這應該是對我們生活有幫助的一種理想場景 。

3   感知/環境感知技術

回到技術層面，人形機器人有五六項關鍵技術，如下所示。

●   高爆發力的驅動一這與工業機器人不一樣， 而是有爆發力、高功率密度；

●   環境感知；

●   任務和運動控制； 

●   本體；

●   大模型，像計算機、手機一樣。

本次重點在感知和控制方面做介紹。

過去的半閉環系統更關注內在的閉環，像工業機器人的碼盤。現在人形機器人出現以后，更關注外部的傳感，像聽、看、聞，以及內部的陀螺和慣性等，用于外部的手、足和皮膚等(如圖1)。

圖1 感知技術向微型化、多功能化、數字化和智能化方向發展

近期孫立寧院士團隊在探索MEMS技術與機器人的結合。

首先，做了柔性電子皮膚，用基于納米摩擦發電的柔性傳感器進行設計，研制出了便攜式、低功耗、低成機交互系統，實現機器人末端的實時三維軌跡交互控制。這里的自發電指運動過程中的摩擦發電，是用先進材料研制出來的可穿戴的皮膚。這個研究較為實用。

第二，在傳統的、未來不可少的靈巧手傳感方面，有力的感知/觸覺。為了實現小型化和集成化，采用了更多的先進材料，利用了柔性和壓鑄等原理。在這方面，國內團隊做了很多工作。

從感知外部來看，機器人無論是在AGV (自動引導車) 1移動方面普遍存在挑戰。環境感知方面的挑戰涉及如下。

●   環境幾何特征感知。基于IMU+激光雷達+視覺的幾何特征感知:足底沖擊振動下的多幀圖像去噪與配準，像人一樣，建立室外大場最地圖，通過回環檢測與回環驗證對自身進行重定位，提供圖像的精度。

●   地形感知與分割。基于視覺的野外地形感知：建立具有典型地形的野外地形圖像數據集;根據野外地形特征設計地形分割網絡，并進行訓練和測試;最終可通過視覺圖像推斷地形類型。與過去的機器人的吻合。

●   多信息地圖建立。基于視覺進行三維建圖:進行稠密深度估計，對薄結構及低紋理區域(如樹干、水面)建模：通過視覺SLAM架構建立具有三維信息、地形以及物理特征信息的多信息稠密地圖。

●   面向操作物體感知。這是協作機器人與人形機器人特有的問題。例如炒菜，主要是面向操作任務的目標物感知:實時建圖與動態物體檢測，防止操作碰撞，基于卷積神經網絡目標物分類，進行特征點匹配，依據非完整點云數據估計目標物6維位姿。

●   類人時空域信息感知。基于脈沖神經網絡的時空域信息感知:突破以空間信息為主的靜態感知范式，將視覺感知的維度擴充至時空維度，提高機器人在動態、開放環境下的感知能力。

體感知方面，早期做視覺已比較多了，現在對軟體或復雜的形狀，觸覺就發揮了很大的作用，所以對完整的估計等，包括清華等高校研究單位做的MEMS傳感器的項目，已經能夠對材質(鋼鐵、玻璃還是木頭等)能夠識別了，包括手指已經有了紋理,這方面就更精準化了。

4   運動控制

●   系統建模。系統建模是在運動控制層面，是比較難的，主要依據人體運動特征，構建基于倒立擺模型：如線性倒立擺，彈簧負載倒立擺模型，用于行走與跳躍運動控制，還有被動動力學、單剛體1多剛體動力學模型進行人形機器人控制(如圖2)。

圖2系統建模

●   動步態運動。靜態1準靜態運動的特點是依賴較大腳掌，行走緩慢，采用位置控制;動態運動無需大腳掌保持靜態穩定性，行走速度大幅提高，由位置控制轉為力控方案，有一定的魯棒性。高動態運動的人形機器人軟硬件成本最高，追求極致的運動性能，以突破人類運動的極限。

早期仿生機器人主要是四足機器人，做了多少年都本體，這很復雜，然后再降維。應該說從機械動力學方面有很多科學問題，非常難。但是如果能把系統動力學面有很多科學問題，非常難。但是如果能把系統動力學模型與大數據結合，可能是一種解決辦法。再加上人形機器人的自學習訓練，像人一樣—人實際 上沒有模型，通過訓練學習的過程把AI問題解決了。這兩方面可以結合。

機器人的自學習訓練，像人一樣—人實際上沒有模型，通過訓練學習的過程把AI問題解決了。這兩方面可以結合。

動態運動控制方面。實際上機器人的發展也經歷了從靜態、準動態到高動態的發展過程，這方面已經看到了挑戰，無論是Atlas還是擎天柱(Optimus)，都是向動第二，控制也是一個大的問題，包括控制目標與模態和高動態發起了挑戰，使之能夠更好地得到應用。

第二，控制也是一個大的問題，包括控制目標與模型的問題。如前所敘，這里是模型與訓練。底層來看，工業機器人是多關節位置控制，現在是全身運動控制，需要全身的力學模型。目前國內很多學者和高校開展了這方面的研究。

從這兩方面的手段來看，我們早期的控制手段、控制要素、執行的變化基本是動力學的問題。

現在全身動力學要搞關節的位置控制、沖擊力的柔性、接觸、執行(讓人跳起來)等問題。這些模型的基礎原理也是多方面的，有基于動量、動能的，還包括機械動力學模型等。

發展趨勢如前所述：準動態做了10年，然后運動控制/力控又做了10年，高動態是當前發展是最為火熱的技術，最終的目標是類人化。

在這里，模型研究還是很關鍵的，尤其對于從事機械系統的人。

●   四肢協調

兩條腿、兩條胳膊以及兩只手做復雜動作的時候，對協調控制帶來挑戰:怎樣來把人的行為復用到機器人上?這非常重要，需要數據驅動。

想比之下，模型驅動很難做得非常精準一由于計算量要特別大，因此很難做到真實。所以數據驅動是非常重要的。因為剛才提到，人的行為可能沒有太多的模型，是通過學習進化的，最后能夠與外部環境進行協調和適應，因此需要跟大模型、數據平臺結合。

未來的發展可能在手的操作方面會有很多挑戰。抓取相關的技術問題，包括無縫地融合物理模型，最終是多模態一--通過大模型將不同傳 感器的信息融合處理，通過語言實現機器人智能控制。

總之，把底層運動和行為結合做好，是比較現實的亟待解決的問題。

5   運動和感知技術的創新

無論從運動模型還是感知，人形機器人跟人不完全一樣，現在只能是從工程的角度改進。例如人類有39萬億個細胞/節點，我們對其認識太有限了。人運動最基本的是運動神經元。神經元來自于生物，截至2008年，孫立寧老師團隊通過機械模型的方法建立了神經時空分布模型、突觸生長模型以及神經電學模型，設計并搭建了神經電路。這個模型準不準?他們把一個水蛭的腿切斷了，然后結合電生理實驗平臺(膜片鉗)進行了運動供了基礎。現在來看這是生物芯片的概念，至少說明這個模型是成功的，通過條件反射就能實現肌肉的控制。

如果這項工作能跟當前的算力模型結合，可能效果就更好。

會有什么樣的效果呢?對于神經元模型，我們看一朵花在含苞待放的時候，只要-滴水就會突然爆發， 這是神經發育的過程。包括動物生下來的時候，神經很快就會發育了，這是生物進化的現象。

所以能不能把這個模型建好?通過一定的訓練， 它自己就能爆發出一個神經元?這個問題很重要一結合生物學原理。

實際上，我們人類的神經元，包括人類對于聲覺和視覺的認識是因為大腦里有個海馬體，這個海馬區域的所以通過海馬體腦區的情感認知，把拓撲關系找出來，可能這樣一個宏觀模型對嵌入運動控制是一種非常好的原理。

前期工作已做到了包括建圖、采集，通過復雜環境導航、仿真強化學習等結合起來，算力非常快，相對比較前沿。在未來的研究.上如果這樣結合起來，是否是一種新的思路？

6   ChatGPT的加持

ChatGPT已火熱一年多了，現在已司空見慣，但對我們的發展是很有幫助的。孫立寧教授非常關注神經網絡和生成數據，這兩者是非常重要的。前邊的感知是作為采集，從算法、AI到落地機器人的時候，主要有兩個大問題，數據如何來?神經網絡怎么做?

如果能夠把像神經元這種生物學的原理，借鑒我們現在的神經網絡，可能進展更快更好，但這需要人們的探索。

7   其他挑戰

人形機器人的應用前景已經非常肯定。關鍵問題是在我們的生活、生產/工作的各個方面怎么用? 一個自然語言的模型，另一個是操作，尤其操作是很難的，一個動作如果描述出來有很多數據。操作發展的過程都存在魯棒性。

還有數據存儲、技能的存儲，例如一段視頻或照相需要上G、幾百兆，因此一個動作的存儲恐怕是非常巨大的，海量數據怎么樣存儲？后邊還有模型神經網絡？這方面很重要。

有了數據以后，我們人的行為有了，那么怎么遷移到機器人里?還得有異構吧?包括4足機器人遷移到兩足機器人，人的行為遷移到機器人里，所以數據遷移問題非常重要了。從大樣本的、小樣本的、特征的、模型的，不同的角度來遷移數據。

所以我們在面臨人形機器人方面大的戰略思路也非常清楚，但細節的問題還是很難在機械本體存在著一些瓶頸，在感知方面也需要創新，最重要的是結合AI技術怎么落地?數據、操作這些問題也給我們帶來很多挑戰。

這些問題如果能夠解決，相信就回到人形機器人的特種環境，最終可能在像工廠里，這樣幾大技術結合起特種環境，最終可能在像工廠里，這樣幾大技術結合起來，希望從業者能夠從不同角度去合作、交叉，解決共性技術，最后遷移到產業的載體，使人形機器人的性能不斷提高，好使好用，就達到了我們的夢想。

注：

1:《人形機器人創新發展指導意見》中提到，到2025年人形機“大腦、小腦、肢體”等一批關鍵技術取得突破，確保核心部組件安全有效供給。

2:《人形機器人創新發展指導意見》中指出，到2027年人形機器人技術創新能力顯著提升，形成安全可靠的產業鏈供應鏈體系，構建具有國際競爭力的產業生態，綜合實力達到世界先進水度融入實體經濟，成為重要的經濟增長新弓|擎。度融入實體經濟，成為重要的經濟增長新弓|擎。

3: 2024年3月13日，人形機器人大賽暨人形機器人百人會論壇在經開區開幕，其中參賽的116個項目均是圍工信部關于人形機器人“揭榜掛帥”任務榜單的4大板塊19個方向展開。4大板塊為：核心基礎，重點產品，公共支撐，典型應用。19個方向分別傳感器，觸覺傳感器，旋轉型電驅動關節，直線型電驅動關節，傳感器，觸覺傳感器，旋轉型電驅動關節，直線型電驅動關節，機械臂與靈巧手，高算力主控制器，高能量密度電池，人形機器人端到端仿真開發平臺，人形機器人的標準、測試與評估，人形機器人的機器腦智能控制技術，面向工業制造的典型應用，面向災害救援的典型應用，面向危險作業的典型應用，面向智慧物流的典型應用，面向安防巡邏的典型應用，面向服務娛樂的典型應用。