在北京理工大學(xué)的實(shí)驗(yàn)室內(nèi),一架搭載機(jī)械臂的無人機(jī)正根據(jù)實(shí)時(shí)捕捉的手部動(dòng)作數(shù)據(jù),精準(zhǔn)抓取并移動(dòng)實(shí)驗(yàn)臺(tái)上的微型部件,整個(gè)過程流暢自然,誤差不超過一根發(fā)絲的直徑。

當(dāng)機(jī)器人科研從預(yù)設(shè)程序的機(jī)械重復(fù)邁向自主學(xué)習(xí)的智能交互新階段,如何讓機(jī)器人理解并模仿人類精細(xì)、復(fù)雜的手部動(dòng)作,成為具身智能與通用機(jī)器人發(fā)展的重要課題。

在眾多機(jī)器人研究團(tuán)隊(duì)的實(shí)驗(yàn)室里,你經(jīng)常會(huì)看到一套由多臺(tái)紅外高速相機(jī)組成的精密系統(tǒng),這正是 NOKOV 度量動(dòng)作捕捉系統(tǒng)。它通過亞毫米級(jí)精度的定位能力,實(shí)時(shí)捕捉手部關(guān)節(jié)的細(xì)微運(yùn)動(dòng),將物理世界的動(dòng)作轉(zhuǎn)化為數(shù)字世界的精確坐標(biāo)。

一、科研變革,從宏觀到微觀的動(dòng)作捕捉需求

機(jī)器人技術(shù)正在經(jīng)歷從環(huán)境感知到精細(xì)操作的深刻變革。在這一進(jìn)程中,手部動(dòng)作捕捉不再是影視特效的專屬工具,而成為機(jī)器人運(yùn)動(dòng)規(guī)劃、控制優(yōu)化和算法驗(yàn)證不可或缺的“地面真值”。

尤其是在具身智能和通用機(jī)器人成為前沿趨勢(shì)的今天,機(jī)器人需要學(xué)會(huì)像人類一樣操作工具、完成精細(xì)裝配甚至進(jìn)行藝術(shù)創(chuàng)作。

這些任務(wù)要求機(jī)器人能夠理解和重現(xiàn)人手在執(zhí)行抓握、捏取、操作工具等復(fù)雜精細(xì)操作時(shí)的全關(guān)節(jié)運(yùn)動(dòng)軌跡,包括腕關(guān)節(jié)、掌指關(guān)節(jié)及各指間關(guān)節(jié)在三維空間中的精確位置和姿態(tài)。

二、技術(shù)內(nèi)核,NOKOV度量動(dòng)作捕捉系統(tǒng)的精密設(shè)計(jì)

NOKOV度量動(dòng)作捕捉系統(tǒng)的核心技術(shù)體現(xiàn)在其 “眼睛”與“大腦”的協(xié)同設(shè)計(jì)上。系統(tǒng)的“眼睛”是由Mars系列高速紅外相機(jī)組成的陣列,最高分辨率達(dá)1200萬像素,幀率可達(dá)340Hz。

不同于傳統(tǒng)僅依靠時(shí)間同步的方案,NOKOV系統(tǒng)采用了時(shí)間與空間雙重同步機(jī)制,相機(jī)間時(shí)間同步精度達(dá)1微秒,空間校準(zhǔn)精度達(dá)0.1毫米,確保了多相機(jī)視角下數(shù)據(jù)的高度一致性。

系統(tǒng)搭載的亞毫米級(jí)精度算法,即使在部分標(biāo)記點(diǎn)被遮擋或光線條件變化的情況下,仍能保持定位精度。其多源數(shù)據(jù)融合框架可整合IMU、力傳感器等其他傳感器數(shù)據(jù),為機(jī)器人研究提供更全面的狀態(tài)信息。

表:NOKOV度量動(dòng)作捕捉系統(tǒng)核心性能參數(shù)

三、前沿實(shí)踐,從仿生研究到靈巧操作的具體案例

浙江工業(yè)大學(xué)研究團(tuán)隊(duì)在《Biomimetic Intelligence and Robotics》發(fā)表研究,針對(duì)傳統(tǒng)機(jī)械手依賴預(yù)定義步態(tài)、難以適應(yīng)動(dòng)態(tài)環(huán)境的問題,提出了基于仿生指尖接觸事件的連續(xù)自適應(yīng)步態(tài)控制策略。研究通過 NOKOV 度量動(dòng)作捕捉系統(tǒng)高精度采集人手操作球體時(shí)的三維運(yùn)動(dòng)數(shù)據(jù),分析并提取出四個(gè)關(guān)鍵運(yùn)動(dòng)原語,以此構(gòu)建出能夠依據(jù)實(shí)時(shí)接觸力反饋動(dòng)態(tài)切換步態(tài)的控制算法。實(shí)驗(yàn)驗(yàn)證表明,該方法使三指機(jī)械手在應(yīng)對(duì)紙杯抓取等復(fù)雜任務(wù)及外部干擾時(shí),表現(xiàn)出高度的穩(wěn)定性與操作魯棒性,成功實(shí)現(xiàn)了對(duì)物體的連續(xù)、自適應(yīng)靈巧操縱。

在機(jī)器人靈巧操作領(lǐng)域,斯坦福大學(xué)的研究人員利用NOKOV動(dòng)作捕捉系統(tǒng),采集了手部精細(xì)訓(xùn)練數(shù)據(jù),成功實(shí)現(xiàn)了虛擬吉他手以自然且真實(shí)的動(dòng)作,準(zhǔn)確演奏從未練習(xí)過的樂曲。

四、生態(tài)構(gòu)建,從數(shù)據(jù)采集到系統(tǒng)集成的全面支持

NOKOV度量動(dòng)作捕捉系統(tǒng)的優(yōu)勢(shì)不僅體現(xiàn)在硬件性能上,更在于其構(gòu)建的完整技術(shù)生態(tài)。該系統(tǒng)提供了多層級(jí)的數(shù)據(jù)接口:基礎(chǔ)級(jí)的VRPN數(shù)據(jù)流適合快速集成,中級(jí)的SDK支持深度定制,高級(jí)的API則為復(fù)雜研究場(chǎng)景提供靈活控制。

這種開放的設(shè)計(jì)理念,使系統(tǒng)能夠無縫對(duì)接ROS、MATLAB、LabVIEW等主流機(jī)器人開發(fā)平臺(tái),形成從數(shù)據(jù)采集、處理到算法驗(yàn)證的完整工作流。

在具體應(yīng)用中,研究人員可以將捕捉到的人手運(yùn)動(dòng)數(shù)據(jù)轉(zhuǎn)化為機(jī)器人可學(xué)習(xí)的示范,訓(xùn)練強(qiáng)化學(xué)習(xí)模型。

系統(tǒng)輸出的六自由度位姿信息及骨骼數(shù)據(jù),可以實(shí)時(shí)傳輸給機(jī)器人的控制算法,形成高精度閉環(huán)控制,加速機(jī)器人靈巧手在復(fù)雜操作任務(wù)(如非結(jié)構(gòu)化物體抓取、精細(xì)裝配)上的學(xué)習(xí)和表現(xiàn)。

五、未來趨勢(shì),動(dòng)作捕捉與機(jī)器人技術(shù)的共同演進(jìn)

隨著機(jī)器人科研邁向深水區(qū),動(dòng)作捕捉技術(shù)正朝著更高精度、更強(qiáng)適應(yīng)性、更低使用門檻的方向發(fā)展。無標(biāo)記點(diǎn)動(dòng)作捕捉、多模態(tài)數(shù)據(jù)同步采集、實(shí)時(shí)數(shù)據(jù)處理與分析將成為技術(shù)演進(jìn)的重點(diǎn)方向。

NOKOV度量動(dòng)作捕捉系統(tǒng)已推出Astra無標(biāo)記點(diǎn)動(dòng)作捕捉系統(tǒng),無需在目標(biāo)身上粘貼反光標(biāo)志點(diǎn),減少人形機(jī)器人設(shè)備安裝步驟,提升研發(fā)效率。這類創(chuàng)新技術(shù)將進(jìn)一步降低機(jī)器人科研的門檻。

在人形機(jī)器人產(chǎn)業(yè)化進(jìn)程中,大規(guī)?！皵?shù)據(jù)工廠”可能成為產(chǎn)業(yè)核心基礎(chǔ)設(shè)施。這些設(shè)施集中配備大量動(dòng)捕設(shè)備,按照標(biāo)準(zhǔn)化流程,批量“教授”人形機(jī)器人各種動(dòng)作技能。

在南開大學(xué)人工智能學(xué)院的深部腦刺激手術(shù)臨床試驗(yàn)中,一套無接觸式評(píng)估系統(tǒng)正基于NOKOV度量動(dòng)作捕捉系統(tǒng)驗(yàn)證的高精度數(shù)據(jù),以亞毫米級(jí)精度實(shí)時(shí)監(jiān)測(cè)帕金森患者的手部運(yùn)動(dòng),輔助臨床決策。

當(dāng)浙江大學(xué)的研究人員使用同一系統(tǒng)優(yōu)化移動(dòng)機(jī)器人集群算法,當(dāng)北京航空航天大學(xué)的跨介質(zhì)機(jī)器人憑借其提供的位置信息完成精準(zhǔn)的空中水下轉(zhuǎn)換,這套源自中國(guó)的精密光學(xué)測(cè)量系統(tǒng)正在全球機(jī)器人科研地圖上刻下自己的坐標(biāo)。