出品：科普中國(guó)

作者：劉肖勇

監(jiān)制：廣東省科學(xué)技術(shù)協(xié)會(huì)

在今年的春晚舞臺(tái)上，機(jī)器仿真蔡明為什么能讓人真假難辨？答案或許就藏在人臉的細(xì)微變化中。三維人臉關(guān)鍵點(diǎn)檢測(cè)，是虛擬人擁有生動(dòng)表情、識(shí)別身份、具身智能等多種應(yīng)用的關(guān)鍵技術(shù)環(huán)節(jié)之一。然而，傳統(tǒng)方法普遍依賴2D紋理輔助或標(biāo)準(zhǔn)3D數(shù)字人臉模型，其性能受限于紋理映射誤差以及數(shù)字人臉與真實(shí)人臉之間的差異。此外，由于缺乏大規(guī)模、高精度、真實(shí)采集且準(zhǔn)確標(biāo)注的3D人臉數(shù)據(jù)庫，直接基于點(diǎn)云的3D人臉關(guān)鍵點(diǎn)檢測(cè)技術(shù)一直面臨數(shù)據(jù)不足與泛化能力弱的問題。

日前，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院（以下簡(jiǎn)稱“深圳先進(jìn)院”）集成所機(jī)器視覺研究中心研究員宋展團(tuán)隊(duì)，與福建理工大學(xué)教授葉于平團(tuán)隊(duì)合作在《IEEE電路與系統(tǒng)匯刊（視頻技術(shù)）》（TCSVT）發(fā)表的最新研究成果，為解決這一難題提供了全新思路。

深圳先進(jìn)院研究員宋展為論文通訊作者；深圳先進(jìn)院碩士生韓俊成、福建理工大學(xué)葉于平教授為論文共同第一作者。深圳先進(jìn)院為該研究第一單位。

該研究中，宋展團(tuán)隊(duì)基于自主研制的高精度3D/4D人臉采集設(shè)備，經(jīng)過近三年的規(guī)范化數(shù)據(jù)采集與數(shù)據(jù)庫構(gòu)建，構(gòu)建了大規(guī)模的高精度、真實(shí)標(biāo)注的三維人臉數(shù)據(jù)庫，其中高保真人臉數(shù)據(jù)的個(gè)數(shù)近20萬。在此基礎(chǔ)上，宋展團(tuán)隊(duì)聯(lián)合葉于平團(tuán)隊(duì)提出了一種面向無序點(diǎn)云的曲率融合圖注意力網(wǎng)絡(luò)（CF-GAT），實(shí)現(xiàn)了從原始3D點(diǎn)云直接預(yù)測(cè)人臉關(guān)鍵點(diǎn)坐標(biāo)的高精度檢測(cè)框架，實(shí)現(xiàn)了從“千人一面”到“因人而異”的本質(zhì)性提升，為高保真度虛擬人面部驅(qū)動(dòng)，以及機(jī)器人臉部表情高逼真度驅(qū)動(dòng)技術(shù)，提供了基礎(chǔ)理論支撐。

在技術(shù)上，合作團(tuán)隊(duì)首先基于幾何驅(qū)動(dòng)的點(diǎn)云采樣策略，從原始三維人臉點(diǎn)云中，提取攜帶曲率信息的簡(jiǎn)化點(diǎn)集，保留關(guān)鍵幾何結(jié)構(gòu)。隨后，將曲率編碼為顯式幾何先驗(yàn)融入注意力模塊，使網(wǎng)絡(luò)能夠更敏感地捕獲局部形狀變化，并通過圖注意力結(jié)構(gòu)自適應(yīng)建模點(diǎn)云的局部與全局關(guān)系，從而實(shí)現(xiàn)對(duì)關(guān)鍵點(diǎn)位置的直接預(yù)測(cè)。該框架解決了點(diǎn)云無序性帶來的特征表達(dá)困難，使模型能夠在真實(shí)三維數(shù)據(jù)上獲得更穩(wěn)定、更精確的關(guān)鍵點(diǎn)定位結(jié)果。

一直以來，宋展團(tuán)隊(duì)長(zhǎng)期深耕三維重建研究領(lǐng)域，基于自主研發(fā)的3D/4D視覺成像系統(tǒng)，構(gòu)建了多類型高質(zhì)量數(shù)據(jù)庫體系，其中包括：高保真多表情3D人臉數(shù)據(jù)庫；持續(xù)采集12年、規(guī)模接近20萬的高精度3D人臉仿真數(shù)據(jù)庫，位列全球同類數(shù)據(jù)庫前列；規(guī)范化3D人臉關(guān)鍵點(diǎn)數(shù)據(jù)庫、高精度3D人體數(shù)據(jù)庫以及高精度動(dòng)態(tài)4D人臉表情數(shù)據(jù)庫等。其中，“多模態(tài)高精度人類生物特征數(shù)據(jù)集”入選了2025年福建省首批人工智能行業(yè)高質(zhì)量數(shù)據(jù)集名單。

 “從真假難辨的虛擬人到未來能讀懂人類情緒、自然交互的機(jī)器人，背后都離不開基礎(chǔ)數(shù)據(jù)的支撐。這一系列數(shù)據(jù)庫已成為仿人機(jī)器人關(guān)鍵技術(shù)鏈條中的核心支撐，為高逼真度感知、表達(dá)建模與行為生成提供基礎(chǔ)數(shù)據(jù)。未來，這些數(shù)據(jù)集將進(jìn)一步服務(wù)于數(shù)據(jù)驅(qū)動(dòng)的大模型仿人機(jī)器人體系，以構(gòu)建更自然、更智能的人機(jī)交互能力?！彼握贡硎?。

據(jù)了解，深圳市高精度高分辨率4D成像概念驗(yàn)證中心于2024年成立，是國(guó)內(nèi)首個(gè)以4D成像為核心的概念中心，由宋展擔(dān)任該中心主任，帶領(lǐng)團(tuán)隊(duì)聚焦相關(guān)產(chǎn)業(yè)對(duì)高精度、高分辨率、實(shí)時(shí)三維成像技術(shù)的迫切需求，建立4D成像技術(shù)智庫，服務(wù)產(chǎn)業(yè)上下游。同時(shí)，探索4D成像等前沿技術(shù)的驗(yàn)證與應(yīng)用，加速科研成果落地與轉(zhuǎn)化。

內(nèi)容來自：廣東省科學(xué)技術(shù)協(xié)會(huì)

內(nèi)容資源由項(xiàng)目單位提供