作者：京東健康 陳剛

一、前言

近年來(lái)，隨著人工智能技術(shù)，VR，元宇宙等技術(shù)的發(fā)展（可以閱讀 從Chat-GPT看技術(shù)概念及醫(yī)療領(lǐng)域科技與應(yīng)用場(chǎng)景 ），數(shù)字人（Digital Human）逐漸成為研究的熱點(diǎn)之一，數(shù)字人是指通過(guò)計(jì)算機(jī)技術(shù)模擬出的具有人類外表，動(dòng)作和語(yǔ)言能力的虛擬人物，具體可以應(yīng)用到電影、游戲、虛擬現(xiàn)實(shí)、智能客服、帶貨主播等多個(gè)領(lǐng)域。

本文大致分為三個(gè)章節(jié)：

1.第一部分會(huì)介紹常用技術(shù)以及簡(jiǎn)介，以及自己用到構(gòu)建一個(gè)自己虛擬數(shù)字人用到的3D引擎和三維軟件

2.第二部分會(huì)詳細(xì)描述生成細(xì)節(jié)，通過(guò)照片建模，創(chuàng)建模型，添加細(xì)節(jié)，添加表情，優(yōu)化效果，接入場(chǎng)景，最終效果

3.第三部分總結(jié)本篇內(nèi)容

從預(yù)見(jiàn)未來(lái)到遇見(jiàn)未來(lái)，讓我們開始，向上吧技術(shù)人！?。?/span>

二、虛擬數(shù)字人技術(shù)

要聊需要那些技術(shù)，先聊需要那些步驟？

?收集數(shù)據(jù)：首先需要收集自己的數(shù)據(jù)，包括照片、視頻、聲音等，這些數(shù)據(jù)將成為數(shù)字人的基礎(chǔ)。

?人臉檢測(cè)：利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)照片進(jìn)行處理，檢測(cè)出其中的人臉。可以使用已有的人臉檢測(cè)算法，例如OpenCV、Dlib等。

?人臉識(shí)別：對(duì)于檢測(cè)出來(lái)的人臉，需要利用人臉識(shí)別技術(shù)對(duì)其進(jìn)行識(shí)別和分析，從而獲取人臉的各種特征和信息?？梢允褂靡延械娜四樧R(shí)別算法，例如FaceNet、VGGFace等。

?3D建模技術(shù)：數(shù)字人是一種三維模型，因此需要掌握3D建模技術(shù)。這包括了掌握3D建模軟件的使用，如Blender、Maya、ZBrush等。

?優(yōu)化細(xì)節(jié)：優(yōu)化數(shù)字人的各種細(xì)節(jié)，包括皮膚紋理、發(fā)型、服裝等，讓數(shù)字人更加真實(shí)、生動(dòng)。

?材質(zhì)和紋理制作技術(shù)：數(shù)字人需要具有逼真的材質(zhì)和紋理，因此需要掌握材質(zhì)和紋理制作技術(shù)。這包括了掌握材質(zhì)和紋理制作軟件的使用，如Substance Painter、Photoshop等。

?動(dòng)畫制作技術(shù)：數(shù)字人需要具有動(dòng)態(tài)的動(dòng)作和表情，因此需要掌握動(dòng)畫制作技術(shù)。這包括了掌握動(dòng)畫制作軟件的使用，如Unity、Unreal Engine等。

??

以下文字內(nèi)容較多，先放一個(gè)自己建好的模型

1、收集數(shù)據(jù)或者生成圖片

?Photoshop、相機(jī)：這部分忽略一下，哈哈哈

?Stable Diffusion：AI圖像生成工具，一個(gè)基于Latent Diffusion Models（潛在擴(kuò)散模型，LDMs）的文圖生成（text-to-image）模型，生成圖片的原理是通過(guò)模擬穩(wěn)定擴(kuò)散過(guò)程并生成相應(yīng)的數(shù)據(jù)，然后將數(shù)據(jù)可視化展示為圖片，以幫助用戶更好地理解實(shí)驗(yàn)結(jié)果和數(shù)據(jù)特征

?ChatGPT：OpenAI團(tuán)隊(duì)ChatGPT-4O開發(fā)了一種新的技術(shù)，使ChatGPT也可以生成圖片。這種技術(shù)被稱為DALL·E（即“Drawing Artificially with a Learned Language Model and a Encoder”），它結(jié)合了語(yǔ)言模型和圖像編碼器的能力，能夠根據(jù)給定的文本描述生成對(duì)應(yīng)的圖片。

2、人臉檢測(cè)和識(shí)別

?OpenCV：是一個(gè)用于計(jì)算機(jī)視覺(jué)的開源庫(kù)，它提供了許多常用的計(jì)算機(jī)視覺(jué)算法和工具，如圖像處理、特征提取、物體檢測(cè)、人臉識(shí)別、跟蹤等。OpenCV支持多種編程語(yǔ)言，包括C++、Python等。

?Dlib：是一個(gè)C++庫(kù)，它提供了用于機(jī)器學(xué)習(xí)、圖像處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域的算法和工具。其中最知名的功能是人臉識(shí)別，它基于深度學(xué)習(xí)和傳統(tǒng)的計(jì)算機(jī)視覺(jué)技術(shù)，并提供了人臉對(duì)齊、人臉特征提取等功能。

?FaceNet：是由Google開發(fā)的一個(gè)深度學(xué)習(xí)算法，用于將人臉圖像轉(zhuǎn)換為高維向量表示，從而實(shí)現(xiàn)人臉識(shí)別。FaceNet使用了三個(gè)主要組件：卷積神經(jīng)網(wǎng)絡(luò)、三元組損失函數(shù)和在線學(xué)習(xí)方法，這些組件使得FaceNet能夠在大規(guī)模人臉識(shí)別任務(wù)中達(dá)到很高的準(zhǔn)確率。

?VGGFace：是由牛津大學(xué)的研究團(tuán)隊(duì)開發(fā)的人臉識(shí)別算法，它基于深度卷積神經(jīng)網(wǎng)絡(luò)，并使用了許多卷積層和池化層來(lái)提取人臉圖像的特征。VGGFace包含了兩個(gè)模型：VGGFace和VGGFace2，其中VGGFace是一個(gè)較早的模型，而VGGFace2是一個(gè)新的模型，它在大規(guī)模人臉識(shí)別任務(wù)中具有更好的性能。

??

3、3D建模技術(shù)

?Blender：是一個(gè)用于三維建模、動(dòng)畫、渲染和交互式應(yīng)用程序開發(fā)的開源軟件。它支持多種三維對(duì)象的創(chuàng)建和編輯，包括多邊形網(wǎng)格、NURBS曲線、體積網(wǎng)格等，并提供了豐富的材質(zhì)和紋理編輯器，可以幫助用戶創(chuàng)建出逼真的場(chǎng)景和角色。

?Metashape：前身為PhotoScan）是一個(gè)用于三維重建和地形建模的商業(yè)軟件。它可以根據(jù)照片生成高精度的數(shù)字模型，并提供了多種渲染選項(xiàng)和工具，如紋理映射、貼圖、相機(jī)校準(zhǔn)等。Metashape還可以將生成的模型導(dǎo)出到其他軟件中進(jìn)行后續(xù)處理和應(yīng)用。

?Maya：是一款專業(yè)級(jí)的三維建模和動(dòng)畫軟件，廣泛用于電影、電視、游戲等領(lǐng)域。它提供了豐富的建模和動(dòng)畫工具，包括多邊形網(wǎng)格、NURBS曲線、動(dòng)力學(xué)仿真、粒子系統(tǒng)等，并支持多種渲染引擎，如Arnold、V-Ray等。

?ZBrush：是一款專業(yè)級(jí)的數(shù)字雕刻軟件，用于創(chuàng)建高精度的三維模型和角色。它提供了多種繪畫和雕刻工具，包括多邊形建模、紋理映射、雕刻筆刷等，并支持實(shí)時(shí)預(yù)覽和交互式渲染。

?LayaAir：是一個(gè)用于Web、移動(dòng)和小游戲開發(fā)的HTML5引擎。它提供了多種功能和工具，如3D渲染、物理引擎、GUI編輯器等，可以幫助用戶創(chuàng)建出高效、高質(zhì)量的Web應(yīng)用和游戲。LayaAir還支持多種開發(fā)語(yǔ)言，包括JavaScript、TypeScript等。

??

4、動(dòng)畫制作技術(shù)

?Unity3D：Unity3D是一款實(shí)時(shí)3D互動(dòng)內(nèi)容創(chuàng)作和運(yùn)營(yíng)平臺(tái)，支持多種平臺(tái)和設(shè)備，包括PC、移動(dòng)設(shè)備、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等。Unity3D提供了強(qiáng)大的編輯器和工具，支持C#和UnityScript等多種編程語(yǔ)言，可用于游戲開發(fā)、AR/VR應(yīng)用開發(fā)等。

?Unreal Engine: Unreal Engine是一款由Epic Games開發(fā)的3D游戲引擎，同樣支持多種平臺(tái)和設(shè)備，包括PC、主機(jī)、移動(dòng)設(shè)備、VR和AR等。Unreal Engine提供了強(qiáng)大的編輯器和工具，支持C++和藍(lán)圖等多種編程方式，可用于游戲開發(fā)、建筑可視化、虛擬展覽等。

?CryEngine：CryEngine是一款由Crytek開發(fā)的3D游戲引擎，同樣支持多種平臺(tái)和設(shè)備，包括PC、主機(jī)、移動(dòng)設(shè)備、VR和AR等。CryEngine提供了強(qiáng)大的編輯器和工具，支持C++和Lua等多種編程方式，可用于游戲開發(fā)、建筑可視化、虛擬展覽等。

?Godot：Godot是一款免費(fèi)、開源的3D游戲引擎，支持多種平臺(tái)和設(shè)備，包括PC、移動(dòng)設(shè)備、Web和VR等。Godot提供了強(qiáng)大的編輯器和工具，支持GDScript和C#等多種編程語(yǔ)言，可用于游戲開發(fā)、AR/VR應(yīng)用開發(fā)等。

部分軟件圖標(biāo)

??

除了以上技術(shù)應(yīng)該還有很多技術(shù)，歡迎大家熱烈討論和在評(píng)論區(qū)補(bǔ)充

三、構(gòu)建一個(gè)自己的數(shù)字人—小陳

第一步 用自己的照片生成自己的頭像模型

有以下三種辦法

1、使用 https://avatarsdk.com/ 在線制作，這個(gè)H5是基于WebGL的OpenCV技術(shù)構(gòu)建，可以傳一張照片（高p的）生成頭的模型，也可以生成頭和身體模型。

??

為了不影響建模，一般選擇禿頭，導(dǎo)出數(shù)字人頭部模型

??

2、使用Polycam軟件應(yīng)用上傳生成導(dǎo)出

拍照時(shí)自己站著不要?jiǎng)?，我們做?shù)字人需要頭就可以，拍照的仰角和俯角傾斜，拍40張左右即可

??

導(dǎo)入Blender進(jìn)行對(duì)點(diǎn)云部分刪除部分，分析建模，然后導(dǎo)出數(shù)字人頭部模型

??

3、通過(guò)照片,格式工廠，在Metashape構(gòu)建模型 對(duì)點(diǎn)云進(jìn)行處理 導(dǎo)出數(shù)字人頭部模型，原理是一樣的

以上方式根據(jù)具體的需求來(lái)，第二三種方式更逼真。

第二步 導(dǎo)入模型到UE5中，并安裝插件

安裝 MetaHuman插件（數(shù)字人）、 Bridge插件（建模）、LiveLink插件（交互動(dòng)作）。插件都裝好后，重啟虛幻引擎

1、導(dǎo)入我們第一步的模型，創(chuàng)建MetaHuman實(shí)體，并給實(shí)體命名，注意這個(gè)名字就是你數(shù)字人的名字

??

2、雙擊進(jìn)入，面部選擇網(wǎng)格體也就是我們第一步生成的頭像模型，并給小人選擇合適身體

??

繼續(xù)點(diǎn)擊提升幀，追蹤活動(dòng)幀，效果如下圖

??

繼續(xù)點(diǎn)擊MetaHuman本體解算、網(wǎng)格體轉(zhuǎn)MetaHuman。

3、在UE5中打開Bridge，登陸一下賬號(hào)，只有l(wèi)ogo的就是我們的小人了。忽略我設(shè)計(jì)的禿頂和爆炸頭小陳

??

選中l(wèi)ogo模型，點(diǎn)擊START MHC進(jìn)入MetaHuman Creator網(wǎng)頁(yè)，
https://metahuman.unrealengine.com/ 進(jìn)一步加工我們的MetaHuman吧

??

第三步 調(diào)整你的數(shù)字人

對(duì)骨骼，膚色，頭發(fā)，牙齒，身體，表情動(dòng)作等進(jìn)行調(diào)整，內(nèi)容太豐富，建議自己嘗試，放一個(gè)眼影小陳，和大胡子小陳

??

??

第四步 下載數(shù)字人并加載到虛幻引擎中

1、打開Bridge點(diǎn)擊Down

??

2、添加小人到項(xiàng)目中后項(xiàng)目中多了一個(gè)MetaHuman的文件夾，移動(dòng)到你的場(chǎng)景吧

??

3、最終效果圖，只下載好了（網(wǎng)速不好）禿頭小陳實(shí)在不好放大，下次做個(gè)好看的在更新下文章吧。

四、總結(jié)和暢想

本文介紹了如何打造一個(gè)數(shù)字人，描述業(yè)內(nèi)常用的一些軟件和技術(shù)棧，并實(shí)戰(zhàn)打造一個(gè)以自己為模型構(gòu)建的虛擬數(shù)字人，并詳細(xì)描述了全過(guò)程?？偟膩?lái)說(shuō)數(shù)字人具備了逼真的人類外貌、身體動(dòng)作和語(yǔ)言能力的虛擬人物，不同的制作方法和技術(shù)可以實(shí)現(xiàn)不同的效果和應(yīng)用，選擇合適的方法和技術(shù)需要根據(jù)具體需求和項(xiàng)目情況來(lái)確定。

大家將就看完了，模型還是丑丑的，下一步持續(xù)提升，讓數(shù)字人擁有智慧，擁有交互，擁有顏值（畢竟顏值才是正義）。

關(guān)于數(shù)字人如何創(chuàng)建和相關(guān)技術(shù)就介紹到這里啦，我也是剛?cè)腴T，有不對(duì)的地方和需要補(bǔ)充的，歡迎大家指正，希望對(duì)大家所有幫助，也歡迎多多點(diǎn)贊收藏。

最后關(guān)于數(shù)字人的應(yīng)用場(chǎng)景和結(jié)合實(shí)際的落地效果，大家有好的idea也可以一起討論。

五、團(tuán)隊(duì)介紹

我們是互聯(lián)網(wǎng)醫(yī)療服務(wù)團(tuán)隊(duì)，主要是在醫(yī)藥閉環(huán)流程中，承接醫(yī)患兩端服務(wù)平臺(tái)，包括派單、問(wèn)診、處方等垂直領(lǐng)域業(yè)務(wù)，團(tuán)隊(duì)一直致力于在醫(yī)療行業(yè)中探索和應(yīng)用各種新興的科技手段。目前主要在醫(yī)學(xué)對(duì)話，遠(yuǎn)程醫(yī)療、醫(yī)學(xué)影像診斷等方面進(jìn)行探索和嘗試，相信可以為醫(yī)生和患者帶來(lái)更好的醫(yī)療服務(wù)體驗(yàn)。