說明：文中所有的配圖均來源于網(wǎng)絡(luò)

本文對 XR 技術(shù)核心內(nèi)容展開系統(tǒng)梳理，著重剖析了 VR、AR、MR 的定義與實現(xiàn)方案。其中，深入探討了 AR 的 OST 與 VST 技術(shù)路線，以及 MR 的融合機制，助力你全面把握 XR 技術(shù)全貌與發(fā)展趨勢。

XR（Extended Reality）是綜合虛擬與現(xiàn)實空間的融合技術(shù)，涵蓋VR、AR、MR三大類型。其核心在于通過數(shù)字信息對現(xiàn)實感知進行拓展或更新，達成用戶與虛擬內(nèi)容、現(xiàn)實場景間的高度交互與深度融合。

1、基本概念介紹

VR（虛擬現(xiàn)實）：構(gòu)建純虛擬的世界，用戶被完全隔絕于現(xiàn)實世界，中心是“深度沉浸”。

AR（增強現(xiàn)實）：將虛擬元素、信息、動畫在現(xiàn)實環(huán)境中加以重新視覺擴展，重點是“現(xiàn)實上的增強”。

MR（混合現(xiàn)實）：將虛擬世界與現(xiàn)實世界規(guī)劃為一個可以相互作用、環(huán)境共享的空間，其核心是“虛實融合、物理交互”。

2、XR技術(shù)聯(lián)系

XR包含的VR、AR、MR三類技術(shù)，在硬件、數(shù)據(jù)流、顯示、交互上各有側(cè)重，同時又緊密關(guān)聯(lián)，如下圖所示：

3、XR發(fā)展脈絡(luò)與趨勢

XR并非單一技術(shù)演進的產(chǎn)物，而是多條技術(shù)路徑交匯融合的結(jié)晶。計算平臺歷經(jīng)迭代，從PC邁向移動端，再發(fā)展到邊緣計算與云渲染；感知能力不斷拓展，由以視覺為主導(dǎo)延伸至多模態(tài)傳感器融合；網(wǎng)絡(luò)持續(xù)演進，4G到5G/6G助力實現(xiàn)低延遲XR體驗；人機交互持續(xù)升級，從手柄到裸手，正積極探索腦機接口。

增強現(xiàn)實技術(shù)的核心是在現(xiàn)實場景上擴展信息，依據(jù)環(huán)境采集與展示方式，可分為OST和VST這兩種基本實現(xiàn)路徑。

1、OST（Optical See Through）原理與特性

OST采用光學(xué)雙路并行設(shè)計，用戶借半透鏡直接觀察現(xiàn)實世界，同時虛擬圖像被投射至其眼前。

● 技術(shù)特點

現(xiàn)實圖像無需處理，可無延遲呈現(xiàn)；虛擬圖像要求出光與觀感光路精準對齊，否則會產(chǎn)生錯位；且因光學(xué)透明，虛實遮擋難實現(xiàn)，虛擬物難遮擋現(xiàn)實物。

工作流程

● 應(yīng)用特征

其更適配室外強光場景下的信息提示，常借助空間定位技術(shù)錨定圖像，且對顯示器的亮度及視場角有較高要求。

2、VST（Video See Through）原理與特性

VST方案借助攝像頭拍攝現(xiàn)場環(huán)境，經(jīng)應(yīng)用程序?qū)⑻摂M圖像與之結(jié)合添加后，再反饋至顯示屏幕呈現(xiàn)。

● 技術(shù)特點

VST無光學(xué)通道，觀看內(nèi)容全由數(shù)字編輯，能精準控制虛擬遮擋以深度開發(fā)，但對硬件和后端處理性能要求高，易產(chǎn)生延遲。

數(shù)據(jù)流基本流程

● 應(yīng)用特征

VST適用于需復(fù)雜交互與遮擋效果的增強現(xiàn)實，在室內(nèi)場景表現(xiàn)優(yōu)于OST，還支持與AI視覺分析、SLAM等系統(tǒng)融合。

3、OST與VST技術(shù)格式對比

4、AR內(nèi)容的空間錨定機制

AR體驗的核心是實現(xiàn)“穩(wěn)定”的虛擬物體放置，而這離不開錨定技術(shù)的支持，主要有以下三類：

圖像錨定（Image Anchoring）：通過識別預(yù)定義的圖案，如海報、書本等，實現(xiàn)虛擬物體的精準定位。

平面錨定（Plane Tracking）：能夠自動識別水平或垂直平面，使虛擬物體自然融入場景。

空間錨定（World Anchors）：記錄特定三維位置，方便后續(xù)回訪與定位。

ARCore 是 Google 精心打造的增強現(xiàn)實體驗開發(fā)平臺，它借助一系列功能強大的 API，讓手機具備感知環(huán)境、理解世界以及與信息交互的能力。值得一提的是，部分 API 同時適配 Android 和 iOS 系統(tǒng)，可助力開發(fā)者實現(xiàn)跨平臺的共享 AR 體驗。

ARCore 的運動跟蹤技術(shù)是其核心亮點之一。它運用手機攝像頭識別環(huán)境中的興趣點，也就是特征點，并持續(xù)跟蹤這些點隨時間的移動軌跡。同時，ARCore 會綜合分析這些特征點的動態(tài)變化以及手機慣性傳感器的數(shù)據(jù)，精準確定手機在空間移動過程中的位置和方向。

除了精準識別關(guān)鍵點，ARCore 還能敏銳檢測平坦表面，像桌子、地板等都能被其輕松識別，并且可以估算周圍區(qū)域的平均光照強度。這些強大功能相互配合，使 ARCore 能夠構(gòu)建起對周圍世界的獨特認知。

當手機在現(xiàn)實世界中移動時，ARCore 會采用視覺 SLAM 技術(shù)，深入理解手機相對于周圍環(huán)境的位置。它會檢測攝像頭圖像中視覺差異明顯的特征點，并依據(jù)這些點計算位置變化。隨后，將這些視覺信息與設(shè)備 IMU 的慣性測量結(jié)果相融合，從而精確估算出攝像頭相對于周圍世界的姿態(tài)，包括位置和方向。

環(huán)境識別

虛擬現(xiàn)實借助計算機生成全三維空間，讓用戶深度沉浸其中，用戶可借助交互裝置完成導(dǎo)航、交互、觀察等操作，其核心在于“沉浸性”和“交互性”的融合。

1、VR系統(tǒng)構(gòu)成模塊

空間追蹤系統(tǒng)可精準捕捉頭部與手部位置變化，達成視角跟蹤；圖形渲染模塊借助游戲引擎（像 Unity）實時生成虛擬世界圖像；音頻系統(tǒng)能完成 3D 空間音效渲染，提升沉浸感；交互系統(tǒng)則支持控制器、手勢、眼動等多種交互操作。

2、虛擬場景設(shè)計原則

一致性要求用戶行為與視覺反饋精準契合；響應(yīng)性強調(diào)系統(tǒng)需迅速回應(yīng)用戶操作，杜絕延遲感；沉浸性借助視覺、聽覺、觸覺打造逼真虛擬空間；導(dǎo)航性則通過傳送、搖桿、手勢位移等方式，為用戶提供順暢的移動與空間感知體驗。

3、VR交互方式

空間控制器融合按鍵操作與空間定位功能；手勢識別借助攝像頭捕捉用戶手部動作；語音識別以語義命令驅(qū)動操作行為；眼動追蹤通過焦點實現(xiàn)選擇與界面交互。

4、VR圖形渲染流水線詳解

現(xiàn)代 VR 圖像多由游戲引擎（如 Unity、Unreal）按以下流程生成：先通過傳感器更新用戶位置，接著構(gòu)建視角投影矩陣，再分別渲染左右眼視圖，隨后進行圖像畸變矯正，最后推送至屏幕顯示。

混合現(xiàn)實不只是在現(xiàn)實世界疊加虛擬內(nèi)容，更強調(diào)虛擬內(nèi)容能與現(xiàn)實環(huán)境的物理屬性，如進行遮擋、碰撞及共享空間等交互。

1、MR實現(xiàn)基礎(chǔ)

MR 一般是在 VST 基礎(chǔ)上增添多個關(guān)鍵模塊。空間定位與建圖（SLAM）模塊可實時繪制用戶所處空間地圖；深度傳感與理解模塊借助結(jié)構(gòu)光、ToF 或 AI 視覺來感知環(huán)境深度；虛實遮擋融合模塊能判斷虛實物體位置以實現(xiàn)逼真遮擋；交互管理模塊則可響應(yīng)手勢、眼動、語音命令來操控虛擬物體。

2、MR與VST的融合邏輯

MR 融合 VST 時，沿襲其圖像路徑并強化深度感知。借助空間錨點，將虛擬內(nèi)容與真實場景精準映射，達成雙向交互，例如碰撞虛擬墻體、用手推動虛擬按鈕等。

3、虛實遮擋技術(shù)原理

MR 的核心是實現(xiàn)虛擬物體與現(xiàn)實對象間自然的遮擋效果，即虛擬物體能正確遮擋現(xiàn)實對象或被其遮擋。為此，需精準獲取真實世界深度圖，構(gòu)建真實物體的三維包圍盒，并在渲染管線中借助 Z - buffer 確定遮擋優(yōu)先級。

4、MR場景中的物理交互

在 MR 環(huán)境里，虛擬物體得兼具“視覺真實”與“行為真實”。這要求其受真實物理規(guī)則制約，像遵循地面重力、產(chǎn)生碰撞；能實現(xiàn)與現(xiàn)實的自然互動，如推門、拿杯子；還支持跨模態(tài)輸入，比如用語音操控虛擬助手、以手勢拖動現(xiàn)實界面。

END