奧推網

選單
文化

XR邁過「奇點」後,元宇宙如何生長?

2016年也被稱為XR元年。這一年XR賽道風起雲湧,面向個人使用者的XR裝置如雨後春筍般湧現。元年之後的XR幾經浮沉,終於在元宇宙概念的助力下再次爆發。

雷峰網

經過數年發展,XR裝置已經邁過了元宇宙大爆炸的“奇點”,足夠承載元宇宙宏大構想的落地。

但元宇宙遠不僅僅是XR,“奇點”之後,元宇宙還在繼續生長。

2022世界人工智慧大會(WAIC 2022)上,高通展示的最新無界XR技術和產品被評為鎮館之寶,三名玩家能夠同時在5G連線的無線條件下以1832×1920@90Hz的顯示效果實現沉浸式遊戲體驗。使高通的無界XR技術成為“鎮館之寶”的不僅是XR終端裝置的效能,還有人工智慧和5G連線的“助攻”。

2022世界人工智慧大會(WAIC 2022)上,高通展示的最新無界XR技術和產品被評為鎮館之寶,三名玩家能夠同時在5G連線的無線條件下以1832×1920@90Hz的顯示效果實現沉浸式遊戲體驗。

使高通的無界XR技術成為“鎮館之寶”的不僅是XR終端裝置的效能,還有人工智慧和5G連線的“助攻”。

XR裝置跨過元宇宙大門

在誕生元宇宙概念的小說《雪崩》中,人們使用虛擬現實裝置連入元宇宙世界,並在其間生活。而在現實中,XR裝置也是真實世界通往元宇宙世界的大門。

在元宇宙的概念掀起熱潮後,許多廠商紛紛制定了自己的元宇宙戰略。許多廠商的路徑選擇中,極重要的一步就是XR裝置。

早在被稱作“VR元年”的2016年,虛擬現實裝置就曾火熱一時。Oculus、HTC、索尼等品牌都在那時釋出了消費級VR裝置。資本也紛紛入場,2016年招商證券研報預計2020年全球VR/AR市場規模將超過1500億美元。

但很長一段時間內,XR裝置的發展並不順利。

根據IDC資料,2016年全球XR裝置出貨量曾一度同比增長383%,達到904萬部。但這股XR熱潮也迅速消退,2018年全球VR頭顯出貨量由375萬臺下滑至350萬臺,AR眼鏡的出貨量則由45萬臺暴跌至26萬臺,幾乎腰斬,2020年XR市場規模千億美元的目標也沒有達成。

造成這種現象的一部分原因是這些XR裝置昂貴且笨重,續航能力不足,加上顯示效果不能令人滿意,內容也十分匱乏,最終導致初代XR裝置們曇花一現。

在這諸多的挑戰之中,晶片是一個核心的問題。當時的XR裝置只能“蹭”手機晶片用,但手機與XR裝置在使用場景存在著比較大的差別,手機晶片並不能很好的覆蓋XR晶片的使用場景。

作為移動領域的晶片龍頭,高通2015年便在XR領域佈局,2018年推出了首款專用於XR領域的晶片XR1,隨後又推出了首款支援5G的XR晶片XR2。

圖 搭載了驍龍XR2平臺的Quest2頭顯

驍龍XR2方案支援七路並行攝像頭並且具備計算機視覺專用處理器的XR平臺,顯示單元支援3k×3k@90Hz的單眼解析度,並支援流傳輸或本地播放8k@60Hz的360度影片或4K@120Hz影片,且支援HDR10/HDR10+。

驍龍XR2平臺解決了之前XR裝置延遲高、移動性差、解析度差等問題,使得XR裝置效能跨過了元宇宙的准入門檻,並引領了XR裝置的普及化。

2020年FaceBook釋出基於驍龍XR2平臺的Oculus Quest2,成為了XR領域第一款現象級的爆品,該裝置在2021年的銷量超過了Xbox,XR裝置再次迎來快速增長。

目前Pico、Meta等元宇宙頭部玩家都已經在XR裝置均採用了驍龍XR2晶片。HTC也被爆料即將推出基於驍龍XR2平臺的Vive頭顯。高通基於XR2晶片的參考設計,也讓更多廠商能夠更輕鬆地基於XR2晶片打造自己的XR裝置。

隨著XR裝置的進步和普及,我們已經跨過了元宇宙的准入門檻。但這對於元宇宙來說,僅僅是大爆炸的“奇點”,要實現元宇宙最終的宏大願景,還需要在內容和互動上繼續建設。

“奇點”之後,AI播種生機

高通公司總裁兼CEO安蒙曾在WAIC 2022的主題演講上表示,元宇宙是網際網路的未來,即空間網際網路。

空間網際網路與當前的網際網路最大的不同是能夠提供更具沉浸感的體驗。在當前的2D網際網路時代主要的互動方式是2D平面的文字、圖片和影片內容,而元宇宙則能讓人們親身參與其中。

元宇宙將視覺體驗從第三人稱平面升級到第一人稱3D視角,讓人們獲得更豐富的資訊,並且擴寬了互動的邊界,提供了觸覺等新的互動方式。

為了支撐新的互動方式,更高精度的環境模型,更逼真的虛擬形象,更真實的互動反饋都必不可少。

為了讓更多的開發者參與進來,利用人工智慧構建場景更豐富,讓使用者體驗更好的元宇宙世界,高通已經建立了Snapdragon Spaces XR開發者平臺。

Snapdragon Spaces XR開發者平臺為開發者提供了一套獨立於裝置製造商的AR功能規範,並且與2017年制定的Khronos OpenXR標準相容,讓開發者能夠輕鬆完成可移植性應用程式開發。

除此之外,在創造元宇宙內容的過程中,人工智慧在多個領域發揮著重要作用:元宇宙需要學習並適應不斷變化的環境和使用者偏好,以提高使用者在元宇宙虛擬環境中的體驗感;支援深度感知的計算攝影和計算機視覺技術將完成對手部、眼球和位置的追蹤,並擁有理解和感知情境的能力,為虛擬形象與環境的互動提供技術支援。

如今,已經跨過元宇宙XR裝置門檻的廠商們也已經將注意力放到了人工智慧上。但要想在元宇宙中利用人工智慧,開發者們需要投入更多精力。

對AI開發者們來說,元宇宙是一個全新的場景。

不同場景下,人工智慧裝置的功耗需求、人工智慧模型型別、模型部署方式都有所不同。對模型的準確性、功耗和延時的要求也不盡相同,在某個領域中人工智慧的部署經驗並不能簡單複用到另一領域。元宇宙中大量新場景的出現,對開發者來說意味著更加繁雜的工作。

高通在手機晶片領域深耕多年,歷經十多年研究並不斷開發人工智慧相關產品,已經成為了終端智慧領域的領軍者。

為了將開發者從反覆的適配工作中解放出來,高通建立了讓人工智慧開發工作“書同軌,車同文”的AI軟體棧。

基於高通的AI軟體棧,開發者們不再需要為不同場景“量體裁衣”,而是隻需要一次開發,就可以將成果部署到各個領域,這大大減少了開發者的工作量,加速人工智慧在元宇宙新場景中的部署。

為了推進元宇宙的發展,高通還設立了1億美元驍龍元宇宙基金,用於投資打造與XR體驗相關AI核心技術的開發者和企業。人工智慧要在元宇宙中落地,還需要一座連線使用者、邊緣和雲端的橋樑。

5G建起“數字高架”,AI從雲端走向萬物

AI的作用在元宇宙中,不止於“無所不能”,還要“無處不在”。

一方面,元宇宙執行中會產生海量資料,而云端則無法承受如此龐大的資料量。依賴部署在雲端的人工智慧處理這些資料的方案可行性不高。

另一方面,元宇宙作為互動程度更高的下一代網際網路,人們在元宇宙中遨遊的同時,個人隱私和資訊保安也十分重要。

端、邊雲協同的分散式結構能夠解決元宇宙當前面臨的這些痛點。

首先,在元宇宙中,大量情境豐富的資料由邊緣產生,擴充套件至邊緣的AI能夠在邊緣“就近處理”,無需將資料集中至雲端,這大大減輕了雲端的壓力。

圖 5G支援下實現的分散式智慧

其次,在終端側部署人工智慧可以讓使用者在終端處理敏感資料,而不必將這些資料傳送至雲端,從而更好地保護使用者隱私。並且部署在終端的人工智慧還能夠偵測惡意軟體和可疑行為,為使用者的資訊保安提供保障。

部署在終端的人工智慧還能夠利用聯邦學習等新技術更高效地利用有限的網路資源和頻寬,提高資料處理的效果。

分散式AI對元宇宙來說必不可少,而5G則是其不可缺少的助推器。

一份來自Gartner的報告曾指出,5G是推動分散式人工智慧發展的重要因素。

5G與分散式部署的人工智慧、功能強大的XR裝置結合,誕生了目前XR使用者體驗的無界XR。

無界XR的頭顯終端執行節能的最佳化時延演算法以及眼球追蹤、手勢追蹤、頭部追蹤等工作,更復雜的工作透過5G網路傳輸至邊緣處理。

這讓XR裝置的設計不再受功耗、散熱等方面的限制,設計者可以將XR裝置設計的更加輕便易用,邊緣比終端更強大的算力也能夠為更豐富的內容提供算力支援。

實現無界XR執行的難點在於延時和吞吐量這兩個關鍵效能指標。基於目前的VR頭顯硬體能力,要實現單目2Kx2K@90fps的VR頭顯實現5G無界XR的規模化部署,“動作-渲染-顯示”的延時需要低於70毫秒,其中5G在終端和邊緣端的往返時延需低於20毫秒。吞吐量上,則需要網路連線支援70~90Mbs的穩定下行吞吐量。

高通作為5G的領軍企業之一,已經成功將自身在5G方案上的經驗與XR裝置、AI上的優勢相結合,實現了無界XR優質的使用者體驗。

而WAIC 2022期間,高通公司、中國移動和中赫集團合作展示的無界XR技術被評為鎮館之寶。

圖 WAIC上高通演示現場,三名玩家體驗無界XR

演示現場用當紅齊天提供的互動內容展示了在端到端的分離渲染架構下,無界XR利用5G提供的高速率低延時傳輸協同邊緣雲側進行實時渲染,並結合XR終端側的本地最佳化渲染來提供低延時的沉浸體驗。

該演示採用了基於高通驍龍VR2平臺的愛奇藝奇遇 Dream Pro VR一體機,在演示中支援了三名體驗者同時以1832×1920@90Hz的顯示效果進行體驗,細膩流暢的顯示效果已經可以達到人們對元宇宙體驗的想象。

世炬研發的基於高通FSM100 5G RAN平臺的5G家庭小基站則為該VR頭顯提供了強大的網路保障。在演示中,三名玩家所佩戴裝置的5G RTT時延都保持在20毫秒左右,已經能夠元宇宙場景下日常使用。

圖 基於5G切片的端邊協同分離渲染技術能夠實現下行速率吞吐量均在100Mbps左右

如今,XR裝置已經跨過了元宇宙的門檻,而在頭部玩家的推動下,人工智慧和5G連線進一步的融合發展使元宇宙也不斷生長,我們距離元宇宙的未來,已經愈來愈近。