點選上方“3D視覺工坊”，選擇“星標”

乾貨第一時間送達

“

光是人類對物理世界進行觀測與感知最重要的載體之一，人類透過人眼接收場景中物體發出的光線（主動或被動發光）進行感知。成像感知系統是人眼的延伸，捕獲、記錄、分析場景的光資訊。然而，現有的成像感知系統大多僅支援二維成像，迫使我們只能透過二維視窗去觀察三維世界，從而丟失了三維世界的豐富資訊。

”

當前內容建立方法

開發人員使用三種主要方法來建立移動或VR / AR / MR應用程式。每種內容方法通常基於其最終的顯示裝置或特定的應用程式要求，具有獨特的優勢。

3D模型–用多邊形制作物件的表示形式。

攝影測量法–拍攝物體的許多照片，並使用軟體生成此資訊的3D模型。

影片–拍攝物件。

如果我們要構建“第一人稱射擊”遊戲，則可能會將整個遊戲建立為複雜的3D模型。如果我們想對現實世界進行超現實的表現，可以選擇使用攝影測量法。如果我們正在製作360度紀錄片，可能會使用影片。許多應用程式將這些技術無縫結合在一起以發揮其獨特優勢。

什麼是光場？

使用Lytro的Immerge相機（2018）產生的光場示例

光場是三維世界中光線集合的完備表示，採集並顯示光場就能在視覺上重現真實世界。

在人類的五大感知途徑中，視覺佔據了70%~80%的資訊來源。藉助視覺，我們能準確抓取杯子，能在行走中快速躲避障礙物，能自如地駕駛汽車，能完成複雜的裝配工作。從日常行為到複雜操作都高度依賴於我們的視覺感知。然而，現有的影象採集和顯示丟失了多個維度的視覺資訊。這迫使我們只能透過二維“視窗”去觀察三維世界。例如醫生藉助單攝像頭內窺鏡進行腹腔手術時，因無法判斷腫瘤的深度位置，從而需要從多個角度多次觀察才能緩慢地下刀切割。從光場成像的角度可以解釋為：因為缺乏雙目視差，只能依靠移動視差來產生立體視覺。再例如遠端機械操作人員透過觀看監視器平面圖像進行機械遙控操作時，操作的準確性和效率都遠遠低於現場操作。

可以將光場想像成通向另一個世界的神奇視窗。

該視窗使使用者可以從任何角度檢視內部，並檢視另一側的內容更改。使用者可以像現實生活中那樣靠近視窗或移動到一側，並看到不同的資訊。如果使用者非常靠近窗戶，他們可以完全沉浸在這個其他現實中。當它們到達視窗邊緣時，將看不到其他內容。光場的建立者可以根據其特定用途來決定該視窗的大小。

光場體積可建立從定義空間內每個可見位置拍攝的影象。當你的頭部移動時，會實時交換正確的影象。如果你使用的是VR，例如上面的示例，那麼每隻眼睛都會交換單獨的影象，以營造深度感。

為什麼光場很重要？

早在1908年，加布裡埃爾·利普曼（Gabriel Lippman）因他的“Photographie intégrale”（也被稱為積分成像）獲得了諾貝爾獎。這個發明是由許多微小的透鏡組成的透鏡的構想。這允許每個鏡頭捕捉略有不同的檢視。Lippman的原始理論（現在稱為蟲眼透鏡或微透鏡陣列）只有12個透鏡。

儘管獲得了諾貝爾獎，李普曼實際上從未造過一臺能正常工作的照相機！雖然他的想法是革命性的，但幾十年來，這項技術仍然是一個不可思議的邊緣概念。在同一時間，以高質量的方式捕捉如此多的影象，超出了早期攝影的新興技術。最接近的商業用途是立體鏡，它雖然非常流行，但只顯示固定的立體影象。

Marc Levoy和Pat Hanrahan於1996年發表的SIGGRAPH論文“光場渲染”中的影片

在1990年代，探索光場得到了重生。個人計算機的興起和實用計算機圖形的建立使第一批真正的捕捉得以實現。像SIGGRAPH這樣的創新中心讓這些曾經的小眾想法有了一個論壇。就像幾十年前一樣，這項技術在當時處於領先地位。

光場的好處是什麼？

這種內容建立方法具有影片的優點，因為它是被捕獲的內容的100%表示，是高解析度的，是即時捕獲，加上我們可以在立體聲中看到，並可以在這個內容內移動，到一個預定義的程度。

斯坦福大學（Stanford）的多相機陣列示例（2002年）

OTOY（2015）透過自動相機捕獲光場的示例

真實世界的內容可以透過微鏡頭陣列捕捉，即一個巨大的相機與一堆鏡頭。如上圖所示，甚至單個或多個鏡頭也可以在空間中快速操作。

Frooxius（2015）透過Blender渲染的CGI示例，使用光場顯示

或內容可以是計算機圖形（CGI）。儘管這些可以渲染為3D物件，但是現代裝置的計算能力受到限制。光場允許模型，紋理，照明和反射的最高保真度，這是實時無法實現的。

Joan Charmant（2016）使用Oculus Rift Dev Kit 2在VR中進行光場渲染的示例

重要的是要注意，光場實際上是在空間中漂浮的影象，它將正確的影象交換為使用者的特定位置。這意味著，如果我們可以快速交換正確的影象，那麼幾乎無需花費CPU或GPU即可產生非常複雜的視覺效果。這些光場捕獲技術上也是全息的。這意味著它們滿足定義的預設範圍內的所有可能的檢視。

王挺春，朱儁彥，尼瑪·哈迪米·卡蘭塔裡，阿列克謝·埃弗羅斯和拉維·拉莫莫蒂（2017）的``使用基於學習的混合成像系統進行光場影片捕獲''中的光場視差示例

光場捕獲有視差，一種基於頭部運動的物體深度重疊。這增加了沉浸感和存在感，而這在360度影片中是無法實現的。我們也能在光場之間動畫或捕捉光場序列，就像電影一樣。

迪士尼研究院（Disney Research）的“帶有壓縮動畫光場的實時渲染”中的動畫光場的示例。由Charalampos Koniaris，Maggie Kosek，David Sinclair和Kenny Mitchell撰寫（2017）

王挺春，朱儁彥，尼瑪·哈迪米·卡蘭塔裡，阿列克謝·埃弗羅斯和拉維·拉莫莫蒂（2017）的``使用基於學習的混合成像系統進行光場影片捕獲''中調整相機焦點的示例

相對於拍攝時需要聚焦的影片，也可以根據深度動態調整光場的聚焦或光圈。這是因為光場可以基於所獲取的資料來估計深度。

南加州大學創意技術學院混合現實研究主任兼南加州大學電影藝術學院副教授馬克·波拉斯（Mark Bolas）舉例說明了光場相互作用（2016年）

就像3D模型一樣，可以將多個光場捕獲合併在一起並進行操作。這種互動性是對靜態影片的又一重大改進。完全控制大小，位置，更換光源或完全替換光場捕獲，對於創造者而言，可能性是無限的。或者可以將光場與3D模型，膠片或攝影測量法混合使用，以增加對現實的錯覺。

圖片來自Marc Levoy和Pat Hanrahan的經典SIGGRAPH 1996年論文

但是光場還有另一個優勢，那就是細微變化之間的大多數資料不是唯一的。因此，大多數資料都是不需要的，可以刪除。透過刪除此多餘的視覺資訊，可以壓縮1000張高質量的小動作照片，並將其壓縮到此大小的一小部分。

什麼是摩爾定律？為什麼現在有光場相關？

Fairchild Semiconductor和Intel的創始人Gordon Moore提出，在未來十年中，電路晶片上電晶體的數量每年將增加一倍。50多年後的今天，“摩爾定律”仍然保持著強大的地位，使我們的個人計算機中的魔力以指數級的速度增長。

但是，摩爾定律不僅涉及計算機的功能。其他計算機元件也取得了相同的指數增長。在過去的十年中，我們注意到圖形晶片變得越來越小。電池變得更小，使用壽命更長。一切都變得更輕鬆了。這些中的每一項都使諸如手機，平板電腦和無線VR / AR裝置之類的新發明成為可能。

RAM是您的計算機儲存可供訪問的資訊的能力，RAM開始允許我們在移動裝置上實現新的技術比如光場。

光場技術的應用展望

從全世界光場技術的發展趨勢來看，美國矽谷的科技巨頭如谷歌、Facebook、Magic Leap等爭相佈局和儲備光場技術，有些甚至已經出現了Demo應用。目前光場技術在照明工程、光場渲染、重光照、重聚焦攝像、合成孔徑成像、3D顯示、安防監控等場合有著廣泛的應用。

對光場技術的研究主要分為兩大方面，包括 光場採集和 光場顯示。

光場採集技術相對更成熟，目前在某些To B領域已經基本達到可以落地使用的程度。光場採集主要是提供3D數字內容，對於光場採集系統的硬體成本、體積、功耗有更大的可接受度。相關應用如吃到第一隻螃蟹的Lytro光場相機，在工業領域的應用一直穩步上升。

相比之下，光場顯示是偏向To C的產品，個體使用者在成本、體積、功耗、舒適度等多方面都極度挑剔。光場顯示除了能產生傳統的2D顯示器的所有資訊外，還能提供雙目視差、移動視差、聚焦模糊三方面的生理視覺資訊。在光場顯示技術發展過程中，出現了多種光場顯示技術，最常見的有：多層液晶張量顯示、數字顯示、全息顯示、整合成像光場顯示、多視投影陣列光場顯示、體三維顯示。目前，光場顯示正在通往商業化實用的道路上，最大的挑戰在於光場顯示裝置的小型化和低功耗，這需要材料學、光學、半導體等多個基礎學科的共同努力。

本文僅做學術分享，如有侵權，請聯絡刪文。

下載1

學習3D視覺核心技術，掃描檢視介紹，3天內無條件退款

圈裡有高質量教程資料、可答疑解惑、助你高效解決問題