提升成像維度! 淺談光場相機的成像原理

甚麼是光場(Light Field)?

首先我們先探討單束光線在空間中如何被定義，以人眼為例，在三維空間中可以用 (x, y, z) 來表示人眼在空間中的座標。
光線進入人眼的水平夾角與垂直夾角分別以 (θ, Φ) 表示，因為光路可逆，所以可以由人眼座標為原點，水平、垂直夾角為方向描述光線的空間資訊

每條光線又擁有不同的顏色，而顏色可透過光的波長 (λ) 來統一描述。此外，隨著時間 (t) 的變化，進入人眼的光線也會有所改變。
因此，三維世界中的光線資訊可由七維的全光函數 P(x, y, z, θ, Φ, λ, t) 來描述，最後P代表光的強度，完整表徵光在空間中的行為。

而光場就是空間中所有光線的集合，也就是說在給定的空間內若有一顆小球擁有紀錄本身在空間當中的位置 (x,y,z)、
當下的時間 (t)、光強、光波長 (λ) 與進入它的角度 (θ, Φ)，當這顆小球在不同時間段走過空間中的所有位置，就可以說這個空間的光場已經蒐集完備。

光場全光函數降維 – 光場 4D 參數化

由於全光函數過於複雜且計算量龐大，為了更直觀說明概念，學者推出雙平面法 (如下圖) 對全光函數進行降維，將空間訊息(位置、方向)改為光線與兩個
已知平面的交點(u,v)、(s,t)的連線來描述。波長、光強、時間則由相機的 RBG、Pixel Value、Frame 來替代，大大降低計算量使光場的運算有機會實現，同樣地，在光場相機中，主鏡頭與微透鏡陣列、主鏡頭與偵測器像面等組合也符合雙平面模型的概念。

光場  4D 參數化表示

光場相機 (Light Field Camera) 的基本原理?

如上述，光場相機的硬體結構是由主透鏡、微透鏡陣列和 CCD / CMOS 感測器三大塊組成。在主透鏡的焦平面上設置微型鏡頭陣列（Microlens Array），每個微透鏡後方涵蓋了一定數量的像素。

因此微觀來看，一個發光點所發出能被主透鏡接收到的所有角度光線會先通過主鏡頭聚焦到焦平面，也就是微透鏡陣列的位置，陣列上的每個微透鏡會再使光線散焦，相當於將被主透鏡的聚合的發光點不同角度光線再次分離，後被後方的 CCD / CMOS Sensor 接收。

微透鏡與Sensor就好比上述提到的兩已知平面，每個 pixel與微透鏡的相對關係也已知，再搭配獨家的光訊息儲存演算法蒐集完備光場訊息，並讓
使用者能透過軟體計算的方式在一次拍攝後就能得到多重視角、先拍照後對焦、3D 深度資訊的能力。