TW201723637A - 產生像素射束表示資料之方法及裝置 - Google Patents

產生像素射束表示資料之方法及裝置 Download PDF

Info

Publication number
TW201723637A
TW201723637A TW105130177A TW105130177A TW201723637A TW 201723637 A TW201723637 A TW 201723637A TW 105130177 A TW105130177 A TW 105130177A TW 105130177 A TW105130177 A TW 105130177A TW 201723637 A TW201723637 A TW 201723637A
Authority
TW
Taiwan
Prior art keywords
ray
data
generated
rays
pixel
Prior art date
Application number
TW105130177A
Other languages
English (en)
Other versions
TWI713582B (zh
Inventor
羅倫 布朗迪
沃特 德拉茲克
莫茲德 塞菲
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201723637A publication Critical patent/TW201723637A/zh
Application granted granted Critical
Publication of TWI713582B publication Critical patent/TWI713582B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Abstract

本發明係為一種產生像素射束表示資料之方法及裝置，目前市面上可取得數種類型之全光裝置及相機陣列，及所有此等光場獲取裝置具有其專屬檔案格式，然而，卻未有任何標準支援多維資訊之獲取及傳輸。得到相關該光學獲取系統之感測器之像素與該光學獲取系統之物件空間之間對應關係之資訊令人關注，實際上，知道屬於光學獲取系統之感測器之像素正在感測該光學獲取系統之哪部分物件空間，能用以提升信號處理操作。因此引進像素射束概念(其表示一組光線在相機之光學系統之物件空間所佔用體積)，連同儲存此類資訊之緊密格式。

Description

產生像素射束表示資料之方法及裝置
本發明相關光場表示資料的產生。
在Anat Levin等人的文章，名稱為”透過光場投影之貝氏分析以瞭解相機折衷(Understanding camera trade-offs through a Bayesian analysis of light field projections)”(公布在ECCV 2008會議錄中)，說明四維(或4D)光場資料的獲取，其係可視為4D光場的採樣，即光線的記錄，係一熱門研究主題。
相較於使用相機得到的傳統二維(或2D)影像，4D光場資料能令使用者具有較多後製特徵存取，以使影像呈現增強，並增進使用者互動性。例如，可能利用4D光場資料以自由選擇聚焦距離來執行影像的重聚焦，意即可由經驗推論來規定/選擇焦點平面的位置，以及稍微變更一影像場景中的視點。為要獲取4D光場資料，可使用數種技術，例如，全光相機能獲取4D光場資料，在圖1A提供全光相機的架構細節。圖1A係以示意圖描繪一全光相機100，全光相機100包括一主透鏡101、一微透鏡陣列102(包括有依二維陣列排列的複數個微透鏡103)，及一影像感測器104。
獲取4D光場資料的另一方式係使用如圖1B所繪示的相機陣列，圖1B描繪多陣列相機110，多陣列相機110包括一透鏡陣列112及一影像感測器114。
在如圖1A所顯示全光相機100的範例中，主透鏡101接收主透鏡101的物件場中從一物件(圖中未顯示)來的光，並將光傳遞通過主透鏡101的影像場。
最後，獲取4D光場的另一方式係使用傳統相機，其係配置用以擷取相同場景在不同焦點平面的2D影像序列，例如可使用J.-H.Park等人的文件”使用焦點平面掃描之光線場擷取及其使用3D顯示器之 光學重建(Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays)”(2014年10月公布在光學速報(OPTICS EXPRSS)第22卷第21期)所揭露的技術，藉由傳統相機以達成4D光場資料的獲取。
表示4D光場資料有數種方式，實際上，在Ren Ng於2006年7月所發表的博士論文，名稱為”數位光場攝影術(Digital Light Field Photography)”，在其第3.3章揭露用以表示4D光場資料的三種不同方式。首先，4D光場資料係可由微透鏡影像的集合來表示(當藉由全光相機記錄時)，依此表示法的4D光場資料係稱為原始影像或原始4D光場資料。第二，4D光場資料係可由子孔徑影像集來表示(當藉由全光相機或藉由相機陣列記錄時)，一子孔徑影像對應到一場景從一視點所擷取影像，在二子孔徑影像之間，視點係稍有不同，此等子孔徑影像提供成像場景的視差及深度有關的資訊。第三，4D光場資料係可由一核線影像集來表示，例如參閱S.Wanner等人的文章，名稱為”利用單鏡頭聚焦式全光相機以產生4D光場之面迴訊影像(EPI)表示法(Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera)”(公布在ISVC 2011會議錄中)。
光場資料可佔掉大量儲存空間，可使儲存龐大笨重且處理較無效率，此外，光場獲取裝置係極不同，光場相機係屬不同類型，例如全光或相機陣列，在各類型之內有許多差異，如不同光學排列，或不同焦距的微透鏡。各相機具有自己專屬的檔案格式，目前在此並無任何標準支援多維資訊的獲取及傳輸，以用於光場所仰賴的不同參數的徹底概述，因此不同相機獲取的光場資料具有各式各樣格式。有鑑於上述原因，已提出本發明。
根據本發明的第一方面，揭示一種將光線集合分類的電腦實施方法，該等光線稱為生成射線，在光學獲取系統的物件空間中，該集合的各生成射線係藉由繞一體積的迴轉軸旋轉以產生該體積的表面及該光學獲取系統的感測器所感測至少一像素的共軛，該體積係由一組光線通過該光學獲取系統的光瞳所佔用，該組光線所佔該體積係稱為一像素射 束，該方法包括有：- 用於至少一像素射束，選擇產生該像素射束表面的一生成射線，其交叉一參考直線，- 產生一已分類生成射線集合，包括有選出生成射線。
根據本發明的一實施例，在將光線集合分類的方法中，一生成射線產生的像素射束表面係單葉雙曲面。
根據本發明的一實施例，在將光線集合分類的方法中，參考直線係平行於光學獲取系統的主透鏡的光軸。
根據本發明的一實施例，在將光線集合分類的方法中，參考直線係平行於光學獲取系統的一透鏡陣列的中心軸。
根據本發明的一實施例，在將光線集合分類的方法中，選擇生成射線在於：- 藉由該像素射束中屬於生成射線集合的另一生成射線的定義向量與一旋轉矩陣相乘，計算選出生成射線的定義向量的坐標，- 由於選出生成射線與參考直線互相交叉，因此該選出生成射線與該參考直線之間的距離係等於零，基於定義該選出生成射線及該參考直線的點及向量以計算旋轉矩陣的旋轉角的值。
本發明的另一目的為揭示一種產生資料的方法，用以產生一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束，該方法包括有：- 獲取第一光線集合及第二光線集合，稱為生成射線，該生成射線集合的各生成射線係藉由繞一像素射束的迴轉軸旋轉以產生該像素射束的表面，該像素射束的迴轉軸係屬於第一光線集合的光線；- 計算相交資料，相交資料定義一生成射線及一給定像素射束的迴轉軸與複數個給定參考平面的相交，該等參考平面係互相平行及對應到物件空間中的不同深度；- 得到射線圖參數，該等參數定義相交資料在2D射線圖的圖形表示法，用以提供該像素射束的資料表示。
根據本發明的一實施例，在產生像素射束表示資料的方法 中，對應到生成射線及迴轉軸的相交資料係在射線圖以圖形描繪為資料線，及射線圖參數包括以下至少一者的資料表示：- 一資料線的斜率；及- 射線圖中一資料線與一軸的相交。
根據本發明的一實施例，在產生像素射束表示資料的方法中，像素射束的資料表示尚包括顏色資料，表示對應第二生成射線及迴轉軸的顏色。
根據本發明的一實施例，在產生像素射束表示資料的方法中，係根據產生像素射束表示資料的方法以得到獲取的生成射線集合。
本發明的另一目的涉及一種將光線集合分類的裝置，該等光線稱為生成射線，在光學獲取系統的物件空間中，該集合的各生成射線係藉由繞一體積的迴轉軸旋轉以產生該體積的表面及該光學獲取系統的感測器所感測至少一像素的共軛，該體積係由一組光線通過該光學獲取系統的光瞳所佔用，該組光線所佔該體積係稱為一像素射束，該裝置包括有一處理器，配置用以：- 用於至少一像素射束，選擇產生該像素射束表面的一生成射線，其交叉一參考直線，- 產生一已分類生成射線集合，包括有選出生成射線。
根據本發明的一實施例，將光線集合分類的裝置的處理器係配置藉由以下步驟以選擇生成射線，：- 藉由該像素射束中屬於生成射線集合的另一生成射線的定義向量與一旋轉矩陣相乘，計算選出生成射線的定義向量的坐標，- 由於選出生成射線與參考直線互相交叉，因此該選出生成射線與該參考直線之間的距離係等於零，基於定義該選出生成射線及該參考直線的點及向量以計算旋轉矩陣的旋轉角的值。
本發明的另一目的涉及一種產生資料的裝置，用以產生一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束，該裝置包括有一處理器，配置用以： - 獲取第一光線集合及第二光線集合，該等光線稱為生成射線，該生成射線集合的各生成射線係藉由繞像素射束的一迴轉軸旋轉以產生該像素射束的表面，該像素射束的迴轉軸係屬於第一光線集合的光線；- 計算相交資料，相交資料定義一生成射線及一給定像素射束的迴轉軸與複數個給定參考平面的相交，該等參考平面係互相平行及對應到物件空間中的不同深度；- 得到射線圖參數，該等參數定義相交資料在2D射線圖的圖形表示法，用以提供該像素射束的資料表示。
根據本發明的一實施例，產生像素射束表示資料的裝置的處理器係根據申請專利範圍第1至5項中任一項的方法以得到獲取的生成射線集合。
本發明的另一目的涉及一種光場成像裝置，包括有：- 一微透鏡陣列，排列在一規則晶格結構中；- 一光感測器，配置用以擷取從微透鏡陣列投射在光感測器的光，光感測器包括有像素集，各像素集係在光學上與微透鏡陣列的個別微透鏡關聯；及- 如申請專利範圍第12項用以提供元資料的裝置。
本發明的另一目的涉及一種數位檔案，包括有一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束，該資料包括有：- 射線圖參數，定義第一光線(稱為生成射線)與第二光線的相交資料在2D射線圖的圖形表示法，該生成射線係藉由繞另一光線旋轉以產生一像素射束的表面，該另一光線係該像素射束的迴轉軸，相交資料定義生成射線及像素射束的迴轉軸與複數個給定參考平面的相交，該等參考平面係互相平行及對應到物件空間中的不同深度；- 顏色資料，定義生成射線及像素射束的迴轉軸的顏色。
本發明的元件所實施的一些過程係可由電腦實施，因此，此類元件可採取以下形式：完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等)，或結合軟體與硬體方面的實施例，其在本文中 通常係稱為”電路”、”模組”或”系統”。此外，此類元件可採取電腦程式產品的形式，具體實現在任何有形的表現媒體，具有電腦可用程式碼具體實現在該媒體中。
由於本發明的元件係可實現在軟體中，本發明係可具體實現為電腦可讀取碼，藉任何合適載體媒體用以提供到可程式裝置。有形載體媒體可包括儲存媒體如軟式磁碟、CD-ROM、硬碟驅動機、磁帶元件，或固態記憶元件及類似物。暫態載體媒體可包括信號如電信號、電子信號、光學信號、聲音信號、磁信號，或電磁信號，如微波或射頻(RF)信號。
40,50‧‧‧像素射束
41‧‧‧光學系統
42‧‧‧像素
43‧‧‧感測器
44,54‧‧‧光瞳
45,55‧‧‧像素共軛(腰部)
100‧‧‧全光相機
101‧‧‧主透鏡
102‧‧‧微透鏡陣列
103‧‧‧微透鏡
104‧‧‧感測器
110‧‧‧多陣列相機
112‧‧‧透鏡陣列
114‧‧‧影像感測器
200‧‧‧光場相機
201‧‧‧主透鏡
202‧‧‧孔徑(快門)
210‧‧‧微透鏡陣列
220‧‧‧光感測器陣列
240‧‧‧光場資料獲取模組
250,2050‧‧‧光場資料格式化模組
255‧‧‧光場資料處理器
260‧‧‧使用者介面(UI)
265‧‧‧顯示元件
270‧‧‧控制器
280‧‧‧電源
290,2090‧‧‧記憶體
295‧‧‧I/O介面
600‧‧‧生成射線分類裝置
601‧‧‧處理器
602‧‧‧儲存單元
603‧‧‧輸入元件
604‧‧‧輸出(顯示)元件
605‧‧‧介面單元
606‧‧‧匯流排
801‧‧‧光場資料獲取模組
802‧‧‧相交資料獲取模組
803‧‧‧射線圖產生器
804‧‧‧Radon變換模組
805‧‧‧數位線產生器
2000‧‧‧電路
2040‧‧‧處理電路
2045‧‧‧記憶體控制器
2051‧‧‧作業系統模組
2052‧‧‧介面模組
2055‧‧‧光場資料處理模組
d‧‧‧截距參數
MI‧‧‧微像
P‧‧‧物件空間中的像素(P’的共軛)
P’‧‧‧影像空間中的像素
r‧‧‧射束的橫向尺寸
S601‧‧‧參數獲取步驟
S602‧‧‧剪切移除步驟
S603‧‧‧雙曲面對中及正規化步驟
S604‧‧‧函數T應用步驟
S605‧‧‧計算步驟
S801‧‧‧資料獲取步驟
S802‧‧‧相交資料得到步驟
S803‧‧‧射線圖產生步驟
S804‧‧‧Radon變換應用步驟
S805‧‧‧數位線產生步驟
s‧‧‧斜率參數
w 0‧‧‧射束腰部大小
z R‧‧‧離射束腰部的距離
Θ‧‧‧射束總角度展開
θ x ,θ y ‧‧‧表示剪切角的參數
以下將參考附圖並僅藉由範例以描述本發明的實施例，圖中：圖1A係以示意圖描繪全光相機；圖1B描繪多陣列相機；圖2A係根據本發明的一實施例以功能圖描繪光場相機；圖2B係根據本發明的一實施例以功能圖描繪光場資料格式器及光場資料處理器；圖3係一光感測器陣列上形成的原始光場影像範例；圖4描繪一組光線在相機的光學系統(或光學獲取系統)的物件空間所佔用體積；圖5描繪單葉雙曲面；圖6A係根據本發明的一或多個實施例以功能方塊圖描繪將像素射束的生成射線分類的裝置的模組；圖6B係根據本發明的一或多個實施例以流程圖描繪將像素射束的生成射線分類的方法的步驟；圖7A及7B係根據本發明的一或多個實施例以圖形描繪參考平面用於光場資料參數化的使用；圖8係根據本發明的實施例以示意圖描繪光場射線相對於參考平面的表示法；圖9A係根據本發明的一或多個實施例以流程圖描繪一方法的步驟；圖9B係根據本發明的一或多個實施例以功能方塊圖描繪用以提供光場資 料格式的裝置的模組；圖10係根據本發明的實施例以示意圖描繪用於光場射線表示法的參數；圖11係2D射線圖，根據本發明的實施例以圖形描繪相交資料；圖12係根據本發明的實施例以圖形描繪所產生的一數位線；圖13係根據本發明的實施例以圖形描繪所產生的數位線；圖14A至14C係根據本發明的實施例以圖形描繪應用到一數位線的Radon變換；圖15係2D射線圖，根據本發明的實施例以圖形描繪用於複數個相機的相交資料；及圖16描繪一高斯射束(Gaussian beam)的幾何形狀。
如熟諳此藝者所了解，本發明原理的方面係可具體實現為系統、方法，或電腦可讀取媒體，因此，本發明原理的方面可採取以下形式：完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等),或結合軟體及硬體方面的實施例，其在本文中通常全稱為”電路”、”模組”，或”系統”。此外，本發明原理的方面可採取電腦可讀取儲存媒體的形式，可利用一或多個電腦可讀取儲存媒體的任何組合。
本發明的實施例提供光場資料的格式化用於進一步處理應用如格式轉換、重聚焦、視點變更，及3D影像生成。
圖2A係根據本發明的一實施例以方塊圖描繪一光場相機裝置，根據圖1A的光場相機，光場相機包括一孔徑/快門202、一主透鏡(物鏡)201、一微透鏡陣列210，及一光感測器陣列220。在一些實施例中，光場相機包括一快門啟動按鈕，其係啟動用以擷取一主題或場景的光場影像。應了解該等功能特徵亦可應用到圖1B的光場相機。
光感測器陣列220提供光場影像資料，其係由LF(光場)資料獲取模組240所獲取，由光場資料格式化模組250用於光場資料格式的產生，及/或由光場資料處理器255用於處理。光場資料在獲取後及處理後係可儲存在記憶體290中，依原始資料格式(作為子孔徑影像或焦點堆疊)，或根據本發明的實施例係依光場資料格式來儲存。
在繪示的範例中，光場資料格式化模組250及光場資料處 理器255係設置在(或整合)到光場相機200中。在本發明的其他實施例中，光場資料格式化模組250及光場資料處理器255係可在光場擷取相機外部的一分離組件中提供。相對於光場影像擷取裝置，分離組件可係本地或遠程的。應了解任何合適的有線或無線協定係可用以傳送光場影像資料到格式化模組250或光場資料處理器255；例如，光場資料處理器可經由網際網路、行動資料網路、WiFi網路、藍芽通訊協定及/或其他任何合適措施以傳遞所擷取的光場影像資料及/或其他資料。
根據本發明的實施例，光場資料格式化模組250係配置用以產生所獲取光場的資料表示，光場資料格式化模組250係可實現在軟體、硬體，或其組合中。
根據本發明的實施例，光場資料處理器255係配置用以操作在直接從LF資料獲取模組240接收的原始光場影像資料上，例如用以產生焦點堆疊或一視野矩陣，可產生所擷取場景的輸出資料如靜態影像、2D視訊流及類似物。光場資料處理器係可實現在軟體、硬體，或其組合中。
在至少一實施例中，光場相機200亦可包括一使用者介面260，使用者能用以提供使用者輸入，藉由控制器270用以控制相機100的操作。相機的控制可包括相機的一或多個光學參數控制如快門速度，或在可調式光場相機的情形，微透鏡陣列與光感測器之間的相對距離控制，在一些實施例中，可手動調整光場相機的光學元件之間的相對距離。相機的控制亦可包括相機的其他光場資料獲取參數、光場資料格式化參數或光場處理參數的控制。使用者介面260可包括任何合適的使用者輸入裝置如觸控螢幕、按鈕、鍵盤、指向裝置及/或類似物，依此方式，可使用使用者介面所接收的輸入以控制及/或配置LF資料格式化模組250以控制資料格式化，控制及/或配置LF資料處理器255以控制所獲取光場資料的處理，及控制及/或配置控制器270以控制光場相機200。
光場相機包括一電源280，如一或多個可替換或可充電的電池。光場相機包括記憶體290，用以儲存所擷取光場資料及/或所呈現最終影像或其他資料如軟體(用以實施本發明的實施例的方法)。記憶體可包括外部及/或內部的記憶體，在至少一實施例中，記憶體係可設置在相機 200的一分離裝置及/或位置中。在一實施例中，記憶體包括可卸除/可替換儲存裝置如記憶棒。
光場相機亦可包括一顯示單元265(如LCD螢幕)，在擷取前用以觀察相機前面的場景及/或用以觀察先前所擷取及/或呈現的影像，亦可使用螢幕265向使用者顯示一或多個選單或其他資訊。光場相機尚可包括一或多個I/O介面295，如FireWire或通用序列滙流排(USB)介面，或有線或無線通訊介面，經由網際網路、行動資料網路、WiFi網路、藍芽通訊協定及/或其他任何合適措施用於資料通訊。I/O介面295係可用以往返外部裝置如電腦系統或顯示單元，傳遞資料(如根據本發明的實施例由LF資料格式化模組所產生的光場表示資料)及光場資料(如原始光場資料或LF資料處理器255所處理的資料)，用以呈現應用。
圖2B係以方塊圖描繪光場資料格式化模組250及光場資料處理器255的潛在實施方式的一特殊實施例。
電路2000包括記憶體2090、記憶體控制器2045，及包括有一或多個處理單元(CPU)的處理電路2040。一或多個處理單元2040係配置用以執行記憶體2090中儲存的各種軟體程式及/或指令集以執行各種功能，包括有光場資料格式化及光場資料處理。儲存在記憶體的軟體組件包括一資料格式化模組(或指令集)2050，用以根據本發明的實施例以產生所獲取光場資料的資料表示，及一光場資料處理模組(或指令集)2055，用以根據本發明的實施例以處理光場資料。用於光場相機裝置的應用，在記憶體中可包括其他模組如作業系統模組2051，用以控制一般系統任務(如電源管理、記憶體管理)，及用以促成裝置2000的各種硬體組件與軟體組件之間的通訊，及一介面模組2052，用以經由I/O介面埠以控制及管理與其他裝置的通訊。
圖3描繪圖1A的光感測器陣列104或圖1B的光感測器114上形成的2D影像範例。2D影像(常稱為表示4D光場的原始影像)係由一微像陣列MI所組成，各微像係由微透鏡陣列102、112的個別微透鏡(i,j)所產生。微像係依軸i及j定義的矩形坐標格結構排列在陣列中，一微透鏡影像係可參照以個別微透鏡坐標(i,j)，光感測器104、114的一像素PI係可參照以其空間坐標(x,y)，與一給定像素關聯的4D光場資料係可參 照為(x,y,i,j)。
表示(或定義)4D光場影像有數種方式，例如，可由先前參考圖3所描繪的微透鏡影像的集合來表示一4D光場影像，當藉由全光相機記錄時亦可由一子孔徑影像集來表示一4D光場影像，各子孔徑影像係由選自各微透鏡影像在相同位置的像素所構成。此外，可由一核線影像集(其並非像素射束的情形)來表示4D光場影像。
本發明的實施例係基於像素射束的概念以提供光場資料表示法，依此方式，可將格式及光場裝置中的多樣性列入考量。實際上，射線為基格式的一個缺點在於必須將參數化平面採樣以反映像素格式及大小，因此，為要回復實體有意義的資訊，需要隨其他資料一起定義採樣。
一像素射束40(如圖4所顯示)表示一組光線在相機的光學系統41的物件空間所佔用體積，相機的感測器43的一像素42係透過該光學系統41的光瞳44以感測該組光線。與射線相反，由於像素射束40本身傳遞”範圍(étendue)”(其對應到跨越實體光線截面的能量保留)，因此可將像素射束隨意採樣。
光學系統的光瞳係定義為一孔徑光闌的影像，如透過該光學系統(即相機的透鏡，其先於該孔徑光闌)所見。孔徑光闌係一開口，其限制通過相機的光學系統的光量，例如，位置接近相機鏡頭前端的可調整光圈係用於該鏡頭的孔徑光闌。光圈開口的直徑(其可依相機使用者希望的允許光量來調適)控制允許通過光圈的光量，例如，使孔徑變小以縮減允許通過光圈的光量，但增加焦點深度。光闌的有效尺寸係可因透鏡的折射作用而比其實體尺寸大或小，正式地說，光瞳係孔徑光闌通過相機的部分光學系統的影像。
一像素射束40係定義為一束光線，其在經由一入射光瞳44傳播通過光學系統41時到達一給定像素42。由於光在自由空間係依直線行進，因此可由二截面定義此一像素射束40的形狀，一截面係像素42的共軛45，及另一截面係入射光瞳44。像素42係由其非空表面及其敏感度圖來定義。
因此，一像素射束係可由單葉雙曲面50來表示，如圖5所顯示，由二元件支持：光瞳54，及像素42在相機的物件空間的共軛55。
單葉雙曲面係一規則表面，其可支持光線束的概念，並符合實體光束的”範圍(étendue)”概念。
單葉雙曲面對應到高斯射束的幾何。實際上，在光學中，高斯射束係單色電磁輻射束，其橫向磁場及電場振幅輪廓係由高斯函數提供；此亦隱含一高斯強度輪廓。由於此一光束係可聚焦成最集中點，因此，此基本橫向高斯模式描述大部分雷射的預期輸出。
以下方程式假設一射束在所有z值具有一圓形橫截面；此係可藉由注意到單一橫向尺寸(r)出現而看出。
在沿著射束的一位置z(自焦點測量起)，點大小參數w係提供如下：其中w 0係腰部大小。
如圖16所描繪，在離腰部的距離等於z R，射束的寬w係等於 w 0。
雖然高斯函數的尾實際上不曾達到零，用於z≫z R ，此表示遠離腰部，射束”邊”係錐形。沿著錐的線(其r=w(z))與射束的中心軸(r=0)之間的角係稱為射束的散度。
射束遠離腰部的總角度展開則由Θ=2θ提供。
由於單葉雙曲面係一規則表面，因此描述此一表面係一直線族(稱為生成射線)繞一迴轉軸(稱為主射線)旋轉，一雙曲面的主射線及描述其表面的生成射線並非互相平行且永不互截。知道主射線及任一生成射線(屬於雙曲面的生成射線族)的定義參數，即足以定義一像素射束40、50。
表示一像素射束40、50的單葉雙曲面的一般方程式係： 其中(x 0 ,y 0 ,z 0)係像素射束的腰部中心在(x,y,z)坐標系的坐標，該坐標系係 以光瞳的中心為中心，a,b,c係分別同調於沿著Ox,Oy,Oz的半軸長度，其中a表示沿著Ox的腰部半徑，b表示沿著Oy的腰部半徑，c定義像素射束的角孔徑，及參數θ x ,θ y 定義主射線方向，關連到光瞳44中心的入射。該等參數係取決於像素42在感測器43的位置及取決於光學系統41的光學元件。較精確地，參數θ x ,θ y 表示剪切角，定義從光瞳44的中心往像素42的共軛45的方向。在本發明的一些實施例中，a及b具有恆等值，在此等情形中，腰部具有一圓形形狀。
參數c定義像素射束40、50的角孔徑α並由公式 提供，或由以下方程式提供的表式提供： 其中r表示光瞳半徑，及z P 表示像素射束的腰部在光瞳前方的位置。
然而，由於儲存射線所用傳統檔案格式在於儲存3D空間中的位置及方向，因此像素射束40、50的此一表示法佔據大量儲存空間。以下參考圖9A及9B說明一解決方法用以縮減儲存像素射束表示法所需儲存空間量。
自然地，雖然主射線將表現平順地通過相機的微透鏡陣列的微透鏡中心，但生成射線則在微透鏡邊緣蒙受較強偏差，因此生成射線傾向以較大孔徑角命中相機的主透鏡。像差(像失真)將因此干擾生成射線，而主射線係較少受到此類像差影響。由於參考圖9A及9B說明的方法係利用有序射線集合來進行，因此生成射線的此干擾使該方法難以執行。為此目的，本發明的發明人提出一種生成射線分類方法，將相機的像素射束集合的生成射線分類，為要以此一已分類生成射線集合饋給根據圖6B的方法。
圖6A係根據本發明的一或多個實施例以示意方塊圖描繪一生成射線分類裝置的主要模組，用以將相機的一像素射束集合的生成射線分類。在本發明的一實施例中，此一裝置係可嵌入光場資料格式化模組250中。
裝置600包括一處理器601、一儲存單元602、一輸入元件603、一顯示元件604，及一介面單元605，該等元件係藉由一匯流排 606來連接。當然，電腦裝置600的構成元件係可藉由滙流排連接以外的連接方式來連接。
處理器601控制裝置600的操作，儲存單元602儲存至少一程式(將由處理器601執行，能將相機的一像素射束集合的生成射線分類)，及儲存各種資料，包括有相關光學獲取系統的光學系統41的參數、由處理器601執行的運算所使用的參數、處理器601所執行運算的中間資料等。處理器601係可由任何習知且合適的硬體或軟體或硬體與軟體的組合來形成，例如，可由專屬硬體如處理電路或由可程式處理單元如CPU(中央處理單元)來形成處理器601，以便執行其記憶體中儲存的程式。
儲存單元602係可由任何合適儲存體或構件來形成，能以電腦可讀取方式來儲存程式、資料或類似物。儲存單元602的範例包括非暫態電腦可讀取儲存媒體如半導體記憶元件，及載入一讀取及寫入單元的磁性、光學或磁光記錄媒體。根據本發明的一實施例，該程式令處理器601執行一參數計算過程，用以計算一組光線在光學系統的物件空間所佔用體積的表示參數，並將此等參數與光學獲取系統所擷取影像進行編碼，如以下參考圖9A及9B所說明。
輸入元件603係可由鍵盤、指向元件如滑鼠，或類似物來形成，由使用者用以輸入命令以作出使用者的參數選擇，用以產生一組光線在一光學系統的物件空間所佔用體積的參數表示法。輸出元件604係可由一顯示元件形成，例如一圖形使用者介面(GUI)，根據本發明的一實施例，用以顯示所產生的影像。輸入元件603及輸出元件604例如係可藉由一螢幕觸控面板而一體成型。
介面單元605提供裝置600與一外部裝置之間的介面，介面單元605係可經由纜線或無線通訊與外部裝置通訊，在一實施例中，外部裝置可係相機，或嵌有此一相機的可攜式裝置像行動電話、數位板等。
圖6B係根據本發明的一或多個實施例以流程圖描繪一方法的步驟，用以將相機的像素射束集合的生成射線分類。
在一初期步驟S601中，獲取不同像素射束的定義參數(x 0 ,y 0 , z0)、a,b,c及θ x ,θ y ，相關相機的感測器所感測像素，該獲取係藉由校準相機或藉由從一資料檔案中擷取此類參數，該資料檔案係儲存在一遠 程伺服器中或儲存在本地儲存單元如相機的記憶體290或連接到相機的快閃碟上。可由裝置600的處理器601執行此獲取或校準。
計算參數(x 0 ,y 0 ,z 0)、a,b,c及θ x ,θ y 的值例如係藉由執行程式來實現，該程式能將光線通過相機的光學系統的傳播模型化，此一程式例如係光學設計程式如Zemax©、ASAP©或Code V©。光學設計係用以設計及分析光學系統，光學設計程式將光線通過光學系統的傳播模型化，並能將光學元件如簡單透鏡、非球面透鏡、梯度指數透鏡、反射鏡及繞射光學元件等的作用模型化。可由裝置600的處理器601執行光學設計程式。
在處理器601執行的一步驟S602中，將一像素射束的主射線的剪切去除，不剪切主射線在於寫入： 其提供單葉雙曲面，其主射線係平行於Oz軸： 其中(,,z)係屬於雙曲面表面的一點的坐標，及(x 0 ,y 0 ,z 0)係所考慮像素射束的腰部中心的坐標。
在步驟S603中，處理器601計算雙曲面在坐標點(x 0 ,y 0 ,z 0)的對中，及接著計算雙曲面的正規化，其提供： 因此方程式(1)茲讀出X 2+Y 2-Z 2=1 (4)將一像素射束不剪切接著對中及正規化，回復用以使用函數 ，將(x,y,z)坐標變換成(X,Y,Z)坐標。
由於雙曲面的中心軸係Oz軸，因此屬於此軸的二點在(XYZ)坐標系中具有以下坐標組(0,0,0)及(0,0,1)。雙曲面的此中心軸(變換回到原坐標系(x,y,z))係像素射束的主射線ρ G 。
方程式(4)所定義的雙曲面具有二生成射線族：˙第一生成射線族，係藉由繞一直線的OZ軸旋轉所提供，該直線連接第一坐標點(1,0,0)及第二坐標點(1,ζ,ζ)用於任何ζ，例如ζ=1，及˙第二生成射線族，係藉由繞一直線的OZ軸旋轉所提供，該直線連接第一坐標點(1,0,0)及第三坐標點(1,-ζ,ζ)用於任何ζ。
可選擇此等生成射線中的任一者(變換回到原坐標系中)作為ρ G0，一像素射束的一生成射線。
在以下根據本發明的一實施例的方法說明中，(XYZ)坐標系中的二點G 0(其坐標係(1,0,0))及I 0(其坐標係(1,1,1))係定義為(XYZ)坐標系中的初始生成射線ρ G0。
在一步驟S604中，處理器601將以上定義的函數T應用到相機的物件空間中的一參考直線△。在本發明的一實施例中，參考直線△係相機的主透鏡的光軸，在本發明的另一實施例中，參考直線△係相機的透鏡陣列的中心軸，在一第三實施例中，參考直線△係具有一方向的直線，與相機的主透鏡的光軸形成劣於或等於的角。
(x,y,z)坐標系中的二坐標點P △0(x △0 ,y △0 ,z △0)及P △1(x △1 ,y △1 ,z △1)定義參考直線△。
將函數T應用到P △0及P △1的坐標，在(XYZ)坐標系中提供：
由於像素射束的主射線ρ G 係(XYZ)坐標系中的Oz軸，因此角φ繞主射線ρ G 的旋轉係由旋轉矩陣提供：
藉由角φ繞主射線ρ G 旋轉，將生成射線ρ G0(G 0 ,I 0)的影像命名(G φ ,I φ )，點G φ 及I φ 的坐標係提供如下：
在一步驟S605中，處理器601計算旋轉角φ的值。
當生成射線交叉參考直線△時，即參考直線△與生成射線之間的距離等於0，得到旋轉角φ的值。
利用方程式 提供二斜線之間的距離如下(Gellert等人，1989年，第538頁) 藉由定義，可依簡明形式將此寫成： 在目前情形中，用於 x 1=P △0及x 2=P △1，及x 3=G φ 及x 4=I φ 二直線之間的距離等於零回復用以計算： 在參考直線△及生成射線的情形中： 利用：寫出D=A.cos φ+B.sin φ-C 可找出二解用於φ提供D=0如下： 判別式：Λ=4.A 2.B 2-4.(B 2-C 2).(A 2-C 2)=4.(A 2+B 2-C 2).C 2此引到二解： 因此，識別二角φ +及φ -用於生成射線用以交叉參考直線△。
由於有二生成射線族用於同一雙曲面，因此產生像素射束的四個不同射線交叉參考直線△，二者用於二生成射線族中的各族。在交叉參考直線的該四個生成射線之中選出一生成射線，接著在一步驟S606中將選出的生成射線變換回到原坐標系。
在相機的不同像素射束執行此方法，藉此得到二射線集合：第一射線集合，包括有相機的像素射束的主射線；及第二射線集合，包括有交叉參考直線的生成射線用於相機的不同像素射束。為要提供一緊密格式用以表示像素射束，在以下說明的方法中使用該二射線集合。
為要提出用以儲存射線的檔案格式，其需要較少儲存空間，將四維光場輻射參數化的方法係可參考圖7A所繪示的立方體，立方體的所有六面係可用以將光場參數化。為將方向參數化，可加上平行於立 方體表面的第二組平面，依此方式，可相對於六對平面，利用沿著軸方向的法線，將光場定義為：
圖7B描繪一光場射線如一主射線或定義一像素射線的一生成射線，通過用於參數化的二參考平面P1及P2(其係互相平行定位及分別位在已知深度z 1及z 2)。光場射線係在深度z 1與第一參考平面P 1在交點(x 1,y 1)相交，及在深度z 2與第二參考平面P 2在交點(x 2,y 2)相交，依此方式，可藉由四個坐標(x 1,y 1,x 2,y 2)以識別光場射線，因此將光場參數化係可藉由用於參數化的一對參考平面P 1、P 2(在本文亦稱為參數化平面)，各光場射線係表示為4D射線空間中的一點(x 1 ,y 1 ,x 2 ,x 2 ,) R 4。因此，用於相機的一像素射束集合的各主射線及各生成射線皆是如此。
例如，參考坐標系的原點係可位在坐標軸系的基礎向量(,)所產生的平面P 1的中心。軸係垂直於所產生的平面P 1，為求簡化，第二平面P 2係可位在沿著軸與平面P 1相隔一距離z=△的位置。為要將六個不同傳播方向列入考量，整個光場係可由六對此類平面為其特徵，一對平面(常稱為光板)係以沿著一傳播方向與光場相機的感測器或感測器陣列互動的光場為其特徵。
用於參數化的一參考平面的位置係可提供為： 其中係法線，及d係沿著法線方向離開3D坐標系原點的偏移。
用於參數化的一參考平面的笛卡爾(Cartesian)方程式係可提供為： 若一光場射線具有一已知位置： 及一正規化傳播向量： 則3D中的一射線的一般參數方程式係可提供為： 光場射線與一參考平面之間的相交的坐標係提供為： 若未滿足以下條件，則光場射線與參考參數化之間未有任何相交：
射線相交的分量中的一者由於與參考平面配對(用以參數化光場)的系軸中的一者垂直，因此總保持不變以用於各平面，因此，若有一光場射線與第一參考平面的相交，及該光場與第二參考平面的相交，則四個坐標有所不同，並可使用方程式A以計算一光場射線的四個參數。此四個參數係可用以建立光場的4D射線圖。
假設光場的參數化係參考二參數化參考平面，可得到光場表示資料如下。若一參考系統係設定如圖8所繪示，則第一參數化平面P1係在z=z1垂直於z軸，及安排第二參數化平面P2在z=z2垂直於z軸，及光場參數係L(x1；y1；x2；y2)的一射線將呈現在一位置z=z3，其中定位一光場相機的光感測器陣列)。依據方程式(A)： 具有 展開以上表式提供： z 3=z 3 z 3=z 3兩組方程式應傳遞相同點作為呈現在新位置的光場射線。藉由將u x ；u y ；u z 以其對應表式取代為及的函數，若使用依據先前區塊的第二組方程式並將x3與y3加起來： 則導致以下表式：
具有下標3的坐標相關一已知點(x 3 ,y 3 ,z 3)，其中呈現光場。已知所有深度坐標z i，參數化平面係在傳播或呈現方向中，光場資料參數L係(x 1,y 1,x 2,y 2)。
在點(x 3 ,y 3 ,z 3)形成一影像的光場射線係由表式(B)加以連結，該表式定義中的一超平面。
此表明若將從二平面參數化光場中呈現影像，則只需要呈現超平面附近的射線，不需要追蹤該等射線。圖9A係根據本發明的一或多個實施例以流程圖描繪一方法的步驟，用以產生光場的資料表示。圖9B係根據本發明的一或多個實施例以方塊圖示意地描繪一系統的主要模組，用以產生光場的資料表示。
在該方法的一初期步驟S801中，獲取不同像素射束的主射線及生成射線的定義參數，該等像素射束係相關相機的感測器的像素。得到此等參數作為上述生成射線分類方法的結果。
此類參數係主射線的坐標及一生成射線的坐標，該等射線交叉不同像素的參考直線。
在另一初期步驟S801中，藉由光場相機801以獲取原始光場資料，如參考圖3所描述，原始光場資料例如係在微像形式中。光場相機可係光場相機裝置如圖1A或1B及2A及2B所顯示。
在步驟S802中，藉由射線參數模組802以處理所獲取光場資料用以提供相交資料(x 1 ,y 1 ,x 2 ,y 2 )，定義所獲取光場射線與分別在深度z 1、z 2的一對參數化參考平面P1、P2的相交，所獲取光場射線對應到交叉像素射束40、50的參考直線的主射線及生成射線。
藉由相機的校準可判定以下參數：投影中心(x 3,y 3,z 3)、相機的光軸的定向，及從相機的針孔到光感測器平面的距離f。光場相機參數係描繪在圖10中，光感測器平面係位在深度z P ，光感測器的像素輸出係轉換成光場射線的幾何表示法。包括有二參考平面P 1及P 2的光板係分別位在深度z 1及z 2，超出z 3，在相機的投影中心相對光感測器的另一側。藉由將三角形原理應用到光線，可將記錄從微透鏡陣列所投射光的像素坐標(x p ,y p ,z p )藉由應用以下表式以映射到射線參數，即參考平面交點(x 1,y 1,x 2,y 2)：
可將以上計算延伸到多個相機(具有不同配對的三元組(x p ,y p ,z p )(x 3 ,y 3 ,z 3))。
在全光相機的情形中，使用具有孔徑的相機模型，並將光場射線在相位空間中描述為具有一原點(x p ,y p ,z p )及一方向(x’ 3 ,y’ 3 ,1)，其在 深度z 3達到平面(x 3,y 3)的傳播係可描述為一矩陣變換。透鏡將作為一ABCD矩陣用以折射射線，及另一ABCD傳播矩陣會將射線帶到光板參考平面P 1及P 2上。
由此步驟，得到相交資料(x 1 ,y 1 , x2 ,y 2 )，利用幾何以定義交叉參考直線的主射線及生成射線與參考平面P1、P2的相交。
在步驟S803中，藉由射線圖產生器模組803，得到2D射線圖，以圖形表示相交資料(x 1 ,y 1 ,x 2 ,y 2 )。
圖11係2D射線圖，以圖形表示一相機利用一孔徑|A|<0.5在位置x 3=2及深度z 3=2所擷取光場射線的相交資料(x 1,x 2)。用以參數化的射線圖的資料線係藉由256格採樣，提供256×256像素組成的影像。
若將圖11繪示的射線圖解釋為一矩陣，則可看出其係稀疏填充，若射線係要個別地儲存在一檔案而非4D相位空間矩陣，則會要求各射線的儲存，至少2位元組(int16)用於各位置x i 或x 3加上3位元組用於顏色，即每射線7位元組用於一2D片光場，及每射線11位元組用於其全4D表示法。即便如此，射線會隨機地儲存在檔案中，該檔案可能不適用於需要操縱表示法的應用。本發明的發明人已判定如何從射線圖矩陣中只抽取代表性資料及如何將資料依結構方式儲存在檔案中。
由於光場射線係沿著2D射線圖的資料線映射，因此儲存定義資料線的參數比儲存其線值本身更有效率，定義資料線的參數如斜率定義參數s及軸截距d係可與屬於該資料線的光場射線集一起儲存。
例如這可要求少到像2位元組用於斜率參數s，2位元組用於截距參數d，及每射線則只3位元組，此外，在檔案中可將射線沿著線定次序。為要設定線通過矩陣格，產生所謂的數位線，其估計具最小誤差的射線直線。
用以定位資料線及用以得到斜率參數s及截距參數d，在步驟S804，由線檢測模組804在步驟S803所產生的射線圖上執行Radon變換。
在步驟S805中，依據所得到的斜率參數s及截距參數d，藉由數位線產生模組805產生一代表數位線，在此步驟中，藉由將一分析線估計到其最近坐標格點以產生數位線，例如藉由應用Bresenham演算 法。實際上，Bresenham演算法提供一方式以最小運算來提供一數位線，其他方法可應用快速離散Radon變換計算。Bresenham應用的一範例係改寫自以下參考資料：http：//www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html。
數位格式係由坐標格的二點(0,d)及(N-1,s)來定義資料線，d係截距，對應到x1=0時x2的值，及s係斜率參數，對應到x1=N-1時x2的值。依據所產生的數位格式，每一個別線的斜率a係可表達為d,N及s的函數，如： 其中：s {0,1,....N-1}及d {0,1,....N-1}
圖12描繪藉由Bresenham演算法的應用所產生一數位線的範例。
圖13描繪一數位線群，具有相同斜率a(或s-d)但具有不同截距d，該資料線群係相接的。該數位線群在本文中係稱為一直線束及對應到非理想針孔相機所造成的一射束。各線將不同像素定址，換句話說，一像素只屬於相同斜率但不同截距的直線束中的單一線。軸相交d的上限及下限分別係提供為d max 及d min 。
藉由一採樣線配對(在2D中)參數化及屬於一相機的射線資料，屬於表示該資料所用相位空間中的一數位線族(射束)，該射束的標頭可簡單地包含斜率a及軸相交的上限及下限所界定的射束厚度d max -d min 。該等射線值將儲存為沿著數位線(其標頭可係d及s)的RGB色彩，不需儲存射線圖在採樣空間中的空單元格，可從參數d,s中及從沿著數位線的單元格位置中減去該等射線的坐標x1；x2。
將從光場或從相機的幾何學中估算的參數係斜率a、數位線截距的下限及上限(d min ,d max )，及數位線參數(d i ,s i )。已論及離散Radon變換作為工具用以測量射線圖中光場的支持位置。
圖14B顯示圖14A的資料線在數位線參數空間(d,s)中的離散Radon變換。圖14C係包括在圖14B的感興趣區域的縮放圖，藉由最 大值參數的搜尋定出數位線射束的位置。在DRT(離散Radon變換)的幾何對稱中心與實際最大值位置之間由於影像內容而有一些偏移，以便稍後使用一演算法以精確定位對稱中心而非最大值，接著輕易找出射束變換的腰部(如圖14C所顯示)以提供值(d min ,d max )。點(d min =74,s=201)係依據圖14A的數位線射束的下包絡，及點(d max =81,s=208)係該數位線射束的上包絡。
依據方程式B的二正交2D片狀空間的方程式係提供為：(z2-z3)(x1+y1)+(z3-z1)(x2+y2)=(z2-z1)(x3+y3) (C)若採一2D片用於x i 坐標，則線射束(其中將映射在(x3,y3,z3)通過尺寸孔徑A的射線資料)的方程式係提供為： 同樣地，若採一2D片用於y i 坐標，則
如上述，可在離散域評估m及、、、的值，用以局部化先前討論格式所定義的光場特徵，不需執行4D離散Radon變換(DRT)。若得到二正交2D DRT，則可執行以下的測量：超平面的斜率m，及數位超平面(其中所有資料集中在4D射線圖中)的射束寬度。
此較簡單的定位程序假設一圓形入射光瞳A，以便、、、將包含所有超平面截距，寫在格式中的一些值將未包含任何值。
得到一格式用於4D情形令人關注，其係類似於揭露用於2D情形者，為要如此，使Π(x1 ,x2)平面上發現的2D線與Π(y1 ,y2)平面上發現的線相關聯令人關注，即該等線係對應超平面與Π(x1 ,x2)及Π(y1 ,y2)的二正交片相交的結果，依據表式D及E，已知該等對應線具有相同斜率m。用於一相機在一特定深度，此係第一參數，其使Π(x1 ,x2)中的各線關聯到Π(y1 ,y2)中的一線。若在相同深度有多個相機(即圖14A的情形)，則在Π(x1 ,x2)中有三條線及在Π(y1 ,y2)中有三條線，具有相同估計斜率m。 接著判定此二平面中的線之間在線偏移的對應關係，用以完成此步驟，利用該等線在表式D及E中的公式，尤其，表示 偏移係如下： 及
可解該等方程集用於k、x 3及y 3，請注意(x 3,y 3,z 3)對應到相機的坐標，亦即三維像素，其中對應光束係聚焦成半徑A的圓，已假設平面上定位在z 3的孔徑係圓形，以便2kA，及藉由解先前方程集：
可使用Bresenham數位線如先前般在Π(x1 ,x2)上掃描數位線；用於每一個別(x1,x2)值，儲存光場所擷取的對應(y1,y2)值。利用表式C以找出此類值，以下全係已知或從表式F及G中估計：x3；y3；z3；z1；z2。
在Π(x1 ,x2)中的各線上移動，用於各( , )，得到(y1,y2)中的以下關係： 或
用於Π(x1 ,x2)中的各點，儲存Π(y1 ,y2)中的一線集合。d off 對應到掃描及儲存用於( , )的線的偏移。應注意：
參考圖12，各正方形係一( , )點，及用於此等點中的每一者，有一組Bresenham數位線沿著以下方程式所定義的一數位束延伸出圖的平面： 垂直於繪示的資料線，但在4D空間中。
在表一描述一示範資料格式用於每一相機的一資料線束。
首先，提供4D空間的一般元資料：包括有4軸x 1,x 2,y 1,y 2的邊界及其對應採樣，亦提供相機(束)數，儲存以下參數用於各相機j：孔徑大小：A j ，其對應到一像素射束的光瞳直徑，相機的焦點：cam j ；focusPoint(焦點)=(u 3,u 3,w 3)在(x1x,2)的最低d截距=d j 銳度=m j
在(x 1,x 2)的數位線數=
在(y 1,y 2)的數位線數=
在各相機上，用於各(x q 1；x q 2)，相對於表式(K)使用Bresenham數位線開始在(y 1,y 2)上掃描，及儲存各光場射線的RGB值，尤其-A到+A，及根據表式(K)以計算對應d off 。
在解碼步驟中使用所儲存元資料以執行相同計算，尤其，使用方程式(G)以找出k，因此格式仍保持緊密，不需儲存四索引用於系統中各射線。請注意以上超平面的採樣係4D射線空間的採樣，因此不漏掉 單個x1；y1；x2；y2位置。此只係4D射線空間系統掃描的一範例，依極緊密形式以儲存所有資料，當然可應用其他方法。參數形式因其允許一交錯空間探索，因此似乎將適用於探索超平面。
在多個相機在資料上工作的情形，其包含數個超平面束(在Radon變換中由於多個相機而導致數個最大值)，可使用較複雜的演算法。作為一前處理步驟，找出參數(m,k)用於Π(x1 ,x2)的Radon變換中的所有峰值，並放入一集合中。完成相同步驟用於(y 1,y 2)中的峰值，並將參數放入另一集合中。茲在貪婪演算法的各迭代中，在(x1,x2)的2D Radon變換中找出最大峰值強度，及藉由匹配先前找出的參數(m,k)以找出(y 1,y 2)中的對應峰值。在儲存如前段提及的資料後，將此等峰值從Radon變換中清除，及開始下一迭代，直到光場中無留下任何有意義事物。
雖然以上已參考特定實施例以說明本發明，但本發明係不限於該等特定實施例，包括在本發明範圍內的修改對熟諳此藝者將顯而易見。
參考以上繪示的實施例，熟諳此藝者將輕易看出許多進一步的修改及變化，該等實施例係只藉由範例方式提供，並不希望用以限制本發明的範圍，其係單由後附申請專利範圍來判定，尤其，只要適當，依據不同實施例的不同特徵係可互換。
d‧‧‧截距參數
s‧‧‧斜率參數

Claims (19)

  1. 一種將光線集合分類之電腦實施方法，該等光線稱為生成射線，在光學獲取系統之物件空間中，該集合之各生成射線係藉由繞一體積之迴轉軸旋轉以產生該體積之表面及該光學獲取系統之感測器所感測至少一像素之共軛，該體積係由一組光線通過該光學獲取系統之光瞳所佔用，該組光線所佔該體積係稱為一像素射束，該方法包括有：- 用於至少一像素射束，選擇一產生該像素射束表面之生成射線，其交叉一參考直線，- 產生一已分類生成射線集合，包括有選出生成射線。
  2. 如申請專利範圍第1項之方法，其中一生成射線產生之像素射束表面係單葉雙曲面。
  3. 如申請專利範圍第1項之方法，其中參考直線係平行於光學獲取系統之主透鏡之光軸。
  4. 如申請專利範圍第1項之方法，其中參考直線係平行於光學獲取系統之透鏡陣列之中心軸。
  5. 如先前申請專利範圍中任一項之方法，其中選擇生成射線在於：- 藉由該像素射束中屬於生成射線集合之另一生成射線之定義向量與一旋轉矩陣相乘，計算選出生成射線之定義向量之坐標，- 由於選出生成射線與參考直線互相交叉，因此該選出生成射線與該參考直線間之距離係等於零，基於定義該選出生成射線及該參考直線之點及向量以計算旋轉矩陣之旋轉角之值。
  6. 一種產生資料之方法，用以產生一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束，該方法包括有：- 獲取第一光線集合及第二光線集合，稱為生成射線，該生成射線集合之各生成射線係藉由繞一像素射束之迴轉軸旋轉以產生該像素射束之表面，該像素射束之迴轉軸係屬於第一光線集合之光線；- 計算相交資料，相交資料定義一生成射線及一給定像素射束之迴轉軸 與複數個給定參考平面之相交，該等參考平面係互相平行及對應至物件空間中之不同深度；- 得到射線圖參數，該等參數定義相交資料在2D射線圖之圖形表示法，用以提供該像素射束之資料表示。
  7. 如申請專利範圍第6項之方法，其中對應至生成射線及迴轉軸之相交資料係在射線圖中以圖形描繪為資料線，及射線圖參數包括以下至少一者之資料表示：- 一資料線之斜率；及- 射線圖中一資料線與一軸之相交。
  8. 如申請專利範圍第7項之方法，其中像素射束之資料表示尚包括顏色資料，表示對應第二生成射線及迴轉軸之顏色。
  9. 如申請專利範圍第6項之方法，其中係根據申請專利範圍第1至5項中任一項之方法以得到獲取之生成射線集合。
  10. 一種光線集合分類裝置，用以將一光線集合分類，該等光線稱為生成射線，在光學獲取系統之物件空間中，該集合之各生成射線係藉由繞一體積之迴轉軸旋轉以產生該體積之表面及該光學獲取系統之感測器所感測至少一像素之共軛，該體積係由一組光線通過該光學獲取系統之光瞳所佔用，該組光線所佔該體積係稱為一像素射束，該裝置包括有一處理器，配置用以：- 用於至少一像素射束，選擇一產生該像素射束表面之生成射線，其交叉一參考直線，- 產生一已分類生成射線集合，包括有選出生成射線。
  11. 如申請專利範圍第10項之裝置，其中處理器係配置藉由以下步驟以選擇生成射線：- 藉由該像素射束中屬於生成射線集合之另一生成射線之定義向量與一旋轉矩陣相乘，計算選出生成射線之定義向量之坐標，- 由於選出生成射線與參考直線互相交叉，因此該選出生成射線與該參考直線間之距離係等於零，基於定義該選出生成射線及該參考直線之點及向量以計算旋轉矩陣之旋轉角之值。
  12. 一種資料產生裝置，用以產生一組光線通過光學獲取系統之光瞳 在該光學獲取系統之物件空間所佔用體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束，該裝置包括有一處理器，配置用以：- 獲取第一光線集合及第二光線集合，稱為生成射線，該生成射線集合之各生成射線係藉由繞一像素射束之迴轉軸旋轉以產生該像素射束之表面，該像素射束之迴轉軸係屬於第一光線集合之光線；- 計算相交資料，相交資料定義一生成射線及一給定像素射束之迴轉軸與複數個給定參考平面之相交，該等參考平面係互相平行及對應至物件空間中之不同深度；- 得到射線圖參數，該等參數定義相交資料在2D射線圖之圖形表示法，用以提供該像素射束之資料表示。
  13. 如申請專利範圍第12項之裝置，其中係根據申請專利範圍第1至5項中任一項之方法以得到獲取之生成射線集合。
  14. 一種光場成像裝置，包括有：- 一微透鏡陣列，排列在一規則晶格結構中；- 一光感測器，配置用以擷取從微透鏡陣列投射在光感測器之光，光感測器包括有像素集，各像素集係在光學上與微透鏡陣列之個別微透鏡關聯；及- 如申請專利範圍第12項用以提供元資料之裝置。
  15. 一種影像呈現裝置，用以從根據申請專利範圍第6至9項中任一項之方法所得到之光場資料中呈現影像。
  16. 一種數位檔案，包括有一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束，該資料包括有：- 射線圖參數，定義第一光線(稱為生成射線)與第二光線之相交資料在2D射線圖之圖形表示法，該生成射線係藉由繞另一光線旋轉以產生一像素射束之表面，該另一光線係該像素射束之迴轉軸，相交資料定義生成射線及像素射束之迴轉軸與複數個給定參考平面之相交，該等參考平面係互相平行及對應至物件空間中之不同深度； - 顏色資料，定義生成射線及像素射束之迴轉軸之顏色。
  17. 如申請專利範圍第16項之數位檔案，係藉由如申請專利範圍第6至9項中任一項之方法所得到。
  18. 一種用於可程式裝置之電腦程式產品，該電腦程式產品包括有一指令序列，當載入可程式裝置及由該裝置執行時用以實施如申請專利範圍第1至5項中任一項之方法。
  19. 一種用於可程式裝置之電腦程式產品，該電腦程式產品包括有一指令序列，當載入可程式裝置及由該裝置執行時用以實施如申請專利範圍第6至9項中任一項之方法
TW105130177A 2015-09-17 2016-09-19 產生像素射束表示資料之方法及裝置 TWI713582B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306448.0 2015-09-17
EP15306448.0A EP3144887A1 (en) 2015-09-17 2015-09-17 A method and an apparatus for generating data representative of a pixel beam

Publications (2)

Publication Number Publication Date
TW201723637A true TW201723637A (zh) 2017-07-01
TWI713582B TWI713582B (zh) 2020-12-21

Family

ID=54293194

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105130177A TWI713582B (zh) 2015-09-17 2016-09-19 產生像素射束表示資料之方法及裝置

Country Status (11)

Country Link
US (1) US20210329217A1 (zh)
EP (2) EP3144887A1 (zh)
JP (1) JP2018538709A (zh)
KR (1) KR20180053668A (zh)
CN (1) CN108352060A (zh)
BR (1) BR112018005352A2 (zh)
CA (1) CA2998672A1 (zh)
MX (1) MX2018003264A (zh)
RU (1) RU2734115C2 (zh)
TW (1) TWI713582B (zh)
WO (1) WO2017046395A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2018003263A (es) * 2015-09-17 2018-05-16 Thomson Licensing Metodo para codificar un contenido de campo luminoso.
EP3188123A1 (en) * 2015-12-30 2017-07-05 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
EP3270589A1 (en) 2016-07-11 2018-01-17 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
AU2019262147B2 (en) 2018-05-02 2024-07-04 Quidient, Llc A codec for processing scenes of almost unlimited detail
US11182872B2 (en) 2018-11-02 2021-11-23 Electronics And Telecommunications Research Institute Plenoptic data storage system and operating method thereof
KR102577447B1 (ko) 2018-11-02 2023-09-13 한국전자통신연구원 플렌옵틱 데이터 저장 시스템 및 그것의 동작 방법
FR3097972B1 (fr) * 2019-06-28 2021-12-10 Aptiv Tech Ltd Procédé et système pour cartographier un environnement physique au moyen d’une grille d’occupation
WO2021210399A1 (ja) * 2020-04-13 2021-10-21 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
EP4490700A1 (en) 2022-03-07 2025-01-15 Quidient, LLC Systems and methods for generalized scene reconstruction
CN117571012B (zh) * 2024-01-15 2024-03-15 北京理工大学 一种越野环境无人车辆全局路径规划方法、系统及设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020014533A1 (en) * 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
WO2004031753A1 (en) * 2002-09-30 2004-04-15 Applied Materials Israel, Ltd. Inspection system with oblique viewing angle
CN100479753C (zh) * 2003-03-07 2009-04-22 皇家飞利浦电子股份有限公司 对x射线荧光标记的空间分布成像的方法和成像系统
KR101039074B1 (ko) * 2003-05-15 2011-06-08 톰슨 라이센싱 높은 데이터 밀도의 체적 측정의 홀로그래픽 데이터 저장방법 및 시스템
JP2006113371A (ja) * 2004-10-15 2006-04-27 Seiko Epson Corp 画像表示装置
US7714368B2 (en) * 2006-06-26 2010-05-11 Aptina Imaging Corporation Method and apparatus providing imager pixel array with grating structure and imager device containing the same
US20130113981A1 (en) * 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
CN101558439A (zh) * 2006-12-13 2009-10-14 皇家飞利浦电子股份有限公司 发光二极管的控制方法以及相应的光传感器阵列、背光和液晶显示器
US20090034083A1 (en) * 2007-07-30 2009-02-05 Micron Technology, Inc. Method of forming a microlens array and imaging device and system containing such a microlens array
WO2009057114A2 (en) * 2007-10-31 2009-05-07 Ben Gurion University Of The Negev Research And Development Authority Optical sensor measurement and crosstalk evaluation
WO2010044023A1 (en) * 2008-10-17 2010-04-22 Koninklijke Philips Electronics N.V. Light emitting device
ES2661768T3 (es) * 2008-10-21 2018-04-03 Chemometec A/S Aparato y procedimiento de imagenología por fluorescencia
JP2010164832A (ja) * 2009-01-16 2010-07-29 Sony Corp 光照射装置、光照射方法
JP2010176325A (ja) * 2009-01-28 2010-08-12 Ntt Docomo Inc 任意視点画像生成装置及び任意視点画像生成方法
US8243289B2 (en) * 2009-05-29 2012-08-14 Perceptron, Inc. System and method for dynamic windowing
CN101566823B (zh) * 2009-06-05 2011-05-04 上海大学 真彩色三维物体全息显示方法及装置
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
CN101968880A (zh) * 2010-09-10 2011-02-09 中国科学院软件研究所 一种图像散景效果的生成方法
CN102297658B (zh) * 2011-05-20 2013-04-24 南京航空航天大学 基于双线激光的三维信息检测方法
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US20130235261A1 (en) * 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
CN102833487B (zh) * 2012-08-08 2015-01-28 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US10488535B2 (en) * 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
GB2529344A (en) * 2013-06-12 2016-02-17 Vidinoti Sa Method and apparatus for identifying local features
CN103472589B (zh) * 2013-09-29 2016-07-20 中山大学 可便携的三维图像显示系统和方法
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
PL3001255T3 (pl) * 2013-11-01 2018-10-31 Hp Printing Korea Co., Ltd. Układ CRUM do montażu i demontażu na elemencie eksploatacyjnym urządzenia do tworzenia obrazów oraz urządzenie do tworzenia obrazów wykorzystujące ten układ
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
WO2015093806A1 (en) * 2013-12-19 2015-06-25 Samsung Electronics Co., Ltd. Display apparatus and method of displaying image by display apparatus
CN104165600B (zh) * 2014-07-03 2016-10-05 杭州鼎热科技有限公司 一种无线手持3d激光扫描系统

Also Published As

Publication number Publication date
RU2018113727A (ru) 2019-10-17
KR20180053668A (ko) 2018-05-23
JP2018538709A (ja) 2018-12-27
EP3144887A1 (en) 2017-03-22
MX2018003264A (es) 2018-11-09
WO2017046395A3 (en) 2017-05-04
BR112018005352A2 (pt) 2018-10-09
CN108352060A (zh) 2018-07-31
RU2018113727A3 (zh) 2020-02-17
CA2998672A1 (en) 2017-03-23
WO2017046395A2 (en) 2017-03-23
TWI713582B (zh) 2020-12-21
US20210329217A1 (en) 2021-10-21
RU2734115C2 (ru) 2020-10-13
EP3350771A2 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
TW201723637A (zh) 產生像素射束表示資料之方法及裝置
JP7523492B2 (ja) ライト・フィールドを表すデータを生成する方法および装置
EP3398161B1 (en) A method and an apparatus for generating data representative of a pixel beam
TW201727578A (zh) 產生像素射束表示資料之裝置及方法
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
KR102402432B1 (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법
TW201723636A (zh) 產生像素射束表示資料之裝置及方法
HK1235529B (zh) 生成表示光場的數據的方法和裝置
HK1235529A1 (zh) 生成表示光場的數據的方法和裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees