TW201730707A - 產生光場資料表示之方法及裝置 - Google Patents

產生光場資料表示之方法及裝置 Download PDF

Info

Publication number
TW201730707A
TW201730707A TW105129900A TW105129900A TW201730707A TW 201730707 A TW201730707 A TW 201730707A TW 105129900 A TW105129900 A TW 105129900A TW 105129900 A TW105129900 A TW 105129900A TW 201730707 A TW201730707 A TW 201730707A
Authority
TW
Taiwan
Prior art keywords
data
light field
ray
pixel
light
Prior art date
Application number
TW105129900A
Other languages
English (en)
Inventor
瓦特 德拉茲克
羅倫 布朗迪
亞諾 舒伯特
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201730707A publication Critical patent/TW201730707A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本發明係為一種產生光場資料表示之方法及裝置，目前市面上可取得數種類型之全光裝置及相機陣列，及所有此等光場獲取裝置具有其專屬檔案格式，然而，卻未有任何標準支援多維資訊之獲取及傳輸。得到相關該光學獲取系統之感測器之像素與該光學獲取系統之物件空間之間對應關係之資訊令人關注，實際上，知道屬於光學獲取系統之感測器之像素正在感測該光學獲取系統之哪部分物件空間，能用以提升信號處理操作。因此引進像素射束概念(其表示一組光線在相機之光學系統之物件空間所佔用體積)，連同儲存此類資訊之緊密格式。

Description

產生光場資料表示之方法及裝置
本發明相關光場表示資料的產生。
在Anat Levin等人的文章，名稱為” 透過光場投影之貝氏分析以瞭解相機折衷(Understanding camera trade-offs through a Bayesian analysis of light field projections)”(公布在ECCV 2008會議錄中)，說明四維(或4D)光場資料的獲取，其係可視為4D光場的採樣，即光線的記錄，係一熱門研究主題。
相較於使用相機得到的傳統二維(或2D)影像，4D光場資料能令使用者具有較多後製特徵存取，以使影像呈現增強，並增進使用者互動性。例如，可能利用4D光場資料以自由選擇聚焦距離來執行影像的重聚焦，意即可由經驗推論來規定/選擇焦點平面的位置，以及稍微變更一影像場景中的視點。為要獲取4D光場資料，可使用數種技術，例如，全光相機能獲取4D光場資料，在圖1A提供全光相機的架構細節。圖1A係以示意圖描繪一全光相機100，全光相機100包括一主透鏡101、一微透鏡陣列102(包括有依二維陣列排列的複數個微透鏡103)，及一影像感測器104。
獲取4D光場資料的另一方式係使用如圖1B所繪示的相機陣列，圖1B描繪多陣列相機110，多陣列相機110包括一透鏡陣列112及一影像感測器114。
在如圖1A所顯示全光相機100的範例中，主透鏡101接收主透鏡101的物件場中從一物件(圖中未顯示)來的光，並將光傳遞通過主透鏡101的影像場。
最後，獲取4D光場的另一方式係使用傳統相機，其係配置用以擷取相同場景在不同焦點平面的2D影像序列，例如可使用J.-H.Park等人的文件” 使用焦點平面掃描之光線場擷取及其使用3D顯示器之 光學重建(Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays)”(2014年10月公布在光學速報(OPTICS EXPRSS)第22卷第21期)所揭露的技術，藉由傳統相機以達成4D光場資料的獲取。
表示4D光場資料有數種方式，實際上，在Ren Ng於2006年7月所發表的博士論文，名稱為”數位光場攝影術(Digital Light Field Photography)”，在其第3.3章揭露用以表示4D光場資料的三種不同方式。首先，4D光場資料係可由微透鏡影像的集合來表示(當藉由全光相機記錄時)，依此表示法的4D光場資料係稱為原始影像或原始4D光場資料。第二，4D光場資料係可由子孔徑影像集來表示(當藉由全光相機或藉由相機陣列記錄時)，一子孔徑影像對應到一場景從一視點所擷取影像，在二子孔徑影像之間，視點係稍有不同，此等子孔徑影像提供成像場景的視差及深度有關的資訊。第三，4D光場資料係可由一核線影像集來表示，例如參閱S.Wanner等人的文章，名稱為” 利用單鏡頭聚焦式全光相機以產生4D光場之面迴訊影像(EPI)表示法 ( Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera )”(公布在ISVC 2011會議錄中)。
光場資料可佔掉大量儲存空間，可使儲存龐大笨重且處理較無效率，此外，光場獲取裝置係極不同，光場相機係屬不同類型，例如全光或相機陣列，在各類型之內有許多差異，如不同光學排列，或不同焦距的微透鏡。各相機具有自己專屬的檔案格式，目前在此並無任何標準支援多維資訊的獲取及傳輸，以用於光場所仰賴的不同參數的徹底概述，因此不同相機獲取的光場資料具有各式各樣格式。有鑑於上述原因，已提出本發明。
根據本發明的第一方面，揭示一種電腦實施方法，用以產生一組光線在一光學獲取系統的物件空間所佔用體積的資料表示，該光學獲取系統的感測器的至少一像素可透過該光學獲取系統的光瞳以感測該組光線，該體積係稱為一像素射束，該方法包括有：- 從光場獲取裝置所擷取光場資料中得到相交資料，定義像素射束的光 場射線表示與複數個給定參考平面的相交，該等參考平面對應到物件空間中的不同深度；- 得到射線圖參數，定義相交資料在4D射線圖的圖形表示法；及- 使該等射線圖參數與定義像素射束的參數關聯，用以提供像素射束的資料表示。
根據本發明的一實施例，像素射束的光場射線表示係通過像素中心及光瞳中心的一直線，及定義像素射束的參數係像素共軛在物件空間的位置及大小。
根據本發明的一實施例，對應到光場射線的截距資料係在射線圖中以圖形描繪為資料線，及射線圖參數包括以下至少一者的資料表示：- 一資料線的斜率；及- 射線圖中一資料線與一軸的截距。
根據本發明的一實施例，藉由應用一Radon變換，在2D射線圖中檢測資料線。
根據本發明的一實施例，圖形表示法係提供為單元格矩陣，用以提供一數位資料線，各數位資料線格式係由複數個單元格定義，至少一第一單元格表示該線與一軸的截距，及至少一第二單元格，可從其判定出該線的斜率。
根據本發明的一實施例，藉由Bresenham演算法的應用以產生各數位資料線。
根據本發明的一實施例，像素射束的資料表示尚包括顏色資料，表示對應光場射線的顏色。
根據本發明的一實施例，像素射束的資料表示係提供為元資料，元資料的標頭包括有射線圖參數，定義相交資料在2D射線圖的圖形表示法，及元資料的本體包括有射線顏色的資料表示，及定義物件空間中像素共軛位置及大小的參數。
本發明的另一目的為提供一種元資料提供裝置，用以提供元資料用於一組光線在光學獲取系統的物件空間所佔用體積，光學獲取系統的感測器的至少一像素可透過該光學獲取系統的光瞳感測該組光線，該 體積係稱為一像素射束，該裝置包括有一光場資料獲取模組，用以獲取光場相機所擷取的光場資料，及一光場資料產生模組，配置用以：- 從獲取的光場資料中得到相交資料，定義像素射束的光場射線表示與複數個給定參考平面的相交，該等參考平面係互相平行及對應到物件空間中的不同深度；- 得到射線圖參數，定義相交資料在2D射線圖的圖形表示法，用以提供所獲取光場資料的資料表示；及- 使該等射線圖參數與定義像素射束的參數關聯，用以提供像素射束的資料表示。
本發明的另一目的涉及一種光場成像裝置，包括有：- 一微透鏡陣列，排列在一規則晶格結構中；- 一光感測器，配置用以擷取從微透鏡陣列投射在光感測器上的光，光感測器包括有像素集，各像素集係在光學上與微透鏡陣列的一個別微透鏡關聯；及- 如申請專利範圍第9項的裝置，用以提供元資料。
本發明的另一目的涉及一種影像呈現裝置，用以從使用如申請專利範圍第1至8項中任一項方法所得到的光場資料以呈現影像。
根據本發明的另一方面，提供一種資料封包以用於一組光線在一光學獲取系統的物件空間所佔用體積的資料表示，該光學獲取系統的感測器的至少一像素可透過該光學獲取系統的光瞳感測該組光線，該體積係稱為一像素射束，該資料封包包括有：射線圖參數，定義像素射束的光線表示的相交資料在2D射線圖的圖形表示法，相交資料定義像素射束的光場射線表示與複數個給定參考平面的相交，該等參考平面係互相平行及對應到物件空間中的不同深度；顏色資料，定義像素射束的光場射線表示的顏色；及參數，定義像素共軛在物件空間的位置及大小。
本發明的元件所實施的一些過程係可由電腦實施，因此，此類元件可採取以下形式：完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等)，或結合軟體與硬體方面的實施例，其在本文中通常係稱為”電路”、”模組”或”系統”。此外，此類元件可採取電腦程式產品的形式，具體實現在任何有形的表現媒體，具有電腦可用程式碼具體實 現在該媒體中。
由於本發明的元件係可實現在軟體中，本發明係可具體實現為電腦可讀取碼，藉任何合適載體媒體用以提供到可程式裝置。有形載體媒體可包括儲存媒體如軟式磁碟、CD-ROM、硬碟驅動機、磁帶元件，或固態記憶元件及類似物。暫態載體媒體可包括信號如電信號、電子信號、光學信號、聲音信號、磁信號，或電磁信號，如微波或紅外線(RF)信號。
40,50‧‧‧像素射束
41‧‧‧光學系統
42‧‧‧像素
43‧‧‧感測器
44‧‧‧光瞳
45,55‧‧‧像素共軛(腰部)
100‧‧‧全光相機
101‧‧‧主透鏡
102‧‧‧微透鏡陣列
103‧‧‧微透鏡
104‧‧‧感測器
110‧‧‧多陣列相機
112‧‧‧透鏡陣列
114‧‧‧影像感測器
200‧‧‧光場相機
201‧‧‧主透鏡
202‧‧‧孔徑(快門)
210‧‧‧微透鏡陣列
220‧‧‧光感測器陣列
240‧‧‧光場資料獲取模組
250,2050‧‧‧光場資料格式化模組
255‧‧‧光場資料處理器
260‧‧‧使用者介面(UI)
265‧‧‧顯示元件
270‧‧‧控制器
280‧‧‧電源
290,2090‧‧‧記憶體
295‧‧‧I/O介面
801‧‧‧光場資料獲取模組
802‧‧‧相交資料獲取模組
803‧‧‧射線圖產生器
804‧‧‧Radon變換模組
805‧‧‧數位線產生器
2000‧‧‧電路
2040‧‧‧處理電路
2045‧‧‧記憶體控制器
2051‧‧‧作業系統模組
2052‧‧‧介面模組
2055‧‧‧光場資料處理模組
d‧‧‧截距參數
f‧‧‧距離
MI‧‧‧微像
P‧‧‧物件空間中的像素(P’的共軛)
P’‧‧‧影像空間中的像素
S801‧‧‧資料獲取步驟
S802‧‧‧相交資料得到步驟
S803‧‧‧射線圖產生步驟
S804‧‧‧Radon變換應用步驟
S805‧‧‧數位線產生步驟
s‧‧‧斜率參數
θ x ,θ y ‧‧‧表示剪切角的參數
以下將參考附圖並僅藉由範例以描述本發明的實施例，圖中：圖1A係以示意圖描繪全光相機；圖1B描繪多陣列相機；圖2A係根據本發明的一實施例以功能圖描繪光場相機；圖2B係根據本發明的一實施例以功能圖描繪光場資料格式器及光場資料處理器；圖3係形成在光感測器上的2D光場影像範例；圖4描繪一組光線在相機的光學系統(或光學獲取系統)的物件空間所佔用體積；圖5描繪單葉雙曲面；圖6A及6B係根據本發明的一或多個實施例以圖形描繪參考平面用於光場資料參數化的使用；圖7係根據本發明的實施例以示意圖描繪光場射線相對於參考平面的表示法；圖8A係根據本發明的一或多個實施例以流程圖描繪一方法的步驟；圖8B係根據本發明的一或多個實施例以功能方塊圖描繪光場資料格式提供裝置的模組；圖9係根據本發明的實施例以示意圖描繪用於光場射線表示法的參數；圖10係根據本發明的實施例以圖形描繪相交資料的2D射線圖；圖11係根據本發明的實施例以圖形描繪所產生的一數位線；圖12係根據本發明的實施例以圖形描繪所產生的數位線； 圖13A至13C係根據本發明的實施例以圖形描繪應用到數位線的Radon變換；及圖14係根據本發明的實施例以圖形描繪用於複數個相機的相交資料的2D射線圖。
如熟諳此藝者所了解，本發明原理的方面係可具體實現為系統、方法，或電腦可讀取媒體，因此，本發明原理的方面可採取以下形式：完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等)，或結合軟體及硬體方面的實施例，其在本文中通常全稱為”電路”、”模組”，或”系統”。此外，本發明原理的方面可採取電腦可讀取儲存媒體的形式，可利用一或多個電腦可讀取儲存媒體的任何組合。
本發明的實施例提供光場資料的格式化用於進一步處理應用如格式轉換、重聚焦、視點變更，及3D影像生成。
圖2A係根據本發明的一實施例以方塊圖描繪一光場相機裝置，根據圖1A的光場相機，光場相機包括一孔徑/快門202、一主透鏡(物鏡)201、一微透鏡陣列210，及一光感測器陣列220。在一些實施例中，光場相機包括一快門啟動按鈕，其係啟動用以擷取一主題或場景的光場影像。應了解該等功能特徵亦可應用到圖1B的光場相機。
光感測器陣列220提供光場影像資料，其係由LF(光場)資料獲取模組240所獲取，由光場資料格式化模組250用於光場資料格式的產生，及/或由光場資料處理器255用於處理。光場資料在獲取後及處理後係可儲存在記憶體290中，依原始資料格式(作為子孔徑影像或焦點堆疊)，或根據本發明的實施例係依光場資料格式來儲存。
在繪示的範例中，光場資料格式化模組250及光場資料處理器255係設置在(或整合)到光場相機200中。在本發明的其他實施例中，光場資料格式化模組250及光場資料處理器255係可在光場擷取相機外部的一分離組件中提供。相對於光場影像擷取裝置，分離組件可係本地或遠程的。應了解任何合適的有線或無線協定係可用以傳送光場影像資料到格式化模組250或光場資料處理器255；例如，光場資料處理器可經由網際網路、行動資料網路、WiFi網路、藍芽通訊協定及/或其他任何合適措施 以傳遞所擷取的光場影像資料及/或其他資料。
根據本發明的實施例，光場資料格式化模組250係配置用以產生所獲取光場的資料表示，光場資料格式化模組250係可實現在軟體、硬體，或其組合中。
根據本發明的實施例，光場資料處理器255係配置用以操作在直接從LF資料獲取模組240接收的原始光場影像資料上，例如用以產生焦點堆疊或一視野矩陣，可產生所擷取場景的輸出資料如靜態影像、2D視訊流及類似物。光場資料處理器係可實現在軟體、硬體，或其組合中。
在至少一實施例中，光場相機200亦可包括一使用者介面260，使用者能用以提供使用者輸入，藉由控制器270用以控制相機100的操作。相機的控制可包括相機的一或多個光學參數控制如快門速度，或在可調式光場相機的情形，微透鏡陣列與光感測器之間的相對距離控制，在一些實施例中，可手動調整光場相機的光學元件之間的相對距離。相機的控制亦可包括相機的其他光場資料獲取參數、光場資料格式化參數或光場處理參數的控制。使用者介面260可包括任何合適的使用者輸入裝置如觸控螢幕、按鈕、鍵盤、指向裝置及/或類似物，依此方式，可使用使用者介面所接收的輸入以控制及/或配置LF資料格式化模組250以控制資料格式化，控制及/或配置LF資料處理器255以控制所獲取光場資料的處理，及控制及/或配置控制器270以控制光場相機200。
光場相機包括一電源280，如一或多個可替換或可充電的電池。光場相機包括記憶體290，用以儲存所擷取光場資料及/或所呈現最終影像或其他資料如軟體(用以實施本發明的實施例的方法)。記憶體可包括外部及/或內部的記憶體，在至少一實施例中，記憶體係可設置在相機200的一分離裝置及/或位置中。在一實施例中，記憶體包括可卸除/可替換儲存裝置如記憶棒。
光場相機亦可包括一顯示單元265(如LCD螢幕)，在擷取前用以觀察相機前面的場景及/或用以觀察先前所擷取及/或呈現的影像，亦可使用螢幕265向使用者顯示一或多個選單或其他資訊。光場相機尚可包括一或多個I/O介面295，如FireWire或通用序列滙流排(USB)介面， 或有線或無線通訊介面，經由網際網路、行動資料網路、WiFi網路、藍芽通訊協定及/或其他任何合適措施用於資料通訊。I/O介面295係可用以往返外部裝置如電腦系統或顯示單元，傳遞資料(如根據本發明的實施例由LF資料格式化模組所產生的光場表示資料)及光場資料(如原始光場資料或LF資料處理器255所處理的資料)，用以呈現應用。
圖2B係以方塊圖描繪光場資料格式化模組250及光場資料處理器255的潛在實施方式的一特殊實施例。
電路2000包括記憶體2090、記憶體控制器2045，及包括有一或多個處理單元(CPU)的處理電路2040。一或多個處理單元2040係配置用以執行記憶體2090中儲存的各種軟體程式及/或指令集以執行各種功能，包括有光場資料格式化及光場資料處理。儲存在記憶體的軟體組件包括一資料格式化模組(或指令集)2050，用以根據本發明的實施例以產生所獲取光場資料的資料表示，及一光場資料處理模組(或指令集)2055，用以根據本發明的實施例以處理光場資料。用於光場相機裝置的應用，在記憶體中可包括其他模組如作業系統模組2051，用以控制一般系統任務(如電源管理、記憶體管理)，及用以促成裝置2000的各種硬體組件與軟體組件之間的通訊，及一介面模組2052，用以經由I/O介面埠以控制及管理與其他裝置的通訊。
圖3描繪圖1A的光感測器陣列104或圖1B的光感測器114上形成的2D影像範例。2D影像(常稱為原始4D光場影像)係由一微像陣列MI所組成，各微像係由微透鏡陣列102、112的個別微透鏡(i,j)所產生。微像係依軸i及j定義的矩形坐標格結構排列在陣列中，一微透鏡影像係可參照以個別微透鏡坐標(i,j)，光感測器104、114的一像素PI係可參照以其空間坐標(x,y)，與一給定像素關聯的4D光場資料係可參照為(x,y,i,j)。
表示(或定義)4D光場影像有數種方式，例如，可由先前參考圖3所描繪的微透鏡影像的集合來表示一4D光場影像，當藉由全光相機記錄時亦可由一子孔徑影像集來表示一4D光場影像，各子孔徑影像係由選自各微透鏡影像在相同位置的像素所構成。此外，可由一核線影像集(其並非像素射束的情形)來表示4D光場影像。
本發明的實施例係基於像素射束的概念以提供光場資料表示法，依此方式，可將格式及光場裝置中的多樣性列入考量。實際上，射線為基格式的一個缺點在於必須將參數化平面採樣以反映像素格式及大小，因此，為要回復實體有意義的資訊，需要隨其他資料一起定義採樣。
一像素射束40(如圖4所顯示)表示一組光線在相機的光學系統41的物件空間所佔用體積，相機的感測器43的一像素42係透過該光學系統41的光瞳44以感測該組光線。與射線相反，由於像素射束40本身傳遞”範圍(étendue)”(其對應到跨越實體光線截面的能量保留)，因此可將像素射束隨意採樣。
光學系統的光瞳係定義為一孔徑光闌的影像，如透過該光學系統(即相機的透鏡，其先於該孔徑光闌)所見。孔徑光闌係一開口，其限制通過相機的光學系統的光量，例如，位置接近相機鏡頭前端的可調整光圈係用於該鏡頭的孔徑光闌。光圈開口的直徑(其可依相機使用者希望的允許光量來調適)控制允許通過光圈的光量，例如，使孔徑變小以縮減允許通過光圈的光量，但增加焦點深度。光闌的有效尺寸係可因透鏡的折射作用而比其實體尺寸大或小，正式地說，光瞳係孔徑光闌通過相機的部分光學系統的影像。
一像素射束40係定義為一束光線，其在經由一入射光瞳44傳播通過光學系統41時到達一給定像素42。由於光在自由空間係依直線行進，因此可由二截面定義此一像素射束40的形狀，一截面係像素42的共軛45，及另一截面係入射光瞳44。像素42係由其非空表面及其敏感度圖來定義。
因此，一像素射束係可由單葉雙曲面50來表示，如圖5所顯示，由二元件支持：光瞳54，及像素42在相機的物件空間的共軛55。
單葉雙曲面係一規則表面，其可支持光線束的概念，並符合實體光束的”範圍(étendue)”概念。
在本發明的一實施例中，一像素射束40、50係由四個獨立參數來定義：z P ,θ x ,θ y ,a，定義像素共軛45、55的位置及大小(在光瞳44、54前方)。
表示一像素射束的單葉雙曲面係可由以下方程式定義： 其中t x =tan θx及t y =tan θy。
一坐標系(x,y,z)(其中定義像素射束40、50的參數)的原點O對應到光瞳44的中心，如圖4所顯示，其中z軸定義垂直於光瞳44、54的表面的方向。
參數θ x ,θ y 定義一主射線方向，關連到光瞳44中心的入射，該等參數係取決於像素42在感測器43上的位置及取決於光學系統41的光學元件。較精確地，參數θ x ,θ y 表示剪切角，定義從光瞳44的中心往像素42的共軛45的方向。
參數z P 表示像素射束40、50的腰部55(或像素42的共軛45)沿著z軸的距離。
參數a表示像素射束40、50的腰部55的半徑，及c係由以下方程式提供： 其中r係光瞳44、54的半徑。
在一給定相機的校準階段期間，實現參數z P 、a及c的值的計算以用於該相機的各像素射束，此校準階段例如在於執行一程式，能將光線通過相機的光學系統的傳播模型化。此一程式例如係光學設計程式如Zemax©、ASAP©或Code V©。光學設計係用以設計及分析光學系統，光學設計程式將光線通過光學系統的傳播模型化；及能將光學元件如簡單透鏡、非球面透鏡、梯度指數透鏡、反射鏡及繞射光學元件等的作用模型化。
因此，一像素射束40、50係可由其主射線及參數z P 、a及c來定義。
然而，由於儲存射線所用傳統檔案格式在於儲存3D空間中的位置及方向，因此像素射束40、50的此一表示法佔據大量儲存空間。
為要提出用以儲存射線的檔案格式，其需要較少儲存空 間，將四維光場輻射參數化的方法係可參考圖6A所繪示的立方體，可使用立方體的所有六面將光場參數化。為將方向參數化，可加上平行於立方體表面的第二平面集，依此方式，可相對於六對平面，利用沿著軸方向的法線，將光場定義為：
圖6B描繪一光場射線通過用於參數化的二參考平面P1及P2，互相平行定位及分別位在已知深度z 1及z 2。光場射線在深度z 1與第一參考平面P 1在交點(x 1,y 1)相交，及在深度z 2與第二參考平面P 2在交點(x 2,y 2)相交，依此方式，可藉由四個坐標(x 1,y 1,x 2,y 2)以識別該光場射線，因此將光場參數化係可藉由用於參數化的一對參考平面P 1、P 2(在本文亦稱為參數化平面)，各光場射線係表示為4D射線空間中的一點(x 1,y 1,x 2,x 2,) R 4。
例如，參考坐標系的原點係可位在坐標軸系的基礎向量(,)所產生的平面P 1的中心。軸係垂直於所產生的平面P 1，及為求簡化，可將第二平面P 2沿著軸放置在離平面P 1的一距離z=△。為要將六個不同傳播方向列入考量，整個光場係可由六對此類平面為其特徵，一對平面(常稱為光板)係以沿著一傳播方向與光場相機的感測器或感測器陣列互動的光場為其特徵。
用於參數化的一參考平面的位置係可提供為： 其中係法線，及d係沿著法線方向離開3D坐標系原點的偏移。
用於參數化的一參考平面的笛卡爾(Cartesian)方程式係可提供為：
若一光場射線具有一已知位置： 及一正規化傳播向量： 則3D中的一射線的一般參數方程式係可提供為：
光場射線與一參考平面之間的相交的坐標係提供為：
若未滿足以下條件，則光場射線與參考參數化之間未有任何相交：
由於與參考平面配對(用以參數化光場)的系軸中的一者垂直，因此射線相交的分量中的一者總保持不變以用於各平面，因此，若有一光場射線與第一參考平面的相交，及該光場與第二參考平面的相交，則四個坐標有所不同，並可使用方程式A以計算一光場射線的四個參數。此四個參數係可用以建立光場的4D射線圖。
假設光場的參數化參考二參數化參考平面，可得到表示光場的資料如下。若設定一參考系統如圖7所繪示，則第一參數化平面P1係在z=z1垂直於z軸，及安排第二參數化平面P2在z=z2垂直於z軸，及一射線(其光場參數係L(x1；y1；x2；y2)將呈現在一位置z=z3(其中將一光場相機的光感測器陣列定位)。依據方程式(A)：
具有 展開以上表式提供：
z 3=z 3
z 3=z 3
兩組方程式應傳遞相同點作為呈現在新位置的光場射線。藉由將u x ；u y ；u z 以其對應表式取代為及的函數，若使用依據前方塊的第二組方程式並將x3與y3加起來： 則導致以下表式：(z 2-z 3)(x 1+y 1)+(z 3-z 1)(x 2+y 2)=(z 2-z 1)(x 3+y 3) (B)
具有下標3的坐標相關一已知點(x 3,y 3,z 3)，其中呈現光場。已知所有深度坐標z i ，參數化平面係在傳播或呈現方向中，光場資料參數L係(x 1,y 1,x 2,y 2)。
在點(x 3,y 3,z 3)形成一影像的光場射線係由表式(B)加以連結，該表式定義中的一超平面。
此表明若將從二平面參數化光場中呈現影像，則只需要呈現超平面附近的射線，不需要追蹤該等射線。圖8A係根據本發明的一或多個實施例以流程圖描繪用以產生光場資料表示的方法的步驟，圖8B係根據本發明的一或多個實施例以方塊圖示意地描繪用以產生光場資料表示的系統的主要模組。
在該方法的初期步驟S801中，獲取參數(定義不同像素射束，相關相機的感測器的像素)，係藉由校準相機，或藉由從一資料檔案 中擷取此類參數，該資料檔案係儲存在一遠程伺服器中或儲存在本地儲存單元(如相機的記憶體290或連接到該相機的快閃碟)上。
此類參數係不同像素射束的主射線的坐標，及參數z P 及a(定義光瞳前方的像素共軛的位置及大小，在相機校準期間得到以用於各像素射束)。一像素射束的主射線係通過像素中心及光瞳中心的一直線，支持該像素射束。在另一初期步驟S801中，藉由光場相機801以獲取原始光場資料，原始光場資料例如係依參考圖3所顯示微像形式。光場相機可係如圖1A或1B及2A及2B所顯示的光場相機裝置。
在步驟S802中，射線參數模組802處理所獲取的光場資料，用以提供相交資料(x 1 ,y 1 ,x 2 ,y 2 )，定義所獲取光場射線與分別在深度z 1、z 2的一對參數化參考平面P1、P2的相交，所獲取光場射線對應到像素射束40、50的主射線。
藉由相機的校準可判定以下參數：投影中心(x 3,y 3,z 3)、相機的光學軸的定向，及從相機的針孔到光感測器平面的距離f。光場相機參數係描繪在圖9中，光感測器平面係位在深度z P ，光感測器的像素輸出係轉換成光場射線的幾何表示法。包括有二參考平面P 1及P 2的光板係分別位在深度z 1及z 2，超出z 3，在相機的投影中心相對光感測器的另一側。藉由將三角形原理應用到光線，記錄從微透鏡陣列所投射光的像素坐標(x p ,y p ,z P )係可應用以下表式以映射到射線參數(即參考平面交點(x 1,y 1,x 2,y 2)：
可將以上計算延伸到具有不同配對三元組(x p ,y p ,z p )(x 3,y 3,z 3)的多個相機。
在全光相機的情形中，使用具有孔徑的相機模型，並將光場射線在相位空間中描述為具有一原點(x p ,y p ,z p )及一方向(x ’ 3,y ’ 3,1)，其在深度z 3達到平面(x 3,y 3)的傳播係可描述為一矩陣變換。透鏡將作為一ABCD矩陣用以折射射線，及另一ABCD傳播矩陣會將射線帶到光板參考平面P 1及P 2上。
由此步驟，得到相交資料(x 1 ,y 1 ,x 2 ,y 2 )，利用幾何以定義光場射線與參考平面P1、P2的相交。
在步驟S803中，藉由射線圖產生器模組803，得到2D射線圖，以圖形表示相交資料(x 1 ,y 1 ,x 2 ,y 2 )。
圖10係2D射線圖，以圖形表示一相機利用一孔徑|A|<0.5在位置x 3=2及深度z 3=2所擷取光場射線的相交資料(x 1,x 2)。用以參數化的射線圖的資料線係藉由256格採樣，提供256×256像素組成的影像。
若將圖10繪示的射線圖解釋為一矩陣，則可看出其係稀疏填充，若射線係要個別地儲存在一檔案而非4D相位空間矩陣，則會要求各射線的儲存，至少2位元組(int16)用於各位置x i 或x 3加上3位元組用於顏色，即每射線7位元組用於一2D片光場，及每射線11位元組用於其全4D表示法。即便如此，射線會隨機地儲存在檔案中，該檔案可能不適用於需要操縱表示法的應用。本發明的發明人已判定如何只從射線圖矩陣中抽取代表性資料及如何將資料依結構方式儲存在檔案中。
由於2D片狀光場射線係沿著2D射線圖的資料線映射，因此儲存定義資料線的參數而非儲存其線值本身係較有效率，定義資料線的參數如斜率定義參數s及軸截距d係可與屬於該資料線的光場射線集一起儲存。
例如這可要求少到像2位元組用於斜率參數s，2位元組用於軸截距d，及每射線則只3位元組，此外，在檔案中可將射線沿著線定次序。為要設定線通過矩陣格，因此產生所謂的數位線，其估計具最小誤差的射線直線。
用以定位資料線及用以得到斜率參數s及截距參數d，在步驟S804，由線檢測模組804在步驟S803所產生的射線圖上執行一Radon變換。
在步驟S805中，依據得到的斜率參數s及截距參數d，數位線產生模組805產生一代表數位線，在此步驟中，藉由將一分析線估計到其最近坐標格點以產生數位線，例如藉由應用Bresenham演算法。實際上，Bresenham演算法提供一方式以利用最小運算來提供一數位線，Bresenham應用的一範例係改寫自以下參考資料：http：//www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html。
數位格式係由坐標格的二點(0,d)及(N-1,s)來定義資料線，d係截距，對應到x1=0時x2的值，及s係斜率參數，對應到x1=N-1時x2的值。依據所產生的數位格式，每一個別線的斜率a係可表達為以下(及s)的函數：
其中：s {0,1,....N-1}及d {0,1,....N-1}
圖11描繪藉由Bresenham演算法的應用所產生的數位線範例。
圖12描繪一數位線群，具有相同斜率a(或s-d)但不同截距d，該資料線群係相接的。該數位線群在本文中稱為一直線束及對應到未理想地精確定位的相機所造成的一射束。各線將不同像素定址，換句話說，一像素只屬於相同斜率但不同截距的直線束中的單一線。軸截距d的上限及下限分別係提供為d max 及d min 。
藉由一採樣線配對(在2D中)參數化及屬於一相機的射線資料，屬於表示該資料所用相位空間中的一數位線族(射束)，該射束的標頭可簡單地包含斜率a及軸截距的上限及下限所界定的射束厚度d max -d min 。該等射線值將沿著數位線(其標頭可係d及s)儲存為RGB色彩，不需儲存射線圖在採樣空間中的空單元格，可從參數d,s中及從沿著數位線的單元格位置中減去該等射線的坐標x1；x2。
將從光場或從相機的幾何學中估算的參數係斜率a、數位線截距的下限及上限(d min ,d max )，及數位線參數(d i ,s i )。已論及離散Radon變換作為工具用以測量射線圖中光場的支持位置。
圖13B顯示圖13A的資料線在數位線參數空間(d,s)中的離散Radon變換。圖13C係包括在圖13B的感興趣區域的縮放圖，藉由最大值參數的搜尋定出數位線射束的位置。在DRT(離散Radon變換)的幾何對稱中心與實際最大值位置之間由於影像內容而有一些偏移，以便稍後使用一演算法以精確定位對稱中心而非最大值，接著輕易找出射束變換的腰部(如圖13C所顯示)以提供值(d min ,d max )。點(d min =74,s=201)係依據圖12A的數位線的射束的下包絡，及點(d max =81,s=208)係該數位線射束的上包絡。
依據方程式B的二正交2D片狀空間的方程式係提供為：(z2-z3)(x1+y1)+(z3-z1)(x2+y2)=(z2-z1)(x3+y3) (C)
若採x i 坐標的2D片，則線射束(其中將映射在(x3,y3,z3)通過尺寸孔徑A的射線資料)的方程式係提供為：
同樣地，若採y i 坐標的2D片，則
如上述，可在離散域評估m及、、、的值，用以局部化先前討論格式所定義的光場特徵，不需執行4D離散Radon變換。若得到二正交2D DRT，則可執行以下的測量：超平面的斜率m，及數位超平面(其中所有資料集中在4D射線圖中)的射束寬度。
此較簡單位置程序假設一圓形入射光瞳A，以便、、、將包含所有超平面截距，寫在格式中的某些值將未包含任何值。
得到一格式用於4D情形令人關注，其係類似於揭露用於2D情形者，為要如此，使Π(x1,x2)平面上發現的2D線與Π(y1,y2)平面上發現的線相關聯令人關注，即該等線係對應超平面與Π(x1,x2)及Π(y1,y2)的二正交片相交的結果，依據表式D及E，已知該等對應線具有相同斜率m。用於一相機在一特定深度，此係第一參數，其使Π(x1,x2)中的各線關 聯到Π(y1,y2)中的一線。若在相同深度有多個相機(即圖13A的情形)，則在Π(x1,x2)中有三條線及在Π(y1,y2)中有三條線，具有相同估計斜率m。接著判定此二平面中的線之間在線偏移的對應關係，用以完成此步驟，利用該等線在表式D及E中的公式，尤其，表示 偏移係如下： 及
可解該方程集以用於k、x 3及y 3，請注意，(x 3,y 3,z 3)對應到相機的坐標，亦即三維像素，其中對應的光束係聚焦成半徑A的圓，已假設平面上定位在z 3的孔徑係圓形，以便-=-=2kA，及藉由解先前方程集：
可使用Bresenham數位線如先前般在Π(x1,x2)上掃描數位線；用於每一個別(x1,x2)值，儲存光場所擷取的對應(y1,y2)值。利用表式C以找出此類值，以下全係已知或從表式F及G中估計：x3；y3；z3；z1；z2。
在Π(x1,x2)中的各線上移動，用於各(,)，得到(y1,y2)中的以下關係： 或
用於Π(x1,x2)中的各點，儲存Π(y1,y2)中的一線集合。d off 對應到掃描及儲存用於(,)的線的偏移。應注意：
參考圖12，各正方形係一(,)點，及用於此等點中的每一者，有一組Bresenham數位線沿著以下方程式所定義的一數位束延伸出圖的平面： 垂直於繪示的資料線，但在4D空間中。
在表一描述一示範資料格式用於每一相機的一束資料線。
首先，提供4D空間的一般元資料；包括有4軸x 1,x 2,y 1,y 2的邊界及其對應採樣，亦提供相機(束)數，儲存以下參數用於各相機j：孔徑大小：A j ，其對應到一像素射束的光瞳直徑，相機的焦點：cam j ；focusPoint(焦點)=(u 3,u 3,w 3)
在(x1x,2)的最低d截距=d j
銳度=m j
在(x 1,x 2)的數位線數=
在(y 1,y 2)的數位線數=
在各相機上，用於各(x q 1；x q 2)，相對於表式(K)使用Bresenham數位線開始在(y 1,y 2)上掃描，及儲存各光場射線的RGB值，尤其-A到+A，及根據表式(K)以計算對應d off 。
由於光場射線對應到像素射束的主射線，因此儲存一給定 像素射束的參數z P ,a的值係靠對應光場射線的RGB值，如表一所顯示。
在解碼步驟中使用儲存的元資料以執行相同計算，尤其使用方程式(G)以找出k，因此格式仍係緊密，不需儲存索引用於系統中的各射線。請注意到以上超平面的採樣係4D射線空間的採樣，因此不漏掉單個x1；y1；x2；y2位置。此只係4D射線空間系統掃描的一範例，依極緊密形式來儲存所有資料，當然可應用其他方法。參數形式因其允許一交錯空間探索，因此似乎將適用於探索超平面。
在多個相機在資料上工作的情形，其包含數個超平面束(由於多個相機而在Radon變換中導致數個最大值)，可使用較複雜的演算法。作為一前處理步驟，找出參數(m,k)用於Π(x1,x2)的Radon變換中的所有峰值，並放入一集合中。完成相同步驟用於(y 1,y 2)中的峰值，並將參數放入另一集合中。茲在貪婪演算法的各迭代中，在(x1,x2)的2D Radon變換中找出最大峰值強度，及藉由匹配先前找出的參數(m,k)以找出(y 1,y 2)中的對應峰值。在儲存前段提及的資料後，將此等峰值從Radon變換中清除，及開始下一迭代，直到光場中無留下任何有意義事物。
雖然以上已參考特定實施例以說明本發明，但本發明係不限於該等特定實施例，包括在本發明範圍內的修改對熟諳此藝者將顯而易見。
參考以上繪示的實施例，熟諳此藝者將輕易看出許多進一步的修改及變化，該等實施例係只藉由範例方式提供，並不希望用以限制本發明的範圍，其係單由後附申請專利範圍來判定，尤其，只要適當，依據不同實施例的不同特徵係可互換。
d‧‧‧截距參數
s‧‧‧斜率參數

Claims (13)

  1. 一種電腦實施方法，用以產生一組光線在一光學獲取系統之物件空間所佔用體積之資料表示，該光學獲取系統之感測器之至少一像素可透過該光學獲取系統之光瞳以感測該光線，該體積係稱為一像素射束，該方法包括有：- 從光學獲取系統擷取之光場資料中得到(S802)相交資料，定義像素射束之光場射線表示與複數個給定參考平面之相交，該等參考平面對應至物件空間中之不同深度；- 得到射線圖參數(S804、S805)，定義4D射線圖中相交資料之圖形表示法；及- 使該等射線圖參數與定義像素射束之參數關聯，用以提供像素射束之資料表示。
  2. 如申請專利範圍第1項之方法，其中像素射束之光場射線表示係一通過像素中心及光瞳中心之直線，及定義像素射束之參數係像素共軛在物件空間之位置及大小。
  3. 如申請專利範圍第2項之方法，其中對應至光場射線之截距資料係在射線圖以圖形描繪為資料線，及射線圖參數包括以下至少一者之資料表示：- 一資料線之斜率；及- 射線圖中一資料線與一軸之截距。
  4. 如申請專利範圍第3項之方法，其中在2D射線圖中藉由應用一Radon變換以檢測資料線。
  5. 如申請專利範圍第3或4項之方法，其中圖形表示法係提供為一單元格矩陣，用以提供一數位資料線，各數位資料線格式係由複數個單元格定義，至少一第一單元格表示該線與一軸之截距，及至少一第二單元格，可從其判定出該線之斜率。
  6. 如申請專利範圍第5項之方法，其中藉由Bresenham演算法之應用以產生各數位資料線。
  7. 如先前申請專利範圍中任一項之方法，其中像素射束之資料表示 尚包括顏色資料，表示對應光場射線之顏色。
  8. 如申請專利範圍第7項之方法，其中像素射束之資料表示係提供為元資料，元資料之標頭包括有射線圖參數，定義2D射線圖中相交資料之圖形表示法，及元資料之本體包括有射線顏色之資料表示，及定義物件空間中像素共軛位置及大小之參數。
  9. 一種元資料提供裝置，用以提供元資料用於一組光線在光學獲取系統之物件空間所佔用體積，該光學獲取系統之感測器之至少一像素可透過該光學獲取系統之光瞳感測該組光線，該體積係稱為一像素射束，該裝置包括有一光場資料獲取模組，用以獲取光場相機所擷取光場資料，及一光場資料產生模組，配置用以：- 從所獲取光場資料中得到相交資料，定義像素射束之光場射線表示與複數個給定參考平面之相交，該等參考平面係互相平行及對應至物件空間中之不同深度；- 得到射線圖參數，定義2D射線圖中相交資料之圖形表示法，用以提供所獲取光場資料之資料表示；及- 使該等射線圖參數與定義像素射束之參數關聯，用以提供像素射束之資料表示。
  10. 一種光場成像裝置，包括有：- 一微透鏡陣列，排列在一規則晶格結構中；- 一光感測器，配置用以擷取從微透鏡陣列投射在光感測器之光，光感測器包括有像素集，各像素集係在光學上與微透鏡陣列之一個別微透鏡關聯；及- 如申請專利範圍第9項之元資料提供裝置。
  11. 一種影像呈現裝置，用以使用如申請專利範圍第1至8項中任一項方法所得到之光場資料以呈現影像。
  12. 一種資料封包，用於一組光線在光學獲取系統之物件空間所佔用體積之資料表示，該光學獲取系統之感測器之至少一像素可透過該光學獲取系統之光瞳以感測該組光線，該體積係稱為一像素射束，該資料封包包括有：射線圖參數，定義像素射束之光線表示之相交資料在2D射線圖之圖形表示法，相交資料定義像素射束之光場射線表示與複數個給定參考平 面之相交，該等參考平面係互相平行及對應至物件空間中之不同深度；顏色資料，定義像素射束之光場射線表示之顏色；及定義物件空間中像素共軛位置及大小之參數。
  13. 一種電腦程式產品，用於可程式裝置，該電腦程式產品包括有一指令序列，當載入可程式裝置及由該裝置執行時用以實施如申請專利範圍第1至8項中任一項之方法。
TW105129900A 2015-09-17 2016-09-14 產生光場資料表示之方法及裝置 TW201730707A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP15306446.4A EP3144879A1 (en) 2015-09-17 2015-09-17 A method and an apparatus for generating data representative of a light field

Publications (1)

Publication Number Publication Date
TW201730707A true TW201730707A (zh) 2017-09-01

Family

ID=54252224

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105129900A TW201730707A (zh) 2015-09-17 2016-09-14 產生光場資料表示之方法及裝置

Country Status (9)

Country Link
US (1) US10021340B2 (zh)
EP (2) EP3144879A1 (zh)
JP (2) JP2017063414A (zh)
KR (1) KR102583723B1 (zh)
CN (1) CN107018293B (zh)
CA (1) CA2940535A1 (zh)
MX (1) MX357947B (zh)
RU (1) RU2734018C2 (zh)
TW (1) TW201730707A (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10317597B2 (en) * 2014-08-26 2019-06-11 The Board Of Trustees Of The Leland Stanford Junior University Light-field microscopy with phase masking
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
CN108353188B (zh) * 2015-09-17 2022-09-06 交互数字Vc控股公司 用于编码光场内容的方法
CN109716176B (zh) * 2016-06-07 2021-09-17 艾瑞3D 有限公司 用于深度采集和三维成像的光场成像装置和方法
CN106373152B (zh) * 2016-09-18 2019-02-01 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
WO2020030841A1 (es) * 2018-08-08 2020-02-13 Universitat De Valencia Dispositivo ocular plenóptico
EP3935432A1 (en) * 2019-03-08 2022-01-12 PCMS Holdings, Inc. Optical method and system for displays based on beams with extended depth of focus
RU2760845C1 (ru) * 2021-02-12 2021-11-30 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве и устройство для его реализации
CN117015966A (zh) * 2021-03-15 2023-11-07 华为技术有限公司 一种光场预测模型的生成方法及相关装置
CN116070687B (zh) * 2023-03-06 2023-07-04 浙江优众新材料科技有限公司 一种基于全局光线空间仿射变换的神经网络光场表示方法
CN116778068B (zh) * 2023-08-22 2023-11-10 中国电子科技集团公司第十五研究所 基于视点椭球相似特征数的光线采样精确优化方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6342917B1 (en) * 1998-01-16 2002-01-29 Xerox Corporation Image recording apparatus and method using light fields to track position and orientation
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
KR101668869B1 (ko) * 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
WO2013049699A1 (en) * 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP6095266B2 (ja) * 2012-01-13 2017-03-15 キヤノン株式会社 画像処理装置及びその制御方法
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
JP6159097B2 (ja) * 2013-02-07 2017-07-05 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
KR20150127507A (ko) * 2014-05-07 2015-11-17 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
CN104330174B (zh) * 2014-10-23 2017-05-31 北京理工大学 一种用于测量涡旋光束的周期渐变光栅及测量方法
CN104598744B (zh) * 2015-01-27 2017-11-21 北京工业大学 一种基于光场的深度估计方法

Also Published As

Publication number Publication date
EP3144880A1 (en) 2017-03-22
US10021340B2 (en) 2018-07-10
CA2940535A1 (en) 2017-03-17
MX357947B (es) 2018-07-31
RU2734018C2 (ru) 2020-10-12
EP3144880B1 (en) 2019-08-21
RU2016136352A3 (zh) 2020-04-17
CN107018293A (zh) 2017-08-04
KR20170035804A (ko) 2017-03-31
CN107018293B (zh) 2020-11-03
US20170085832A1 (en) 2017-03-23
RU2016136352A (ru) 2018-03-15
KR102583723B1 (ko) 2023-10-05
JP2022141637A (ja) 2022-09-29
MX2016011964A (es) 2017-04-25
EP3144879A1 (en) 2017-03-22
JP2017063414A (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
TW201730707A (zh) 產生光場資料表示之方法及裝置
TWI713582B (zh) 產生像素射束表示資料之方法及裝置
CN108604372B (zh) 用于生成表示像素束的数据的方法和装置
TWI709108B (zh) 產生像素射束表示資料之裝置及方法
TW201723635A (zh) 將光學獲取系統所擷取影像編碼之裝置及方法
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
KR20190026014A (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
TW201723636A (zh) 產生像素射束表示資料之裝置及方法
KR102402432B1 (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법