TW201723636A - 產生像素射束表示資料之裝置及方法 - Google Patents

產生像素射束表示資料之裝置及方法 Download PDF

Info

Publication number
TW201723636A
TW201723636A TW105130175A TW105130175A TW201723636A TW 201723636 A TW201723636 A TW 201723636A TW 105130175 A TW105130175 A TW 105130175A TW 105130175 A TW105130175 A TW 105130175A TW 201723636 A TW201723636 A TW 201723636A
Authority
TW
Taiwan
Prior art keywords
pixel
acquisition system
optical acquisition
optical
light
Prior art date
Application number
TW105130175A
Other languages
English (en)
Other versions
TWI717387B (zh
Inventor
喬勒美 波伊森
亞諾 舒伯德
羅倫 布朗迪
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201723636A publication Critical patent/TW201723636A/zh
Application granted granted Critical
Publication of TWI717387B publication Critical patent/TWI717387B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Optical Communication System (AREA)

Abstract

本發明係為一種產生像素射束表示資料之裝置及方法，目前市面上可取得數種類型之全光裝置及相機陣列，及所有此等光場獲取裝置具有其專屬檔案格式，然而，卻未有任何標準支援多維資訊之獲取及傳輸。得到相關該光學獲取系統之感測器之像素與該光學獲取系統之物件空間之間對應關係之資訊令人關注，實際上，知道屬於光學獲取系統之感測器之像素正在感測該光學獲取系統之哪部分物件空間，能用以提升信號處理操作。因此引進像素射束概念，其表示一組光線在相機之光學系統之物件空間所佔用體積。

Description

產生像素射束表示資料之裝置及方法
本發明相關光場表示資料的產生。
在Anat Levin等人的文章，名稱為” 透過光場投影之貝氏分析以瞭解相機折衷(Understanding camera trade-offs through a Bayesian analysis of light field projections)”(公布在ECCV 2008會議錄中)，說明四維(或4D)光場資料的獲取，其係可視為4D光場的採樣，即光線的記錄，係一熱門研究主題。
與使用相機得到的傳統二維(或2D)影像相比，4D光場資料能令使用者存取到較多後製特徵，以增強影像的呈現，並增進與使用者的互動性。例如，利用4D光場資料，以自由選擇的聚焦距離來執行影像的重聚焦係可能的，意即可由經驗推論來規定/選擇焦點平面的位置，以及稍微變更一影像場景中的視點。為要獲取4D光場資料，可使用數種技術，例如，全光相機能獲取4D光場資料，在圖1A提供全光相機的架構細節。圖1A係以圖示意地描繪一全光相機100，全光相機100包括一主透鏡101、一微透鏡陣列102(包括有依二維陣列排列的複數個微透鏡103)，及一影像感測器104。
獲取4D光場資料的另一方式係使用如圖1B所繪示的相機陣列，圖1B描繪多陣列相機110，多陣列相機110包括一透鏡陣列112及一影像感測器114。
在圖1A所顯示全光相機100的範例中，主透鏡101接收主透鏡101的物件場中從一物件(圖中未顯示)來的光，並將光傳遞通過主透鏡101的影像場。
最後，獲取4D光場的另一方式係使用傳統相機，其係配置用以擷取相同場景在不同焦點平面的2D影像序列，例如可使用J.-H. Park等人的文件” 使用焦點平面掃描之光線場擷取及其使用3D顯示器之光學重建(Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays)”(2014年10月公布在光學速報(OPTICS EXPRSS)第22卷第21期)所揭露的技術，藉由傳統相機以達成4D光場資料的獲取。
表示4D光場資料有數種方式，實際上，在Ren Ng於2006年7月所發表的博士論文，名稱為”數位光場攝影術(Digital Light Field Photography)”，在其第3.3章揭露三種不同方式用以表示4D光場資料。 首先，4D光場資料係可在藉由全光相機記錄時以微透鏡影像的採集來表示，依此表示法的4D光場資料係稱為原始影像或原始4D光場資料。第二，4D光場資料係可在藉由全光相機或藉由相機陣列記錄時以子孔徑影像集來表示，一子孔徑影像對應到從一視點所擷取的一場景影像，視點在二子孔徑影像之間係稍有不同，此等子孔徑影像提供成像場景的視差及深度有關的資訊。第三，4D光場資料係可由一核線影像集來表示，例如參閱S.Wanner等人公布在ISVC 2011會議錄中的文章，名稱為” 利用單鏡頭聚焦式全光相機以產生4D光場之面迴訊影像(EPI)表示法(Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera)”。
目前市面上可取得數種類型的全光裝置及相機陣列，及所有此等光場獲取裝置具有其專屬檔案格式，由於尚無任何標準支援多維資訊的獲取及傳輸，因此看似光場技術不能單獨存在於正規2D或3D成像之外。有鑑於上述原因，已提出本發明。
根據本發明的第一方面，揭示一種用電腦實施的資料產生方法，用以產生一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束，該方法包括有產生一數位檔案，包括有該像素射束的資料表示，該資料包括有：- 光學獲取裝置的該光瞳的定義參數，- 該像素射束的最小截面的定義參數，該最小截面稱為腰部，其對應到 感測器的該至少一像素在物件空間中的共軛，其中基於該至少一像素的定義參數以計算該像素射束的腰部的該等定義參數。
根據本發明的一實施例，該像素所擷取光強度的表示參數，係從光學獲取系統所擷取光場資料中得到，係關聯到該數位檔案中表示像素射束的參數。
根據本發明的一實施例，光瞳的定義參數包括光瞳的半徑、相關光學獲取系統的坐標系中的光瞳中心坐標，及該坐標系中定義光瞳定向的角度。
根據本發明的一實施例，表示像素射束腰部的參數包括像素射束腰部與光瞳中心之間的距離，及像素射束腰部在坐標系中的定向。
本發明的另一目的涉及一種資料產生裝置，用以產生一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束，該裝置包括有一處理器，配置用以產生一數位檔案，包括有該像素射束的資料表示，該資料包括有：- 光學獲取系統的該光瞳的定義參數，- 該像素射束的最小截面的定義參數，該最小截面稱為腰部，對應到感測器的該至少一像素在物件空間的共軛，其中基於該至少一像素的定義參數以計算該像素射束的腰部的該等定義參數。
根據本發明的一實施例，該像素所擷取光強度的表示參數，係從光學獲取裝置所擷取的光場資料中得到，係關聯到數位檔案中表示像素射束的參數。
根據本發明的一實施例，光瞳的定義參數包括光瞳的半徑，相關光學獲取裝置的坐標系中的光瞳中心坐標，及該坐標系中定義光瞳定向的角度。
本發明的另一目的涉及一種光場成像裝置，包括有：- 一微透鏡陣列，排列在一規則晶格結構中；- 一光感測器，配置用以擷取從微透鏡陣列投射在光感測器的光，光感 測器包括有像素集，各像素集係在光學上與微透鏡陣列的個別微透鏡關聯；及- 如申請專利範圍第5項的裝置，用以提供一數位檔案，包括有一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束。
本發明的另一目的涉及一種影像呈現裝置，使用如申請專利範圍第1至4項中任一項方法所得到的數位檔案，用以從光場資料呈現出一影像，該數位檔案包括有一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束。
本發明的另一目的涉及一種數位檔案，包括有一組光線通過光學獲取系統的光瞳在該光學獲取系統的物件空間所佔用體積的資料表示，及該光學獲取系統的感測器所感測至少一像素的共軛的資料表示，該組光線所佔該體積係稱為一像素射束，該資料包括有：- 光學獲取裝置的該光瞳的定義參數，- 該像素射束的最小截面的定義參數，該最小截面稱為腰部，其對應到感測器的該至少一像素在物件空間的共軛，其中基於該至少一像素的定義參數以計算該像素射束的腰部的該等定義參數，及- 該像素所擷取的光強度，係從光學獲取系統所擷取光場資料中得到。
本發明的元件所實施的一些過程係可由電腦實施，因此，此類元件可採取以下形式：完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等)，或結合軟體與硬體方面的實施例，其在本文中通常係稱為”電路”、”模組”或”系統”。此外，此類元件可採取電腦程式產品的形式，具體實現在任何有形的表現媒體，具有電腦可用程式碼具體實現在該媒體中。
由於本發明的元件係可實現在軟體中，本發明係可具體實現為電腦可讀取碼，藉任何合適載體媒體以提供到可程式裝置。有形載體 媒體可包括儲存媒體如軟式磁碟、CD-ROM、硬磁碟驅動機、磁帶元件，或固態記憶元件及類似物。暫態載體媒體可包括信號如電信號、電子信號、光學信號、聲音信號、磁信號，或電磁信號，如微波或射頻(RF)信號。
20,30,40‧‧‧像素射束
21‧‧‧光學系統
22‧‧‧像素
23‧‧‧感測器
24,34‧‧‧光瞳
25,35‧‧‧像素的共軛
41,42‧‧‧非對稱錐
45‧‧‧像素射束腰部
70‧‧‧數位檔案
71‧‧‧欄位
72‧‧‧子欄位
100‧‧‧全光相機
101‧‧‧主透鏡
102‧‧‧微透鏡陣列
103‧‧‧微透鏡
104,114‧‧‧影像感測器
110‧‧‧多陣列相機
112‧‧‧透鏡陣列
500‧‧‧資料產生裝置
501,801‧‧‧處理器
502,802‧‧‧儲存單元
503,803‧‧‧輸入元件
504,804‧‧‧輸出元件(顯示元件)
505,805‧‧‧介面單元
506,806‧‧‧滙流排
601‧‧‧參數計算步驟
602‧‧‧參數與影像的關聯步驟
603‧‧‧資料檔案產生步驟
604‧‧‧資料檔案與影像的關聯步驟
605‧‧‧信息產生步驟
800‧‧‧處理裝置
901‧‧‧參數擷取步驟
902‧‧‧影像處理步驟
a‧‧‧像素射束腰部半徑
c‧‧‧從腰部算起的距離
P‧‧‧物件空間中的像素(P’的共軛)
P’‧‧‧影像空間中的像素
θ x ,θ y ‧‧‧表示剪切角的參數
以下將參考附圖並僅藉由範例以描述本發明的實施例，圖中：圖1A係以圖示意描繪全光相機；圖1B描繪多陣列相機；圖2描繪一組光線在相機(或光學獲取系統)的光學系統的物件空間所佔用體積；圖3描繪單葉雙曲面；圖4係以另一視圖描繪單葉雙曲面；圖5係根據本發明的一實施例以示意方塊圖描繪用以產生像素射束表示資料的裝置範例；圖6係根據本發明的一實施例以流程圖說明用以產生像素射束表示資料的過程；圖7係根據本發明的一實施例以描繪一數位檔案，係根據用以產生像素射束表示資料的過程所產生；圖8係根據本發明的一實施例以示意方塊圖描繪用以處理光學獲取系統所擷取影像的裝置範例；圖9係根據本發明的一實施例以流程圖說明用以處理光學獲取系統所擷取影像的過程；圖10描繪一高斯射束(Gaussian beam)的幾何形狀。
如熟諳此藝者所了解，本發明原理的方面係可具體實現為系統、方法，或電腦可讀取媒體，因此，本發明原理的方面可採取以下形式：完全硬體實施例、完全軟體實施例(包括有韌體、常駐軟體、微碼等)，或結合軟體及硬體方面的實施例，其在本文中通常皆稱為”電路”、”模組”，或”系統”。此外，本發明原理的方面可採取電腦可讀取儲存媒體的形式，可利用一或多個電腦可讀取儲存媒體的任何組合。
用於任何光學獲取系統(係全光或可能不是)，除了表示光學獲取系統所擷取4D光場資料的原始影像或核線影像之外，得到相關該光學獲取系統的感測器的像素與該光學獲取系統的物件空間之間對應關係的資訊令人關注。知道屬於光學獲取系統的感測器的一像素正在感測該光學獲取系統的哪部分物件空間，能用以提升信號處理操作，如解多工、解馬賽克、重聚焦等，並能用以混合不同特徵的不同光學系統所擷取的影像。此外，相關光學獲取系統的感測器的像素與該光學獲取系統的物件空間之間對應關係的資訊係與光學獲取系統無關。
本發明引進像素射束20的概念(顯示在圖2)，其描繪一組光線在一相機或光學獲取系統(未顯示在圖2)的光學系統21的物件空間所佔用體積。相機的一感測器23的一像素22透過該光學系統21的光瞳24感測到該組光線，光學系統21可係適用於光子或視訊相機的一透鏡組合，一光學系統的光瞳係定義為一孔徑光闌的影像，如透過該光學系統(即光學獲取系統的透鏡，其在該孔徑光闌之前)所見。一孔徑光闌係一開口，其限制通過光學獲取系統的光學系統的光量，例如，位在相機鏡頭內部的可調式光圈葉片係用於鏡頭的孔徑光闌。允許通過光圈的光量係由光圈開口的直徑(其係可依相機使用者希望允許的光量來調適)來控制，例如，使孔徑變小以縮減允許通過光圈的光量，及同時增加焦點深度。因一部分透鏡的折射作用，光闌的視尺寸係可比其實體尺寸較大或較小。正式地說，光瞳係孔徑光闌透過光學獲取系統位在實體光闌與觀察空間之間的所有透鏡所見的影像。
一像素射束20係定義為一束光線，其在經由一入射光瞳24傳播通過光學系統21時到達一給定像素22。由於光在自由空間係依直線行進，因此此一像素射束20的形狀係可由二截面定義，一者係像素22的共軛25，及另一者係入射光瞳24。像素22係由其非空表面及其敏感度圖來定義。
因此，如圖3所顯示，一像素射束30係可由單葉雙曲面來表示，由二元件支持：光瞳34，及像素22在物件空間的共軛35。
單葉雙曲面係一規則表面，其可支持光線束概念，並符合實體光束的”範圍(étendue)”概念，及連結到跨越實體光束截面保留能量的 概念。
單葉雙曲面對應到高斯射束的幾何。實際上，在光學中，高斯射束係單色電磁輻射束，其橫向磁場及電場振幅輪廓係由高斯函數提供；此亦隱含一高斯強度輪廓。由於此一光束係可聚焦成最集中點，因此，此基本橫向高斯模式描述大部分雷射的預期輸出。
以下方程式假設一射束在所有z值具有一圓形橫截面；此係可藉由注意到單一橫向尺寸(r)出現而看出。
在沿著射束的一位置z(自焦點測量起)，點大小參數w係提供如下： 其中w 0係腰部大小。
如圖10所描繪，在離腰部的距離等於z R，射束的寬w係等於 w 0。
雖然高斯函數的尾實際上不曾達到零，用於z>>z R ，此表示遠離腰部，射束”邊”係錐形。沿著錐的線(其r=w(z))與射束的中心軸(r=0)之間的角係稱為射束的散度。
射束遠離腰部的總角度展開則由Θ=2θ提供。
如圖4所描繪，單葉雙曲面40係大致同等於其漸近錐面41、42，除了在其最小截面的基本區域，稱為腰部45，其對應到物件空間中的共軛25。用於全光系統如光場相機，此係執行藉由多重路徑射線空間採樣的區域。在此區域利用錐形進行空間採樣並不適當，因像素22敏感度在其表面的數十平方微米上係顯著的且無法以數學上具有無限小表面的一點(就如一錐頂)來表示。
在本發明的第一實施例中，定義各像素射束20、30、40係藉由四個參數z P ,θ x ,θ y ,a(定義像素共軛25、45(在光瞳24、34前方)的位置及大小)，及藉由六個光瞳參數x O ,y O ,z O ,θ x0 ,θ y0 ,r(其定義光瞳24、34的位置、定向及半徑)，此六個光瞳參數係共用於共享同一光瞳24、34的像素射束集合，實際上，一像素射束表示像素22透過光瞳24所感測的 一組光線在光學系統21的物件空間所佔用的體積，即一給定對耦(像素22/光瞳24、34)對應到單一像素射束20、30、40，但複數個相異像素射束係可由同一光瞳24、34支持。
如圖2所顯示，一坐標系(x,y,z)(其中定義像素射束20、30、40的參數)的原點O對應到光瞳24的中心，其中z軸定義正交於光瞳24、34的表面的方向。
參數θ x ,θ y 定義主射線方向，關連到光瞳24中心的入射，該等參數係取決於像素22在感測器23上的位置及取決於光學系統21的光學元件。較精確地，參數θ x ,θ y 表示剪切角，定義從光瞳24的中心往像素22的共軛25的方向。
參數z P 表示像素射束20、30、40的腰部45(或像素22的共軛25)與光瞳中心之間沿著z軸的距離。
參數a表示像素射束20、30、40的腰部45的半徑。
用於光學系統21(其中可使光學失真及場曲率模型化)，經由參數函數，參數z P 及a係可取決於參數θ x 及θ y 。
四個參數z P ,θ x ,θ y ,a係相關像素22及其共軛25。
定義像素射束20、30、40的六個補充光瞳參數係：- r，其表示光瞳24、34半徑，- x O ,y O ,z O ，其表示光瞳24、34中心在(x,y,z)坐標系中的坐標，及- θ x0 ,θ y0，其表示光瞳24、34在參考(x,y,z)坐標系中的定向。
此六個光瞳參數係相關光瞳24、34。定義另一參數c，此一參數c係依存於參數z P 及a(相關像素22及其共軛25)，及依存於參數r(相關光瞳24、34)。參數c定義像素射束20、30、40的角孔徑α並由公式tan(α)=提供。
因此參數c的表式係由以下方程式提供： 屬於像素射束20、30、40定界表面的點在物件空間的坐標(x,y,z)係以上所定義參數集(相關光瞳24及相關像素的共軛25)的函數。因此，能用以產生單葉雙曲面(表示像素射束20、30、40)的方程式(2) 係：
表示像素射束20、30、40的相同雙曲面的參數方程式(3)係： 其中v係(x,y)平面中的一角度，能用以從一生成雙曲線中產生像素射束20、30、40，v係在[0,2π]區間中變動，及z [0,∞]係沿著z軸(其定義正交於光瞳24、34表面的方向)的坐標。方程式(2)及(3)係依以下假設寫成：像素22及其共軛25的截面係圓形，及光瞳24、34的截面亦圓形。
為要得到像素射束20、30、40如何將光學系統21的物件空間採樣的精確描述，判定像素22的截面幾何及光瞳24、34的截面幾何如何舖物件空間令人關注，此判定引到入射到物件空間的光如何在感測器23的不同像素22之間分布的知識。
因此定義另一參數集，為要描述以下各項的截面形狀：光瞳24、34及像素22，及像素22的共軛25。
定義第一參數A O ，參數A O 表示允許用於非對稱光瞳24、34的縱橫比。
定義第二參數A P ，參數A P 表示允許在像素22的共軛25、45(腰部)用於非對稱像素射束的縱橫比。
第三參數依存參數α係定義如下： α係一係數，其表示像素射束20、30、40形狀沿著z軸在光瞳24、34與像素22的共軛25、45之間的傳播，與光瞳24、34的截面形狀及像素22的截面形狀無關；並從像素22的共軛25、45到無限遠。參數k係調整像素射束20、30、40形狀沿著z軸展開的參數，k 1.3的值逼近參數α在 光瞳24、34與像素22的共軛25、45之間的線性變動。
二參數ρ O 及ρ P (稱為極半徑因子)係分別描述光瞳24、34的形狀及像素22的共軛25、45的形狀，參數ρ O 及ρ P 係由以下方程式定義： 其中ρ係極半徑，定義用於角度v的單位平方點。
下表(稱為表一)提供A O =A P =1.0時參數ρ O 及ρ P 的值的範例：
考量到以上所定義相關光瞳24、34的截面形狀及像素22的截面形狀及像素22的共軛25的截面形狀的參數，表示像素射束20、30、40的雙曲面的延伸參數方程式(6)係：
相關該光學獲取系統的感測器的像素與該光學獲取系統的物件空間之間對應關係的資訊或可採取一參數集的形式，包括有四個參數z P ,θ x ,θ y ,a，定義像素共軛25、45(在光瞳24、34前方)的位置及大小，及六個光瞳參數x O ,y O ,z O ,θ x0 ,θ y0 ,r，其在像素射束將由其參數方程式表示時定義光瞳24、34的位置、定向及半徑。因此，在表示光學獲取系統 所擷取4D光場資料的原始影像或核線影像之外，尚提供此參數集，為要在處理4D光場資料時使用。
該等相關像素射束的額外資訊係關聯到一給定光學獲取系統的元資料，其係可提供為一資料檔案，例如儲存在一CD-ROM或備有光學獲取系統的快閃驅動器上，含有相關像素射束額外資訊的資料檔案亦可從屬於光學獲取系統製造商的伺服器下載。在本發明的一實施例中，此等相關像素射束的額外資訊係亦可內嵌在光學獲取系統所擷取影像的標頭中。
此等相關像素射束的資訊知識能用以處理任何光學獲取系統所擷取的影像，與專屬檔案格式無關，亦與用以擷取待處理影像的光學獲取系統的特徵無關。
圖5係根據本發明的一實施例以示意方塊圖描繪用以編碼光學獲取系統所擷取影像的裝置範例，此一裝置可係光學獲取系統如相機。
裝置500包括一處理器501、一儲存單元502、一輸入元件503、一顯示元件504，及一介面單元505，該等元件係藉由一匯流排506來連接。當然，電腦裝置500的構成元件係可藉由滙流排連接以外的連接方式來連接。
處理器501控制裝置500的操作，儲存單元502儲存將由處理器501執行能用以編碼光學獲取系統所獲取影像的至少一程式，及儲存各種資料，包括有相關像素22在感測器23的位置的參數、相關光瞳位置的參數或相關光學獲取系統的光學系統21的參數、處理器501所執行運算所使用的參數、處理器501所執行運算的中間資料等。處理器501係可由任何習知且合適的硬體或軟體或硬體與軟體的組合來形成，例如，可由專屬硬體如處理電路或由可程式處理單元如CPU(中央處理單元)來形成處理器501，以便執行其記憶體中所儲存程式。
儲存單元502係可由任何能以電腦可讀取方式儲存程式、資料或類似物的合適儲存體或構件來形成，儲存單元502的範例包括非暫態電腦可讀取儲存媒體如半導體記憶元件，及載入一讀取及寫入單元的磁性、光學或磁光記錄媒體。程式令處理器501執行一過程，根據本發 明如以下參考圖6所描述的一實施例，用以計算一組光線在光學系統的物件空間所佔用體積的表示參數，並將此等參數與光學獲取系統所擷取影像進行編碼。
輸入元件503係可由鍵盤、指向元件如滑鼠，或類似物來形成，由使用者用以輸入命令以作出使用者的參數選擇，用以產生一組光線在一光學系統的物件空間所佔用體積的參數表示法。輸出元件504係可由一顯示元件形成，例如一圖形使用者介面(GUI)，用以顯示根據本發明的一實施例所產生的影像。輸入元件503及輸出元件504例如係可藉由一螢幕觸控面板而一體成型。
介面單元505提供裝置500與一外部裝置之間的介面，介面單元505係可經由纜線或無線通訊與外部裝置通訊，在一實施例中，外部裝置可係光學獲取系統如相機、智慧型手機、數位板等。
圖6係根據本發明的一實施例以流程圖說明用以產生像素射束資料表示的過程。
裝置500的處理器501執行程式，該程式能計算像素射束(屬於光學獲取系統的一像素射束集合)的表示參數，並能將此等參數與光學獲取系統所擷取影像進行編碼。
因此，在一步驟601期間，處理器501計算六個光瞳參數，x O ,y O ,z O ,θ x0 ,θ y0 ,r，其定義光瞳24、34的位置、定向及半徑。此步驟601係執行用於光學獲取系統的各光瞳24及感測器23的各像素22。
例如在光學獲取系統的一校準階段期間藉由執行一程式以實現此計算，該程式能將光線透過光學系統21的傳播模型化。此一程式例如係光學設計程式如Zemax©、ASAP©或Code V©。光學設計程式係用以設計及分析光學系統21，光學設計程式將光線透過光學系統21的傳播模型化；及能將光學元件(如簡單透鏡、非球面透鏡、梯度指數透鏡、反射鏡及繞射光學元件等)的作用模型化。一商用鏡頭程式庫係儲存在裝置500的儲存單元502中，當處理器501執行光學設計程式時可存取到該處理器中。
在一步驟602期間，處理器501計算四個參數z P ,θ x ,θ y ,a，定義像素共軛25、45(在光瞳24、34前方)的位置及大小。此計算係基於 定義光瞳24、34的參數(在步驟601期間所計算)，及基於定義像素22在感測器23的位置的參數(儲存在裝置500的儲存單元502中)。亦在光學獲取系統的校準階段藉由執行一程式以實現此計算，該程式能將光線透過光學系統21的傳播模型化。步驟602係執行用於感測器23的各像素22。
在一步驟603期間，處理器501係從光學獲取裝置所擷取光場資料中計算出感測器23的一像素22所擷取光強度的表示參數。取決於感測器23的類型，像素22所擷取光強度的表示參數例如係一顏色通道屬性如R、G或B，或其一組合RGB，或亮度屬性L或紅外線屬性IR等。
在一步驟604中，處理器501產生一數位檔案，包括有光學獲取系統的光瞳24、34的定義參數，及關聯到各光瞳，像素22的共軛35(其利用光瞳以定義一像素射束)的定義參數。像素22(其共軛35定義像素射束)所擷取光強度的表示參數係關聯到光瞳24、34的定義參數。所產生的資料檔案例如係儲存在CD-ROM或備有光學獲取系統的快閃驅動器上，或儲存在屬於光學獲取系統製造商的伺服器上。
在圖7描繪此一數位檔案70，數位檔案70表示一光學獲取系統如相機的一像素射束集合，各光瞳1至Y對應到相機的一微透鏡(當相機係全光相機時)，或對應到不同相機的透鏡(在相機陣列的情形)。
數位檔案70的一欄位71係專屬於相機的各光瞳1至Y，在此欄位中儲存有相關所考慮光瞳的所有參數，如六個光瞳參數x O ,y O ,z O ,θ x0 ,θ y0 ,r(其定義光瞳的位置、定向及半徑)，一參數A O (表示允許用於非對稱光瞳的縱橫比)，及一參數ρ O (稱為極半徑因子，描述光瞳的形狀)。
在專屬於一光瞳1至Y的各欄位中，相關該光瞳所定義像素射束1至X的參數係儲存在專屬子欄位72中。在此等子欄位72中儲存有四個參數z P ,θ x ,θ y ,a(定義像素共軛25、45(在光瞳24、34前方)的位置及大小)，一參數A P (表示允許用於非對稱光瞳的縱橫比)及一參數ρ P (稱為極半徑因子，描述像素的形狀)，及一像素(其共軛定義像素射束)所擷取光強度的表示參數。
在本發明的一實施例中，數位檔案70包括至少二相異光學獲取裝置的光瞳及像素共軛的定義參數，各光學獲取裝置係以外在參數 如3×3旋轉矩陣及3×1平移向量為其特徵，旋轉矩陣及平移向量兩者皆係藉由獲取裝置的外在校準所得到。
在本發明的另一實施例中，在一步驟605期間，處理器501使數位檔案關聯到光學獲取系統所擷取影像，該數位檔案包括有像素射束(相關光學獲取系統的感測器的不同像素)的表示參數。資料檔案例如係儲存在所擷取影像的標頭的一特定欄位中。
在一步驟606期間，處理器501產生一信息(待傳送到能處理光學獲取系統所擷取影像的裝置)。在本發明的第一實施例中，該信息包括資料檔案，該資料檔案包括有所計算表示像素射束(相關光學獲取系統的感測器的不同像素)的參數。在本發明的第二實施例中，該信息在於光學獲取系統所擷取影像，內嵌有資料檔案在其標頭的一欄位中。
接著將此信息透過介面單元505傳送到一外部裝置，介面單元505係經由纜線或無線通訊將信號(攜帶有包括參數的信息)傳送到外部裝置。外部裝置係能使用所接收參數(在裝置500所傳送信息中)以處理光學系統21所擷取的影像。
圖8係根據本發明的一實施例以示意方塊圖描繪用以處理光學獲取系統所擷取影像的裝置範例。
裝置800包括一處理器801、一儲存單元802、一輸入元件803、一顯示元件804，及一介面單元805，此等元件係藉由一滙流排806來連接，當然，電腦裝置800的構成元件係可藉由匯流排連接以外的連接方式來連接。
處理器801控制裝置800的操作，儲存單元802儲存至少一程式(能由處理器801執行以處理光學獲取系統所獲取影像)，及各種資料，包括有相關像素22在感測器23的位置的參數或相關光學獲取系統的光學系統21的參數，處理器801所執行運算使用的參數，處理器801所執行運算的中間資料等。處理器801係可藉由任何習知且合適的硬體或軟體或硬體與軟體的組合來形成，例如，可藉由專屬硬體如處理電路或藉由可程式處理單元如CPU(中央處理單元)來形成處理器801，以便執行其記憶體中所儲存程式。
儲存單元802係可藉由能以電腦可讀取方式儲存程式、資 料或類似物的任何合適儲存體或構件來形成，儲存單元802的範例包括非暫態電腦可讀取儲存媒體如半導體記憶元件，及載入一讀取及寫入單元中的磁性、光學或磁光記錄媒體。程式令處理器801執行一過程，根據本發明如以下參考圖9說明的實施例，基於具備有待處理影像的像素射束的參數以處理光學獲取系統所擷取的影像。
輸入元件803係可藉由鍵盤、指向元件如滑鼠，或類似物來形成，由使用者用以輸入命令以作出使用者的參數選擇，用以處理光學獲取系統所擷取的影像。輸出元件804係可藉由一顯示元件來形成，例如一圖形使用者介面(GUI)，用以顯示根據本發明的一實施例所產生的影像。輸入元件803及輸出元件804例如係可藉由一觸控螢幕面板而一體成型。
介面單元805提供裝置800與一外部裝置之間的介面，介面單元805係可經由纜線或無線通訊與外部裝置通訊，在一實施例中，外部裝置可係光學獲取系統或裝置。
圖9係根據本發明的一實施例以流程圖說明用以處理光學獲取系統所擷取影像的過程。
裝置800的處理器801執行程式，能基於參數以處理光學獲取系統所擷取影像，該等參數表示與待處理影像關聯的一像素射束。
因此，處理器801在一步驟901期間，從一CD-ROM或備有光學獲取系統的快閃驅動器中擷取像素射束(其將用以處理所擷取影像)的表示參數，或藉由從屬於光學獲取系統製造商的伺服器下載包括有該等參數的資料檔案。在本發明的一實施例中，處理器801係在待處理影像的標頭中擷取此等參數。
接著，在一步驟902期間，基於步驟901期間所擷取像素射束20、30、40的表示參數以處理步驟901期間光學獲取系統所擷取影像。
擷取影像的處理可在於解多工、解馬賽克、重聚焦、呈現或將該擷取影像與一相異光學獲取系統所擷取的至少另一影像混合，或此等作用中的任何組合。
雖然以上已參考特定實施例以說明本發明，但本發明係不 限於該等特定實施例，包括在本發明範圍內的修改對熟諳此藝者將顯而易見。
參考以上繪示的實施例，熟諳此藝者將輕易看出許多進一步的修改及變化，該等實施例係只藉由範例方式提供，並不希望用以限制本發明的範圍，其係單由後附申請專利範圍來判定，尤其，只要適當，依據不同實施例的不同特徵係可互換。
21‧‧‧光學系統
22‧‧‧像素
23‧‧‧感測器
24‧‧‧光瞳
25‧‧‧像素之共軛
P‧‧‧物件空間中之像素(P’之共軛)
P’‧‧‧影像空間中之像素
θ x ,θ y ‧‧‧表示剪切角之參數

Claims (12)

  1. 一種用電腦實施之資料產生方法，用以產生一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束，該方法包括有產生一數位檔案，包括有該像素射束之資料表示，該資料包括有：- 光學獲取裝置之該光瞳之定義參數，- 該像素射束之最小截面之定義參數，該最小截面稱為腰部，其對應至感測器之該至少一像素在物件空間之共軛，其中基於該至少一像素之定義參數以計算該像素射束之腰部之該等定義參數。
  2. 如申請專利範圍第1項之方法，其中該像素所擷取光強度之表示參數，係從光學獲取系統所擷取光場資料中得到，係關聯至該數位檔案中表示像素射束之參數。
  3. 如先前申請專利範圍中任一項之方法，其中光瞳之定義參數包括光瞳之半徑，相關光學獲取系統之坐標系中之光瞳中心坐標，及該坐標系中定義光瞳定向之角度。
  4. 如先前申請專利範圍中任一項之方法，其中像素射束腰部之表示參數包括像素射束腰部與光瞳中心間之距離，及像素射束腰部在坐標系中之定向。
  5. 一種資料產生裝置，用以產生一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束，該裝置包括有一處理器，配置用以產生一數位檔案，包括該像素射束之資料表示，該資料包括有：- 光學獲取裝置之該光瞳之定義參數，- 該像素射束之最小截面之定義參數，該最小截面稱為腰部，對應至感測器之該至少一像素在物件空間之共軛，其中基於該至少一像素之定義參數以計算該像素射束腰部之該等定義參 數。
  6. 如申請專利範圍第5項之裝置，其中該像素所擷取光強度之表示參數，係從光學獲取裝置所擷取光場資料中得到，係關聯至數位檔案中表示像素射束之參數。
  7. 如申請專利範圍第5至6項中任一項之裝置，其中光瞳之定義參數包括光瞳之半徑，相關光學獲取裝置之坐標系中之光瞳中心坐標，及該坐標系中定義光瞳定向之角度。
  8. 一種光場成像裝置，包括有：- 一微透鏡陣列，排列在一規則晶格結構中；- 一光感測器，配置用以擷取從微透鏡陣列投射在光感測器之光，光感測器包括有像素集，各像素集係在光學上與微透鏡陣列之個別微透鏡關聯；及- 如申請專利範圍第5項之裝置，用以提供一數位檔案，包括有一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束。
  9. 一種影像呈現裝置，使用如申請專利範圍第1至4項中任一項方法所得到之數位檔案，用以從光場資料呈現出一影像，該數位檔案包括有一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束。
  10. 一種數位檔案，包括有一組光線通過光學獲取系統之光瞳在該光學獲取系統之物件空間所佔用體積之資料表示，及該光學獲取系統之感測器所感測至少一像素之共軛之資料表示，該組光線所佔該體積係稱為一像素射束，該資料包括有：- 光學獲取裝置之該光瞳之定義參數，- 該像素射束之最小截面之定義參數，該最小截面稱為腰部，其對應至感測器之該至少一像素在物件空間之共軛，其中基於該至少一像素之定義參數以計算該像素射束之腰部之該等定義參數。 - 該像素所擷取之光強度，係從光學獲取系統所擷取光場資料中得到。
  11. 如申請專利範圍第10項之數位檔案，係藉由如申請專利範圍第1至4項中任一項之方法所得到。
  12. 一種用於可程式裝置之電腦程式產品，該電腦程式產品包括有一指令序列，當由可程式裝置載入並執行時用以實施如申請專利範圍第1至4項中任一項之方法。
TW105130175A 2015-09-17 2016-09-19 一種用電腦實施之資料產生方法及裝置，一種光場成像裝置，一種影像呈現裝置及一種用於可程式裝置之非暫時性電腦程式產品 TWI717387B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306445.6A EP3145168A1 (en) 2015-09-17 2015-09-17 An apparatus and a method for generating data representing a pixel beam
EP15306445.6 2015-09-17

Publications (2)

Publication Number Publication Date
TW201723636A true TW201723636A (zh) 2017-07-01
TWI717387B TWI717387B (zh) 2021-02-01

Family

ID=54252223

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105130175A TWI717387B (zh) 2015-09-17 2016-09-19 一種用電腦實施之資料產生方法及裝置，一種光場成像裝置，一種影像呈現裝置及一種用於可程式裝置之非暫時性電腦程式產品

Country Status (11)

Country Link
US (1) US10902624B2 (zh)
EP (2) EP3145168A1 (zh)
JP (1) JP6882266B2 (zh)
KR (1) KR102562696B1 (zh)
CN (1) CN108353120B (zh)
BR (1) BR112018005345A2 (zh)
CA (1) CA2998671A1 (zh)
MX (1) MX2018003267A (zh)
RU (1) RU2018113711A (zh)
TW (1) TWI717387B (zh)
WO (1) WO2017046393A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716176B (zh) * 2016-06-07 2021-09-17 艾瑞3D 有限公司 用于深度采集和三维成像的光场成像装置和方法
EP3270589A1 (en) * 2016-07-11 2018-01-17 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7028899B2 (en) * 1999-06-07 2006-04-18 Metrologic Instruments, Inc. Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target
CN101002482B (zh) 2004-08-10 2010-06-09 皇家飞利浦电子股份有限公司 视图模式的检测
KR101134208B1 (ko) * 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US20130113981A1 (en) * 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US8103111B2 (en) 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US7982646B2 (en) 2008-07-31 2011-07-19 Northrop Grumman Systems Corporation Method and apparatus for matched quantum accurate feedback DACs
AU2008246243B2 (en) 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
JP2010176325A (ja) 2009-01-28 2010-08-12 Ntt Docomo Inc 任意視点画像生成装置及び任意視点画像生成方法
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8259210B2 (en) * 2010-03-01 2012-09-04 Fujifilm Corporation Imaging lens and imaging system
JP5793975B2 (ja) 2010-08-03 2015-10-14 株式会社リコー 画像処理装置、画像処理方法、プログラム、記録媒体
US20140176592A1 (en) * 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
AR086113A1 (es) 2011-04-30 2013-11-20 Abbott Lab Isoxazolinas como agentes terapeuticos
JP6080417B2 (ja) 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法
CN103946732B (zh) * 2011-09-26 2019-06-14 微软技术许可有限责任公司 基于对透视、近眼显示器的传感器输入的视频显示修改
WO2013049699A1 (en) * 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
JP5913934B2 (ja) 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US20130235261A1 (en) 2012-03-07 2013-09-12 Ricoh Co., Ltd. Plenoptic Imaging System with a Body and Detachable Plenoptic Imaging Components
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US20140181630A1 (en) 2012-12-21 2014-06-26 Vidinoti Sa Method and apparatus for adding annotations to an image
US9219866B2 (en) * 2013-01-07 2015-12-22 Ricoh Co., Ltd. Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
WO2014198351A1 (en) 2013-06-12 2014-12-18 Vidinoti Sa Method and apparatus for identifying local features
JP2015011320A (ja) * 2013-07-02 2015-01-19 キヤノン株式会社 撮像装置及びその制御方法
US9460515B2 (en) 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
JP6346476B2 (ja) * 2014-03-17 2018-06-20 キヤノン株式会社 表示制御装置、制御方法、プログラム及び記録媒体
EP3065394A1 (en) * 2015-03-05 2016-09-07 Thomson Licensing Light field metadata
CN108353188B (zh) * 2015-09-17 2022-09-06 交互数字Vc控股公司 用于编码光场内容的方法
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3144879A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a light field
EP3144890A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for calibrating an optical acquisition system
WO2017045875A1 (en) * 2015-09-17 2017-03-23 Thomson Licensing An apparatus and a method for encoding an image captured by an optical acquisition system
KR101933037B1 (ko) * 2017-03-24 2018-12-27 주식회사 씨오티커넥티드 360도 동영상에서의 가상현실 재생 장치
US11025888B2 (en) * 2018-02-17 2021-06-01 Dreamvu, Inc. System and method for capturing omni-stereo videos using multi-sensors

Also Published As

Publication number Publication date
EP3350982B1 (en) 2021-09-08
RU2018113711A3 (zh) 2020-02-20
EP3350982A1 (en) 2018-07-25
TWI717387B (zh) 2021-02-01
US10902624B2 (en) 2021-01-26
MX2018003267A (es) 2018-11-09
CN108353120A (zh) 2018-07-31
KR20180053718A (ko) 2018-05-23
CA2998671A1 (en) 2017-03-23
KR102562696B1 (ko) 2023-08-03
US20180260969A1 (en) 2018-09-13
BR112018005345A2 (pt) 2018-10-09
CN108353120B (zh) 2020-10-23
JP6882266B2 (ja) 2021-06-02
JP2018535577A (ja) 2018-11-29
RU2018113711A (ru) 2019-10-18
EP3145168A1 (en) 2017-03-22
WO2017046393A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
US9900510B1 (en) Motion blur for light-field images
US10021340B2 (en) Method and an apparatus for generating data representative of a light field
TWI713582B (zh) 產生像素射束表示資料之方法及裝置
JP6902529B2 (ja) 光学的捕捉システムを校正する装置及び方法
JP2018531448A6 (ja) 光学的捕捉システムを校正する装置及び方法
JP2018033133A (ja) ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置
TWI709108B (zh) 產生像素射束表示資料之裝置及方法
TW201723635A (zh) 將光學獲取系統所擷取影像編碼之裝置及方法
TW201723636A (zh) 產生像素射束表示資料之裝置及方法
KR102454773B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
KR20180098565A (ko) 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치
KR102402432B1 (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법