TW201620286A - 包括有發光元件之全光相機 - Google Patents

包括有發光元件之全光相機 Download PDF

Info

Publication number
TW201620286A
TW201620286A TW104137421A TW104137421A TW201620286A TW 201620286 A TW201620286 A TW 201620286A TW 104137421 A TW104137421 A TW 104137421A TW 104137421 A TW104137421 A TW 104137421A TW 201620286 A TW201620286 A TW 201620286A
Authority
TW
Taiwan
Prior art keywords
light
array
light sensing
camera
plenoptic camera
Prior art date
Application number
TW104137421A
Other languages
English (en)
Other versions
TWI679887B (zh
Inventor
沃特 德拉茲克
墨茲德 賽菲
尼烏斯 沙巴特
Original Assignee
湯姆生特許公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯姆生特許公司 filed Critical 湯姆生特許公司
Publication of TW201620286A publication Critical patent/TW201620286A/zh
Application granted granted Critical
Publication of TWI679887B publication Critical patent/TWI679887B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本發明係為一種全光相機，包括有一相機鏡頭(10)、一包括有複數個微透鏡(111,112,11n)之微透鏡陣列(11)，及一光感元件陣列(13)。為要判定子影像之參考像素，相機鏡頭(10)包括一發光元件(20)，設置於相機鏡頭(10)之孔徑光闌面中，發光元件(20)照明光感元件陣列(13)。

Description

包括有發光元件之全光相機
本發明相關全光相機及光場獲取裝置及方法的領域，而且本發明相關校準全光相機的領域。
根據背景技術，已知利用全光相機(亦稱光場相機)以獲取同一場景的不同鏡頭，圖1係根據先前技術以描繪此一全光相機1，全光相機1係一光感元件陣列13(亦稱影像感測器陣列13)關聯的透鏡排列所構成。光感元件陣列13包括大數量m的光感元件131、132、133至13m，依X行及Y列的網格形式設置，m對應到X乘Y。一濾色鏡陣列(CFA)12係設置在光感元件陣列13上，CFA 12通常係在光感元件陣列上設置RGB(紅、綠及藍)濾色鏡，RGB排列例如採用拜耳(Bayer)濾鏡馬賽克形式。通常，一濾色鏡(紅、綠或藍色濾鏡)與一光感元件關聯係根據一預定型樣，其在拜耳濾鏡的範例中包括50%綠色、25%紅色及25%藍色，此一型樣亦稱為RGBG、GRGB或RGGB型樣。透鏡排列包括一主透鏡10(亦稱一次透鏡)，及一微透鏡陣列11，其包括複數個n微透鏡111、112、11n，n係大於或等於2的正整數。微透鏡111、112、11n係依此一方式排列，使各微透鏡在光學上與複數個光感元件關聯。在光學上與一微透鏡關聯的光感元件數目對應到利用全光相機1獲取的場景鏡頭數目，與一給定微透鏡關聯的光感元件形成一微透鏡微像。為得到不同鏡頭，將原始影像(即利用光感元件陣列13獲取的色彩感測器資料)解馬賽克及解多工。解馬賽克能用以恢復全彩原始影像，即用以恢復全彩資訊(例如RGB資訊，RGB表示”紅色”、”綠色”及”藍色”)用於原始影像的像素，而利用全光相機獲取的原始影像只使一色彩分量(例如R、G或B)與各像素關聯。在解馬賽克後執行解多工，能用以恢復場景的不同鏡頭，即根據所屬鏡頭將解馬賽克的原始影像的像素分組。
為恢復場景的不同鏡頭，需要校準全光相機獲取的原始影 像，此校準的主要目標係為識別各微透鏡微像的中心點位置，各微像係形成在全光相機的光感元件陣列上。由於各種錯綜複雜，中心點位置識別有關過程受到各種議題困擾，導致整個光感元件陣列的估算中心與主透鏡子孔徑的單一位置(其理應在光學上隨該等中心像素變化)之間不匹配。若光感元件陣列係具備有一拜耳型濾色鏡陣列(CFA)，則甚至更加衝擊估算的精確度，若使用全面最佳化以估算該等中心，則此一最佳化通常無法考量到個別微透鏡在微透鏡陣列中的大小及相對位置的裝配分散。此外，若估算位置係位在一些像素/光感元件之間的邊緣附近，則中心的估算不明確：四捨五入的最接近整數用以選擇正確像素，選擇一像素並非該微像的中心像素的機率大。
此外，每次使主透鏡在調焦中或聚焦中已歷經變化，必須再次估算微像中心，為此緣故，必須採用具有相同透鏡設定的一白色平面圖像，及使用最小平方最佳化方法從該影像中檢索鏡頭解多工所需的參數。此做法產生不便，原因是每次已微調主透鏡用於快照，校準該系統不太方便，若該系統亦可視訊，這亦表示亦禁止攝影時調焦。
本發明的目的為克服此等背景技術缺點中的至少一者。
本發明涉及一種全光相機，包括有一相機鏡頭、包括有複數個微透鏡的一微透鏡陣列，及一光感元件陣列，其中相機鏡頭包括一發光元件，設置在相機鏡頭的孔徑光闌面中，發光元件照明光感元件陣列。
根據一特殊特徵，發光元件係設置在該孔徑光闌面的中心。
有利地，發光元件係透明的。
根據一特定特徵，全光相機包括一檢測元件，用以檢測該相機鏡頭的至少一參數的變更。
有利地，至少一參數的變更檢測觸發發光元件照明光感元件陣列。
根據另一特徵，發光元件在至少一影像獲取週期的至少一部分期間照明光感元件陣列。
有利地，發光元件放射白光。
根據一特定特徵，發光元件連續地放射紅光、綠光及藍光。
根據另一特徵，發光元件係發光二極體。
而且，本發明涉及一種校準全光相機的方法，全光相機包括有一相機鏡頭、包括有複數個微透鏡的一微透鏡陣列，及一光感元件陣列，該方法包括有：- 利用一發光元件照明光感元件陣列，該發光元件係設置在相機鏡頭的孔徑光闌面中；- 判定光感元件陣列中由發光元件照亮的光感元件；- 根據判定的光感元件以校準全光相機。
有利地，該方法尚包括檢測相機鏡頭的至少一參數的變更，照明係由檢測來觸發。
根據一特定特徵，在至少一影像獲取週期的至少一部分期間照亮光感元件陣列。
根據另一特徵，判定包括測量光感元件陣列的各光感元件接收的光強度，判定的光感元件對應到測得光強度最大的光感元件。
有利地，一光感元件係判定用於微透鏡陣列的各微透鏡。
根據一特定特徵，判定用於各微透鏡的光感元件對應到該微透鏡關聯的一微像的中心像素。
而且，本發明涉及一種包括有全光相機的電信裝置。
1‧‧‧全光相機(先前技術)
2‧‧‧全光相機(本發明)
10‧‧‧相機鏡頭
11‧‧‧微透鏡陣列
111,112,...,11n,41,42,...,48‧‧‧微透鏡
12‧‧‧濾色鏡陣列
13‧‧‧光感元件陣列
131,132,...,13m,330,331,...,338,411,...,414,421,431‧‧‧光感元件
20‧‧‧發光元件
21‧‧‧透明玻璃板
201‧‧‧鏡頭單元
202‧‧‧相機本體
203‧‧‧硬體模組
2031‧‧‧處理器
2032‧‧‧記憶體
30‧‧‧一束光線
31,32‧‧‧後透鏡元件
33‧‧‧微透鏡
34‧‧‧一點
35‧‧‧一部分光線
300‧‧‧孔徑光闌面
301‧‧‧出射光瞳
4‧‧‧投影
511,521,531‧‧‧參考像素
60‧‧‧初始化步驟
61‧‧‧照明光感元件陣列步驟
62‧‧‧判定步驟
63‧‧‧校準步驟
7‧‧‧電信裝置
71‧‧‧微處理器
72‧‧‧唯讀記憶體(ROM)型式的不變性記憶體
73‧‧‧隨機存取記憶體(RAM)
74‧‧‧位址及資料匯流排
75‧‧‧資料傳輸介面
76‧‧‧無線電介面
77‧‧‧全光相機
78‧‧‧人機互動介面(MMI)
閱讀以下參考附圖的說明將更瞭解本發明，其他特定特點及優勢將明朗化，圖中：圖1係根據背景技術以顯示一全光相機；圖2係根據本發明的一特殊實施例以顯示一全光相機；圖3係根據本發明的一特殊實施例以顯示圖2的全光相機的發光元件放射的一束光線；圖4係根據本發明的一第一特殊實施例以顯示圖2全光相機的微透鏡陣列的微透鏡關聯的微像；圖5係根據本發明的一第二特殊實施例以顯示圖2全光相機的微透鏡陣列 的微透鏡關聯的微像；圖6係根據本發明的一特殊實施例以顯示校準圖2全光相機的方法；圖7係根據本發明的一特殊實施例以顯示一電信裝置，包括有圖2的全光相機。
茲將參考附圖以說明技術主題，其中從頭到尾使用相同參考數字符號以表示相同元件。在以下說明中，提出許多特定細節用於解釋，為要提供技術主題的徹底了解，然而，可明白不用此等特定細節亦可實施本發明。
根據本發明的一特殊實施例，一全光相機的光學組件包括一發光元件(即光源)，設置在光學組件的相機鏡頭(亦稱為主透鏡或一次透鏡)的孔徑光闌面中。該發光元件係依此一方式設置用以照明全光相機的光感元件陣列，為求簡化，圖中只描繪一個透鏡以描繪主透鏡，當然瞭解主透鏡可包括一組數個透鏡。
在一判定時間期間(例如在一時間週期期間，對應到獲取場景的原始影像所需的時間期間，或對應到獲取原始影像所需的只一部分時間週期)，利用發光元件照明光感元件陣列，能用以選擇光感元件陣列中在各微透鏡之下的至少一光感元件。接著選擇用於一給定微透鏡的光感元件係可作為一參考光感元件(或像素)使用，用以收集原始影像解馬賽克期間與不同鏡頭關聯的像素。
當然，利用相機鏡頭的孔徑光闌面，實體裝置(透鏡及/或光闌)的平面限制光錐通過相機鏡頭，孔徑光闌面係一判定平面(取決於相機鏡頭的設計)，其中一光闌(或較通用的說法，孔徑光闌)係定位用以限制光錐通過相機鏡頭。
圖2係根據本發明的一特殊實施例以顯示一全光相機2，該全光相機包括一鏡頭單元201(對應到一光學組件)及一相機本體202。
鏡頭單元201係有利地調適成關聯一相機本體202，相機本體202包括一光感元件陣列13，其包括複數個m光感元件131,132,133至13m，各光感元件對應到場景以光感元件陣列獲取的原始影像的一像素，各像素包含場景的一部分(亦稱為一點)。為繪示目的，顯示光感元件 陣列13具有較少數量的光感元件131至13m，當然，光感元件的數量不受圖2繪示限制，卻延伸到任何數量的光感元件，例如數千或數百萬個光感元件，例如在12.4百萬像素相機中，一像素將對應到一光感元件(如對應到4088×3040像素/光感元件的陣列)。一濾色鏡陣列(CFA)12係設置在光感元件陣列13上，CFA 12通常設置RGB(紅、綠及藍)濾色鏡在光感元件陣列上，RGB排列例如採用拜耳濾鏡馬賽克形式，根據一變化，一CFA係設置在微透鏡陣列11上(在CFA 12之外添加或取代CFA 12)。為使鏡頭單元201與相機本體202關聯，鏡頭單元201包括一第一安裝部件，及相機本體202包括一第二安裝部件，第一安裝部件與第二安裝部件係可相容。由於第一安裝部件及第二安裝部件，鏡頭單元201可夾扣到相機本體202上，或鏡頭單元201可與相機本體202以螺絲鎖住。在日本專利申請號JP2013-105151A(其係於2013年5月30日公布)中可找到鏡頭單元的此類第一安裝部件及第二安裝部件範例，配置成與相機本體關聯。第一安裝部件及第二安裝部件係依此一方式配置，一旦將鏡頭單元201與相機本體201裝配起來，鏡頭單元201與相機本體202即形成一全光相機，配置成利用一場景的各獲取以獲取該場景的多個鏡頭。為此目的，相機本體202亦包括一微透鏡陣列11，包括有微透鏡111、112、11n，n係大於或等於2的整數，為繪示目的，顯示微透鏡陣列11具有較少數量的微透鏡，但微透鏡的數量可延伸達到數千個或甚至一百萬個或數百萬個微透鏡。光感元件陣列13的一光感元件群係與微透鏡陣列11的各微透鏡111至11n以光學關聯，例如，微透鏡陣列11的各微透鏡111至11n係定出大小用以對應到一2×1、4×4或10×10光感元件的陣列。關聯一微透鏡的一光感元件群(或換個說法，在微透鏡之下的一光感元件群)形成此微透鏡關聯的一微像，光感元件群的各光感元件形成微像的一像素。複數個光感元件的各光感元件以光學關聯單個微透鏡能根據一位置用以獲取該場景的一像素的原始資料表示(獲取如同像素數量的視差)。根據一變化，鏡頭單元201與相機本體202形成單一本體及組裝係不可拆卸。
鏡頭單元201包括一相機鏡頭10，亦稱為主透鏡或一次透鏡，其有利地由一或多個透鏡元件形成，為求清晰，圖2中只繪示一透鏡元件10。鏡頭單元201亦包括一發光元件(LED)或一光源20，設置在相 機鏡頭10的孔徑光闌面中。LED 20例如可係一雷射、電化學發光元件(LEC或LEEC)、發白光二極體(WLED)、有機發光二極體(OLED)或量子點發光二極體。一WLED例如可採用RGB(紅、綠、藍色)系統形式，其中得到白光係藉由不同地混合有色光(亦稱為多彩白光LED)，例如利用一LED系統整合有藍光LED、綠光LED及紅光LED。根據另一範例，WLED可係含磷LED，例如塗有磷的藍光LED用以形成白光。LED 20係有利地嵌入一透明玻璃板21中，根據一變化，LED 20係利用任何構件以維持在定位，例如利用三角架，三角架的各支架係有利地由透明材料製成(例如由ITO(銦錫氧化物)製成，或由透明纖維膜製成，或由薄銀六方晶格製成)。LED 20本身有利地係透明的(如一TOLED(透明有機發光二極體))，其表示不照明時LED令達到它的光通過它，例如LED 20令85%、90%、95%或甚至更多抵達它的光通過它。嵌有LED的玻璃板或維持LED的支架可有利地塗有一透明傳導膜(TCF)，其係可導電及光學上透明用以供應LED電力。TCF可由無機及有機材料兩者製成，無機薄膜通常係由一透明傳導氧化層(TCO)製成，通常以銦錫氧化物(ITO)、氟摻雜氧化錫(FTO)，及摻雜氧化鋅形式。製作有機薄膜例如係利用奈米碳管網路及石墨(其可製作成高度透射紅外光)，連同聚合物網路如聚3,4-乙烯二氧噻吩及其衍生物。
LED 20係設置在相機鏡頭的孔徑光闌面中，及有利地定位在相機鏡頭10的孔徑光闌面的中心，根據一變化，LED 20係設置在相機鏡頭10的孔徑光闌面中，但在不同於孔徑光闌面中心的位置。
LED 20有利地依一方式面向全光相機2的後側，朝向光感元件陣列13，以便發光時用以照明光感元件陣列13。有利地，LED 20的橫向尺寸夠小，使其藉由微透鏡111至11n在光感元件陣列13上的影像係等於或小於一光感元件/像素，或即若大於一光感元件亦至少係儘可能最小。接著當LED 20朝向光感元件陣列13發光時，它將只照明與各微透鏡關聯的各微像的一像素，其可作為參考像素使用，用以定出光感元件陣列13上形成的子影像的位置，及接著用以收集像素以用於全光相機2獲取的原始影像解馬賽克時的不同鏡頭。
全光相機2有利地包括一硬體模組203，配置用以檢測相 機鏡頭10的一或多個參數中的變化，例如相機鏡頭的焦距變化及/或在聚焦或調焦時發生的聚焦距離變化。亦可有利用地配置該硬體模組，當已檢測到相機鏡頭10的至少一參數有變化時及/或當全光相機2電源開啟時，用以觸發LED 20照明光感元件陣列13。該模組係可包括在相機本體202中或有利地包括在鏡頭單元201中，該模組有利地包括一或數個處理器2031，與一記憶體關聯，例如包括有暫存器的隨機存取記憶體或RAM。該記憶體儲存一演算法的指令，該演算法實施相機鏡頭(數個)參數變化的檢測及/或已檢測到相機鏡頭10的至少一參數有變化時及/或全光相機2電源開啟時觸發LED 20照明的方法。根據一變化，該模組採用型式FPGA(現場可程式閘道陣列)的可程式邏輯電路形式，例如ASIC(應用特定積體電路)或DSP(數位訊號處理器)。該模組亦可包括一介面，配置用以接收及傳送使用者經由使用者介面輸入的資料如控制參數，用以設定參數，影響LED 20的控制(例如照明強度，照明歷時)。
圖3係根據本發明的一示範且非限定實施例以顯示發光元件20放射的一束光線30，根據圖3的範例，LED 20係位在相機鏡頭的孔徑光闌面中相機鏡頭的光學中心位準。LED 20放射的光係描繪成點折線顯示的光錐30，光錐30通過相機鏡頭的後透鏡元件31、32以集中到一點34，對應到LED 20在出射光瞳301上形成的影像。後透鏡元件31及32對應到相機鏡頭10的透鏡元件，位在孔徑光闌面300與出射光瞳之間，當然，後透鏡元件的數目係不限於2，卻延伸到任何大於或等於0的整數。為求清晰，圖2只描繪LED 20所放射並已通過後透鏡元件31、32的一部分光線35，即通過微透鏡33的光線，通過微透鏡33的該束光線35係利用點線描繪。此等光線35有利地集中到光感元件陣列13的一或數個光感元件334(例如3、4或5個光感元件)上。因LED 20係位在相機鏡頭的孔徑光闌面300中的光學中心位準，因此在與微透鏡33關聯的光感元件群332、333、334、335、336、337、338之中，與微透鏡33關聯(在其下方)的微像的中心像素，其對應光感元件接收最大光強度。當光線35命中數個光感元件時，選擇接收最大光強度的光感元件作為參考光感元件/像素以用於微透鏡關聯的微像。
圖4係根據本發明的一第一特殊實施例以顯示微透鏡陣 列11中與微透鏡關聯的微像，圖4只描繪微透鏡陣列11的一部分微透鏡，即微透鏡41,42,43,44,45,46,47及48。較確切地，圖4描繪光感元件陣列13在微透鏡陣列的投影4，其能用以視覺化光感元件陣列中與各微透鏡41至48關聯的光感元件。一給定微透鏡關聯的光感元件對應到該給定微透鏡之下的光感元件，即投影到該給定微透鏡覆蓋區上的光感元件。一給定微透鏡關聯的光感元件群的各光感元件對應到此微透鏡關聯的微像的一像素，LED 20照亮的光感元件以黑色或淺灰色強調以用於各微透鏡。例如，與微透鏡41關聯並由LED 20照亮的光感元件對應到光感元件411、412、413及414，為在LED 20照亮的光感元件群411至414之中判定參考光感元件，因此將各光感元件411至414接收的光量互相比較，及選擇具有最大值的光感元件作為參考光感元件，對應到微透鏡41關聯的微像的參考像素。若LED只照亮一光感元件(例如分別與微透鏡42及43關聯的光感元件421及431)，則用於微透鏡的參考光感元件係LED照亮的單個光感元件。以黑色顯示參考光感元件用於各微透鏡41至48，圖4的範例對應到圖3的示範實施例，其中LED 20係設置在相機鏡頭的孔徑光闌面的光學中心中。根據此範例，用於各微透鏡41至48，接收LED 20所放射最大光量的光感元件，稱為各該微透鏡關聯的微像的參考光感元件或參考像素，對應到此微透鏡關聯的光感元件群的中心光感元件。
知道與各微透鏡關聯的各微像的邊界及各微像的參考像素，收集各微像中的任一像素以便關聯到正確鏡頭係可能的。實際上，利用全光相機在單一快照中獲取的鏡頭數目對應到一微透鏡關聯的光感元件數目。為建立一給定鏡頭，需要在微透鏡關聯的各微像中選擇正確像素，根據本發明的一實施例，執行此一過程(稱為解多工)係藉由使用上述判定的參考像素。解多工過程在於依一方式重組原始影像的像素，以便所有捕捉到具特定入射角的光線的像素皆儲存在產生所謂鏡頭(亦稱為子孔徑鏡頭)的相同影像中。藉由微像中相關各微像中的參考像素位置的相對像素位置以提供光線的角度資訊。相關各微透鏡關聯的各微影的參考像素，在其相同相對位置，在各微透鏡之下的像素屬於相同鏡頭。與一微透鏡關聯的一微像的像素形成一像素網格，具有R列及C行，例如R及C係整數。一微影的像素的坐標係提供具有像素的列號及行數。用於微透鏡 41之下的微像，參考像素411的坐標例如係(i,j)，同樣適用於各微透鏡之下各微像的各參考像素。例如，在微透鏡42之下的微像中，參考像素421的坐標亦為(i,j)，及在微透鏡43之下的微像中，參考像素431的坐標亦為(i,j)，用於各微像以及各微像中的列號R及行數C，像素數目係相同。為建立一判定鏡頭，選擇各微像中具有相同坐標的所有像素，例如，圖4中已利用符號×來識別參照到相同鏡頭的像素，在相關各微像的參考像素坐標(i,j)的各影像中，各像素利用符號×來識別的坐標係(i+3,j+3)。
例如藉由獲取一白色場景或一灰色均勻場景以判定微像的邊界，微像具有與微透鏡分布相同的分布，藉由獲取一白色或灰色場景的影像，在微透鏡之下的像素看起來比不在微透鏡之下的像素亮，微像聚集光感元件陣列上看起來亮的像素及具有與微透鏡形式相同的形式。例如製造全光相機時可已一勞永逸地判定微像的邊界，邊界的資訊表示例如係儲存在全光相機的一記憶體(例如RAM)中。根據一變化，知道微透鏡的形式，當參考像素對應到中心像素(如圖4的範例)時，可藉由使用參考像素以判定微像的邊界。藉由採用一分段線的中點(具有二相鄰微像的中心像素用於極限)，可輕易判定一微像的尺寸。例如，若與微像關聯的微透鏡係圓形，微像的半徑對應到中心像素與位在分段線中點(具有二相鄰微像的中心像素用於極限)的像素之間的像素數目。
圖5係根據本發明的一第二特殊實施例以顯示與微透鏡陣列11的微透鏡關聯的微像，圖5的微透鏡41至48對應到圖4的微透鏡，但圖5的各微像的參考像素係不同於圖4描繪的微像的參考像素。根據圖5的範例，參考像素511、521及531係各位在微透鏡41、42及43分別關聯的微像的左上部，此特定實施例對應到一情況，其中LED 20係不位在相機鏡頭的孔徑光闌面中的光學中心，卻與孔徑光闌面中的光學中心相隔一段距離。較確切地，根據圖5的範例，LED在孔徑光闌面中的位置係相機鏡頭的孔徑的左上部，就像與微透鏡41至48關聯的微像中參考像素的位置，當然，LED 20仍然在相機鏡頭的孔徑中，發光時能照明光感元件。解多工過程係依相關圖4所述相同方式執行，僅參考像素的位置不同於圖4的示範實施例。
圖6係根據本發明的一繪示且未限定實施例以顯示校準 全光相機2的方法。
在一初始化步驟60期間，更新全光相機的不同參數，特別是相機鏡頭的參數及參考像素的參數表示，例如當全光相機電源開啟時及/或當變更相機鏡頭的參數(例如焦距，當調焦或聚焦時)時，進行參數初始化。
接著在一步驟61期間，在一預定時間週期期間由全光相機的相機鏡頭的孔徑光闌面中設置的一發光元件(LED)照明全光相機的光感元件陣列。LED係有利地設置在孔徑光闌面的中心，根據一變化，LED係設置在孔徑光闌面中的任一位置，但在全光相機的相機鏡頭的孔徑中能用以照明光感元件陣列。
發光期間例如對應到一影像獲取週期，即對應到利用全光相機獲取一場景的原始影像所需持續時間，根據一變化，LED發光持續時間係小於一影像獲取週期，例如影像獲取週期的20%、30%或50%。在小於影像獲取週期的一時間期間照明光感元件陣列，能在影像獲取週期的其餘時間期間用以捕捉場景來的光，其能獲取原始資料甚至用於LED”覆蓋的光感元件，有利地，LED在不發光時係透光的。
例如當全光相機電源開啟時及/或已修改相機鏡頭的一參數如焦距時(例如當調焦或聚焦時)，即觸發LED發光。
接著，在一步驟62期間，識別光感元件陣列中由LED放射光線照亮的光感元件，在與一微透鏡關聯及位在其下的各光感元件群中，照亮至少一光感元件。依一方式有利地選擇LED的尺寸，使LED放射的光線在已通過相機鏡頭的(數個)後透鏡元件及微透鏡陣列的微透鏡後，只命中一光感元件。LED的尺寸係有利地使其在光感元件陣列的影像係等於一光感元件大小，其對應到一微透鏡關聯的一微像的一像素大小，或對應到屬於全光相機獲取的原始影像解多工所得到的一鏡頭的一像素大小。若照亮一微透鏡之下的一光感元件群中超過一光感元件(例如若LED的影像大小係大於一像素大小，或若因微透鏡製造公差及/或全光相機的光學失真導致收斂爭議發生)，則必須判定/選擇光感元件中由光線命中的一者。在照亮的複數個光感元件之中選擇的光感元件有利地對應到接收最大光強度的光感元件，為該目的，將LED照亮的各光感元件接收的 光量互相比較及選擇最大值。作為步驟62的結果，選擇各微透鏡之下的單個光感元件，選擇用於一判定微透鏡的光感元件對應到此判定微透鏡關聯的微像的參考像素。
接著，在一步驟63期間，基於選擇的光感元件以校準全光相機，使用選擇的光感元件作為參考像素用於各微像，校準在於識別各微透鏡微像中的參考像素，參考像素例如對應到微像的中心像素。一旦已識別參考像素，即可初始化解多工過程，藉由重組原始影像的像素用以建立利用全光相機獲取的場景的不同鏡頭。
在一可選步驟中，在一後製步驟中重建對應到參考像素的鏡頭，實際上，LED照亮的參考像素對應到場景根據一特定視角的鏡頭。若對應到此等參考像素的光感元件在整個影像獲取週期期間皆由LED照亮，則無原始資料可用於此等像素並失去對應的鏡頭。例如，在利用全光相機獲取一視訊的情況中，例如以每秒24影像的訊框率，LED可在24影像獲取週期中的一者期間照明光感元件，其表示對應到照亮光感元件的鏡頭將失去，但只用於24個影像中的一者。接著可藉由相同鏡頭(即對應到同一視角)的時序內插法以有利地重建失去的鏡頭，用以形成23個其餘影像中的一者或數者。根據一變化，將24個影像之中對應到校準全光相機(例如用以判定微像的參考像素)使用的影像的所有鏡頭皆從該全光相機輸出的鏡頭流中移除，只考慮與23個其餘影像關聯的鏡頭，例如儲存在一記憶體中或顯示在一螢幕上。
在另一可選步驟中，可校正鏡頭的亮度等級，該鏡頭對應到LED不照明光感元件陣列時由LED”覆蓋”的微像的像素，實際上，即若LED在”關閉”狀態(即當LED不照明光感元件陣列時的狀態)中基本上係透光的，用以製造LED的材料可通過LED的光過濾一部分及藉此達到光感元件陣列上的對應光感元件，尤其相關未由LED”覆蓋”的周圍光感元件。為校正光感元件之間的此亮度差，在將LED整合到鏡頭單元前，可判定LED的透明度為LED的波長(色彩)的函數，及可應用一校正增益用於照亮的像素。
圖7係以圖概略地描繪一電信裝置7的硬體實施例，例如對應到一智慧型手機或一數位板，其係根據本發明的一方面以具體實現一 全光相機。
電信裝置7包括以下元件，藉由一位址及資料滙流排74互相連接，該滙流排亦傳輸一時鐘信號：- 一微處理器71(或CPU)，- ROM(唯讀記憶體)型式的不變性記憶體72，- 一隨機存取記憶體或RAM 73，- 一無線電介面76，- 一介面75，調適用於資料傳輸，- 一全光相機77，例如對應到圖2的全光相機2，- 一MMI介面(人機介面)78，調適用以顯示資訊用於使用者及/或用以輸入資料或參數。
請注意，說明記憶體72及73中使用的”暫存器”一詞表示提及各記憶體中的低容量記憶區以及大容量記憶區(能用以儲存整個程式或表示接收及解碼資料的所有資料或部分資料)。
記憶體ROM 72尤其包括一”prog”程式。
實施特定用於本發明及上述方法步驟的演算法係儲存在實施此等步驟的電信裝置7關聯的記憶體ROM 72中，當電源開啟時，微處理器71下載及執行此等演算法的指令。
隨機存取記憶體73特別包括：- 在一暫存器中，微處理器71的作業程式，負責用以開啟電信裝置7，- 接收參數(例如用於調變、編碼、MIMO(多重輸入輸出)、訊框再發生的參數)，- 傳輸參數(例如用於調變、編碼、MIMO、訊框再發生的參數)，- 傳入資料，對應到接收器76接收及解碼的資料，- 解碼資料，形成用以在介面75傳送到應用，- 相機鏡頭的參數及/或各微像的參考像素。
在相關圖7說明的該等結構之外，電信裝置7的其他結構亦適用本發明，尤其根據變化，可根據一純硬體具體實施來實現該電信裝置，例如以專用組件的形式(例如以ASIC(應用特定積體電路)或FPGA(現場可程式閘陣列)或VLSI(極大型積體電路)的形式)，或以數個電子組件嵌 入一裝置的形式，或甚至以硬體元件與軟體元件混合的形式。
無線電介面76及介面75係根據一或數個電信標準如IEEE 802.11(Wi-Fi)，適用IMT-2000規格(亦稱為3G)、3GPP LT(亦稱為4G)、IEEE 802.15.1(亦稱為藍牙)的標準，以調適用於信號的接收及傳輸。
根據一變化，該電信裝置不包括任何ROM，卻只包括RAM，實施特定用於本發明方法步驟的演算法係儲存在RAM中。
當然，本發明未侷限於先前所述實施例。
尤其本發明未侷限於全光相機，卻亦延伸到鏡頭單元(亦稱為全光光學組件)，包括有相機鏡頭及LED。
電信裝置例如包括智慧型手機、智慧型手錶、數位板、電腦、行動電話、可攜式/個人數位助理器(“PDA”)，及其他有助於終端使用者之間資訊通訊的裝置，亦包括機上盒。
本文中所述校準全光相機的方法可由一處理器正執行的指令來實施，及此類指令(及/或一實作所產生的資料值)係可儲存在一處理器可讀取媒體如積體電路、軟體載體，或其他儲存裝置如硬碟、光碟片(“CD”)、光學磁碟(例如DVD，常稱為多樣化數位光碟或數位影碟)、隨機存取記憶體(“RAM”)，或唯讀記憶體(“ROM”)上。該等指令可形成一應用程式，有形具體化在一處理器可讀取媒體上，指令例如係可在硬體、韌體、軟體或其一組合中，指令例如可在作業系統、分開的應用程式，或二者的組合中找到。因此一處理器的特徵例如可係配置用以實施一處理過程的裝置，同時亦係包括有處理器可讀取媒體(如儲存裝置)的裝置，該處理器可讀取媒體具有指令用以實施一處理過程。此外，一處理器可讀取媒體可儲存一實作產生的資料值(在指令外添加或代替指令)。
如熟諳此藝者明白，數個實作可產生各種信號，格式化用以攜帶資訊，其例如係可儲存或傳送，該資訊例如可包括執行一方法用的指令，或所述實作中的一者所產生的資料。例如，可格式化一信號用以攜帶用以寫入或讀取所述一實施例的語法規則為資料，或用以攜帶所述一實施例寫成的實際語法值為資料。例如可格式化此一信號作為一電磁波(例如使用頻譜的一射頻部分)或作為一基頻信號。格式化例如可包括編碼一資料流及利用編碼資料流以調變一載波。信號攜帶的資訊例如可係類比或 數位資訊，如所知，信號係可透過各種不同有線或無線鏈接來傳送，信號係可儲存在一處理器可讀取媒體上。
已說明數個實作，然而，應瞭解可作出各種修改，例如可結合、增補、修改或移除不同實作的元件以產生其他實作。此外，本領域的普通技術人員應瞭解其他結構或方處理過程可替代用於該等揭示者，及如所揭示實作，作為結果的實作將依至少大體上相同的(數個)方式，執行至少大體上相同的(數個)功能，以達成至少大體上相同的(數個)結果，因此，本發明涵蓋此等及其他實作。
2‧‧‧全光相機
10‧‧‧相機鏡頭
11‧‧‧微透鏡陣列
111,112,...,11n‧‧‧微透鏡
12‧‧‧濾色鏡陣列
13‧‧‧光感元件陣列
131,132,...,13m‧‧‧光感元件
20‧‧‧發光元件
21‧‧‧透明玻璃板
201‧‧‧鏡頭單元
202‧‧‧相機本體
203‧‧‧硬體模組
2031‧‧‧處理器
2032‧‧‧記憶體

Claims (16)

  1. 一種全光相機(2)，包括有相機鏡頭(10)、一包括有複數個微透鏡(111、112、11n)之微透鏡陣列(11)，及一光感元件陣列(13)，其特徵在於全光相機(2)包括一發光元件(20)，設置於相機鏡頭(10)之孔徑光闌面中，發光元件(20)照明該光感元件陣列(13)。
  2. 如申請專利範圍第1項之全光相機，尚包括有一處理器，與一記憶體關聯，該處理器係配置用以從該發光元件照亮之光感元件中判定該複數個微透鏡之各微透鏡關聯之一微像之一參考像素。
  3. 如申請專利範圍第1或2項之全光相機，其中發光元件(20)係設置在該孔徑光闌面之中心。
  4. 如申請專利範圍第1或2項之全光相機，其中發光元件(20)係透明的。
  5. 如申請專利範圍第1或2項之全光相機，尚包括有一檢測模組，用以檢測該相機鏡頭之一焦距變化及/或調焦或聚焦時發生之一聚焦距離變化。
  6. 如申請專利範圍第5項之全光相機，其中變化之檢測觸發該發光元件(20)照明該光感元件陣列(13)。
  7. 如申請專利範圍第1或2項之全光相機，其中發光元件(20)在至少一影像獲取週期之至少一部分期間照明該光感元件陣列(13)。
  8. 如申請專利範圍第1或2項之全光相機，其中該發光元件(20)放射白光。
  9. 如申請專利範圍第1或2項之全光相機，其中該發光元件(20)連續地放射紅光、綠光及藍光。
  10. 如申請專利範圍第1或2項之全光相機，其中該發光元件(20)係發光二極體。
  11. 如申請專利範圍第2項之全光相機，其中該處理器尚配置成藉由測量光感元件陣列之各光感元件接收之光強度，以判定該發光二極體照亮之光感元件，判定之光感元件對應至測得光強度最大之光感元件。
  12. 一種於全光相機中判定參考像素之方法，該全光相機包括有一相 機鏡頭、一包括有複數個微透鏡之微透鏡陣列，及一光感元件陣列，其特徵在於該方法包括：- 利用一發光元件照明(61)該光感元件陣列，該發光元件係設置於相機鏡頭之孔徑光闌面中，- 從該光感元件陣列中由該發光元件照亮之光感元件中判定(62)該複數個微透鏡之各微透鏡關聯之一微像之一參考像素。
  13. 如申請專利範圍第12項之方法，尚包括檢測該相機鏡頭之一焦距變化及/或調焦或聚焦時發生之一聚焦距離變化，該照明係由該檢測觸發。
  14. 如申請專利範圍第12或13項之方法，其中在至少一影像獲取週期之至少一部分期間照亮該光感元件陣列。
  15. 如申請專利範圍第12或13項之方法，其中該判定包括測量光感元件陣列之各光感元件接收之光強度以判定該發光元件照亮之該等光感元件，判定之光感元件對應至測得光強度最大之光感元件。
  16. 如申請專利範圍第12或13項之方法，其中該參考像素對應至該微像之中心像素。
TW104137421A 2014-11-27 2015-11-13 包括有發光元件之全光相機及於全光相機中判定參考像素之方法 TWI679887B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14306897.1 2014-11-27
EP14306897.1A EP3026884A1 (en) 2014-11-27 2014-11-27 Plenoptic camera comprising a light emitting device

Publications (2)

Publication Number Publication Date
TW201620286A true TW201620286A (zh) 2016-06-01
TWI679887B TWI679887B (zh) 2019-12-11

Family

ID=52016546

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104137421A TWI679887B (zh) 2014-11-27 2015-11-13 包括有發光元件之全光相機及於全光相機中判定參考像素之方法

Country Status (8)

Country Link
US (1) US9691149B2 (zh)
EP (2) EP3026884A1 (zh)
JP (1) JP6630927B2 (zh)
KR (1) KR102432789B1 (zh)
CN (1) CN105657221B (zh)
HK (1) HK1224472A1 (zh)
TW (1) TWI679887B (zh)
ZA (1) ZA201508428B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3443735A4 (en) 2016-04-12 2019-12-11 Quidient, LLC RECONSTRUCTION MACHINE FOR EVERYDAY SCENES
EP3264761A1 (en) * 2016-06-23 2018-01-03 Thomson Licensing A method and apparatus for creating a pair of stereoscopic images using least one lightfield camera
JP7302970B2 (ja) 2016-06-27 2023-07-04 ウォシャブスキ，オムリ 個別の狭帯域同期照明によるカラー画像形成
EP3288253A1 (en) * 2016-08-25 2018-02-28 Thomson Licensing Method and apparatus for generating data representative of a bokeh associated to light-field data
CA3097202A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
EP3579561A1 (en) * 2018-06-05 2019-12-11 InterDigital VC Holdings, Inc. Prediction for light-field coding and decoding
KR20200067020A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 캘리브레이션 방법 및 장치
WO2023000162A1 (zh) * 2021-07-20 2023-01-26 重庆康佳光电技术研究院有限公司 一种显示屏及终端

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) * 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
DE102006061933A1 (de) * 2006-12-21 2008-06-26 Carl Zeiss Meditec Ag Optisches System für eine Funduskamera
US20100141572A1 (en) * 2007-04-20 2010-06-10 Sharp Kabushiki Kaisha Illumination device and display device using the same
US7780364B2 (en) * 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
EP2175632A1 (en) 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
EP2244484B1 (en) * 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
JP2012205015A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
JP2012205014A (ja) * 2011-03-24 2012-10-22 Casio Comput Co Ltd 撮像装置の製造装置及び製造方法、並びに撮像装置
JP2012205111A (ja) 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
US8998411B2 (en) * 2011-07-08 2015-04-07 Carl Zeiss Meditec, Inc. Light field camera for fundus photography
JP6120508B2 (ja) * 2011-10-03 2017-04-26 キヤノン株式会社 撮像素子および撮像装置
JP2013105151A (ja) 2011-11-16 2013-05-30 Olympus Corp 光学装置
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor
WO2013111598A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 アレイ状光学素子、撮像用部材、撮像素子、撮像装置および測距装置
US9060718B2 (en) * 2012-02-13 2015-06-23 Massachusetts Institute Of Technology Methods and apparatus for retinal imaging
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
JP2014016965A (ja) 2012-07-11 2014-01-30 Toshiba Corp 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置
US9153026B2 (en) 2012-11-26 2015-10-06 Ricoh Co., Ltd. Calibration of plenoptic imaging systems
CN203416336U (zh) * 2013-05-22 2014-01-29 李高勤 光场摄像装置以及包含该光场摄像装置的成像系统
CN103309175B (zh) * 2013-06-07 2015-06-17 中国科学院上海光学精密机械研究所 光刻机照明系统的级联微透镜阵列的对准装置和对准方法
US9319665B2 (en) * 2013-06-19 2016-04-19 TrackThings LLC Method and apparatus for a self-focusing camera and eyeglass system

Also Published As

Publication number Publication date
ZA201508428B (en) 2016-11-30
EP3026887B1 (en) 2020-07-22
EP3026887A1 (en) 2016-06-01
TWI679887B (zh) 2019-12-11
KR20160064021A (ko) 2016-06-07
JP2016103822A (ja) 2016-06-02
KR102432789B1 (ko) 2022-08-12
HK1224472A1 (zh) 2017-08-18
EP3026884A1 (en) 2016-06-01
CN105657221B (zh) 2020-06-26
US9691149B2 (en) 2017-06-27
JP6630927B2 (ja) 2020-01-15
US20160155230A1 (en) 2016-06-02
CN105657221A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
TWI679887B (zh) 包括有發光元件之全光相機及於全光相機中判定參考像素之方法
US9973678B2 (en) Phase-detect autofocus
WO2014149902A1 (en) Systems and methods for providing an array projector
US20170374306A1 (en) Image sensor system with an automatic focus function
US10567636B2 (en) Resolution enhancement using sensor with plural photodiodes per microlens
US10566358B2 (en) Image sensor and image capturing apparatus
US20230005240A1 (en) Image sensor and image light sensing method
JP6017322B2 (ja) 固体撮像装置
CN113884184A (zh) 使用光学滤波器子阵列的光谱传感器系统
CN106851139B (zh) 用于全局快门校正的像素电路及成像系统
US11134202B2 (en) Plenoptic camera comprising a spatial light modulator
CN106454018B (zh) 全光照相机以及控制它的方法
US20180347979A1 (en) Distance measuring apparatus, distance measuring method, and image pickup apparatus
JP5961208B2 (ja) 撮像素子及び撮像装置
JP2018138888A (ja) 撮像装置及び火災判定装置
JP2018138900A (ja) 撮像装置及び火災判定装置
JP2012095316A (ja) 固体撮像装置および撮像装置