TWI535292B - 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理 - Google Patents

Description

使用具有異質的成像器的整體式相機陣列的影像捕捉和處理

本發明係關於一種包含複數個異質的成像器的影像感測器，更特別地，關於一種具有內含不同架構的客製濾片、感測器和光學儀器的複數個晶圓級成像器的影像感測器。

影像感測器被使用於相機和其它成像裝置中以捕捉影像。在一典型成像裝置中，光透過該成像裝置一端的開口(孔徑)進入並由例如一透鏡的光學構件來導引至一影像感測器。在多數成像裝置中，一或更多層光學構件被放置於該孔徑和該影像感測器間以將光聚焦於該影像感測器上。該影像感測器由透過該光學構件來接收光以產生訊號的像素所構成。常用的影像感測器包含CCD(電荷耦合裝置)影像感測器和CMOS(互補式金屬氧化物半導體)感測器。

濾片時常被運用於該影像感測器以選擇性地傳送某些波長的光至像素上。一貝爾濾片馬賽克時常形成於該影像感測器。該貝爾濾片係一彩色濾片陣列以將該些紅綠藍三色濾片中的一者安排於該些彩色像素中的每一個。該貝爾濾片圖案包含百分之五十的綠色濾片、百分之二十五的紅色濾片及百分之二十五藍色濾片。既然每一個像素產生一訊號以代表該光中的一色彩成分強度，但不是全部色彩範圍，去馬賽克技術被執行以內插用於每一個影像像素的一組紅色、綠色及藍色值。

該些影像感測器受到各種執行效率限制。該些影像感測器的執行效率限制尤其包含動態範圍、訊雜比(SNR)及低光靈敏度。該動態範圍係定義為一像素可捕捉到的最大可能訊號對該總雜訊的比值。典型地，一影像感測器的井容量限制該影像感測器可捕捉到的最大可能訊號。接著，該最大可能訊號係視該入射照明強度及曝光持續期間(例如，整合時間及快門寬度)而定。該動態範圍可以分貝(dB)表示為一無維度數量：

典型地，在該捕捉影像中的雜訊位準影響該動態範圍底限。因此，對於一八位元影像而言，假設該均分根雜訊位準為一位元，則該最佳例子會是48分貝。然而，實際上，該些均分根雜訊位準係高於一位元，且這個進一步降低該動態範圍。

一捕捉影像的訊雜比(SNR)在一大範圍上為一影像品質測量值。大體上，該像素捕捉到更多光時該訊雜比更高。一捕捉影像的訊雜比通常係關於該像素的集光能力。

大體上，貝爾濾波感測器具有低光靈敏度。在低光位準下，每一個像素的集光能力係受到射在每一個像素上的低訊號位準所限制。此外，在該像素上方的彩色濾片進一步限制到達該像素的訊號。IR(紅外線)濾片同時降低來自近紅外線訊號的光響應，其可攜帶有用資訊。

由於設計限制天性之故，在為了行動系統所設計的相機中，這些影像感測器的執行效率限制被大大地放大。行動相機的像素典型地係遠小於數位相機(DSC)的像素。由於集光能力的限制、降低的訊雜比、該動態範圍的限制及降低的低光場景敏感度之故，行動相機中的相機顯現不良的執行效率。

相機陣列、包含一相機陣列的成像裝置及/或一種運用複數個成像器來捕捉一影像的方法被揭示，其中，每一個成像器包含複數個感測器構件及可根據本發明實施例來使用於相機陣列中的透鏡堆疊陣列。該複數個成像器可包含至少一第一成像器及一第二成像器，其中，該第一成像器及該第二成像器可具有相同成像特徵或不同成像特徵。

在一實施例中，該第一成像器和該第二成像器具有不同成像特徵。該些成像特徵尤其可包含該成像器尺寸、該成像器中所含像素類型、該成像器外形、與該成像器相關的濾片、該成像器的曝光時間、與該成像器相關的孔徑大小、與該成像器相關的光學構件架構、該成像器的增益、該成像器的解析度及該成像器的操作時序。

在一實施例中，該第一成像器包含用於傳送光譜的濾片。該第二成像器也包含用於傳送與該第一成像器相同光譜的同類型濾片，但卻捕捉由該第一成像器所捕捉影像中進行次像素相位移所產生的影像。來自該第一成像器及該第二成像器的影像係使用一超解析度方法來結合以得到更高解析度的影像。

在一實施例中，該第一成像器包含用於傳送一第一光譜的第一濾片，且該第二成像器包含用於傳送一第二光譜的第二濾片。來自第一及第二成像器的影像接著被處理以得到一較高品質的影像。

在一實施例中，透鏡構件被提供以導引並聚光於該些成像器上。該些透鏡構件構成透鏡堆疊以產生光學通道，且每一個透鏡堆疊將光聚焦於一成像器上。因為每一個透鏡構件係與一成像器有關，每一個透鏡構件可被設計並架構以提供一窄光譜。進一步，該透鏡構件厚度可被降低以減少該相機陣列的整體厚度。在這類實施例中，該些透鏡構件可使用任何合適製造技術，例如，使用晶圓級光學(WLO)技術、射出成型及/或玻璃模造來製造之。

在一實施例中，該複數個成像器包含專用於接收近IR(紅外線)光譜的至少一近紅外線成像器。由該近紅外線成像器所產生的影像可混合由具有彩色濾片的其它成像器所產生的影像，以降低雜訊並增加該些影像的品質。在另一這類實施例中，涵蓋包含遠紅外線及紫外線光譜的其它光譜範圍的成像器也可被納入。

在一實施例中，該複數個成像器可結合提供變焦能力的透鏡構件。在一這類實施例中，不同成像器可結合不同焦距的透鏡以具有不同視野並提供不同程度的變焦能力。不同視野也可使用具有不同感測器尺寸/格式的成像器，藉由不同像素大小或不同像素/感光構件數量而得之。一機構可被提供以提供自一變焦級至另一變焦級的平滑轉移。

在一或更多實施例中，該複數個成像器被協調操作以得到一高動態範圍影像、一全景影像、一高光譜影像、一至物體的距離及一高畫面速率的視訊中至少其中之一。

根據本發明一實施例，一成像裝置包含至少一成像陣列，且該陣列中的每一個成像器包括複數個感光構件及包含至少一透鏡表面的一透鏡堆疊，其中，該透鏡堆疊被架構以在該些感光構件上形成一影像；控制電路，被架構以捕捉形成於該些成像器中的每一個成像器的感光構件上的影像；及一超解析度處理模組，被架構以使用複數個捕捉影像來產生至少一較高解析度超解像影像。

根據本發明另一實施例，一透鏡堆疊陣列包含形成於被間隔物所分開的基板上的透鏡構件，其中，該些透鏡構件、基板及間隔物被架構以構成複數個光學通道、位在每一個光學通道內的至少一孔徑、位在每一個光學通道內的至少一光譜濾片、和位在該透鏡堆疊陣列內以光學性地隔離該些光學通道的擋光材料，其中，每一個光譜濾片被架構以通過一特定光譜帶。

該說明書所示特徵及優勢並未包括全部，尤其，基於該些圖式、說明及申請專利範圍，許多額外特徵及優勢對一熟知此項技術之人士會是顯而易見。甚至，應注意，該說明書所使用語言原則上係基於易讀及教學目的而選擇，並非選來描述或限制本發明內容。

現在本發明實施例係參考該些圖形來描述，其中，類似參考號指示一模一樣或功能類似的構件。同時，在該些圖形中，每一個參考號最左邊的數字對應至先被使用的參考號數字。

許多實施例關於使用捕捉使用不同成像特徵的複數個個成像器所產生的影像的分佈式方法。可以每一個成像器捕捉被偏移一次像素量的影像的這類方式來架構每一個成像器，該影像與其它成像器所捕捉的影像具有類似成像特徵。每一個成像器也可包含具有不同濾片的獨立光學儀器並以不同操作參數(例如，曝光時間)進行操作。該些成像器所產生的不同影像被處理以得到一強化影像。在許多實施例中，整合至每一個成像器中的獨立光學儀器係使用一透鏡堆疊陣列來配置。該透鏡堆疊陣列可包含使用晶圓級光學(WLO)技術所製造的一或更多光學構件。

一感測器構件或像素參考至一成像器內的個別感光構件。該感光構件可為傳統CIS(互補式金屬氧化物半導體影像感測器)、CCD(電荷耦合裝置)、高動態範圍像素、多光譜像素及其各種替代構件，但不限於此。

一感測器參考至用於捕捉由該成像器的光學儀器形成於該感測器上的影像的二維像素陣列。每一個感測器的感測器構件具有類似物理特性並透過相同光學元件來接收光。進一步，每一個感測器內的感測器構件可結合相同的彩色濾片。

一相機陣列參考至被設計以充當單一元件的大量成像器。該相機陣列可被製造於單一晶片上以安裝或或設置於各種裝置中。

相機陣列的陣列參考至二或更多相機陣列的聚集。二或更多相機陣列可共同操作以提供單一相機陣列的延伸功能，例如，立體聲解析度之類。

一成像器的成像特徵參考至與影像捕捉有關的成像器的任何特徵或參數。該成像特徵尤其可包含該成像器尺寸、該成像器中所含像素類型、該成像器外形、與該成像器相關的濾片、該成像器的曝光時間、與該成像器相關的孔徑大小、與該成像器相關的光學構件架構(例如，構件數量、該些透鏡表面的外形、輪廓及大小，包含曲率半徑、非球狀係數、該些物鏡的焦距及視野、色彩校正、孔徑比/像距等等)、該成像器的增益、該成像器的解析度及該成像器的操作時序。

相機陣列結構

圖1係根據一實施例的具有成像器1A至NM的相機陣列100的平面圖。該相機陣列100係製造於一半導體晶片上以包含複數個成像器1A至NM。該些成像器1A至NM中的每一個可包含複數個像素(例如，0.32百萬像素)。在一實施例中，該些成像器1A至NM被安排成圖1所示的網狀格式。在其它實施例中，該些成像器係安排成一非網狀格式。例如，該些成像器可被安排成一環狀圖案、鋸齒狀圖案或散射圖案或包含次像素偏移的不規則圖案。

該相機陣列可包含二或更多異質成像器類型，每一個成像器包含二或更多感測器構件或像素。該些成像器中的每一個可具有不同成像特徵。替代性地，可具有二或更多不同成像器類型，其中，相同成像器類型分享相同成像特徵。

在一實施例中，每一個成像器1A至NM具有它自己的濾片及/或光學構件(例如，透鏡)。特別地，該些成像器1A至NM中的每一個或一群成像器可結合光譜彩色濾片來接收某些光波長。示範濾片包含在該貝爾圖案(紅色、綠色、藍色或它們的補色(青、洋紅、黃)中所使用的傳統濾片、紅外線濾片、近紅外線濾片、偏光濾片及適合高光譜成像需求的客製濾片。一些成像器可以沒有濾片以允許整個可見光譜及近紅外線兩者的接收，其增加該成像器的訊雜比。不同濾片數量可與該相機陣列內的成像器數量一樣多。進一步，該些成像器1A至NM中的每一個或一群成像器可透過具有不同光學特徵(例如，焦距)或不同孔徑大小的透鏡來接收光。

在一實施例中，該相機陣列包含其它相關電路。該其它電路尤其可包含控制成像參數的電路及感測物理參數的感測器。該控制電路可控制例如曝光時間、增益及黑階偏移的成像參數。該感測器可包含暗像素以估測在操作溫度時的暗電流。該暗電流可被測量以對該基板可能受到任何熱潛變的損害進行連動補償。替代性地，例如因為該透鏡材料的折射率變化之類與該光學儀器有關的熱效應補償可藉由校正不同溫度的點擴散函數而得。

在一實施例中，用於控制成像參數的電路可單獨或以同步方式來觸發每一個成像器。該相機陣列中的各種成像器的曝光週期的啟動(類似於打開快門)可以一重疊方式來交錯安排，使得該些場景被依序取樣而令一些成像器同時曝光。在一傳統攝影機以每秒N次曝光來取樣一場景時，每個樣本的曝光時間係限制為1/N秒。利用複數個成像器，因為多個成像器可被操作以交錯安排方式來捕捉影像，故沒有這類曝光時間的限制。

每一個成像器可被獨立操作。與每一個別成像器有關的整體或多數操作可被個別處理。在一實施例中，一主設定參數被程式化且每一個成像器的這類主設定參數的誤差(也就是，偏移或增益)被架構。該些誤差可反應例如高動態範圍、增益設定參數、整合時間設定參數、數位處理設定參數或其結合的函數。這些誤差可標示該特定相機陣列為一低位準(例如，該增益誤差)或一高位準(例如，該開放系統連結編號上的差異，其接著自動轉換成用於增益的三角積分、整合時間或內文/主控制暫存器所示的其它方面)。藉由設定該些主控值及該些主控值的誤差，較高級的控制抽象概念可被取得，有助於用於許多操作的較簡單程式模組。在一實施例中，該些成像器的參數對於一目標應用而言係任意固定。在另一實施例中，該些參數被架構以允許高度彈性及可程式性。

在一實施例中，該相機陣列被設計成一直接替代元件以取代使用於手機及其它行動裝置中的現有相機影像感測器。基於本目的，儘管在許多攝影情形中，所得相機陣列的解析度可能超過傳統影像感測器，該相機陣列仍可被設計成與大致相同解析度的傳統影像感測器實體上相容。取得該增加的執行效率優勢，根據本發明實施例的相機陣列相較於傳統影像感測器可包含較少像素而得到相同或更佳品質影像。替代性地，在該成像器中的像素大小相較於傳統影像感測器中的像素可被降低而取得可觀成果。

為了匹配一傳統影像感測器的原始像素總數卻不增加矽面積，經常用於該些個別成像器的邏輯電路較佳地係限制於該矽面積內。在一實施例中，許多像素控制邏輯電路係單一函數集，共用於具有可應用於每一個成像器的較小函數集的成像器中的全部或多數。在本實施例中，因為該些成像器的資料輸出不會顯著地增加，故用於該成像器的傳統外部介面可被使用。

在一實施例中，包含該些成像器的相機陣列取代M百萬像素的傳統影像感測器。該相機陣列包含N x N成像器，每一個感測器包含像素。該相機陣列中的每一個成像器也具有與所取代的傳統影像感測器相同的長寬比。表1列出取代傳統影像感測器的本發明相機陣列的示範架構。

表1中的超解析度係數係估測值，且該些有效解析度值可依據處理所得的實際超解析度係數而有所不同。

在該相機陣列內的成像器數量尤其可依據(i)解析度、(ii)視差、(iii)靈敏度及(iv)動態範圍因素來決定。用於成像器尺寸的第一因素係解析度。由解析度觀點來看，較佳成像器數量範圍由2x2至6x6，此因大於6x6的陣列大小很可能破壞頻率資訊而無法藉由該超解析度程序重新產生之故。例如，配合2x2成像器的8百萬像素解析度會需要每一個成像器具有2百萬像素。類似地，配合5x5成像器的8百萬像素解析度會需要每一個成像器具有0.32百萬像素。在許多實施例中，在該陣列中的成像器數量係依據一特定應用需求來決定。

可限制成像器數量的第二因素係視差及遮蔽議題。觀於一影像中所捕捉的物體，該成像器視野被遮蔽的背景部分可被稱為“遮蔽組”。當二成像器自二不同位置捕捉該物體時，每一個成像器的遮蔽組係不同。因此，只可有一成像器所捕捉的場景像素。為了解決本遮蔽議題，一給予成像器類型在一定程度上要包含最少成像器組，並將該些成像器對稱地分佈於該相機陣列的中心軸四周。

可對成像器數量設下限的第三因素係在低照明條件下的感光度議題。為了改善低光靈敏度，用於偵測近紅外線光譜的成像器可被要求。在該相機陣列中的成像器數量可能需要增加以容納這類近紅外線成像器。

決定該成像器尺寸的第四因素係動態範圍。為了提供該相機陣列中的動態範圍，提供一些相同濾片類型(色度或亮度)的成像器係有利的。每一個相同濾片類型成像器接著可同時地搭配不同曝光時間來操作。不同曝光時間所捕捉到的影像可被處理以產生一高動態範圍影像。

依據這些因素，較佳成像器數量為2x2至6x6。4x4及5x5架構係比2x2及3x3架構更佳，此因前者很可能提供足夠的成像器數量來解決遮蔽議題，增加感光度並增加該動態範圍。此外，矩形陣列也是較佳的。同時，相較於該6x6陣列所需的計算負荷量，恢復這些陣列大小的解析度所需的計算負荷量會是適度的。然而，大於6x6的陣列也許會被使用以提供例如光學變焦及多光譜成像的額外特徵。在此雖只描述正方形成像器，如同稍後會更詳加說明地，這類成像器可具有不同x維及y維。

另一考量係專用於亮度取樣的成像器數量。藉由確保該陣列中專用於近紅外線取樣的成像器不會降低該獲取的解析度，來自該些近紅外線成像器的資訊被加至該些亮度成像器所捕捉到的解析度中。基於本目的，至少百分之50的成像器可被使用於取樣該亮度及/或近紅外線光譜。在一4x4成像器的實施例中，4個成像器取樣亮度，4個成像器取樣近紅外線，且剩餘8個成像器取樣二色度(紅色及藍色)。在另一5x5成像器的實施例中，9個成像器取樣亮度，8個成像器取樣近紅外線，且剩餘8個成像器取樣二色度(紅色及藍色)。進一步，具有這些濾片的成像器可被對稱安排於該相機陣列內以對付因為視差所造成的遮蔽。在一進一步的5x5成像器實施例中，17個成像器取樣亮度，4個成像器取樣紅色，且4個成像器取樣藍色。

在一實施例中，在該相機陣列內的成像器係空間上彼此分隔一預定距離。藉由增加該空間間隔，該些成像器所捕捉到的影像間的視差會增加。該增加的視差在更精確距離資訊係重要的地方是有利的。二成像器間的間隔也可增加以接近一對人眼間的間隔。藉由接近人眼間的間隔，一逼真立體3D影像可被提供以在一適當立體顯示裝置上呈現該產生的影像。

在一實施例中，多個相機陣列被提供於一裝置上的不同位置以克服空間限制。一相機陣列可被設計以安裝於一有限空間而另一相機陣列可被放置於該裝置的另一有限空間內。例如，若總共需要20個成像器但是可用空間只允許在一裝置的每一側上提供一1x10成像器的相機陣列，每一個包含10個成像器的二相機陣列可被放置於該裝置兩側的可用空間上。每一個相機陣列可被製造於一基板上且牢牢固定至一裝置的主機板或其它部件。此外，這類成像器不具有同質尺寸且可能具有不同x維和y維。自多個相機陣列所收集的影像可被處理以產生想要的解析度和執行效率的影像。

用於單一成像器的設計可被施用至各包含其它成像器類型的不同相機陣列。在該相機陣列中的其它變數，例如，空間距離、彩色濾片及相同或不同感測器的結合，可被修改以產生具有不同成像特徵的相機陣列。在本方式中，相機陣列的各式各樣混合可被產生並保有經濟規模的好處。

晶圓級光學整合

在一實施例中，該相機陣列運用晶圓級光學(WLO)技術。儘管在許多實施例中，類似光學通道可使用包含射出成型、玻璃模造及/或這些技術與包含晶圓級光學技術的結合的各種技術中的任一者來建構之，但不限於此。晶圓級光學技術它本身係包括一些製程的技術，該些製程包含例如在玻璃晶圓上模造光學儀器(例如，透鏡模組陣列及那些透鏡陣列的陣列)、以適當間隔物堆疊那些晶圓(包含具有複製於該基板任一側上的透鏡的晶圓)、不是在一晶圓級就是在晶粒級接著將具有該成像器的光學儀器直接封裝至一整體式整合模組中。

除了別的程序外，該晶圓級光學程序還可涉及使用一鑽石車削模件在一玻璃基板上產生每一個聚合物透鏡構 件。更特別地，在晶圓級光學技術中的製程鏈大體上包含產生一鑽石車削透鏡基板(在個別及陣列級兩者上)，接著產生負模來複製那個基板(亦稱之為壓模或工具)，並接著最後在一玻璃基板上形成一聚合物複本，其已利用例如孔徑、擋光材料、濾片等類的適當支撐光學構件來構造。

圖2A係根據一實施例的具有晶圓級光學儀器210及一感測器陣列230的相機陣列組件200的透視圖。該晶圓級光學儀器210包含複數個透鏡構件220，每一個透鏡構件220含有該感測器陣列230的二十五個感測器240中的一者。注意，相較於含有該整個感測器陣列230的單一大型透鏡，該相機陣列組件200具有佔據非常少空間的較小透鏡構件陣列。也應注意，該些透鏡中的每一個可為一不同類型。例如，每一個基板層級可包含繞射、折射、菲涅爾或其結合的透鏡。應進一步注意，在該相機陣列內，一透鏡構件220可包括彼此間軸向安排的一或多個獨立光學透鏡構件。最後，應注意，對於多數透鏡材料而言，會是該材料折射率的熱引發的變化，其必須校正以得到良好影像品質。一溫度正規化程序會於稍後章節更詳加描述。圖2B係根據一實施例的相機陣列組件250的剖面圖。該相機組件250包含一頂部透鏡晶圓262、一底部透鏡晶圓268、形成於其上的多個感測器和相關感光構件的基板278、及間隔物258、264和270。該相機陣列組件250係封裝於一密封物254內。一光學頂部間隔物258可放置於該密封物254及該頂部透鏡晶圓262之間，然而，它對於該相機組件250的建構並不重要。光學構件288係形成於該頂部透鏡晶圓262上。儘管圖2B中所示這些光學構件288係一模一樣，但應了解，不同構件類型、大小和外形仍可被使用。一中間間隔物264被放置於該頂部透鏡晶圓262和一底部透鏡晶圓268之間。另一組光學構件286係形成於該底部透鏡晶圓268上。一底部間隔物270被放置於該底部透鏡晶圓268和該基板278之間。直通矽晶穿孔274也被提供至路徑以傳送來自該些成像器的訊號。該頂部透鏡晶圓262可部分塗佈著擋光材料284(見下面的討論)以擋光。該頂部透鏡晶圓262中未塗佈著擋光材料284的部分充當讓光穿透而至該底部透鏡晶圓268和該些感光構件的孔徑欄。雖然圖2B所提供的本實施例中只顯示單一孔徑欄，但應了解，額外孔徑欄可由配置於該相機組件的基板面中的任一者或全部上的不透明層來形成以改善雜散光執行效率和降低光學串音。光學串音抑制的完整討論係提供於下。此外，儘管上面實施例係顯示間隔物258、264和270，然該間隔物功能也可藉由修改該些透鏡結構(或基板)以使該些透鏡可直接相互連接而被直接實行。在這類實施例中，該透鏡高度可被延伸，且該透鏡直接黏接至該上基板，藉此消除對間隔物層的需求。

在圖2B實施例中，濾片282係形成於該底部透鏡晶圓268上。擋光材料280也可塗佈於該底部透鏡268上以充當一光學隔離器。一擋光材料280也可塗佈於該基板278上以保護該些感測器電子儀器遠離射入光線。間隔物283也可置於該底部透鏡晶圓268和該基板278間及該些透鏡晶圓262、268間。在許多實施例中，該間隔物283係類似於該些間隔物264和270。在一些實施例中，每一間隔物層係使用一單板來配置。雖未示於圖2B中，但本發明許多實施例也包含位在該頂部透鏡晶圓262的頂上的每一個光學通道間的間隔物，其係類似於或配置於單層中在該透鏡堆疊陣列邊緣處所示的間隔物258。如下所進一步討論地，該些間隔物可由擋光材料所建構及/或塗佈擋光材料以隔離該晶圓級光學儀器所形成的光學通道。基於本應用目的，合適擋光材料可包含任何不透明材料，例如，像鈦和鉻的金屬材料、或像黑鉻(鉻或鉻氧化物)或黑矽的這些材料的氧化物、或像一黑基質聚合物(布魯爾科技公司的PSK2000)的黑色微粒填充光阻劑之類。該基板底部表面係涵蓋著一背部重分佈層(“RDL”)及錫球276。在一實施例中，該相機陣列組件250包含5x5成像器陣列。該相機陣列250具有一寬度W為7.2毫米及一長度為8.6毫米。在該相機陣列中的每一個成像器可具有一寬度S為1.4毫米。該些光學元件的總高度t1接近1.26毫米，且該相機陣列組件的總高度t2係小於2毫米。不同透鏡設計可具有不同高度t1及t2。

光學串音抑制

如上所述，該相機陣列組件250係由多個成像器所構成，如圖2A和圖2B所示地，每一個具有一相對應光學路徑或通道以導引光自該場景經過該頂部透鏡晶圓262、該中間間隔物264、該底部透鏡晶圓268、該底部間隔物270至形成置於該基板278上的感測器240的複數個感光構件上。撞擊在任何特定成像器上的光只來自於它所指定的光學路徑或通道對最終影像品質係重要的。當射在一成像器頂部上的光同時被該陣列內的另一成像器的感光構件所接收時，可視為發生光學串音。來自例如繞射的光學通道間的任何串音及/或來自該相機內部構件的光散射可引起在該影像上的瑕疵。尤其，光學通道間的串音意謂著一成像器會感測來自該成像器上的來源通量，其係與那個偵測器影像的重新建構位置和該影像位置不一致。這個導致遺失影像資料並引進無法與真實影像資料做區分的重疊雜訊兩者。據此，該相機陣列的所有光學通道應被光學隔離以使來自一透鏡或光學通道的光線不能自一光學通道跨越至另一光學通道。在圖2C所示實施例中，不透明間隔物281或不透明垂直壁283係置於各晶圓262、268之間。儘管不透明間隔物提供一光學串音抑制級，但不透明垂直壁係較佳，此因在這類實施例中，基板間的空間和該些基板它們本身的相關區段兩者係呈現不透明之故。

該光學串音抑制式不透明垂直壁可使用提供該相機陣列組件286的晶圓262、268間的不透明表面或材料的引進的任何合適技術來製造之。在一實施例中，該不透明垂直壁係藉由將溝槽全部或部分引入至該相機陣列組件286的透鏡陣列堆疊289中而形成。較佳的，不要切割完整地透過該透鏡堆疊的溝槽以保持該相機陣列組件的機械完整性。這類溝槽可由例如使用一晶圓切割機(碟片/刀片)切入 該透鏡陣列堆疊289的前面或背部、或雷射切割技術、或水噴射切割技術之類的任何合適技術所引入。一旦該些溝槽被形成，它們被填充著一擋光材料。替代性地，該些溝槽的內壁可塗佈著一擋光材料，且該溝槽的其餘部分可塗佈著具有低收縮特性的另一材料。如上所述，一擋光材料係任何不透明材料，例如，一金屬材料、一金屬氧化物、黑矽或像一黑基質聚合物的黑微粒填充光阻劑之類。

在圖2D概示的另一實施例中，光學串音抑制係藉由產生由一串堆疊孔徑所形成的虛擬不透明壁而得。在本實施例中，一串孔徑欄係藉由將該些基板塗佈著配備有一窄開口或孔徑296的不透明層294來形成於該相機陣列組件292的不同基板層級290上。若形成足夠的這些孔徑時，則可模擬一不透明垂直壁所提供的光學隔離。在這類系統中，一垂直壁會是在彼此頂上堆疊孔徑的數學限制。較佳地，以彼此間分開充足空間的方式，儘可能提供許多孔徑以便產生這類虛擬不透明壁。對於任何相機陣列組件而言，用以形成這類虛擬垂直壁所需的不透明層數量和配置可透過一光線軌跡分析而定。

在圖2E概示的進一步實施例中，光學串音抑制係使用由不透明材料所建構的間隔物295而得。在圖2F概示的再一實施例中，光學串音抑制係使用塗佈著一不透明塗層297的間隔物296而得。圖2E和圖2F所示實施例包含與圖2D所示堆疊孔徑290類似的堆疊孔徑290。在一些實施例中，光學串音抑制係不使用堆疊孔徑而得。在許多實施例中，各類擋光材料中的任一者可被使用於間隔物的建構或塗佈以得到光學隔離。

透鏡特性

圖3A和圖3B係說明隨xy平面維度變化而改變的一透鏡構件高度t。圖3B的透鏡構件320相較於圖3A的透鏡構件310的比例為1/n。注意，在度量期間保持相同孔徑比以使影像特性不改變係重要的。在該透鏡構件320的直徑L/n係比該直徑L小n因子時，該透鏡構件320的高度t/n也是比該透鏡構件310的高度小n因子。因此，藉由使用較小透鏡構件的陣列，該相機陣列組件的高度可被顯著地降低。該相機陣列組件所降低的高度可被使用以設計具有例如改善的主光線角、減少的變形及改善的色差之較佳光學特性的平滑透鏡。

圖3C說明藉由降低該相機陣列組件厚度來改善一主光線角(CRA)。主光線角1係涵蓋一整個相機陣列的單一透鏡的主光線角。雖然該主光線角可藉由增加該相機陣列和該透鏡間的距離來降低，但該些厚度限制增加對該距離增加的限制。因此，具有單一透鏡構件的相機陣列的主光線角1係大的，因而降低光學執行效率。主光線角2係該相機陣列中的成像器的主光線角，其係按厚度及其它尺寸比例來設計。該主光線角2仍與該傳統相機陣列的主光線角1相同且該主光線角並未改善。然而，藉由如圖3C所示地修改該成像器及該透鏡間的距離，該相機陣列組件中的主光線角3相較於主光線角1或主光線角2可被降低，而產生較佳光學執行效率。如上所述，根據本發明的相機陣列具有降低厚度需求，因此，該透鏡構件及該相機陣列間的距離可被增加以改善該主光線角。接著，本降低的主光線角產生一較低孔徑比及改進的調變轉移函數(MTF)。

尤其，相機設計所產生的議題之一係如何校正場曲率。透過一透鏡所投射的影像不是平面，但具有一固有彎曲表面。一種校正本場曲率的方式係將一厚的負透鏡構件312接近或直接在該成像器表面314上定位。該負透鏡構件使來自該影像的各種角度光束316變平坦，藉此對付該場曲率問題。這類場平坦影像提供優良的影像執行效率，可製造具有降低電晶體-電晶體邏輯電路需求的陣列相機，並傳送非常同質的調變轉移函數。然而，本方法的一個問題在於本場平坦方法本質上需要一高的主光線角。這個使該技術不適用於多數相機；然而，本發明相機陣列可使用背照式成像技術(BSI)。將該影像感測器定位在該基板後免除該主光線角的需求，藉此可使用圖3D所示的負透鏡構件場平坦方法。

該陣列相機的另一優勢關於色差。尤其，在一傳統多色透鏡中，因為不同光波長至該透鏡的焦距係不同，故該透鏡必須校正色差。因此，需要協調該些色波長中其中一些的透鏡執行效率以取得可接受的整體色彩執行效率。藉由製造每一個光學通道窄光譜帶，色差被降低及/或阻止，且每一個透鏡可被最佳化至一特定色波長。例如，接收可見光或近紅外線光譜的成像器可具有為了本光譜帶所特定最佳化的透鏡構件。對於偵測其它光譜的成像器而言，該透鏡構件可被建構以具有例如曲率半徑的不同特性，如此，橫跨所有光波長的固定焦距被取得以接著使不同光譜帶的聚焦平面係相同。橫跨不同光波長的聚焦平面的匹對增加該成像器所捕捉影像的精準度並降低縱向色差。因為每一個透鏡構件可被設計以導引一窄光譜帶，故缺乏色差相伴意謂著該些透鏡構件承受較不嚴格的設計限制，但相較於涵蓋一廣大光譜的傳統透鏡構件卻產生較佳或等效的執行效率。尤其，不需要進行昂貴的色差平衡校正。甚至，簡單的透鏡大體上具有較佳調變轉移函數及較低孔徑比(較高感光度)。應注意，雖然這些陣列相機所使用的透鏡相較於傳統多色透鏡時具有小得多的色差，但仍設計每一個透鏡聚焦於某波長頻寬。據此，在每一個實施例中，這些“單色”透鏡中的每一個可藉由使用高及低阿貝數材料(不同光學色散)的結合而得最佳色彩校正。

具有不同焦距(縱向色差)的不同波長的光於多色光學系統中所發生的不只是色差類型。一透鏡的折射率係視穿透該透鏡的光波長而定。因此，一透鏡會給予不同波長顏色不同的放大倍數。例如，該紅色波長帶可具有較綠色稍小的放大倍數，且接著綠色可具有較藍色稍小的放大倍數。若自這些不同光波長所取得的影像接著被重疊而未進行校正，則該影像會因為該些不同色不會正確地重疊而失去解析度。依據該材料特性，該色彩放大倍數的不同橫向變形可被決定並校正。校正可藉由限制該些透鏡輪廓以使每一種顏色具有相同放大倍數來完成，但是這樣降低可用於透鏡製造的最大自由度，並降低最佳化調變轉移函數的能力。據此，在一相機陣列實施例中，橫向變形係光學上允許，並接著在計算成像後進行校正。該透鏡橫向顏色的電子校正實際上可提供的系統執行效率的改善超越對於該原始變形的簡單校正，此因這類校正直接改善該系統在多色調變轉移函數方面的解析度。尤其，一透鏡中的橫向色差可被視為該透鏡的色彩相關變形。藉由將一物體的所有不同變形的單色影像映射回到相同矩形上，可在產生與該單色者(不只是因為該個別色彩通道色彩模糊校正，也是因為不同顏色的正確疊置之故)相同的多色調變轉移函數的全彩影像中得到完美的重疊。

使用每一個透鏡被最佳化以配合一窄光譜帶來使用的許多透鏡的又一優勢係在於沒有使用透鏡類型上的限制。尤其，該陣列相機可使用於繞射、折射、菲涅爾透鏡或這些透鏡類型的結合。繞射透鏡係吸引人的，因為它們可利用一實質平坦光學構件來產生複合波前，且製造它們也相當簡易之故。在傳統相機中，因為具有單一成像器機構且該透鏡必須能夠有效地傳送一廣大光譜，故使用繞射透鏡係不可行，且繞射透鏡在傳送窄光波長帶時係非常有效率時，本最佳化範圍外的光波長的執行效率具有一陡峭下降。因為該目前相機的每一個陣列可被聚焦於一窄光波長上，故這些繞射透鏡的窄最佳化波長帶不是一限制因素。

較小透鏡構件的其它優勢尤其包含成本降低、材料量降低及製造步驟減少。藉由提供在x及y維(因而為1/n厚)上的大小為1/n的的n²透鏡，用於製造該透鏡構件的晶圓大小也可被降低。這個降低相當可觀的材料成本及數量。進一步，透鏡基板數量被降低，而致使製造步驟數降低及伴隨的生產成本降低。提供至該些成像器的透鏡陣列所需的配置精確度典型地不比一傳統成像器的例子更迫切，此因根據本發明的相機陣列的像素大小實際上可與一傳統影像感測器相同之故。此外，單色色差隨透鏡直徑而定。因為陣列相機能夠使用較小透鏡，故現存任何色差係較小，因而使用具有較簡單輪廓的透鏡係可行的。這個產生製造品質較佳且成本較少同時存在的系統。較小尺寸透鏡也具有一較小體積，其在製造期間產生較低下陷或收縮。收縮對複製係有害的，此因它使想要的透鏡輪廓變形並導致對於該製造者預先補償該預測的下陷水準以便校正該最終透鏡外形的需求之故。本預先補償係難以控制。較低的下陷/收縮則不需具有這些嚴格的製造控制，又降低該些透鏡的整體製造成本。

在一實施例中，該晶圓級光學製程包含：(i)在透鏡製膜前，藉由電鍍透鏡構件欄將該些透鏡構件欄整合至該基板上，及(ii)蝕刻該基板中的孔洞並於該基板各處執行兩側透鏡製膜技術。因為塑料及基板間不會引起指數不匹配，故在該基板中的孔洞蝕刻係具優勢的，在本方式中，形成所有透鏡構件(類似於塗黑透鏡邊緣)的天然欄的光吸收基板可被使用。在一實施例中，濾片係該成像器的一部分。在另一實施例中，濾片係一晶圓級光學子系統的一部分。在一包含濾片的實施例中，因為當定位於離該成像感測器表面一距離時，在那些濾片層中的小缺陷被平均分佈於所有入射瞳位置上，因而較不可見，故將該濾片(不論為彩色濾片陣列、紅外線濾片及/或可見光濾片)置入或接近該孔徑欄表面而不在該成像感測器表面係較佳。

成 像系統及處理程序

圖4係根據一實施例說明一成像系統400的功能性方塊圖。該成像系統400除了其它元件外還可包含該相機陣列410、一影像處理程序模組420及一控制器440。該相機陣列410包含如上參考至圖1和圖2所詳述的二或更多成像器。影像412係由該相機陣列410中的二或更多成像器所捕捉。

該控制器440係硬體、軟體、軔體或其結合，用於控制該相機陣列410的各種操作參數。該控制器440接收來自一使用者或其它外部元件的輸入446並送出操作訊號442來控制該相機陣列410。該控制器440也送出資訊444至該影像處理程序模組420以協助該些影像412的處理。

該影像處理程序模組420係硬體、軔體、軟體或其結合，用於處理自該相機陣列410所接收的影像。該影像處理程序模組420處理例如下面參考至圖5所詳述的多個影像412。該已處理影像422接著被送出以供顯示、儲存、傳送或進一步處理。

圖5根據一實施例說明該影像處理程序模組420的功能性方塊圖。該影像處理程序模組420除了其它構件外還可包含上游程序處理模組510、影像像素相關性模組514、視差確認及測量模組518、視差補償模組522、超解析度模組526、位址轉換模組530、位址及相位移校準模組554及下游色彩處理模組564。

該位址及相位移校準模組554係儲存裝置，用於儲存在該製程或下一個重新校準程序中的相機陣列特徵化期間所產生的校準資料。在一些實施例中，該校準資料可標示該些成像器中的實體像素572的位址及影像的邏輯位址546、548之間的映射。在其它實施例中，適合特定應用的各式各樣校準資料可被運用於該位址及相位移校準模組中。

該位址轉換模組530依據該位址及相位移校準模組554中所儲存的校準資料來執行正規化。尤其，該位址轉換模組530轉換該影像中的個別像素的“實體”位址成為該些成像器中的個別像素的“邏輯”位址548，或者反之亦然。為了超解析度處理以產生增加解析度的影像，在該些個別成像器中的相對應像素間的相位差需要解決。該超解析度程序可假設對於在該產生影像中的每一個像素而言，來自每一個成像器的輸入像素組係貫地映射，且每一個成像器所捕捉的影像的相位移在該產生影像中的像素位置係已知。替代性地，該些相位移可在該超解析度程序前先被估測。該位址轉換模組530藉由轉換該些影像412中的實體位址成為該產生影像中的邏輯位址548來解決用於後續處理的這類相位差。

該些成像器540所捕捉到的影像412係提供至該上游程序處理模組510。該上游程序處理模組510可執行色彩平面正規化、黑階計算及調整、固定雜訊補償、光學PSF(點擴散函數)解迴旋、雜訊減少、橫向色差校正及串音減少中之一或更多。

在一實施例中，該上游程序處理模組也執行溫度正規化。溫度正規化校正該些光學元件的折射率變化，該些成像器透過該些光學件接收由於該相機使用期間的溫度變化所產生的光。在一些實施例中，該溫度正規化程序涉及藉由測量該相機陣列的一些成像器中之一的暗電流或其平均的暗電流來決定該相機陣列溫度。使用本測量方式，反射率正規化係藉由自溫度校準資料中選取該正確點擴散函數來執行之。不同點擴散函數可在製造時該相機的溫度相關折射率特徵化期間取得，並儲存於該成像系統以供該溫度正規化程序使用。

在該上游程序處理模組510處理該影像後，影像像素相關性模組514執行視差計算，其在所捕捉物體趨近該相機陣列時變得更加明顯。尤其，該影像像素相關性模組514對準不同成像器所捕捉影像的部分以進行該視差補償。在一實施例中，該影像像素相關性模組514比較相鄰像素的平均值間的差值與臨界值，並在該差值超過該臨界值時，設定該視差可能存在的旗標。該臨界值可隨該相機陣列的操作條件函數而動態地改變。進一步，該些鄰近區計算也是適宜的，且可反應所選成像器的特定操作條件。

該影像接著係由該視差確認及測量模組518所處理以偵測並計量該視差。在一實施例中，視差偵測係由運轉中的像素相關性監視器所完成。本操作發生於遍及具有類似總合時間條件的成像器各處的邏輯像素空間中。當該場景係在實際無限空間下時，來自該些成像器的資料係高度相關且只取決於以雜訊為主的變化。然而，當物體係足夠接近該相機時，視差效應被引進而改變該些成像器間的相關性。因為該些成像器的空間佈局之故，該視差引發的變化天性於所有成像器各處係一致的。在該測量精確度限制內，任何成像器對間的相關性差異指定任何其它成像器對間的差異及遍及其它成像器各處的差異。本資訊冗餘藉由對其它成像器對執行相同或類似計算而可得到高度精確視差確認及測量。若視差存在於其它成像器對中，則該視差應在大略與考慮的成像器位置相同的場景實體位置處發生。該視差測量可藉由保持各種對方式測量的追蹤及搭配該樣本資料求最小平方值(或類似統計值)來計算“實際”視差差異。偵測該視差的其它方法可包含偵測並追蹤來自各畫面的垂直及水平高頻影像構件。

該視差補償模組522處理包含足夠接近該相機陣列影像以引發大於超解析度程序所需的相位移資訊精確度的視差差異的物體的影像。該視差補償模組522使用在該視差偵測及測量模組518中所產生的以掃瞄線為主的視差資訊以在該超解析度程序前，先進一步調整實體像素位址及邏輯像素位址間的映射。有兩例在本處理期間發生。在更普遍例子中，當該些輸入像素的位置相對於其它成像器中相關影像上對應的像素已偏移時，位址及相位移調整係需要的。在本例中，在執行超解析度程序前，不需對視差做進一步處理。在較不普遍例子中，像素或像素群組係以曝露該遮蔽組的這類方式來偏移。在本例中，該視差補償程序產生交錯像素資料以指示著該遮蔽組的像素不應被考慮於該超解析度程序中。

在特殊成像器的視差變化已被精確地決定後，該視差資訊524被送至該位址轉換模組530。該位址轉換模組530使用該視差資訊524與來自該位址及相位移校準模組554的校準資料558來決定應用至邏輯像素位址計算的適當X和Y偏移值。該位址轉換模組530同時決定相對於該超解析度程序所產生影像428中的像素的特定成像器像素的相關次像素偏移。該位址轉換模組530考慮該視差資訊524並提供說明該視差的邏輯位址546。

在執行該視差補償後，該影像係由該超解析度模組526進行處理以自低解析度影像中得到高解析度合成影像422，如下所詳述。該合成影像422接著被饋入該下游色彩處理模組564以執行下列操作中之一或更多：焦點復原、白平衡、色彩校正、伽瑪校正、RGB至YUV校正、邊緣自動銳化、對比增強及抑制。

該影像處理程序模組420可包含用於額外處理該影像的元件。例如，該影像處理程序模組420可包含用於校正由單一像素缺陷或一像素缺陷群所引起的影像異常。該校正模組可被具體實現於與該相機陣列相同的晶片上、成為與該相機陣列分開的元件、或成為該超解析度模組526的一部分。

超解析度處理

在一實施例中，該超解析度模組526藉由處理該些成像器540所捕捉到的低解析度影像來產生較高解析度合成影像。該合成影像的整體影像品質係高於該些成像器中任一者個別捕捉的影像。換言之，個別成像器協同操作，每一個使用它們的能力來捕捉該光譜中的窄波部分以貢獻較高品質影像而不進行次取樣。與該些超解析度技術有關的影像形成可被表示如下：

其中，W_k代表將該高解析度場景(x)(透過模糊、移動及次取樣)貢獻至該些k成像器中的每一個所捕捉的低解析度影像(y _k )中的每一個，且n _k 係該雜訊貢獻。

成像器架構

圖6A至圖6F根據本發明實施例說明透過超解析度程序來得到高解析度影像的各種成像器架構。在圖6A至圖6F，“R”代表具有紅色濾片的成像器、“G”代表具有綠色濾片的成像器、“B”代表具有藍色濾片的成像器、“P”代表具有遍及該整個可見光譜及近紅外線光譜的靈敏度的多色成像器、且“I”代表具有近紅外線濾片的成像器。該多色成像器可取樣來自該可見光譜全部及近紅外線區域(也就是自650奈米至800奈米)的影像。在圖6A實施例中，該些成像器的中間行列包含多色成像器。該相機陣列的其餘區域係佈滿具有綠色濾片、藍色濾片及紅色濾片的成像器。圖6A實施例不包含只偵測近紅外線光譜的任何成像器。

圖6B實施例具有類似傳統貝爾濾片映射的架構。本實施例不包含任何多色成像器或近紅外線成像器。如上參考至圖1所詳述地，圖6B實施例不同於傳統貝爾濾片架構的地方在於每一個彩色濾片被映射至每一個成像器以取代被映射至一個別像素。

圖6C說明該些多色成像器形成一對稱棋盤圖案的實施例。圖6D說明提供四個近紅外線成像器的實施例。圖6E說明具有不規格映射的成像器實施例。圖6F說明5X5感測器陣列被組織成17個具有綠色濾片的成像器、四個具有紅色濾片的成像器及四個具有藍色濾片的成像器的實施例。該些感測器係對稱分佈於該成像陣列中心軸四周。如下進一步所述地，以本方式分佈該些成像器阻止感測器所成像的像素受到捕捉其它光波長的感測器所遮蔽。圖6A至圖6F實施例只是說明，各種其它成像器佈局也可被使用。

因為這些感測器可以低照明條件來捕捉高品質影像，故多色成像器及近紅外線成像器的使用係具優勢。由該多色成像器或該近紅外線成像器所捕捉的影像被使用於去除一般彩色成像器所得影像中的雜訊。然而，如上所述，這些多色透鏡需要使用相關色彩校正技術來對抗試著捕捉所有光波長並將它傳送至相同聚焦平面的單一透鏡內固有的色差。任何傳統色彩校正技術可被運用於所提的陣列相機。

成像器佈局

藉由集中多個低解析度影像來增加解析度的希望仰賴著代表相同場景中稍微不同視角的不同低解析度影像。若該些低解析度影像全以一像素的整數單位進行偏移，則每一個影像主要包含相同資訊。因此，在該些低解析度影像中沒有可使用於產生一高解析度影像的新資訊。在根據本發明實施例的相機陣列中，該陣列中的成像器佈局可被預設並控制以使一列或一行中的每一個成像器捕捉一影像，其係相對於它相鄰成像器所捕捉的影像進行一固定次像素距離的偏移。理想地，每一個成像器所捕捉的影像係以提供均勻取樣該場景或該光場的這類方式相較於其它成像器進行空間偏移，且該取樣均勻度使得該些成像器中的每一個所捕捉的低解析度影像產生關於該取樣場景(光場)的非冗餘資訊。關於該場景的這類非冗餘資訊可被運用於後續訊號處理程序以合成單一高解析度影像。

然而，二成像器所捕捉的影像間的次像素偏移不足以確保取樣均勻度。二成像器的取樣或取樣多樣性的均勻度係一物體距離函數。一成像器對的像素的取樣空間係示於圖6G。第一組光線(610)映射至成像器A的像素，而第二組光線(620)映射至成像器B的像素。概念上，來自一給予成像器的二相鄰光線定義該物體空間中由那個成像器內的一特定像素所取樣的部分。在離該相機平面距離z1的地方，具有足夠的取樣多樣性，因為成像器A的像素的光線係相較於成像器B的像素的光線進行空間偏移之故。在該距離降低時，有些特定距離(z2、z3、z4)，其中，在成像器A及成像器B之間沒有取樣多樣性。在該二成像器間缺少取樣多樣性相當簡單地隱含著相較於成像器B所捕捉的場景，成像器B所捕捉的場景中不具有額外資訊。如下進一步所述地，一陣列相機中的成像器數量增加可緩和成像器的樣本空間對完全重疊的物體距離的影響。當一成像器對缺少取樣多樣性時，該陣列中的其它成像器提供所需取樣多樣性來取得解析度增加的成果。因此，一成像器系統運用一2X2成像器陣列以取得超解析度的能力典型地係較根據本發明實施例使用一較大相機陣列的相機系統更受到限制。

參考回圖2A-2D中所示的相機陣列結構，該晶圓級光學儀器包含複數個透鏡構件，其中，每一個透鏡構件涵蓋該陣列的感測器中的一者。根據本發明實施例的相機陣列的單一成像器中的像素實體佈局係示於圖6H。該成像器係覆蓋著彩色濾片652和微透鏡654的像素650陣列。位在些彩色濾片頂上的微透鏡被使用以將光聚焦在下面每一像素的作用區上。該些微透鏡可被想成取樣由該主透鏡所取樣的物體空間內的連續光場。鑑於該主透鏡取樣該場景輻射光場，該些微透鏡取樣該感測器輻照光場。

與每一個成像器相關的主透鏡映射該物體空間各點至該影像空間各點，使得該映射係映射函數(一對一函數且映成函數)。每一個微透鏡取樣該感測器輻照光場的一有限範圍。該感測器輻照光場係連續且為一映射函數映射自該物體空間的結果。因此，該感測器輻照光場的一有限範圍的微透鏡取樣也是物體空間內的場景輻射光場的相對應有限範圍的取樣。

沿著該些成像器像素平原橫向移動該微透鏡約一小量δ可改變某一距離z _k 的取樣物體空間約一相對應適當因子δ。利用一nxn(n>2)陣列相機，我們可以選擇一底線微透鏡偏移，其可由一底線成像器的主透鏡輪廓(例如，該主光線角)所決定。對於與該底線成像器取樣相同波長的其它成像器中的每一個而言，該成像器中的每一個像素的微透鏡係偏移一次像素量以取樣該場景輻射光場的不同部分。因此，對於安排成一nxn格子的成像器組而言，用於以與在格子位置(i,j)(1i,jn)處的底線成像器(1,1)相同的波長進行成像的成像器的次像素偏移係受(δ_x,δ_y)所主宰，其中，

×像素大小<δ _x ×像素大小

×像素大小<δ _y ×像素大小

根據本發明實施例的許多相機陣列顯著地包含較紅色及藍色成像器更多的綠色成像器。例如，圖6F所示陣列相機包含17個綠色成像器、4個紅色成像器及4個藍色成像器。基於計算該些次像素偏移目的，該綠色成像器可看待成一nxn格子。然而，基於計算該些次像素偏移目的，該些紅色成像器及該些藍色成像器每一個可看待成一2x2格子。

上述次像素偏移係相對於位在該格子角落處的底線成像器來決定，本發明許多實施例運用自位在該感測器陣列中心處的底線成像器起始的放射狀次像素偏移。在一些實施例中，該些放射狀次像素偏移被選擇以使該些次像素偏移係均勻地分佈而可得到最大的取樣多樣性。

對上面所定義的微透鏡次像素偏移的限制在多樣性上得到最大的增加且可透過超解析度處理而在解析度上得到最大的增加。雖不能滿足該些限制但仍可提供取樣多樣性的增加的次像素偏移也可被使用以透過超解析度處理而在解析度上得到一些增加。因此，本發明實施例不限於在多樣性上產生最大增加的微透鏡偏移，而是在許多例子中運用各式各樣的不同微透鏡偏移架構以在取樣多樣性上提供至少一些增加並滿足一特定應用的需求。

在相機陣列中的成像器配置對稱性

將該些感光構件分成不同成像器的議題係由該些成像器的實體隔離所引起的視差。藉由確保該些成像器被對稱地放置，至少二成像器可捕捉一前景物體邊緣四周的像素。在本方式中，在一前景物體邊緣四周的像素可被集中以增加解析度並避免任何遮蔽。在沒有對稱分佈中，在一前景物體邊緣四周可讓例如一紅色相機的第一成像器看見的一像素對於例如一藍色成像器的捕捉不同波長的第二成像器係遮蔽的。據此，該像素的色彩資訊無法被精確地重新建構。藉由對稱地分佈該些感測器，一前景物體會遮蔽像素的可能性係顯著地降低。

在一簡單陣列中的紅色及藍色成像器的不對稱分佈所引起的像素遮蔽係示於圖6I。一對紅色成像器672係位在該相機陣列670的左手邊上，且一對藍色成像器674係位在該相機陣列的右手邊上。一前景物體676係存在，且該些紅色成像器672能夠成像超過該前景物體的左手邊上的前景物體的區域。然而，該前景物體遮蔽該些紅色成像器而無法成像這些區域。因此，該陣列相機不能重新建構這些區域的色彩資訊。

根據本發明一實施例包含一紅色及藍色成像器對稱分佈的陣列係示於圖6J。該相機陣列680包含對稱地分佈於該相機陣列中心軸四周的一對紅色成像器682及對稱地分佈於該相機陣列中心軸四周的一對藍色成像器684。因為該均勻分佈之故，一紅色成像器及一藍色成像器兩者可成像超過該前景物體的左手邊上的前景物體686，且一紅色成像器及一藍色成像器兩者可成像超過該前景物體的右手邊上的前景物體。

圖6J中所示簡單實施例的對稱配置可被歸納至包含紅色、綠色、藍色相機及/或額外多色或近紅外線相機的陣列相機。藉由將不同類型成像器的每一個對稱地分佈於該相機陣列的中心軸四周，前景物體所引進的視差效應可被顯著地降低，且在其它方面所引進的色彩瑕疵被避開。

色彩取樣上的視差效應也可藉由使用多色成像器中的 視差資訊來改善來自該色彩過濾成像器的色彩取樣精確度而被降低。

使用近紅外線成像器來得到改善的高解析度影像

在一實施例中，近紅外線成像器被使用以決定相較於可見光譜成像器的相對亮度差異。物體具有不同材料反射能力導致由該可見光譜及該近紅外線光譜所捕捉影像上的差異。在低照明條件下，該近紅外線成像器展現較高訊雜比。因此，來自該近紅外線感測器的訊號可被使用以強化該亮度影像。來自該近紅外線影像的細部轉移至該亮度影像可在透過該超解析度程序來集中不同成像器的光譜影像前先被執行。在本方式中，有關場景的邊緣資訊可被改善以建構可有效地使用於該超解析度程序的邊緣維持影像。使用近紅外線成像器的優勢在公式(2)中係顯而易見，其中，對該雜訊(也就是n)評量的任何改善導致該原始高解析度場景(x)的較佳評量。

高解析度影像的產生

圖7係根據一實施例說明自複數個成像器所捕捉的低解析度影像中產生一高解析度影像的方法流程圖。首先，亮度影像、近紅外線影像及色度影像係由該相機陣列中的成像器所捕捉。接著，對該些捕捉影像的正規化被執行於步驟714。可以各種方式將該些影像正規化，包含正規化該些影像的色彩平面、執行溫度補償及映射該些影像的實體位址至該強化影像的邏輯位址，但不限於此。在其它實施例中，各式各樣正規化程序適用於該些特定成像器及成像應用。視差補償接著被執行於步驟720以解決因為該些成像器間的空間隔離所致的成像器視野上的任何差異。超解析度處理接著被執行於步驟724以得到超解像亮度影像、超解像近紅外線影像及超解像色度影像。

接著，步驟728決定是否該照明條件係優於一預設參數。若該照明條件係優於該參數，則該方法繼續進行正規化與一超解像亮度影像有關的超解像近紅外線影像。一焦點復原接著被執行於步驟742。在一實施例中，步驟742所執行的焦點復原係使用PSF(點擴散函數)來去除每個色彩通道上的模糊不清。接著，該超解析度係依據近紅外線影像及該些亮度影像而於步驟746進行處理。一合成影像接著被建構於步驟750。

若步驟728決定該照明條件並未優於該預設參數，則該超解像近紅外線影像及亮度影像被對準於步驟734。接著，該些超解像亮度影像係於步驟738使用該些近外線超解像影像來去除雜訊。接著，該方法繼續執行焦點復原步驟742並在該照明條件係優於該預設參數時重複相同步驟。

色彩平面正規化

遍及該成像平面各處的紅色、綠色、藍色成像器中每一個的相對響應不同。該變異可以是包含該透鏡的光學對準及非對稱感測器光路徑幾何的許多因素的結果。對於给予透鏡及成像器而言，該變異可經由校準及正規化來補償。沒有補償時，該變異會引起例如色彩變暗的瑕疵。

根據本發明一實施例用於正規化與典型地位在該相機陣列中心的綠色成像器的底線成像器有關的成像器的方法係參考至與底線綠色成像器有關的紅色成像器正規化來說明於下。一類似方法可被使用以正規化與底線綠色成像器有關的藍色成像器。在許多實施例中，該方法被施用於正規化相機陣列內的每一個紅色及藍色成像器。

正規化表面可藉由先捕捉具有同樣反射係數的場景並計算一色彩比表面以充當正規化基準而被校準。理想正規化表面係均勻並可被描述為：

色彩比G/R=G(i,j)/R(i,j)=K=G_center/R_center

其中，(i,j)描述該像素位置，K係一常數，且G_center、R_center描述在該中心位置的像素值。

該校準場景的輸出像素值內含該些理想像素值加上雜訊加上黑階偏移，且可被描述如下：

SR(i,j)=R(i,j)+雜訊R(i,j)+黑階偏移

SG(i,j)=G(i,j)+雜訊G(i,j)+黑階偏移

其中，SR和SG係每一個成像器的輸出像素值。

根據本發明一實施例用於校準該感測器的方法係示於圖7A。該方法760包含自該些感測器像素值中移除(步驟762)該黑階偏移，並低通過濾(步驟764)該些影像平面以降低雜訊。該正規化平面被計算(步驟766)，且一些實施例被計算如下：正規化R=G(i,j)/(R(i,j)x(G_center/R_center))

其中，G_center和R_center係在該中心位置的像素值。

接著計算該正規化平面，平均濾片可被施用，且該正規化R平面的值可被儲存(768)。

攜帶一感測器陣列中的每一個感測器的全部正規化資料的成本可能相當高。因此，許多實施例使用空間填充曲線來掃瞄該正規化R平面以形成一維陣列。該產生的一維陣列可以各式各樣不同方式來建立模型，包含建立成具有合適階層的多項式模型。在一些實施例中，該合適多項式的多項式被儲存(810)為參數以於校準期間使用來重新建構該二維正規化平面。根據本發明一些實施例的空間填充曲線建構進一步被描述於下。

在一些實施例中，空間填充曲線被使用以形成描述正規化平面的一維陣列。使用螺旋掃瞄所建構的空間填充曲線係示於圖7B。空間填充曲線780可由該正規化平面781的中心開始並向外橫越四邊方塊。該方塊的每一邊相較於前一方塊擴大二個像素，使得每一個像素會被正確地越過一次。在所示實施例中，標記為“X”的每一個位置782對應至有效像素位置。該成像器可不具有方形幾何，如此，該掃瞄路徑可橫越未佔用空間(如虛線所示)。對於橫越的每一個位置而言，若它係有效像素位置，新資料項被加至該一 維資料陣列。否則，該橫越動作繼續，不將新值加入該資料陣列。在許多實施例中，該一維資料陣列可使用6階多項式來有效地估計，可使用該多項式的七個係數來代表之。每一個紅色及藍色成像器典型地需给予那個校準資料，將該些正規化平面表示為多項式係數代表對儲存需求的顯著減少。在許多實施例中，較高或較低階多項式、其它函數及/或其它壓縮表示式被運用以根據特定應用的需求來表示該正規化平面。

沿著每一邊的資料值展現固定幾何關係。該光學路徑至該透鏡的焦點對於靠近該中心線的單元而言係短的。該基本靈敏度可被認為在該校準表面中的一維中心且由低階多項式來估計之。該靈敏度多項式不是被儲存為機器常數(也就是對具有相同設計的所有裝置係共同的)，就是連同該掃瞄多項式一起儲存以提供額外彈性。據此，本發明許多實施例如下所述地依據該距離因素來調整該像素值。對於每一邊掃瞄而言，該些座標中的一者會為常數，也就是，常數“y”為水平掃瞄且常數“x”為垂直掃瞄。對於該邊掃瞄中的每一個像素而言，該靈敏度因素係朝向該常數“x”或“y”距離進行調整。

舉例來說，對於一水平掃瞄，該基本值可依據與該中心的距離“y”來評量該靈敏度多項式而被建立。在許多實施例中，合適多項式係四階多項式。然而其它多項式及/或其它函數可根據一特定應用的需求來運用。對於該掃瞄路徑中的每一個像素而言，以相同方式使用與該表面原點的距離以自該多項式中求取相對應靈敏度。該像素值乘上調整因子並接著儲存於該掃瞄資料陣列中。該調整因子係以該目前靈敏度值除以該基本值而算出。對於該垂直掃瞄而言，類似方法可被施用。儘管本範例使用以多項式為主的靈敏度調整，但其它靈敏度函數及/或調整也可根據本發明各種實施例視特定應用的需求而被運用。

一旦取得用於成像器的校準資料時，該校準資料可被使用於該成像器所捕捉的像素資訊正規化中。該方法典型地涉及取出該儲存校準資料、自該捕捉影像中移除該黑階偏移及將具有該正規化平面的結果值相乘。當該正規化平面係以上面概述方式來表示成多項式時，該多項式被使用以產生一維陣列，且該一維陣列的反向掃瞄被使用以形成該二維正規化平面。在校準期間施用靈敏度調整的地方，調整因子被計算，其係在該校準掃瞄期間所施用調整因子的倒數，且該調整因子係在該反向掃瞄期間施用至該一維陣列內的值。當其它空間填充曲線、該產生的一維資料陣列的表示式及/或靈敏度調整係執行於該校準程序期間時，該正規化程序據此進行調整。

如同可輕易理解地，根據本發明實施例的校準及正規化程序可被施用至該相機陣列的紅色及藍色成像器中的每一個。在許多實施例中，位在該相機陣列中心的綠色成像器係於執行該校準時使用之。在其它實施例中，不同綠色成像器及/或多個綠色成像器可被運用於該相機陣列的紅色及藍色成像器校準中。

彩色影像與近紅外線影像的影像融合

互補式金屬氧化物半導體成像器的光譜響應典型地在涵蓋650奈米至800奈米的近紅外線區域內係非常良好且在800奈米至1000奈米間係相當良好。因為近紅外線成像器係相對地無雜訊，故該些近紅外線成像器雖沒有色度資訊，但在本光譜區域內的資訊於低照明條件中係有用的。因此，該些近紅外線影像可被使用以去除該低照明條件下的彩色影像雜訊。

在一實施例中，來自近紅外線成像器的影像係與來自可見光成像器的另一影像融合。在進行融合前，一登錄被執行於該近紅外線影像及該可見光影像之間以解決視角差異。該登錄程序可被執行於離線的一次性處理步驟中。在該登錄被執行後，該近紅外線影像的亮度資訊被內插至對應至該可見光影像上的每一個格子點的格子點中。

在該近紅外線影像及該可見光影像間的像素相關性被建立後，去除雜訊及細部轉移程序可被執行。該去除雜訊程序允許訊號資訊自該近紅外線影像轉移至該可見光影像以改善該融合影像的整體訊雜比。該細部轉移確保該近紅外線影像及該可見光影像的邊緣被保存並強調以改善該融合影像中的物體的整體可見度。

在一實施例中，近紅外線閃光燈可於該些近紅外線成像器捕捉一影像期間充當一近紅外線光源。使用該近紅外線閃光燈係有利的，除了其它理由外，還因為(i)可防止對有興趣物體的惡劣照明，(ii)可保存該物體的背景顏色，及(iii)可防止紅眼效應。

在一實施例中，只允許近紅外線通過的可見光濾片被使用以進一步最佳化用於近紅外線成像的光學儀器。因為該光濾片在該近紅外線影像中產生較精準細部，故該可見光濾片改善該近紅外線光學儀器轉移函數。接著，該些細部可使用一雙兩側濾片來轉移至該些可見光影像，如同例如由Eric P. Bennett等人於電腦圖形學會(ACM SIGGRAPH公報)(2006年7月25日)的“多光譜視訊融合(Multispectral Video Fusion)”文章中所述的，在此將其全體一併整合參考之。

藉由成像器的曝光不同來決定動態範圍

自動曝光(AE)演算法對於得到欲捕捉場景的適當曝光係重要的。該自動曝光演算法的設計影響捕捉影像的動態範圍。該自動曝光演算法決定讓該擷取影像落入該相機陣列的感光範圍的線性區域的曝光值。因為在本線性區域中可得到良好訊雜比，故該線性區域係較佳的。若該曝光太少，則該圖像變得不夠飽滿，而若該曝光太多，則該圖像變得過度飽滿。在傳統相機中，重複程序被執行以將測量的圖像亮度及先前定義的亮度間的差異降低至低於臨界值。本重複程序需要大量時間進行收斂，且有時產生無法接受的快門延遲。

在一實施例中，由複數個成像器所捕捉的影像的圖像亮度係各自進行測量。尤其，複數個成像器被設定為捕捉不同曝光影像以降低計算該適當曝光的時間。例如，在具有5x5成像器的相機陣列中，其中，8個亮度成像器及9個近紅外線成像器被提供，該些成像器中的每一個可被設定具有不同曝光。該些近紅外線成像器被使用以捕捉該場景的低光樣子，且該些亮度成像器被使用以捕捉該場景的高照明樣子。這個產生總共17個可能曝光。若每一個成像器的曝光係自一相鄰成像器偏移例如2因子，則可捕捉的最大動態範圍為2¹⁷或102分貝。本最大動態範圍係遠大於具有8位元影像輸出的傳統相機中可得到的典型48分貝。

在每個瞬間，來自該多個成像器中的每一個成像器的響應(曝光不足、過度曝光或最佳曝光)係依據下一個瞬間需要多少曝光來分析。相較於一次只有曝光被測試的例子中，同時詢問該可能曝光範圍內的多個曝光的能力加速該搜尋。藉由降低決定該適當曝光的處理時間，快門延遲及拍攝間的延遲可被降低。

在一實施例中，藉由結合對每一個曝光的成像器響應進行線性化後的影像而自多個曝光中合成該高動態範圍影像。來自該些成像器的影像可於結合前先進行登錄以說明該些成像器的視角差異。

在一實施例中，至少一成像器包含高動態範圍像素以產生高動態範圍影像。高動態範圍像素係捕捉高動態範圍場景的特殊像素。儘管高動態範圍像素相較於其它像素顯示較優的執行效率，但是相較於近紅外線成像器，高動態範圍像素在低照明條件下顯示不良的執行效率。為了改善在低照明條件下的不良執行效率，來自該些近紅外線成像器的訊號可結合來自該高動態範圍成像器來使用以在不同照明條件下得到較佳品質影像。

在一實施例中，一高動態範圍影像係藉由處理多個成像器所捕捉的影像而得，如同例如由Paul Debevec等人於電腦圖形學會(ACM SIGGRAPH公報)(1997年8月16日)的“自相片中復原高動態範圍輻射映圖(Recovering High Dynamic Range Radiance Maps from Photographs))”文章中所揭示的，在此將其全體一併整合參考之。因為在該場景中的物體移動所引起的瑕疵可被減少或消除，故使用該成像器同時捕捉多個曝光的能力係有利的。

多個成像器的超光譜成像

在一實施例中，多光譜影像係由多個成像器所產生以協助場景中的物體分割或辨識。因為該些光譜反射係數在多數真實世界物體中的變化平穩，故該些光譜反射係數可使用具有不同彩色濾片的成像器以多個光譜範圍來捕捉該場景並使用主成分分析法(PCA)來分析該些捕捉影像而被估測之。

在一實施例中，在該相機陣列的成像器中的一半係專用於該基本光譜範圍(紅色、綠色及藍色)的取樣，且該些成像器中的另一半係專用於偏移基本光譜範圍(R’、G’及B’)的取樣。該偏移基本光譜範圍係自該基本光譜範圍偏移某一波長(例如，10奈米)。

在一實施例中，像素相關性及非線性內插法被執行以說明該場景的次像素偏移視野。接著，該場景的光譜反射係數係使用一組正交光譜基底函數來合成，如同例如J.P.S. Parkkinen、J. Hallikainen及T. Jaashelainen於“J. Opt. Soc. Am.,A 6:318(1989年8月)”的“孟塞爾色度的特徵光譜”文章中所揭示的，在此將其全體一併整合參考之。該些基底函數係由相關性矩陣的主成分分析法所衍生出的特徵向量，且該相關性矩陣係由儲存著例如以代表廣大真實世界材料範圍的光譜分佈的孟塞爾色度晶片(總共1257個)所測量的光譜反射係數的資料庫中衍生而出以重新建構該場景中的每一點的光譜。

在第一次掃視中，透過該相機陣列中的不同成像器捕捉該場景的不同光譜影像表現出以解析度換取較高尺寸的光譜取樣。然而，該損失解析度中的一些可被復原。該多個成像器取樣不同光譜範圍的場景，其中，每一個成像器的每一個取樣格子與別人相較係偏移一次像素偏移。在一實施例中，該成像器中沒有二取樣格子重疊。也就是，來自所有成像器的所有取樣格子的疊置構成稠密且可能不均勻的點拼圖。散佈資料內插法可被使用以決定每一個光譜影像的本非均勻拼圖中的每一個樣本點處的光譜密度，如同例如Shiaofen Fang等人於加州(1996年2月)紐波特海灘的SPIE英特爾討論會(SPIE Intl Symposium)上，1996年份SPIE第2710冊公報中，有關醫學成影技術(Medical Imaging)第404-415頁的“用於以地標為主的立體影像變形的形體變形方法(Volume Morphing Methods for Landmark Based 3D Image Deformation)”文章中所述，在此將其全體一併整合參考之。在本方式中，在使用不同光譜濾片取樣該場景過程中所遺失的某一解析度量可被復原。

如上所述，影像分割及物體辨識係藉由決定該物體的光譜反射係數來協助之。該情形通常發生於安全性應用中，其中，相機網路被使用以在物體自一相機操作區移動至另一個相機操作區時追蹤該物體。每一區可具有它自己獨一無二的照明條件(螢光、白熱燈光、D65等等)以引起該物體在不同相機所捕捉的每一影像中具有一不同色貌。若這些相機以超光譜模式來捕捉該些影像，則所有影像可被轉換成相同光源以強化物體辨識的執行效率。

在一實施例中，具有多個成像器的相機陣列被使用於提供醫學診斷影像。因為醫生及醫療人員對該產生的診斷具有較高信心，故樣本的全光譜數位影像貢獻精確診斷。在該些相機陣列中的影像可配備彩色濾片以提供全光譜資料。這類相機陣列可被安裝於手機以捕捉並傳送診斷資訊至遠端，如同例如由Andres W Martinez等人於分析化學(美國化學協會)(2008年4月11日)的“用於發展各區域的簡單遠距醫學：用於即時、離場診斷的相機電話及以報告為主的微流體裝置(Simple Telemedicine for Developing Regions: Camera Phones and Paper-Based Microfluidic Devices for Real-Time,Off-Site Diagnosis)”文章中所述的，在此將其全體一併整合參考之。進一步，包含多個成像器的相機陣列可提供具有大景深的影像以強化傷口、疹子及其它症狀的影像捕捉的可靠性。

在一實施例中，具有窄光譜帶通濾片的小型成像器(包含例如20-500像素)被使用以產生場景中的背景和局部光源的特徵。藉由使用該小型成像器，該曝光及白平衡特徵可以更快速度做更精確決定。該光譜帶通濾片可為一般彩色濾片或繞射構件，具有足以允許相機陣列數量可涵蓋約400奈米可見光譜的帶通寬度。這些成像器可以非常高畫面速率運轉並得到資料(其可以或不可以使用於它的圖畫內容)以處理成控制相同相機陣列中的其它較大成像器的曝光及白平衡資訊。

使用多個成像器來配置的光學變焦

在一實施例中，在該相機陣列中的成像器子集包含望遠透鏡。該成像器子集與具有非望遠透鏡的成像器可具有相同的其它成像特徵。來自本成像器子集的影像被結合並進行超解析度處理以形成一超解析度遠距影像。在另一實施例中，該相機陣列包含配備大於二放大倍數的透鏡的二或更多成像器子集以提供不同的變焦放大倍數。

該些相機陣列實施例可透過超解析度來集中影像而得到它的最終解析度。選取提供具有3倍光學變焦特徵的5x5成像器範例，若17個成像器被使用以取樣該亮度(G)且8個成像被使用以取樣該色度(R及B)，則17個亮度成像器允許較該17個成像器組中的任一成像器所得者高四倍的解析度。若該些成像器數量係自5x5增加至6x6，則增加11個額外成像器可用。相較於裝有3倍變焦透鏡的8百萬像素的傳統影像感測器，當該額外11個成像器中的8個係專用於取樣亮度(G)且剩餘3個成像器係專用於色度(R及B)及3倍變焦下的近紅外線取樣時，可得到該傳統影像感測器的60%解析度。本相當可觀地降低該色度取樣(或近紅外線取樣)對亮度取樣的比值。該降低的色度對亮度取樣比值係使用3倍變焦的超解像亮度影像做為先前該色度(及近紅外線)影像的辨識以在較高解析度下重新取樣該色度影像而稍獲補償。

利用6x6成像器，等效於傳統影像感測器解析度的解析度係以1倍變焦取得。在3倍變焦下，相同成像器可得到約等效於配備3倍變焦的傳統影像感測器的60%解析度。同時，相較於具有3倍變焦解析度的傳統影像感測器，3倍變焦亮度解析度下降。然而，該下降亮度解析度係因串音及光學色差所致的傳統影像感測器的光學儀器在3倍變焦下的效率下降的事實而獲補償。

由多個成像器所取得的變焦操作具有下列優勢。第一，因為該些透鏡構件可被量身打造以適用於每一個焦距變化的事實之故，所得變焦品質係相當可觀地高於該傳統影像感測器所取得的品質。在傳同影像感測器中，橫跨該透鏡的整個操作範圍的光學色差及場曲率必須被校正，其在具有移動構件的變焦透鏡中比在只有用於固定焦距的色差需被校正的固定透鏡構件相當可觀地更加困難。此外，在該些成像器中的固定透鏡具有一給予高度的固定主光線角，其不是具有移動變焦透鏡的傳統影像感測器例子。第二，該些成像器允許變焦透鏡模擬而沒有顯著地增加該光學軌跡高度。該降低的高度可配置薄型模組，即使針對具有變焦能力的相機陣列亦然。

根據一些實施例，用以支援相機陣列內的某一光學變焦級所需的經常支出係列表顯示於表2。

在一實施例中，該些影像中的像素被映射至具有對應至所要變焦量的尺寸及解析度的輸出影像上，用以提供自該最廣角視野至該最大放大倍數視野的平滑變焦能力。假設該些較高放大倍數透鏡具有與該些較低放大倍數透鏡相同的視野中心，可用影像資訊使得該影像的中心區域較該外部區域具有較高有效解析度。在三或更多不同放大倍數例子中，不同解析度的套疊區域可隨解析度往該中心增加而提供之。

具有最大遠距效應的影像具有由配備著該些望遠透鏡的成像器的超解析度能力所決定的解析度。具有最廣視野的影像可以下列二方式中的至少一者進行格式化。第一，廣角視野影像可被格式化成具有一均勻解析度的影像，其中，該解析度係由具有更廣角透鏡的成像器組的超解析能力所決定。第二，該廣角視野影像被格式化成較高解析度影像，其中，該影像中心部分的解析度係由配備有望遠透鏡的成像器組的超解析度能力所決定。在該些較低解析度區域中，來自每影像區域的像素減少數量的資訊係平穩地內插於更大量“數位”像素各處。在這類影像中，該像素資訊可被處理並內插以使自較高至較低解析度區域的轉移平穩地發生。

在一實施例中，變焦係藉由將一似桶狀變形誘至該陣列透鏡的一些或全部中以使不均衡像素數量被專用於每一個影像的中心部分。在本實施例中，每一個影像必須被處理以移除該桶狀變形。為了產生廣角影像，較接近該中心的像素係次取樣，相對的外部像素係超取樣。在變焦被執行時，在該些成像器周圍的像素逐漸被丟棄，並增加較靠近該成像器中心的像素取樣。

在一實施例中，紋理硬射濾片被建立以允許影像按該些光學構件的特定變焦範圍(例如，該相機陣列的1倍及3倍變焦規模)間的變焦規模來表現。紋理硬射係附帶一底線影像的預先計算的最佳影像組。與該3倍變焦亮度影像有關的影像組可由3倍的底線規模下降至1倍時產生。本組中的每一個影像係該底線3倍變焦影像在降低的細部水準下的版本。使用該紋理硬射來表現一想要變焦級的影像係藉由(i)選該1倍變焦的影像並計算用於該想要變焦級的場景涵蓋範圍(也就是，在該底線影像中那些像素需要以所要求的規模表現以產生該輸出影像)，(ii)對於在該涵蓋範圍組內的每一個像素而言，決定該像素是否在該3倍變焦亮度影像所涵蓋的影像中，(iii)若該像素可由該3倍變焦亮度影像中取得，則選擇二最接近的紋理硬射影像並內插(使用平滑濾片)來自該二紋理硬射影像的相對應像素以產生該輸出影像，以及(iv)若該像素無法由該3倍變焦亮度影像中取得，則選擇來自該底線1倍色度影像的像素並放大至該想要規模以產生該輸出像素而得。藉由使用紋理硬射，平滑光學變焦可在二給予不連續級數(也就是，1倍變焦和3倍變焦)間的任一點處進行模擬。

在一實施例中，變焦係藉由電子式切換於具有不同感測器尺寸但有固定有效焦距(EFL)的不同光學通道之間來實現不同視野(FOV)而得。在略示於圖8A的這類實施例中，可變視野係藉由在相同固定有效焦距804下具有不同成像器尺寸800的相同基板上產生光學通道而得。使用本結構，可藉由包含具有更大或更小像素數量的影像感測器來產生任意變焦放大倍數值。在這些可變焦感測器陣列800及802可直接製造於該底部相機陣列基板上而不需對該陣列相機組件本身的設計做任何進一步修改時，本技術對整合至晶圓級光學陣列相機中係特別簡單。

在圖8B所示的另一實施例中，不同視野係藉由將不同有效焦距805建至該相機陣列806的特定光學通道中且保持固定成像器尺寸808而得。在相同基板堆疊上配置不同有效焦距，也就是，具有固定厚度及空隔的基板堆疊係更複雜，此因該主要平面及具有它的入射瞳及所產生與該影像感測器814有關的孔徑欄810的距離需要改變，用以改變該光學通道的焦距。在目前實施例中，這個可由將“虛擬基板”816、818和820引進至該堆疊中而完成，如此，每一個變焦通道822、824和826具有置放在不同基板或基板的不同表面上的相關孔徑欄828、830和832以使不同有效焦距可被取得。如所示，在該些透鏡(812、834、836和838)及該些孔徑欄(828、830和832)分佈並定位於該特定基板或基板面係完全視該想要有效焦距而定時，在所有例子中，該些基板厚度及距離仍是固定不變。替代性地，在這類實施例中，該些基板中的每一個雖可配備透鏡，但分佈方式不同以便允許用於不同有效焦距。這類結構可雖有較高影像品質但是成本較高。

在圖8C所示的再一實施例中，不同視野也可藉由圖8B所示的類似方式，除了每一個光學通道內的所有基板上具有透鏡構件的例外，使用“虛擬”基板來建立不同有效焦距805而得。然而，該些透鏡構件具有不同法規以便提供不同的有效焦距。據此，光學儀器和感測器尺寸及/或感光構件尺寸的各式各樣架構中的任一者可搭配根據本發明實施例的陣列相機來運用以取得不同有效焦距。

捕捉視訊影像

在一實施例中，該相機陣列產生高畫面影像序列。該相機陣列中的成像器可獨立操作來捕捉影像。相較於傳統影像感測器，該相機陣列可以高達N次(其中，N為成像器數量)的畫面速率來捕捉影像。進一步，每一個成像器的畫面週期可重疊以改善低光條件下的操作。為了增加該解析 度，成像器子集可以同步方式來操作以產生較高解析度的影像。在本例中，該最大畫面速率係藉由以同步方式操作的成像器數量來降低。該高速視訊畫面速率可使慢動作視訊能夠以正常視訊速率播放。

在一範例中，二亮度成像器(綠色成像器或近紅外線成像器)、二藍色成像器及二綠色成像器被使用以得到高解析度1080p影像。使用四亮度成像器(二綠色成像器及二近紅外線成像器或三綠色成像器及一近紅外線成像器)連同一藍色成像器及一紅色成像器的排列，該些色度成像器可被增加取樣以得到用於1080p視訊的每秒120畫面。對於較高畫面速率成像裝置而言，畫面速率值可被線性增大。針對標準解析度(480p)操作，240畫面/秒的畫面速率可使用該相同相機陣列來得到。

具有高解析度影像感測器(例如，8百萬像素)的傳統成像裝置使用放入法或跳過法來捕捉較低解析度影像(例如，1080p30、720p30及480p30)。在放入法中，在該些捕捉影像中的列和行被內插至該電荷、電壓或像素域，用以得到該目標視訊解析度而降低該雜訊。在跳過法中，列和行被略過，用以降低該感測器的功率消耗。這兩個技術產生影像品質下降的結果。

在一實施例中，在該些相機陣列中的成像器係選擇性地啟動來捕捉一視訊影像。例如，9個成像器(包含一近紅外線成像器)可被使用以得到1080p(1920x1080像素)影像，且6個成像器(包含一近紅外線成像器)可被使用以得到720p(1280x720像素)影像或4個成像器(包含一近紅外線成像器)可被使用以得到480p(720x480像素)影像。因為在該成像器及該些目標視訊影像間具有精確的一對一像素關係，故所得解析度係高於傳統方法。進一步，既然只有一成像器子集被啟動以捕捉該些影像，顯著的功率節省也可取得。例如，1080p的功率消耗可取得60%的減少且480p中的功率消耗可取得80%的減少。

因為來自該近紅外線成像器的資訊可被使用以去除每一個視訊影像的雜訊，故使用該近紅外線成像器來捕捉視訊影像係有利的。在本方式中，實施例的相機陣列展示優秀低光靈敏度並可操作於極低光條件中。在一實施例中，對來自多個成像器的影像執行超解析度處理以得到較高解析度視訊影像。該超解析度程序的雜訊降低特徵連同來自該近紅外線成像器的影像融合產生非常低雜訊的影像。

在一實施例中，高動態範圍(HDR)視訊捕捉係藉由啟動更多成像器而得。例如，在操作於1080p視訊捕捉模式的5x5相機陣列中，只有9個相機在動作。該16個相機的子集可藉由兩組或四組中的欄而被過度曝光或曝光不足以取得具有非常高動態範圍的視訊輸出。

多個成像器的其它應用

在一實施例中，該多個成像器被使用於估測至場景中的物體的距離。既然有關至影像中的每一點的距離資訊係可用於該相機陣列連同一影像構件的x及y座標內的範圍中，影像構件尺寸可被決定。進一步，實體項目的絕對尺寸及外形可被測量而不用其它參考資訊。例如，一張足部圖像可被取得且該產生資訊可被使用以精確地估側一適當鞋子的尺寸。

在一實施例中，景深降低係使用距離資訊來模擬於該相機陣列所捕捉的影像中。根據本發明的相機陣列產生具有景深大幅增加的影像。然而，在一些應用中也許無法期待該長景深。在這類例子中，特定距離或一些距離可被選擇做為該影像的“最佳焦點”距離，並依據來自視差資訊的距離(z)資訊，可使用例如簡易高斯模糊技術使該影像的像素一個個地變模糊。在一實施例中，自該相機陣列中取得的深度映圖被運用以使一色相映射演算法使用該深度資訊來執行該映射以引導該色階，藉以強調或誇大該立體效果。

在一實施例中，不同尺寸的孔徑被提供以得到孔徑多樣性。該孔徑尺寸與該景深具有一直接關係。然而，在小型相機中，所製造的孔徑大體上係儘可能地大以允許更多的光到達該相機陣列。不同成像器可透過不同尺寸的孔徑來接收光。對於產生一大景深的成像器而言，該孔徑可被降低，然而其它成像器可具有大孔徑以極大化所接收的光。藉由融合來自不同孔徑尺寸的感測器影像的影像，可得到具有大景深的影像而不犧牲該影像品質。

在一實施例中，根據本發明的相機陣列依據捕捉自視角偏移的影像進行再聚焦。不像一傳統全光學相機，得自本發明相機陣列的影像不會遭受解析度大損失。然而，相較於該全光學相機，根據本發明的相機陣列產生稀少的資料點來進行再聚焦。為了克服該些稀少的資料點，內插法可被執行以再聚焦來自該些稀少的資料點的資料。

在一實施例中，在該相機陣列中的每一個成像器具有一不同距心。也就是，每一個成像器的光學儀器被設計並安排以使每一個成像器的視野稍微重疊但對於大部分而言，構成一較大視野的不同磚塊。來自該些磚塊中的每一個磚塊的影像係全景地縫接一起以表現單一高解析度影像。

在一實施例中，相機陣列可形成於獨立基板上並安裝在具有空間隔離的相同主機板上。在每一個成像器上的透鏡構件可被安排以使該視野角落稍微包括垂直於該基板的線。因此，若四個成像器被安裝在該主機板上，每一個成像器相對於另一個成像器係旋轉90度，該些視野會是四個稍微重疊的磚塊。這個允許單一晶圓級光學透鏡及成像器晶片設計被使用來捕捉一全景影像的不同磚塊。

在一實施例中，一或更多成像器組被安排以捕捉為了產生具有重疊視野的全景影像所縫接的影像，而另一成像器或成像器組具有一包括所產生的磚塊影像的視野。這個實施例提供具有不同有效解析度給不同特徵的成像器。例如，可期待具有較色度解析度更多的亮度解析度。因此，一些成相器組可利用它門全景縫接的視野來偵測亮度。較少成像器可被使用以利用包括該些亮度成像器的縫接視野的視野來偵測色度。

在一實施例中，具有多個成像器的相機陣列被安裝在一可撓主機板上以使該主機板可以手折彎以改變該影像的長寬比。例如，一成像器組可以一水平線方式安裝於一可撓主機板上以使在該主機板的靜止狀態中，全部成像器的視野係大約相同。若有四個成像器，則得到具有每個個別成像器的解析度兩倍的成像器，使得該主影像中的細部係一個別影像可解像的細部範圍的一半。若該主機板被彎曲以使它形成一垂直圓柱體的一部分，則該些成像器向外指。隨著部分彎曲，因為在該主影像中的每一點係在二個成像器而非四個成像器的視野內，故該主影像的寬度變兩倍而可解像的細部減少。在最大彎曲下，該主影像係四倍寬而在該主成像中可解像的細部進一步減少。

離線重新建構及處理

該成像系統400所處理的影像可在該影像資料儲存於例如一快閃記憶體裝置或一硬碟的儲存媒體上之前或同時進行預覽。在一實施例中，該些影像或視訊資料包含亮光場資料組及該相機陣列原先捕捉到的其它有用影像資訊。其它傳統檔案格式也可被使用。該儲存影像或視訊可被播放或透過各種有線或無線通訊方法來傳送至其它裝置。

在一實施例中，工具係經由一遠端伺服器來提供給使用者。該遠端伺服器可充當該些影像或視訊的貯存庫及離線處理引擎兩者使用。此外，搗成例如Flikr、Picasaweb、臉書等等受歡迎的照片分享網站的一部分的applet小程式可允許影像進行不是個別地就是共同合作地互動式操控。進一步，軟體外掛至影像編輯程式可被提供以處理例如桌上型電腦及膝上型電腦的電腦裝置上的成像裝置400所產生的影像。

在此所述的各種模組可包括由儲存於一通用型電腦中的電腦程式所選擇性啟動或重新架構的該電腦。這類電腦程式可被儲存於一電腦可讀取儲存媒體，例如，包含軟碟、光碟、唯讀記憶體光碟、磁性光碟的任何碟片類型、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、可拭去可程式化唯讀記憶體、電性可拭去可程式化唯讀記憶體、磁卡或光學卡、特殊用途積體電路(ASIC)或適合儲存電子指令的任何媒體類型，但不限於此，且每一個耦接至一電腦系統匯流排。更進一步，該說明書中所參考的電腦可包含單一處理器或可為運用多個處理器設計以增加電腦能力的架構。

儘管本發明特定實施例及應用在此已被顯示並描述，應了解，本發明不受限於在此所揭示的明確架構及元件，且在本發明方法及設備的配置、操作及細部上的各種修正、改變及變化可被進行而不偏離在所附申請專利範圍中所定義的本發明精神及範圍。

100‧‧‧相機陣列

200‧‧‧相機陣列組件

210‧‧‧晶圓級光學儀器

221‧‧‧透鏡構件

231‧‧‧感測器陣列

240‧‧‧感測器

250‧‧‧相機陣列組件

254‧‧‧密封物

258‧‧‧頂部間隔物

262‧‧‧頂部透鏡晶圓

264‧‧‧中間間隔物

268‧‧‧底部透鏡晶圓

270‧‧‧底部間隔物

274‧‧‧直通矽晶穿孔

276‧‧‧錫球

278‧‧‧基板

280‧‧‧擋光材料

281‧‧‧不透明間隔物

282‧‧‧濾片

283‧‧‧間隔物

284‧‧‧擋光材料

286‧‧‧光學構件

288‧‧‧光學構件

289‧‧‧透鏡陣列堆疊

290‧‧‧基板層級

292‧‧‧相機陣列組件

294‧‧‧不透明層

295‧‧‧間隔物

296‧‧‧孔徑

297‧‧‧不透明塗層

310‧‧‧透鏡構件

312‧‧‧負透鏡構件

314‧‧‧成像器表面

316‧‧‧光束

320‧‧‧透鏡構件

400‧‧‧成像系統

410‧‧‧相機陣列

412‧‧‧影像

420‧‧‧影像處理程序模組

422‧‧‧合成影像

428‧‧‧產生影像

422‧‧‧已處理影像

440‧‧‧控制器

442‧‧‧操作訊號

444‧‧‧資訊

446‧‧‧輸入

510‧‧‧上游程序處理模組

514‧‧‧影像像素相關性模組

518‧‧‧視差確認及測量模組

522‧‧‧視差補償模組

524‧‧‧視差資訊

526‧‧‧超解析度模組

530‧‧‧位址轉換模組

540‧‧‧成像器

546‧‧‧邏輯位址

548‧‧‧邏輯位址

554‧‧‧位址及相位移校準模組

558‧‧‧校準資料

564‧‧‧下游色彩處理模組

572‧‧‧實體像素

610‧‧‧光線組

620‧‧‧光線組

650‧‧‧像素陣列

652‧‧‧彩色濾片

654‧‧‧微透鏡

670‧‧‧相機陣列

672‧‧‧紅色成像器

674‧‧‧藍色成像器

676‧‧‧背景物體

680‧‧‧相機陣列

682‧‧‧紅色成像器

684‧‧‧藍色成像器

686‧‧‧背景物體

710-750‧‧‧步驟

760-768‧‧‧步驟

780‧‧‧空間填充曲線

781‧‧‧正規化平面的中心

782‧‧‧有效像素位置

800‧‧‧成像器

802‧‧‧成像器

804‧‧‧固定有效焦距

805‧‧‧有效焦距

806‧‧‧相機陣列

808‧‧‧成像器尺寸

810‧‧‧孔徑欄

812‧‧‧透鏡

814‧‧‧影像感測器

816‧‧‧虛擬基板

818‧‧‧虛擬基板

820‧‧‧虛擬基板

822‧‧‧變焦通道

824‧‧‧變焦通道

826‧‧‧變焦通道

828‧‧‧孔徑欄

830‧‧‧孔徑欄

832‧‧‧孔徑欄

834‧‧‧透鏡

836‧‧‧透鏡

838‧‧‧透鏡

B‧‧‧具有藍色濾片的成像器

G‧‧‧具有綠色濾片的成像器

L‧‧‧直徑

R‧‧‧具有紅色濾片的成像器

S‧‧‧寬度

W‧‧‧寬度

t‧‧‧高度

t1‧‧‧總高度

t5‧‧‧總高度

CRA1‧‧‧主光線角1

CRA2‧‧‧主光線角2

CRA3‧‧‧主光線角3

z1-z4、z_k‧‧‧距離

1A-NM‧‧‧成像器

圖1係根據一實施例的具有複數個成像器的相機陣列平面圖。

圖2A係根據一實施例的具有透鏡構件的相機陣列透視圖。

圖2B係根據一實施例的相機陣列剖面圖。

圖2C係根據一實施例的具有串音抑制作用的相機陣列剖面圖。

圖2D係根據一第二實施例的具有串音抑制作用的相機陣列剖面圖。

圖2E係根據一進一步實施例的整合不透光間隔物以提供光學性串音抑制作用的相機陣列剖面圖。

圖2F係根據另一實施例的整合塗佈著不透光材料以提供串音抑制作用的間隔物的相機陣列剖面圖。

圖3A及圖3B係根據一實施例說明依據成像器尺寸變化來改變透鏡構件高度的剖面圖。

圖3C係說明依據該些透鏡構件的尺寸不同來改變主要光線角度的圖形。

圖3D係根據一實施例的具有場平坦的相機陣列剖面圖。

圖4係根據一實施例的成像裝置的功能性方塊圖。

圖5係根據一實施例的影像處理程序模組的功能性方塊圖。

圖6A至圖6F係根據實施例的具有不同異質成像器佈局的相機陣列平面圖。

圖6G係概念性地說明取樣多樣性可視物體距離而定的方式的圖形。

圖6H係根據本發明一實施例的成像器的像素剖面圖。

圖6I係概念性地說明在紅色及藍色成像器未對稱地分佈於一相機陣列的中心存取處四周時所產生的遮蔽區域的圖形。

圖6J係概念性地說明藉由將紅色及藍色成像器對稱地分佈於一相機陣列的中心存取處四周來消除圖6I所示遮蔽區域的方式的圖形。

圖7係根據本發明一實施例說明自複數個成像器所捕捉的較低解析度影像中產生一強化影像的方法的流程圖。

圖7A係根據本發明一實施例說明用於在校準期間建構一正規化平面的方法的流程圖。

圖7B係根據圖7A所示的本發明一實施例來概念性地說明在校準期間建構一正規化平面的方法。

圖8A係根據一實施例的具有光學變焦的相機陣列的剖面圖。

圖8B係根據一第二實施例的具有光學變焦的相機陣列的剖面圖。

圖8C係根據一進一步實施例的內含具有不同視野的成像器的相機陣列的剖面圖。

200‧‧‧相機陣列組件

210‧‧‧晶圓級光學儀器

220‧‧‧透鏡構件

230‧‧‧感測器陣列

240‧‧‧感測器

Claims (79)

1. 一種成像裝置，包括：至少一成像器陣列，且在該陣列中的每一個成像器包括複數個感光構件；透鏡堆疊陣列，其包括：被配置以形成複數個光學通道的透鏡構件，其中該些光學通道被架構以在場景內由稍微不同的視角形成物體空間的影像；位於每一個光學通道內的至少一孔徑；位於每一個光學通道內的至少一光譜濾片，其中每一個光譜濾片被架構以通過特定光譜帶；及位於該透鏡堆疊陣列內用以光學隔離該些光學通道的擋光材料；控制電路，被架構來藉由對應的光學通道以補捉該些成像器中的每一個成像器的該些感光構件上所形成的影像，且進一步被架構來獨立處理每一個成像器；及超解析度模組，被架構以使用複數個捕捉影像來產生至少一較高解析度超解像影像；其中，該些複數個光學通道和該些複數個成像器形成複數個相機，該些複數個相機被架構以捕捉代表相同場景之稍微不同視角的不同低解析度影像，該些低解度影像提供關於該場景的非冗餘資訊；其中，由該些複數個相機所捕捉的該些低解析度影像包括不同的遮蔽組，其中一給定相機的該遮蔽組是該特定 相機的視野被遮蔽之對於該些複數個相機中的第一者而言是可看見之場景中的部分；其中，形成包括被架構來通過第一光譜帶的光譜濾片之用於第一類型的相機的第一光學通道之至少一透鏡構件的外形是不同於形成包括被架構來通過第二光譜帶的光譜濾片之用於第二類型的相機的第二光學通道之至少一透鏡構件的外形；及其中，該些複數個相機包括每一個類型的至少一相機，該至少一相機捕捉可讓該些複數個相機中的第一者而言是可看見並且是在該些複數個相機中的其他者的遮蔽組中之前景物體的邊緣附近的像素。
2. 如申請專利範圍第1項之成像裝置，其中，至少一光譜濾片係選自由有機彩色濾片、吸收性材料、介電塗層、干擾濾片、多層塗層及其結合所構成的族群中。
3. 如申請專利範圍第1項之成像裝置，其中，該些光學通道中的至少一者進一步包括偏光濾片。
4. 如申請專利範圍第1項之成像裝置，其中，透鏡堆疊的架構依據該光學通道內的光譜濾片所通過的特定光譜帶而有所不同，藉以降低色差。
5. 如申請專利範圍第1項之成像裝置，其中，在每一個光學通道內的至少一透鏡構件的外形被架構以使每一個透鏡堆疊的後焦距係相同而與該光譜帶無關。
6. 如申請專利範圍第1項之成像裝置，其中，高及低阿貝數材料的結合被使用於該些透鏡堆疊的每一個架構中以 降低色差。
7. 如申請專利範圍第1項之成像裝置，其中，每一個透鏡堆疊包含定位在該感光構件前方的至少一孔徑欄，且光譜濾片係接近該孔徑欄來定位。
8. 如申請專利範圍第7項之成像裝置，其中，該至少一孔徑欄係由選自由金屬材料、氧化物材料、黑色微粒填充光阻劑及其結合所構成的族群中的擋光材料所形成。
9. 如申請專利範圍第1項之成像裝置，其中：每一個透鏡表面係選自由繞射、菲涅爾、折射及其結合所構成的族群中。
10. 如申請專利範圍第9項之成像裝置，其中，該些透鏡表面的曲率半徑依據在對應的光學通道內所通過的特定光譜帶而有所不同。
11. 如申請專利範圍第9項之成像裝置，其中，該些成像器中的每一個成像器的透鏡堆疊具有相同後焦距。
12. 如申請專利範圍第1項之成像裝置，其中，該些感光構件被放置以偵測背照式成像模式中的影像。
13. 如申請專利範圍第12項之成像裝置，其中，獨立負透鏡構件係放置於非常接近成像器的感光構件處並以光學對準著該成像器的透鏡堆疊以使該透鏡堆疊的場曲率被校正。
14. 如申請專利範圍第1項之成像裝置，其中，獨立負透鏡構件係放置於非常接近成像器的感光構件處並以光學對準著該成像器的透鏡堆疊以使該透鏡堆疊的場曲率被校 正。
15. 如申請專利範圍第1項之成像裝置，其中，在該成像器陣列的成像器中的至少二者具有不同視野以使不同場景尺寸可被該些成像器所捕捉。
16. 如申請專利範圍第15項之成像裝置，其中，該至少二成像器的透鏡堆疊具有不同焦距。
17. 如申請專利範圍第15項之成像裝置，其中，在至少二成像器中的每一個成像器的感光構件具有不同尺寸。
18. 如申請專利範圍第15項之成像裝置，其中，該至少二成像器包含不同感光構件數量。
19. 如申請專利範圍第1項之成像裝置，進一步包括位於成像器的透鏡堆疊內以平滑地轉移於不同視野之間的的一機械式變焦機構。
20. 如申請專利範圍第1項之成像裝置，其中，該些成像器中的至少一者被設計以在該近紅外線光譜的光中進行成像。
21. 如申請專利範圍第1項之成像裝置，其中，至少一成像器被架構以進行該可見光譜測量，且其中，該控制電路被架構以使用該測量來控制該成像裝置內的其它成像器的成像特徵。
22. 如申請專利範圍第1項之成像裝置，其中，該成像裝置包含至少二相機陣列。
23. 如申請專利範圍第22之成像裝置，其中，該至少二相機陣列於成像期間同時操作以提供立體影像。
24. 如申請專利範圍第22項之成像裝置，其中，該至少二相機陣列彼此間在至少一平面內係空間隔離。
25. 如申請專利範圍第22項之成像裝置，其中，該些相機陣列中的每一個包括不同成像器結合，每一個成像器結合具有不同成像特徵。
26. 如申請專利範圍第1項之成像裝置，其中，至少一相機陣列包括NxM成像器陣列，其中，N及M中的至少一者係大於2，且該些成像器中的每一個包括至少二感光構件。
27. 如申請專利範圍第1項之成像裝置，其中，該控制電路被架構以控制每一個成像器的成像特徵。
28. 如申請專利範圍第27項之成像裝置，其中，該些可控制成像特徵包含曝光時間、增益及黑階偏移。
29. 如申請專利範圍第1項之成像裝置，其中，該控制電路被架構以根據想要序列來觸發該些成像器中的每一個。
30. 如申請專利範圍第29項之成像裝置，其中，該控制電路以交錯式序列來操作該些成像器。
31. 如申請專利範圍第1項之成像裝置，其中，用於每一個成像器的成像特徵的初始主設定參數係由該控制電路所設定；來自該些初始主設定參數的預先定義的誤差也是由該控制電路所設定；及該些誤差包含選自由開放系統連結設定參數、高動態 範圍、增益設定參數、整合時間設定參數、曝光設定參數、數位處理設定參數及其結合所構成的族群中的函數。
32. 如申請專利範圍第1項之成像裝置，其中，該些相機陣列係使用由晶圓級光學技術、射出成型、玻璃模造及其結合所構成的族群中的技術來製造。
33. 如申請專利範圍第1項之成像裝置，其中，該複數個成像器中的每一個彼此間係光學隔離。
34. 如申請專利範圍第33項之成像裝置，其中，該些成像器的每一個與其它成像器間係由位在該些感光構件前方並具有安排成軸向對準著該成像器的透鏡堆疊的開口的至少二不透明表面所光學隔離。
35. 如申請專利範圍第33項之成像裝置，其中，該些成像器彼此間係由放置在該些成像器之間的交界處的不透明壁所光學隔離。
36. 如申請專利範圍第35項之成像裝置，其中，該些不透明壁係為填滿擋光材料的成像器之間的腔體。
37. 如申請專利範圍第33項之成像裝置，其中：至少一透鏡堆疊包含間隔物；及該些間隔物係由不透明材料所建構。
38. 如申請專利範圍第33項之成像裝置，其中，該透鏡堆疊包含間隔物；及該些間隔物係塗佈著不透明材料。
39. 如申請專利範圍第1項之成像裝置，其中，該控制電路被架構以使用一維空間填充曲線來描述正規化平面以 執行捕捉低解析度影像的正規化。
40. 如申請專利範圍第39項之成像裝置，其中，該一維空間填充曲線係以多項式的係數來表示。
41. 如申請專利範圍第1項之成像裝置，其中，該控制電路被架構以使用具有不同曝光次數的不同成像器來捕捉多個低解析度影像。
42. 如申請專利範圍第41項之成像裝置，其中，補捉影像所使用的成像器中的至少一者的感光構件係高動態範圍感光構件。
43. 如申請專利範圍第42項之成像裝置，其中，捕捉低解析度影像所使用的成像器中的至少一者被架構以捕捉近紅外線低解析度影像。
44. 如申請專利範圍第1項之成像裝置，其中，該超解析度模組被架構以產生用於該超解析度影像的深度映圖。
45. 如申請專利範圍第44項之成像裝置，其中，該超解析度模組被架構以選擇至少一距離做為聚焦平面並施用模糊技術於深度不接近聚焦平面的像素上。
46. 如申請專利範圍第1項之成像裝置，其中，該超解析度處理模組被架構以執行與該些捕捉影像有關的溫度正規化。
47. 如申請專利範圍第46項之成像裝置，其中，該些透鏡堆疊的點擴散函數隨溫度而變；及該超解析度處理模組被架構以在該些影像捕捉期間由對應至該些透鏡堆疊的點擴散函數的溫度校準資料中選擇 一點擴散函數來執行溫度正規化。
48. 如申請專利範圍第1項之成像裝置，其中，該超解析度處理模組被架構以計算性地校正該些捕捉影像間的色彩差異。
49. 如申請專利範圍第1項之成像裝置，其中，該超解析度處理模組被架構以計算性地校正該些捕捉影像間的幾何變形差異。
50. 一種形成場景的影像的透鏡堆疊陣列，包括：形成於由間隔物所分開的基板上的透鏡構件，其中，該些透鏡構件、基板及間隔物被架構以形成複數個光學通道，以使得每一個光學通道被架構以形成相對於由其他光學通道所形成的影像中的相同場景之的視角而言在中央視野方向中具有最小偏差的該場景的影像，用以在由該些光學通道所形成的該些影像中提供取樣多樣性；位在每一個光學通道內的至少一孔徑；位在每一個光學通道內的至少一光譜濾片，其中，每一個光譜濾片被架構以通過特定光譜帶；位在該透鏡堆疊陣列內以光學隔離該些光學通道的擋光材料；及其中，在至少一第一光學通道內的至少一透鏡構件的至少一透鏡表面的外形是第一光譜帶的函數；其中，在至少一第二光學通道內的至少一透鏡構件的至少一透鏡表面的外形亦是第一光譜帶的函數；及其中，在至少一第三光學通道內的至少一透鏡構件的 至少一透鏡表面的外形是第二光譜帶的函數。
51. 如申請專利範圍第50項之透鏡堆疊陣列，其中，該些擋光材料係選自由不透明材料、反射性材料及其結合所構成的族群中。
52. 如申請專利範圍第50項之透鏡堆疊陣列，其中，每一個光譜濾片係選自由有機彩色濾片、吸收性材料、介電塗層、干擾濾片、多層塗層及其結合所構成的族群中。
53. 如申請專利範圍第50項之透鏡堆疊陣列，進一步包括位在每一個光學通道內的至少一偏光濾片。
54. 如申請專利範圍第50項之透鏡堆疊陣列，其中，在該第一光學通道內的該至少一透鏡構件的該至少一透鏡表面的外形的曲率半徑是該第一光譜帶的函數。
55. 如申請專利範圍第50項之透鏡堆疊陣列，其中，在每一個光學通道內的透鏡的至少一表面的法規係為該光學通道內的光譜濾片所通過的特定光譜帶的函數，在該第一光學通道內的該至少一透鏡構件的該至少一透鏡表面的外形是旋轉對稱的與非球面的，並且是由具有三個較高階的非球面項的非球面透鏡方程式所描述，其中，該非球面透鏡方程式的係數是該第一光譜帶的函數。
56. 如申請專利範圍第50項之透鏡堆疊陣列，其中，在該透鏡堆疊陣列中具有光譜濾片的至少兩個光學通道的每一個的後焦距係相同而與該光學通道內的光譜濾片所通過的特定光譜帶無關。
57. 如申請專利範圍第50項之透鏡堆疊陣列，其中，高 及低阿貝數材料的結合被使用於光學通道內的透鏡堆疊的每一個架構中以降低色差。
58. 如申請專利範圍第50項之透鏡堆疊陣列，進一步包括：位在每一個光學通道內的至少一孔徑欄；其中，每一個光譜濾片係位在每一個光學通道內以使該光譜濾片係接近該孔徑欄。
59. 如申請專利範圍第58項之透鏡堆疊陣列，其中，每一個孔徑欄係由選自由金屬材料、氧化物材料、黑色微粒填充光阻劑及其結合所構成的族群中的擋光材料所形成。
60. 如申請專利範圍第50項之透鏡堆疊陣列，其中：至少一個透鏡表面係選自由繞射、菲涅爾、折射及其結合所構成的族群中。
61. 如申請專利範圍第60項之透鏡堆疊陣列，其中，至少兩個透鏡表面的曲率半徑依據具有光譜濾片的該至少兩個光學通道的每一者內的光譜濾片所通過的特定光譜帶而有所不同。
62. 如申請專利範圍第60項之透鏡堆疊陣列，其中，該些光學通道中的每一個具有相同後焦距。
63. 如申請專利範圍第50項之透鏡堆疊陣列，其中，在光學通道內的透鏡構件中的至少一者係負透鏡構件，且該負透鏡構件係接近由該光學通道所形成的影像。
64. 如申請專利範圍第50項之透鏡堆疊陣列，其中，該些光學通道中的至少二者具有不同焦距。
65. 如申請專利範圍第50項之透鏡堆疊陣列，進一步包括位於光學通道內的機械式變焦機構，被架構以平滑地轉移於不同視野之間。
66. 如申請專利範圍第50項之透鏡堆疊陣列，其中，該透鏡堆疊陣列包括NxM光學通道陣列，其中，N及M中的至少一者係大於2。
67. 如申請專利範圍第50項之透鏡堆疊陣列，其中，該透鏡堆疊陣列係使用由晶圓級光學技術、射出成型、玻璃模造及其結合所構成的族群中的技術來製造。
68. 如申請專利範圍第50項之透鏡堆疊陣列，其中，位在該透鏡堆疊陣列內用以光學隔離該些光學通道的擋光材料包括位在光學通道內的基板上的至少二不透明表面，其中，該二不透明表面具有安排成軸向對準著該光學通道的開口。
69. 如申請專利範圍第50項之透鏡堆疊陣列，其中，位在該透鏡堆疊陣列內用以光學隔離該些光學通道的擋光材料包括放置在該些光學通道之間的交界處的不透明壁。
70. 如申請專利範圍第69項之透鏡堆疊陣列，其中，其中，該些不透明壁係為填滿擋光材料的光學通道之間的腔體。
71. 如申請專利範圍第50項之透鏡堆疊陣列，其中，複數個間隔物係由擋光材料所建構並位在該透鏡堆疊陣列內以光學隔離該些光學通道。
72. 如申請專利範圍第50項之透鏡堆疊陣列，其中，複 數個間隔物係塗佈著擋光材料並位在該透鏡堆疊陣列內以光學隔離該些光學通道。
73. 如申請專利範圍第50項之透鏡堆疊陣列，進一步包括位於每一個光學通道內的至少一光譜濾片，其中每一個光譜濾片被架構以通過特定光譜帶，以使得位於該第一光學通道中的第一光譜濾片界定第一光譜帶，並且位於該第三光學通道中的第二光譜濾片界定第二光譜帶。
74. 如申請專利範圍第73項之透鏡堆疊陣列，進一步包括位於第四光學通道中的第三光譜濾片而界定第三光譜帶。
75. 如申請專利範圍第50項之透鏡堆疊陣列，其中，該些基板塗覆有該些擋光材料，以便於在至少一第一光學通道內界定至少兩個孔徑欄和在至少一鄰近的第二光學通道內界定至少兩個孔徑欄，以使得至少該第一光學通道和至少該第二光學通道是彼此光學隔離。
76. 如申請專利範圍第50項之透鏡堆疊陣列，其中，至少一光譜濾片是位於由間隔物所隔開的該些基板所界定的空間內。
77. 如申請專利範圍第76項之透鏡堆疊陣列，其中，至少一光譜濾片是安置在透鏡構件的該表面上。
78. 如申請專利範圍第50項之透鏡堆疊陣列，其中，至少一光譜濾片是安置在由間隔物所隔開的該些基板所界定的空間之外。
79. 如申請專利範圍第50項之透鏡堆疊陣列，其中，該 透鏡堆疊陣列被架構以與包含用於每一個光學通道的成像器的感測器整合以形成相機模組組件，以使得每一個光學通道將光線會聚在一成像器上，其中，在光學通道內的至少一光譜濾片是位於對應的成像器的表面上。