TW202413899A - 多光譜光學感測器、攝影機系統及視差補償方法 - Google Patents

Abstract

一種多光譜光學感測器(1)包括具有光學偵測器區域(11a-11i)次陣列(11)的陣列的一基板部(10)、複數個透鏡元件(13)、及複數個光學過濾器(12a-12n)。該等次陣列(11)、該等透鏡元件(13)及該等光學過濾器(12a-12n)形成複數個光譜通道，每一個光譜通道包含一透鏡元件(13)、一光學過濾器(12a-12n)及一光學偵測器區域(11a-11i)次陣列(11)。該複數個光譜通道中之至少三者係補償通道，其特徵為，具有呈相同光譜透射特徵之一光學過濾器(12a)、包括對應的複數個光學偵測器區域(11a-11i)、及每一個次陣列(11)具有一相同的光學偵測器區域(11a-11i)相對空間配置。

Description

多光譜光學感測器、攝影機系統及視差補償方法

本案關於一種多光譜光學感測器，一種包含此類多光譜光學感測器之多光譜光學攝影機系統，及一種使用該多光譜光學感測器、特別地為了視差之效應而補償物件或場景之擷取影像的方法。

因為例如較習知數位照相術增加數量的光譜通道，產生了一些多光譜技術之應用領域，尤其在專業的照相術中。倘該等光譜通道係以一合適方式配置成跨電磁頻譜之可見範圍，則照相物件之光譜可由感測器訊號以數學方式重建。這超越典型地提供諸如紅綠藍三原色通道等僅三個通道之習知數位照相術而構成顯著的優點。由每一個像素中已知之光譜，在任何給定光的類型下之擷取物件的外觀，可以非常高的準確度計算。

多光譜攝影機系統係以一光學感測器、或次攝影機的晶片陣列為基礎，具有不同的光譜特徵，用於生成一場景或一物件之不同的單色影像，以允許光譜重建。然而，由於在該等次攝影機之間的非零橫向幾何距離，使得因視差誤差顯示出隨著待擷取物件或場景之距離減少而以指數增加，造成該等視差誤差變為一嚴重限制、特別是針對近場成像。結果，取決於到該物件之距離，影像到偵測器陣列係位移了從徑向到中心之距離。為了匹配光譜影像資訊，來自個別次攝影機之每一個訊號需要利用一距離調整影像陣列，或者插入該等移位影像到一典型的中心攝影機範圍。後者可藉由影像處理、及比較每一個次攝影機取得之影像之間的結構移位而達成。然而，幾何資訊可與光譜資訊重疊，且結果影像調整可能失敗。可顯示出，實際光譜重建需要0.5%的原始資料準確度。

針對多光譜攝影機，一途徑係分析藉每一個次攝影機取得之訊號，且針對結構型樣分析訊號，以對每一個影像判定一視差移位。然而，以具有不同光譜敏感度之一多光譜攝影機的個別感測器，識別完全相同的結構型樣極端地困難、或甚至不可能。在此類情況下，藉透過影像處理來比較該等訊號而達成之視差的對準將失敗且導致虛偽的結果。

待達成之一目的係提供一種光譜光學感測器，其能以可靠方式判定一視差誤差。進一步之目的係提供一種多光譜攝影機系統，其包括此類光學感測器。進一步之目的係提供一種視差補償方法。

這些目的係以獨立請求項之標的達成。進一步之發展及具體實施例係在附屬請求項中說明。

改良概念係以提供一種包括多重光譜通道之多光譜影像感測器的想法為基礎，該多重光譜通道具有相同的光譜特徵且跨該感測器表面分布。如此，致使一補償演算法與具有不同過濾器特徵之通道出現的任何光譜重疊相獨立。明確地，視差偵測係透過特點辨識而在這些所謂的補償通道上實施。這些跨該等補償通道之特點的移位直接地導致視差誤差，這一方面可用於直接地校正該等補償通道之擷取訊號，且另一方面可對典型地具有相異光譜特徵之剩餘光譜通道插入。

在一具體實施例中，一種多光譜光學感測器包括具有光學偵測器區域次陣列的陣列的一基板部、複數個透鏡元件及複數個光學過濾器。在其中，該等光學偵測器區域、該等透鏡元件及該等光學過濾器形成複數個光譜通道，每一個光譜通道包含一透鏡元件、一光學過濾器及一光學偵測器區域次陣列。該等光譜通道中，至少三個為補償通道，其特徵為相同的光譜響應。為此，該等補償通道中之每一者皆具有呈相同光譜透射特徵之一光學過濾器、包括對應的複數個光學偵測器區域、及每一個次陣列具有一相同的光學偵測器區域相對空間配置。

該基板部係例如一半導體基板、諸如一晶片基板，其包括複數個光學偵測器區域、諸如光學像素，該等光學偵測器區域係構造成接收電磁輻射，且以響應該擷取的電磁輻射而生成之一光電流為基礎來生成電氣訊號。為此，該等像素可包括一光二極體。特別地，該光學感測器之所有像素可包括相同類型之光二極體，諸如應用於可見及/或近紅外線域中之矽基光二極體、或者應用於電磁頻譜之短波紅外線(SWIR)範圍中的鍺基光二極體。是以，該等光譜通道係就個別光學過濾器之透射行為而界定。一影像感測器之像素的工作原理係一眾所周知的概念，且本案自始至終不再進一步詳細說明。該多光譜光學感測器可至少部分地使用允許晶圓尺寸封裝之晶片上整合來製造。

該等光學偵測器區域係配置成次陣列的一陣列、諸如一維或二維陣列。這意指該光學感測器之像素係譬如配置成一列及行上之二維像素矩陣，而同時這些矩陣又配置成可為一或二維之一陣列、諸如一較大矩陣，其中該較大矩陣之矩陣元素係光學偵測器區域之次矩陣。

該光學感測器進一步包括複數個透鏡元件及複數個光學過濾器，使得一光學過濾器及一透鏡元件係關聯到光學偵測器區域之每一個次陣列。如此，形成該多光譜光學感測器之該等光譜通道。換言之，由於藉光學偵測器區域之每一個次陣列偵測到的光係經由一對應的光學過濾器及透鏡元件透射，因此光學偵測器區域之每一個次陣列可考慮用作為光學偵測器區域之一單色、即窄頻帶的次陣列。每一個次陣列之該等光學偵測器區域、該等光學過濾器及該等透鏡元件的空間配置，界定該多光譜光學感測器之視界的分區。

由於單色次陣列、以及對應光學過濾器及透鏡元件之對稱設計，使得每一個光學偵測器區域皆偵測來自一場景之相同分區的光，這係針對光譜重建所必要。此類多光譜光學感測器可用於對一場景之每一個不同區域生成分區的顏色及光譜資訊，諸如該場景之中心、該場景之邊緣及該場景之外部區。該分區的顏色及光譜資訊可用於實行該場景之一擷取影像相對於同樣場景中不同周圍光條件的一梯度白平衡。

該等光學過濾器可為干涉光學過濾器、光學吸收過濾器、法布里-珀羅(Fabry-Pérot)過濾器、電漿子過濾器或構造成實施過濾之自身表面結構。該等光學過濾器可藉佔有對應的光譜通帶為特徵，其界定出可通過一給定過濾器之光學頻率或波長的範圍。該等光學過濾器之該等通帶典型地設計成，使得每一個光學過濾器透射一窄波長範圍、諸如10到100奈米寬的範圍，且使得該等光學過濾器之所有通帶結合後跨越一寬波長範圍、諸如紫外線、可見、電磁頻譜之近紅外線或短波紅外線部。該等個別過濾濾器元件之通帶可部分地彼此重疊。

相較於習知解決方案，依據本案之一多光譜光學感測器提供至少三個光譜通道作為顯示同樣的光譜響應之補償通道。為此，這些補償通道具有相同的透射特徵之光學過濾器、即相同的光譜通帶，相同數量的光學偵測器區域、諸如像素，及相同的該等光學偵測器區域之相對空間配置。換言之，針對所有補償通道，該等光學偵測器區域之次陣列在像素類型、像素數量及空間像素配置方面皆相同。這意指該等補償通道中之每一者皆設計成，倘視差誤差被忽略，則生成一物件或一場景之相同光訊號，電磁輻射係從該物件或該場景接受。是以，針對該等補償通道，過濾器元件皆相同，因此導致較習知光學感測器略微降低之解析度，該等習知光學感測器係以個別通道全然地相異之光學過濾器、及因此全然地相異之光譜響應為特點。

該光學感測器可包括對光學感測器而言屬典型之進一步元件，譬如殼體、孔口(apertures)、擴散器(diffusors)、及截止過濾器。

依據改良概念之多光譜光學感測器因此提供複數個補償通道，其擁有相同的光譜響應，提供有效率的手段，以在生成的訊號中準確地實施型樣辨識，而無須補償不同的光譜響應。這允許判定由視差誤差造成之確切空間移位。這些誤差在近場中因該等光譜通道之不可忽略的空間分離而特別相關。該等判定的空間移位可針對剩餘非補償光譜通道插入，且用於亦針對任何視差誤差校正這些通道的訊號。

在一具體實施例中，該等補償通道並非在該次陣列的陣列內彼此直接地緊鄰。作為一辨識型樣之空間移位選擇該等補償通道並非彼此緊鄰之一位置能確保更準確的視差補償結果，亦由於每一個偵測器區域、即像素之非零尺寸而可更精確地判定。例如，該等補償通道佔據各別陣列之角落位置、諸如一矩形二維陣列之四個角落，而同時該次陣列之所有其他位置係由非補償通道佔據。

在一具體實施例中，該等補償通道係配置成在該陣列內彼此相隔最遠。該等補償通道之間的一最大距離進一步改良該空間移位判定之結果。最終，判定一次陣列內之一空間移位係限制在單一偵測器區域、即像素之一空間延伸。當該等補償通道之次陣列對各別陣列分離最遠時，非零像素之大小變得可忽略，因此判定跨補償通道之空間移位超越最大的可能距離時，將補償此限制。

在一具體實施例中，該等補償通道係彼此以相等距離配置。例如，該光學感測器包括三個補償通道，其配置於跨該光譜通道之陣列的一假想的等邊三角形之端點上。由於預期相對移位皆相同，具有彼此以一相等距離配置的至少三個補償通道將進一步提升一記錄型樣或結構之一空間移位的判定，這係因為一第三補償通道之一訊號可用作為，確認在三個補償通道配置中之另二個通道之間判斷的一移位。

在一具體實施例中，該等光學偵測器區域中之每一者包括對應的複數個光學偵測器區域。此外，每一個光學偵測器區域次陣列具有與其他光學偵測器區域次陣列中之每一者相同的光學偵測器區域相對空間配置。在本具體實施例中，每一個光譜通道及因此每一個次陣列包括相等量的偵測區域、即像素。如此，倘該等非補償光譜通道之次陣列在空間配置及偵測區域數量方面與該等補償通道之次陣列匹配，則該等非補償光譜通道之插入可依直接方式實施。

在一具體實施例中，除了該等補償通道以外之該等光譜通道中的每一者之特徵為，其光學過濾器具有與該等補償通道之光學過濾器不同、且與其他光譜通道之光學過濾器不同的相異光譜透射特徵。為了仍以充分的空間解析度為特點，該等非補償通道之光學過濾器係以與習知多光譜感測器中之所有通道相似地彼此相異、且與該等補償通道相異的通帶為特徵。是以，選擇該等光譜通道中之三或四者為補償通道，將略微地犧牲解析度，但另一方面將因可靠的視差補償過程而允許更準確的光譜重建。

在一具體實施例中，該等補償通道之光學過濾器係帶通光學過濾器，其透射大致上以所有光學過濾器之一最小透射波長與一最大透射波長之間為中心的一波長範圍。儘管有跨越某一特定波長範圍、諸如可見或短波紅外線範圍之所有光譜通道，然該等補償通道係在大致以所有光譜通道結合後之波長範圍內為中心的一範圍中敏感，而不是在該波長範圍之邊界處敏感。例如，倘該等光譜通道跨越從400至700奈米之可見範圍敏感，則該等補償通道可對大約550奈米之綠光敏感。這使起因於視差誤差之每一個光譜通道的空間移位中之波長分散所造成的視差補償及光譜重建中之誤差通道最小化。

在一具體實施例中，該等光學過濾器係配置於該等透鏡元件與該等光學偵測器區域之間，特別地該等光學過濾器係配置於或形成於該基板部之一前表面上。該等光學過濾器可形成於、或附接至，位在光學偵測器區域之對應次陣列前方之一單塊的多光譜半導體晶片。

在一具體實施例中，該等透鏡元件係配置於該等光學過濾器與該等光學偵測器區域之間。代替過濾器元件在基板部表面上之配置，該等過濾器可配置、或者形成於包括該等透鏡元件之一光學基板的一前表面上，其中該前表面係背對著該基板部。

在一具體實施例中，該複數個透鏡元件形成一微透鏡陣列(MLA)、或一微菲涅耳透鏡(micro Fresnel lens)陣列。該複數個透鏡元件可藉一光學基板界定、或者形成於該光學基板上。該基板可配置於一間隔物上，其位於該基板部與該MLA之光學基板之間。進一步地，該間隔物可界定複數個孔口，其中每一個孔口皆與一對應的透鏡元件、一對應的光學過濾器及一對應的光學偵測器區域次陣列對準。例如，該等透鏡元件係設置成一微菲涅耳透鏡陣列之複數個菲涅耳透鏡元件，其中每一個菲涅耳透鏡元件皆藉該多光譜光學感測器之一對應光學過濾器界定、或者形成於其上。

在一具體實施例中，該等光學過濾器係在可見域中透射。特別地在可見域中之光譜成像可容許萃取人眼無法擷取的額外資訊。此外，由於成像的物件或場景的精確光譜可被判定，因此多光譜成像容許改良的色差平衡。在其中，可依極端地可靠的方式，有效率地實施物件上的白平衡、諸如白色表面或牆壁，其中不同的部位係藉不同的光源照明，諸如日光在一側及人工光在相對側。為此，該等補償通道係對位於可見域中心之綠光敏感。

在一具體實施例中，該等光學過濾器係在紅外線域中、特別是短波紅外線(SWIR)域中透射。代替在可見域中透射、或者除此以外，在短波紅外線域中之透明度容許各種應用。不同於諸如溫度輻射等由物件本身放射之中及長波長紅外線光，短波紅外線頻譜在特性上係與可見光相似，意指光子係被物件反射或吸收，創造高解析度成像所需要之強對比。短波紅外線光之天然源包含星光及夜間天空輝光，其為夜間的戶外成像提供極佳的照明。短波紅外線成像係用於各類應用，如印刷電路板、太陽能電池及食品檢查、識別及揀選、監測、偽造偵測、過程品質控制等。

在一具體實施例中，該光學感測器進一步包括複數個孔口，其中每一個孔口係與一對應的透鏡元件、一對應的光學過濾器及一對應的光學偵測器區域次陣列對準。

在一具體實施例中，該陣列係4x4二維陣列，及該等補償通道係由位於該陣列之角落位置處的該等光學偵測器區域次陣列形成。提供一矩形、或甚至方形陣列，使其中四個角落位置成為具有相同光譜響應的補償通道，結合該等補償通道相隔最遠的優點，在二通道可用於確認以各別其他二通道偵測到之一相同型樣的空間移位之事實下，用於剩餘通道在二維度上的改良插入。

在一具體實施例中，該陣列係由配置於該陣列之列及行上的該等光學偵測器區域次陣列形成之二維陣列。該等補償通道係配置成，使得該陣列之每一個列及行包括至多一個補償通道。例如，該陣列係次陣列的一3x3陣列，其中該等補償通道係配置成，使得其位於一等邊三角形的端點上，其中該3x3陣列的每一個列及行包括單一補償通道。是以，藉提供最小量的三個具有相同光譜響應的補償通道，將僅最小地犧牲總體光譜解析度，另一方面由於該等補償通道位於彼此相等之距離處，因此允許有效率的手段來偵測在該陣列之二維度上之型樣的空間移位。

進一步地，提供一種多光譜光學攝影機系統，其包括如上述具體實施例中之一者的一多光譜光學感測器。該多光譜光學攝影機系統進一步包括一處理資源，其中該多光譜光學感測器及該處理資源係構造成彼此通訊。該處理資源係構造成實施一視差補償過程，其步驟包括：從該多光譜光學感測器之該等光譜通道讀出電氣訊號，其中該等電氣訊號係藉該等光學偵測器區域次陣列響應入射電磁輻射而生成，識別來自該等補償通道中之每一者的電氣訊號中之一共同結構型樣，及判定該等補償通道之間的該共同結構型樣之一視差。

該視差補償過程進一步包括由該判定的視差計算剩餘光譜通道中每一者之一插入視差，針對該判定的視差校正來自該等補償通道之電氣訊號，針對該插入視差校正來自除了該等補償通道以外之該等光譜通道的電氣訊號，及實施來自所有光譜通道之電氣訊號的光譜重建。

在一具體實施例中，該處理資源進一步構造成，由該等補償通道之該判定的視差計算出到一物件之一距離，電磁輻射係從該物件接受。

在一具體實施例中，該多光譜光學攝影機系統進一步包括一飛行時間(TOF)感測器，其構造成判定該多光譜光學攝影機系統與一物件之間的一距離，電磁輻射係從該物件接受。在其中，該等剩餘光譜通道中每一者之該插入視差中係以來自該等補償通道之該判定的視差、及該判定的距離為基礎計算。例如，該TOF感測器可判定待擷取的物件或場景是否位於預期有顯著的視差誤差之近場中。如此，可判定是否實施視差補償過程，以保持高能量效率作業，尤其針對如智慧型手機、平板電腦或筆記型電腦等電池電源裝置。替代地或除此以外，可在該視差補償過程期間，使用透過該TOF感測器判定之距離，以進一步提升在該等補償通道中識別出之型樣的空間移位之判定。

該光學攝影機系統之進一步具體實施例對熟悉此技藝之讀者來說，將因上述之多光譜光學感測器的具體實施例，而變得顯而易見，且反之亦然。

進一步地，提供一種視差補償方法，其步驟包括使用如上述具體實施例中之一者的多光譜光學感測器擷取電磁輻射，從該多光譜光學感測器之該等光譜通道讀出電氣訊號，其中該等電氣訊號係藉該等光學偵測器區域次陣列響應該入射電磁輻射而生成，及識別來自該等補償通道中之每一者的電氣訊號中之一結構型樣。該方法進一步包括判定該等補償通道之間的該結構型樣之一視差，由該判定的視差計算剩餘光譜通道中每一者之一插入視差，針對該判定的視差校正來自該等補償通道之電氣訊號，針對該插入視差校正來自該等剩餘光譜通道之電氣訊號，及實施來自所有光譜通道之電氣訊號的光譜重建。

在一具體實施例中，該方法進一步包括由該等補償通道之該判定的視差計算出到一物件之一距離，電磁輻射係從該物件接受。

該方法之進一步具體實施例對熟於此技藝之讀者來說，將因上述之多光譜光學感測器的具體實施例，而變得顯而易見，且反之亦然。

圖1顯示依據改良概念之一多光譜光學感測器1之一示範具體實施例的概略剖面圖。本具體實施例中之多光譜光學感測器1包括一單塊的半導體晶片、諸如一矽晶片，作為基板部10，在圖2中更詳細顯示關於本具體實施例之基板部。基板部10界定複數個光學偵測器區域11a、11b、11c、…11i的次陣列11，以數個次陣列11之型式配置成一矩形、諸如3x4或4x4的次陣列11的陣列，其中每一個次陣列11之光學偵測器區域11a、11b、11c、…11i係譬如為像素結構，其具有與其他次陣列11中之每一者的光學偵測器區域11a、11b、11c、…11i相同的相對空間配置。明確地，本具體實施例中之次陣列11中的每一者界定一光學偵測器區域11a、11b、11c、…11i之3x3陣列。每一個次陣列中之光學偵測器區域11a、11b、11c、…11i的數量及其空間配置，界定多光譜光學偵測器1之影像解析度。例如，如本具體實施例中圖示出之3x3解析度，對諸如色差平衡或分析應用等不依靠以高解析度擷取物件而僅依靠接收到的光之光譜組成的應用而言已足夠。然而，諸如100x100或甚至更高的較高影像解析度，可同樣地實現於確實需要解析一物件或一場景之結構特點的應用、諸如擴增實境應用。

多光譜光學感測器1進一步包括複數個光學過濾器12a、12b、12c、…12i以及複數個透鏡元件13，呈一微透鏡陣列(MLA)型式，由一光學基板15界定或在其上形成。多光譜光學感測器1亦包含一間隔物14，位於基板部10與該MLA之光學基板15之間。基板部10與光學基板15係附接至間隔物14之相對側。進一步地，間隔物14界定複數個孔口16，其中每一個孔口16各與一對應的透鏡元件13、一對應的光學過濾器12及一對應的光學偵測器區域11a、11b、11c、…11i次陣列11對準。結果，次陣列11中之每一者、對應的光學過濾器12及對應的透鏡元件13，形成多光譜光學感測器1之一各別的光學通道。

光學過濾器12a、12b、12c、…12i中之每一者各具有一對應的光學透射光譜。每個光學過濾器12a、12b、12c、…12i例如為一通帶光學干涉過濾器，其界定一對應的光譜通帶。光學過濾器12a、12b、12c、…12i界定不同的光譜通帶，額外需求為，光學過濾器12a中之至少三者界定相同的光譜通帶，因此形成補償光譜通道。換言之，補償通道係與待擷取之一物件或場景的光譜特徵相獨立。剩餘光學過濾器12b、12c、…12i界定彼此不相同且與補償通道之光學過濾器12a不同的相異光譜通帶。例如，光學過濾器12a、12b、12c、…12i界定相等頻寬的通帶，且可部分地彼此重疊，使得涵蓋一預定義的電磁頻譜範圍、諸如可見或短波紅外線域。例如，光學過濾器12a、12b、12c、…12i之透射的中心波長係彼此等間隔。在本具體實施例中，每一個光學過濾器12a、12b、12c、…12i各在一對應的光學偵測器區域11a、11b、11c、…11i次陣列11前方，形成於基板部10上、或與其附接。

每一個光學過濾器12a、12b、12c、…12i各在一對應的透鏡元件13與一對應的光學偵測器區域11a、11b、11c、…11i次陣列11之間對準，使得在多光譜光學感測器1之操作期間，沿著任何給定的入射方向入射於透鏡元件13之任一者上的任何光，經由對應的光學過濾器12a、12b、12c、…12i，會聚至對應的光學偵測器區域11a、11b、11c、…11i次陣列11之光學偵測器區域11a、11b、11c、…11i的一相對應者上，其中光學偵測器區域11a、11b、11c、…11i的一相對應者取決於給定的入射方向。例如，沿著與多光譜光學感測器1之光軸20平行而如圖1中所示之以實線代表的一入射方向入射於透鏡元件13中任一者上之光係藉透鏡元件13聚焦，經由對應的光學過濾器12a、12b、12c、…12i而至對應次陣列11之中心光學偵測器區域11e。

相似地，沿著與多光譜光學感測器1之光軸20傾斜而如圖1中所示以虛線及虛點線代表的一入射方向入射於透鏡元件13中任一者上之光係藉透鏡元件13聚焦，經由取決於特別入射方向之對應的光學過濾器12a、12b、12c、…12i而至對應次陣列11之週邊光學偵測器區域11a、11b、11c、11d、11f、11g、11h、11i中之一者。

圖2顯示圖1之一多光譜光學感測器的示範具體實施例之基板部10的概要圖。如圖示者，基板部10包括以一矩形3x4(或4x3)陣列配置之十二個次陣列11，其中次陣列11中之每一者包括以一正方形3x3陣列配置之九個光學偵測器區域11a、11b、11c、…11i。在其中，3x3次陣列11界定多光譜感測器1之影像解析度，而同時該3x4陣列界定其光譜解析度。然而，與不包括用於視差補償之手段的習知多光譜感測器比較，依據改良概念且特別是本具體實施例配備角落次陣列11之光譜感測器1，具有一光學過濾器12a之每一個角落陣列皆具有一彼此相同的光譜通帶，而同時剩餘光學過濾器12b、12c、…12i具有彼此相異且與角落次陣列11相異的通帶。是以，依據本具體實施例之多光譜光學感測器包括九個不同的光譜通道，及數個具有3x3整體影像解析度之四個補償通道。如在圖1之背景下提及者，可藉分別增加該陣列中之次陣列11的數量及光學偵測器區域11a、11b、11c、…11i之數量，輕易地達成較高的影像及光譜解析度。

具有相同光學過濾器12a之補償通道係如圖示配置於該陣列之角落位置處，因此導致該等補償通道之一最大間隔。由於因一視差誤差所致之空間移位係隨著相距光學感測器1之中心(參見圖1中之光軸20)的距離增加而沿徑向增加，而將該等補償通道配置成彼此相隔最遠可得到對該等空間移位之最大敏感度，因此導致有效率的偵測視差誤差的手段且提供補償過程的基礎。

圖3圖示出在多光譜影像感測器1之遠場中，藉其擷取之物件的射線光學圖示，其中到該物件之距離d顯著地較次陣列11的陣列的間距、或者較在此標記為a之箭頭指示之最外的次陣列11相距光軸20之距離大、諸如達數個數量級。

在本具體實施例中，多光譜光學感測器1包括具有四列光譜通道之一陣列，使每一個光譜通道具有一光學偵測器區域11a、…11i的次陣列11，其中該等光學偵測器區域形成一100x100正方形陣列，如同次陣列11。每一個光譜通道進一步包括一透鏡元件13及一光學過濾器12，在此情況下其設置於透鏡元件13之一表面上。例如一100x100像素之正方形次陣列11具有一0.25mm之邊長、因此像素間距為2.5um。該等次陣列相對於彼此之間距譬如可適當對應地為0.25到0.5mm。該等透鏡元件之一焦距f係譬如適當地為2mm。

如代表影像場之該次陣列的加深區域圖示者，針對遠場中之物件，每一個光譜通道之影像場皆與對應的透鏡元件13同心。這意指在此以一成像箭頭指示之某一特定特點的一空間移位 ，針對所有的光譜通道、特別是針對最外的光譜通道，皆為零或近乎零。換言之，遠場中之視差誤差不存在或至少可忽略。

另一方面，圖4圖示出在多光譜影像感測器1之近場中，藉其擷取之物件的射線光學圖示，意指該物件或場景之一距離d係與次陣列11之陣列的間距屬相同的數量級。換言之，在近場中，距離d係與在此藉標記為a ₁及a ₂之箭頭指示之次陣列11相距光軸20的一距離相當。按照射線光學的原理，可推導出在一角 下預期之一角視差，使 。在其中， 表示各別光譜通道相距光軸20之徑向距離，d表示待成像物件之距離，f表示透鏡元件13之焦距，及 表示在徑向距離 下以距離單位計之通道的空間移位。

是以，如圖示者，即使配置成緊靠光軸20之光譜通道仍歷經影像區域之顯著的空間移位 及 ，而同時最外的光譜通道之空間移位 及 顯示一偏離零的甚至更大的偏差。結果，所有光譜通道之影像場皆移位，且不再與透鏡元件13同心。是以，針對典型的光譜重建，倘未提前補償視差誤差，則可預期有顯著的誤差。這可能甚至導致光譜重建的徹底失敗。

圖5及圖6分別針對圖3及圖4之遠場及近場成像的情況，關於被標示為圓之透鏡元件13、及光學過濾器12a、12b、…12m，圖示出特別凸顯正方形的影像區域。在圖5及圖6中，光學偵測器區域之次陣列11係與正方型的光學過濾器12a、12b、…12m一致。參考圖5，假使遠場成像之所有影像場皆與透鏡元件13同心，則意指一視差誤差不存在或至少可忽略，如亦在圖3之背景下描述者。

然而，參考圖6且與圖4類比，假使為近場成像，則影像場歷經與光軸20所在之一陣列的中心相對之徑向移位。這意指影像場及關聯之透鏡元件13顯示顯著的空間偏位，如圖式中指示者。請注意到，至少針對短的物件距離d，這甚至對最接近貫穿在該陣列中心中之感測器之光軸20之最內的光譜通道(在此：具有光學過濾器12e、12f、12i、12j之光譜通道)成立。一光譜通道配置成愈遠離該光軸，因該視差誤差所致之空間移位愈強烈。在此設計成具有相同光學過濾器12a之補償通道的四個角落光譜通道，顯示在x及y方向二者上之一顯著的空間移位。因此，任何企圖藉比較位在所有光譜通道之次陣列11內之相同位置處的像素之訊號而實施之光譜重建，皆將導致強烈虛偽的結果。是以，需要不僅在遠場、亦在近場及中間物件距離d中，皆允許光譜重建之補償機制。

圖7係針對上述典型的光學感測器尺寸，圖示出一示範空間移位 ，以強調對視差補償之需求，即一焦距f=2mm、及一a=0.425mm之光譜通道的距離。可從該行為萃取出，針對次陣列11內2到3um等級之典型像素大小、及一對應的像素間距，到一小於一公尺之一半之物件之一距離d係與數個像素之一給定特點的一空間移位 等量，因此致使以不同光譜通道之像素對像素比較為基礎而實施的一光譜重建困難或甚至不可能。另一方面，針對任何偵測到的視差空間移位，到該物件或場景之一距離可透過關係 估計。藉此，倘評估了不同結構特點之空間移位，則亦可能分割不同的結構距離。

圖8至圖10圖示出，實行依據改良概念之多光譜光學感測器1的核心想法之各種具體實施例。如已在先前圖式中指示者，對比於習知感測器，依據本案之一多光譜光學感測器實行至少三個所謂的補償通道，其可被視為通常的光譜通道，然而具有一相同的光譜響應之光學過濾器12a、即透射行為。是以，相較於習知多光譜光學感測器，由於該等光譜補償通道在忽略任何視差下係記錄一待成像之物件或場景的相同光譜部分，因此光譜解析度略微地減少。

圖8顯示依據改良概念之一多光譜光學感測器1的一次陣列11的4x4陣列之一光學過濾器組態的第一具體實施例。在本具體實施例中，該陣列之角落次陣列11配備具有相同光譜響應之複數個光學過濾器12a，因此形成四個相同的補償通道。這意指，倘所有四個角落光譜通道暴露至完全相同的入射光，則該等通道將記錄相同的光訊號。本具體實施例中之剩餘光譜通道的特徵為十二個相異的光學過濾器12b、12c、…12m，其在光譜響應方面，彼此不同且與該等補償通道不同。

例如，光學過濾器12a、12b、…12m中之每一者具有以其各別的中心波長及頻寬為特徵的光學通帶，其中該等光學通帶經工程設計，使得至少一光學過濾器12a、12b、…12m對選自一預定義範圍之任何給定的光學波長透射。例如，光學過濾器12a、12b、…12m涵蓋可見域，諸如介於400nm與700nm之間的一波長範圍，使得在該範圍內之任何波長，皆藉光學過濾器12a、12b、…12m中之至少一者透射。針對最佳的光譜涵蓋範圍，光學過濾器12a、12b、…12m之通帶可至少部分地彼此重疊。該等補償通道之光學過濾器12a的通帶可位於被所有光學過濾器12a、12b、…12m涵蓋之波長範圍的中心、或者中心附近。例如，光學過濾器12a、12b、…12m之特徵為25到50nm頻寬的通帶，其中該等補償通道之光學過濾器12a的一通帶係譬如對大約550奈米之綠光透射。

具有相同光學過濾器12a之光譜通道係配置成彼此相隔最遠，且相距多光譜光學感測器1之中心、即相距該陣列之中心最遠。這係因該視差誤差係從該陣列之中心沿徑向增加，而使該視差誤差在這些位置處最大之事實。因此，在維度x及y二者上、起因於該視差誤差之最大空間移位，可在這些位置處判定，且用於插入本具體實施例中非位於該陣列之角落處的剩餘非補償通道之光譜移位。

圖9顯示依據改良概念之一多光譜光學感測器1的一次陣列11的4x4陣列之一光學過濾器組態的第二具體實施例。在同樣地包括總計16個通道之本具體實施例中，這些通道中之三者係設計成補償通道，其中相同的光學過濾器12a係以該陣列之每一個列及行包括至多一個補償通道、即相同光學過濾器12a中之至多一者的方式，配置成彼此相隔最遠。例如，該等補償通道係配置成，使得其形成該圖式中指示之一假想的等邊三角形的端點。相較於圖8之具體實施例，本具體實施例係以具有一光學過濾器12m之一額外相異光譜通道為特點，因此增加該感測器之光譜解析度。藉如圖式顯示之一配置，該三個補償通道足以可靠地偵測在維度x及y二者上、起因於該視差誤差的空間移位。在其中，該等補償通道中之一者中的訊號可用於驗證藉各別的另二者判定之空間移位。

圖10顯示依據改良概念之一多光譜光學感測器1的一次陣列11的3x3陣列之一光學過濾器組態的第三具體實施例。如同圖9，該等補償通道係配置成彼此相隔最遠，使得該視差誤差可使用來自該三個通道之訊號而可靠地偵測。如同圖8及圖9之具體實施例，該等剩餘通道係以相異的光學過濾器12b、12c、…12g為特點，以達成最佳的光譜解析度。

圖8至圖10之光譜通道配置、且特別地補償通道的具體實施例僅僅代表示範具體實施例，以圖示出改良概念。明顯地，具有較大的陣列、較大量的補償通道、不同的補償通道位置等的替代配置，同樣地屬可能且滿足改良概念。

圖11顯示諸如一智慧型手機等之一電子裝置100，包括一多光譜光學攝影機系統101，其具有依據改良概念之一多光譜光學感測器1。光學攝影機系統101可進一步包括用於成像目的之一攝影機模組3。選用的攝影機模組3具有相對於多光譜光學感測器1之一已知空間關係。多光譜光學攝影機系統101耦接至電子裝置100之一處理資源2，其構造成從多光譜光學感測器1、及攝影機3之影像感測器(未顯示)接收資料。換言之，多光譜光學感測器1及處理資源2係構造成彼此通訊。多光譜光學攝影機系統101可進一步包括一TOF感測器，用於判定到一待擷取之物件或場景的一距離，諸如用於判定一視差補償過程是否必要、或者用於作為一視差補償過程之額外輸入。處理資源2係構造成，以從多光譜光學感測器1接收到之訊號為基礎實施光譜重建，其中該光譜重建包括一視差補償過程。為此，處理資源2係構造成，在多光譜光學感測器1之一暴露階段後，從多光譜光學感測器1之該等光譜通道讀出電氣訊號，其中該等電氣訊號係藉光學偵測器區域11a-11i次陣列11響應入射電磁輻射而生成。每一個次陣列11之光學偵測器區域11a-11i中的每一者各生成一個別的電氣光訊號。

在第二步驟中，處理資源2係構造成識別來自該等補償通道中之每一者的電氣訊號中之一共同結構型樣，且判定該等補償通道之間、在維度x及y二者上的該共同結構型樣之一空間移位。處理資訊2接著由該判定的空間移位，計算屬非補償通道之剩餘光譜通道中每一者之一差入空間移位。處理資源2諸如藉分派偵測器區域11a-11i中之每一者到一次陣列11內的修飾位置，以校正該等光譜通道之訊號，使得該共同結構特點位於所有光譜通道之相同修飾位置處。最後，處理資源2實施來自該等光譜通道、諸如來自該等非補償通道及該等補償通道中之至少一者的該等已視差校正電氣訊號之光譜重建。

換言之，處理資源2評估每一個補償通道、諸如一4x4陣列之角落通道的資訊，以計算每一個光譜通道位置之幾何移位，且對一典型位置插入每一個光譜通道影像。藉此，該等插入的幾何調整光譜影像可用於已補償距離及視差的光譜補償。藉由與來自該等補償通道之光譜相似影像比較，可對所有光譜通道準確地判定及計算該幾何移位。

此中揭露之多光譜光學感測器1及視差補償方法的具體實施例已為了使讀者熟悉想法中的新穎構想而討論。儘管已顯示及說明較佳具體實施例，然揭露之概念的變更、修飾、等效物及替代物，可由熟於此技藝者執行，而無不必要地脫離申請專利範圍之範疇。

請理解到，本案並非限於揭露之具體實施例及在上文已特別顯示及說明者。反而，分離的附屬請求項中、或說明中詳述之特點可有利地結合。進一步地，本案之範疇包含該等變化及修飾，其將對熟於此技藝者來說顯而易見，且落於隨附申請專利範圍之範疇內。

術語「包括」在用於請求項中或說明書中的範圍內，並不排除一對應特點或程序之其他元件或步驟。假使術語「一」或「一個」係與特點聯合使用，則其並不排除複數個此類特點。此外，請求項中之任何參考記號不應被解釋為限制範疇。

1:多光譜光學感測器 2:處理資源 3:攝影機模組 10:基板部 11:次陣列 11a…11i:光學偵測器區域 12a…12n:光學過濾器 13:透鏡元件 14:間隔物 15:光學基板 16:孔口 20:光軸 100:電子裝置 101:多光譜光學攝影機系統 a:陣列間距 d:距離 f:焦距 Δx:空間移位

以下的圖式說明可進一步圖示及解說該多光譜光學感測器及該視差補償方法的構想。功能上相同或具有相同效應之該多光譜光學感測器的組件及部件係藉相同的參考符號表示。相同或實質相同之組件及部件可能僅針對其首次出現所在之圖式作說明。這些組件及部件的說明無需在連續的圖式中重複。在圖式中： 圖1顯示依據改良概念之一多光譜光學感測器之一示範具體實施例的概略剖面圖； 圖2顯示一多光譜光學感測器之一單塊的半導體晶片的一示範具體實施例之概要圖； 圖3及圖4圖示出分別在遠場及近場中之一多光譜光學感測器的工作原理； 圖5及圖6圖示出分別在遠場及近場中之一多光譜光學感測器的光譜通道之影像場； 圖7顯示以該多光譜光學感測器所得影像之一物件的一距離作評估之一光譜通道內的一示範空間移位； 圖8至圖10圖示出一多光譜光學感測器之光譜通道的配置之各種具體實施例；及 圖11顯示具有多光譜光學感測器之智慧型手機型式的一電子裝置之後側的概要圖。

10:基板部

11:次陣列

11a...11i:光學偵測器區域

12a...12i:光學過濾器

Claims (20)

1. 一種多光譜光學感測器(1)，其包括： 一基板部(10)，其具有光學偵測器區域(11a-11i)次陣列(11)的陣列； 複數個透鏡元件(13)；及 複數個光學過濾器(12a-12n)； 其中該等次陣列(11)、該等透鏡元件(13)及該等光學過濾器(12a-12n)形成複數個光譜通道，每一個光譜通道包含一透鏡元件(13)、一光學過濾器(12a-12n)及一光學偵測器區域(11a-11i)次陣列(11)； 其中該複數個光譜通道中之至少三者係補償通道，其特徵為： 具有呈相同光譜透射特徵之一光學過濾器(12a)； 包括對應的複數個光學偵測器區域(11a-11i)；及 每一個次陣列(11)具有相同的光學偵測器區域(11a-11i)相對空間配置。
2. 如請求項1之多光譜光學感測器(1)，其中該等補償通道並非在該陣列內彼此直接地緊鄰。
3. 如請求項1或2之多光譜光學感測器(1)，其中該等補償通道係配置成在該陣列內彼此相隔最遠。
4. 如請求項1至3中任一項之多光譜光學感測器(1)，其中該等補償通道係彼此以相等距離配置。
5. 如請求項1至4中任一項之多光譜光學感測器(1)， 其中該等光學偵測器區域(11a-11i)中之每一者包括對應的複數個光學偵測器區域(11a-11i)，及 其中每一個光學偵測器區域(11a-11i)次陣列(11)具有與其他光學偵測器區域(11a-11i)次陣列(11)中之每一者相同的光學偵測器區域(11a-11i)相對空間配置。
6. 如請求項1至5中任一項之多光譜光學感測器(1)，其中除了該等補償通道以外之該等光譜通道中的每一者之特徵為一光學過濾器(12b-12n)，其具有與該等補償通道之該光學過濾器(12a)不同、且與其他光譜通道之光學過濾器不同的相異光譜透射特徵。
7. 如請求項1至6中任一項之多光譜光學感測器(1)，其中該等補償通道之該等光學過濾器(12)係帶通光學過濾器，其透射大致上以所有光學過濾器(12)之一最小透射波長與一最大透射波長之間為中心的一波長範圍。
8. 如請求項1至7中任一項之多光譜光學感測器(1)，其中該等光學過濾器(12)係配置於該等透鏡元件(13)與該等光學偵測器區域(11a-11i)之間，特別地該等濾波器(12)係配置於或形成於該基板部(10)之一前表面上。
9. 如請求項1至7中任一項之多光譜光學感測器(1)，其中該等透鏡元件(13)係配置於該等光學過濾器(12)與該等光學偵測器區域(11a-11i)之間。
10. 如請求項1至9中任一項之多光譜光學感測器(1)，其中該複數個透鏡元件(13)形成一微透鏡陣列(MLA)、或一微菲涅耳透鏡(micro Fresnel lens)陣列。
11. 如請求項1至10中任一項之多光譜光學感測器(1)，其中該等光學過濾器(12)係在可見域中透射。
12. 如請求項1至11中任一項之多光譜光學感測器(1)，其中該等光學過濾器(12)係在紅外線域中、特別是短波紅外線(SWIR)域中透射。
13. 如請求項1至12中任一項之多光譜光學感測器(1)，其進一步包括複數個孔口(16)，其中每一個孔口(16)係與一對應的透鏡元件(13)、一對應的光學過濾器(12)及一對應的光學偵測器區域(11a-11i)次陣列(11)對準。
14. 如請求項1至13中任一項之多光譜光學感測器(1)，其中 該陣列係一4x4二維陣列；及 該等補償通道係由位於該陣列之角落位置處的該等光學偵測器區域(11a-11i)次陣列(11)形成。
15. 如請求項1至13中任一項之多光譜光學感測器(1)，其中 該陣列係由配置於該陣列之列及行上的該等光學偵測器區域(11a-11i)次陣列(11)形成之二維陣列；及 該等補償通道係配置成，使得該陣列之每一個列及行包括至多一個補償通道。
16. 一種多光譜光學攝影機系統(101)，其包括： 如請求項1至15中任一項之一多光譜光學感測器(1)；及 一處理資源(2)； 其中該多光譜光學感測器(1)及該處理資源(2)係構造成彼此通訊；及 其中該處理資源(2)係構造成實施一視差補償過程，其步驟包括： 從該多光譜光學感測器(1)之該等光譜通道讀出電氣訊號，其中該等電氣訊號係藉該等光學偵測器區域(11a-11i)次陣列(11)響應入射電磁輻射而生成； 識別來自該等補償通道中之每一者的電氣訊號中之一共同結構型樣； 判定該等補償通道之間的該共同結構型樣之一視差； 由該判定的視差，計算剩餘光譜通道中每一者之一插入視差； 針對該判定的視差，校正來自該等補償通道之電氣訊號； 針對該差入視差，校正來自除了該等補償通道以外之該等光譜通道的電氣訊號；及 實施來自所有光譜通道之電氣訊號的光譜重建。
17. 如請求項16之多光譜光學攝影機系統(101)，其中該處理資源(2)進一步構造成，由該等補償通道之該判定的視差計算出到一物件之一距離，電磁輻射係從該物件接收。
18. 如請求項16或17之多光譜光學攝影機系統(101)， 進一步包括一飛行時間(TOF)感測器，其構造成判定該多光譜光學攝影機系統與一物件之間的一距離，電磁輻射係從該物件接收；及 其中該等剩餘光譜通道中每一者之該插入視差係以來自該等補償通道之該判定的視差、及該判定的距離為基礎進行計算。
19. 一種電子裝置(100)，其包括以下者中至少一者： 如請求項1至15中任一項之一多光譜光學感測器(1)；或 如請求項16至18中任一項之一多光譜光學攝影機系統(101)。
20. 一種視差補償方法，該方法包括： 使用如請求項1至15中任一項之一多光譜光學感測器(1)擷取電磁輻射； 從該多光譜光學感測器(1)之該等光譜通道讀出電氣訊號，其中該等電氣訊號係藉該等光學偵測器區域(11a-11i)次陣列(11)響應該入射電磁輻射而生成； 識別來自該等補償通道中之每一者的電氣訊號中之一結構型樣； 判定該等補償通道之間的該結構型樣之一視差； 由該判定的視差，計算剩餘光譜通道中每一者之一插入視差； 針對該判定的視差，校正來自該等補償通道之電氣訊號； 針對該插入視差，校正來自該等剩餘光譜通道之電氣訊號；及 實施來自所有光譜通道之電氣訊號的光譜重建。