TWI444050B - 從彩色馬賽克成像器達到全色反應的方法及裝置 - Google Patents

Description

從彩色馬賽克成像器達到全色反應的方法及裝置

本發明涉及成像系統，尤其是適用於機器視覺系統的那些成像系統。特別是，本發明涉及機器視覺系統中彩色成像器的使用。尤其是，本發明涉及使用彩色成像器產生單色影像用於機器視覺處理。

傳統上，焦平面陣列固態成像器的市場，在此項技術中與基本技術(即，電荷耦合器件的CCD或互補金屬氧化物半導體的CMOS)相關，已經由視訊攝影機的市場所推動，其中該CCD或CMOS感測器是一個主要元件。視訊攝影機，如用於錄音廣播、電子新聞採訪作業(ENG)與消費者攝錄影機(其中攝影機與卡式帶錄製座(Tape Deck)或磁碟式錄製機被整合到一單個小型精簡封裝中)通常都提供一彩色信號。該信號通常由兩種方法之任意一種產生。

第一種方法通常適用於專業級設備與較高級消費者設備。對於這種方法，該入射影像穿過一視訊透鏡，並且然後穿過一分色稜鏡組。該分色稜鏡組是三個稜鏡的總成，其中兩個具有一分色(顏色帶選擇)塗層。該第一稜鏡將具有一表面，其反射一顏色帶(通常是藍色)到一第一CCD或類似成像器，並且使其餘顏色通過。該第二稜鏡將具有一表面，其反射一第二顏色帶(通常是綠色)到一第二CCD或類似成像器。一第三稜鏡將接受該信號的剩餘部分，在這種情況下是紅色帶，並且將它發射到一第三CCD或類似成像器。如果在該第三稜鏡上有一塗層，它通常是一抑制帶外光的塗層，該CCD可能對此帶外光是敏感的而且此帶外光被認為是不需要的，例如，紅外線光。抑制紅外線(IR)光的該塗層或者可被放置在該稜鏡組的前面，或被納入到一保護窗口中，或被納入到該透鏡中。應指出，在該第一方法中，由於該顏色分離是在該分色稜鏡組中完成，所以該等CCD或類似感測器的每個被配置使其全彩色光譜反應不受影響。此外，該等感測器的每個以其全內在解析度採集影像資料，提供表示從該場景成像的三種顏色的三個全解析度影像。

第二種方法通常用在等級較低的設備中，如較低成本與/或非常小型精簡的ENG系統，並且大多數是消費者級攝影機系統。這裏使用單個CCD或類似成像器。一彩色馬賽克濾光器與該固態成像器整合，其中該成像器陣列的每個圖素(像素)由一對應顏色帶濾光器覆蓋。圖1顯示了一彩色馬賽克濾光器13的圖，顯示了示例性紅色12、綠色14與藍色16彩色濾光器元件。通常，該等像素的一半會是與一主要發射綠色影像成分的顏色帶濾光器相關，該等像素的四分之一會是與一主要發射藍色影像成分的顏色帶濾光器相關，以及該等像素的四分之一會是與一主要發射紅色影像成分的顏色帶濾光器相關。這種類型的濾光器有時被稱為拜耳濾光器。該系統特意折衷地偏向於綠色光譜以最好地滿足人類觀察者。人類對綠光是最敏感的以及對藍與紅光是較不敏感的。綠色成分攜帶關於人臉最多的資訊，人類對其特別敏感。應指出，在該方法中，該彩色馬賽克濾光器與該固態成像器是密不可分的，因為該濾光器在製造過程期間是與在感測器中不引人注意的感光元件精確對準的並且必須保持對準以正確運作。圖2顯示了先前技術的一附有彩色馬賽克濾光器的固態視訊感測器的示意圖，顯示了附有彩色馬賽克濾光器22的感測器20、可選的IR阻擋濾光器24、光學總成26以及經由電纜28被附裝到感測器的控制器30。

與廣播、ENG與消費者攝影機產業相比，包含機器視覺的二級產業是相對較少的視訊感測器與攝影機的使用者。由於製造商通常不會專門為這些二級市場製造感測器，因此這些應用必須依靠製造用於其他用途的感測器。機器視覺應用通常需要高速處理，以及高敏感度、高解析度與低成本的感測器方能成功。由於這些原因與其他原因，機器視覺應用通常使用單色感測器，其中從場景成像的影像資料被以灰色的濃淡處理。為了實現單色成像，機器視覺應用有時使用研發用在三通道分色稜鏡組專業設備中的感測器。這提高了高速處理，因為顏色資訊不需要被處理、不需要高敏感度，因為整個感測器可感測寬頻照明以及高解析度，因為圖素或像素全部被使用。然而，這不是一種低成本解決方案，因為這些感測器通常成本遠遠超過大量生產的彩色馬賽克感測器。

彩色馬賽克感測器由於它們的低成本，被用於機器視覺應用是可取的。由於該等永久附裝的彩色濾光器，這些感測器運作不會像單色感測器一樣良好，通常需要額外的處理以消除彩色資訊，從而形成一單色影像。因為這些攝影機被設計成產生彩色資訊，所以來自這些感測器的該影像資料通常作為三個分離(紅、綠與藍)影像發射或以許多可用彩色格式其中之一編碼。這種處理的一個結果是降低解析度，因為空間分離的紅色、綠色與藍色像素必須被組合以形成單個單色像素，從而降低空間解析度。此外，該等彩色濾光器降低了每個像素的敏感度，需要更長的曝光時間與/或更多的光能量在場景上，無論哪種都是不可取的。

固態成像器對IR敏感度是眾所周知的。同時成像可見光與紅外線光的方法及裝置已經被開發。例如，美國專利#3,806,633「多光譜資料感測器與顯示系統(Multispectral Data Sensor and Display System)」討論了一種具有產生用可見光影像記錄的IR影像之光學器件的雙感測器配置。美國專利#4,651,001「具有堆疊單元結構的可見光紅外線成像器件(Visible Infrared Imaging Device with Stacked Cell Structure)」旨在使用一新穎感測器結構同時產生可見光影像與IR影像。美國專利5,555,464「CCD攝影機的紅色/近紅外線濾光(Red/Near-Infrared Filtering for CCD Cameras)」開發了採集可見光資料與IR資料兩者的固態感測器的能力，其中使用一新穎馬賽克彩色濾光器替代標準濾光器，以除了接納可見光外亦接納IR光。這些方法都除了產生IR影像以外亦產生彩色影像，或產生IR資料或IR與可見光資料組合的錯誤彩色影像，所有這些效果往往相反於便宜、快速、高解析度處理的機器視覺目標。

現在有CCD、CMOS與類似感測器的其他主要市場，如使用該彩色馬賽克濾光器類型的彩色感測器的數位攝影機與蜂巢式行動電話。這些發展導致可用更低成本的感測器，其等可適用於機器視覺系統，從而降低了此等系統的成本。一種使用這些低成本感測器成像IR資料的系統被顯示在美國專利#7,235,775「用於處理紅外線與可見光譜發光的紅外線成像裝置(Infrared Imaging Apparatus for Processing Emissions in Infrared and Visible Spectrum)」中。此處描述的該系統從該感測器移除該IR濾光器，用一僅使IR資料通過的濾光器替代該IR濾光器。該系統然後依靠該可見光彩色馬賽克濾光器以形成IR反應中之分離的三個峰值，從而形成該IR波長區域中三個光譜帶的錯誤彩色影像。該方法未能解決使用彩色馬賽克感測器採集IR資料的主要問題的兩個問題。第一，該系統必須處理三個分離的影像，這不是優於標準可見光處理的改進。第二，採集的該三個錯誤彩色影像已經降低了與該感測器的潛在解析度有關的解析度，因為這些影像係經空間多工。

由於以上提到的限制，因此顯而易見的是，彩色馬賽克感測器已經不適用於與機器視覺相關的特殊要求。因此，仍然需要降低成本的感測器，藉由從彩色馬賽克濾光固態成像器獲得全色反應，該等感測器可適用於機器視覺應用。

本發明是一種從彩色馬賽克視訊感測器模擬全色反應的方法及裝置。在本發明的一實施例中，一組描繪了多色視訊感測器的反應與波長的函數關係的色反應曲線被檢查，識別了該等色反應曲線的一區域，其中該多色視訊感測器對每個波長具有大致均勻的反應。圖3是顯示一典型彩色馬賽克濾光器的該光譜反應的曲線圖40。該圖顯示了在藍色42、綠色44與紅色46濾光器的量子效率百分比中的反應與波長的函數關係。注意，所有三個濾光器的均勻反應在該光譜的IR部分中。該波長區域是在IR波長帶中，在從大約700奈米到1000奈米的波長中，中心大約是850奈米。該波長區域在市場上可購得的攝影機中通常被阻擋以便防止IR輻射到達感測器而損及影像。本發明移除該IR濾光器並且可選地用一阻擋可見光並且使IR輻射通過的濾光器替代該IR濾光器。在本發明中，從該波長區域選擇一或多個波長並且用在該識別區域內的該(該等)選定波長照明由該多色視訊感測器成像的一成像場景，從而從與該成像場景有關的該感測器採集IR資料。根據本發明構造的一系統的示意圖被顯示在圖4中，顯示了附有彩色馬賽克濾光器52的感測器50、可選的IR通濾光器54、光學總成56、連接該感測器50到控制器60的電纜58、以及照明源62用其電纜64可操作以連接該照明源62到該控制器60。

圖1顯示了與一CCD或CMOS固態成像器對準的彩色馬賽克濾光器10的標準拜耳覆蓋。示例性紅色12、綠色14與藍色16濾光器元件被顯示。這種類型濾光器對一固態成像感測器的正確應用需要該濾光器的每個顏色部分對準於在該感測器中的單個主動圖素。這樣做使得每個感測器元件或像素將被曝光於只有一種濾光顏色。這需要該濾光器被小心對準並且永久附裝到該感測器。藉由分析該圖，很明顯的是，對於用綠色照明形成的影像，該影像將是用等效全色感測器的解析度的大致一半形成，以及對於藍色或紅色照明，所形成的影像將是等效全色成像器的解析度的四分之一。

對於機器視覺，常見的做法是控制照明燈光的最佳幾何關係與光的時間(頻閃或快閃應用)。這些應用最實際的照明源通常是發光二極體(LED)照明，其通常是只跨越幾個奈米波長的準單色。雖然白色LED在至少兩種不同技術(三刺激與二次發光類型)中是可得到的，但是無論哪個在更成熟的單色LED的各種封裝類型與樣式中都是不可得到的。此外，即使可能適合寬頻照明，但是往往研究的是物體的形式而不是物體的顏色，如果存在彩色資訊(比如，藉由使用彩色成像器與寬頻照明)，有可能存在在計算上必須被濾除或忽略的虛假資訊。

圖2顯示了先前技術的一典型彩色馬賽克固態視訊系統，其包含一附有彩色馬賽克濾光器22的固態感測器20。光經由該光學總成26進入該系統，通過一可選的IR濾光器24以阻止IR光到達該感測器，以及然後穿過該彩色馬賽克濾光器22到該固態感測器20。由該感測器20形成的影像資料經由電纜28被發送給控制器30用於處理。大多數但不是全部彩色馬賽克成像器含有一IR濾光器。該IR濾光器的目的是濾除來自場景中的IR輻射的不相干資訊，該資訊將使該成像器的顏色反應失真。對於大多數商業應用，其目標是準確的色彩保真度，而不是最大敏感度或解析度。因為該IR濾光器不需要永久的精確對準，它通常被附裝到在該彩色馬賽克濾光器22的頂部上的該感測器20的該外表面，或包含在該光學總成中。不管它被發現在該系統中的哪裡，通常是可以移除該IR濾光器並且如果有必要，用另一類型的濾光器替代它。

圖3是顯示了一典型彩色馬賽克濾光器的光譜反應的曲線圖40。該曲線圖顯示了在該藍色42、綠色44與紅色46濾光器的量子效率百分比中的反應與波長的函數關係。經由分析該影像可看出，該等帶的全部在該紅外線區域中都有「洩漏」。通常，用一抑制該「帶外」輻射的光學濾光器解決該洩漏。然而，本發明利用該洩漏。在一較佳實施例中，在最高且最接近匹配反應的該點選擇一發光點。該匹配反應通常發生在700奈米與1000奈米之間。在本發明的一實施例中，在850奈米發光將導致大致上全色反應。也可發生的是，該顏色是一常見LED類型並且在各種各樣封裝與大小中可容易地得到。此等器件通常是基於半導體材料砷鎵化鋁，其有一對應在850奈米附近發光的帶隙。

圖4顯示了根據本發明構造的一系統。本發明的一實施例使用一市場上可購得的彩色馬賽克成像器50或一基於同樣附有彩色馬賽克濾光器52的攝影機。經由移除該IR阻擋濾光器並且可選地用一通過在選定波長中的IR輻射並且阻擋可見光的濾光器54替代它，用該成像器或攝影機達到接近全色反應。在一較佳實施例中，使用一特定波長範圍的準單色照明燈62，特別是對應該成像器的光譜反應的波長範圍，其中三個顏色通道全部是大致相等或是其子集。在這種情況下，該波長範圍是在700奈米與1000奈米之間。特別是，使用一大約850奈米的波長。在一較佳實施例中，在該範圍內的反應的該相對峰值選擇一準單色照明燈，其中對所有三個顏色通道的反應是大致相等的。該照明燈62(其係在一控制器60控制下並且經由一電纜64被連接到該控制器60)在適當時間且用該或該等選定波長照明該場景(未顯示)。經由該光學總成56成像該場景，該光學總成包括一或多個透鏡，其可操作以聚焦由照明燈62發射的IR輻射並且由場景(未顯示)反射並經由該彩色馬賽克濾光器52與該可選IR通濾光器54被成像到該感測器50上。因此由該感測器50採集的該影像資料經由電纜58被發送給控制器60用於進一步處理。

在本發明的一實施例中，最初處理包括從由該感測器發送給該控制器的三個準彩色影像形成一單個單色影像。應指出，可以用各種方式編碼彩色資訊。最簡單的是RGB格式，其中與該感測器區域的減少採樣相比，具有降低解析度的三個分離影像被發送。其他編碼(如YUV或NTSC)係可行的並且可與該方法一起使用，然而具有可能降低的空間解析度或動態範圍。該最初處理藉由用來自該三個準彩色影像的資料填充一具有與該原始大小的感測器相同的尺寸的2D陣列而產生一單色影像。根據從在該原始感測器上採集該特定像素之處，來自「紅色」、「藍色」與「綠色」影像的資料被放置到該單色影像陣列中，從而產生一具有與該原始感測器相同的內在解析度的單色影像。此外，因為用IR光照明該場景，該IR光被選擇成由所有三種顏色均等發射，所以該系統對光的敏感度被最大化。

本發明的另一實施例進一步處理該資料以去除在由該彩色馬賽克感測器對該濾波IR資料的反應中的任何差異。可以想像的是，在該彩色馬賽克濾光器/感測器組合中的不同顏色對IR輻射可不同反應。因為本發明取決於不管該濾光器從該感測器具有均勻反應，經由用選定IR光的該波長測量超過該感測器的該動態範圍的該反應並且基於該反應計算校正因素，可消除該反應差。這些因素是可相加的或可相乘的並且由該控制器應用到每個像素，取決於它是經由哪個彩色濾光器採集以便消除或降低該彩色馬賽克濾光器的不同顏色之間的反應變化。

熟習此項技術者將顯而易見，在不偏離其基本原理下可對本發明的上述該等實施例的該等細節做許多改變。因此，本發明的範圍應該只能由以下請求項決定。

10．．．彩色馬賽克濾光器

12．．．紅色

14．．．綠色

16．．．藍色

20．．．固態感測器

22．．．彩色馬賽克濾光器

24．．．紅外線濾光器

26．．．光學總成

28．．．電纜

30．．．控制器

40．．．光譜反應圖

42．．．藍色

44．．．綠色

46．．．紅色

50．．．商用彩色馬賽克成像器

52．．．彩色馬賽克濾光器

54．．．紅外線通濾光器

56．．．光學總成

58．．．電纜

60．．．控制器

62．．．照明燈

64．．．電纜

圖1是先前技術的一具有一馬賽克濾光器的影像感測器的示意圖。

圖2是先前技術的一彩色馬賽克固態攝影機的示意圖。

圖3是顯示了一馬賽克濾光器的三種顏色的光譜反應。

圖4是一使用彩色馬賽克感測器的單色機器視覺系統的示意圖。

40．．．光譜反應圖

42．．．藍色

44．．．綠色

46．．．紅色

Claims (10)

1. 一種從一多色成像器模擬全色反應之方法，該多色成像器包含一感測器及一多色濾光器，包括：識別光譜反應曲線的一區域，該區域中該多色成像器對複數個波長具有一實質上均勻的反應；以在該實質上均勻的反應區域內具有一波長的一照明源照明成像場景；當照明該成像場景同時，成像該成像場景以從該多色成像器採集影像資料，其中該影像資料包括與該多色濾光器之一個別色彩相關聯之一準(pseudo)彩色影像；及將該採集到的資料發送給控制器，並且將該資料以與該感測器相同的一內在解析度結合到一單一單色影像中，藉此根據來自每一準彩色影像之像素資料係採集自該感測器何處而藉由用該像素資料填充一二維陣列而從該多色成像器模擬全色反應。
2. 根據請求項1之方法，其進一步包括：判定該影像資料的反應之一差異超過該實質上均勻的反應區域；以及基於該判定的差異，應用一校正到該影像資料。
3. 根據請求項1或2之方法，其中該多色濾光器是一具有紅色、綠色與藍色濾光器元件之拜耳濾光器。
4. 根據請求項1之方法，其中成像該成像場景包含：在沒有一紅外線濾光器時，利用該多色成像器成像該成像場景。
5. 根據請求項或4之方法，其中成像器該成像場景包含：透過與該多色成像器對準的一可見光濾光器成像該成像場景。
6. 根據請求項1之方法，其中由該照明源發射的該波長介於大約700奈米與1000奈米之間。
7. 一種從一多色成像器模擬全色反應之裝置，該多色成像器包含一感測器及一多色濾光器，該多色成像器操作以成像一成像場景，並藉此採集影像資料，及一控制器操作以處理該資料，該裝置包括：一照明源；及一控制器，以識別光譜反應曲線的一區域，該區域中該多色成像器對複數個波長具有一實質上均勻的反應，該控制器控制該照明源以利用在該實質上均勻的反應區域內具有一波長的光照明該成像場景，該控制器控制該多色成像器以成像該成像場景，同時該照明源照明該成像場景，其中該影像資料包括與該多色濾光器之一個別色彩相關聯之一準彩色影像，並將該影像資料以與該感測器相同的一內在解析度結合到一單色影像中，藉此根據來自每一準彩色影像之像素資料係採集自該感測器何處而藉由用該像素資料填充一二維陣列而從該多色成像器模擬全色反應。
8. 根據請求項7之裝置，其中該多色濾光器是一具有紅色、綠色與藍色濾光器元件之拜耳濾光器。
9. 根據請求項7或8之裝置，其進一步包含： 與該多色成像器對準的一可見光濾光器。
10. 根據請求項7或8之裝置，其中由該照明源發射的該波長大約850奈米。