TWI590659B - 影像處理方法及攝像裝置 - Google Patents

Description

影像處理方法及攝像裝置

本發明係關於一種應用於攝像裝置之技術，特別係關於一種應用於感測器之技術。

在數位影像的成像與感光技術中，感光元件對廣範圍波段的光均具有感光能力，故而需要依所欲成像之目標波段光線置入相應的濾光元件，才能利用感光元件獲得正確的影像。舉例而言，在可見光攝像頭或可見光攝影機中，即會在感光元件前安裝有對應於可見光的帶通濾波器(band-pass filter)或低通濾波器(IR cut filter)，在光線通過光學透鏡組後，會透射經過帶通濾波器或低通濾波器，濾除不必要的光線，再使光線透射拜爾濾鏡(Bayer filter)後照射於感光元件，使感光元件響應而獲得影像。在紅外光攝像頭或紅外光攝影機中，則會在感光元件前安裝有對應紅外光的帶通濾波器(IR band-pass filter)，使入射光中除紅外光之其他光線均被濾除，感光元件僅對紅外光發生響應，從而獲得正確的紅外光影像。為縮減並降低攝像頭與攝影機成本，目前有成功開發出將紅外光攝影機與可見光攝影機合併整合之混合式攝影機，其中，為了從感光元件獲得可見光影像及紅外光影像，前述的濾光元件必須採用雙帶通濾波器(dual band-pass filter)，讓可見光及紅外光均同 時通過濾光元件，從而利用單一組攝影機之實體結構與零件獲得可見光與紅外光兩種影像。然而，由於感光元件對於可見光及紅外光均會發生響應，在可見光與紅外光均進入攝影機的情形下，原本預期使用於紅外光感光的像素也會對可見光發生響應，使紅外光影像會受到可見光干擾而失真，發生在不正常區域異常顯像的情形。

本發明之目的在於降低可見光於紅外光影像中的干擾，讓使用者能獲得較正確的紅外光影像。

本發明提供一種影像處理方法，用以處理一攝像頭拍攝所得的一第一影像，上述影像處理方法包括：讀取上述第一影像；以及將上述第一影像修改為一輸出影像後輸出至一影像輸出界面，其中上述輸出影像中之每一像素的結果值為上述第一影像中之每一像素的亮度值減去一闕值的數值或零。

本發明提供一種影像處理方法，用以處理一攝像頭拍攝所得的複數個像素，上述像素被組合成一第一影像，上述影像處理方法包括：讀取上述第一影像中之上述像素的亮度值；將上述像素的上述亮度值與一闕值作比較；若上述第一影像之至少一像素的上述亮度值小於上述闕值，輸出零作為一輸出影像中對應於上述至少一像素之結果值；以及將上述輸出影像輸出至一影像輸出介面。

本發明提供一種攝像裝置，包括一可操作而拍攝一第一影像之攝像頭；一影像處理器，耦接於上述攝像頭，用以讀取上述第一影像後，將上述第一影像修改為一輸出影像後 輸出至一影像輸出界面，其中上述輸出影像中之每一像素的結果值為上述第一影像中之每一像素的亮度值減去一闕值的數值或零。

本發明提供一種攝像裝置，包括一可操作而拍攝獲得複數個像素的攝像頭，上述像素能被組合成一第一影像；一影像處理器，耦接於上述攝像頭，用以讀取上述第一影像中之上述像素的亮度值並將上述像素的上述亮度值與一闕值作比較，若上述第一影像之至少一像素的上述亮度值小於上述闕值，輸出零作為一輸出影像中對應於上述至少一像素之結果值並將上述輸出影像輸出至一影像輸出介面。

為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，下文特舉出較佳實施例，並配合所附圖式，作詳細說明如下：

100‧‧‧攝像裝置

102‧‧‧攝像頭

104‧‧‧濾波器組合

106‧‧‧感光元件

110‧‧‧影像處理器

112‧‧‧記憶體

114‧‧‧影像輸出介面

a‧‧‧特定係數

S10、S20、S30、S40、S50‧‧‧步驟

第1圖為本發明所述一攝像裝置之一示意圖；第2圖為本發明所述混合式拜爾濾鏡之一構造示意圖；第3圖係本發明所述之第二影像中像素的平均亮度值與闕值之一對應關係表；第4圖為本發明所提供適用於一攝像裝置之操作方法之一流程圖。

以下將詳細討論本發明各種實施例之製造及使用方法。然而值得注意的是，本發明所提供之許多可行的發明概 念可實施在各種特定範圍中。這些特定實施例僅用於舉例說明本發明之製造及使用方法，但非用於限定本發明之範圍。

第1圖為本發明所述一攝像裝置100之一示意圖。如第1圖所示，攝像裝置100可設置於各種電腦系統樣態(configuration)上，例如，智慧型手機、平板電腦、個人數位助理、筆記型電腦以及類似之裝置上。攝像裝置100包括一攝像頭102、一濾波器組合104、一感光元件106、一影像處理器110、一記憶體112以及一影像輸出介面114。攝像頭102通常是由一塊或者多塊光學玻璃組成的透鏡組。舉例而言，一般是由凹透鏡、凸透鏡或其組合所組成。攝像頭102用以接收一光線後，將上述光線聚焦至感光元件106上，並使光線在照射至感光元件106之前透射經過濾波器組合104。濾波器組合104係由不同的濾波器(例如：帶通濾波器、雙帶通濾波器、低通濾波器或混合式拜爾濾鏡，諸如此類的濾波器)所組成。在本發明所述之一實施例中，濾波器組合104係由一雙帶通濾波器(dual band-pass filter)及一混合式拜爾濾鏡(Bayer filter)所組成。雙帶通濾波器係僅讓特定頻段的光通過。在本發明所述之一實施例中，帶通濾波器僅讓可見光與紅外光通過。混合式拜爾濾鏡的詳細構造說明如第2圖所述，故本發明在此不加以闡述。感光元件106可為一互補式金屬氧化物半導體(CMOS)感測器或一感光耦合元件(Charge-coupled Device，CCD)。在本發明所述之一實施例中，感光元件106包括對應於濾波器組合104(之混合式拜爾濾鏡)的至少一第一區塊及對應於濾波器組合104(之混合式拜爾濾鏡)的至少一第二區塊。

第2圖為本發明所述混合式拜爾濾鏡之一構造示意圖。混合式拜爾濾鏡係由多個重複排列的RGB-IR陣列所組成。在本發明所述之一實施例中，四個RGB-IR陣列組成混合式拜爾濾鏡，但本發明不以此為限。RGB-IR陣列係由RGB陣列與IR陣列所組成。舉例而言，RGB-IR陣列中每個濾波器元件皆由一個字母表示，其中R表示紅色濾波器元件、G表示綠色濾波器元件、B表示藍色濾波器元件、IR代表紅外光濾波器元件，各濾波器元件可以讓所對應顏色或波長之光線通過。紅色濾波器元件、綠色濾波器元件、藍色濾波器元件及紅外光濾波器元件便組成一個RGB-IR陣列。在本發明所述之一實施例中，混合式拜爾濾鏡包括至少一第一區塊以及至少一第二區塊，第一區塊及第二區塊分別使不同特定波段之光線通過，使得不同特定波段之光線可被傳送至感光元件106上。在本發明所述之一實施例中，第一區塊可供紅外光透射(830奈米-870奈米)透射，第二區塊可供可見光(400奈米-680奈米)透射。在本發明之一實施例中，第一影像係為光線經過雙帶通濾波器及混合式拜爾濾鏡之至少一第一區塊所產生。在本發明之一實施例中，第二影像係為光線經過雙帶通濾波器及混合式拜爾濾鏡之至少一第二區塊所產生。在本發明之一實施例中，第一影像係為一紅外光影像，第二影像係為一可見光影像。

回至第1圖，影像處理器110可包括一單一中央處理單元(central-processing unit；CPU)或者是關連於平行運算環境(parallel processing environment)之複數平行處理單元。在本發明之一實施例中，影像處理器110係將來自感光元件106中第 一影像中之多個亮度值根據一闕值修改為一輸出影像之多個結果值，並將輸出影像之多個結果值傳送至影像輸出介面114，詳細動作容後再述。記憶體112用以儲存可供影像處理器110執行之程式模組。舉例而言，記憶體112包括唯讀記憶體(read only memory；ROM)、快閃記憶體(flash ROM)以及/或動態存取記憶體(random access memory；RAM)。一般而言，程式模組包括常序(routines)、程式(program)、物件(object)、元件(component)等，用以執行動態資訊傳送或接收功能。在本發明所述之一實施例中，記憶體112用以儲存闕值，其中闕值可隨著環境不同而改變或為一固定值。在本發明所述之另一實施例中，記憶體112更可儲存一對應關係表，對應關係表用以儲存第二影像中像素的平均亮度值與闕值間之關係，詳細說明如第3圖所述，故本發明在此不加以闡述。影像輸出介面114用以接收輸出影像之多個結果值，以便攝像裝置100中的其他元件(未圖示)進行一連串的後端處理過程。舉例而言，後端處理過程可包括一顏色校正(color correction)、一伽瑪校正(gamma correction)及/或一邊界加強(edge enhancement)。

在本發明所述之一實施例中，影像處理器110讀取第一影像中之每一像素之亮度值後，將第一影像修改為一輸出影像輸出至一影像輸出界面，其中輸出影像中具有分別對應於第一影像中之每一像素之亮度值的多個結果值，且多個結果值係由第一影像中之每一像素之亮度值分別減去一闕值所產生，但若上述結果值中之任一者出現小於零的數值時，以零取代上述結果值中之任一者。舉例而言，第一影像中之一像素之亮度 值為27尼特，闕值為18尼特，則對應於第一影像中之此一像素之亮度值的一結果值為9尼特；第一影像中之另一像素之亮度值為17尼特，闕值為18尼特，而此時對應於第一影像中之此另一像素之亮度值的結果值為0尼特，而非-1尼特，以此類推，故本發明在此不多以闡述。最後，影像輸出介面114所接收的多個結果值以便攝像裝置100中的其他元件(未圖示)進行一連串的後端處理過程，其中闕值的決定方法容後再述。

在本發明所述之另一實施例中，當第一影像中之每一像素的亮度值皆低於一闕值時，影像處理器110將輸出影像中之所有結果值皆設為零。舉例而言，第一影像中之一像素之亮度值為5尼特，闕值為18尼特，此時多個結果值中之一者為0尼特，而非-13尼特；第一影像中之另一像素之亮度值為3尼特，闕值為18尼特，此時多個結果值中之另一者為0尼特，而非-15尼特。以此類推，故本發明在此不再加以闡述。最後，影像輸出介面114接收多個結果值，以便攝像裝置100中的其他元件(未圖示)進行一連串的後端處理過程。

在本發明所述之一實施例中，由於濾波器組合104可由多種不同的材料所組成，因此闕值係根據濾波器組合104之材料種類所決定。也就是說，在攝像裝置100出廠時，闕值即為一固定值。然而，就算是由同樣材料組成的濾波器組合104其頻譜特性也會因為材料組成的比例不同而有些許的不同。在本發明所述之一實施例中，闕值為介於第一影像中之最亮像素的一亮度值的10%至20%間之一固定值。舉例而言，若第一影像中之最亮像素的一亮度值為10尼特，則闕值為介於1尼特及2 尼特間之一固定值。在本發明所述之另一實施例中，闕值為介於上述第一影像中之任一像素之一理論最大亮度值的1%至10%間之一固定值。舉例而言，第一影像中之任一像素之一理論最大亮度值為100尼特，則闕值為介於1尼特至10尼特間之一固定值。在本發明所述之另一實施例中，闕值係上述第一影像中之任一像素之一理論最大亮度值的1.66%，其中理論最大亮度值係為任一像素受到光線照射後，其亮度由全暗至全亮的最大值。舉例而言，第一影像中之任一像素之一理論最大亮度值為100尼特，則闕值為1.66尼特。

在本發明所述之另一實施例中，闕值係根據攝像裝置100所在之環境所決定。也就是說，攝像裝置100在不同環境下會有不同的闕值。舉例而言，攝像頭102於拍攝第一影像的同時亦拍攝第二影像，第一影像與第二影像分別由不同波長的光線紀錄同一被攝物，闕值的數值大小依第二影像中的不同像素的亮度值而改變。在本發明所述之另一實施例中，闕值的數值大小依第二影像中像素的平均亮度值而改變。本發明所述之第二影像中像素的平均亮度值與闕值之一對應關係表於第3圖中示。

第3圖係本發明所述之第二影像中像素的平均亮度值與闕值之一對應關係表。如第3圖所示，第二影像中像素的平均亮度值為0尼特至0.05尼特時，其對應之闕值為12尼特；第二影像中像素的平均亮度值為0.05尼特至0.10尼特時，其對應闕值為14尼特；第二影像中像素的平均亮度值為0.10尼特至0.15尼特時，其對應闕值16尼特；第二影像中像素的平均亮度 值為0.15尼特至0.20尼特時，其對應之闕值為18尼特；第二影像中像素的平均亮度值為0.20尼特至0.25尼特時，其對應之闕值為20尼特，後續的對應關係可依此類推，但本發明不以此為限。在本發明所述之另一實施例中，闕值係由第二影像中像素的平均亮度經過一數學公式計算所得。舉例而言，第二影像中像素的平均亮度值為0.05尼特時，影像處理器110係將0.05尼特乘以一特定係數a後，以計算所得到之結果0.05a尼特作為其對應之闕值；第二影像中像素的平均亮度值為0.25尼特時，影像處理器110係將0.25尼特乘以特定係數a後，以計算所得到之結果0.25a尼特作為其對應之闕值，後續的對應關係可依此類推，但本發明不以此為限。

在以上說明實施例中，亮度值係以尼特為單位說明，惟在數位攝影中，感光元件獲得之輸出也可能直接表現為數位形式，因此，可以將像素之亮度值實際表現為例如10bits或8bits之數位形式，不影響前述實施例的具體實行。

第4圖為本發明所提供適用於一攝像裝置100之操作方法之一流程圖。首先，於步驟S10中，攝像頭102接收一光線後，將上述光線傳送至濾波器組合104。接著，進入步驟S20。於步驟S20中，上述光線經過濾波器組合104中之一雙帶通濾波器及一混合式拜爾濾鏡的透射後照射至感光元件106上，其中雙帶通濾波器具有可供光線通過之一第一波段及一第二波段，第一波段之波長為一紅外光波長，第二波段之波長為一可見光波長，混合式拜爾濾鏡具有重複排列的一分光單元，分光單元具有一第一區塊與一第二區塊，第一區塊可供紅外光透射，第 二區塊可供可見光透射。接著，進入步驟S30。於步驟S30中，感光元件傳送第一影像至影像處理器110。接著，進入步驟S40。於步驟S40中，影像處理器110讀取第一影像後，將第一影像修改為一輸出影像輸出至一影像輸出界面114，其中輸出影像中之每一像素的結果值為下列兩種亮度值中之較大者：比第一影像中之每一像素的亮度值低一闕值；零。最後，進入步驟S50。於步驟S50中，影像輸出介面114接收輸出影像之結果值以便攝像裝置100中的其他元件(未圖示)進行一連串的後端處理過程。

本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可儲存於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外， 摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。

100‧‧‧攝像裝置

102‧‧‧攝像頭

104‧‧‧濾波器組合

106‧‧‧感光元件

110‧‧‧影像處理器

112‧‧‧記憶體

114‧‧‧影像輸出介面

Claims (17)

1. 一種影像處理方法，用以處理一攝像頭拍攝所得的一第一影像，上述影像處理方法包括：讀取上述第一影像；以及將上述第一影像修改為一輸出影像後輸出至一影像輸出界面，其中上述輸出影像中之每一像素的結果值為上述第一影像中之每一像素的亮度值減去一闕值的數值或零。
2. 一種影像處理方法，用以處理一攝像頭拍攝所得的複數個像素，上述像素被組合成一第一影像，上述影像處理方法包括：讀取上述第一影像中之上述像素的亮度值；將上述像素的上述亮度值與一闕值作比較；若上述第一影像之至少一像素的上述亮度值小於上述闕值，輸出零作為一輸出影像中對應於上述至少一像素之結果值；以及將上述輸出影像輸出至一影像輸出介面。
3. 如申請專利範圍第1至2項中任一項所述之影像處理方法，其中上述闕值介於上述第一影像中之最亮像素的一亮度值的10%至20%之間。
4. 如申請專利範圍第1至2項中任一項所述之影像處理方法，其中上述闕值介於上述第一影像中之任一像素之一理論最大亮度值的1%至10%之間。
5. 如申請專利範圍第1至2項中任一項所述之影像處理方法，其中上述闕值係為上述第一影像中之任一像素之一理論最 大亮度值的1.66%。
6. 如申請專利範圍第1至2項中任一項所述之影像處理方法，其中上述攝像頭於拍攝上述第一影像的同時亦拍攝一第二影像，上述第一影像與上述第二影像分別由不同波長的光線紀錄同一被攝物，上述闕值的數值大小依上述第二影像中之不同像素的亮度值而改變。
7. 如申請專利範圍第6項所述之影像處理方法，其中上述闕值的數值大小依上述第二影像中像素的一平均亮度值而改變。
8. 如申請專利範圍第6項所述之影像處理方法，其中上述第一影像為一紅外光影像，上述第二影像為一可見光影像。
9. 一種攝像裝置，包括：一可操作而拍攝一第一影像之攝像頭；一影像處理器，耦接於上述攝像頭，用以讀取上述第一影像後，將上述第一影像修改為一輸出影像後輸出至一影像輸出界面，其中上述輸出影像中之每一像素的結果值為上述第一影像中之每一像素的亮度值減去一闕值的數值或零。
10. 一種攝像裝置，包括：一可操作而拍攝獲得複數個像素的攝像頭，上述像素能被組合成一第一影像；一影像處理器，耦接於上述攝像頭，用以讀取上述第一影像中之上述像素的亮度值並將上述像素的上述亮度值與一闕值作比較，若上述第一影像之至少一像素的上述亮度值小於上述闕值，輸出零作為一輸出影像中對應於上述至少一像素之結 果值並將上述輸出影像輸出至一影像輸出介面。
11. 如申請專利範圍第9至10項中任一項所述之攝像裝置，其中上述闕值介於上述第一影像中之最亮像素的一亮度值的10%至20%之間。
12. 如申請專利範圍第9至10項中任一項所述之攝像裝置，其中上述闕值介於上述第一影像中之任一像素之一理論最大亮度值的1%至10%之間。
13. 如申請專利範圍第9至10項中任一項所述之攝像裝置，其中上述闕值係為上述第一影像中之任一像素之一理論最大亮度值的1.66%。
14. 如申請專利範圍第9至10項中任一項所述之攝像裝置，其中上述攝像頭於拍攝上述第一影像的同時亦拍攝一第二影像，上述第一影像與上述第二影像分別由不同波長的光線紀錄同一被攝物，上述闕值的數值大小依上述第二影像中之不同像素的亮度值而改變。
15. 如申請專利範圍第14項所述之攝像裝置，其中上述闕值的數值大小依上述第二影像中像素的一平均亮度值而改變。
16. 如申請專利範圍第14項所述之攝像裝置，其中上述第一影像為一紅外光影像，上述第二影像為一可見光影像。
17. 如申請專利範圍第9至10項中任一項所述之攝像裝置，其中上述攝像裝置更包括一雙帶通濾波器、一混合式拜爾濾鏡及一感光元件，上述雙帶通濾波器、上述混合式拜爾濾鏡及上述感光元件一同排列而使一光線能在經過上述雙帶通濾波器 及上述混合式拜爾濾鏡的透射後照射至上述感光元件上，上述雙帶通濾波器具有可供光線通過之一第一波段及一第二波段，上述第一波段之波長為一紅外光波長，上述第二波段之波長為一可見光波長，上述混合式拜爾濾鏡具有重複排列的一分光單元，上述分光單元具有一第一區塊與一第二區塊，上述第一區塊可供紅外光透射，上述第二區塊可供可見光透射，上述第一影像係為上述光線經過上述雙帶通濾波器及上述第一區塊後所產生。