TWI844028B - 電子裝置與其紅外光干擾降低方法 - Google Patents

Abstract

一種電子裝置與其紅外光干擾降低方法。所述方法包括下列步驟。利用影像感測器偵測環境光資訊，其中影像感測器包括用以感測可見光以及紅外光的多個感測像素。根據環境光資訊決定紅外光干擾強度。根據紅外光干擾強度控制影像感測器依據原始曝光時間與新曝光時間兩者其中之一進行影像感測。反應於紅外光干擾強度未大於臨界值，控制影像感測器依據原始曝光時間進行影像感測。反應於紅外光干擾強度大於臨界值，控制影像感測器依據新曝光時間進行影像感測，其中新曝光時間短於原始曝光時間。

Description

電子裝置與其紅外光干擾降低方法

本發明是有關於一種電子裝置，且特別是有關於一種電子裝置與其紅外光干擾降低方法。

影像感測器過去著重於感測可見光，因此影像感測器的構造上還有一層紅外光濾鏡(IR Cut Filter)，紅外光濾鏡用以過濾紅外光，避免感光像素所感測的可見光被紅外光的影響而失真。近年來，各式消費性電子產品的照相功能日趨多元化，使用者對於夜間拍攝與紅外線影像拍攝的需求也逐漸被重視。於是，一種同時感測可見光與紅外光的混和式影像感測器被提出來滿足上述需求。目前使用混和式影像感測器的應用很多，主要是因為混和式影像感測器不僅可降低設置空間需求，又同時可減低成本，因此逐漸廣受採用。但是，當使用混和式影像感測器時，須移除紅外光濾鏡或使用可讓部份紅外光通過的紅外光濾鏡，才可讓混和 式影像感測器的紅外光感測像素感測到紅外光。如此一來，混和式影像感測器的可見光感測像素也會接收到紅外光，因而造成感測影像有色彩偏移的現象。

圖1是混和式影像感應器的光譜響應圖。請參照圖1，根據RGB通道的響應曲線L1~L3可知，RGB通道在感應可見光(波長400nm~750nm)的同時也會感應紅外光。類似地，根據紅外光的響應曲線L4可知，紅外光(IR)通道在感應紅外光的同時也會感應可見光。目前有一種校正方法是由影像訊號處理器(ISP)負責校正RGB通道的感測結果，影像訊號處理器會從RGB通道感測訊號中扣掉一定幅度的IR訊號量。舉例而言，將數位化RGB通道感測訊號所產生的12位元資料直接被減去預設位準(例如300)，接著再將相減結果映射回8位元資料。然而，上述作法只能粗略的抵銷紅外光的影響成份，無法針對紅外光實際影響狀況去做調整，因而會影響影像品質。換言之，即便環境光的紅外光成份很低，但整張感測影像還是將失去一定階層的數位訊號，進而對感測影像造成不良影響。

有鑑於此，本發明提出一種電子裝置與其紅外光干擾降低方法，其可降低紅外光對RGB影像的不良影響。

本發明實施例提供一種紅外光干擾降低方法，其包括下列步驟。利用影像感測器偵測環境光資訊，其中影像感測器包括 用以感測可見光以及紅外光的多個感測像素。根據環境光資訊決定紅外光干擾強度。根據紅外光干擾強度控制影像感測器依據原始曝光時間與新曝光時間兩者其中之一進行影像感測。根據紅外光干擾強度控制影像感測器依據原始曝光時間與新曝光時間兩者其中之一進行影像感測的步驟包括：反應於紅外光干擾強度未大於臨界值，控制影像感測器依據原始曝光時間進行影像感測；以及反應於紅外光干擾強度大於臨界值，控制影像感測器依據新曝光時間進行影像感測，其中新曝光時間短於原始曝光時間。

本發明實施例提供一種電子裝置，其包括影像感測器、儲存裝置，以及處理器。影像感測器包括用以感測可見光以及紅外光的多個感測像素。處理器耦接影像感測器與儲存裝置，經配置以執行下列步驟。利用影像感測器偵測環境光資訊。根據環境光資訊決定紅外光干擾強度。根據紅外光干擾強度控制影像感測器依據原始曝光時間與新曝光時間兩者其中之一進行影像感測。反應於紅外光干擾強度未大於臨界值，控制影像感測器依據原始曝光時間進行影像感測。反應於紅外光干擾強度大於臨界值，控制影像感測器依據新曝光時間進行影像感測，其中新曝光時間短於原始曝光時間。

基於上述，於本發明的實施例中，影像感測器包括用以感測可見光以及紅外光的多個感測像素，因而可產生RGB影像與紅外光影像。電子裝置所處環境的環境光資訊可以先被偵測，從而決定紅外光干擾強度。接著，根據紅外光干擾強度來調整影像 感測器的曝光時間。藉此，可降低紅外光對RGB影像所帶來的不良影響。

100:電子裝置

110:影像感測器

120:顯示器

130:儲存裝置

140:處理器

111:IR感測像素

112:R感測像素

113:G感測像素

114:B感測像素

L1~L4:響應曲線

S410~S430、S510~S249、S510~S560:步驟

圖1是混和式影像感應器的光譜響應圖。

圖2是依照本發明一實施例的電子裝置的方塊圖。

圖3是依照本發明一實施例的影像感測器的示意圖。

圖4是依照本發明一實施例的紅外光干擾降低方法的流程圖。

圖5是依照本發明一實施例的紅外光干擾降低方法的流程圖。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。

圖2是依照本發明一實施例的電子裝置的方塊圖。請參照圖2，電子裝置100包括影像感測器110、顯示器120、儲存裝置130，以及處理器140。電子裝置100可例如為筆記型電腦、智 慧電視、平板電腦、遊戲機、手機等等具有照相功能的電子裝置，本發明對此不限制。

影像感測器110用以提供影像感測功能。影像感測器110可包括感光元件，例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，本發明對此不限制。影像感測器110可與其他元件(例如鏡頭、光圈等等)組成電子裝置100的相機模組。

需特別說明的是，於本發明的實施例中，影像感測器110包括用以感測可見光與紅外光的多個感測像素，這些感測像素用以將光能轉換為電能。更具體而言，影像感測器110是一種混合式影像感測器，又可稱為RGB-Ir影像感測器。相較於只用以感測可見光的傳統影像感測器，影像感測器110可採用加入感測近紅外光通道的色彩濾波陣列(CFA)。圖3是依照本發明一實施例的影像感測器的示意圖。請參照圖3，影像感測器110包用以感測紅外光的IR感測像素(例如IR感測像素111)以及用以感測可見光的RGB感測像素(例如R感測像素112、G感測像素113、B感測像素114)。如此一來，透過一次性的影像感測操作，影像感測器110可同時產生RGB影像以及IR影像。然而，圖3僅為一種用以說明的範例，本發明對於IR感測像素以及RGB感測像素的排列方式並不限制。

顯示器120用以顯示影像感測器110所感測的影像資 料，其可以是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light Emitting Diode，LED)顯示器、有機發光二極體(Organic Light Emitting Diode，OLED)等各型的顯示器，本發明對此不限制。

儲存裝置130可用以儲存影像、指令、程式碼、軟體模組等等資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。

處理器140耦接影像感測器110、顯示器120以及儲存裝置130，例如是中央處理單元(central processing unit，CPU)、應用處理器(application processor，AP)，或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor，DSP)、影像訊號處理器(image signal processor，ISP)、圖形處理器(graphics processing unit，GPU)或其他類似裝置、積體電路及其組合。處理器140可存取並執行記錄在儲存裝置130中的軟體模組，以實現本發明實施例中的紅外光干擾降低方法。上述軟體模組可廣泛地解釋為意謂指令、指令集、代碼、程式碼、程式、應用程式、軟體套件、執行緒、程序、功能等，而不管其是被稱作軟體、韌體、中間軟體、微碼、硬體描述語言亦或其他者。

圖4是依照本發明一實施例的紅外光干擾降低方法的流 程圖，而圖4的方法流程可以由圖2的電子裝置100的各元件實現。請同時參照圖2及圖4，以下即搭配圖1中電子裝置100的各項元件，說明本實施例的紅外光干擾降低方法的步驟。

於步驟S410，處理器140利用影像感測器110偵測環境光資訊。上述環境光資訊例如是環境光波長範圍、環境光色溫或紅外光強度等等。根據影像感測器110進行感測而產生的資料，處理器140可分析出環境光資訊。於一些實施例中，根據影像感測器110中用以感測可見光的部份感測像素所產生的RGB通道資料，處理器140可決定包括環境光波長範圍的環境光資訊。

於步驟S420，處理器140根據環境光資訊決定紅外光干擾強度。透過查表或函數計算，處理器140可根據環境光資訊決定紅外光干擾強度。紅外光干擾強度代表紅外光對於影像感測器110之RGB感測像素的影響程度。紅外光干擾強度越大，代表影像感測器110之RGB感測像素受到紅外光成份的干擾越大。於一些實施例中，處理器140可根據環境溫進行查表而決定紅外光干擾強度。或者，於一些實施例中，處理器140可根據影像感測器110之IR感測像素所感測之紅外光強度來決定紅外光干擾強度。或者，於一些實施例中，處理器140可根據環境光波長範圍進行查表來決定紅外光干擾強度。

於步驟S430，處理器140根據紅外光干擾強度控制影像感測器110依據原始曝光時間與新曝光時間兩者其中之一進行影像感測。於一些實施例中，處理器140可根據紅外光干擾強度決 定使用記錄有原始曝光時間的原始曝光表或記錄有新曝光時間的新曝光表，從而控制影像感測器110依據原始曝光時間與新曝光時間兩者其中之一進行影像感測。

於一些實施例中，處理器140可比較紅外光干擾強度與一臨界值來決定使用原始曝光時間或新曝光時間。反應於紅外光干擾強度未大於臨界值，處理器140可控制影像感測器110依據原始曝光時間進行影像感測。反應於紅外光干擾強度大於臨界值，處理器140可控制影像感測器110依據新曝光時間進行影像感測。需特別注意的是，新曝光時間短於原始曝光時間。也就是說，當處理器140判定紅外光干擾強度大於臨界值時，影像感測器110將使用較短的新曝光時間來進行影像感測，從而降低影像感測器110所接收之紅外光的能量。

圖5是依照本發明一實施例的紅外光干擾降低方法的流程圖，而圖5的方法流程可以由圖2的電子裝置100的各元件實現。請同時參照圖2及圖5，以下即搭配圖1中電子裝置100的各項元件，說明本實施例的紅外光干擾降低方法的步驟。

於步驟S510，根據影像感測器110中用以感測可見光的部份感測像素所產生的RGB通道資料，處理器140決定包括環境光波長範圍的環境光資訊。RGB通道感測資料包括紅色通道值、綠色通道值以及藍色通道值。處理器140可根據RGB通道資料來分析出環境光波長範圍。

於一些實施例中，處理器140可計算紅色通道值與綠色 通道值之間的紅綠比例值(r/g值)，並計算藍色通道值與綠色通道值之間的藍綠比例值(b/g值)。處理器140根據紅綠比例值以及藍綠比例值決定環境光波長範圍。

詳細而言，根據影像感測器110之所有或部分RGB感測像素所感測的紅色通道值、綠色通道值以及藍色通道值，處理器140可獲取紅綠比例值(r/g值)以及藍綠比例值(b/g值)。於一些實施例中，處理器140可以先對多個R感測像素所產生的紅色通道值進行平均處理而獲取一紅色通道平均值。處理器140可以先對多個G感測像素所產生的綠色通道值進行平均處理而獲取一綠色通道平均值。處理器140可以先對多個B感測像素所產生的藍色通道值進行平均處理而獲取一藍色通道平均值。接著，處理器140可將紅色通道平均值除以綠色通道平均值而獲取r/g值，並將藍色通道平均值除以綠色通道平均值而獲取b/g值。於一些實施例中，處理器140可根據多個像素位置各自對應的紅色通道值、綠色通道值以及藍色通道值分別計算出各個像素位置所對應的子紅綠比例值與子藍綠比例值。其中，透過將相同像素位置的紅色通道值除以綠色通道值，可產生該像素位置所對應的子紅綠比例值。同理，透過將相同像素位置的藍色通道值除以綠色通道值，可產生該像素位置所對應的子藍綠比例值。各個像素位置可對應至一子紅綠比例值與一子藍綠比例值。之後，處理器140再針對這些子紅綠比例值進行統計處理而獲取紅綠比例值，以及針對這些子藍綠比例值進行統計處理而獲取藍綠比例值。

於一些實施例中，多個預設環境光波長範圍各自關聯於對應的一組參考紅綠比例值以及參考藍綠比例值。換言之，多組參考紅綠比例值以及參考藍綠比例值將各自關聯於對應的一個預設環境光波長範圍。於是，透過判斷紅綠比例值最接近多個參考紅綠比例值其中之一以及判斷藍綠比例值最接近多個參考藍綠比例值其中之一，處理器140可根據最接近的參考紅綠比例值以及最接近的參考藍綠比例值而從多個預設環境光波長範圍找出對應一者。舉例而言，表1記錄多個預設環境光波長範圍以及對應的多組參考紅綠比例值以及參考藍綠比例值。

在處理器140根據影像感測器110所感測之RGB通道感測資料獲取紅綠比例值與藍綠比例值之後，處理器140可判斷紅綠比例值最接近表1所記錄之多個參考紅綠比例值其中哪一者，並判斷藍綠比例值最接近表1所記錄之多個參考藍綠比例值其中哪一者。最後，處理器140便可從表1的多個預設環境光波長範圍中決定 出環境光波長範圍。假設處理器140獲取r/g值為1.24且b/g為0.97，則處理器140可決定環境光波長範圍為610~700(nm)。上述表1可經過實驗而預先建立並儲存於儲存裝置130中。

之後，於步驟S520，處理器140根據環境光波長範圍與影像感測器110的紅外光感測特性決定紅外光干擾強度。於一些實施例中，紅外光干擾強度是根據環境光波長範圍查找一查找表而決定，查找表是基於影像感測器110的紅外光感測特性而建立。上述查找表可經過利用影像感測器110進行實驗而預先建立並儲存於儲存裝置130中。換言之，基於不同影像感測器具備不同的紅外光感測特性，不同影像感測器所使用的查找表可能不同。紅外光干擾強度例如可實施為紅外光響應對於可見光響應的影響比例。舉例而言，處理器140可透過根據環境光波長範圍查找表2而獲取紅外光干擾強度。

表2是經過利用影像感測器110進行實驗而預先建立並儲存於儲存裝置130中。

於步驟S530，處理器140判斷紅外光干擾強度是否大於臨界值。上述臨界值可依據實際需求而設置，本發明對此不限制。舉例而言，基於表2的範例，臨界值可設置為10%。

於步驟S540，反應於紅外光干擾強度未大於臨界值，處理器140控制影像感測器110依據原始曝光時間進行影像感測。於步驟S550，反應於紅外光干擾強度大於臨界值，處理器140控制影像感測器110依據新曝光時間進行影像感測。其中新曝光時間短於原始曝光時間。舉例而言，基於表2的範例，假設臨界值為10%。當環境光波長範圍為570~590(nm)與590~610(nm)，影像感測器110使用較長的原始曝光值進行影像感測。當環境光波長範圍為450~500(nm)、500~570(nm)與610~700(nm)，影像感測器110使用較短的新曝光值進行影像感測。

於一些實施例中，新曝光時間可根據原始曝光時間而決定，例如將原始曝光時間減去一預設時間長度而獲取新曝光時間，或將原始曝光時間乘以小於1的比例值而獲取新曝光時間。於一些實施例中，處理器140可查找相異於原始曝光表的新曝光表而決定新曝光時間。

值得一提的是，於步驟S560，反應於紅外光干擾強度大於臨界值，處理器140基於環境亮度調升影像感測器110的增益值，並控制影像感測器110依據經調升增益值進行影像感測。詳細而言，由於處理器140控制影像感測器110根據較短的新曝光時間進行拍照動作，因此導致影像亮度降低。於是，處理器140 可調升影像感測器110的增益值，從而提昇影像亮度。影像感測器110中的可程式化放大器將依據調升後的增益值來放大感測像素所輸出的感測訊號，從而提昇影像亮度。

於一些實施例中，原始曝光表記錄有多個原始曝光時間與對應的原始增益值。新曝光表記錄有多個新曝光時間與對應的新增益值。於是，反應於紅外光干擾強度大於臨界值，處理器140可透過查找新曝光表而同時獲取新增益值與新曝光時間。舉例而言，表3為新曝光表與原始曝光表的範例。

然而，表3僅為一範例，並非用以限定本發明。具體而言，處理器140可在執行自動曝光程序的過程中基於紅外光干擾強度而決定查找新曝光表或原始曝光表。

值得一提的是，當電子裝置100所處環境之環境光帶有強烈的紅外光成份時，處理器140可獲取大於臨界值的紅外光干擾強度，以控制影像感測器110依據短於原始曝光時間的新曝光時間進行影像感測。如此一來，影像感測器110之RGB感測像素所感測到的紅外光能量可以有效降低，從而改善RGB影像的色偏現象。除此之外，相較於習知技術，當要進行用以紅外光成份之訊號砍除操作時，本發明實施例可以選擇砍掉較低的訊號量或預設準位，從而保留更多個可見光能量。舉例而言，假設習知技術需要針對各RGB通道資料減去預設訊號量來改善紅外光干擾，本發明只需要針對各RGB通道資料減去前述預設訊號量的一半即可。

綜上所述，於本發明的實施例中，影像感測器包括用以感測可見光以及紅外光的多個感測像素。電子裝置所處環境的環境光資訊可以先被偵測，從而決定紅外光干擾強度。根據紅外光 干擾強度來調整影像感測器的曝光時間。藉此，可根據場景內的紅外光成份是否強烈而適應性調整影像感測器的曝光時間。透過縮短影像感測器的曝光時間可降低影像感測器所接收的紅外光能量，從而有效降低紅外光對RGB影像的不良影響。除此之外，對於環境亮度很低但紅外光豐富的環境，可透過降低曝光時間與提昇增益值來提昇RGB影像的影像品質。並且，當要進行用以紅外光成份之訊號砍除操作時，本發明實施例可以選擇砍掉較低的訊號量或預設準位，從而保留更多個可見光能量。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S410~S430:步驟

Claims (12)

1. 一種紅外光干擾降低方法，所述方法包括：利用一影像感測器偵測環境光資訊，其中所述影像感測器包括用以感測可見光以及紅外光的多個感測像素；根據所述環境光資訊決定紅外光干擾強度；以及根據所述紅外光干擾強度控制所述影像感測器依據一原始曝光時間與一新曝光時間兩者其中之一進行影像感測，其中根據所述紅外光干擾強度控制所述影像感測器依據所述原始曝光時間與所述新曝光時間兩者其中之一進行影像感測的步驟包括：反應於所述紅外光干擾強度未大於一臨界值，控制所述影像感測器依據所述原始曝光時間進行影像感測；以及反應於所述紅外光干擾強度大於所述臨界值，控制所述影像感測器依據所述新曝光時間進行影像感測，其中所述新曝光時間短於所述原始曝光時間。
2. 如請求項1所述的紅外光干擾降低方法，其中所述方法更包括：反應於所述紅外光干擾強度大於所述臨界值，基於環境亮度調升所述影像感測器的增益值，並控制所述影像感測器依據經調升增益值進行影像感測。
3. 如請求項1所述的紅外光干擾降低方法，其中利用所述影像感測器偵測環境光資訊的步驟包括： 根據所述影像感測器中用以感測所述可見光的部份所述感測像素所產生的RGB通道資料，決定包括環境光波長範圍的環境光資訊。
4. 如請求項3所述的紅外光干擾降低方法，其中根據所述環境光資訊決定所述紅外光干擾強度的步驟包括：根據所述環境光波長範圍與所述影像感測器的紅外光感測特性決定所述紅外光干擾強度。
5. 如請求項4所述的紅外光干擾降低方法，其中所述紅外光干擾強度是根據所述環境光波長範圍查找一查找表而決定，所述查找表是基於所述影像感測器的紅外光感測特性而建立。
6. 如請求項3所述的紅外光干擾降低方法，其中所述RGB通道感測資料包括紅色通道值、綠色通道值以及藍色通道值，而決定包括環境光波長範圍的環境光資訊的步驟包括：計算紅色通道值與綠色通道值之間的紅綠比例值，並計算藍色通道值與綠色通道值之間的藍綠比例值；以及根據所述紅綠比例值以及所述藍綠比例值決定所述環境光波長範圍。
7. 一種電子裝置，包括：影像感測器，包括用以感測可見光以及紅外光的多個感測像素；儲存裝置；以及處理器，耦接所述影像感測器與所述儲存裝置，經配置以： 利用所述影像感測器偵測環境光資訊；根據所述環境光資訊決定紅外光干擾強度；根據所述紅外光干擾強度控制所述影像感測器依據一原始曝光時間與一新曝光時間兩者其中之一進行影像感測；反應於所述紅外光干擾強度未大於一臨界值，控制所述影像感測器依據所述原始曝光時間進行影像感測；以及反應於所述紅外光干擾強度大於所述臨界值，控制所述影像感測器依據所述新曝光時間進行影像感測，其中所述新曝光時間短於所述原始曝光時間。
8. 如請求項7所述的電子裝置，其中所述處理器經配置以：反應於所述紅外光干擾強度大於所述臨界值，基於環境亮度調升所述影像感測器的增益值，並控制所述影像感測器依據經調升增益值進行影像感測。
9. 如請求項7所述的電子裝置，其中所述處理器經配置以：根據所述影像感測器中用以感測所述可見光的部份所述感測像素所產生的RGB通道資料，決定包括環境光波長範圍的環境光資訊。
10. 如請求項9所述的電子裝置，其中所述處理器經配置以：根據所述環境光波長範圍與所述影像感測器的紅外光感測特 性決定所述紅外光干擾強度。
11. 如請求項10所述的電子裝置，其中所述紅外光干擾強度是根據所述環境光波長範圍查找一查找表而決定，所述查找表是基於所述影像感測器的紅外光感測特性而建立。
12. 如請求項9所述的電子裝置，其中所述RGB通道感測資料包括紅色通道值、綠色通道值以及藍色通道值，而所述處理器經配置以：計算紅色通道值與綠色通道值之間的紅綠比例值，並計算藍色通道值與綠色通道值之間的藍綠比例值；以及根據所述紅綠比例值以及所述藍綠比例值決定所述環境光波長範圍。

Images