TWI778476B

TWI778476B - 雙感測器攝像系統及其攝像方法

Info

Publication number: TWI778476B
Application number: TW109145614A
Authority: TW
Inventors: 彭詩淵; 鄭書峻; 黃旭鍊; 李運錦; 賴國銘
Original assignee: 聚晶半導體股份有限公司
Priority date: 2020-09-04
Filing date: 2020-12-23
Publication date: 2022-09-21
Also published as: CN114143443B; TWI764484B; TW202211161A; CN114143421A; CN114143418B; TWI767484B; TW202211165A; CN114143420A; TW202211160A; TW202211673A; CN114143419B; CN114143418A; CN114143420B; CN114143443A; CN114143421B; CN114143419A; TWI797528B; TWI767468B; TW202211674A

Abstract

一種雙感測器攝像系統及其攝像方法。雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置及處理器。處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以：識別雙感測器攝像系統的攝像場景；控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；適應性選擇能顯露出攝像場景的細節的色彩影像及紅外線影像的組合；以及融合所選擇的色彩影像及紅外線影像，以生成具備攝像場景的細節的場景影像。

Description

雙感測器攝像系統及其攝像方法

本發明是有關於一種攝像系統及方法，且特別是有關於一種雙感測器攝像系統及其攝像方法。

相機的曝光條件（包括光圈、快門、感光度）會影響所拍攝影像的品質，因此許多相機在拍攝影像的過程中會自動調整曝光條件，以獲得清晰且明亮的影像。然而，在低光源或是背光等高反差的場景中，相機調整曝光條件的結果可能會產生雜訊過高或是部分區域過曝的結果，無法兼顧所有區域的影像品質。

對此，目前技術有採用一種新的影像感測器架構，其是利用紅外線（IR）感測器高光敏感度的特性，在影像感測器的色彩像素中穿插配置IR像素，以輔助亮度偵測。舉例來說，圖1是習知使用影像感測器擷取影像的示意圖。請參照圖1，習知的影像感測器10中除了配置有紅（R）、綠（G）、藍（B）等顏色像素外，還穿插配置有紅外線（I）像素。藉此，影像感測器10能夠將R、G、B顏色像素所擷取的色彩資訊12與I像素所擷取的亮度資訊14結合，而獲得色彩及亮度適中的影像16。

然而，在上述單一影像感測器的架構下，影像感測器中每個像素的曝光條件相同，因此只能選擇較適用於顏色像素或紅外線像素的曝光條件來擷取影像，結果仍無法有效地利用兩種像素的特性來改善所擷取影像的影像品質。

本發明提供一種雙感測器攝像系統及其攝像方法，利用獨立配置的色彩及紅外線感測器分別擷取不同曝光條件下的多張影像，並選擇曝光條件適當的色彩及紅外線影像融合為結果影像，可補足色彩影像的紋理細節，提高所攝影像的影像品質。

本發明的雙感測器攝像系統包括至少一個色彩感測器、至少一個紅外線感測器、儲存裝置以及耦接所述色彩感測器、紅外光感測器及儲存裝置的處理器。所述處理器經配置以載入並執行儲存在儲存裝置中的電腦程式以：識別雙感測器攝像系統的攝像場景；控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；適應性選擇能顯露出攝像場景的細節的色彩影像及紅外線影像的組合；以及融合所選擇的色彩影像及紅外線影像，以生成具備攝像場景的細節的場景影像。

本發明的雙感測器攝像系統的攝像方法，適用於包括至少一個色彩感測器、至少一個紅外線感測器及處理器的雙感測器攝像系統。所述方法包括下列步驟：識別雙感測器攝像系統的攝像場景；控制色彩感測器及紅外線感測器採用適用於攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；適應性選擇能顯露出攝像場景的細節的色彩影像及紅外線影像的組合；以及融合所選擇的色彩影像及紅外線影像，以生成具備攝像場景的細節的場景影像。

基於上述，本發明的雙感測器攝像系統及其攝像方法，在獨立配置的色彩感測器及紅外線感測器上採用適於當前攝像場景的不同曝光條件擷取多張影像，並從中選擇出能夠顯露出攝像場景細節的色彩影像及紅外線影像的組合以進行融合，藉此可生成具備攝像場景細節的場景影像，提高所攝影像的影像品質。

圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。請參照圖2，本發明實施例的影像感測器20採用獨立配置色彩感測器22與紅外線（IR）感測器24的雙感測器架構，利用色彩感測器22與紅外線感測器24各自的特性，採用適於當前拍攝場景的多個曝光條件分別擷取多張影像，並從中選擇曝光條件適當的色彩影像22a與紅外線影像24a，透過影像融合的方式，使用紅外線影像24a來補足色彩影像22a中缺乏的紋理細節，從而獲得色彩及紋理細節均佳的場景影像26。

圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。請參照圖3，本實施例的雙感測器攝像系統30可配置於手機、平板電腦、筆記型電腦、導航裝置、行車紀錄器、數位相機、數位攝影機等電子裝置中，用以提供攝像功能。雙感測器攝像系統30包括至少一個色彩感測器32、至少一個紅外線感測器34、儲存裝置36及處理器38，其功能分述如下：

色彩感測器32例如包括電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他種類的感光元件，而可感測光線強度以產生攝像場景的影像。色彩感測器32例如是紅綠藍（RGB）影像感測器，其中包括紅（R）、綠（G）、藍（B）顏色像素，用以擷取攝像場景中的紅光、綠光、藍光等色彩資訊，並將這些色彩資訊合成以生成攝像場景的色彩影像。

紅外線感測器34例如包括CCD、CMOS元件或其他種類的感光元件，其經由調整感光元件的波長感測範圍，而能夠感測紅外光。紅外線感測器34例如是以上述感光元件作為像素來擷取攝像場景中的紅外光資訊，並將這些紅外光資訊合成以生成攝像場景的紅外線影像。

儲存裝置36例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器38執行的電腦程式。在一些實施例中，儲存裝置36例如還可儲存由色彩感測器32所擷取的色彩影像及紅外線感測器34所擷取的紅外線影像。

處理器38例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、微控制器（Microcontroller）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，本發明不在此限制。在本實施例中，處理器38可從儲存裝置36載入電腦程式，以執行本發明實施例的雙感測器攝像系統的攝像方法。

圖4是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。請同時參照圖3及圖4，本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的攝像方法的詳細步驟。

在步驟S402中，由處理器38識別雙感測器攝像系統30的攝像場景。在一些實施例中，處理器38例如是控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件例如包括採用既有測光技術所決定的光圈、快門、感光度等參數，而處理器38則根據在此曝光條件下所擷取之影像的色相（Hue）、明度（Value）、彩度（Chroma）、白平衡等影像參數的強弱或分佈來識別攝像場景，包括攝像場景的位置（室內或室外）、光源（高光源或低光源）、反差（高反差或低反差）、攝像物的種類（物品或人像）或狀態（動態或靜態）等。在其他實施例中，處理器38亦可採用定位方式來識別攝像場景或是直接接收使用者操作來設定攝像場景，在此不設限。

在步驟S404中，由處理器38控制色彩感測器32及紅外線感測器34採用適用於所識別之攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像。在一些實施例中，處理器38例如是以標準曝光條件中的曝光時間為基準，控制色彩感測器32及紅外線感測器34擷取曝光時間較短或較長的色彩影像，這些色彩影像彼此的曝光時間的差例如為介於-3至3的曝光值（Exposure Value，EV）中的任意值，在此不設限。舉例來說，若A影像比B影像亮一倍，則可將B影像的EV加1，以此類推，曝光值可以有小數（例如+0.3EV），在此不設限。

在步驟S406中，由處理器38適應性選擇能顯露出攝像場景的細節的色彩影像及紅外線影像的組合。在一些實施例中，處理器38例如會控制色彩感測器32以適當的曝光時間擷取色彩影像，使得攝像場景的部分顏色細節可被保留，並確保之後融合的影像可顯露出攝像場景的顏色細節。所述適當的曝光時間例如是比會造成所擷取影像過曝的曝光時間還短一預設時間長度的曝光時間，所述預設時間長度例如為0.01至1秒中的任意值，在此不設限。

在一些實施例中，處理器38例如會先根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像，接著辨識基準影像中缺乏紋理細節的至少一個缺陷區域，然後再根據各張紅外線影像中對應於這些缺陷區域的影像的紋理細節，選擇其中一張紅外線影像作為與基準影像融合的影像。

詳言之，基於色彩感測器32每次只能採用單一曝光條件擷取色彩影像，在攝像場景為低光源或高反差的情況下，每一張色彩影像都可能會出現高雜訊、過曝或曝光不足的區域（即上述的缺陷區域）。此時，處理器38即可利用紅外線感測器34高光敏感度的特性，針對上述的缺陷區域，從先前擷取的多張紅外線影像中，選擇具備該缺陷區域的紋理細節的紅外線影像，而可用以補足色彩影像中缺陷區域的紋理細節。

在步驟S408中，由處理器38融合所選擇的色彩影像及紅外線影像，以生成具備攝像場景的細節的場景影像。在一些實施例中，處理器38例如是採用計算所選擇色彩影像及紅外線影像整張影像中對應像素之像素值的平均或加權平均的方式，或是採用其他影像融合方式，將所選擇的色彩影像及紅外線影像的整張影像直接融合。在一些實施例中，處理器38也可僅針對色彩影像中的缺陷區域，而使用紅外線影像中對應於該缺陷區域的影像來填補或取代色彩影像中缺陷區域的影像，在此不設限。

藉由上述方法，雙感測器攝像系統30不僅可選擇出顏色細節較佳的色彩影像，還可針對此色彩影像中紋理細節不足的區域，使用紅外線影像中對應區域的影像來填補或取代，最終生成可包括攝像場景的所有細節（顏色及紋理細節）的影像，而提高所攝影像的影像品質。

圖5是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。請同時參照圖3及圖5，本實施例進一步說明上述針對整張影像進行融合的實施例的詳細實施方式。本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的攝像方法的詳細步驟。

在步驟S502中，由處理器38根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像。在一實施例中，處理器38例如是選擇顏色細節最多的色彩影像作為基準影像。所述顏色細節的多寡例如可由色彩影像中過曝或曝光不足區域的大小來決定。詳言之，過曝區域像素的顏色趨近白色、曝光不足區域像素的顏色趨近黑色，因此這些區域的顏色細節會較少。因此，若色彩影像中包括較多的這類區域，代表其顏色細節較少，處理器38據此即可判斷出哪一張色彩影像的顏色細節最多，而用以作為基準影像。在其他實施例中，處理器38也可依據各張色彩影像的對比度、飽和度或其他影像參數來分辨其顏色細節的多寡，在此不設限。

在步驟S504中，由處理器38辨識基準影像中缺乏紋理細節的至少一個缺陷區域。所述的缺陷區域例如是上述的過曝區域或曝光不足區域，或是在低光源下所擷取的具較高雜訊的區域，在此不設限。

在步驟S506中，由處理器38根據各張紅外線影像中對應於所述缺陷區域的影像的紋理細節，選擇其中一張紅外線影像。在一實施例中，處理器38例如是選擇對應於所述缺陷區域的影像的紋理細節最多的紅外線影像作為與基準影像融合的影像。其中，處理器38例如是依據各張紅外線影像的對比度或其他影像參數來分辨其紋理細節的多寡，在此不設限。

在步驟S508中，由處理器38對所選擇的色彩影像及紅外線影像執行特徵擷取，以擷取色彩影像及紅外線影像中的多個特徵，並根據所擷取特徵之間的對應關係將色彩影像及紅外線影像對齊。需說明的是，上述的特徵擷取及匹配的方式僅為舉例說明，在其他實施例中，處理器38亦可採用其他種類的影像對齊方式對色彩影像及紅外線影像進行對齊，在此不設限。

在步驟S510，由處理器38對經對齊的紅外線影像與基準影像進行影像融合，以生成補足所述缺陷區域的紋理細節的場景影像。

在一些實施例中，處理器38例如是計算色彩影像及紅外線影像整張影像中對應像素之像素值的平均或加權平均的方式來對紅外線影像與基準影像進行影像融合。

在一些實施例中，處理器38例如是將基準影像的色彩空間由RGB色彩空間轉換至YUV色彩空間，並將轉換後基準影像的亮度分量以紅外線影像的亮度分量取代，然後將取代後的基準影像的色彩空間轉換回RGB色彩空間，以生成場景影像。在其他實施例中，處理器38亦可將基準影像的色彩空間轉換至YCbCr、CMYK或其他種類的色彩空間，並在取代亮度分量之後再轉換回原本的色彩空間，本實施例不限定色彩空間的轉換方式。

詳言之，由於紅外線影像的亮度分量具有較佳的訊噪比（signal-to-noise ratio，SNR），且包括較多的攝像場景的紋理細節，因此以紅外線影像的亮度分量直接取代基準影像的亮度分量，可大幅增加基準影像中的紋理細節。

藉由上述方法，雙感測器攝像系統30即可利用紅外線影像來增加色彩影像的紋理細節，特別是針對紋理細節不足的區域，從而提高所攝影像的影像品質。

舉例來說，圖6是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的範例。請參照圖6，本實施例是通過上述圖5的攝像方法，選擇出顏色細節最多的色彩影像62作為基準影像，並針對色彩影像62中缺乏紋理細節的缺陷區域（例如人臉區域62a），從採用不同曝光條件擷取的多張紅外線影像中選擇出該缺陷區域的紋理細節最多的紅外線影像64，用以與色彩影像62進行影像融合，從而獲得同時具備較多顏色細節及紋理細節的場景影像66。

圖7是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。請同時參照圖3及圖7，本實施例進一步說明上述針對缺陷區域進行融合的實施例的詳細實施方式。本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的攝像方法的詳細步驟。

在步驟S702中，由處理器38根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像。在步驟S704中，由處理器38辨識基準影像中缺乏紋理細節的至少一個缺陷區域。在步驟S706中，由處理器38根據各張紅外線影像中對應於所述缺陷區域的影像的紋理細節，選擇其中一張紅外線影像。上述步驟S702~S706的實施方式分別與前述實施例的步驟S502~S506相同或相似，故其細節在此不再贅述。

與前述實施例不同的是，在步驟S708中，處理器38是將基準影像中的所述缺陷區域的影像的亮度分量以紅外線影像中對應於所述缺陷區域的亮度分量取代，以生成補足所述缺陷區域的紋理細節的場景影像。

在一些實施例中，處理器38例如是將基準影像的色彩空間由RGB色彩空間轉換至YUV色彩空間，並將轉換後基準影像的缺陷區域的影像的亮度分量以紅外線影像的對應於所述缺陷區域的亮度分量取代，然後將取代後的基準影像的色彩空間轉換回RGB色彩空間，以生成場景影像。在其他實施例中，處理器38亦可將基準影像的色彩空間轉換至YCbCr、CMYK或其他種類的色彩空間，並在取代亮度分量之後再轉換回原本的色彩空間，本實施例不限定色彩空間的轉換方式。

藉由上述方法，雙感測器攝像系統30即可利用紅外線影像來補足色彩影像中紋理細節不足的區域，從而提高所攝影像的影像品質。

舉例來說，圖8是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的範例。請參照圖8，本實施例是通過上述圖7的攝像方法，選擇出顏色細節最多的色彩影像82作為基準影像，並針對色彩影像82中缺乏紋理細節的缺陷區域（例如可樂罐區域82a），從採用不同曝光條件擷取的多張紅外線影像中選擇出該缺陷區域的紋理細節最多的紅外線影像84，並將可樂罐區域82a的亮度分量以紅外線影像84中對應的可樂罐區域84a的亮度分量取代，從而獲得可樂罐區域86a具備較多紋理細節的場景影像86。

需說明的是，在一些實施例中，色彩影像中某些缺陷區域的紋理細節可能會因特定因素無法用紅外線影像來增強或補足，例如色彩感測器32與紅外線感測器34之間的視差（parallax）會造成紅外線感測器34被遮蔽。在此情況下，本發明實施例提供一種替代方式來增加缺陷區域的紋理細節，以最大程度地提高所攝影像的影像品質。

圖9是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。請同時參照圖3及圖9，本實施例的方法適用於上述的雙感測器攝像系統30，以下即搭配雙感測器攝像系統30的各項元件說明本實施例的攝像方法的詳細步驟。

在步驟S902中，由處理器38控制色彩感測器32及紅外線感測器34中的至少一者採用標準曝光條件來擷取攝像場景的至少一張標準影像，並使用這些標準影像來識別攝像場景。所述標準曝光條件的定義以及攝像場景的識別方式如前述實施例所述，在此不再贅述。

在步驟S904中，由處理器38控制色彩感測器32及紅外線感測器34採用適用於所識別之攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像。在步驟S906中，由處理器38根據各張色彩影像的顏色細節，選擇其中一張色彩影像作為基準影像。在步驟S908中，由處理器38辨識基準影像中缺乏紋理細節的至少一個缺陷區域。上述步驟S904~S908的實施方式分別與前述實施例的步驟S404、S702~S704相同或相似，故其細節在此不再贅述。

與前述實施例不同的是，在步驟S910中，處理器38會判斷前述的多張紅外線影像中是否有紅外線影像包括基準影像中缺陷區域的紋理細節。其中，處理器38例如會檢視各張紅外線影像中對應於所述缺陷區域的區域是否有影像，以判斷紅外線感測器34是否被遮蔽，並判斷是否可用紅外線影像來填補基準影像中缺陷區域的紋理細節。

若有紅外線影像包括此缺陷區域的紋理細節，則在步驟S912中，處理器38會將基準影像中的所述缺陷區域的影像的亮度分量以紅外線影像中對應於所述缺陷區域的亮度分量取代，以生成補足所述缺陷區域的紋理細節的場景影像。此步驟S912的實施方式與前述實施例的步驟S708相同或相似，故其細節在此不再贅述。

若沒有紅外線影像包括此缺陷區域的紋理細節，則在步驟S914中，處理器38會控制色彩感測器32採用較基準影像的曝光時間長或短的多個曝光時擷取多張色彩影像並執行高動態範圍（high dynamic range，HDR）處理，以生成具備缺陷區域的紋理細節的場景影像。

在一些實施例中，處理器38例如會根據其所選擇的基準影像的曝光時間，使用較此曝光時間為短的曝光時間以及較此曝光時間為長的曝光時間，控制色彩感測器32分別擷取曝光時間較短的色彩影像以及曝光時間較長的色彩影像，而結合使用原曝光時間擷取的色彩影像來實施HDR處理。即，從三張色彩影像中選擇具備較佳顏色及紋理細節的區域來補足其他色彩影像中欠缺細節的區域，從而獲得亮部及暗部細節均佳的HDR影像作為最終輸出的場景影像。

在一些實施例中，處理器38例如會針對HDR影像執行二維空間降噪（2D spatial denoise）等降噪（noise reduction，NR）處理，以減少HDR影像中的雜訊，提高最終輸出影像的影像品質。

在一些實施例中，處理器38可結合上述步驟S912及S914的處理方式，針對基準影像中的多個缺陷區域個別選用適當的處理方式，以最大程度地增加基準影像的細節，從而提高所攝影像的影像品質。

綜上所述，本發明的雙感測器攝像系統及其攝像方法藉獨立配置色彩感測器與紅外線感測器，並採用適於當前拍攝場景的多個曝光條件分別擷取多張影像，從中選擇曝光條件適當的色彩影像及紅外線影像來進行融合，以使用紅外線影像填補或增加色彩影像中缺乏的紋理細節，因此可生成具備攝像場景細節的場景影像，從而提高所攝影像的影像品質。

10、20:影像感測器 12:色彩資訊 14:亮度資訊 16:影像 22:色彩感測器 22a、62、82:色彩影像 24:紅外線感測器 24a、64、84:紅外線影像 26、66、86:場景影像 30:雙感測器攝像系統 32:色彩感測器 34:紅外線感測器 36:儲存裝置 38:處理器 62a:人臉區域 82a、84a、86a:可樂罐區域 R、G、B、I:像素 S402~S408、S502~S510、S702~S708、S902~S914:步驟

圖1是習知使用影像感測器擷取影像的示意圖。圖2是依照本發明一實施例所繪示的使用影像感測器擷取影像的示意圖。圖3是依照本發明一實施例所繪示的雙感測器攝像系統的方塊圖。圖4是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。圖5是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。圖6是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的範例。圖7是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。圖8是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的範例。圖9是依照本發明一實施例所繪示的雙感測器攝像系統的攝像方法的流程圖。

30:雙感測器攝像系統

32:色彩感測器

34:紅外線感測器

36:儲存裝置

38:處理器

Claims

一種雙感測器攝像系統，包括：至少一色彩感測器；至少一紅外線感測器；儲存裝置，儲存電腦程式；以及處理器，耦接所述至少一色彩感測器、所述至少一紅外光感測器及所述儲存裝置，經配置以載入並執行所述電腦程式以：識別所述雙感測器攝像系統的一攝像場景；控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於所述攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合；以及融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的場景影像。
如請求項1所述的雙感測器攝像系統，其中所述處理器包括：控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準曝光條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述場景。
如請求項1所述的雙感測器攝像系統，其中所述處理器包括：根據各所述色彩影像的顏色細節，選擇所述色彩影像其中之一作為基準影像；辨識所述基準影像中缺乏紋理細節的至少一缺陷區域；以及根據各所述紅外線影像中對應於所述至少一缺陷區域的影像的紋理細節，選擇所述紅外線影像其中之一，並用以與所述基準影像進行融合。
如請求項3所述的雙感測器攝像系統，其中所述處理器包括：選擇所述顏色細節最多的所述色彩影像作為所述基準影像；以及選擇對應於所述至少一缺陷區域的影像的所述紋理細節最多的所述紅外線影像，並用以與所述基準影像進行融合。
如請求項3所述的雙感測器攝像系統，其中所述處理器包括：將所述基準影像中的所述至少一缺陷區域的影像的亮度分量以所述紅外線影像中對應於所述至少一缺陷區域的影像取代，以生成補足所述至少一缺陷區域的所述紋理細節的所述場景影像。
如請求項3所述的雙感測器攝像系統，其中所述處理器包括：對所選擇的所述紅外線影像與所述基準影像進行影像融合，以生成補足所述缺陷區域的所述紋理細節的所述場景影像。
如請求項3所述的雙感測器攝像系統，其中所述處理器更包括：判斷各所述紅外線影像是否包括所述至少一缺陷區域的所述紋理細節；以及在所述紅外線影像均未包括所述紋理細節時，控制所述至少一色彩感測器採用較所述基準影像的曝光時間長或短的多個曝光時擷取多張色彩影像並執行高動態範圍（high dynamic range，HDR）處理，以生成具備所述至少一缺陷區域的所述紋理細節的所述場景影像。
如請求項3所述的雙感測器攝像系統，其中所述處理器包括：將所選擇的所述色彩影像的色彩空間由RGB色彩空間轉換至YUV色彩空間；將轉換後所述色彩影像的所述至少一缺陷區域的影像的亮度分量以所選擇的所述紅外線影像的對應於所述至少一缺陷區域的影像取代；以及將取代後的所述色彩影像的色彩空間轉換回所述RGB色彩空間，以生成所述場景影像。
如請求項1所述的雙感測器攝像系統，其中所述處理器包括：將所選擇的所述色彩影像的色彩空間由RGB色彩空間轉換至YUV色彩空間；將轉換後所述色彩影像的亮度分量以所選擇的所述紅外線影像的亮度分量取代；以及將取代後的所述色彩影像的色彩空間轉換回所述RGB色彩空間，以生成所述場景影像。
如請求項1所述的雙感測器攝像系統，其中所述處理器包括：擷取所選擇的所述色彩影像及所述紅外線影像中的多個特徵，並根據所擷取的所述特徵之間的對應關係對齊所述色彩影像及所述紅外線影像。
一種雙感測器攝像系統的攝像方法，所述雙感測器攝像系統包括至少一色彩感測器、至少一紅外線感測器及處理器，所述方法包括下列步驟：識別所述雙感測器攝像系統的一攝像場景；控制所述至少一色彩感測器及所述至少一紅外線感測器採用適用於所述攝像場景下的多個曝光條件分別擷取多張色彩影像及多張紅外線影像；適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合；以及融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的場景影像。
如請求項11所述的方法，其中識別所述雙感測器攝像系統的所述攝像場景的步驟包括：控制所述至少一色彩感測器及所述至少一紅外線感測器中的至少一者採用標準曝光條件擷取所述攝像場景的至少一標準影像，並使用所述至少一標準影像識別所述場景。
如請求項11所述的方法，其中適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合的步驟包括：根據各所述色彩影像的顏色細節，選擇所述色彩影像其中之一作為基準影像；辨識所述基準影像中缺乏紋理細節的至少一缺陷區域；以及根據各所述紅外線影像中對應於所述至少一缺陷區域的影像的紋理細節，選擇所述紅外線影像其中之一。
如請求項13所述的方法，其中適應性選擇能顯露出所述攝像場景的細節的所述色彩影像及所述紅外線影像的組合的步驟包括：選擇所述顏色細節最多的所述色彩影像作為所述基準影像；以及選擇對應於所述至少一缺陷區域的影像的所述紋理細節最多的所述紅外線影像，並用以與所述基準影像進行融合。
如請求項13所述的方法，其中融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的所述場景影像的步驟包括：將所述基準影像中的所述至少一缺陷區域的影像的亮度分量以所述紅外線影像中對應於所述至少一缺陷區域的影像取代，以生成補足所述至少一缺陷區域的所述紋理細節的所述場景影像。
如請求項13所述的方法，其中融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的所述場景影像的步驟包括：對所選擇的所述紅外線影像與所述基準影像進行影像融合，以生成補足所述缺陷區域的所述紋理細節的所述場景影像。
如請求項13所述的方法，其中在融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的場景影像的步驟之前，所述方法更包括：判斷各所述紅外線影像是否包括所述至少一缺陷區域的所述紋理細節；以及在所述紅外線影像均未包括所述紋理細節時，控制所述至少一色彩感測器採用較所述基準影像的曝光時間長或短的多個曝光時擷取多張色彩影像並執行高動態範圍處理，以生成具備所述至少一缺陷區域的所述紋理細節的所述場景影像。
如請求項13所述的方法，其中融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的所述場景影像的步驟包括：將所選擇的所述色彩影像的色彩空間由RGB色彩空間轉換至YUV色彩空間；將轉換後所述色彩影像的所述至少一缺陷區域的影像的亮度分量以所選擇的所述紅外線影像的對應於所述至少一缺陷區域的影像取代；以及將取代後的所述色彩影像的色彩空間轉換回所述RGB色彩空間，以生成所述場景影像。
如請求項11所述的方法，其中融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的所述場景影像的步驟包括：將所選擇的所述色彩影像的色彩空間由RGB色彩空間轉換至YUV色彩空間；將轉換後所述色彩影像的亮度分量以所選擇的所述紅外線影像的亮度分量取代；以及將取代後的所述色彩影像的色彩空間轉換回所述RGB色彩空間，以生成所述場景影像。
如請求項11所述的方法，其中在融合所選擇的所述色彩影像及所述紅外線影像，以生成具備所述攝像場景的所述細節的場景影像的步驟之前，所述方法更包括：擷取所選擇的所述色彩影像及所述紅外線影像中的多個特徵，並根據所擷取的所述特徵之間的對應關係對齊所述色彩影像及所述紅外線影像。