TWI568259B

TWI568259B - 影像擷取裝置及其複合式的影像處理方法

Info

Publication number: TWI568259B
Application number: TW104126020A
Authority: TW
Inventors: 周宏隆; 曾逸鴻; 林慧珊
Original assignee: 聚晶半導體股份有限公司
Priority date: 2015-05-14
Filing date: 2015-08-11
Publication date: 2017-01-21
Also published as: TW201640879A; CN106161925B; CN106161925A

Description

影像擷取裝置及其複合式的影像處理方法

本發明是有關於一種複合式的影像處理技術。

隨著科技的發展，各式各樣的智慧型行動電子裝置，舉凡平板型電腦、個人數位化助理、及智慧型手機等，已成為現代人不可或缺的工具。其中，高階款的智慧型行動電子裝置所搭載的相機鏡頭已經與傳統消費型相機不相上下，甚至可以取而代之，少數高階款更具有接近數位單眼相機的畫素和畫質或是拍攝三維影像的功能。然而，為了達到影像的高畫素和高畫質，往往需要增加鏡頭模組及其感光元件的尺寸，而將與行動電子裝置的輕薄設計相互衝突。

有鑑於此，本發明提供一種影像擷取裝置及其複合式的影像處理方法，其可同時兼顧輸出影像的品質與影像擷取裝置的輕薄度。

本發明提出一種影像擷取裝置的複合式的影像處理方法，適用於具有第一鏡頭及第二鏡頭的影像擷取裝置，此方法包括下列步驟。首先，利用第一鏡頭及第二鏡頭擷取一場景的影像，以分別產生此場景的黑白影像以及彩色影像。接著，根據上述場景的內容，動態地選擇主黑白影像模式、主彩色影像模式以及純彩色處理模式其中之一者，據以產生輸出影像，其中主黑白影像模式為將彩色影像的資訊融合到黑白影像從而產生輸出影像的模式，主彩色影像模式為將黑白影像的資訊融合到彩色影像從而產生輸出影像的模式，純彩色處理模式為僅利用彩色影像以產生輸出影像的模式。

在本發明的一實施例中，上述根據場景的內容，動態地選擇主黑白影像模式、主彩色影像模式以及純彩色處理模式其中之一者的步驟包括根據黑白影像以及彩色影像，取得上述場景的深度範圍以及深度變化程度，再根據深度範圍以及深度變化程度至少之一者，動態地選擇主黑白影像模式、主彩色影像模式以及純彩色處理模式其中之一者。

在本發明的一實施例中，上述根據深度範圍以及深度變化程度至少之一者，動態地選擇主黑白影像模式、主彩色影像模式以及純彩色處理模式其中之一者的步驟包括先判斷深度範圍是否大於距離門檻值或是深度變化程度是否小於第一深度變化程度門檻值。當深度範圍大於距離門檻值或是深度變化程度小於第一深度變化程度門檻值時，選擇主黑白影像模式。當深度範圍不大於距離門檻值並且深度變化程度不小於第一深度變化程度門檻值時，判斷深度變化程度是否小於第二深度變化程度門檻值，其中第二深度變化程度門檻值大於第一深度變化程度門檻值。當深度變化程度小於第二深度變化程度門檻值時，選擇主彩色影像模式。當深度變化程度不小於第二深度變化程度門檻值時，選擇純彩色處理模式。

在本發明的一實施例中，上述將彩色影像的資訊融合到黑白影像的步驟包括先自彩色影像中搜尋與黑白影像的畫素相關聯的多個相關彩色畫素，再將所述相關彩色畫素的資訊與黑白影像的畫素的資訊進行融合處理。

在本發明的一實施例中，上述將黑白影像的資訊融合到彩色影像的步驟包括先自黑白影像中搜尋與彩色影像的畫素相關聯的多個相關黑白畫素，再將所述相關黑白畫素的資訊與彩色影像的畫素的資訊進行融合處理。

本發明另提出一種影像擷取裝置，包括第一鏡頭、第二鏡頭、儲存單元以及一或多個處理單元。儲存單元耦接第一鏡頭以及第二鏡頭，用以儲存第一鏡頭以及第二鏡頭所擷取的影像。處理單元耦接第一鏡頭、第二鏡頭以及儲存單元，並且包括多個模組，其中所述模組包括影像擷取模組、模式選擇模組以及影像處理模組。影像擷取模組用以利用第一鏡頭以及第二鏡頭擷取一場景的影像，以分別產生上述場景的黑白影像以及彩色影像。模式選擇模組用以根據上述場景的內容，動態地自主黑白影像模式、主彩色影像模式以及純彩色處理模式選擇其中之一者。影像處理模組用以根據模式選擇模組所選擇的模式，產生輸出影像，其中主黑白影像模式為將彩色影像的資訊融合到黑白影像從而產生輸出影像的模式，主彩色影像模式為將黑白影像的資訊融合到彩色影像從而產生輸出影像的模式，純彩色處理模式為僅利用彩色影像以產生輸出影像的模式。

在本發明的一實施例中，模式選擇模組根據黑白影像以及彩色影像，取得上述場景的深度範圍以及深度變化程度，以及根據深度範圍以及深度變化程度至少之一者，動態地選擇主黑白影像模式、主彩色影像模式以及純彩色處理模式其中之一者。

在本發明的一實施例中，模式選擇模組判斷深度範圍是否大於距離門檻值或是深度變化程度是否小於第一深度變化程度門檻值。當深度範圍大於距離門檻值或是深度變化程度小於第一深度變化程度門檻值時，模式選擇模組選擇主黑白影像模式。當深度範圍不大於距離門檻值並且深度變化程度不小於第一深度變化程度門檻值時，模式選擇模組判斷深度變化程度是否小於第二深度變化程度門檻值，其中第二深度變化程度門檻值大於第一深度變化程度門檻值。當深度變化程度小於第二深度變化程度門檻值時，模式選擇模組選擇主彩色影像模式。當深度變化程度不小於第二深度變化程度門檻值時，模式選擇模組選擇純彩色處理模式。

在本發明的一實施例中，當模式選擇模組選擇主黑白影像模式時，影像處理模組自彩色影像中搜尋與黑白影像的畫素相關聯的多個相關彩色畫素，以及將所述相關彩色畫素的資訊與黑白影像的畫素的資訊進行融合處理。

在本發明的一實施例中，當模式選擇模組選擇主彩色影像模式時，影像處理模組自黑白影像中搜尋與彩色影像的畫素相關聯的多個相關黑白畫素，以及將所述相關黑白畫素的資訊與彩色影像的畫素的資訊進行融合處理。

基於上述，本發明所提出的影像擷取裝置及其複合式的影像處理方法，其利用雙鏡頭來同時擷取一場景的黑白影像以及彩色影像，並且根據影像資訊來動態地切換至主黑白影像模式、主彩色影像模式或是純彩色處理模式以產生輸出影像。本發明藉由黑白影像以及彩色影像不同拍攝場景下的優勢，適應性地切換至符合該拍攝場景的影像處理模式，其可在兼顧影像擷取裝置的輕薄度的前提下，確保影像的輸出品質。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。

圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像擷取裝置之所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，影像擷取裝置100包括第一鏡頭10a、第二鏡頭10b、儲存單元15以及一或多個處理單元20。在本實施例中，影像擷取裝置100例如是數位相機、單眼相機、數位攝影機或是其他具有影像擷取功能的智慧型手機、平板電腦、個人數位助理等電子裝置，本發明不以此為限。

第一鏡頭10a以及第二鏡頭10b包括感光元件，用以分別感測進入第一鏡頭10a以及第二鏡頭10b的光線強度，進而分別產生影像。所述的感光元件例如是電荷耦合元件（Charge Coupled Device，CCD）、互補性氧化金屬半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或其他元件。在本實施例中，第一鏡頭10a為黑白鏡頭（Black-and-White Lens），用以擷取拍攝物的黑白影像（Black-and-White Image或是Mono Image）；第二鏡頭10b為彩色鏡頭（Color Lens），以擷取拍攝物的彩色影像（Color Image）。

儲存單元15例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合。儲存單元15耦接至第一鏡頭10a以及第二鏡頭10b，用以儲存第一鏡頭10a以及第二鏡頭10b所擷取的影像。

處理單元20可以例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合。處理單元20耦接第一鏡頭10a、第二鏡頭10b以及儲存單元15，其例如包括影像擷取模組122、模式選擇模組124以及影像處理模組126，以對影像擷取裝置100所擷取的影像執行複合式的影像處理功能。以下即列舉實施例說明針對影像擷取裝置100執行複合式的影像處理方法的詳細步驟。

圖2為根據本發明之一實施例所繪示的影像擷取裝置的複合式的影像處理方法流程圖，而圖2的影像擷取裝置的複合式的影像處理方法可以圖1的影像擷取裝置100的各元件實現。

請同時參照圖1以及圖2，首先，影像擷取裝置100的影像擷取模組122利用第一鏡頭10a以及第二鏡頭10b擷取一場景的影像，以分別產生上述場景的黑白影像以及彩色影像（步驟S202）。換言之，當使用者欲利用影像擷取裝置100拍攝上述場景的影像時，影像擷取模組122將產生對應於第一鏡頭10a的黑白影像以及對應於第二鏡頭10b的彩色影像。

接著，模式選擇模組124將動態地自主黑白影像模式、主彩色影像模式以及純彩色處理模式選擇其中之一者（步驟S204），而影像處理模組126將根據前述模式選擇模組124所選擇的模式產生輸出影像（步驟S206）。在此的主黑白影像模式是以黑白影像做為主影像，以彩色影像做為輔助影像，而影像處理模組126將彩色影像的資訊融合到黑白影像，進而產生輸出影像。另一方面，主彩色影像模式則是以彩色影像做為主影像，以黑白影像做為輔助影像，而影像處理模組126將黑白影像的資訊融合到彩色影像，進而產生輸出影像。純彩色處理模式則為僅利用彩色影像來產生輸出影像。

詳細來說，由於主黑白模式適合用來保持以平面為主的場景在亮度方面的紋理細節，而主彩色模式則適合維持具有中等程度深度變化場景的色彩鋪排，因此，在本實施例中，模式選擇模組124將依據影像擷取模組122所擷取到的影像資訊來適應性地選擇影像處理的模式，以使影像處理模組126所產生出的輸出影像可具有良好的品質。舉例來說，圖3為根據本發明之一實施例所繪示的影像擷取裝置的複合式的影像處理方法流程圖，而圖3的影像擷取裝置的複合式的影像處理方法可以圖1的影像擷取裝置100的各元件實現。

請同時參照圖1以及圖3，如同步驟S202，影像擷取裝置100的影像擷取模組122將利用第一鏡頭10a以及第二鏡頭10b擷取一場景的影像，以分別產生上述場景的黑白影像以及彩色影像（步驟S302）。由於第一鏡頭10a以及第二鏡頭10b可擷取到相同場景在不同視角（Viewing Angle）下的影像，因此在以下的步驟中，模式選擇模組124可根據兩張影像之間的視差（Disparity）來取得上述場景的深度範圍（Depth Information）以及深度變化程度（Depth Variation）來適應性地選擇產生輸出影像的模式。

首先，模式選擇模組124將判斷深度範圍是否大於距離門檻值或是深度變化程度是否小於第一深度變化程度門檻值（步驟S304）。若是，則模式選擇模組124將選擇主黑白影像模式以產生輸出影像（步驟S306）。詳細來說，當拍攝物的物距較遠時（例如是大於3公尺）或是深度變化程度較小時（場景較為平面，例如是10個像素內），兩個鏡頭所擷取到的影像差異不大。在此情境下，模式選擇模組124將選擇以具有較多細節的黑白影像做為主影像以及以彩色影像做為輔助影像的主黑白影像模式，而影像處理模組126將依此模式所設定的處理方式來產生輸出影像。在本實施例中，影像處理模組126可利用彩色影像的資訊來與黑白影像進行融合處理（Fusion）。影像處理模組126可以是以黑白影像的畫素（以下稱為「黑白畫素」）為基準，以在彩色影像的畫素中搜尋相對應的畫素（以下稱為「相關彩色畫素」），並且將各個相對應的畫素進行融合處理。舉例來說，影像處理模組126可以是將黑白畫素的資訊與相關彩色畫素的資訊進行融合處理，以產生具有豐富細節的彩色影像。必須說明的是，上述影像融合處理方式僅是舉例說明之用，本發明並不挶限於特定的影像融合處理方式。

另一方面，當模式選擇模組124在步驟S304中判斷深度範圍不大於距離門檻值以及深度變化程度不小於第一深度變化程度門檻值時，則模式選擇模組124將更進一步地判斷深度變化程度是否小於第二深度變化程度門檻值（步驟S308）。若是，則模式選擇模組124將選擇主彩色影像模式以產生輸出影像（步驟S310）。在此的第二深度變化程度門檻值大於第一深度變化程度門檻值，其可以例如是20個像素。詳細來說，由於場景存在有一定的深度變化時，某些黑白影像的區域將在彩色影像中被遮蔽（occlusion）而無法在彩色影像中找到對應的區域與色彩資訊，因此在此情境下，模式選擇模組124將選擇以彩色影像做為主影像以及以黑白影像做為輔助影像的主彩色影像模式，而影像處理模組126將依此模式所設定的處理方式來產生輸出影像。在本實施例中，影像處理模組126可利用黑白影像的資訊來與彩色影像進行融合處理。影像處理模組126可以是以彩色影像的畫素為基準，以在黑白影像的畫素中搜尋相對應的畫素（以下稱為「相關黑白畫素」），並且將各個相對應的畫素進行融合處理。舉例來說，影像處理模組126可以是將彩色畫素的資訊與相關黑白畫素的資訊進行融合處理，亦能產生具有相當程度細節的彩色影像。

然而，當模式選擇模組124在步驟S308中判斷深度變化程度不小於第二深度變化程度門檻值時，則模式選擇模組124將選擇純彩色影像模式以產生輸出影像（步驟S312）。也就是說，當深度變化已超過可容許程度範圍時，遮蔽區域的出現機率與面積較大，影像融合在此種區域因而有較高產生不連續感的風險，因此在此情境下，模式選擇模組124僅利用彩色影像本身的資訊來產生輸出影像。

前述影像擷取裝置的複合式的影像處理方法可利用圖4本發明之一實施例所繪示的功能流程圖來表示。

請同時參照圖1以及圖4，此方法會在影像擷取裝置100的影像擷取模組122將利用第一鏡頭10a以及第二鏡頭10b分別擷取一場景的影像，產生黑白影像ImgBW以及彩色影像ImgC。接著，模式選擇模組124將根據黑白影像ImgBW以及彩色影像ImgC的影像資訊來進行模式切換MS，以動態地切換至主黑白影像模式M1、主彩色影像模式M2以及純彩色處理模式M3的其中之一。主黑白影像模式M1是將黑白影像ImgBW做為主影像，並且以彩色影像ImgC做為輔助影像，利用彩色影像ImgC的資訊融合到黑白影像ImgBW。主黑白影像模式M2是將彩色影像ImgC做為主影像，並且以黑白影像ImgBW做為輔助影像，利用黑白影像ImgBW的資訊融合到彩色影像ImgC。純彩色處理模式M3是僅將彩色影像ImgC進行處理或是直接輸出。影像處理模組126將根據模式選擇模組124所選擇的模式來產生輸出影像Img。

綜上所述，本發明所提出的影像擷取裝置及其複合式的影像處理方法，其利用雙鏡頭來同時擷取一場景的黑白影像以及彩色影像，並且根據影像資訊來動態地切換至主黑白影像模式、主彩色影像模式或是純彩色處理模式以產生輸出影像。本發明藉由黑白影像以及彩色影像於不同拍攝場景下的優勢，適應性地切換至符合該拍攝場景的影像處理模式，其可在兼顧影像擷取裝置的輕薄度的前提下，確保影像的輸出品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧影像擷取裝置

10a‧‧‧第一鏡頭

10b‧‧‧第二鏡頭

15‧‧‧儲存單元

20‧‧‧處理單元

122‧‧‧影像擷取模組

124‧‧‧模式選擇模組

126‧‧‧影像處理模組

S202~S206、S302~S312‧‧‧複合式的影像處理方法流程

M1‧‧‧主黑白影像模式

M2‧‧‧主彩色影像模式

M3‧‧‧純彩色處理模式

ImgBW‧‧‧黑白影像

ImgC‧‧‧彩色影像

Img‧‧‧輸出影像

圖1 是根據本發明一實施例所繪示之影像擷取裝置的方塊圖。圖2 為根據本發明之一實施例所繪示的影像擷取裝置的複合式的影像處理方法的流程圖。圖3 為根據本發明之一實施例所繪示的影像擷取裝置的複合式的影像處理方法的流程圖。圖4 為根據本發明之一實施例所繪示的影像擷取裝置的複合式的影像處理方法的功能流程圖。

S202～S206：複合式的影像處理方法流程

Claims

一種影像擷取裝置的複合式的影像處理方法，適用於具有第一鏡頭以及第二鏡頭的影像擷取裝置，該複合式的影像處理方法包括下列步驟：利用該第一鏡頭以及該第二鏡頭擷取一場景的影像，以分別產生該場景的黑白影像以及彩色影像；根據該黑白影像以及該彩色影像，取得該場景的深度範圍以及深度變化程度；以及根據該場景的該深度範圍以及該深度變化程度至少之一者，動態地選擇主黑白影像模式、主彩色影像模式以及純彩色處理模式其中之一者，據以產生輸出影像，其中該主黑白影像模式為將該彩色影像的資訊融合到該黑白影像從而產生該輸出影像的模式，該主彩色影像模式為將該黑白影像的資訊融合到該彩色影像從而產生該輸出影像的模式，該純彩色處理模式為僅利用該彩色影像以產生該輸出影像的模式。
如申請專利範圍第1項所述的方法，其中根據該深度範圍以及該深度變化程度至少之一者，動態地選擇該主黑白影像模式、該主彩色影像模式以及該純彩色處理模式其中之一者的步驟包括：判斷該深度範圍是否大於距離門檻值或是該深度變化程度是否小於第一深度變化程度門檻值；以及當該深度範圍大於該距離門檻值或是該深度變化程度小於該第一深度變化程度門檻值時，選擇該主黑白影像模式。
如申請專利範圍第2項所述的方法，其中根據該深度範圍以及該深度變化程度至少之一者，動態地選擇該主黑白影像模式、該主彩色影像模式以及該純彩色處理模式其中之一者的步驟：當該深度範圍不大於該距離門檻值並且該深度變化程度不小於該第一深度變化程度門檻值時，判斷該深度變化程度是否小於第二深度變化程度門檻值，其中該第二深度變化程度門檻值大於該第一深度變化程度門檻值；以及當該深度變化程度小於該第二深度變化程度門檻值時，選擇該主彩色影像模式。
如申請專利範圍第3項所述的方法，其中根據該深度範圍以及該深度變化程度至少之一者，動態地選擇該主黑白影像模式、該主彩色影像模式以及該純彩色處理模式其中之一者的步驟：當該深度變化程度不小於該第二深度變化程度門檻值時，選擇該純彩色處理模式。
如申請專利範圍第1項所述的方法，其中將該彩色影像的該資訊融合到該黑白影像的步驟包括：自該彩色影像中搜尋與該黑白影像的畫素相關聯的多個相關彩色畫素；以及將所述相關彩色畫素的資訊與該黑白影像的所述畫素的資訊進行融合處理。
如申請專利範圍第1項所述的方法，其中將該黑白影像的該資訊融合到該彩色影像的步驟包括：自該黑白影像中搜尋與該彩色影像的畫素相關聯的多個相關黑白畫素；以及將所述相關黑白畫素的資訊與該彩色影像的所述畫素的資訊進行融合處理。
一種影像擷取裝置，包括：第一鏡頭；第二鏡頭；儲存單元，耦接至該第一鏡頭以及該第二鏡頭，並且儲存該第一鏡頭以及該第二鏡頭所擷取的影像；以及至少一處理單元，耦接該第一鏡頭、該第二鏡頭以及該儲存單元，並且包括多個模組，所述模組包括：影像擷取模組，利用該第一鏡頭以及該第二鏡頭擷取一場景的影像，以分別產生該場景的黑白影像以及彩色影像；模式選擇模組，根據該黑白影像以及該彩色影像，取得該場景的深度範圍以及深度變化程度，以及根據該場景的該深度範圍以及該深度變化程度至少之一者，動態地選擇主黑白影像模式、主彩色影像模式以及純彩色處理模式其中之一者；以及影像處理模組，根據該模式選擇模組所選擇的模式，產生輸出影像，其中該主黑白影像模式為將該彩色影像的資訊融合到該黑白影像從而產生該輸出影像的模式，該主彩色影像模式為將該黑白影像的資訊融合到該彩色影像從而產生該輸出影像的模式，該純彩色處理模式為僅利用該彩色影像以產生該輸出影像的模式。
如申請專利範圍第7項所述的影像擷取裝置，其中：該模式選擇模組判斷該深度範圍是否大於距離門檻值或是該深度變化程度是否小於第一深度變化程度門檻值；以及當該深度範圍大於該距離門檻值或是該深度變化程度小於該第一深度變化程度門檻值時，該模式選擇模組選擇該主黑白影像模式。
如申請專利範圍第8項所述的影像擷取裝置，其中：當該深度範圍不大於該距離門檻值並且該深度變化程度不小於該第一深度變化程度門檻值時，該模式選擇模組判斷該深度變化程度是否小於第二深度變化程度門檻值，其中該第二深度變化程度門檻值大於該第一深度變化程度門檻值；以及當該深度變化程度小於該第二深度變化程度門檻值時，該模式選擇模組選擇該主彩色影像模式。
如申請專利範圍第9項所述的影像擷取裝置，其中當該深度變化程度不小於該第二深度變化程度門檻值時，該模式選擇模組選擇該純彩色處理模式。
如申請專利範圍第7項所述的影像擷取裝置，其中當該模式選擇模組選擇該主黑白影像模式時，該影像處理模組自該彩色影像中搜尋與該黑白影像的畫素相關聯的多個相關彩色畫素，以及將所述相關彩色畫素的資訊與該黑白影像的所述畫素的資訊進行融合處理。
如申請專利範圍第7項所述的影像擷取裝置，其中當該模式選擇模組選擇該主彩色影像模式時，該影像處理模組自該黑白影像中搜尋與該彩色影像的畫素相關聯的多個相關黑白畫素，以及將所述相關黑白畫素的資訊與該彩色影像的所述畫素的資訊進行融合處理。