TWI459805B

TWI459805B - 影像處理裝置，影像拍攝裝置，影像處理方法及影像處理程式

Info

Publication number: TWI459805B
Application number: TW100120218A
Authority: TW
Inventors: Katsuhisa Shinmei; Hiroshi Yamamoto; Shingo Nagataki; Kenji Wajima
Original assignee: Sony Corp
Priority date: 2010-06-24
Filing date: 2011-06-09
Publication date: 2014-11-01
Also published as: US8670043B2; TW201212644A; KR20110140089A; CN102300050A; JP2012010105A; US20110317028A1

Description

影像處理裝置，影像拍攝裝置，影像處理方法及影像處理程式

本發明係關於一種用於藉由利用在不同曝光時間下拍攝之複數個影像來產生具有一寬動態範圍之一影像之影像處理裝置、一種採用該影像處理裝置之影像拍攝裝置、一種用於該影像處理裝置之影像處理方法及一種實施該影像處理方法之影像處理程式。

更特定而言，本發明係關於一種用於在藉由利用各種影像拍攝裝置來產生一影像拍攝目標之一影像之一操作中抑制由於包含於照射光中之頻率變化而產生於一視訊中之閃爍之機構。此等頻率變化係由電源頻率所導致。該等閃爍亦稱為光源閃爍。

用於拍攝一影像拍攝目標之一影像之一影像拍攝裝置包含用於控制入射至該裝置之一像素區段之光量之一機構。該影像拍攝裝置通常係一CCD(電荷耦合器件)、MOS(金屬氧化物半導體)或CMOS(互補MOS)型之一固態影像拍攝裝置。在以下說明中，該像素區段亦稱為一影像拍攝區段、一影像陣列區段、一影像感測器或一光電轉換感測器，而該機構稱為一入射光量控制器。

該入射光量控制器係具有提供於其一影像拍攝透鏡上之一機械光圈機構之一控制器或具有提供於其一影像拍攝透鏡上之一機械快門機構之一控制器。在以下說明中，該機械光圈機構稱為一機械可變光闌，而該機械快門機構僅稱為一機械快門。作為一替代方案，該入射光量控制器亦可係具有所謂電子快門功能的一控制器，該電子快門功能能夠控制該固態影像拍攝裝置之像素區段中之信號電荷之一累積時間之長度。在以下說明中，該累積時間亦稱為一曝光時間。

可彼此獨立地使用該機械可變光闌及該機械快門。然而，亦可藉由組合該機械可變光闌與該機械快門或該電子快門來使用該機械可變光闌。

順便說，若將影像拍攝裝置用於藉由利用被置於其中由一光源產生之光之亮度不改變之一穩定狀態中之該光源來拍攝一影像，則各種影像拍攝裝置都不會出現一問題。然而，若藉由利用諸如具有週期性發光特性且與該半導體影像拍攝裝置之曝光週期不同步地操作之一螢光燈之一光源來拍攝一影像，則產生光源閃爍。

應注意，光源閃爍區別於照度閃爍(其係螢幕照度之閃爍)及色彩再現閃爍(其亦簡稱為色閃爍或色滾動)。

光源閃爍被視為其中一視訊信號由於一光源之照度改變與一影像拍攝裝置之曝光週期之間的一關係而改變之一現象。

舉例而言，一視訊信號之照度信號分量由於利用具有一頻率f之一商用電源之一光源之照度改變且由於具有影像拍攝裝置之一場週期fv之拍頻分量而改變。在此情形下，照度改變係其中參考記號n正常係整數2之1/nf秒之一週期內之改變。由於一視訊信號之照度信號分量改變，因此輸出視訊亦以亦與人類眼睛之餘輝特性相關之一週期變化。其中感覺到影像閃爍之一現象稱為照度閃爍。

舉例而言，照度閃爍容易產生於其中選用具有60 Hz之一場頻率之NTSC系統且商用電源之頻率f係50 Hz之一區域中。照度閃爍亦容易產生於其中選用具有50 Hz之一場頻率之PAL系統且商用電源之頻率f係60 Hz之一區域中。另外，與電燈泡相比，螢光燈之照度由於螢光燈之發光特性而改變，使得螢光燈產生相當顯著之照度閃爍。

應注意，所謂60 Hz之一場頻率之一說法換言之可被說成所謂30 fps之一圖框頻率之一說法。更準確地說，場頻率係59.94 Hz。另一方面，所謂50 Hz之一場頻率之一說法換言之可被說成所謂25 fps之一圖框頻率之一說法。

舉例而言，螢光燈之發射週期係10 ms而具有60 Hz之一場頻率之NTSC系統中之曝光操作之週期係16.7 ms。在此情形下，螢光燈之發射週期與NTSC系統中之曝光操作之週期的最低公倍數係50 ms。亦就是說，在三個曝光操作中，螢光燈之發射週期與NTSC系統中之曝光操作之週期之間的關係獲得恢復。因此，存在三個種類之曝光週期。由固態影像拍攝裝置輸出之信號之位準在此等三個曝光週期之間的差致使以20 Hz之一閃爍頻率F產生閃爍。

另外，若使用電子快門之功能，則以快門模式操作之快門之速度越高，包含於一個場週期中作為用於在固態影像拍攝裝置中累積電荷之一累積時間的時間越短。

因此，閃爍之振幅變為大於1/60秒之一正常快門速度之振幅。電子快門之速度越高，所產生之閃爍越明顯。因此，主要包含影像照度閃爍之閃爍顯現於螢幕上，從而致使螢幕上所顯示之影像之品質顯著地劣化。

另外，綠色、紅色及藍色色彩係一螢光燈中所使用之一螢光物質之三種色彩。儘管三種色彩之發射以相同計時開始，但該三種色彩之光量以不同速率減小以使得該三種色彩最終在不同時間處消失。亦就是說，由螢光燈發射之光隨時間流逝而改變其光譜。

通常，特定而言綠色色彩之發射時間在三種色彩當中係最長。另一方面，藍色色彩之發射時間在三種色彩當中係最短。亦就是說，紅色色彩之發射時間係介於綠色色彩與藍色色彩之發射時間之間。

因此，在某些情形下，取決於具有一高速度之快門之快門計時，可拍攝所發射光之僅一個或兩個色彩分量。

在藉由利用具有一高速度之一電子快門來拍攝一影像之一操作中，所拍攝光譜之一差別顯現一色彩改變。如上文所闡述，色彩重現閃爍亦稱為色閃爍或色滾動。

特定而言，藍色色彩之光分量不可拍攝為色閃爍。在諸多情形下，若正常實施一影像拍攝操作，則藍色色彩之光分量被無意地拍攝為黃色色彩之光分量。

順便說，日本專利特許公開案第Hei 7-322147號闡述一種用於藉由合成具有不同曝光量之影像來產生具有一寬動態範圍之一視訊信號之固態影像拍攝裝置。

在此影像拍攝裝置之情形下，若在一正常影像拍攝曝光時間下拍攝一明亮部分之影像以獲得一寬動態範圍，則輸出具有超過該影像拍攝裝置中所採用之一光電轉換感測器之飽和位準之一值以使得不可使用該值。因此，必需拍攝各自具有一小曝光量之影像且然後合成該等所拍攝影像。

圖1係展示產生具有一寬動態範圍之一影像所需之影像之感測器輸出與光量之間的關係之一概念圖。

在一正常曝光時間下拍攝之影像包含由於以下事實而不可獲取之一影像：此不可獲取影像之光量超過該光電轉換感測器之飽和位準。對於不可獲取之影像，縮短曝光時間以防止該光量超過該光電轉換感測器之飽和位準以便可獲得有意義之資訊。

將在一短曝光時間下拍攝之影像之每一像素之值乘以下文所闡述之一曝光比率之倒數或將其與一偏移相加以產生一所得像素值。然後，對於每一像素，比較該所得像素值與在一長曝光時間下拍攝之一影像之一對應像素之值以選擇彼此相比較之兩個像素中之一特定像素且摒棄另一像素。以此方式，可產生具有一寬動態範圍之一經合成影像。

應注意，該曝光比率係一正常拍攝影像之快門速度對在一短曝光時間下拍攝之一影像之快門速度之一比率。

如上文所闡述，為產生具有一寬動態範圍之一影像，必需藉由對應於(幾千分之一)秒之一曝光時間之一快門速度將曝光時間減少至一相對短曝光時間。在以下說明中，曝光時間亦稱為一快門時間。因此，在此一短曝光時間下拍攝之一影像已產生色閃爍。在以下說明中，在此一短曝光時間下拍攝之影像稱為一短曝光時間影像。

另一方面，在諸多情形下，正常地在對應於通常為1/60或1/100秒之一曝光時間之一快門速度下獲得在等於或長於一標準視訊信號之曝光時間之一曝光時間下拍攝之一影像。在以下說明中，在此一長曝光時間下拍攝之影像稱為一長曝光時間影像。因此，如之前所闡釋，一長曝光時間影像幾乎不受色閃爍之影響。

因此，色閃爍對一短曝光時間影像之效應較大，而色閃爍對一長曝光時間影像之效應較小。因此，作為一結果，在具有一寬動態範圍之一經合成影像之一部分上，產生色閃爍。因此，由於該經合成影像不同於使用者之眼睛實際上所看到之影像，因此使用者必然感覺到該經合成影像呈一非自然方式。

為解決上文所闡述之問題，已提出如下之一提議：彼此單獨地實施對藉由利用短曝光時間光拍攝之一影像之白平衡調整處理及對藉由利用長曝光時間光拍攝之一影像之白平衡調整處理。

圖2係展示用於彼此單獨地實施對藉由利用短曝光時間光拍攝之一影像之白平衡調整處理及對藉由利用長曝光時間光拍攝之一影像之白平衡調整處理之一第一典型影像拍攝裝置1之一方塊圖。

如圖中所展示，影像拍攝裝置1採用一固態影像拍攝器件2、前級處理區段3-1及3-2、各自用於將RAW資料轉換成RGB資料之轉換處理區段4-1及4-2、及一積分值計算處理區段5。

影像拍攝裝置1亦具有白平衡調整處理區段6-1及6-2、放大器7-1及7-2、一合成處理區段8、一後級處理區段9及一CPU 10。

影像拍攝裝置1中所採用之積分值計算處理區段5計算長曝光時間光之RGB資料之一積分值及短曝光時間光之RGB資料之一積分值。積分值計算處理區段5將所計算之積分值供應至CPU 10。基於該等積分值，CPU 10計算欲用作長曝光時間影像之一乘數之一白平衡增益及欲用作短曝光時間影像之一乘數之一白平衡增益。

CPU 10將所計算之白平衡增益供應至白平衡調整處理區段6-1及6-2。白平衡調整處理區段6-1實施白平衡調整處理以將長曝光時間影像之RGB資料乘以該資料之白平衡增益，而白平衡調整處理區段6-2實施白平衡調整處理以將短曝光時間影像之RGB資料乘以該資料之白平衡增益。

如上文所闡述，藉由選用此系統組態，可將長曝光時間影像及短曝光時間影像乘以其彼此不同之各別白平衡增益。

圖3係展示用於彼此單獨地實施對藉由利用短曝光時間光拍攝之一影像之白平衡調整處理及對藉由利用長曝光時間光拍攝之一影像之白平衡調整處理之一第二典型影像拍攝裝置1A之一方塊圖。

圖3中所展示之影像拍攝裝置1A係圖2中所展示之影像拍攝裝置1之一典型修改。

在圖3中所展示之影像拍攝裝置1A中，積分值計算處理區段5及白平衡調整處理區段6係提供於合成處理區段8之後的級處。

若可將指示已據此在由圖3中所展示之影像拍攝裝置1A之合成處理區段8實施之合成處理中選擇一像素作為用於每一像素之一旗標FLG之長曝光時間影像或短曝光時間影像之資訊供應至隨後級，則可在後合成處理中實施與圖2中所展示之影像拍攝裝置1之處理相同之處理。如先前所闡述，由圖2中所展示之影像拍攝裝置1實施之處理包含積分值計算處理及白平衡調整處理。

圖3中所展示之組態提供一如下優點：經受積分值計算處理及白平衡調整處理之像素之數目係經受在圖2中所展示之組態中實施之積分值計算處理及白平衡調整處理之像素之數目的一半。亦就是說，圖2中所展示之影像拍攝裝置1實施對兩個影像(亦即，長曝光時間影像及短曝光時間影像)之像素之處理，而圖3中所展示之影像拍攝裝置1A實施對僅一個影像(亦即，經合成影像)之像素之處理。因此，圖3中所展示之影像拍攝裝置1A具有小於圖2中所展示之影像拍攝裝置1之一電路大小。

藉由選用上文參考圖2或3所闡述之系統組態，可利用白平衡增益作為長曝光時間影像之乘數且利用不同於長曝光時間影像之白平衡增益之白平衡增益作為短曝光時間影像之乘數。

然而，若對長曝光時間影像及短曝光時間影像中之每一者實施積分處理，則對該等影像之積分處理有效之像素之數目較小。一有效像素係具有不超過最大感測器輸出之一值之一像素及不具有0之一值或不具有一極小值之一像素。

因此，在某些情形下，不期望實施某種校正，就像由除光源變化所導致之色閃爍以外之充當一抑制目標事物所引誘之校正。除色閃爍以外之事物包含一移動目標之色彩。

甚至在不產生由一光源導致之色閃爍之一正常情形下，對一經合成影像之一部分錯誤地實施之白平衡調整處理亦無意地給該部分一色彩。

另外，為解決上文所闡述之問題，必需實施強加一通常習知限制之處理及/或判定一光源是否係如同日本專利特許公開案第Hei 11-75109號中所闡述之一光源之一閃爍光源之處理。在以一高快門速度執行影像拍攝操作之情況下實施強加該通常習知限制係完全可能的。

然而，在此項技術之當前狀態下，難以區別如先前所闡述之對一移動目標之不正確偵測與對實際產生色閃爍之具有一高精確度之偵測。

為解決上文所闡述之問題，提供一種可以一更穩健方式偵測色滾動且抑制該所偵測色滾動之影像處理裝置、一種採用該影像處理裝置之影像拍攝裝置、一種由該影像處理裝置選用之影像處理方法以及一種實施該影像處理方法之影像處理程式。

根據本發明之一第一模式，提供一種影像處理裝置，其包含經組態以偵測自在不同曝光時間下拍攝之複數個影像產生之色閃爍之一色閃爍偵測處理區段，其中該色閃爍偵測處理區段：獲取該等所拍攝影像之複數個色彩信號中之任一特定色彩信號對該等色彩信號中之另一色彩信號之一比率；依據該所獲取比率獲得該等色閃爍之一評估值；及基於該評估值之量值判定是否已產生該等色閃爍。

根據本發明之一第二模式，提供一種影像拍攝裝置，該影像拍攝裝置包含：一影像拍攝器件，其用於在不同曝光時間下拍攝複數個影像；及一色閃爍偵測處理區段，其經組態以偵測自在不同曝光時間下拍攝之影像產生之色閃爍，其中該色閃爍偵測處理區段：獲取該等所拍攝影像之複數個色彩信號中之任一特定色彩信號對該等色彩信號中之另一色彩信號之一比率；依據該所獲取比率獲得該等色閃爍之一評估值；及基於該評估值之量值判定是否已產生該等色閃爍。

根據本發明之一第三模式，提供一種影像處理方法，其包含偵測自在不同曝光時間下拍攝之複數個影像產生之色閃爍，該方法進一步包含：獲取該等所拍攝影像之複數個色彩信號中之任一特定色彩信號對該等色彩信號中之另一色彩信號之一比率；依據該所獲取比率獲得該等色閃爍之一評估值；及基於該評估值之量值判定是否已產生該等色閃爍。

根據本發明之一第四模式，提供一種影像處理程式，其欲由一電腦執行以用於藉由執行以下操作來實施包含偵測自在不同曝光時間下拍攝之複數個影像產生之色閃爍之色閃爍偵測處理之影像處理：獲取該等所拍攝影像之複數個色彩信號中之任一特定色彩信號對該等色彩信號中之另一色彩信號之一比率；依據該所獲取比率獲得該等色閃爍之一評估值；及基於該評估值之量值判定是否已產生該等色閃爍。

根據本發明，可以一更穩健方式偵測色滾動且抑制該所偵測色滾動。

藉由參考各圖式來闡釋本發明之實施例。

應注意，在如下配置之章節中闡述該等實施例：

1：實施一影像拍攝裝置之一第一典型影像處理裝置之第一實施例

2：實施一影像拍攝裝置之一第二典型影像處理裝置之第二實施例

3：實施一影像拍攝裝置之一第三典型影像處理裝置之第三實施例

4：實施一影像拍攝裝置之一第四典型影像處理裝置之第四實施例

5：實施一影像拍攝裝置之一第五典型影像處理裝置之第五實施例

6：實施一影像拍攝裝置之一第六典型影像處理裝置之第六實施例

7：實施一影像拍攝裝置之一第七典型影像處理裝置之第七實施例

8：實施一影像拍攝裝置之一第八典型影像處理裝置之第八實施例

9：實施一影像拍攝裝置之一第九典型影像處理裝置之第九實施例

10：實施一影像拍攝裝置之一第十典型影像處理裝置之第十實施例

11：實施一影像拍攝裝置之一第十一典型影像處理裝置之第十一實施例

12：實施一影像拍攝裝置之一第十二典型影像處理裝置之第十二實施例

13：實施一影像拍攝裝置之一第十三典型影像處理裝置之第十三實施例

14：實施一影像拍攝裝置之一第十四典型影像處理裝置之第十四實施例

15：實施一影像拍攝裝置之一第十五典型影像處理裝置之第十五實施例

1：第一實施例

圖4係展示根據本發明之一第一實施例之採用一影像處理裝置120之一影像拍攝裝置100之一典型組態之一方塊圖。

影像拍攝裝置之組態

影像拍攝裝置100採用一固態影像拍攝器件110及影像處理裝置120。

影像處理裝置120具有前級處理區段121及122、放大器123及124以及一色閃爍偵測處理區段125。

另外，影像處理裝置120亦包含一合成處理區段126、一RAW-RGB轉換處理區段127、一積分值計算處理區段128、一白平衡調整處理區段129、一後級處理區段130及充當一控制區段之一CPU(中央處理單元)131。

以根據經實施以產生具有一寬動態範圍之一影像之處理操作之序列之一次序來闡釋組成影像拍攝裝置100之區塊。

固態影像拍攝器件110組態為諸如一CCD影像感測器或一CMOS影像感測器之一影像感測器。在本發明之此說明書中，技術術語「感測器」亦用以暗指固態影像拍攝器件110。

固態影像拍攝器件110實施光電轉換以將由圖中未展示之一光學系統形成之一所拍攝影像轉換成一數位信號，從而將該數位信號供應至影像處理裝置120中所採用之前級處理區段121及122。

在固態影像拍攝器件110中，形成在不同曝光時間下拍攝之複數個影像以產生具有一寬動態範圍之一影像。具體而言，固態影像拍攝器件110輸出表示在不同曝光時間下拍攝之至少兩個影像之數位元信號。

在圖中所展示之組態中，參考記號Short指代一短曝光時間影像，其係在一短曝光時間下拍攝之一影像。另一方面，參考記號Long指代一長曝光時間影像，其係在等於長於短曝光時間之一正常曝光時間或甚至長於該正常曝光時間之一長曝光時間下拍攝之一影像。該短曝光時間影像及該長曝光時間影像用於產生具有一寬動態範圍之一影像。

由前級處理區段121及122實施之前級處理係必須在相對接近於透鏡輸出之一位置處實施之處理。該前級處理包含黑色位準平衡處理、雜訊消除處理及蔭影校正處理。

前級處理區段121對長曝光時間影像實施黑色位元準平衡處理、雜訊消除處理及蔭影校正處理。

另一方面，前級處理區段122對短曝光時間影像實施黑色位元準平衡處理、雜訊消除處理及蔭影校正處理。

放大器123將已經受在前級處理區段121中實施之前級處理之長曝光時間影像乘以自CPU 131接收之一增益以產生一乘積且將該乘積供應至合成處理區段126。

同樣地，放大器124將已經受在前級處理區段122中實施之前級處理之短曝光時間影像乘以自CPU 131接收之增益以產生一乘積且將該乘積供應至合成處理區段126。

自CPU 131輸出之增益可係一曝光比率之倒數或該倒數之一經校正值。該曝光比率係正常拍攝之影像之快門速度對短曝光時間影像之快門速度之一比率。

另一方面，將已經受前級處理之長曝光時間影像及短曝光時間影像供應至色閃爍偵測處理區段125。

色閃爍偵測處理區段125檢驗長曝光時間影像及短曝光時間影像之資料以判定該資料中是否存在色閃爍。然後，色閃爍偵測處理區段125亦計算其中在該資料中存在色閃爍之確定度且將關於色閃爍之存在/不存在以及確定度之資訊供應至CPU 131。稍後將詳細闡釋由色閃爍偵測處理區段125選用以偵測色閃爍之存在之一方法。

合成處理區段126實施在像素單元中合成長曝光時間影像與短曝光時間影像之處理。

作為一像素合成方法，合成處理區段126實施比較長曝光時間影像中之一像素之像素值與短曝光時間影像中之對應像素之像素值之處理以選擇兩個像素中之一者或融和兩個像素。作為一替代像素合成方法，合成處理區段126實施添加一偏移且獲得兩個像素之像素值之一總和之處理。

合成處理區段126輸出作為合成長曝光時間影像與短曝光時間影像之一結果而獲得之一經合成影像以及該經合成影像之每一像素之一旗標。一像素之旗標指示已自其提取像素之長曝光時間影像或短曝光時間影像。

合成處理區段126將經合成影像輸出至RAW-RGB轉換處理區段127，RAW-RGB轉換處理區段126然後對該經合成影像實施RAW-RGB轉換處理。

該RAW-RGB轉換處理係將由固態影像拍攝器件110針對每一像素輸出之RAW資料轉換成三條資料(亦即，R資料、G資料及B資料)之處理。該RAW-RGB轉換處理亦稱為去馬賽克(de-mosaic)處理。

應注意，RAW資料包含R、G及B色彩或互補色彩之一拜耳(Bayer)陣列之值以及各自係針對一像素藉由使像素值通過一色彩濾光器且對該像素值實施光電轉換而獲得之像素值。

RAW-RGB轉換處理區段127將作為RAW-RGB轉換處理之一結果而獲得之R、G及B經合成影像輸出至積分值計算處理區段128及白平衡調整處理區段129。

首先，以下說明闡釋白平衡調整處理區段129及後級處理區段130之組態以及由白平衡調整處理區段129及後級處理區段130實施之功能。

根據自合成處理區段126接收之長/短曝光時間選擇旗標，白平衡調整處理區段129將自RAW-RGB轉換處理區段127接收之R、G及B經合成影像之像素值乘以其自CPU 131接收之針對長曝光時間影像及短曝光時間影像之像素之各別R、G及B白平衡增益。

在以下說明中，自CPU 131接收之針對長曝光時間影像及短曝光時間影像之像素之R、G及B白平衡增益稱為WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_G_Short及WBG_B_Short。

後級處理區段130對自白平衡調整處理區段129接收之一影像實施後級處理。該後級處理包含雜訊消除、一邊緣加強處理程式、階度轉換及伽瑪(gamma)處理。

如上文所闡述，RAW-RGB轉換處理區段127將作為RAW-RGB轉換處理之一結果而獲得之R、G及B經合成影像輸出至積分值計算處理區段128。

積分值計算處理區段128基於R、G及B經合成影像以及長/短曝光時間選擇旗標來判定各自滿足一給定條件之像素，從而實施對每一像素之值進行積分之處理。最後，積分值計算處理區段128將作為對整個螢幕之像素實施之處理之一結果而獲得之R、G及B影像之每一積分結果輸出至CPU 131。

上文所提及之給定條件暗指區域規範，該區域規範係一影像之位置座標之規範及自一像素值之某一位元準至該像素值之另外某一位準之一範圍之規範。另外，該給定條件亦可暗指需要長/短曝光時間選擇旗標來指示已選擇長曝光時間影像或短曝光時間影像之一條件。

色閃爍偵測之詳細說明

由色閃爍偵測處理區段125選用以偵測色閃爍之一方法詳細地闡釋如下。

圖5展示表示根據第一實施例之偵測色閃爍之處理之一流程圖。

該流程圖以一步驟ST1開始，在步驟ST1處實施一RAW-RGB轉換處理程式。然後，在下一步驟ST2處，色閃爍偵測處理區段125計算長曝光時間影像及短曝光時間影像之R、G及B積分值。此積分值計算類似於由圖2及圖3中所展示之組態中所採用之積分值計算區段5實施之積分值計算。

作為積分值計算之主要處理程式，色閃爍偵測處理區段125對滿足某些條件之像素之值進行積分。最後，色閃爍偵測處理區段125將對整個螢幕之像素實施之積分值計算之一積分結果輸出至CPU 131E。

圖6展示表示在步驟ST2處對R、G及B像素值進行積分從而計算積分結果之處理之一流程圖。在圖6中所展示之流程圖中，色閃爍偵測處理區段125藉由判定一像素之位置是否在一規定區域中且判定該像素之值是否在一規定範圍中來判定該像素是否滿足某些條件。對於滿足此兩個條件之一像素，實施RGB像素值積分處理(參考圖6中所展示之流程圖之步驟ST11至ST16)。

用於規定一像素值積分範圍之一方法闡釋如下。

圖7係下文在闡述用於針對其中不考量一雜訊邊限之一情形規定一像素值積分範圍之一方法時參考之一概念圖。該圖展示表示像素值之感測器輸出與長曝光時間影像及短曝光時間影像之光量之間的關係。

此實施例之特徵在於：一積分範圍係如此規定以使得該積分範圍包含欲經積分用於長曝光時間影像及短曝光時間影像兩者之像素值。

自圖7顯而易見，對於小於Pa之光量，由感測器產生以表示長曝光時間影像之像素值之輸出低於飽和位準。因此，存在由感測器生之像素值。另一方面，對於大於Pa之光量，感測器必然變為飽和以使得感測器不輸出有意義的資訊。

因此，最好規定包含藉由小於Pa之光量針對長曝光時間影像及短曝光時間影像產生之像素值之一積分範圍。在該圖中所展示之典型實例中，包含於由符號X指代之一部分中之像素值係欲積分之像素值。

圖7係上文在闡述用於針對其中不考量雜訊之一情形規定一像素值積分範圍之方法時參考之一概念圖。

然而，在一實際影像拍攝操作中，不存在雜訊，且曝光時間比越大，包含於短曝光時間影像中之像素之數目越小，此乃因積分目標像素各自產生一低位準信號。因此，一大的曝光時間比使關於是否存在色閃爍之判定之精確度劣化。為解決此問題，可藉由預先考量一雜訊邊限來規定積分範圍。

圖8係下文在闡述用於針對其中考量一雜訊邊限之一情形規定一像素值積分範圍之一方法時參考之一概念圖。在該圖式中，在感測器輸出軸上在感測器輸出為0及感測器飽和位準處提供一雜訊位準。如圖8中所展示，包含於雜訊邊限中之像素值不經受積分。

因此，欲積分之像素值係由圖中之符號Y指代之一部分中之感測器輸出。與其中不考量一雜訊邊限之情形相比，欲積分之像素值之數目較小。

藉由規定此一像素值積分範圍且對該等像素值進行積分，可在圖5中所展示之流程圖之步驟ST2處獲得六個最終積分結果。該等最終積分結果係長曝光時間影像之R、G及B積分結果以及短曝光時間影像之R、G及B積分結果。在以下說明中，長曝光時間影像之R、G及B積分結果以及短曝光時間影像之R、G及B積分結果分別由參考記號Sum_R_Long、Sum_G_Long、Sum_B_Long、Sum_R_Short、Sum_G_Short及Sum_B_Short指代。

然後，藉由利用下文給出之方程式(1-1)至(1-4)作為基於所計算積分結果之方程式，在圖5中所展示之流程圖之一步驟ST3處如下計算長曝光時間影像及短曝光時間影像之R/G及B/G比率：

[方程式1]

(R/G)_Long=Sum_R_Long/Sum_G_Long　...(1-1)

(B/G)_Long=Sum_B_Long/Sum_G_Long　...(1-2)

(R/G)_Short=Sum_R_Short/Sum_G_Short　...(1-3)

(B/G)_Short=Sum_B_Short/Sum_G_Short　...(1-4)

圖9及圖10中分別展示藉由利用方程式(1-1)至(1-4)而計算出之短曝光時間影像及長曝光時間影像之典型比率。

圖9係展示一短曝光時間影像之一R/G比率及一B/G比率之一概念圖。

圖10係展示一長曝光時間影像之一R/G比率及一B/G比率之一概念圖。

兩個圖皆展示其中產生色閃爍之一情形之典型比率。圖中所展示之比率僅係典型比率，此乃因每一圖表之凹縮及突起表示按情況變化之圖表之間的比率及上下關係。亦就是說，表示R/G比率之圖表不總是在表示B/G比率之圖表上方且表示B/G比率之圖表未必係具有一凹縮之一圖表。

如之前所闡述，短曝光時間影像係以一相對高快門速度拍攝之一影像。因此，短曝光時間影像容易受色閃爍之影響，且R/G及B/G比率隨時間流逝而改變，如圖9之圖表所展示。

另一方面，長曝光時間影像係以一相對低快門速度拍攝之一影像。因此，長曝光時間影像幾乎不受色閃爍之影響。然而，不可將長曝光時間影像認為係根本不受色閃爍影響之一影像。與表示短曝光時間影像之R/G及B/G比率之曲線相比，長曝光時間影像之R/G及B/G比率隨時間流逝而僅稍微改變，如圖10之曲線所展示。

然後，在下一步驟ST4處，計算色閃爍之評估值。

根據如下給出之方程式(2-1)及(2-2)而計算色閃爍之評估值：

[方程式2]

CR_Est_R=(R/G)_Short/(R/G)_Long　...(2-1)

CR_Est_B=(B/G)_Short/(B/G)_Long　...(2-2)

圖11係展示藉由利用上述方程式而獲得之典型色閃爍評估值之一圖式。

如方程式(2-1)及(2-2)所指示，一評估值係短曝光時間影像之一比率對長曝光時間影像之一比率。藉由檢驗該評估值，可自短曝光時間影像刪除亦對長曝光時間影像具有一效應之閃爍分量。另外，短曝光時間影像之比率係相對於長曝光時間影像之比率自動正規化。

儘管短曝光時間影像與長曝光時間影像具有一曝光時間差，但長曝光時間影像上之每一特定像素係與短曝光時間影像上與該特定像素相同位置處之一像素比較。因此，應獲得關於同一影像拍攝目標之影像拍攝之資訊。

因此，若不產生色閃爍，則短曝光時間影像具有等於長曝光時間影像之B/G及R/G比率之B/G及R/G比率而不管曝光時間如何。此時，欲如上文所闡述進行比較之值係B/G及R/G比率。因此，即使長曝光時間影像之一像素值(或絕對像素值)之量值不同於短曝光時間影像之像素值之量值，亦不會出現問題。因此，若不產生色閃爍，則各自係一比率之評估值應係1.0。

另一方面，若產生色閃爍，則如先前所闡述，甚至對於同一影像拍攝目標，色調亦會由於因照射光而展現之餘輝特性之效應而發生改變。在此情形下，各自係一比率之評估值各自具有大於或小於1.0之一值。

出於上文所闡述之原因，若產生色閃爍，則該等評估值隨時間流逝而自值1.0改變，如圖11之曲線所展示。

然後，在步驟ST5至ST8處，使用該等評估值來判定是否存在色閃爍。

如之前所闡釋，在其中不產生色閃爍之一理想狀態中，該等評估值應係1.0。

然而，存在以下事實：

1)：存在由雜訊及類似物造成之誤差。

2)：儘管可根據方程式(5-1)及(5-2)而自短曝光時間光取消對長曝光時間光具有一效應之閃爍分量，但閃爍分量對長曝光時間影像之效應不係零。

3)：一積分值不係一評估值積分結果而是對R、G及B像素值中之每一者進行積分之一結果。

因此，與其中自R、G及B積分值獲得一評估值之一情形存在一差別。因此，幾乎不存在其中評估值恰好等於1.0之情形。

出於此原因，界定一無作用區(dead zone)NZN(如同圖12中所展示之一無作用區)且將存在於此無作用區NZN中之一色閃爍評估值視為指示尚未產生色閃爍之一值。

更特定而言，檢驗R色彩之評估值CR_Est_R及B色彩之評估值CR_Est_B以判定評估值CR_Est_R及CR_Est_B是否在無作用區NZN中。若評估值CR_Est_R及CR_Est_B中之至少一者在無作用區NZN外部，則確認存在色閃爍。

上述說明已闡釋用於判定是否存在色閃爍之一方法。

若該判定方法之一結果指示存在色閃爍，則可應用之前所闡述之現有色閃爍抑制方法。

圖13係展示色閃爍偵測處理區段125之一典型組態之一方塊圖；如圖中所展示，色閃爍偵測處理區段125採用一RAW-RGB轉換區段1251、一條件判定區段1252、一RGB積分區段1253、一評估值計算區段1254及一偵測區段1255。

此等區段實施其各別處理作業量以達成如之前所闡述之偵測色閃爍之處理。

色閃爍抑制方法

如先前所闡釋，根據此實施例偵測色閃爍，且若確認存在色閃爍，則可應用普通色閃爍抑制方法。

另一方面，除根據該實施例之色閃爍偵測以外，亦可實施額外處理。實施額外處理以計算獲得色閃爍偵測之一結果之確定度。然後，可基於該確定度應用一色閃爍抑制方法。

以下說明闡釋用於計算該確定度之一方法及用於基於該確定度抑制色閃爍之一方法。

首先，以下說明闡釋用於計算獲得色閃爍偵測之一結果之確定度之方法。

圖14展示表示色閃爍偵測及確定度計算處理之一流程圖。

如圖14中所展示，表示該處理之流程圖以一步驟ST21開始，在步驟ST21處偵測色閃爍。以與由圖6中所展示之流程圖表示之色閃爍偵測處理相同之方式偵測色閃爍。

在下一步驟ST22處檢驗在步驟ST21處實施之色閃爍偵測之結果以判定是否存在色閃爍。若不存在色閃爍，則由圖14中所展示之流程圖表示之處理之流程繼續至一步驟ST23以依據R、G及B積分值來計算白平衡增益作為為長及短曝光時間影像所共有之乘數。

計算白平衡增益中所使用之R、G及B積分值可係在閃爍偵測時間處計算之積分值或由積分值計算區段計算之積分值。可想像地，在閃爍偵測時間處計算之積分值與由圖2至4中所展示之積分值計算區段計算之積分值之間的差別中之一者係諸如計算範圍等條件之一差別。

另外，用於依據R、G及B積分值來計算白平衡增益作為為長及短曝光時間影像所共有之乘數之一方法可係基於下文給出之方程式(3-1)至(3-3)之一增益計算方法。然而，方程式(3-1)至(3-3)僅係典型方程式。亦就是說，可選用任一增益計算方法，只要該增益計算方法係一既有方法即可。

[方程式3]

WBG_R=(Sum_G_Long+Sum_G_Short)/(Sum_R_Long+Sum_R_Short)　...(3-1)

WBG_G=1.0　...(3-2)

WBG_B=(Sum_G_Long+Sum_G_Short)/(Sum_B_Long+Sum_B_Short)　...(3-3)

然後，在下一步驟ST24處，白平衡調整處理區塊實施白平衡調整處理以將長及短曝光時間影像乘以共同白平衡增益。

另一方面，若存在色閃爍，則在一步驟ST25處實施下文所闡述之處理以計算已偵測到色閃爍之存在之確定度。

圖15係用於計算偵測到色閃爍之確定度之一方法參考之一圖式。

圖16係展示偵測到色閃爍之確定度之一圖式。

該確定度係界定為在一色閃爍偵測時間處計算之一色閃爍評估值與一無作用區NZN之偏差量，如圖15中所展示。在該圖中，一箭頭之長度係確定度。在此情形下，將該偏差量處置為一純量。因此，該確定度總是係一正數。圖16中展示藉由選用此一方法而獲得之確定度。

圖17係下文在闡釋用於計算偵測到色閃爍之確定度之另一方法時參考之一圖式。

根據上文藉由參考圖15所闡釋之方法，將確定度界定為一色閃爍評估值與一無作用區NZN之偏差量。然而，如圖17中所展示，將確定度界定為一色閃爍評估值與值1之偏差量。亦可藉由將圖15中所展示之TH_high及TH_1ow中之每一者設定為0來獲得界定為圖17中所展示之確定度。

接下來，以下說明闡釋在一步驟ST26處選用以計算一白平衡增益之一方法，基於所計算之確定度而使用該白平衡增益來抑制色閃爍。

首先，在步驟ST26處，依據R、G及B積分值來計算白平衡增益作為長曝光時間影像及短曝光時間影像中之每一者之乘數。

作為用於計算白平衡增益之一方法，可選用基於下文給出之方程式(4-1)至(4-6)之一計算方法。與方程式(3-1)至(3-3)一樣，方程式(4-1)至(4-6)亦係典型方程式。

[方程式4]

R_gain_Long=Sum_G_Long/Sum_R_Long　...(4-1)

G_gain_Long=1.0　...(4-2)

B_gain_Long=Sum_G_Long/Sum_B_Long　...(4-3)

R_gain_Short=Sum_G_Short/Sum_R_Short　...(4-4)

G_gain_Short=1.0　...(4_5)

B_gain_Short=Sum_G_Short/Sum_B_Short　...(4_6)

在根據方程式(4-1)至(4-6)計算白平衡增益中所使用之R、G及B積分值可係在閃爍偵測時間處計算之積分值或由圖2至4中所展示之積分值計算區段計算之積分值。可想像地，在閃爍偵測時間處計算之積分值與由積分值計算區段計算之積分值之間的差別中之一者係諸如計算範圍等條件之一差別。

依據分別根據方程式(4-1)至(4-6)計算之六個白平衡增益R_gain_Long、G_gain_Long、B_gain_Long、R_gain_Short、G_gain_Short及B_gain_Short，獲得最終用作長曝光時間影像及短曝光時間影像之乘數的六個最終白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_G_Short及WBG_B_Short。

圖18係展示用於計算短及長曝光時間影像之不同最終白平衡增益之一白平衡增益計算系統140之一圖式。

如圖中所展示，白平衡增益計算系統140採用乘法器141及142以及一加法器143。

依據在步驟ST25處獲得之一色閃爍確定度來計算一融和比率α。然後，基於融和比率α來融和長曝光時間影像之白平衡增益與短曝光時間影像之白平衡增益。

圖19係用於計算融和比率α之一方法所參考之一闡釋性圖。

圖19之水準軸表示在步驟ST25處獲得之色閃爍確定度而該圖之垂直軸表示融和比率α。

對於小於一下限臨限值TH_min之確定度，將融和比率α設定為0。對於大於一上限臨限值TH_max之確定度，將融和比率α設定為1.0。

針對下限臨限值TH_min與上限臨限值TH_max之間的任一特定確定度之融和比率α具有介於0至1.0之範圍內之值。依據將表示0融和比率α及下限臨限值TH_min之一點連接至表示1.0融和比率α及上限臨限值TH_max之一點之一直線來判定介於0至1.0之範圍內之值，如圖19中所展示。具體而言，藉由將下限臨限值TH_min與特定確定度之間的差與該直線之梯度相乘來獲得針對特定確定度之融和比率α。該直線之梯度等於1.0/(TH_max-THh_min)。

藉由選用上文所闡述之方法，可得出最終用作長曝光時間影像及短曝光時間影像之乘數的六個最終白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_G_Short及WBG_B_Short。然後，由白平衡調整處理區段使用此等乘數以調整白平衡。

根據上文藉由參考圖18所闡釋之方法，將融和比率α用於對六個白平衡增益R_gain_Long、G_gain_Long、B_gain_Long、R_gain_Short、G_gain_Short及B_gain_Short實施之一融和處理程式中以計算六個最終白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_G_Short及WBG_B_Short。然而，亦可對R、G及B積分值(替代六個白平衡增益R_gain_Long、G_gain_Long、B_gain_Long、R_gain_Short、G_gain_Short及B_gain_Short)實施該融和處理程式以計算六個最終白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_G_Short及WBG_B_Short，如圖20中所展示。如圖中所展示，對六個R、G及B積分值SUM_R_Long、SUM_G_Long、SUM_B_Long、SUM_R_Short、SUM_G_Short及SUM_B_Short實施該融和處理程式以計算六個最終白平衡增益WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_G_Short及WBG_B_Short。

上述說明根據此實施例闡釋用於藉由實施色閃爍偵測來抑制色閃爍之一方法。

圖21係展示具有抑制色閃爍之一功能之一色閃爍偵測處理區段125A之一典型組態之一方塊圖。

如圖中所展示，色閃爍偵測處理區段125A採用一條件判定區段1252、一RGB積分區段1253、一評估值計算區段1254、一偵測區段1255、一確定度計算區段1256及一白平衡增益計算區段1257。

此等區段實施其各別處理作業量以達成偵測色閃爍且抑制該等閃爍之處理。

2：第二實施例

圖22係展示根據本發明之第二實施例之採用一影像處理裝置之一影像拍攝裝置100B之一典型組態之一方塊圖。

圖23展示表示根據第二實施例之偵測色閃爍之處理之一流程圖。

圖24係展示根據第二實施例之一色閃爍偵測處理區段125B之一典型組態之一方塊圖。

根據第二實施例之影像拍攝裝置100B與根據第一實施例之影像拍攝裝置100之間的一差別闡述如下：第一實施例係其中以與圖3中所展示之組態相同之方式在後級處實施白平衡調整處理之一實施例。

另一方面，第二實施例係其中以與圖2中所展示之組態相同之方式在前級處實施白平衡調整處理之一實施例。

因此，在第二實施例之情形下，在偵測色閃爍之處理中不需要RAW-RGB轉換，如圖23及圖24中所展示。

3：第三實施例

下文將本發明之第三實施例闡釋為充當其中將靜態/動態判定添加至應用於R、G及B積分值之條件之一實施例。

圖25展示表示根據本發明之第三實施例之針對其中將R、G及B積分值之靜態/動態判定包含為一額外條件之一情形之處理之一流程圖。

用於將靜態/動態判定添加至RGB積分值之條件之典型組態

在第一實施例之情形下，對具有對於長時間曝光影像及短時間曝光影像兩者皆有意義之資訊之像素值進行積分。對於同一像素，除色閃爍以外，假定長時間曝光影像之比率不同於短時間曝光影像之比率。理想地，評估值係1.0。

然而，由於在長曝光時間影像與短曝光時間影像之間存在一小的影像拍攝時間差，因此一移動目標可在此短時間差期間經過。若一移動目標在此短時間差期間經過，因此不期望地，對同一影像拍攝目標之推測不再有效使得色閃爍偵測之結果受到影響。

為解決上文所闡述之問題，在第三實施例中，針對每一像素或每一像素區塊實施靜態/動態判定作為一新添加之條件(稱為一靜態條件)。以此方式，可以一高精確度偵測色閃爍(參考圖25中所展示之一流程圖)。

在第三實施例中，如利用現有技術之情形，可使用用於在獲得運動向量之處理程式之過程中獲得一運動向量或資訊之一機構以基於諸如沿時間軸在前一圖框與隨後圖框之間的差別等資料而判定一靜態或動態。

圖26係展示根據第三實施例之具備一靜態/動態判定功能之色閃爍偵測處理區段125C之一典型組態之一方塊圖。

如圖中所展示，色閃爍偵測處理區段125C採用一條件判定區段1252、一RGB積分區段1253、一評估值計算區段1254、一偵測區段1255、一靜態/動態判定區段1258及用作一延遲電路1259之一記憶體。

此等區段實施其各別處理作業量以達成偵測色閃爍之處理。

4：第四實施例

下文闡述為本發明之第四實施例之一典型實施例對評估值進行積分來替代對R、G及B積分值進行積分。

圖27展示表示根據本發明之第四實施例之對評估值進行積分來替代對R、G及B積分值進行積分之處理之一流程圖。

圖28展示表示針對其中已實施對評估值進行積分之處理之一情形之色閃爍判定處理之一流程圖。

用於對評估值進行積分來替代對R、G及B積分值進行積分之典型組態

在之前所闡述之實施例之情形下，計算R、G及B積分值且自該等積分值獲得一色閃爍評估值。

然而，如先前所闡釋，在其中自R、G及B積分值獲得一評估值之一組態與其中獲得每一像素之一評估值且然後獲得一積分值作為該等評估值之平均值之一組態之間存在一差別。

對於後一情形，給出圖27作為展示表示根據第四實施例之在一步驟ST36處對評估值進行積分之處理之一流程圖之一圖，而給出圖28作為展示表示針對其中已實施對評估值進行積分之處理(如圖27之流程圖中所展示)之一情形之色閃爍判定處理之一流程圖之一圖。

亦就是說，經實施以在圖28中所展示之流程圖之一步驟ST41處計算評估值之平均值之一處理程式詳細地闡述於圖27中所展示之流程圖中。

圖27中所展示之流程圖以一步驟ST31開始，在步驟ST31處重設色閃爍之評估值之積分值。然後，在下一步驟ST32處，接收一像素值。

隨後，在下一步驟ST33處，檢驗該像素以判定該像素是否位元於一規定區域中之一位置處。若該像素位元於該規定區域中之一位置處，則在一步驟ST34處檢驗該像素值以判定該像素值是否在一規定範圍內。若該像素值在該規定範圍內，則在一步驟ST35處計算長時間曝光影像及短時間曝光影像中之每一者之R/G及B/G比率而自該R/G及B/G比率獲得色閃爍之評估值。然後，在下一步驟ST36處，計算表示色閃爍之評估值之一總和之一評估值總和。

隨後，在下一步驟ST37處，更新表示迄今為止經處理之像素之數目之一像素計數。然後，在下一步驟ST38處，檢驗當前像素以判定當前像素是否係最後一個經處理像素。若當前像素不係最後一個經處理像素，則重複對評估值進行積分之處理。事實上，重複地實施對評估值進行積分之處理直至處理最後一個像素。

圖28中所展示之流程圖以一步驟ST41開始，在步驟ST41處將在圖27所展示之流程圖之步驟ST36處獲得之評估值總和除以在圖47所展示之流程圖之步驟ST37處獲得之像素計數以得出B/G及R/G平均評估值。

然後，在下一步驟ST42處，檢驗B/G平均評估值以判定B/G平均評估值是否在一無作用區之範圍中。若B/G平均評估值在該無作用區之範圍中，則在一步驟ST43處檢驗R/G平均評估值以判定R/G平均評估值是否在該無作用區之範圍中。若R/G平均評估值在該無作用區之範圍中，則在一步驟ST44處確認不存在色閃爍。

若在步驟ST42處獲得不在該無作用區之範圍中的B/G平均評估值及/或若在步驟ST43處獲得不在該無作用區之範圍中的R/G平均評估值，則在一步驟ST45確認存在色閃爍。

5：第五實施例

在下文闡釋為本發明之第五實施例之一典型實施例中，實施分割一色閃爍偵測區域之處理。

圖29充當其中根據第五實施例實施分割一色閃爍偵測區域之處理之一情形所參考之一闡釋性圖以及展示其中存在複數個光源之一典型情況之一圖式。

圖30係其中根據第五實施例實施分割一色閃爍偵測區域之處理之一情形所參考之一闡釋性圖。

分割一色閃爍偵測區域之處理

根據先前所闡述之實施例，可進行更穩健之色閃爍偵測以使得可有效抑制所產生之色閃爍。

然而，在先前所闡述之實施例之情形下，可僅將長時間曝光影像及短時間曝光影像中之每一者乘以一白平衡增益集合(亦即，R、G及B增益)。

因此，若在短時間曝光影像中存在彼此具有不同特性之複數個光源，則可僅涉及由該等光源中之任一者造成之色閃爍。

舉例而言，在如同圖29中所展示情況之一情況之情形下，提供對短時間曝光影像有意義之資訊之光源係充當一光源OS1之一室內燈及充當一光源OS2之一日光源(其係可透過一窗看到之一外部光源)。在此一情況下，若由室內燈造成之色閃爍被抑制，則可不再對可透過窗看到之外部場景實施白平衡調整。

為解決上述問題，如圖30中所展示，將螢幕分割成數個區域DVA，可對該等區域中之每一者實施相同處理。

然而，若將螢幕分割成數個區域DVA，則對於一區域DVA，可不存在短時間曝光影像且像素數目可係過小使得不可對校正值進行積分。在此一情形下，若所計算之像素計數係過小，則執行控制以取消對色閃爍之抑制。

6：第六實施例

圖31係展示根據本發明之第六實施例之採用一影像處理裝置120C之一影像拍攝裝置100C之一典型組態之一方塊圖。

根據第六實施例之影像拍攝裝置100C不同於根據第一實施例之影像拍攝裝置100，此乃因在影像拍攝裝置100之情形下，由硬體實施第一實施例之典型處理。該典型處理包含計算一評估值之處理。

然而，為在計算一評估值之處理中得出一比率，需要一分割器以使得增加影像拍攝裝置100之硬體電路之大小係完全可能的。

為解決上述問題，第六實施例選用利用CPU 131C來實施該處理中之某些部分之一方法。具體而言，在第六實施例之情形下，色閃爍偵測處理區段125C藉由利用硬體來實施一直到積分處理程式之處理而CPU 131C實施一評估值之計算及關於是否存在色閃爍之判定。

7：第七實施例

圖32係展示根據本發明之一第七實施例之採用一影像處理裝置120D之一影像拍攝裝置100D之一典型組態之一方塊圖。

根據第七實施例之影像拍攝裝置100D不同於根據第二實施例之影像拍攝裝置100B，此乃因在影像拍攝裝置100B之情形下，由硬體實施第二實施例之典型處理。該典型處理包含計算一評估值之處理。

然而，為在計算一評估值之處理中得出一比率，需要一分割器以使得增加影像拍攝裝置100B之硬體電路之大小係完全可能的。

為解決上述問題，第七實施例選用利用CPU 131D來實施該處理中之某些部分之一方法。具體而言，在第七實施例之情形下，色閃爍偵測處理區段125D藉由利用硬體來實施一直到積分處理程式之處理而CPU 131D實施一評估值之計算及關於是否存在色閃爍之判定。

8：第八實施例

本發明之第八及第九實施例中之每一者皆實施其中實施延遲調整以應對用於偵測並抑制色閃爍之經延遲白平衡增益之一典型組態。

圖33係展示根據本發明之第八實施例之採用一影像處理裝置120E之一影像拍攝裝置100E之一典型組態之一方塊圖。

根據第八實施例之影像拍攝裝置100E不同於根據第一實施例之影像拍攝裝置100，此乃因在影像拍攝裝置100E之情形下，實施延遲調整以使已據其計算出評估值之一圖框與已針對其計算出用於白平衡調整處理之白平衡增益之一圖框相同。因此，影像拍攝裝置100E採用額外記憶體132及133來進行延遲調整。

9：第九實施例

圖34係展示根據本發明之一第九實施例之採用一影像處理裝置120F之一影像拍攝裝置100F之一典型組態之一方塊圖。

根據第九實施例之影像拍攝裝置100F不同於根據第二實施例之影像拍攝裝置100B，此乃因在影像拍攝裝置100F之情形下，實施延遲調整以使已據其計算出評估值之一圖框與已針對其計算出用於白平衡調整處理之白平衡增益之一圖框相同。因此，影像拍攝裝置100F採用額外記憶體132及133來進行延遲調整。

對用於偵測並抑制色閃爍之經延遲白平衡增益之延遲調整在藉由先前所闡述之實施例實施之典型處理中，依據自對一整個圖框之所有像素實施之積分處理獲得之積分結果來計算長曝光時間影像及短曝光時間影像中之每一者之白平衡增益。因此，為完成該積分處理，花費對應於一個圖框之時間使得該等白平衡增益相應地被延遲。另外，CPU 131亦實施依據該等積分結果計算評估值之處理以使得亦花費時間來計算該等評估值。

因此，在藉由先前所闡述之實施例實施之典型處理中，實際上，已據其藉由實施積分處理計算出評估值之一圖框不同於欲針對其藉由利用白平衡增益來執行白平衡調整之一圖框。

另一方面，在第八及第九實施例之情形下，使已據其計算出評估值之一圖框與欲針對其藉由利用白平衡增益來執行白平衡調整之一圖框相同。藉由將記憶體132及133添加至圖4及22中所展示之組態，可實施延遲調整以便使已據其計算出評估值之一圖框與欲針對其執行白平衡調整之一圖框相同。

應注意，可將為迄今為止所闡述之實施例所特有之特性彼此適當地組合在一起。

根據第一至第九實施例，可獲得以下效應。

與現有白平衡調整處理相比，可進行更穩健之色閃爍偵測。

可實施適合於偵測到色閃爍之確定度之白平衡調整處理以使得可有效抑制色閃爍。

甚至對於具有一寬動態範圍之一影像，亦可實施適當白平衡調整處理以使得可有效抑制色閃爍。

由於判定存在色閃爍係在不考量時間軸方向週期性之情況下針對每一圖框實施的，因此可對除週期性色閃爍以外之色閃爍實施白平衡調整處理。因此，可適當抑制色閃爍。

10：第十實施例

除用以偵測色閃爍之功能以外，本發明之一第十實施例亦具有用以在長曝光時間影像與短曝光時間影像之一融和區域中產生一假色彩之一功能。

圖35係展示根據本發明之第十實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖。

該影像處理裝置採用一合成處理區段126G、一RAW-RGB轉換處理區段127G、一積分值計算處理區段128G、一白平衡調整處理區段129G及一CPU 131G。

此等區段實施其各別處理作業量以達成用以偵測色閃爍之功能及用以抑制在一融和區域中產生一假色彩之功能。

合成處理區段126G實施在像素單元中合成長曝光時間影像與短曝光時間影像之處理。稍後將闡述該合成方法之細節。

作為合成處理之一結果，合成處理區段126G輸出一經合成影像及旗標資訊及/或該合成之一融和比率α。該旗標資訊經提供用於經合成影像之每一經合成影像像素以指示已選擇長曝光時間影像之一像素及短曝光時間影像之一像素中之哪一者作為經合成影像像素。在以下說明中，該旗標資訊稱為一長/短曝光時間選擇旗標FLGLS。

合成處理區段126G將經合成影像輸出至RAW-RGB轉換處理區段127G，RAW-RGB轉換處理區段127G然後對該經合成影像實施RAW-RGB轉換處理。

RAW-RGB轉換處理區段127G將作為RAW-RGB轉換處理之一結果而獲得之R、G及B經合成影像輸出至積分值計算處理區段128G及白平衡調整處理區段129G。

首先，以下說明闡釋白平衡調整處理區段129G及後級處理區段130之組態以及由白平衡調整處理區段129G及後級處理區段130實施之功能。

根據自合成處理區段126G接收之長/短曝光時間選擇旗標FLGLS及融和比率α，白平衡調整處理區段129G將自RAW-RGB轉換處理區段127G接收之R、G及B經合成影像之像素值乘以其自CPU 131G接收之針對長曝光時間影像及短曝光時間影像之像素之各別R、G及B白平衡增益。

在以下說明中，自CPU 131G接收之針對長曝光時間影像及短曝光時間影像之像素之R、G及B白平衡增益稱為WBG_R_Long、WBG_G_Long、WBG_B_Long、WBG_R_Short、WBG_G_Short及WBG_B_Short。

如先前所闡述，長/短曝光時間選擇旗標FLGLS係指示已選擇長曝光時間影像之一像素及短曝光時間影像之一像素中之哪一者作為經合成影像像素之一旗標。

後級處理區段130對自白平衡調整處理區段128接收之一影像實施後級處理，如上文所闡述。該後級處理包含雜訊消除、一邊緣加強處理程式、階度轉換(gradation conversion)及伽瑪(gamma)處理。

如上文所闡述，RAW-RGB轉換處理區段127G將作為RAW-RGB轉換處理之一結果而獲得之R、G及B經合成影像輸出至積分值計算處理區段128G。

積分值計算處理區段128G基於R、G及B經合成影像以及長/短曝光時間選擇旗標FLGLS來判定各自滿足一給定條件之像素，從而實施對每一像素之值進行積分之處理。最後，積分值計算處理區段128G將作為對整個螢幕之像素實施之處理之一結果而獲得之R、G及B影像之每一積分結果輸出至CPU 131G。

上文所提及之給定條件暗指區域規範，該區域規範係一影像之位置座標之規範及自一像素值之某一位元準至該像素值之另外某一位準之一範圍之規範。另外，該給定條件亦可暗指需要長/短曝光時間選擇旗標FLGLS來指示已選擇長曝光時間影像或短曝光時間影像之一條件。

在以下說明中，由積分值計算處理區段128G產生之積分結果稱為Sum_R_Long、Sum_G_Long、Sum_B_Long、Sum_R_Short、Sum_G_Short及Sum_B_Short。

依據由積分值計算處理區段128G供應之R、G及B積分結果，CPU 131G計算長曝光時間影像之白平衡增益WBG_R_Long、WBG_G_Long及WBG_B_Long以及短曝光時間影像之白平衡增益WBG_R_Short、WBG_G_Short及WBG_B_Short。

作為用於計算白平衡增益之一方法，CPU 131G選用如同基於下文給出之方程式(5-1)至(5-6)之一典型方法之一計算方法。然而，基於方程式(5-1)至(5-6)之計算方法不過係一典型方法，或特定而言，由CPU選用之計算方法並不限於此典型方法。亦就是說，CPU 131G可選用任一計算方法，只要該方法係根據相關技術中之一技術之一現有方法即可。

[方程式5]

WBG_R_Long=Sum_G_Long/Sum_R_Long　...(5-1)

WBG_G_Long=1.0　...(5-2)

WBG_B_Long=Sum_G_Long/Sum_B_Long　...(5-3)

WBG_R_Short=Sum_G_Short/Sum_R_Short　...(5-4)

WBG_G_Short=1.0　...(5-5)

WBG_B_Short=Sum_G_Short/Sum_B_Short　...(5-6)

合成處理之詳細說明

以下說明闡釋用於抑制於一融和區域中產生之一假色彩之一合成方法之細節。

圖36係展示根據第十實施例之選用一合成方法來抑制於一融和區域中產生之一假色彩之合成處理區段126G之一典型組態之一方塊圖。

如圖中所展示，合成處理區段126G採用RAW-YC轉換處理區段1261及1262、一選擇器1263、一融和比率計算區段1264、乘法器1265及1266、一減法器1267、一加法器1268以及一YC-RAW轉換處理區段1269。

RAW-YC轉換處理區段1261對由RAW-YC轉換處理區段1261接收之長曝光時間影像之RAW資料RAW_Long實施RAW-YC轉換處理。

RAW-YC轉換處理區段1262對由RAW-YC轉換處理區段1262接收之短曝光時間影像之RAW資料RAW_Short實施RAW-YC轉換處理。

該RAW-YC轉換處理係將RAW資料轉換成一照度(Y)分量及一色彩(C)分量之處理。

在RAW-YC轉換處理中使用之轉換公式根據RAW資料之起源及評估值、照度(Y)分量及色彩(C)分量而變化。此處，RAW資料之起源指示該影像拍攝器件已使用哪個色彩濾光器來獲取影像拍攝資訊。該色彩濾光器可係一R(紅色)、G(綠色)、B(藍色)、C(青色)、M(洋紅色)、Y(黃色)或G(綠色)色彩濾光器。該評估值指示一現有色空間，其可係YCrCb、YUV或YPrPb。

下文給出之方程式(6-1)至(6-3)係針對其中該影像拍攝器件之色彩濾光器係RGB原色系統之一色彩濾光器之一情形變換成YcrCb之典型轉換公式。

下文給出之方程式(7-1)至(7-3)可用作用於表達RGB原色系統與CMYG補色系統之間的關係之方程式。因此，藉由將方程式(7-1)至(7-3)代入至方程式(6-1)至(6-3)中，可將CMYG補色系統變換成YCrCb。

[方程式6]

Y=0.257×R+0.504×G+0.098×B　…(6-1)

Cr=-0.148×R-0.291×G+0.439×B　…(6-2)

Cb=0.439×R-0.368×G-0.071×B　…(6-3)

[方程式7]

C=1.0-R　...(7-1)

M=1.0-G　...(7-2)

Y=1.0-B　...(7-3)

上文給出之方程式係典型變換公式。亦可使用其他變換公式或經簡化公式。另外，亦可使用其他評估值。除此之外，不存在對在上文所闡述之轉換處理中如何利用像素資訊或環繞像素資訊之特定限制。

作為該轉換處理之一結果，RAW-YC轉換處理區段1261及1262分別產生長曝光時間影像及短曝光時間影像之照度(Y)分量及色彩(C)分量。該照度(Y)分量經受在融和比率計算區段1264、乘法器1265及1266以及減法器1267中利用一融和比率mα(亦稱為一混合比)進行之合成處理。

在該合成處理中，融和比率計算區段1264藉由利用長曝光時間影像之照度(Y)分量及短曝光時間影像之照度(Y)分量來計算融和比率mα。用於計算融和比率mα之方法可係現有技術。

該色彩(C)分量不經受合成處理。選擇器1263根據一C分量選擇信號CSEL來選擇長曝光時間影像之色彩(C)分量及短曝光時間影像之色彩(C)分量，且選定之色彩(C)分量由YC-RAW轉換處理區段1269使用。

長曝光時間影像之色彩(C)分量及短曝光時間影像之色彩(C)分量中之選定者不會出現一問題。然而，在用於產生具有一寬動態範圍之一影像之一系統之情形下，短曝光時間影像之信號位元準係低。因此，在短曝光時間影像中產生相對大量雜訊係完全可能的。

出於上文所闡述之原因，在諸多情形下長曝光時間影像之一選定色彩(C)分量較佳於短曝光時間影像之一選定色彩(C)分量係完全可能的。

最後，YC-RAW轉換處理區段1269利用經融和照度(Y)分量及選定色彩(C)分量來實施將該等分量轉換回成RAW資料之處理。該處理係基於利用藉由反演先前所闡述之公式而獲得之公式之一轉換方法。

如之前所闡釋，合成處理區段126G輸出作為合成處理之一結果而獲得之一經合成影像及一長/短曝光時間選擇旗標FLGLS，該長/短曝光時間選擇旗標FLGLS經提供用於該經合成影像之每一經合成影像像素以指示已選擇長曝光時間影像之一像素及短曝光時間影像之一像素中之哪一者作為經合成影像像素。

此處，在該第十實施例之情形下，融和區域之長/短曝光時間選擇旗標FLGLS之值指示已選擇長曝光時間影像之色彩(C)分量或短曝光時間影像之色彩(C)分量。因此，可藉由圖36中所展示之一流程圖來表示用於判定長/短曝光時間選擇旗標FLGLS之值之一方法。

圖37展示表示根據第十實施例之判定一長/短曝光時間選擇旗標FLGLS之值之處理之一流程圖。

表示上述處理之流程圖以一步驟ST51開始，在步驟ST51處接收一像素值。然後，在下一步驟ST52處，計算一融和比率mα。若在下一步驟ST53處獲得融和比率mα之所計算值為0.0，則在一步驟ST54處輸出短曝光時間影像之ID(識別符)。若在下一步驟ST53處獲得融和比率α之所計算值為介於0.0<mα<1.0之範圍內之一值，則在一步驟ST55處輸出其色彩(C)分量被選擇之一影像之ID(識別符)。若在下一步驟ST53處獲得融和比率mα之所計算值為1.0，則在一步驟ST56處輸出長曝光時間影像之ID(識別符)。

在任一情形下，該處理之流程然後繼續至下一步驟ST57以判定是否已處理最後一個像素。重複地實施該處理直至已處理最後一個像素。

上文已闡述根據第十實施例之合成處理區段126G。

圖38A及圖38B係根據第十實施例在下文闡釋為何可抑制於一融和區域中產生之一假色彩之一原因時參考之概念圖。

圖38A係根據第十實施例在下文闡釋一合成處理方法時參考之一概念圖。

在該第十實施例中，色彩(C)分量不經受合成處理。亦就是說，在一長或短曝光時間下拍攝之一影像之色彩(C)分量係按照原樣來使用。因此，同樣在提供於後級處之白平衡調整處理區段129G中，將所使用之色彩(C)分量僅乘以色彩(C)分量之一白平衡增益。

因此，如圖38B中所展示，在一融和區域PXMX中，可將一適當白平衡增益用作一乘數以抑制於融和區域PXMX中產生之假色彩。

以下說明闡釋主要實施抑制在長曝光時間影像與短曝光時間影像之一融和區域中產生一假色彩之處理之第十一至第十五實施例。

11：第十一實施例

圖39係展示根據本發明之第十一實施例之採用一影像處理裝置120H之一影像拍攝裝置100H之一典型組態之一方塊圖。

根據第十一實施例之影像拍攝裝置100H不同於根據第十實施例之影像拍攝裝置100G，此乃因在第十一實施例之情形下，一新信號係自合成處理區段126H傳輸至白平衡調整處理區段129H以輸送一融和比率。稍後將詳細闡釋合成處理區段126H及白平衡調整處理區段129H。

因此，除經合成影像信號及長/短曝光時間選擇旗標FLGLS以外，第十一實施例中之合成處理區段126H亦將在合成處理中使用之融和比率(BLD比)mα輸出至白平衡調整處理區段129H。

由於其他區段與第十實施例中所採用之對應區段相同，因此不重複其闡釋。

合成處理之詳細說明

以下說明闡釋根據第十一實施例之用於抑制於融和區域中產生之一假色彩之一合成方法之細節。

圖40係展示根據第十一實施例之將合成方法應用於所拍攝影像以抑制於融和區域中產生之假色彩之合成處理區段126H之一典型組態之一圖式。組成合成處理區段126H之組件依次闡釋如下。

如圖40中所展示，合成處理區段126H採用一融和比率計算區段1264H、乘法器1265H及1266H、一減法器1267H以及一加法器1268H。

首先，合成處理區段126H對長曝光時間影像之RAW資料RAW_Long及短曝光時間影像之RAW資料RAW_Short實施合成處理。

在該合成處理中，融和比率計算區段1264H藉由利用長曝光時間影像之RAW資料RAW_Long及短曝光時間影像之RAW資料RAW_Short來計算融和比率mα。作為用於計算融和比率之方法，融和比率計算區段1264H可選用根據像素值計算融和比率之一方法或由稍後欲闡釋之一修改版本選用之一方法。

乘法器1265H及1266H基於所計算融和比率mα來融和RAW資料，該融和比率mα亦由合成處理區段126H輸出至提供於後級處之白平衡調整處理區段129H。

另外，由合成處理區段126H選用以判定係合成處理區段126H之輸出中之一者之長/短曝光時間選擇旗標FLGLS之值之方法與先前在闡述第十實施例時藉由參考圖37中所展示之流程圖而闡釋之方法相同。

上述說明闡釋根據第十一實施例之合成處理區段126H。

白平衡調整處理之詳細說明

以下說明根據第十一實施例闡釋由白平衡調整處理區段129H選用以抑制於一融和區域中產生之一假色彩之白平衡調整方法之細節。

圖41係展示根據第十一實施例之將合成方法應用於白平衡增益以抑制於一融和區域中產生之一假色彩之一白平衡調整處理區段129H之一典型組態之一圖式。

如圖41中所展示，白平衡調整處理區段129H採用乘法器1291至1293、一減法器1294及一加法器1295。

根據一現有技術，藉由利用長/短曝光時間選擇旗標FLGLS來實施白平衡調整處理，如圖4中所展示。

另一方面，在根據第十一實施例之白平衡調整處理區段129H中，不使用長/短曝光時間選擇旗標FLGLS。替代地，藉由利用自合成處理區段126H接收之針對每一像素之一融和比率mα作為合成處理中所使用之一比率來實施白平衡調整處理。白平衡調整處理之序列闡述如下。

輸入至白平衡調整處理區段129H之信號包含作為RAW-RGB轉換之一結果而獲得之R、G及B影像以及在合成處理中所使用之融和比率mα。另外，供應至白平衡調整處理區段129H之輸入信號亦包含長曝光時間影像之白平衡增益WBG_R_Long、WBG_G_Long及WBG_B_Long以及短曝光時間影像之白平衡增益WBG_R_Short、WBG_G_Short及WBG_B_Short。CPU 131已基於RGB積分值計算出此等白平衡增益。

基於在合成處理中所使用之融和比率mα，圖41中所展示之白平衡調整處理區段129H之電路依據長曝光時間影像之白平衡增益WBG_R_Long、WBG_G_Long及WBG_B_Long以及短曝光時間影像之白平衡增益WBG_R_Short、WBG_G_Short及WBG_B_Short來計算每一像素之最終白平衡增益WBG_R、WBG_G及WBG_B。

然後，藉由利用最終白平衡增益WBG_R、WBG_G及WBG_B來對R、G及B影像實施白平衡調整處理。

上文已闡釋根據第十一實施例之白平衡調整處理區段129H。

在現有白平衡調整處理區段之情形下，一個螢幕之像素充當一被乘數而對於該被乘數使用兩個群組之乘數。第一群組具有長曝光時間影像之白平衡增益WBG_R_Long、WBG_G_Long及WBG_B_Long而第二群組具有短曝光時間影像之白平衡增益WBG_R_Short、WBG_G_Short及WBG_B_Short。

另一方面，在第十一實施例之情形下，利用白平衡調整處理區段129H以使得可利用各自按像素變化之白平衡增益作為一乘數。因此，將若干白平衡增益之組合用作一個螢幕上之像素之乘數。

上述說明闡釋包含於第十一實施例中之合成處理區段126H及白平衡調整處理區段129H。

圖42A及圖42B係闡釋為何可藉由利用根據第十一實施例提供之合成處理區段126H及白平衡調整處理區段129H來抑制於一融和區域中產生之一假色彩之一原因之概念圖。

圖42A係根據第十一實施例實施之合成處理之一概念圖。

根據第十一實施例，合成處理區段126H以與現有技術相同之方式對長曝光時間影像之RAW資料及短曝光時間影像之RAW資料實施合成處理。

根據第十一實施例之白平衡調整處理區段129H將融和區域(其中已將長曝光時間影像之RAW資料與短曝光時間影像之RAW資料融和在一起)中之每一像素之值乘以由CPU 131針對該像素而獲得之一白平衡增益。以此方式，對於每一像素，可基於合成處理中所使用之融和比率來實施白平衡調整。

因此，如圖42B中所展示，可藉由實質抑制於融和區域中產生之假色彩來解決相關技術中之技術之問題。

12：第十二實施例

在下文闡述為本發明之第十二實施例之一實施例中，計算在合成處理中使用之融和比率mα之處理包含靜態/動態判定。

圖43展示表示根據本發明之第十二實施例之計算融和比率之處理之一流程圖。

藉由利用靜態/動態判定來計算融和比率mα之典型處理

藉由第第十及第十一實施例來選用之前藉由參考圖7所闡釋之方法作為用於計算融和比率mα之一方法。

然而，由於在長曝光時間影像與短曝光時間影像之間存在一小的影像拍攝時間差，因此一移動目標可在此短時間差期間經過。若一移動目標在此短時間差期間經過，則在某些情形下該移動目標可能僅存在於長曝光時間影像或短曝光時間影像上。

在此等情形下，若藉由利用根據像素之位元準獲得之一融和比率來實施合成處理，則作為一結果融和關於完全不同影像拍攝目標之像素之資訊。因此，讀者可容易想像其中用於產生一經合成影像之合成處理以一失敗結束之一情形。

為解決上文所闡述之問題，在第十二實施例之情形下，圖43中所展示之流程圖包含經執行以判定一像素或一像素區域(亦稱為一像素區塊)係從屬於一影像拍攝目標之一影像之一靜態像素或像素區域還是從屬於一移動目標之一影像之一動態像素或像素區域之一步驟ST62。

若判定該像素或該像素區域為一靜態像素或像素區域，則在一步驟ST63處計算融和比率mα之值。

另一方面，若判定該像素或該像素區域為一動態像素或像素區域，則不實施融和處理。替代地，在一步驟ST64處比較像素值或照度位元準與一臨限值LV_TH。根據該比較之結果，在一步驟ST65處選擇短曝光時間影像，或在一步驟ST66處選擇長曝光時間影像。

亦可在第一及第十一實施例中實施由此流程圖表示之處理。

圖44係展示根據第十二實施例具備充當圖36中所展示之合成處理區段126之一修改的一靜態/動態判定功能之一合成處理區段126I之一典型組態之一方塊圖。

如圖44中所展示，合成處理區段126I採用RAW-YC轉換處理區段1261I及1262I、一選擇器1263、一融和比率計算區段1264I、乘法器1265I及1266I、一減法器1267I、一加法器1268I、一YC-RAW轉換處理區段1269I以及一靜態/動態判定區段1270。

此等區段實施其各別處理作業量以達成上文所闡述之合成處理。

圖45係展示根據第十二實施例具備充當圖40中所展示之合成處理區段126H之一修改的一靜態/動態判定功能之一合成處理區段126J之一典型組態之一方塊圖。

如圖45中所展示，合成處理區段126J採用一融和比率計算區段1264J、乘法器1265J及1266J、一減法器1267J、一加法器1268J以及一靜態/動態判定區段1270J。

13：第十三實施例

本發明之第十三及第十四實施例中之每一者實施其中計算融和比率mα且實施延遲調整以應對用於抑制處理之經延遲白平衡增益之一典型組態。

圖46係展示根據本發明之第十三實施例之採用一影像處理裝置120B之一影像拍攝裝置100B之一典型組態之一方塊圖。

根據第十三實施例之影像拍攝裝置100K不同於根據第十實施例之影像拍攝裝置100，此乃因影像拍攝裝置100K採用一額外記憶體132來進行延遲調整。實施該延遲調整以使已據其計算出評估值之一圖框與已針對其計算出用於白平衡調整處理之白平衡增益之一圖框相同。

14：第十四實施例

本發明之第十四實施例實施其中計算融和比率mα且實施延遲調整以應對用於抑制處理之經延遲白平衡增益之一典型組態。

圖47係展示根據本發明之第十四實施例之採用一影像處理裝置120L之一影像拍攝裝置100L之一典型組態之一方塊圖。

根據第十四實施例之影像拍攝裝置100L不同於根據第十一實施例之影像拍攝裝置100H，此乃因影像拍攝裝置100L採用一額外記憶體132來進行延遲調整。實施該延遲調整以使已據其計算出評估值之一圖框與已針對其計算出用於白平衡調整處理之白平衡增益之一圖框相同。

對用於抑制處理之融和比率mα及白平衡增益之延遲調整在第十及第十一實施例中，藉由選用普通技術依據積分結果來計算長曝光時間影像及短曝光時間影像中之每一者之白平衡增益。根據該普通技術，在經實施以由圖35及圖39中所展示之組態之積分值計算處理區段128產生積分結果之積分處理中，使用整個螢幕之像素。

因此，為完成該積分處理，花費比對應於至少一個圖框之一時間週期長之一時間。因此，延遲在CPU 131中對白平衡增益之計算。

另外，CPU 131亦實施依據該等積分值計算評估值之處理以使得亦花費時間來計算該等評估值。因此，在第十及第十一實施例之情形下，已據其依據藉由實施積分處理而獲得之積分結果計算出評估值之一圖框不同於針對其計算出用於白平衡調整處理之白平衡增益之一圖框。亦就是說，實際上，已據其計算出評估值之一圖框不同於針對其欲藉由利用白平衡增益來執行白平衡調整之一圖框。

與普通技術相比，藉由利用根據第十及第十一實施例之電路以及由此等實施例選用之處理方法，可實施適合於每一個別像素之白平衡調整。由於此圖框差別，因此使抑制假色彩之效能劣化係完全可能的。

另一方面，在第十三及第十四實施例之情形下，添加記憶體132用於延遲調整以使已據其計算出評估值之一圖框與已針對其計算出用於白平衡調整處理之白平衡增益之一圖框相同。

如上文所闡述，藉由將記憶體132添加至圖35中所展示之影像拍攝裝置100G及圖39中所展示之影像拍攝裝置100H中之每一者以分別獲得圖46中所展示之影像拍攝裝置100K及圖47中所展示之影像拍攝裝置100L，可在影像拍攝裝置100K及影像拍攝裝置100L中實施延遲調整。

15：第十五實施例

在本發明之第十五實施例中，省略長/短曝光時間選擇旗標。

圖48係展示根據本發明之第十五實施例之採用一影像處理裝置120M之一影像拍攝裝置100M之一典型組態之一方塊圖。

根據第十五實施例之影像拍攝裝置100M不同於根據第十一實施例之影像拍攝裝置100H，此乃因在根據第十五實施例之影像拍攝裝置100M之情形下，省略長/短曝光時間選擇旗標。

不具有長/短曝光時間選擇旗標之典型組態長/短曝光時間選擇旗標係指示已在合成處理中選擇長曝光時間影像及短曝光時間影像中之哪一者之像素之一信號。

另一方面，使用在第十一實施例中提出之融和比率mα之值來指示已選擇僅長曝光時間影像之像素或僅短曝光時間影像之像素。

具體而言，mα=1.0指示已選擇長曝光時間影像之像素而mα=0.0指示已選擇短曝光時間影像之像素。

自上述說明顯而易見，在第十一實施例之情形下，可由融和比率mα來代替長/短曝光時間選擇旗標。因此，不必利用長/短曝光時間選擇旗標。

出於上文所闡述之原因，藉由自圖39中所展示之第十一實施例之組態消除長/短曝光時間選擇旗標來獲得由圖48中所展示之第十五實施例提供之一影像拍攝裝置100M之一典型組態。

第十及第十一實施例之優點

第十及第十一實施例之優點闡述如下。

第十實施例之優點

由於根據第十實施例之處理幾乎係在合成處理區段126中完成的，因此不存在用於延遲供應至後級之一信號之一延遲電路(或類似物)。因此，可使硬體之大小為較小。

在已選擇長曝光時間影像之色彩(C)分量之情況下，可利用由一長曝光時間之光產生之一影像信號之色彩(C)分量作為與由一短曝光時間之光產生之一影像信號相比具有極少雜訊之一信號。

第十一實施例之優點

由於可將按像素變化之白平衡增益用作一乘數，因此與第十實施例相比，可實施對一假色彩之適當抑制。

由於RAW資料被融和，因此只要涉及色彩(C)分量在長曝光時間影像與短曝光時間影像之間便不存在空間轉變點(spatial changeover point)。亦就是說，可進行一平滑轉變。因此，即使不可實施對一假色彩之充分抑制，使用者亦難以辨識該假色彩。

如上文所闡述，根據第十至第十五實施例，展現以下效應。

在基於以彼此不同之曝光時間拍攝之複數個影像而產生具有一寬動態範圍之一影像之處理中，可有效抑制於所拍攝影像之一融和區域中產生之一假色彩。該假色彩含於該融和區域中且由於光源按所拍攝影像變化從而致使產生色閃爍(色滾動)而出現一問題。

此外，與現有白平衡調整處理相比，可實施更多樣化之白平衡調整處理。亦就是說，可實施適合於一應用之白平衡調整處理。

根據上文所闡述之實施例之影像拍攝裝置可各自用作具有各種影像拍攝功能之一裝置。具有各種影像拍攝功能之裝置之典型實例係一可攜式電話、一視訊攝影機及一數位相機。

應注意，可藉由將上文詳細闡釋之方法實施為欲由一電腦(諸如，一CPU)執行之一程式來將該方法組態為充當根據該方法之程式之一程式。

另外，該程式可組態為預先儲存於欲由電腦存取之一記錄媒體上之一程式以使該程式由其上安裝有該記錄媒體之電腦執行。該記錄媒體之典型實例係一半導體記憶體、一磁碟、一光碟及一floppy(一註冊商標)碟。

本發明含有與2010年6月24日在日本專利局提出申請之日本優先權專利申請案JP 2010-144207中所揭示之標的物相關之標的物，該申請案之全部內容藉此以引用方式併入本文中。

熟習此項技術者應理解，可端視設計要求及其他因素而作出各種修改、組合、子組合及變更，只要其屬於隨附申請專利範圍及其等效形式之範疇內即可。

1．．．第一典型影像拍攝裝置

1A．．．第二典型影像拍攝裝置

2．．．固態影像拍攝器件

3-1．．．前級處理區段

3-2．．．前級處理區段

4．．．RAW-RGB轉換處理區段

4-1．．．轉換處理區段

4-2．．．轉換處理區段

5．．．積分值計算處理區段

6．．．白平衡調整處理區段

6-1．．．白平衡調整處理區段

6-2．．．白平衡調整處理區段

7-1．．．放大器

7-2．．．放大器

8．．．合成處理區段

9．．．後級處理區段

10．．．中央處理單元(CPU)

12J．．．合成處理區段

100．．．影像拍攝裝置

100B．．．影像拍攝裝置

100C．．．影像拍攝裝置

100D．．．影像拍攝裝置

100E．．．影像拍攝裝置

100F．．．影像拍攝裝置

100G．．．影像拍攝裝置

100H．．．影像拍攝裝置

100K．．．影像拍攝裝置

100L．．．影像拍攝裝置

100M．．．影像拍攝裝置

110．．．固態影像拍攝器件

120．．．影像處理裝置

120C．．．影像處理裝置

120D．．．影像處理裝置

120K．．．影像處理裝置

120L．．．影像處理裝置

120M．．．影像處理裝置

121．．．前級處理區段

122．．．前級處理區段

123．．．放大器

124．．．放大器

125．．．色閃爍偵測處理區段

125A．．．色閃爍偵測處理區段

125B．．．色閃爍偵測處理區段

125C．．．色閃爍偵測處理區段

125D．．．色閃爍偵測處理區段

126．．．合成處理區段

126G．．．合成處理區段

126H．．．合成處理區段

126I．．．合成處理區段

127．．．RAW-RGB轉換處理區段

127-1．．．RAW-RGB轉換處理區段

127-2．．．RAW-RGB轉換處理區段

127G．．．RAW-RGB轉換處理區段

128．．．積分值計算處理區段

128G．．．積分值計算處理區段

129．．．白平衡調整處理區段

129-1．．．白平衡調整處理區段

129-2．．．白平衡調整處理區段

129G．．．白平衡調整處理區段

129H．．．白平衡調整處理區段

130．．．後級處理區段

131．．．中央處理單元

131C．．．中央處理單元

131D．．．中央處理單元

131G．．．中央處理單元

132．．．記憶體

133．．．記憶體

140．．．白平衡增益計算系統

141．．．乘法器

142．．．乘法器

143．．．加法器

1251．．．RAW-RGB轉換區段

1252．．．條件判定區段

1253．．．RGB積分區段

1254．．．評估值計算區段

1255．．．偵測區段

1256．．．確定度計算區段

1257．．．白平衡增益計算區段

1258．．．靜態/動態判定區段

1259．．．延遲電路

1261．．．RAW-YC轉換處理區段

1261I．．．RAW-YC轉換處理區段

1262．．．RAW-YC轉換處理區段

1262I．．．RAW-YC轉換處理區段

1263．．．選擇器

1264．．．融和比率計算區段

1264H．．．RAW-YC轉換處理區段

1264I．．．RAW-YC轉換處理區段

1264J．．．RAW-YC轉換處理區段

1265．．．乘法器

1265H．．．乘法器

1265I．．．乘法器

1265J．．．乘法器

1266．．．乘法器

1266H．．．乘法器

1266I．．．乘法器

1266J．．．乘法器

1267．．．減法器

1267H．．．減法器

1267I．．．減法器

1267J．．．減法器

1268．．．加法器

1268H．．．加法器

1268I．．．加法器

1268J．．．加法器

1269．．．YC-RAW轉換處理區段

1270．．．靜態/動態判定區段

1270J．．．靜態/動態判定區段

1291．．．乘法器

1292．．．乘法器

1293．．．乘法器

1294．．．減法器

1295．．．加法器

B_gain_Long．．．白平衡增益

B_gain_Short．．．白平衡增益

BLD．．．融和比率

CR_Est_B．．．B色彩之評估值

CR_Est_R．．．R色彩之評估值

CSEL．．．C分量選擇信號

DVA．．．區域

FLG．．．旗標

FLGLS．．．長/短曝光時間選擇旗標

G_gain_Long．．．白平衡增益

G_gain_Short．．．白平衡增益

LV_TH．．．臨限值

NZN．．．無作用區

OS1．．．光源

OS2．．．光源

PXLE．．．長曝光時間影像

PXMX．．．融和區域

PXSE．．．短曝光時間影像

R_gain_Long．．．白平衡增益

R_gain_Short．．．白平衡增益

RAW_Long．．．RAW資料

RAW_Short．．．RAW資料

Sum_B_Long．．．積分結果

Sum_B_Short．．．積分結果

Sum_G_Long．．．積分結果

Sum_G_Short．．．積分結果

Sum_R_Long．．．積分結果

Sum_R_Short．．．積分結果

TH_max．．．上限臨限值

TH_min．．．下限臨限值

WBG_B．．．最終白平衡增益

WBG_B_Long．．．白平衡增益

WBG_B_Short．．．白平衡增益

WBG_G．．．最終白平衡增益

WBG_G_Long．．．白平衡增益

WBG_G_Short．．．白平衡增益

WBG_R．．．最終白平衡增益

WBG_R_Long．．．白平衡增益

WBG_R_Short．．．白平衡增益

圖1係展示產生具有一寬動態範圍之一影像所需之影像之感測器輸出與光量之間的關係之一概念圖；

圖2係展示用於彼此單獨地實施對藉由利用短曝光時間光拍攝之一影像之白平衡調整處理及對藉由利用長曝光時間光拍攝之一影像之白平衡調整處理之一第一典型影像拍攝裝置之一方塊圖；

圖3係展示用於彼此單獨地實施對藉由利用短曝光時間光拍攝之一影像之白平衡調整處理及對藉由利用長曝光時間光拍攝之一影像之白平衡調整處理之一第二典型影像拍攝裝置之一方塊圖；

圖4充當展示根據本發明之一第一實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖以及展示其中在後級處實施白平衡調整處理之一典型組態之一方塊圖；

圖5展示表示根據第一實施例之偵測色閃爍之處理之一流程圖；

圖6展示表示對R、G及B像素值進行積分之處理之一流程圖；

圖7係欲在闡述用於針對其中不考量一雜訊邊限之一情形規定一像素值積分範圍之一方法時參考之一概念圖；

圖8係欲在闡述用於針對其中考量一雜訊邊限之一情形規定一像素值積分範圍之一方法時參考之一概念圖；

圖9係展示一短曝光時間影像之一R/G比率及一B/G比率之一概念圖；

圖10係展示一長曝光時間影像之一R/G比率及一B/G比率之一概念圖；

圖11係展示藉由利用方程式而獲得之典型色閃爍評估值之一圖式；

圖12係在闡述一典型色閃爍判定方法時參考之一闡釋性圖；

圖13係展示一色閃爍偵測處理區段之一典型組態之一方塊圖；

圖14展示表示色閃爍偵測及確定度計算處理之一流程圖；

圖15係欲在闡釋用於計算偵測到色閃爍之確定度之一方法時參考之一圖式；

圖16係展示偵測到色閃爍之確定度之一圖式；

圖17係欲在闡釋用於計算偵測到色閃爍之確定度之另一方法時參考之一圖式；

圖18係展示用於計算短曝光時間影像及長曝光時間影像之不同最終白平衡增益之一白平衡增益計算系統之一圖式；

圖19係欲在闡述用於計算一融和比率α之一方法時參考之一闡釋性圖；

圖20係展示用於計算短曝光時間影像及長曝光時間影像之不同最終白平衡增益之另一白平衡增益計算系統之一圖式；

圖21係展示具有抑制色閃爍之一功能之一色閃爍偵測處理區段之一典型組態之一方塊圖；

圖22係展示根據本發明之一第二實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖23展示表示根據第二實施例之偵測色閃爍之處理之一流程圖；

圖24係展示根據第二實施例之一色閃爍偵測處理區段之一典型組態之一方塊圖；

圖25展示表示根據本發明之一第三實施例之針對其中將R、G及B積分值之靜態/動態判定包含為一額外條件之一情形之處理之一流程圖；

圖26係展示根據第三實施例之具備一靜態/動態判定功能之一色閃爍偵測處理區段之一典型組態之一方塊圖；

圖27展示表示根據本發明之一第十四實施例之對評估值進行積分替代對R、G及B積分值進行積分之處理之一流程圖；

圖28展示表示針對其中已實施對評估值進行積分之處理之一情形之色閃爍判定處理之一流程圖；

圖29充當欲在根據本發明之一第五實施例闡述其中實施分割一色閃爍偵測區域之處理之一情形時參考之一闡釋性圖以及展示其中存在複數個光源之一典型情況之一圖式；

圖30係欲在根據第五實施例闡述其中實施分割一色閃爍偵測區域之處理之一情形時參考之一闡釋性圖；

圖31係展示根據本發明之一第六實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖32係展示根據本發明之一第七實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖33係展示根據本發明之一第八實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖34係展示根據本發明之一第九實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖35係展示根據本發明之一第十實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖36係展示根據第十實施例之選用一合成方法來抑制於一融和區域中產生之一假色彩之一合成處理區段之一典型組態之一方塊圖；

圖37展示表示根據第十實施例之判定一長/短曝光時間選擇旗標之值之處理之一流程圖；

圖38A及圖38B係欲在根據第一實施例闡釋為何可抑制於一融和區域中產生之一假色彩之一原因時參考之複數個概念圖；

圖39係展示根據本發明之一第十一實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖40係展示根據第十一實施例之將一合成方法應用於所拍攝影像以抑制於一融和區域中產生之一假色彩之一合成處理區段之一典型組態之一圖式；

圖41係展示根據第十一實施例之將一合成方法應用於白平衡增益以抑制於一融和區域中產生之一假色彩之一白平衡調整處理區段之一典型組態之一圖式；

圖42A及圖42B係欲在闡釋為何可藉由利用根據第十一實施例提供之合成處理區段及白平衡調整處理區段來抑制於一融和區域中產生之一假色彩之一原因時參考之複數個概念圖；

圖43展示表示根據本發明之一第十二實施例之計算一融和比率之處理之一流程圖；

圖44係展示根據第十二實施例具備充當圖36中所展示之合成處理區段之一修改的一靜態/動態判定功能之一合成處理區段之一典型組態之一方塊圖；

圖45係展示根據第十二實施例具備充當圖40中所展示之合成處理區段之一修改的一靜態/動態判定功能之一合成處理區段之一典型組態之一方塊圖；

圖46係展示根據本發明之一第十三實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；

圖47係展示根據本發明之一第十四實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖；及

圖48係展示根據本發明之一第十五實施例之採用一影像處理裝置之一影像拍攝裝置之一典型組態之一方塊圖。