TWI491214B - 影像擷取裝置及控制影像擷取裝置的方法 - Google Patents

Description

影像擷取裝置及控制影像擷取裝置的方法

本發明的範例是係關於能夠施行多重曝光拍攝的影像擷取裝置，以及控制影像擷取裝置的方法。

在影像擷取裝置使用影像拾取元件中，像是CMOS影像感測器，固定型式雜訊從影像拾取元件的讀取電路中出現。如藉由降低此固定型式雜訊以獲得高品質影像的方法，係有一般知悉用於藉由影像資料減去預存資料以校正固定型式雜訊的方法。舉例來說，PTL 1揭露了視拍攝條件而定之藉使用預存一維資料以校正影像之固定型式雜訊的方法。

引證列舉 專利文獻

PTL 1：日本專利公開號第2003-333434號。

然而，PTL 1並未特別提到對於校正多重曝光拍攝的特徵固定型式雜訊之方法，其中影像擷取裝置使用像是上述的影像拾取元件，擷取及相加複數個影像以致使產生結合影像。

據此，本發明目標的範例係提供藉降低在多重曝光拍攝中的雜訊而能夠獲得高品質多重曝光影像的影像擷取裝置。

發明摘要

針對此端，在本發明一範例中，影像擷取裝置包括影像拾取器設定以擷取主體影像與輸出影像資料；影像處理器設定以對輸出自影像拾取器的影像資料施行影像處理；結合器設定以結合複數個影像資料片斷；校正器設定以校正結合的曝光影像資料；以及控制器設定以施行控制以致使影像拾取器在影像拾取器曝露至光線下的影像拾取元件施行影像擷取，從而獲得複數個曝光影像資料片斷，影像處理器對複數個曝光影像資料片斷進行影像處理，結合器結合輸出自影像處理器的複數個曝光影像資料片斷以致產生結合的曝光影像資料，影像拾取器不以影像拾取元件曝露至光線下來施行影像擷取，從而獲得複數個黑暗影像資料片斷，結合器使用複數個黑暗影像資料片斷以產生一個片斷的黑暗參考影像資料，影像處理器對一個片斷的黑暗參考影像資料施行影像處理，其使用基於在複數個曝光影像資料片斷的每個中施行之影像處理參數的參數，並且輸出對應至複數個曝光影像資料片斷之複數個處理過的黑暗影像資料片斷，結合器結合輸出自影像處理器之處理過的複數個黑暗影像資料片斷以致產生結合的黑暗影像資料，並且校正器校正依據結合的黑暗影像資料之結合的曝光影像資料。

亦同樣在本發明範例中，控制影像擷取裝置的方法包括：以影像拾取元件曝露至光線以施行影像擷取的第一影 像擷取步驟，從而獲得複數個曝光影像資料片斷；對複數個曝光影像資料片斷施行影像處理的第一影像處理步驟；結合複數個曝光影像資料片斷以致產生結合的曝光影像資料的第一結合步驟；不將影像擷取元件曝露至光線來施行影像擷取的第二影像擷取步驟，從而獲得複數個黑暗影像資料片斷；使用複數個黑暗影像資料片斷以產生一片斷的黑暗參考影像資料的產生步驟；對一片斷的黑暗參考影像資料施行影像處理的第二影像處理步驟，其使用對複數個曝光影像資料片斷的每個中施行第一影像處理之參數的參數，以及輸出對應於複數個曝光影像資料片斷的複數個處理過的黑暗影像資料片斷；結合複數個處理過的黑暗影像資料片斷以致產生結合的黑暗的像資料的第二結合步驟；以及校正依據結合的黑暗影像資料之結合的曝光影像資料的校正步驟。

本發明進一步的特徵自下列示範性實施例之說明加以參照所附圖示將變得更顯而易見。

實施例之說明 (第一實施例)

本實施例的特徵係為處理降低在多重曝光拍攝期間由施行多重曝光拍攝而生的雜訊。施行多重曝光拍攝的情形中(其中複數個影像藉加法以結合)，相當於加上影像之數目的校正固定型式雜訊之錯誤(諸如垂直條紋、水平條 紋、缺陷及黑暗蔭影)可累積並且變為可見。舉例來說，若校正累積在施行使用一維水平資料中的錯誤，像是在PTL 1中，在影像中的錯誤則以水平分量黑暗蔭影或垂直條紋顯現。

據此，在本實施例中，黑暗影像藉施行無光拍攝，分別地從在多重曝光拍攝的主要拍攝中獲得的每個曝光影像中獲得。已經歷影像處理的黑暗影像相當於針對對應的曝光影像結合至結合的黑暗影像。結合曝光影像獲得之結合的曝光影像資料減去此結合的黑暗影像的資料，藉以獲得雜訊降低多重曝光影像資料。

本發明的較佳實施例基於所附圖示將詳細說明如下。圖2為說明依據本發明實施例的影像擷取裝置100的全面配置圖。

藉基於來自主體之光的影像拾取透鏡101所形成主體的影像被擷取並且藉影像拾取元件102經歷光電轉換。雖然貝爾圖(Bayer-pattern)CMOS影像感測器在本實施例中用作影像拾取元件102，但影像拾取元件102並不限於此類型並且可為其它圖樣的CMOS感測器、CCD影像感測器等等。光圈103與機械快門104置於影像拾取透鏡101及在拍攝光路徑中的影像拾取元件102之間，並且調整導引至影像拾取元件102的光量。

自影像拾取元件102輸出的類比影影像信號藉AFE(類比前端；Analog Front End)105轉換成數位信號。DSP(數位信號處理器；Digital Signal Processor)106對 輸出自AFE 105的數位影像信號施行各種種類的影像處理。

記錄媒體107儲存在其上的影像資料。顯示單元108顯示擷取影像、各種選單螢幕等等。至於顯示單元108，則使用液晶顯示(LCD)或此類顯示。RAM 109連接至DSP 106，並且暫時儲存影像資料等。

TG(時序產生器；Timing Generator)110供應驅動信號至影像拾取元件102。快門驅動單元111驅動機械快門104。光圈驅動單元112驅動光圈103。CPU 113控制AFE 105、DSP 106、TG 110、快門驅動單元111、光圈驅動單元112及其它單元。

反應於攝影師的操作，快門開關(SW；Shutter Switch)114供應拍攝指令至CPU 113。

圖3為說明DSP 106的內部方塊配置圖。黑暗蔭影校正單元201以影像減去校正值，亦即，水平一維資料，藉此校正水平黑暗蔭影。光學蔭影校正單元202基於在影像中水平或垂直位置(座標)施行增益校正，藉此校正光學蔭影。WB(白平衡；White Balance)處理單元203以增益乘以貝爾圖的R、G1、G2及B像素的每一個，藉此施行白平衡處理。減法處理單元204施行以如後所述的曝光的影像減去黑暗影像的處理。

影像結合單元205在多重曝光拍攝中施行影像結合操作。在本實施例中，假定影像結合單元205藉由相加結合一組數目的影像，藉此產生多重曝光影像。記憶體控制單 元206分別控制影像資料的讀取與寫入以及使用在每個校正方塊中來自及到達RAM 109的校正值。顯影處理單元207對影像資料施行顯影處理，諸如色彩矩陣處理及加瑪(gamma)處理。記錄單元208將已經歷顯影過程的影像資料寫在記錄媒體107上。

此外，增益處理單元209能夠以給定增益乘以影像資料。

圖1為說明在多重曝光拍攝中的影像擷取裝置的操作順序流程圖。

首先，在步驟S301中，各種拍攝條件包括透過攝影師操作以設定在多重曝光拍攝中被結合影像的數目、WB、AE(自動曝光：Auto Exposure)及ISO速度。被結合影像的數目可依據景象判別或模式以自動設定。在此假定設定的被結合影像的數目以N代表。在隨後的步驟S302中，處理在多重曝光拍攝中已擷取影像數目的變數i之值則清除為「1」。接著，在步驟S303中，反應於攝影師的拍攝指令操作而等待快門開關114(SW)的導通。一旦快門開關114(SW)導通，在步驟S304中施行拍攝操作，並且擷取一個影像。拍攝操作的細節將於後進行說明。之後，在步驟S305中，決定是否拍攝操作為多重曝光拍攝的最後(第N個)拍攝。當變數i小於N，拍攝未到達第N個拍攝。藉此，變數i之值在步驟S306中增加。本過程接著回到步驟S303，其中等待下一個拍攝指令(步驟S304至S306：第一影像擷取步驟)。在步驟S305中第N個拍攝的情形中，過程 進行至驟步S307，其中影像結合單元205施行用於加上N個擷取影像的影像結合處理(第一結合步驟)。

在影像結合處理完成後，變數i為了在步驟S308的黑暗中拍攝而再度清除為「1」。隨後，在步驟S309中，施行黑暗中拍攝。黑暗中拍攝的細節將在後說明。在本實施例中，擷取在黑暗中拍攝的影像數目等於如同曝光影像拍攝的數目N。在步驟S310中，檢查變數i之值。假如變數i小於在多重曝光拍攝中擷取影像數目，亦即N，變數i則在步驟S311中增加。將過程回到步驟S309，並且重覆拍攝直到擷取了N個黑暗影像(步驟S309至S311：第二影像擷取步驟)。

黑暗中拍攝重覆了N次後，在步驟S312中藉使用N個黑暗影像產生黑暗校正值。黑暗校正值產生的細節將於後做說明。在步驟S313中，減法處理單元204以在步驟S307中產生的影像減去在步驟S312中產生的黑暗校正值，從而施行偏移校正。透過此校正，降低了固定型式雜訊。

在步驟S314中，顯影處理單元207對經歷減法處理的影像資料施行顯影處理，諸如色彩矩陣處理及加瑪(gamma)處理。此後，在步驟S315中，記錄單元208在記錄媒體107中儲存影像資料。多重曝光拍攝操作接著結束。

接著，步驟S304的拍攝操作之細節將使用圖4繪示的流程圖進行說明。

拍攝操作開始之後，在步驟S401中施行光圈驅動。在光圈驅動中，CPU 113經由光圈驅動電路112驅動光圈103。接著，在步驟S402中，清除在影像拾取元件102中的電荷。依據自CPU 113的指令藉由驅動影像拾取元件102則此操作被TG 110施行。在電荷被清除時，影像拾取元件102進入電荷累積狀態(步驟S403)。

隨影像拾取元件102處於電荷累積狀態，CPU 113經由快門驅動電路111將機械快門104帶至開狀態，並且在步驟S404中開始影像擷取元件102的曝光。在步驟S405中CPU 113等待直到預定時間過去，並且接著經由快門驅動電路111將機械快門104帶至關狀態，而完成影像拾取元件102的曝光。

之後，CPU 113驅動TG110，從而在步驟S407中自影像拾取元件102讀出擷取的影像信號。在步驟S408中，黑暗蔭影校正單元201對所讀取的擷取影像信號施行黑暗蔭影校正。假定水平黑暗蔭影藉減去水平一維資料校正，水平一維資料藉預先對黑暗影像施行投影操作獲得。隨後在步驟S409中，依據座標位置，光學蔭影校正單元202對每個像素信號施行增益校正，從而校正光學蔭影。此時，基於在擷取被校正的影像的拍攝條件下之值則用做校正參數。拍攝條件意味透鏡的縮放位置、影像拾取透鏡的類型、光圈、快門速度、ISO速度、溫度等。

接著在步驟S410中，對光學蔭影校正的影像資料施行用於以增益乘以貝爾圖R、G1、G2及B像素中的每一 個之WB處理。於此，對於每個增益，則使用自關注影像的影像資料或預設值所計算的值(步驟S409至S410：第一影像處理步驟)。

在步驟S411中WB處理影像資料經由記憶體控制單元206儲存至RAM 109。此外，在步驟S412中，上述拍攝條件與WB資料(增益)亦經由記憶體控制單元206儲存在RAM 109中。拍攝操作接著結束。

接著，黑暗中拍攝操作的細節將使用繪示於圖5的流程圖進行說明。在黑暗中拍攝，不以驅動機械快門104施行拍攝以致使影像拾取元件102未曝露於光線下。

首先在步驟S501中，在影像拾取元件102中的電荷則如上述步驟S402般被清除，並且影像拾取元件102進入電累積狀態(步驟S502)。

接下來，等待預定累積周期過去(步驟S503)。接著在步驟S504中，讀出在影像拾取元件102中的擷取的影像信號。如同在步驟S408中對讀出擷取的影像資料施行黑暗蔭影校正。在步驟S506中，校正的影像資料存儲在RAM 109中。黑暗中拍攝操作接著結束。

在黑暗中拍攝施行以預定次數的數目(N次)以致使獲得如同自主要拍攝發生的曝光影像的數目一樣的許多黑暗影像之後，則在步驟S312中產生黑暗校正值。產生黑暗校正值的細節將使用圖6A的流程圖進行說明。

在步驟S601中，用於計算處理的黑暗影像數目的變數i則清除為「1」。

在步驟S602中，拍攝條件與用於在步驟S304中第i個擷取的曝光影像之WB資料係自RAM 109獲得。這些資料片斷已在步驟S412中儲存於RAM 109中。在步驟S603中，在步驟S309中所擷取的第i個黑暗影像資料係經由記憶體控制單元206從RAM 109中獲得。在步驟S604中，對獲得的第i個黑暗影像施行光學蔭影校正處理。此時，基於在步驟S602中讀出的拍攝條件的參數係用做校正參數。在本實施例中，使用如用於在步驟S304中擷取的第i個影像相同的校正參數。然而，參數並不限於這一個而可適當的改變。然而，校正參數係較佳的與用於在步驟S304中擷取的第i個影像相似。在光學蔭影校正處理完成之後，WB處理係施行於步驟S605(步驟S602至S605：第二影像處理步驟)。在此情形下，如乘以貝爾圖的每一個像素的增益(WB資料)，基於在步驟S602讀出的拍攝條件之增益則被使用。在本實施例中，使用了與用於在步驟S304中擷取的第i個影像相同的增益。然而，增益並非限定於這一個而可適當的改變。在步驟S606中，檢查變數i的值。假如此值還未達到N(亦即多重拍攝影像的數目)，在步驟S607中增加此值。接著，將過程回到步驟S602，其中對下一個黑暗影像施行相似的處理。如此一來，在校正與WB處理已施行使用與那些用於N個對應在步驟S304中擷取的曝光影像相同的參數而產生N個黑暗影像。

在步驟S608中，影像結合單元205施行用於加上N 個黑暗影像的結合處理，從而產生結合的黑暗影像資料。

圖6B繪示對本實施例的影像施行處理順序。厚框代表影像資料。範例說明假定多重拍攝影像數目N為3。每一個曝光影像1至3及黑暗影像1至3係說明如在已施行黑暗蔭影校正處理中的影像。在圖6B中的光學蔭影校正處理與WB校正處理則分別在光學蔭影校正單元202與WB處理單元203中施行。此外，減法處理係施行在減法處理單元204中。

如上所述，在本實施例中，黑暗影像各自從在多重曝光拍攝中擷取的每一個曝光影像中進行擷取。對應至曝光影像並且在影像處理相當於用於已施行對應的曝光影像中產生影像。以藉由結合自主要拍攝發生的曝光影像所獲得的結合的曝光影像資料減去藉由結合那些影像所獲得的結合的黑暗影像資料。

透過此處理順序，由於在多重曝光拍攝中結合影像而惡化的固定型式雜訊(諸如垂直條紋、水平條紋、缺陷及蔭影)可藉校正而降低並可獲得高品質多重曝光影像。

只有與多重拍攝影像數目相同的黑暗影像數目，亦即N，才是需要的。當N為小，只需要用於黑暗中拍攝的短暫周期時間並且對於攝影師的操作性並未明顯的降低。此外，關於計算處理時間與在計算期間記憶體(RAM 109的)使用上，結合黑暗影像只需要與曝光影像結合處理實質上相同的周期時間與實質上相同的記憶體使用。

為防止過度校正，在黑暗校正值乘以校正係數K(k 小於等於1)之後，可對結合的曝光影像施行減法處理。當施行時，可設定成在步驟S608的影像結合處理之後校正係數k在增益處理單元209中進行乘法。

進一步來說，在黑暗中拍攝的累積周期可與用於曝光影像中的不同。較短的累積周期，用於黑暗中拍攝的時間更進一步縮短並且對於攝影師的操作性更進一步的改善。

相反的，在黑暗中拍攝的累積周期可相等於用於曝光影像中的。在此情況下，由於影像拾取元件102的暗電流造成之雜訊亦可校正與降低。

此外，本說明已給予假定同樣影像數目(N)結合在結合黑暗影像及在結合曝光的像之中。然而，被結合的影像數目在曝光影像與黑暗影像之間可不相同。舉例來說，當一些被結合的曝光影像已經歷過使用與本發明相似的方法進行校正處理，那些影像的校正則非必要並且可刪去在黑暗影像結合處理中對應的黑暗影像。

(第二實施例)

在第一實施例中，校正多重曝光影像的S/N比因每個像素的隨機雜訊的影響(具有在時間上隨機波動的雜訊信號位準之雜訊)可能會減少。據此，第二實施例的特徵係在於對獲得的黑暗影像施行投影操作處理，從而降低了隨機雜訊的影響並且防止減少S/N比。

第二實施例不同於第一實施例之處在於DSP 106的內部方塊與產生黑暗校正值的過程。圖7依據本實施例的 DSP 106的內部方塊配置說明圖。投影操作單元210在垂直方向上以行行為基礎以對影像資料算出平均(其中像素信號以矩陣形式配置)，從而產生用於一行的投影資料。

圖8A繪示本實施例步驟S312中產生黑暗校正值的細節的流程圖。投影操作單元210對在步驟S608中產生之結合的黑暗影像資料施行投影操作處理，從而暫時的針對一行轉換影像資料至投影資料(步驟S620)。下一步在步驟S621中，如影像行數一樣多的次數複製一維資料，從而一維資料轉換至二維資料。黑暗校正值的產生接著結束。圖8B繪示對本實施例的影像施行的處理順序。

在本實施例中，由於每個行的平均於步驟S620的投影操作處理中計算，可降低隨機雜訊的影響並且可抑制多重曝光拍攝影像的S/N比之減少。

如上所述，在本實施例中，個別從在多重曝光拍攝中擷取的曝光影像中擷取黑暗影像。藉對黑暗影像之相加的影像施行投影操作而產生參考影像。基於所產生的參考影像，以產生對應至曝光影像的影像並且已經歷相當於用於對應的曝光影像的影像處理。以藉結合自主要拍攝發生的曝光影像獲得的結合的曝光影像資料減去藉結合那些影像所獲得的結合的黑暗影像資料。如此一來，可降低諸如垂直條紋與在多重曝光拍攝的水平黑暗蔭影之惡化。然而，不似第一實施例，在垂直方向上波動的雜訊成分，諸如缺陷及水平條紋，則無法降低。

雖然步驟S620中的投影操作處理在此為垂直方向上 的投影，明顯的此可為水平方向上的投影。在此情形下，可降低的雜訊成分為水平條紋與垂直黑暗蔭影。

亦在本實施例中，為防止過度校正，在以校正係數k(k小於等於1)乘上黑暗校正值之後可對結合的曝光影像施行減法處理。當施行時，可設定在步驟S608的影像結合處理之後，校正係數k在增益處理單元209中進行乘法。

此外，在本實施例中，步驟S620的投影操作處理應用至藉相加獲得的結合的黑暗影像資料。然而，此配置並未限定於此一項，而可對在步驟S605的WB處理之後的每個黑暗影像資料或是在步驟S604的光學蔭影校正處理之前的每個黑暗影像資料施行投影操作處理。在這些情形下，在步驟S608施行影像結合處理以致已轉換至一維資料(一維影像資料)的黑暗影像資料則安排以如一個螢幕行數一樣多的次數以致形成用於一個螢幕的黑暗影像資料。由於這些方法需要如擷取影像數目一樣多次數的投影操作處理，故增加了操作負載。然而，特別當投影操作處理施行於光學蔭影校正處理之前時，投影操作處理並未損害光學蔭影校正處理的垂直校正分量。藉此，已經歷影像處理的黑暗影像相當於可產生用於曝光的影像。

舉例來說，在黑暗中拍攝的累積周期可與用於曝光影像的不相同。累積周期愈短，用於黑暗中拍攝的時間可更加縮短並且對於攝影師的操作性更可改善。

相反的，在黑暗中拍攝的累積周期可相當於用於曝光 影像的。在這情形下，亦可校正及降低由於影像拾取元件102的暗電流造成的雜訊。

此外，本說明已給予假定擷取的與在黑暗中拍攝結合的影像數目與結合的曝光影像數目(N)相同。然而，影像數目並不需要相同。舉例來說，當已經早就對一些使用相似本發明的方法結合的曝光影像施行校正處理時，用於這些影像的校正是不需要的並且可刪除在黑暗影像拍攝及結合處理中對應的黑暗影像。

(第三實施例)

在第一實施例中，校正的多重曝光影像之S/N比因每個像素的隨機雜訊(具有在時間上隨機波動的雜訊信號位準之雜訊)的影響可能會減小。據此，第三實施例的特徵在於個別從在主要拍攝中擷取的(N個)曝光影像得到M個黑暗影像並且藉相加至黑暗參考影像結合那些黑暗影像，從而隨機雜訊的影響降低並且防止S/N比的減少。

請注意，整個影像擷取裝置的配置及DSP 106的內部方塊分別與圖2及圖3中繪示的第一實施例的那些相同。在第三實施例中，步驟S310的預定值設為等於M，其獨立於圖1繪示的影像擷取裝置之操作順序中主要拍攝上擷取的曝光影像數目(N)。

此外，產生步驟S312的黑暗校正值的處理與第一實施例中的不相同，並且其流程圖繪示於圖9A。

首先，在步驟S601中，M個在黑暗中拍攝擷取的影 像相加在影像結合單元205中，從而產生黑暗參考影像。在步驟S602中，用於計數施行在步驟S601產生的黑暗參考影像之處理次數數目的變數i則清為「1」。

在步驟S603中，從RAM 109中獲得拍攝條件與用於在步驟S304擷取的第i個影像之WB資料。這些資料片斷已在步驟S412中儲存在RAM 109中。在步驟S604中，對黑影參考影像施行光學蔭影校正處理。此時，基於在步驟S603中讀出的拍攝條件之參數用做校正參數。在本實施例中，使用與用於在步驟S304中擷取的第i個影像相同的校正參數。惟參數並不限於此一項並可適當的改變。然而，校正參數係較佳的與用於在步驟S304擷取的第i個影像相似。在光學蔭影校正處理完成後，在步驟S605中施行WB處理(步驟S602至S605：第二影像處理步驟)。在此情形下，基於在步驟S603中讀出的拍攝條件之增益用做以貝爾圖的每個像素進行相乘的增益(WB資料)。在本實施例中，使用與用於在步驟S304中擷取的第i個影像相同的增益。惟增益並不限於此一項並可適當的改變。在步驟S606中，檢驗變數i的值。若值並未到達N，亦即多重拍攝影像數目，則值在步驟S607中增加。接著，將過程回到步驟S603，其中再次重覆對在步驟S601中產生的黑暗參考影像之相似的處理。如此一來，N個黑暗影像產生於校正及WB處理已施行使用與用於N個在步驟S304中擷取之對應的曝光影像相同的參數。

在步驟S608中，N個黑暗影像相加在影像結合單元205中，從而施行結合處理。在其後的步驟S609中，已經歷結合處理的影像資料乘以在增益處理單元209中的1/M，從而產生黑暗校正值。

於此，對藉加上M個影像獲得的黑暗參考影像資料施行步驟S603至S608的處理並且接著將此結果除以M，從而可實質上增加S603至S608的操作正確性並且可增加多重曝光拍攝影像的校正正確性。

圖9B繪示對本實施例的影像施行處理順序。厚框代表影像資料。範例說明以假定多重拍攝影像數目N為3並且黑影拍攝影像數目M為4。曝光影像1至3與黑暗影像1至4中的每一個以在已施行的黑暗蔭影校正處理的影像做說明。光學蔭影校正處理與WB校正處理分別的施行在光學蔭影校正單元202與WB處理單元203中。此外，在減法處理單元204中施行減法處理。

如上所述，在本實施例中，黑暗影像個別擷取自在多重曝光拍攝中擷取的曝光影像。藉加上黑暗影像產生參考影像。基於產生的參考影像而產生影像，其對應至曝光影像並且其中影像處理相當於用於已施行對應的曝光影像。以藉結合由主要拍攝產生的曝光影像獲得的結合的曝光影像資料減去藉結合那些影像獲得的結合的黑暗影像資料。如此一來，由於在多重曝光拍攝中結合影像惡化的固定型式雜訊(諸如垂直條紋、水平條紋、缺陷及蔭影)可藉校正而降低並且可獲得高品質多重曝光影像。

在本實施例中，像是光學蔭影校正的影像校正與WB處理施行在M個黑暗影像相加之後，並且然後將此結果除以M，從而可降低隨機雜訊的影響並且亦可正確計算校正資料。黑暗中拍攝影像的數目愈大，降低隨機雜訊的影響效果愈大並且計算校正資料的正確性愈高。

由於可獲得隨機雜訊降低效果與計算正確性的改善效果，較大的「M」(其代表相加的黑暗影像的數目)是更令人滿意的。然而，此實施例可藉設定M為1來施行。當M為小時，用於黑暗中拍攝的時間短暫。藉此，可縮短攝影師的等待時間並且改善操作性。

此外，在黑暗中拍攝的累積周期與用於曝光影像的不同。累積周期愈短，用於黑暗中拍攝的時間更可縮短並且更可改善攝影師的操作性。

相反的，在黑暗中拍攝的累積周期可相當於用於曝光影像中的。在這情形下，亦可校正及降低由於影像拾取元件102的暗電流造成的雜訊。

此外，本說明已給予假定同樣數目的影像(N)結合在結合的黑暗影像中及在結合曝光影像中。然而，結合的影像數目在曝光影像與黑暗影像之間可不相同。舉例來說，當一些被結合的曝光影像已經歷使用相似於本發明的方法校正處理時，則不需要那些影像的校正並且在黑暗影像結合處理中可刪去對應的黑暗影像。

(第四實施例)

由於當黑暗中拍攝影像的數目M為小時的每個像素隨機雜訊的影響並未完全消除，所以在第三實施例中無法有效的改善校正多重曝光影像的S/N比。據此，第四實施例的特徵在於除了在第三實施例中施行的處理外對獲得的黑暗參考影像施行投影操作處理，從而降低隨機雜訊的影響以及防止在S/N比的減少。

請注意，整個影像擷取裝置的配置與繪示於圖2的第一實施例中的相同，並且DSP 106的內部方塊與繪示於圖7的第二實施例中的相同。在第四實施例中，步驟S310的預定值設為與M相同，其獨立於圖1繪示之影像擷取裝置的操作順序中在主要拍攝擷取的曝光影像的數目(N)。

此外，產生步驟S312的黑暗校正值的處理不同於第一實施例，並且圖10A說明其流程圖。

投影操作單元210對在步驟S601中產生的相加的黑暗影像施行投影操作處理以致使暫時的轉換影像至用於一條水平線的投影資料(一維資料)(步驟S620)。接續著處理自步驟S602的處理。在一維資料相繼的輸入至光學蔭影校正單元202後，每一條相繼的輸入線乘以校正增益，其判定以並且乘以曝光影像的對應線。在WB處理單元203中的校正處理以相似的方式施行。在產生用於一個螢幕的處理的黑暗影像資料之後，校正處理基於用於下一個曝光影像第一條線的參數而將其施加至下一次一維資料輸入。將此結果接著加至用於先前螢幕的第一條線之處理 的黑暗影像資料。藉由這樣重複，藉結合與結合的影像數目一樣多片斷的處理的黑暗影像資料產生結合的黑暗影像資料。然而，本發明並不限於此配置。在藉將一維資料複製如線的數目一樣多次來將一維資料暫時的轉換至二維影像資料之後可施行光學蔭影校正處理。

圖10B繪示施行在本實施例影像的處理順序。

由於每行的平均在本實施例步驟S620的投影操作處理中計算，可降低隨機雜訊的影響並且可抑制多重曝光拍攝影像的S/N比的減少。

如上所述，在本實施例中，黑暗影像個別擷取自在多重曝光拍攝中擷取的曝光影像。藉對黑暗影像的相加的影像施行投影操作產生參考影像。基於產生的參考影像，產生對應至曝光影像的影像並且產生在相當於用於對應已施行的曝光影像之影像處理中。以藉結合主要拍攝產生的曝光影像獲得的結合的曝光影像資料減去藉結合那些影像獲得的結合的黑暗影像資料。

這樣一來，可降低像是垂直條紋及在多動曝光拍攝中的水平黑暗蔭影之惡化。然而，不似第三實施例，在垂直方向上波動的雜訊分量，諸如缺陷及水平條紋則未降低。然而，即使當擷取的黑暗影像數目M為小，可降低隨機雜訊的影響並且可藉對相加的黑暗影像施行投影操作防止校正影像的S/N比減小。此外，當取決於位置(座標)而應用不同的校正時，藉對藉由轉換投影資料至二維資料獲得的影像施行光學蔭影校正處理可正確的校正固定型式雜 訊。

雖然步驟S620的投影操作處理在此係為垂直方向上的投影，其明顯的可為在水平方向上的投影。在此情形下，可降低的雜訊分量係為水平條紋及垂直蔭影。

舉例來說，由於要獲得隨機雜訊降低效果及計算正確改善效果，較大的「M」(代表相加的黑暗影像的數目)是較令人滿意的。然而，本實施例可藉設定M至1來施行。當M為小時，用於黑暗中拍攝的時間為短。藉此，可縮短攝影師等待時間及可改善操作性。

此外，在黑暗中拍攝的累積周期可不同於用於曝光影像的。累積周期愈短，用於黑暗中拍攝的時間更可縮短並且更可改善針對攝影師的操作性。

相反的，在黑暗中拍攝的累積周期可與用於曝光影像的相等。在此情形下，由於影像拾取元件102的暗電流所生的雜訊亦可校正及降低。

此外，本說明已給予假定同樣數目的影像(N)在結合的黑暗影像與在結合曝光影像中的相同。然而，在曝光影像與黑暗影像之間被結合的影像數目可不相同。舉例來說，當一些被結合的曝光影像已使用相似於本發明的方法經歷較正處理，則不需要那些影像的校正並且在黑暗影像結合處理中可刪去對應的黑暗影像。

(第五實施例)

在第一實施例中，可校正水平與垂直固定型式雜訊但 是隨機雜訊的影響是大的。在第四實施例中，藉加上M個黑暗影像可校正隨機雜訊並且施行投影操作，但是水平或垂直的固定型式雜訊校正已被放棄。

據此，第五實施例的特徵在於使用黑暗影像產生黑暗校正值的處理係從上述兩種取決於多重曝光拍攝的拍攝設定之處理來選擇。

假定整個影像擷取裝置的配置與圖2繪示之第一實施例中的相同，並且DSP 106的內部方塊與圖7繪示之第二實施例中的相同。亦即，產生在第一實施例中的步驟S312之黑暗校正值的處理及產生第四實施例中的步驟S312的黑暗校正值的處理兩者皆可實現。

用於使用在產生黑暗校正值處理選擇中的特定拍攝條件包括被結合的影像數目，ISO速度及影像拾取元件102的溫度。舉例來說，當被結合影像數目為預定值或更小時，選擇在第四實施例中產生黑暗校正值的處理(處理A)，其善於校正隨機雜訊。另一方面，當被結合的影像數目超過預定值時，選擇在第一實施例中產生黑暗校正值的處理(處理B)，其能夠校正垂直與水平固定型式雜訊。此外，當ISO速度小於或等於預定值時，選擇處理A。當ISO速度超過預定值(亦即ISO 1600)時，選擇處理B。或者，當影像拾取元件102的溫度等於或底於預定溫度，選擇處理A。當溫度超過預定溫度時，選擇處理B。此外，可藉結合這些條件決定處理。舉例來說，用於決定被結合影像，ISO速度及影像拾取元件的溫度的三維 矩陣中之處理A或B的表可創造或使用以判定處理。影像拾取元件102的溫度可藉使用溫度計(未繪示)測量在影像拾取元件附近的空氣溫度來評估。

當對在步驟S301的拍攝條件設定時，選擇黑暗校正值處理。亦即，一但上述被結合影像的數目，ISO速度，影像拾取元件102的溫度等設為拍攝條件時，則施行前述的判定並且依據設定的拍攝條件決定處理A或B。若決定了處理A或B，則唯一的決定了擷取的黑暗影像數目及黑暗校正值處理。

如上所述，在本實施例中，黑暗影像個別擷取自在多重曝光拍攝中擷取的曝光影像。藉對黑暗影像的相加的影像施行投影操作以產生參考影像。基於產生的參考影像產生影像，其對應至曝光影像並且其在已施行相當於對應的曝光影像之影像處理上。以藉由結合自主要拍攝發生的曝光影像所獲得的結合的曝光影像資料減去藉由結合那些影像所獲得的結合的黑暗影像資料。或者，黑暗影像個別擷取自在多重曝光拍攝中擷取的曝光影像。從黑暗影像中，產生影像其對應至曝光影像並且在已施行相當於用於對應的曝光影像的影像處理上。以藉由結合自主要拍攝發生的曝光影像所獲得的結合的曝光影像資料減去藉結合那些影像所獲得的結合的黑暗影像資料。藉由依據拍攝條件選擇的施行上述兩種處理，可施行適於拍攝條件的雜訊校正。

當本發明較佳的實施例已說明如上，本發明並不限於這些實施例並且在其意思範圍內能夠進行各種修改及變 化。

舉例來說，由於要獲得隨機雜訊降低效果及計算正確改善效果，較大的「M」(其代表相加的黑暗影像數目)是較令人滿意的。然而本實施例可施行將M設為1。當M為小時，用於黑暗中拍攝的時間為短。藉此，可縮短攝影師的等待時間並且改善操作性。

此外，在黑暗中拍攝之中的累積周期可與用於曝光影像中的不同。累積周期愈短，可更縮短用於黑暗中拍攝的時間並且更可改善對攝影師的操作性。

相反的，在黑暗中拍攝之中的累積周期可與用於曝光影像中的相同。在此情形中，亦可校正與降低由於影像拾取元件102的暗電流而生的雜訊。

也同樣的，為防止過度校正，在黑暗校正值乘以校正係數k(k小於或等於1)之後，可對結合的曝光影像施行減法處理。當施行此時，將在增益處理單元209中相乘的增益設至k/M。

此外，本說明已給予假定同樣影像的數目係結合在結合黑暗影像及在結合曝光影像中。然而，在曝光影像與黑暗影像之間被結合的影像數目可不相同。舉例來說，當被結合的一些曝光影像已先前經歷使用相似於本發明的方法之校正處理時，則不需要那些影像的校正並且在黑暗影像結合處理中可刪去對應的黑暗影像。

此外，在本實施例中，如在介於其中交換產生黑暗校正值的處理之處理A與處理B，使用了在第一實施例中的 處理及在第四實施例中的處理。然而，本發明並不限於此配置。產生揭露在第一與第三實施例中的黑暗校正值之處理能夠校正水平與垂直固定型式雜訊，但是隨機雜訊的影響是大的。產生揭露在第二及第四實施例中的黑暗校正值之處理能夠藉加入M個黑暗影像以校正隨機雜訊，但是必須放棄水平或垂直固定型式雜訊的校正。亦即，產生揭露在第一或第三實施例的黑暗校正值之處理可用以如前述的處理B，而產生在揭露於第二或第四實施例的黑暗校正值之處理可使用如處理A。

此外，在每個上述的實施例中，透過在曝光影像資料的拍攝期間之拍攝而獲得黑暗影像資料。然而，用於獲得黑暗影像資料的方法並不限於此一項，而可獲得在出貨時預存在記憶體中的黑暗影像資料。此黑暗影像資料可在出貨前施行拍攝產生或是從各種條件下計算出來。

(其它實施例)

亦可從下列方式達成本發明範例的物件。詳細而言，在其中寫入用於實現每一個上述實施例的功能的程序中軟體之儲存程式碼的儲存媒體則供應至系統或裝置。系統或裝置的電腦(或CPU，MPU等)讀出及執行儲存在儲存媒體中的程式碼。

在此情形下，從儲存媒體讀出的程式碼可實現一些本發明的新穎功能，並且程式與儲存程式碼的儲存媒體構成本發明的範例。

此外，用於供應程式碼的儲存媒體之範例包括軟性磁碟、硬碟、光碟及磁光碟。亦能夠使用CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM,DVD-RW、DVD-R、磁帶、非揮發性記憶卡，ROM等。

藉由致能電腦以執行讀出的程式碼，實現每一個上述實施例的功能。本發明的範例更包括操作在電腦中的OS(作業系統；operating system)或是相似施行的部分或是依據程式碼的指令實際處理的整體的情形，並且透過處理實現每一個上述實施例的功能。

再者，亦包括下列情形。從儲存媒體讀出的程式碼第一次寫入包括在插入電腦的功能擴充板或是在連接至電腦的功能擴充單元的記憶體中。接著，包括在功能擴充板或功能擴充單元的CPU或類似元件對依據程式碼的指令施行部分或整體的實際處理。

本發明並不限於上述實施例並且在不與本發明的精神或範圍悖離之下能夠進行各種的修改及變化。據此，下列申請專利範圍附加以闡明本發明的範圍。

依據本發明的範例，可提供藉降低在多重曝光拍攝中的固定型式雜訊(諸如垂直條紋、水平條紋，缺陷及黑暗蔭影)，影像擷取裝置能夠獲得高品質多重曝光影像。

當本發明已參照示範性實施例進行說明，可以了解本發明並不限於揭露的示範性實施例。下列申請專利範圍的範圍係依據最廣之解釋以包含所有如是的修改及等效結構及功能。

100‧‧‧影像擷取裝置

101‧‧‧影像拾取透鏡

102‧‧‧影像拾取元件

103‧‧‧光圈

104‧‧‧機械快門

105‧‧‧AFE(類比前端)

106‧‧‧DSP(數位信號處理器)

107‧‧‧記錄媒體

108‧‧‧顯示單元

109‧‧‧RAM(隨機存取記憶體)

110‧‧‧TG(時序產生器)

111‧‧‧快門驅動單元

112‧‧‧光圈驅動單元

113‧‧‧CPU(中央處理單元)

114‧‧‧快門開關(SW)

201‧‧‧黑暗蔭影校正單元

202‧‧‧光學蔭影校正單元

203‧‧‧白平衡(WB)處理單元

204‧‧‧減法處理單元

205‧‧‧影像結合單元

206‧‧‧記憶體控制單元

207‧‧‧顯影處理單元

208‧‧‧記錄單元

209‧‧‧增益處理單元

210‧‧‧投影操作單元

圖1為本發明實施例的多重曝光拍攝操作之流程圖。

圖2為本發明實施例的影像擷取裝置之全面配置圖。

圖3為使用在第一實施例的DSP之方塊圖。

圖4為本發明實施例的拍攝操作之流程圖。

圖5為本發明實施例的黑暗中拍攝操作之流程圖。

圖6A為第一實施例的影像處理流程圖。

圖6B為第一實施例的影像處理流程圖。

圖7為使用在第二實施例的DSP之方塊圖。

圖8A為第二實施例的影像處理流程圖。

圖8B為第二實施例的影像處理流程之圖。

圖9A為第三實施例的影像處理流程圖。

圖9B為第三實施例的影像處理流程之圖。

圖10A為第四實施例的影像處理流程圖。

圖10B為第四實施例的影像處理流程之圖。

Claims (13)

1. 一種影像擷取裝置，包含：一影像拾取器，設定以擷取一主體之影像及輸出影像資料；一影像處理器，設定以對輸出自該影像拾取器的影像資料施行影像處理；一結合器，設定以結合複數個影像資料片斷；一校正器，設定以校正結合的曝光影像資料；以及一控制器，設定以施行控制以致該影像拾取器以該影像拾取器的一影像拾取元件曝露至光線下施行影像擷取，從而獲得複數個曝光影像資料片斷，該影像處理器對複數個曝光影像資料片斷施行影像處理，該結合器結合輸出自該影像處理器的該複數個曝光影像資料片斷以致產生結合的曝光影像資料，該影像拾取器不以該影像拾取元件曝露至光線下施行影像擷取，從而獲得複數個黑暗影像資料片斷，該結合器藉使用該複數個黑暗影像資料片斷產生一個黑暗參考影像資料片斷，該器影像處理器對一個片斷的黑暗參考影像資料施行影像處理，其使用基於在複數個曝光影像資料片斷的每個中施行的影像處理參數之一參數，並且輸出對應至該複數個曝光影像資料片斷之複數個處理過的黑暗影像資料片斷， 該結合器結合輸出自該影像處理器的該複數個處理過的黑暗影像資料片斷以致產生結合的黑暗影像資料，以及該校正器基於該結合的黑暗影像資料校正該結合的曝光影像資料。
2. 如申請專利範圍第1項之影像擷取裝置，其中該結合器藉加法結合複數個影像資料片斷。
3. 如申請專利範圍第1項之影像擷取裝置，其中該影像處理器施行該影像處理，該影像處理包括光學蔭影校正處理。
4. 如申請專利範圍第1項之影像擷取裝置，其中該影像處理器施行該影像處理，該影像處理包括白平衡校正處理。
5. 如申請專利範圍第1項之影像擷取裝置，其中該校正器以該結合的曝光影像資料減去該結合的黑暗影像資料。
6. 如申請專利範圍第1項之影像擷取裝置，其中該結合器加上該複數個黑暗影像資料片斷以致產生該一個片斷的黑暗參考影像資料，並且輸出該產生的一個片斷的黑暗參考影像資料。
7. 如申請專利範圍第1項之影像擷取裝置，其中該結合器加上該複數個黑暗影像資料片斷以致產生結合的影像資料，在垂直方向或水平方向上平均結合的影像資料以致轉換結合的影像資料至一維資料，複製一個螢幕上的一維資料以致轉換一維資料至用於一個螢幕的影像資料，從 而產生並且輸出一個片斷的黑暗參考影像資料。
8. 如申請專利範圍第1項之影像擷取裝置，其中該影像處理器依據拍攝條件決定該參數，其包括影像拾取透鏡的型態、透鏡的縮放位置、光圈、快門速度、ISO速度設定及溫度中的至少其中之一，並且藉使用該參數施行影像處理。
9. 如申請專利範圍第1項之影像擷取裝置，其中該控制器能夠執行第一校正處理，其中該控制器施行控制以致該影像拾取器不以影像拾取元件曝光至光線下施行影像擷取，從而獲得複數個黑暗影像資料片斷；該結合器藉使用該複數個黑暗影像資料片斷產生一個片斷的黑暗參考影像資料；該影像處理器對該一個片斷的黑暗參考影像資料施行影像處理，其相當於對該複數個曝光影像資料片斷中的每一個施行的影像處理並且輸出對應至該複數個曝光影像資料片斷的複數個處理過的黑暗影像資料片斷；該結合器結合輸出自該影像處理器的該複數個處理過的黑暗影像資料片斷以致產生結合的黑暗影像資料；及該校正器依據該結合的黑暗影像資料校正該結合的曝光影像資料，以及第二校正處理，其中該控制器施行控制以致該影像拾取器不以該影像拾取元件曝光至光線下施行影像擷取，從而獲得複數個黑暗影像資料片斷；該影像處理器對該複數個黑暗影像資料片斷中的每一個施行影像處理，其使用基於對該對應的該複數個曝光影像資料片斷其中之一施行影像處理的參數之一參數；該結合器結合輸出自該影像處理 器的該複數個黑暗影像資料片斷以致產生結合的黑暗影像資料；以及該校正器依據該結合的黑暗影像資料校正該結合的曝光影像資料，以及該控制器取決於一設定的拍攝條件選擇的執行該第一校正處理與該第二校正處理其中之一。
10. 如申請專利範圍第9項之影像擷取裝置，其中該設定的拍攝條件包括被擷取的曝光影像資料片斷的該數目、ISO速度及該影像拾取元件的溫度的至少其中之一。
11. 一種用於控制影像擷取裝置的方法，包含：一第一影像擷取步驟，以一影像拾取元件曝露至光線下施行影像擷取，從而獲得複數個曝光影像資料片斷；一第一影像處理步驟，對該複數個曝光影像資料片斷施行影像處理；一第一結合步驟，結合該複數個曝光影像資料片斷以致產生結合的曝光影像資料；一第二影像擷取步驟，不以該影像拾取元件曝露至光線下施行影像擷取，從而獲得複數個黑暗影像資料片斷；一產生步驟，藉使用該複數個黑暗影像資料片斷產生一個片斷的黑暗參考影像資料；一第二影像處理步驟，對該一個片斷的黑暗參考影像資料施行影像處理，其使用基於對該複數個曝光影像資料片斷的每一個施行的該第一影像處理的參數之一參數，並且輸出對應至該複數個曝光影像資料片斷的複數個處理過的黑暗影像資料片斷； 一第二結合步驟，結合該複數個處理過的黑暗影像資料片斷以致產生結合的黑暗影像資料；以及一校正步驟，依據該結合的黑暗影像資料校正該結合的曝光影像資料。
12. 一種電腦可執行程式，其中寫入了用於控制依據申請專利範圍第11項之影像擷取裝置的方法之步驟。
13. 一種非暫態電腦可讀儲存媒體，具有儲存於其上的一程式，該程式導致電腦執行用於控制依據申請專利範圍第11項之影像擷取裝置之方法的每一個步驟。