TWI384869B

TWI384869B - 影像拾取裝置、影像拾取方法、曝光控制方法以及程式

Info

Publication number: TWI384869B
Application number: TW097102233A
Authority: TW
Inventors: Akira Asoma
Original assignee: Sony Corp
Priority date: 2007-03-14
Filing date: 2008-01-21
Publication date: 2013-02-01
Also published as: US8885093B2; EP1971137B1; CN101267504A; JP2008228058A; EP1971137A2; TW200838299A; US20080284872A1; EP1971137A3; CN101267504B; JP4306750B2; KR20080084685A; KR101455396B1

Description

影像拾取裝置、影像拾取方法、曝光控制方法以及程式

本發明係關於影像拾取裝置、影像拾取方法、曝光控制方法以及程式，且尤其係更關於曝光校正，其中一影像拾取裝置藉由結合一長曝光影像信號及一短曝光影像信號，產生一具有寬動態範圍之經結合影像信號。

本發明包括2007年3月14日向日本專利局所申請之日本專利申請案JP 2007－065230之相關標的，該案之全文以引用之方式併入本文中。

在使用例如CCD(電荷耦合器件)之固態影像拾取器件的許多影像拾取裝置中，欲輸入至影像拾取器件之光量(曝光之光量)係藉由控制一孔徑及一電子快門速率來控制。即，當擷取一亮場景時，會減少曝光之光量以防止發生由一來自影像拾取器件之信號輸出的飽和所造成的曝光過度。反之，當擷取一暗場景時，會增加曝光之光量以防止曝光不足之發生。

然而，當需要使用具有不足動態範圍之固態影像拾取器件，來擷取一具有強對比之場景(一背光主體之影像擷取或一室內場景及一室外場景的同時影像擷取)時，即使控制曝光之光量，曝光過度可能由於亮部分之飽和而在場景的亮部分中發生，且曝光不足可能在場景之暗部分中發生。結果，不能使此兩部分適當地重製。

至於克服此一困難之方法，日本未審定專利申請案公開案第6－141229號(對應專利第US 5455621號)揭示一種分離地獲得亮區域資訊及暗區域資訊的方法，其係藉由在一場中使用兩個不同電子快門速率或針對各場改變一電子快門速率，及將獲得之資訊片段結合成一單一影像。此方法係藉由能用一寬動態範圍擷取影像的裝置(寬動態範圍相機)來使用。此外，日本未審定專利申請案公開案第2004－120205(對應專利第US 2006/033823 A1號)及第2002－84449號揭示用於改進以上所述經結合影像之品質的裝置及方法。

然而，在藉由改進以兩個明顯不同曝光之光量所擷取之結合影像的方法，來改進一寬動態範圍相機之影像品質的此等方法之情況下，其並未檢查一藉由結合此等影像所獲得之影像是否係一包括無曝光過度部分或無曝光不足部分的影像。因此，若有一曝光過度部分或一曝光不足部分係包括在經結合影像中，該部分未被校正且因而產生一品質不可接受之經結合影像。需要提供一種能更有效地校正包括在經結合影像中之一曝光過度部分或一曝光不足部分的方法。

一種根據本發明之具體實施例的影像拾取裝置包括：一影像拾取單元，其經組態用以從入射光產生一長曝光影像信號及一短曝光影像信號，及輸出該長曝光影像信號及該短曝光影像信號成為影像拾取信號，該長曝光影像信號係藉由曝光達到一相對較長週期來產生，且該短曝光影像信號係藉由曝光達到一相對較短週期來產生；一信號處理單元，其經組態用以藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬；一偵測單元，其經組態用以獲得該經結合影像信號之一照度積分值及產生該經結合影像信號之一照度直方圖；及一控制單元，其經組態用以使用該照度積分值及該照度直方圖執行用於該影像拾取單元之曝光校正控制。

該控制單元使用該照度直方圖偵測在該經結合影像信號中之曝光不足的發生，基於一偵測結果設定一目標照度積分值，及使用該目標照度積分值執行用於該影像拾取單元之曝光校正控制。尤其係，該控制單元使用該目標照度積分值執行對於藉由該影像拾取單元產生之長曝光影像信號的曝光校正控制。此外，該控制單元執行光圈校正、長曝光週期校正、或用於長曝光影像信號之增益校正，作為用於長曝光影像信號之曝光校正控制。該控制單元使用照度直方圖偵測該經結合影像信號中之曝光過度的發生，基於一偵測結果設定一短曝光週期，及使用短曝光週期對於由該影像拾取單元產生之短曝光影像信號執行曝光校正控制。

該控制單元在各影像信號單元週期(例如，一場週期或一圖框週期)中執行用於消除一曝光不足部分之曝光校正控制及用於消除一曝光過度部分的曝光校正控制之兩者。或者，該控制單元在各影像信號單元週期中執行用於消除一曝光不足部分之曝光校正控制及用於消除一曝光過度部分的曝光校正控制中之任一者。在此情況下，該控制單元決定在各影像信號單元週期中是否已穩定地執行一用於消除一曝光不足部分之曝光校正操作，當其決定未曾穩定地執行該曝光校正操作時，則執行用於消除一曝光不足部分之曝光校正控制，及當其決定已穩定地執行該曝光校正操作時，則執行用於消除一曝光過度部分之曝光校正控制。該控制單元計數用於消除一曝光不足部分之曝光校正控制被執行的次數，及當所計數之數目超過一預定數目時執行用於消除一曝光過度部分之曝光校正控制。

該控制單元藉由使用一目前目標照度積分值及一固定值執行計算，來設定一新目標照度積分值。或者，該控制單元計算需要獲得該目標照度積分值之一收斂目標值的一差異值，及藉由使用該目前目標照度積分值及差異值執行計算來設定一新目標照度積分值。該偵測單元將照度直方圖之照度位準的各位準分類成為一黑位準、一中間位準、或一白位準，及產生關於此等位準之各位準的照度分佈資訊，且該控制單元使用關於中間位準的照度分佈資訊用於設定該目標照度積分值。該控制單元藉由使用一目前短曝光週期及一固定值執行計算以設定一新短曝光週期。或者，該控制單元計算需要獲得該短曝光週期之一收斂目標值的一差異值，及藉由使用該目前短曝光週期及該差異值執行計算來設定一新短曝光週期。該偵測單元將該照度直方圖之照度位準的各位準分類成為一黑位準、一中間位準、或一白位準，及產生關於此等位準之各位準的照度分佈資訊，且該控制單元使用關於中間位準的照度分佈資訊用於設定該短曝光週期。

一種根據本發明之具體實施例的影像拾取方法包括以下步驟：藉由將來自從一主體透射之入射光，曝光達到一相對較長週期來產生一長曝光影像信號，及藉由曝光達到一相對較短週期來產生一短曝光影像信號，以便輸出該長曝光影像信號及該短曝光影像信號成為影像拾取信號；藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬；獲得該經結合影像信號之一照度積分值及產生該經結合影像信號之一照度直方圖；及使用該照度積分值及該照度直方圖執行曝光校正控制。

一種根據本發明之具體實施例的曝光校正方法係一種用於一影像拾取裝置之方法，其係用於藉由曝光達到一相對較長週期獲得一長曝光影像信號，及藉由曝光達到一相對較短週期獲得一短曝光影像信號；藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬，且輸出該經產生結合影像信號。該曝光校正方法包括以下步驟：獲得該經結合影像信號之一照度積分值，及產生該經結合影像信號之一照度直方圖；自該照度直方圖偵測在該經結合影像信號中之曝光不足的發生；基於該曝光不足之發生的一偵測結果設定一目標照度積分值；自該照度直方圖偵測該經結合影像信號中之曝光過度的發生；基於該曝光過度之發生的一偵測結果設定一短曝光週期；及使用該目標照度積分值及該短曝光週期執行曝光校正控制。一種根據本發明之一具體實施例的程式造成一影像拾取裝置以執行曝光校正。該影像拾取裝置經組態用以藉由曝光達到一相對較長週期獲得一長曝光影像信號，及藉由曝光達到一相對較短週期獲得一短曝光影像信號；藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬，且輸出該經產生結合影像信號。該曝光校正包括以下步驟：獲得該經結合影像信號之一照度積分值，及產生該經結合影像信號之一照度直方圖；自該照度直方圖偵測在該經結合影像信號中之曝光不足的發生；基於該曝光不足之發生的偵測結果設定一目標照度積分值；自該照度直方圖偵測該經結合影像信號中之曝光過度的發生；基於該曝光過度之發生的一偵測結果設定一短曝光週期；及使用該目標照度積分值及該短曝光週期執行曝光校正控制。

在本發明之一具體實施例中，一長曝光影像信號及一短曝光影像信號係在一單元週期中獲得，例如一場週期。一經結合影像信號係藉由結合此等影像信號產生。該經結合影像信號之一照度積分值係獲得且該經結合影像信號之一照度直方圖(頻率分佈)被分析。使用所獲得之照度積分值及該分析結果，自動曝光控制(孔徑控制、電子快門速率控制及增益控制)係執行作為回授控制。結果，能改進一寬動態範圍相機之影像品質。

根據本發明之一具體實施例，獲得一經結合影像信號(其係藉由結合長曝光影像信號及短曝光影像信號來產生)之一照度積分值，且分析該經結合影像信號之一照度直方圖(頻率分佈)，且接著使用該獲得之照度積分值及分析結果執行曝光校正。即，其決定曝光不足或曝光過度是否發生在該經結合影像信號中，其係欲輸出作為由使用者目視檢查之最後影像。決定結果係用於曝光校正作為回授資訊。因此，曝光校正能有效地執行用於消除在最後輸出影像上之一曝光不足或曝光過度部分。即，根據本發明之一具體實施例，一經結合影像信號之品質能必然地改進。此外，曝光校正係使用一經結合影像信號來執行，且因此不受在影像信號結合之前對長曝光或短曝光影像信號執行的處理所影響。一種在影像信號結合前執行之程序在各種寬動態範圍相機系統中係不同。然而，本發明之一具體實施例能不管此等差異而應用至各種寬動態範圍相機系統。

本發明之具體實施例將依以下次序在下文中描述：1.寬動態範圍相機之概述；2.影像拾取裝置之組態；3.影像拾取裝置之整體操作；4.曝光校正程序；5.曝光校正程序之另一範例； 6.曝光不足校正之另一範例；7.曝光過度校正之另一範例；及8.具體實施例之效應及程式。

1.寬動態範圍相機的概述一種根據本發明之具體實施例的影像拾取裝置1係一適於(例如)用作監視相機之寬動態範圍相機。然而，可將該動態範圍相機用作一數位靜態相機或一目標為一般用途的數位視訊相機。首先，將進行一寬動態範圍相機的描述。

一般使用之影像拾取裝置係難以處理在一場景中之一極暗部分及一極亮部分間的寬動態範圍。例如，考慮一其中影像擷取係在一晴天於白天，在一具有一景觀之室內執行。此時，若曝光係在室內之一主體已被設定為一曝光參考點之後執行，則室外之戶外部分失去層次及係曝光過度。反之，若曝光係在已將戶外部分設定為一曝光參考點之後執行，則室內之主體係曝光不足。即，若場景中照度位準間有大差異，則難以獲得一對應於照度動態範圍的擷取影像。

另一方面，根據本發明之一具體實施例的寬動態範圍相機藉由每次擷取一影像時改變電子快門速率以便改變一曝光週期，及結合已用不同曝光週期獲得之影像，來獲得一包括無曝光過度或曝光不足部分的經擷取影像。圖2說明在一場中之一曝光週期及在一例如CCD或CMOS(互補金氧半導體)感測器陣列的影像拾取器件單元中之儲存曝光之光量(電荷之數量)間的關係。在此具體實施例中，例如 1/64秒之一長曝光及1/2000秒之一短曝光係在1/60秒的一場週期中執行。可改變長曝光及短曝光的曝光週期。藉由執行該長曝光及短曝光，一長曝光影像信號及一短曝光影像信號係在一場週期中獲得。所獲得影像信號係經結合。

圖3說明一長曝光影像信號之輸入－輸出照度特徵A及一短曝光影像信號的輸入－輸出照度特徵B。在信號結合處理中，例如，一預定照度值係設定為一切換點SP。一具有低於切換點SP之照度位準的像素使用長曝光影像信號作為一像素信號。另一方面，一具有高於切換點SP之照度位準的像素使用短曝光影像信號作為一像素信號。此時，長曝光影像信號對短曝光影像信號之曝光比係以短曝光影像信號相乘，藉以執行此等影像信號的位準調整。假設長曝光影像信號對短曝光影像信號之曝光比係10：1。在此情況下，短曝光影像信號之曝光位準係長曝光影像信號的十分之一。然而，存在光量係短曝光影像信號之照度位準的至少十倍。因此，為了位準調整，短曝光影像信號係用10之值相乘。因此，藉由執行短曝光影像信號之增益乘法，可獲得一如圖中說明其位準被調整成長曝光影像信號之特徵的特徵kB。因而，產生一具有特徵A－kB之經結合影像。即，長曝光影像信號係用於場景中相對較暗部分以便防止曝光不足的發生，且短曝光影像信號係用於相對較亮部分以便防止曝光過度的發生。因而，產生一包括無曝光過度部分及無曝光不足部分的經結合影像。

至於一種擷取一具有在一亮部分及一暗部分間之寬動態範圍的主體之影像的方法，存在除了結合已藉由改變一曝光週期獲得之一亮影像及一暗影像的以上所述方法以外的各種方法。例如，此等不同方法包括一種以像素至像素為基礎來改變靈敏度的方法，其僅擷取具有相同曝光條件之信號，使用經擷取信號重製一影像，及結合一或多個具有不同曝光條件之影像；及一種使用一稜鏡分離入射光，且結合自附著至一濾波器之影像拾取器件輸出之信號的方法，其中該濾波器具有一諸如ND濾波器(中密度濾波器：光量控制濾波器)之光減少功能，用於減少透過其透射之所有波長的光量，即相同地減少入射光的量。

使用以上所述方法中之一的寬動態範圍相機具有比一般使用視訊相機更寬之動態範圍，及可擷取一具有寬動態範圍之主體的影像。一具有寬動態範圍之主體意指該主體的輸出影像包括一亮部分及一暗部分。因此，此等寬動態範圍相機係適用於在一其中強光從外部進入之室或一其中在照度位準間具有大差異之處中執行的影像擷取。例如，此等寬動態範圍相機係適用作需要在一其中動態範圍根據在白天或夜間中之影像擷取時間而明顯不同之處執行影像擷取的相機，例如在其中交通條件受監控之銀行入口或道路上。尤其係，其適用作監控相機。

2.影像拾取裝置之組態圖1說明根據本發明之一具體實施例的影像拾取裝置的組態。一種根據本發明之具體實施例的影像拾取裝置包括一影像拾取光學系統1、一影像拾取器件單元2、一預處理單元3、一信號處理單元4、一輸出單元5、一偵測單元6、一時序產生器7、一光學組件驅動單元8、及一控制單元10。

影像拾取光學系統1包括：光學組件，例如一透鏡；一用於移除不必要波長分量之濾光器；及一孔徑1a。光係經由包括在影像拾取光學系統1內之各光學組件自一主體透射至影像拾取器件單元2。影像拾取器件單元2係一固態影像拾取器件單元，如CCD感測器陣列或CMOS感測器陣列。影像拾取器件單元2光電轉換經由影像拾取光學系統1透射之光成為一電信號，且輸出該電信號以便產生一經擷取影像。在此具體實施例中，影像拾取器件單元2在一場週期中執行以上所述長曝光及以上所述短曝光，且輸出時間共用電信號成為長曝光影像信號及短曝光影像信號。影像拾取器件單元2可能不是一固態影像拾取器件單元，及可為例如影像拾取管之非固態影像拾取器件單元。一非固態影像拾取器件亦可藉由使用一機械快門或一液晶快門來執行長曝光及短曝光。一所謂類比前端之預處理單元3執行CDS(相關雙重取樣)處理，使用一可程式增益放大器之增益處理，及在電信號上之A/D轉換處理用於產生一經擷取影像，且供應該經處理長曝光影像信號及經處理短曝光影像信號至信號處理單元4。

信號處理單元4對接收到長曝光影像信號及接收到短曝光影像信號執行參考圖3描述之信號結合處理。即，信號處理單元4對已根據一時間共用方法供應之長曝光影像信號及短曝光影像信號執行時序控制及色彩平衡校正，執行增益處理以便使短曝光影像信號之照度位準符合長曝光影像信號的位準，及執行此等影像信號的信號結合。此外，信號處理單元4亦對經結合影像信號執行伽瑪校正及白平衡控制，及輸出經處理結合影像信號至輸出單元5及偵測單元6。

輸出單元5執行處理以便使用自信號處理單元4發送之經結合影像信號在一監控顯示器上顯示一影像，或發送該經結合影像信號至一外部裝置。偵測單元6分析從信號處理單元4發送之經結合影像信號的照度位準，產生關於一照度積分值的資訊及關於一照度直方圖的資訊，及將此等資訊片段供應至控制單元10。

控制單元10係一微電腦，其包括例如CPU(中央處理單元)、ROM(唯讀記憶體)、RAM(隨機存取記憶體)、及快閃記憶體，且控制影像拾取裝置的整體操作。在此具體實施例中，控制單元10在影像擷取之時間處執行曝光校正處理。包括在控制單元10中之ROM儲存一程式，其造成控制單元10執行用於稍後將描述之曝光校正所需的控制處理。控制單元10使用已自偵測單元6供應之關於照度積分值及照度直方圖的資訊片段執行必要計算及控制處理。

時序產生器7產生一操作脈衝用於影像拾取器件單元2，即(例如)CCD。例如，時序產生器7產生各種脈衝，諸如一用於垂直傳送之四相位脈衝、一場偏移脈衝、一用於水平傳送之兩相位脈衝、及一快門脈衝，及將其供應至影像拾取器件單元2。時序產生器7可驅動影像拾取器件單元2(電子快門功能)。藉由控制影像拾取器件單元2之驅動(如圖2中說明)，可輸出藉由曝光達到一相對較長週期所獲得的長曝光影像信號及藉由曝光達到一相對較短週期所獲得的短曝光影像信號。可改變需要用於長曝光影像信號及短曝光影像信號之產生的此等曝光週期。光學組件驅動單元8驅動包括在影像拾取光學系統1內的光學組件。在此具體實施例中，光學組件驅動裝置8係一用於驅動至少孔徑1a及控制入射光的驅動電路。

3.影像拾取裝置的整體操作下文中，將描述在根據本發明之一具體實施例的影像拾取裝置中執行的曝光校正程序。首先，將描述在一影像拾取裝置中執行之整體影像擷取程序，其包括曝光校正程序。圖4說明該影像擷取程序。在圖4中說明之影像擷取程序係依規則性間隔重複，藉以一使用輸出視訊信號產生的影像逐漸達到一包括無曝光不足部分及無曝光過度部分的影像。因而，改進一寬動態範圍相機的影像品質。

步驟ST1：影像拾取處理時序產生器7可設定兩個不同電子快門速率，及造成影像拾取器件單元2在一場週期中執行長曝光及短曝光(其已參考圖2描述)。因而，獲得兩個具有不同曝光之光量之影像拾取信號(一長曝光影像信號藉由曝光達到1/64秒之曝光週期獲得，且一短曝光影像信號藉由曝光達到1/2000秒的曝光週期獲得)。如先前描述，長曝光影像信號及短曝光影像信號係藉由預處理單元3處理，及接著係供應至信號處理單元4。

步驟ST2：信號結合處理信號處理單元4使用參考圖3描述之方法結合該長曝光影像信號及短曝光影像信號(其已藉由預處理單元3數位化)，以便產生一具有一較寬動態範圍之經結合影像信號。此經結合影像信號係自輸出單元5輸出以便顯示在(例如)監控顯示器上。

步驟ST3：偵測處理該經結合影像信號亦供應至偵測單元6。偵測單元6獲得經結合影像信號的照度積分值，產生經結合影像信號的照度直方圖，及基於逐場來將其發送至控制單元10。圖5說明由偵測單元6執行的偵測程序。在步驟ST31中，偵測單元6計算一場之經結合影像信號的一照度積分值。步驟ST32中，偵測單元6產生一照度直方圖。圖6A及6B說明照度直方圖的範例。在此等範例中，照度位準被分類為八個照度位準，一黑位準(B)、位準(mb1)、(mb2)、(mb3)、(mw3)、(mw2)及(mw1)及一白位準(W)。此等範例性照度直方圖之各者說明在一場影像中的八個照度位準的百分比(%)。例如，圖6A說明從一經結合影像信號獲得之相對較暗的一場影像之照度直方圖的範例，且圖6B說明一相對較亮之一場影像的照度直方圖之範例。

步驟ST4：曝光校正處理控制單元10檢查照度直方圖，及決定一目標照度積分值及一短曝光週期，以致可產生一包括無曝光不足部分及無曝光過度部分的影像。在曝光不足校正中，一曝光不足部分係藉由檢查照度直方圖中之黑位準(B)之百分比來偵測，且設定目標照度積分值以致可將黑位準(B)之百分比設定至一預定值。在曝光過度校正中，一曝光過度部分係藉由檢查照度直方圖中之白位準(W)的百分比來偵測，且設定短曝光週期，以致可將白位準(W)之百分比設定成一預定值。

步驟ST5：曝光控制處理控制單元10使用已在以上所述曝光校正處理中決定的目標照度積分值及短曝光週期來執行曝光控制處理。用作曝光不足校正之長曝光光量係設定如下。首先，用於設定孔徑1a之孔徑比、影像拾取器件單元2的長曝光週期、及包括在預處理單元3中之PGA(可程式增益放大器)之增益所需的控制量，係基於介於自偵測單元6透射之目前照度積分值及在以上所述曝光校正處理中設定之目標照度積分值間的差異值來計算。其後，控制單元10造成光學組件驅動單元8驅動孔徑1a，將有關長曝光週期的資訊發送至時序產生器7，及將關於PGA之增益的資訊發送給預處理單元3。所有此三個控制處理操作可能不執行。可執行其中之一或兩個。在將短曝光光量用作曝光過度校正之情況下，控制單元10將關於在以上所述曝光校正處理中設定之短曝光週期的資訊發送至時序產生器7，以便改變影像拾取器件單元2的短曝光週期，藉以可獲得必要的曝光之光量。孔徑 1a之孔徑比及PGA的增益亦影響短曝光光量。然而，長曝光影像信號係經結合影像信號之一主控分量。因此，孔徑1a之孔徑比及PGA的增益係用作長曝光光量的校正。應注意的係可將孔徑1a之孔徑比及PGA的增益用作短曝光光量的校正。

4.曝光校正處理圖4所說明在步驟ST4中執行之曝光校正處理將參考圖7、8及9詳述。在步驟ST4之曝光校正處理中，一於圖7中所說明之程序係在一場週期中執行。即，在步驟F10中，控制單元10檢查照度直方圖以便偵測是否發生曝光不足。步驟F20中，控制單元10決定一目標照度積分值Yt。因此，曝光不足校正係在步驟F10及F20中執行。在步驟F50中，控制單元10檢查照度直方圖以便偵測是否發生曝光過度。步驟F60中，控制單元10決定一短曝光週期Tt。因此，曝光過度校正係在步驟F50及F60中執行。

圖8說明在步驟F10及F20中執行之曝光不足校正。對於用以從步驟F10中之照度直方圖偵測是否發生曝光不足之處理，會執行步驟F101及F102的處理操作。對於用以在步驟F20中決定目標照度積分值Yt之處理，會執行步驟F201、202及203之處理操作。即，首先在步驟F101中，控制單元10決定黑位準(B)之百分比是否係等於或大於照度直方圖中之10%。若黑位準(B)之百分比係等於或大於10%，控制單元10決定該曝光不足發生在經結合影像信號中。其後，程序前進至步驟F201，其中控制單元10以藉由將一固定值Cy增加至目前目標照度積分值Yt所獲得的一值，來更新目標照度積分值Yt以便增加曝光之光量。另一方面，若黑位準(B)之百分比係低於10%，在步驟F102中，控制單元10決定黑位準(B)之百分比是否係等於或低於5%。若黑位準(B)之百分比係等於或低於5%，程序前進至步驟F202，其中控制單元10以藉由將目前目標照度積分值Yt減去固定值Cy所獲得的一值，來更新目標照度積分值Yt，以便減少曝光之光量。另一方面，若步驟F102中決定黑位準(B)之百分比不等於或低於5%，即在5%至10%之範圍內，其決定已設定一適當曝光之光量。其後，程序前進至步驟F203，其中目前目標照度積分值Yt係維持。

圖9說明在圖7中說明之步驟F50與F60中執行之曝光過度校正。對於用以從步驟F50中之照度直方圖偵測是否發生曝光過度的處理，會執行步驟F501及F502的處理操作。對於用以在步驟F60中決定短曝光週期Tt之處理，會執行步驟F601、602及603之處理操作。即，首先在步驟F501中，控制單元10決定白位準(W)之百分比是否係等於或大於10%。若白位準(W)之百分比係等於或大於10%，控制單元10決定曝光過度發生在經結合影像信號中。其後，程序前進至步驟F601，其中控制單元10以藉由將目前短曝光週期Tt減去固定值Ct所獲得的一值，來更新短曝光週期Tt，以便減少曝光之光量。另一方面，若白位準(W)之百分比係低於10%，在步驟F502中，控制單元10決定白位準(W)之百分比是否係等於或低於5%。若白位準(W)之百分比係等於或低於5%，程序前進至步驟F602，其中控制單元10以藉由將固定值Ct增加至目前短曝光週期Tt所獲得的一值，來更新短曝光週期Tt，以便增加曝光之光量。另一方面，若步驟F502中決定白位準(W)之百分比不等於或低於5%，即在5%至10%之範圍內，其決定已設定一適當曝光之光量。其後，程序前進至步驟F603，其中目前短曝光週期Tt係維持。

因此，目標照度積分值Yt及短曝光週期Tt係決定。如先前描述，使用目標照度積分值Yt及短曝光週期Tt，曝光控制處理係在圖4中所說明的步驟ST5中執行。在圖4中所說明包括曝光校正處理(ST4)及曝光控制處理(ST5)之程序係在各場週期中重複。因而，設定在一經結合影像信號中防止發生曝光不足及曝光過度的曝光條件。如圖8及9中說明，一新目標積分值係使用一目前目標照度積分值及一固定值計算且接著係設定，且一新短曝光週期係使用一目前短曝光週期及一固定值計算且係設定。因而，一經結合影像信號之照度位準係受控制，而逐漸改變曝光之光量。

5.曝光校正處理之另一範例在參考圖7描述之曝光校正處理中，用於消除一曝光不足部分之曝光校正及用於消除一曝光過度部分之曝光校正之兩者係在各場週期中執行。然而，在各場週期中只能執行其中之一。即，在一場週期中不能同時執行用於消除一曝光不足部分之曝光校正及用於消除一曝光過度部分之曝光校正之兩者。此情況係在圖10及11中說明。

圖10說明用於決定用於消除一曝光不足部分之曝光校正是否已穩定地執行的曝光校正處理(在圖4中所說明之步驟ST4中執行的處理)，當其未穩定地執行時執行用於消除一曝光不足部分之曝光校正，及當其已穩定地執行時執行用於消除一曝光過度部分之曝光校正。在圖4所說明的步驟ST4中，開始曝光校正處理。其後，在圖10所說明之步驟F00中，控制單元10儲存一目前目標照度積分值。即，控制單元10將在先前場週期中設定之目標照度積分值Yt儲存成為一先前目標照度積分值Yo。在步驟F10及F20中，執行參考圖8描述之曝光不足校正，藉以決定目標照度積分值Yt。

步驟F30中，控制單元10決定目標照度積分值Yt是否與先前目標照度積分值Yo相同。例如，在步驟F20中，若程序前進至在圖8中所說明的步驟F203，目標照度積分值Yt係與先前目標照度積分值Yo相同。另一方面，步驟F20中，若程序前進至圖8中所說明之步驟F201或F202，則目標照度積分值Yt係不同於先前目標照度積分值Yo。若步驟F30中決定目標照度積分值Yt不同於先前目標照度積分值Yo，則控制單元10終止曝光校正程序。即，程序前進至在圖4中所說明步驟ST5，其中執行曝光控制處理而不執行曝光過度校正處理。在此情況下，在步驟ST5中之曝光控制處理中，控制單元10使用目標照度積分值Yt及目前照度積分值來控制長曝光光量，且不控制短曝光光量。

另一方面，在圖10所說明之步驟F30中，若決定目標照度積分值Yt係與先前目標照度積分值Yo相同，則控制單元10在步驟F50及F60中執行(例如)參考圖9描述的曝光過度校正處理，因而決定短曝光週期Tt。其後，程序前進至在圖4中所說明的步驟ST5，其中執行曝光控制處理。在此情況下，在步驟ST5之曝光控制處理中，控制單元10使用短曝光週期Tt控制短曝光光量，及不控制長曝光光量。

因此，若在圖10中所說明的程序係在圖4所說明的步驟ST4中執行，首先長曝光光量的校正係在各場週期中執行。在已適當校正長曝光光量以後，執行短曝光光量的校正。若未適當地校正長曝光光量，則執行長曝光光量之校正直至長曝光光量係收歛至一適當長曝光光量。在此情況下，曝光不足校正及曝光過度校正係未同時(在相同場週期中)執行。因而，一輸出圖像的照度位準係逐漸改變。

圖11說明一從圖10中說明之程序發展而來的程序，即一使用一計數器計數曝光不足校正執行的次數，且基於該計數之結果執行每N(正數)次之曝光過度校正的程序，以便更迅速的獲得一包括無曝光不足部分及無曝光過度部分的輸出圖像。參考圖11，步驟F00、F10、F20、F30、F50及F60已參考圖10描述，且新增加步驟F40、F41及F42。若控制單元10在步驟F30中決定目前目標照度積分值Yt不同於先前目標照度積分值Yo，則控制單元10在步驟F40中增量一內部計數器。在步驟F41中，控制單元10決定該計數值是否超過一預定值N。若步驟F41中決定該計數值不超過預定值N，則控制單元10終止曝光校正程序。另一方面，若步驟F41中決定該計數值超過預定值N，則控制單元10在步驟F42中重設計數器至0，及在步驟F50及F60中執行曝光過度校正。藉由執行在圖11中所說明之此程序，即使長曝光光量不穩定，長曝光光量的校正係持續執行達到一N場週期且接著執行短曝光光量的校正。即，在N場週期經過後自動地執行曝光過度校正。因此，即使花太長時間來完成曝光不足校正，亦可防止其中不能開始曝光過度校正之此一情況。

6.曝光不足校正之另一範例對於包括在圖4所說明步驟ST4中所執行之曝光校正處理的曝光不足校正(圖7、10或11中所說明的步驟F10及F20)的一範例，已描述在圖8中所說明的程序。曝光不足校正之另一範例將會參考圖12及13描述。

在圖12中所說明的曝光不足校正中，照度直方圖之中間照度位準亦用作目標照度積分值Yt的設定。參考圖12，在步驟F100中，控制單元10決定一M1位準之百分比是否係等於或低於照度直方圖中之40%。M1位準對應於mb1、mb2及mb3位準(即，中間照度位準之較低照度側)。即，決定mb1、mb2及mb3位準之百分比的總計是否超過40%。若當一經擷取影像中的M1位準之百分比(其係中間照度位準)係高時執行曝光不足校正，則有新近發生曝光過度的可能性。因此，在此情況下，不執行校正。即，若M1位準之百分比超過40%，則程序前進至步驟F203，其中目標照度積分值Yt係維持。另一方面，若M1位準之百分比係等於或低於40%，程序前進至步驟F101。步驟F101、F102、F201、F202及F203之描述已參考圖8進行。藉由執行圖12中所說明之此程序，可防止其中曝光過度由於曝光不足校正而新近發生的此一情況。

圖13說明曝光不足校正的又另一範例。在圖13所說明的此範例中，首先在步驟F110中，控制單元10在照度直方圖中獲得黑位準(B)的百分比(X%)。步驟F111中，控制單元10計算需要用以將黑位準(B)的百分比從X%改變成7%之照度積分差異值△S。照度積分差異值△S係一用於目標照度積分值Yt之校正值，其係需要用於將黑位準(B)之百分比從X%改變成7%，且係使用一函數F自黑位準(B)的百分比(X%)獲得。7%之百分比係黑位準(B)之一適當百分比的範例性設定值。其後，在步驟F112中，控制單元10以藉由將照度積分差異值△S增加至目前目標照度積分值Yt所獲得之一值，來更新目標照度積分值Yt。

如先前描述，藉由計算照度積分差異值△S成為一用於目標照度積分值Yt之收斂的一差異值，且設定一藉由使用目前目標照度積分值Yt及照度積分差異值△S執行計算所獲得之新目標照度積分值Yt，可獲得應用一單一處理操作收歛之目標照度積分值Yt。結果，可加速曝光不足校正。

7.曝光過度校正之另一範例對於包括在圖4說明步驟ST4中所執行之曝光校正處理的曝光過度校正(圖7、10或11中所說明的步驟F50及F60)的一範例，已描述在圖9中所說明的程序。曝光不足校正之另一範例將參考圖14及15描述。

在圖14中所說明的曝光過度校正中，照度直方圖之中間照度位準亦用作短曝光週期Tt的設定。參考圖14，在步驟F500中，控制單元10決定一M2位準之百分比在照度直方圖中是否係等於或低於40%。M2位準對應於mw1、mw2及mw3位準(即，中間照度位準之較高照度側)。即，決定mw1、mw2及mw3位準之百分比的總計是否超過40%。若當在一經擷取影像中的M2位準(其係中間照度位準)之百分比係高時執行曝光過度校正，則有曝光不足新近發生的可能性。因此，在此情況下，不執行校正。即，若M2位準之百分比超過40%，則程序前進至步驟F603，在此步驟維持短曝光週期Tt。另一方面，若M2位準之百分比係等於或低於40%，則程序前進至步驟F501。已參考圖9描述步驟F501、F502、F601、F602及F603。藉由執行圖14中所說明之此程序，可防止其中曝光不足由於曝光過度校正而新近發生的此一情況。

圖15說明曝光過度校正的又另一範例。在圖15所說明的此範例中，首先，在步驟F510中，控制單元10在照度直方圖中獲得白位準(W)的百分比(X%)。在步驟F511中，控制單元10計算需要將白位準(W)之百分比從X%改變成7%的短曝光週期差異值△T。短曝光週期差異值△T係一用於短曝光週期Tt之校正值，其係需要用於將白位準(W)之百分比從X%改變成7%，且係使用一函數F自白位準(W)的百分比(X%)獲得。7%之百分比係白位準(W)之一適當百分比的範例性設定值。其後，在步驟F512中，控制單元10以藉由將短曝光週期差異值△T增加至目前短曝光週期Tt所獲得之一值，來更新短曝光週期Tt。

如先前描述，藉由計算短曝光週期差異值△T成為一用於短曝光週期Tt之收斂的差異值，且設定一藉由使用目前短曝光週期Tt及短曝光週期差異值△T執行計算所獲得之新短曝光週期Tt，可獲得應用一單一處理操作收歛之短曝光週期Tt。結果，可加速曝光過度校正。

8.具體實施例之效應及程式根據本發明之一具體實施例，使用經結合影像之照度積分值及照度直方圖決定一曝光過度部分及一曝光不足部分是否包括在一經結合影像中。若決定曝光過度部分及曝光不足部分係包括在該經結合影像中，則執行自動曝光控制以便消除此等部分。因此，可改進一經結合影像的影像品質。即，可改進對監控顯示器之圖像輸出的品質。使用者可感覺到在監控顯示器上所顯示之影像之品質的改進。選擇一寬動態範圍相機時之重要因素不僅係動態範圍之數值且係最後圖像的品質。因此，最佳化最後影像之能力係寬動態範圍相機的一大優點。

此外，在根據本發明之一具體實施例的曝光校正控制方法的情況下，對於由信號處理單元4(其係包括在寬動態範圍相機內)針對產生一經結合影像執行之信號結合方法的相依性係極弱，且因此可使用各種類型的信號處理單元。此外，對於一信號結合時間(每一場或兩場所獲得具有兩個不同曝光之光量的影像)之相依性亦微弱。因此，對於整體裝置之相依性降低，所以可將一根據本發明之具體實施例的曝光校正控制方法應用於更寬動態範圍相機系統。又此外，偵測單元6處理一經結合影像信號。即，僅需要一單一偵測單元，且無需針對長曝光影像信號及短曝光影像信號之每一個需要一偵測單元。結果，可達到裝置的簡化。

可將本發明之一具體實施例應用於一相機系統，用以擷取移動影像。然而，可將本發明之一具體實施例應用於一相機系統，用以擷取靜態影像。即使在一靜態影像之影像擷取之情況下，以上所述曝光校正控制可在執行一影像擷取之前在監控期間於各場週期中執行。例如，若使用非交錯掃描方法執行影像擷取，可將在各場週期中執行之以上所述程序視為一在各圖框週期中執行的程序。無須贅言的係不論所使用掃描方法為何，可將一影像信號之一單元週期不同地視為一場週期、一圖框週期、複數個場週期、及複數個圖框週期。例如，可考慮其中偵測處理、曝光校正處理、及曝光控制處理係每少數圖框週期執行之一範例性情況。

一根據本發明之具體實施例的程式係一對應於由控制單元10執行之處理的程式。即，一根據本發明之具體實施例的程式係一造成微電腦(處理器)之控制單元10執行在圖7至15中所說明的各種程序的程式。此一程式可事先記錄在一係包括(例如)在一個人電腦或一影像拾取裝置中之記錄媒體的HDD，或一包括在一具有CPU之微電腦中的ROM或快閃記憶體中。或者，該程式可暫時或永久儲存(記錄)於一移除記錄媒體中，例如軟碟、CD－ROM(光碟唯讀記憶體)、MO(磁光)碟片、DVD(數位多功能光碟)、藍光碟片、磁碟、半導體記憶體或記憶卡。此一可移除記錄媒體可成為封裝軟體來獲得。一根據本發明之具體實施例的程式可自可移除記錄媒體安裝在個人電腦上，或可自一下載地點經由例如LAN(區域網路)或網際網路之網路轉移至個人電腦。

熟習此項技術人士應瞭解只要係在隨附申請專利範圍或其等效者之範疇內，可能取決於設計需要及其他因素會出現各種修改、結合、子結合及變更。

1‧‧‧影像拾取裝置/影像拾取光學系統

1a‧‧‧孔徑

2‧‧‧影像拾取器件單元

3‧‧‧預處理單元

4‧‧‧信號處理單元

5‧‧‧輸出單元

6‧‧‧偵測單元

7‧‧‧時序產生器

8‧‧‧光學組件驅動單元

10‧‧‧控制單元

圖1係一根據本發明之具體實施例的影像拾取裝置之方塊圖；圖2係一描述根據本發明之具體實施例的長曝光及根據本發明之一具體實施例的短曝光之圖式；圖3係一描述根據本發明之具體實施例的信號結合處理之圖式；圖4係一說明根據本發明之具體實施例的影像拾取裝置之操作的流程圖；圖5係一說明根據本發明之具體實施例的偵測程序的流程圖；圖6A及6B係描述根據本發明之具體實施例的照度直方圖之圖式；圖7係一說明根據本發明之具體實施例的曝光校正程序之流程圖；圖8係一說明根據本發明之具體實施例的曝光不足校正程序的流程圖；圖9係一說明根據本發明之具體實施例的曝光過度校正程序之流程圖；圖10係一說明根據本發明之具體實施例的曝光校正程序之另一範例的流程圖；圖11係一說明根據本發明之具體實施例的曝光校正程序之又另一範例的流程圖；圖12係一說明根據本發明之具體實施例的曝光不足校正程序之另一範例的流程圖；圖13係一說明根據本發明之具體實施例的曝光不足校正程序之又另一範例的流程圖；圖14係一說明根據本發明之具體實施例的曝光過度校正程序之另一範例的流程圖；及圖15係一說明根據本發明之具體實施例的曝光過度校正程序之又另一範例的流程圖。

(無元件符號說明)

Claims

一種影像拾取裝置，其包含：一影像拾取單元，其經組態用以從入射光產生一長曝光影像信號及一短曝光影像信號，及輸出該長曝光影像信號及該短曝光影像信號成為影像拾取信號，該長曝光影像信號係藉由曝光達到一相對較長週期來產生，且該短曝光影像信號係藉由曝光達到一相對較短週期來產生；一信號處理單元，其經組態用以藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬；一偵測單元，其經組態用以獲得該經結合影像信號之一照度積分值，且產生該經結合影像信號之一照度直方圖；及一控制單元，其經組態用以使用該照度積分值及該照度直方圖執行用於該影像拾取單元之曝光校正控制，其中該控制單元使用該照度直方圖偵測在該經結合影像信號中之曝光不足的發生，基於一偵測結果設定一目標照度積分值，及使用該目標照度積分值執行用於該影像拾取單元之該曝光校正控制，其中該控制單元使用該目標照度積分值執行對於藉由該影像拾取單元產生之該長曝光影像信號的該曝光校正控制，其中該控制單元使用該照度直方圖偵測該經結合影像信號中之曝光過度的發生，基於一偵測結果設定一短曝光週期，及使用該短曝光週期對於藉由該影像拾取單元產生之該短曝光影像信號執行該曝光校正控制，其中該控制單元在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制之兩者，其中該控制單元在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制中之任一者。
如請求項1之影像拾取裝置，其中該控制單元執行光圈校正、長曝光週期校正、或用於該長曝光影像信號之增益校正，作為用於該長曝光影像信號之該曝光校正控制。
如請求項1之影像拾取裝置，其中該控制單元決定在各影像信號單元週期中是否已穩定地執行一用於消除一曝光不足部分之曝光校正操作，當其決定未曾穩定地執行該曝光校正操作時，執行用於消除一曝光不足部分之該曝光校正控制，及當其決定已穩定地執行該曝光校正操作時，則執行用於消除一曝光過度部分之該曝光校正控制。
如請求項1之影像拾取裝置，其中該控制單元計數用於消除一曝光不足部分之該曝光校正控制被執行的次數，及當經計數之數目超過一預定數時執行用於消除一曝光過度部分之該曝光校正控制。
如請求項1之影像拾取裝置，其中該控制單元藉由使用一目前目標照度積分值及一固定值執行計算，來設定一新目標照度積分值。
如請求項1之影像拾取裝置，其中該控制單元計算一需要用以獲得該目標照度積分值之一收斂目標值的差異值，及藉由使用該目前目標照度積分值及該差異值執行計算來設定一新目標照度積分值。
如請求項1之影像拾取裝置，其中該偵測單元將該照度直方圖之照度位準的各位準分類成為一黑位準、一中間位準或一白位準，且產生關於此等位準之各位準的照度分佈資訊，及其中該控制單元使用關於該中間位準之該照度分佈資訊，用於設定該目標照度積分值。
如請求項1之影像拾取裝置，其中該控制單元藉由使用一目前短曝光週期及一固定值執行計算，以設定一新短曝光週期。
如請求項1之影像拾取裝置，其中該控制單元計算需要用以獲得該短曝光週期之一收斂目標值的一差異值，及藉由使用該目前短曝光週期及該差異值執行計算來設定該新短曝光週期。
如請求項1之影像拾取裝置，其中該偵測單元將該照度直方圖之照度位準的各位準分類成為一黑位準、一中間位準或一白位準，且產生關於此等位準之各位準的照度分佈資訊，及其中該控制單元使用關於該中間位準的該照度分佈資訊，用於設定該短曝光週期。
一種影像拾取方法，其包含以下步驟：藉由將來自從一主體透射之入射光，曝光達到一相對較長週期來產生一長曝光影像信號，及藉由曝光達到一相對較短週期來產生一短曝光影像信號，以便輸出該長曝光影像信號及該短曝光影像信號成為影像拾取信號；藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬；獲得該經結合影像信號之一照度積分值，且產生該經結合影像信號之一照度直方圖；及使用該照度積分值及該照度直方圖執行曝光校正控制；使用該照度直方圖偵測在該經結合影像信號中之曝光不足的發生，基於一偵測結果設定一目標照度積分值，及使用該目標照度積分值執行該曝光校正控制；使用該照度直方圖偵測該經結合影像信號中之曝光過度的發生，基於一偵測結果設定一短曝光週期，及使用該短曝光週期對於該短曝光影像信號執行該曝光校正控制；使用該目標照度積分值執行對於該長曝光影像信號的該曝光校正控制；在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制之兩者；及在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制中之任一者。
一種用於一影像拾取裝置之方法，其係用於藉由曝光達到一相對較長週期獲得一長曝光影像信號，及藉由曝光達到一相對較短週期獲得一短曝光影像信號；藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬，且輸出經產生結合影像信號，該曝光校正方法包括以下步驟：獲得該經結合影像信號之一照度積分值，及產生該經結合影像信號之一照度直方圖；自該照度直方圖偵測在該經結合影像信號中之曝光不足的發生；基於該曝光不足之該發生的一偵測結果設定一目標照度積分值；自該照度直方圖偵測該經結合影像信號中之曝光過度的發生；基於該曝光過度之該發生的一偵測結果設定一短曝光週期；及使用該目標照度積分值及該短曝光週期執行曝光校正控制；使用該目標照度積分值執行該曝光校正控制；使用該短曝光週期對於該短曝光影像信號執行該曝光校正控制；使用該目標照度積分值執行對於該長曝光影像信號的該曝光校正控制；在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制之兩者；及在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制中之任一者。
一種造成一影像拾取裝置以執行曝光校正之程式，該影像拾取裝置係經組態用以藉由曝光達到一相對較長週期獲得一長曝光影像信號，及藉由曝光達到一相對較短週期獲得一短曝光影像信號；藉由結合該長曝光影像信號及該短曝光影像信號來產生一經結合影像信號，該經結合影像信號具有之一動態範圍係比該長曝光影像信號及該短曝光影像信號之至少任一信號更寬，且輸出該經產生結合影像信號，該曝光校正包含以下步驟：獲得該經結合影像信號之一照度積分值，及產生該經結合影像信號之一照度直方圖；自該照度直方圖偵測在該經結合影像信號中之曝光不足的發生；基於該曝光不足之該發生的一偵測結果設定一目標照度積分值；自該照度直方圖偵測該經結合影像信號中之曝光過度的發生；基於該曝光過度之該發生的一偵測結果設定一短曝光週期；及使用該目標照度積分值及該短曝光週期執行曝光校正控制；使用該目標照度積分值執行該曝光校正控制；使用該短曝光週期對於該短曝光影像信號執行該曝光校正控制；使用該目標照度積分值執行對於該長曝光影像信號的該曝光校正控制；在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制之兩者；及在各影像信號單元週期中執行用於消除一曝光不足部分之該曝光校正控制及用於消除一曝光過度部分的該曝光校正控制中之任一者。