TWI646838B - 用於影像擷取之方法及器件 - Google Patents

用於影像擷取之方法及器件 Download PDF

Info

Publication number
TWI646838B
TWI646838B TW104112459A TW104112459A TWI646838B TW I646838 B TWI646838 B TW I646838B TW 104112459 A TW104112459 A TW 104112459A TW 104112459 A TW104112459 A TW 104112459A TW I646838 B TWI646838 B TW I646838B
Authority
TW
Taiwan
Prior art keywords
exposure value
exposure
cost
value
image
Prior art date
Application number
TW104112459A
Other languages
English (en)
Other versions
TW201543896A (zh
Inventor
畢瓊恩 班德魯斯
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201543896A publication Critical patent/TW201543896A/zh
Application granted granted Critical
Publication of TWI646838B publication Critical patent/TWI646838B/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本發明係關於用於判定一相機中之曝光設定之一器件及一方法。該方法包括以下行為：憑藉一影像感測器擷取一影像圖框，該擷取之曝光係基於一初始曝光值設定；藉由找到當應用於一總成本計算時導致一實質上最佳化值之一曝光值而判定一臨時曝光值，其中依據一特定曝光值之該總成本之該計算係基於該所擷取之影像圖框中之影像像素之該特定曝光值下之信號位準以及一成本函數；計算有關於該臨時曝光值下之該所擷取之影像之飽和像素之一飽和像素成本；藉由找到曝光值相對於該臨時曝光值之一遞減而判定一下一曝光值，針對遞減，不飽和像素之總成本相對於該臨時曝光值下之不飽和像素之該總成本之一改變實質上等於在該臨時曝光值下計算之該飽和像素成本；使用此經判定之下一曝光值用於擷取一新影像圖框。

Description

用於影像擷取之方法及器件
本發明係關於用於設定一影像擷取器件之曝光之一方法及一裝置。再者，本發明係關於用於判定用於擷取影像及動作視訊之曝光設定之一過程。
隨著越來越多的人帶有能夠擷取靜止影像及/或動作視訊之器件到處走動，憑藉技術手段擷取影像變得愈加盛行。再者，擷取之影像、靜止影像及/或動作視訊正廣泛用於監測以及監視系統。為了擷取影像資訊以作一特定用途，影像感測器對其將擷取之光的曝光必須經精確控制。為了使一終端使用者更容易地擷取可用影像，已發展用於設定合適曝光之自動方案。用於設定曝光之此等自動方案在一延伸時間段期間連續擷取靜止影像及/或動作視訊之系統中尤其重要。例如，光照條件實質上在任何延伸時間段期間都可變化，尤其係在晚上、早上及延伸超過一整天之時間段期間。光照條件實質上亦可在較短時間期間變化，此係由於天氣之改變，雲層覆蓋之改變，及場景之照明改變(例如，開啟或關閉電燈)。
在一些相機中，基於從安裝於相機中之單獨測光錶之輸入而自動計算用於相機前之場景之曝光設定。在其他相機中，基於由相機之影像感測器擷取之影像資料而自動計算用於場景之曝光設定。在專利 US 8 446 480 B2(KALEVO)中呈現使用用於計算曝光設定之來自影像感測器之影像資料之一項實例。此專利描述用於曝光控制之一方法及一裝置。判定一影像感測器中之在一特定強度下接收光之感測器元件數目之一直方圖。再者，將影像感測器之效能表達為所接收之光強度之一函數之成本函數可用於複數個曝光時間。接著，基於此直方圖以及該成本函數判定一曝光時間。文件之教示係有關於找到用於擷取一靜止影像之曝光。以上方法之一個問題係該方法係經設計用於擷取單一靜止影像且因此其之教示並未解決有關於擷取作為表示在一延伸時間段內之一相機視圖之一序列之部分之動作視訊或靜止影像之問題。
本發明之一個目的係提供用於計算用於動作視訊擷取過程之曝光設定之一改良之方法。
憑藉根據技術方案1之一方法且憑藉根據技術方案12之一影像擷取器件而達成本目的。在獨立技術方案中呈現本發明之進一步實施例。
特定而言，根據本發明之一項實施例，一方法包括：憑藉一影像感測器擷取一影像圖框，該擷取之曝光係基於一初始曝光值設定；藉由找到當應用於一總成本計算時導致一實質上最佳化值之一曝光值而判定一臨時曝光值，其中依據一特定曝光值之該總成本之該計算係基於所擷取之影像圖框中之影像像素之該特定曝光值下之信號位準以及一成本函數；計算有關於臨時曝光值下之該所擷取之影像之飽和像素之一飽和像素成本；藉由找到曝光值相對於該臨時曝光值之一遞減而判定一下一曝光值，針對曝光值之遞減，不飽和像素之總成本相對於該臨時曝光值下之不飽和像素之該總成本之一改變實質上等於在該臨時曝光值下計算之該飽和像素成本；及使用此經判定之下一曝光值用於擷取一新影像圖框。此方法之一個優勢係按順序擷取之影像 (即，針對一動作視訊)具有不會振盪之一穩定曝光設定。再者，此方法係快速的。
在另一實施例中，該方法進一步包含將各擷取之影像圖框實質上插入於一動作視訊串流中。避免振盪曝光之優勢在此一實施例中變得更加顯著。
在一項實施例中，該新影像圖框之該擷取起始判定一臨時曝光值、判定一飽和像素成本值及判定用於擷取一進一步影像圖框之一下一曝光值之步驟之重複。
根據一項實施例，該總成本之該計算係基於所擷取之影像之一直方圖以及一成本函數，該直方圖表示該特定曝光值下之該所擷取之影像圖框之不同強度位準處之像素之數目。使用一直方圖之優勢係該過程比不使用直方圖所需之處理容量更少。再者，需要儲存之資料量亦可減少。
在一項實施例中，一直方圖係表示一曝光時間期間在特定強度位準處接收光之一影像感測器之影像感測器元件之該數目之一函數。
根據另一實施例，在判定一臨時曝光值之行為中之計算一特定曝光值之一總成本之行為包含：依據該經擷取之影像資料計算表示不同曝光值之複數個直方圖；將各經記錄之強度位準之該直方圖值乘以成本函數中之對應強度位準之一成本值；藉由針對有關於一特定曝光值之各直方圖而將該直方圖中之實質上所有強度位準之各相乘之乘積相加來計算各曝光值之該總成本；及使用一演算法中之各曝光值之該經計算之總成本用於找到最低總成本及對應曝光值。該過程可藉由如本實施例中所描述一樣計算總成本而使用較少處理容量且可變得更快。
在另一實施例中，該成本函數係特定強度位準處之該影像感測器之效能之一函數。
在又一實施例中，判定該臨時曝光值、判定該飽和像素成本及判定該下一曝光值之一次反覆係基於該相同經擷取之影像資料。
根據一項實施例，該飽和像素成本經計算為該臨時曝光值下之該影像資料中之飽和像素之該數目乘以飽和像素之一預定成本值。
根據另一實施例，在該總成本之該計算中，將屬於該影像圖框中之所特別關注之區域之像素計數複數倍。此實施例之優勢係可容易且快速地優先曝光設定或給予受限區域或所辨識之物件更多之權重。因此，可達成一更相關及/或正確曝光。
根據又一實施例，在該總成本之該計算中，將屬於該影像圖框中之所特別關注之區域之像素計數複數倍。此實施例之優勢係可容易且快速地優先曝光設定或給予受限區域或所辨識之物件更多之權重。因此，可達成一更相關及/或正確曝光。
根據本發明之另一態樣，一種影像擷取器件包括：一影像感測器，其經配置以擷取影像圖框；一記憶體，其儲存一曝光值；一曝光控制器，其經配置以基於儲存於該記憶體中之該曝光值而控制待由該影像感測器擷取之該影像之該曝光；用於藉由找到當應用於一總成本計算時導致一實質上最佳化值之一曝光值而判定一臨時曝光值之構件，其中依據一特定曝光值之該總成本之該計算係基於所擷取之影像圖框中之影像像素之該特定曝光值下之信號位準以及一成本函數；一飽和像素成本計算器，其經配置以計算有關於該臨時曝光值下之該所擷取之影像之飽和像素之一飽和像素成本；用於藉由找到曝光值相對於該臨時曝光值之一遞減而判定一下一曝光值之構件，針對曝光值之遞減，不飽和像素之總成本相對於該臨時曝光值下之不飽和像素之該總成本之一改變實質上等於在臨時曝光值下計算之該飽和像素成本；且將下一曝光值儲存於記憶體中作為該曝光值。
在另一實施例中，影像擷取器件進一步包括一動作視訊編碼 器，其經配置以接收該所擷取之影像圖框且將其加入至一動作視訊串流中。
在又一實施例中，成本函數係特定強度位準處之該影像感測器之該效能之一函數。
從以下給出之詳細描述中將明白本發明之實用性之一進一步範疇。然而應瞭解，當指示本發明之較佳實施例時，詳細描述及特定實例僅以繪示方式給出，此乃因熟習此項技術者將從此詳細描述中明白在本發明之範疇內之各種改變及修改。因此，應瞭解，本發明不限於所描述之器件之特定組件部分或所描述之方法之步驟，因而器件及方法可不同。亦應瞭解，本文所使用之術語僅係為了描述特定實施例，且不意欲具有限制性。必須注意，如本說明書及隨附技術方案中所使用，冠詞「一」及「該」意欲意謂存在一或多個元件，除非本文另有明確指示。因此，例如，對「一感測器」或「該感測器」之提及可包含一些感測器及類似者。此外，單詞「包括」不排除其他元件或步驟。
12‧‧‧相機
14‧‧‧透鏡
16‧‧‧影像感測器
18‧‧‧影像處理單元/處理單元
20‧‧‧中央處理單元/處理單元
22‧‧‧網路介面
24‧‧‧電腦網路
26‧‧‧非揮發性記憶體/記憶體
28‧‧‧揮發性記憶體/記憶體
30‧‧‧內部匯流排
32‧‧‧曝光控制器
34‧‧‧快門控制輸出/快門輸出
P1‧‧‧像素數目
Ps1‧‧‧飽和像素
Ps2‧‧‧飽和像素
SNR‧‧‧信雜比
S‧‧‧信號位準
SL1‧‧‧信號位準
SL2‧‧‧信號位準
依據一目前較佳實施例之下列詳細描述、參考隨附圖式將明白本發明之其他特徵及優勢，在隨附圖式中圖1展示本發明之一實施例之一示意性方塊圖，圖2展示關於根據本發明之一項實施例之一過程之一流程圖，圖3展示一特定曝光值下之一所擷取之影像圖框之一實例直方圖，圖4展示針對一較高曝光值所重新計算之圖3之直方圖，圖5展示一影像感測器之一成本函數係可如何鑒於影像元件之信號位準而變化之一實例圖表，圖6展示一替代成本函數之一實例且其係如何鑒於影像元件之信 號位準而變化的，圖7展示關於用於找到圖2中之一臨時曝光值之替代過程之一流程圖。
此外，在圖中，相同參考符號指定一些圖式中之相同或對應部件。
根據一項實施例而實施本發明之一相機可係包含一影像感測器及處理容量之任何類型之相機。本發明之優勢在擷取動作視訊時比擷取靜止影像更明顯。
在圖1中，示意性地描繪根據本發明之一項實施例之一相機12。該相機包含聚焦待擷取至一影像感測器16上之來自場景之光之一透鏡14。將由影像感測器16擷取之影像資料轉換為數位影像資料。此可由配置於影像感測器16、一單獨區塊、或一影像處理單元18中之一類比轉數位轉換器(A/D轉換器)執行。影像處理單元18處理影像資料且可執行解馬賽克、顏色調整、計算曝光設定、自動聚焦處理、將所擷取之影像資料編碼至動作視訊串流或靜止影像中、計算直方圖等等。影像處理單元18可經配置以運行以下描述之有關於判定待使用之曝光設定之演算法。一中央處理單元20經配置以控制相機12之一般功能，例如使用者介面、伺服器功能等等。相機12亦可包含用於將該相機連接至一電腦網路24之一網路介面22。
再者，一非揮發性記憶體26可經配置以儲存用於由影像處理單元18及中央處理單元20執行之指令。相機12可針對影像處理單元18及中央處理單元20包含一個共同非揮發性記憶體26或其可針對影像處理單元18及中央處理單元20之各者包含單獨非揮發性記憶體26。至少一個揮發性記憶體28經配置為用於處理單元18、20之工作記憶體。可經由一內部匯流排30執行內部通信及資料輸送。
再者，相機12包含一曝光控制器32。曝光控制器32可係一特定控制電路，影像處理單元18或中央處理單元20之一功能區塊，或一特定控制電路與一功能區塊之一組合。曝光控制器32具有連接至影像感測器16以控制影像感測器16之快門功能之一快門控制輸出34。若相機包含一機械快門，則快門輸出34連接至該機械快門。曝光控制器32可經設計以控制曝光時間、光圈尺寸、增益等等。
以下將參考圖2描述根據本發明之一項實施例之用於產生相機12之曝光設定之一過程。在此實施例中，產生曝光設定之過程200係擷取動作視訊之過程之一完整部分。該過程開始於將一預設曝光值ei用作為曝光值，步驟202。當影像擷取開始時，該預設值可係儲存於記憶體26或28中之一曝光值。接著，曝光設定係基於曝光值e，步驟204。憑藉相機12之影像感測器16使用從曝光值e導出之曝光設定擷取一影像，步驟206。曝光值e可暫時儲存於揮發性記憶體26中。從所擷取之影像產生直方圖資料，步驟208。該直方圖資料表示針對各光強度位準擷取之像素數目。此直方圖資料經共同描繪為其中像素數目依據y軸(縱座標值)展繪，且光強度位準依據x軸(橫座標值)展繪之一圖式中之一圖表，圖3及圖4中展示實例。
接著，將直方圖資料及將成本界定為強度位準之一函數之一成本函數用於針對目前使用之曝光值及藉此目前使用之曝光設定計算一總成本值C(e)，步驟210。接著，針對基於步驟206中擷取之影像中之影像資料經預測之數個不同直方圖來執行此計算，以便找到實質上最低成本，該最低成本可取決於所實施之成本函數而由最高值或最低值表示。在該過程中，對最低成本之搜尋藉由以下步驟表示：過程步驟212，在過程步驟212中執行關於是否已找到最小成本之一檢查；及經由步驟214迴圈至在步驟210中計算新曝光值之成本之步驟，在步驟214中改變曝光值e且憑藉基於所擷取之影像及此經改變之曝光值e之 一計算執行一新直方圖之預測。執行曝光值e之改變時亦同時執行用於找到導致最低成本之曝光值之演算法。
當用於找到導致最低成本之曝光值之演算法已找到導致實質上最低成本之曝光值時，此曝光值經儲存為一臨時曝光值etemp，步驟216。
臨時曝光值etemp下可能存在所計算之直方圖中之飽和像素，即，表示高於或等於現有影像表示可記錄之最高強度位準之一強度位準之像素。基於僅有關於飽和像素之部分成本函數而計算此等飽和像素之成本Csat，步驟218。由於藉由最高光強度位準來表示飽和像素，所以可簡單藉由將飽和像素數目乘以成本函數中表示最高強度之成本之成本值而執行成本之計算。
接著，針對曝光值e計算一截斷直方圖，此曝光值e最初等於etemp，步驟220。在本申請案中，一截斷直方圖係表示除了在曝光值etemp下經飽和之像素之外之所有像素之一直方圖。獨立於待用於計算之曝光值，針對在etemp之之臨時曝光值下未經飽和之像素而計算該截斷直方圖。接著，基於曝光值e下之截斷直方圖及成本函數計算曝光值e下之影像之一總成本Ctrunc(e)，步驟222。在步驟224中，該過程檢查現有曝光值Ctrunc(e)下之截斷直方圖之總成本相對於臨時曝光值Ctrunc(etemp)下之截斷直方圖之總成本之增加是否已至實質上等於Csat之一程度，即，是否Ctrunc(e)-Ctrunc(etemp)=Csat。根據用於找到使得截斷直方圖Ctrunk(e)之成本實質上等於飽和像素Csat之成本之一曝光值之一演算法，若總成本之增加實質上未等於Csat，則改變曝光值e，步驟226。接著，該過程返回至步驟220及222以針對新曝光值e計算一截斷直方圖及一成本值Ctrunc(e)。
當在步驟224處發現截斷直方圖之總成本之增加(Ctrunc(e)-Ctrunc(etemp))實質上係等於Csat時，則判定一影像序列中之下一影像之 曝光值且該過程返回至步驟204以擷取該下一影像且接著再次檢查曝光。
在另一實施例中，無針對所擷取之影像圖框所計算之直方圖。相反，將成本函數應用於實質上各個別像素且加總至一總成本值。
在以上所描述之實施例中使用及討論之曝光值係界定用於相機之曝光設定之一值。該曝光值可至少判定曝光時間、光圈尺寸及增益之任何一者或任何組合。在本描述之實例中，曝光值與曝光設定之間之關係使得在增加曝光值達25%之後預期所有光強度位準(下文中稱為信號位準)之25%之一增加。光強度位準導致自影像感測器之一信號位準輸出，此信號位準亦可被稱為一像素值。即使曝光值與用於其中實施本發明之相機之所得總光強度位準之間之此關係不係如以上所描述之線性，以上所描述之假定關係亦足夠良好以將直方圖之預測基於該假定關係。熟習技術者將明白該等值及曝光值與曝光設定之間之關係可經不同選擇而仍然獲取相同效應。
據此，在計算表示其他曝光值而非所擷取之影像資料之曝光值之直方圖時(此等所計算之直方圖係基於該所擷取之影像資料)，相對於所擷取之影像資料之曝光值之曝光值之改變可用於計算新直方圖。如以上所描述，於計算新直方圖時可使用所預期之曝光edcs值與所擷取之影像之曝光值(初始曝光值-eorg)之間之比率(即，比率=edes/eorg)，其係藉由將各像素信號位準乘以該比率或藉由將直方圖中之各項目乘以該比率。然而，用於使用低於初始曝光值之曝光值而預測一直方圖之計算可引入嚴重錯誤，此係由於所擷取之影像資料中之飽和像素經儲存具有最高之可能信號位準且所擷取之影像資料不包含各飽和像素之實際值比飽和位準高多少之任何資訊。因此，基於所擷取之影像資料之針對一較低曝光值之直方圖之一重新計算將僅把飽和信號位準處之像素移動至一較低信號位準且使得該等信號位準處於此較低信號位 準與完全無任何資料之飽和信號位準之值之間。
一直方圖可呈現為圖式，見圖3及圖4。例如，圖3中之直方圖可表示在信號位準SL1處具有最多像素且在此位準處之像素數目係P1之一所擷取之影像之直方圖。在飽和信號位準ssat處指示飽和像素Ps之數目。此直方圖係基於在一曝光值e1下擷取之影像資料。圖4中之直方圖係表示在一曝光值e2(比e1高1.25倍，即曝光值增長25%)下依據由圖3之直方圖表示之影像資料計算之一重新計算之直方圖。如圖4中所見，表示一信號位準SL2之最多像素之峰值已移動至高於表示較低曝光值之直方圖中之對應位置之一信號位準。曝光值之此增加亦導致大量像素將到達表示飽和像素之信號位準，比較圖3中之飽和像素Ps1之數目與圖4中之飽和像素Ps2之數目。
根據一項實施例，一直方圖描述為一函數h(s)，其中s係信號位準且其限於0與ssat之間之值。可藉由方程式1針對一新直方圖之不飽和部分描述針對可對應於以上討論之比率之一曝光改變e之該新直方圖h’(s)之計算。
以上討論之成本函數可界定為給出一特定像素值之適合度之一函數。成本函數表示所擷取之影像中之信號位準且亦可包含飽和像素之一值。存在可用於此目的之諸多類型之成本函數。再者，當計算成本時，該成本函數可考慮空間態樣，即，該成本函數可經配置以考慮一所擷取之影像之內容。根據一項實施例，該成本函數係基於不同信號位準處之像素之雜訊位準。此意謂以上描述之演算法經配置以找到產生具有低總雜訊之一影像且鑒於曝光而仍然產生一實質上穩定之影像序列之一曝光值。
據此，一成本函數可基於雜訊。讀取雜訊n r 及光子散粒雜訊n s 大體上係相機應用中之主要雜訊源。讀取雜訊係恆定的，此無關於信號位準，而散粒雜訊可經計算為信號位準s之平方根。
n r =1 方程式2
在一項實施例中，成本函數係基於系統之信號位準之範圍內之信雜比，SNR。在方程式5中呈現此一成本函數。
當此一成本函數展繪於一圖式中時，其可看起來像圖5中呈現之圖表。從圖表中可明顯看到信雜比在低信號位準處相當差且在上升之信號位準處變得更好。該圖表之陡峭結尾僅指示到達一影像感測器之最大信號位準且超過此值不存在信雜比。
藉由組合成本函數與一特定曝光之一直方圖可計算該曝光之總成本，見方程式6。
在此方程式中，s max 係在影像擷取器件中表示之最高信號位準。
因此，可藉由找到產生最高值之一直方圖而易於找到最佳曝光，此係由於成本函數經界定為在最佳像素品質處具有一較高值。因此可足夠找到產生最高c h 值之曝光值。
然而，若僅實施此最大化方法，則一所擷取之動作視訊將在曝光中經歷振盪且此等振盪可嚴重擾亂一觀看者。特定言之，若相機係其中一操作者將動作視訊置於一屏幕上達長時間週期之一監視系統之一部分，則影像之曝光之此等振盪效應甚至可對操作者有害。此振盪 現象背後之問題可在處理飽和像素中找到。例如，若影像目前太暗，吾人具有太少飽和像素，但吾人可預測將針對一給定增長曝光飽和多少像素。此意謂吾人可選擇直接產生預期數目之飽和像素之一新曝光。另一方面，若影像目前太亮且吾人需要減少曝光，吾人無法得知將針對一給定曝光減少而變得非飽和之像素數目，此繼而意謂吾人不可直接找到一新曝光。此問題之一解決方案係將演算法分為兩個曝光判定步驟。因此，結合圖2呈現之演算法包含一第一部分，即找到使用各種曝光值曝光之影像之一最佳成本，及一第二部分，其中該曝光值鑒於飽和像素而經調整。根據一項實施例，第一部分僅測試高於所擷取之影像之曝光值之曝光值且第二部分僅測試低於臨時曝光值之曝光值。
參考圖2，根據一項實施例，包含步驟210、212、214之找到一曝光值之第一部分經配置以僅評估具有大於用於在步驟206中擷取影像之曝光值之曝光值之曝光，如以上所提及。僅評估較大曝光值之優勢係可使用已知資料且可避免有關於在哪一曝光值下將使所擷取影像中之一飽和像素降低飽和度之假定。據此，搜尋高於用於擷取影像之曝光值且產生一最佳成本之一曝光值。當判定時，此曝光值(稱為臨時曝光值etemp)用於連續過程中。由於第一部分經配置以僅增加曝光值，所以第二部分經配置以找出該曝光值是否必須減少。
此第二部分包含步驟218、220、222、224及226且如先前所提及之經配置以評估飽和像素對影像之影響。在一項實施例中，此可藉由計算鑒於臨時曝光值etemp下之飽和像素之數目所允許之額外成本之數目而達成。可藉由具有針對飽和像素界定之一恆定成本值且接著將此成本值乘以經計算以在臨時曝光值下飽和之像素數目而執行結合步驟218討論之飽和像素之成本之計算。接著將飽和像素之此成本用作為所允許之成本增加之一值。
接著將排除飽和像素之一直方圖用於步驟220、222、224及226中。此直方圖被稱為截斷直方圖。藉由使用此截斷直方圖可克服當減少曝光值時不知道何時降低一飽和像素之飽和度之問題。如關於步驟220、222、224及226所描述，計算截斷直方圖且計算目前曝光值下之截斷直方圖之成本。接著，減少曝光值直至目前曝光值下計算之直方圖之總成本已減少達實質上對應於針對臨時曝光值下之飽和像素計算之成本之一值。由此過程導出之曝光值可接著用作為用於擷取下一影像之曝光值。
根據一項實施例，由一反向SNR函數(例如，雜信比)替代用於成本函數中之SNR，見圖6。藉由將成本函數基於反向SNR函數而非SNR函數，第一過程步驟將找到最佳臨時曝光值作為最小值而非一最大值。再者，基於SNR(無論是否反向)之成本函數係取決於各曝光下使用之增益。然而，每次改變增益時重新計算成本函數從一器件效能方面來看係不高效的。在一項實施例中，反而更改不同曝光之飽和成本。此導致實質上與重新計算成本函數相同之效應，但實質上減少了計算複雜性。不同曝光位準處之飽和成本可係當建立演算法時經主觀組態之一參數。
在結合圖2描述之過程之第一部分期間找到最佳曝光值之過程中可使用經修改之對分搜尋法。此搜尋法在圖7中之流程圖中經繪示且該過程可直接插入於圖2中之過程步驟208與216之間，替換目前在圖2中之過程步驟。該搜尋法包含在一現有曝光值間隔中選擇五個等距分佈之曝光值點，步驟702。初始曝光值間隔係包含合理曝光值之一預定義曝光值間隔。接著，計算此等五個曝光值之直方圖且基於成本函數及各曝光值之直方圖而計算各曝光值點之總成本，步驟704。將現有曝光值間隔分為兩半，且現有曝光值間隔之包含導致最佳總成本之曝光值之一半經選擇作為一新現有曝光值間隔，步驟706。該最佳總 成本可係最低值或最高值，此取決於所使用之成本函數。在步驟708中決定該過程將返回至步驟702或者該過程將繼續。根據一項實施例，在第一部分期間找到最佳曝光值之過程經配置以在三次反覆之後結束且該過程已界定在三次反覆之後找到一實質上最佳曝光值。此針對諸多實施方案給出足夠精確性。然而，若應用從該過程中受益，則該過程可在更高預定數目次反覆之後結束。替代地，當不同曝光值下之總成本之兩個連續計算之間之總成本之改變小於一預定臨限值時，可結束找到一實質上最佳曝光值之過程。
在第二部分之過程中，即在找到曝光值之過程中(其中截斷直方圖之總成本之改變實質上等於臨時曝光值下之飽和像素之成本(相較於有關於截斷直方圖之臨時曝光值之成本))，一標準二分法可適於該搜尋。此過程亦可實施用於找到一實質上最佳值之三次反覆之限制。然而，若應用從該過程中受益，則該過程可在更高預定數目次反覆之後結束。替代地，當經改變之總成本與飽和像素之成本之間之差小於一預定臨限值時，可結束找到一實質上最佳曝光值之過程。
在一替代實施例中，重新計算成本函數而非直方圖。在一些情況中，重新計算成本函數所需之計算需求比重新計算直方圖所需之計算需求少。當模擬增加曝光值時，成本函數可反而沿信號位準方向經壓縮且當模擬減少曝光值時，成本函數可沿信號位準方向經延伸。針對模擬增加曝光值之情況，飽和像素將係具有高於經壓縮之成本函數之最高信號位準位置之一信號位準之像素。成本函數中之最高信號位準亦可表示飽和像素及此等飽和像素之成本。
在以上實施例中，成本函數經描述僅為雜訊位準之函數。然而，成本函數可基於動作及經識別類型之影像特徵，例如，物件辨識、人臉辨識等等。實施此等額外成本特徵之一個方法係仍然將成本函數基於SNR但接著使得在一所擷取之場景中表示移動之像素，或表 示特定物件之像素或多或少計數，此取決於吾人是否想讓該等像素對曝光設定具有一較大或較小影響。實施此方法之一個簡單辦法係使得經偵測具有動作或係待偵測之一物件之一部分之各像素計數為複數個像素。計數為複數個像素之一像素將解譯為計數為一個以上像素之一像素，即，x倍該像素，其中x可係任何實數。例如，在經識別為一人臉之一區域中之像素當應用於成本計算時可經計數為1.34像素，或其可經計數為2像素，此取決於一人臉之曝光應對曝光設定有多少影響。

Claims (14)

  1. 一種影像擷取方法，其包括：憑藉一影像感測器擷取一影像圖框，該擷取之曝光係基於一初始曝光值設定，藉由找到當應用於一總成本計算時導致一實質上最佳化值之一曝光值而判定一臨時曝光值，其中依據一特定曝光值之該總成本之該計算係基於該所擷取之影像圖框中之影像像素之該特定曝光值下之信號位準以及一成本函數，計算有關於該臨時曝光值下之該所擷取之影像之飽和像素之一飽和像素成本，藉由找到曝光值相對於該臨時曝光值之一遞減而判定一下一曝光值，針對曝光值之遞減，不飽和像素之總成本相對於該臨時曝光值下之不飽和像素之該總成本之一改變實質上等於在該臨時曝光值下計算之該飽和像素成本，及使用此經判定之下一曝光值用於擷取一新影像圖框。
  2. 如請求項1之方法，其進一步包含將各所擷取之影像圖框實質上插入於一動作視訊串流中。
  3. 如請求項1之方法，其中該新影像圖框之該擷取起始判定一臨時曝光值、判定一飽和像素成本值及判定用於擷取一進一步影像圖框之一下一曝光值之步驟之重複。
  4. 如請求項1之方法，其中該總成本之該計算係基於該所擷取之影像之一直方圖以及一成本函數，該直方圖表示該特定曝光值下之該所擷取之影像圖框之不同強度位準處之像素數目。
  5. 如請求項4之方法，其中一直方圖係表示一圖框曝光期間在特定強度位準處接收光之一影像感測器之影像感測器元件之該數目 之一函數。
  6. 如請求項1之方法，其中在判定一臨時曝光值之行為中之計算一特定曝光值之一總成本之行為包含：依據該經擷取之影像資料計算表示不同曝光值之複數個直方圖；將各經記錄之強度位準之直方圖值乘以該成本函數中之對應強度位準處之一成本值；藉由針對有關於一特定曝光值之各直方圖而將該直方圖中之實質上所有強度位準之各相乘之乘積相加來計算各曝光值之該總成本；及使用一演算法中之各曝光值之該經計算之總成本用於找到最低總成本及對應曝光值。
  7. 如請求項1之方法，其中該成本函數係特定強度位準處之該影像感測器之效能之一函數。
  8. 如請求項1之方法，其中判定該臨時曝光值、判定該飽和像素成本及判定該下一曝光值之一次反覆係基於該相同經擷取之影像資料。
  9. 如請求項1之方法，其中該飽和像素成本經計算為該臨時曝光值下之該影像資料中之飽和像素之該數目乘以飽和像素之一預定成本值。
  10. 如請求項1之方法，其中在該總成本之該計算中，將屬於該影像圖框中之所特別關注之區域之像素計數複數倍。
  11. 如請求項1之方法，其中在不飽和像素之該總成本之該計算中，將屬於該影像圖框中之所特別關注之區域之像素計數複數倍。
  12. 一種影像擷取器件，其包括：一影像感測器，其經配置以擷取影像圖框；一記憶體，其儲存一曝光值；一曝光控制器，其經配置以基於儲存於該記憶體中之該曝光值而控制待由該影像感測器擷取之該影像之該曝光； 用於藉由找到當應用於一總成本計算時導致一實質上最佳化值之一曝光值而判定一第一曝光值之構件，其中依據一特定曝光值之該總成本之該計算係基於該所擷取之影像圖框中之影像像素之該特定曝光值下之信號位準以及一成本函數；一飽和像素成本計算器，其經配置以計算有關於該第一曝光值下之該所擷取之影像之飽和像素之一飽和像素成本；用於藉由找到曝光值相對於該第一曝光值之一遞減而判定一第二曝光值之構件，針對曝光值之遞減，不飽和像素之總成本相對於該第一曝光值下之不飽和像素之該總成本之一改變實質上等於在該第一曝光值下計算之該飽和像素成本；且將該第二曝光值儲存於記憶體中作為該曝光值。
  13. 如請求項12之影像擷取器件，其進一步包括一動作視訊編碼器，其經配置以接收該所擷取之影像圖框且將其加入至一動作視訊串流中。
  14. 如請求項12之影像擷取器件，其中該成本函數係特定強度位準處之該影像感測器之該效能之一函數。
TW104112459A 2014-04-24 2015-04-17 用於影像擷取之方法及器件 TWI646838B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??14165865.8 2014-04-24
EP14165865.8A EP2938064B1 (en) 2014-04-24 2014-04-24 Method and apparatus for determining exposure setting

Publications (2)

Publication Number Publication Date
TW201543896A TW201543896A (zh) 2015-11-16
TWI646838B true TWI646838B (zh) 2019-01-01

Family

ID=50549258

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104112459A TWI646838B (zh) 2014-04-24 2015-04-17 用於影像擷取之方法及器件

Country Status (6)

Country Link
US (1) US9402035B2 (zh)
EP (1) EP2938064B1 (zh)
JP (1) JP6138190B2 (zh)
KR (1) KR101699001B1 (zh)
CN (1) CN105007430B (zh)
TW (1) TWI646838B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101592790B1 (ko) * 2014-11-26 2016-02-18 현대자동차주식회사 카메라 노출 제어 시스템 및 그 방법
US9674460B1 (en) * 2015-11-19 2017-06-06 Google Inc. Generating high-dynamic range images using varying exposures
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10200624B2 (en) * 2016-04-06 2019-02-05 Facebook, Inc. Three-dimensional, 360-degree virtual reality exposure control
RU2667790C1 (ru) * 2017-09-01 2018-09-24 Самсунг Электроникс Ко., Лтд. Способ автоматической регулировки экспозиции для инфракрасной камеры и использующее этот способ вычислительное устройство пользователя
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
CN112911163B (zh) * 2021-01-20 2023-04-07 维沃移动通信有限公司 图像的曝光方法及装置、电子设备
US11943540B2 (en) * 2021-09-30 2024-03-26 Texas Instruments Incorporated Method and apparatus for automatic exposure

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831695B1 (en) * 1999-08-10 2004-12-14 Fuji Photo Film Co., Ltd. Image pickup apparatus for outputting an image signal representative of an optical image and image pickup control method therefor
WO2005001563A1 (en) * 2003-06-30 2005-01-06 Nokia Corporation Method and system in digital imaging for adjusting exposure and a corresponding device
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
US20120177352A1 (en) * 2011-01-10 2012-07-12 Bruce Harold Pillman Combined ambient and flash exposure for improved image quality
EP2552099A1 (en) * 2011-07-27 2013-01-30 Axis AB Method and camera for providing an estimation of a mean signal to noise ratio value for an image
US20140111674A1 (en) * 2012-10-23 2014-04-24 Olympus Imaging Corp. Image pickup apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100455159B1 (ko) * 2002-09-26 2004-11-06 엘지전자 주식회사 휴대 단말기 카메라 센서의 실시간 화질 제어 장치 및 방법
JP4130601B2 (ja) * 2003-03-28 2008-08-06 富士重工業株式会社 対象物認識装置および対象物認識方法
WO2008075136A1 (en) 2006-12-20 2008-06-26 Nokia Corporation Exposure control based on image sensor cost function
JP4986747B2 (ja) * 2007-07-09 2012-07-25 キヤノン株式会社 撮像装置及び撮像方法
US8897595B2 (en) * 2008-03-26 2014-11-25 Ricoh Co., Ltd. Adaptive image acquisition for multiframe reconstruction
KR20140024707A (ko) * 2012-08-21 2014-03-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831695B1 (en) * 1999-08-10 2004-12-14 Fuji Photo Film Co., Ltd. Image pickup apparatus for outputting an image signal representative of an optical image and image pickup control method therefor
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
WO2005001563A1 (en) * 2003-06-30 2005-01-06 Nokia Corporation Method and system in digital imaging for adjusting exposure and a corresponding device
US20120177352A1 (en) * 2011-01-10 2012-07-12 Bruce Harold Pillman Combined ambient and flash exposure for improved image quality
EP2552099A1 (en) * 2011-07-27 2013-01-30 Axis AB Method and camera for providing an estimation of a mean signal to noise ratio value for an image
US20140111674A1 (en) * 2012-10-23 2014-04-24 Olympus Imaging Corp. Image pickup apparatus

Also Published As

Publication number Publication date
JP2015211469A (ja) 2015-11-24
US9402035B2 (en) 2016-07-26
TW201543896A (zh) 2015-11-16
EP2938064A1 (en) 2015-10-28
EP2938064B1 (en) 2016-10-12
KR101699001B1 (ko) 2017-01-23
US20150312460A1 (en) 2015-10-29
JP6138190B2 (ja) 2017-05-31
CN105007430A (zh) 2015-10-28
KR20150123181A (ko) 2015-11-03
CN105007430B (zh) 2018-04-10

Similar Documents

Publication Publication Date Title
TWI646838B (zh) 用於影像擷取之方法及器件
TWI576653B (zh) 曝光控制系統及其方法
JP6953311B2 (ja) 画素データに対して演算を実行するためのシステムおよび方法
US9092861B2 (en) Using motion information to assist in image processing
US8224176B1 (en) Combined ambient and flash exposure for improved image quality
US20080253758A1 (en) Image processing method
TW201628391A (zh) 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法
CN110166701B (zh) 自动曝光控制器、自动曝光控制方法及其系统
US20150195482A1 (en) Method, system and smartphone that chooses optimal image to reduce shutter shake
US20120002081A1 (en) Method for adjusting photosensitiveness of digital camera
KR20160118947A (ko) 영상 안정화를 위한 방법 및 시스템
CN112750087A (zh) 图像处理方法和装置
JP2010183460A (ja) 撮像装置およびその制御方法
JP5621335B2 (ja) 画像処理装置及び画像処理方法、並びに画像撮像装置
JP6827782B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
CN110072050B (zh) 曝光参数的自适应调整方法、装置及一种拍摄设备
JP2010183461A (ja) 撮像装置およびその制御方法
JP2021136671A (ja) 情報処理装置、撮像装置、方法、プログラム及び記憶媒体
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2020077964A5 (zh)
JP4477469B2 (ja) フラッシュシーン検出方法、装置およびプログラム
JP4765860B2 (ja) 監視カメラおよび撮像装置
JP2010079815A (ja) 画像補正装置
JP2014179686A (ja) 撮像装置、その制御方法、および制御プログラム
CN114143422A (zh) 信息处理设备、信息处理方法和存储介质