TWI536827B - 用於改善之影像品質的結合周圍及閃光曝光 - Google Patents

用於改善之影像品質的結合周圍及閃光曝光 Download PDF

Info

Publication number
TWI536827B
TWI536827B TW101100841A TW101100841A TWI536827B TW I536827 B TWI536827 B TW I536827B TW 101100841 A TW101100841 A TW 101100841A TW 101100841 A TW101100841 A TW 101100841A TW I536827 B TWI536827 B TW I536827B
Authority
TW
Taiwan
Prior art keywords
exposure
flash
image
determined
index
Prior art date
Application number
TW101100841A
Other languages
English (en)
Other versions
TW201240448A (en
Inventor
布魯斯Ｈ 皮爾曼
約翰Ｎ 波德
羅伯特Ｐ 克勞特
理查Ｂ 惠爾勒
Original Assignee
智慧投資基金８３有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 智慧投資基金８３有限責任公司 filed Critical 智慧投資基金８３有限責任公司
Publication of TW201240448A publication Critical patent/TW201240448A/zh
Application granted granted Critical
Publication of TWI536827B publication Critical patent/TWI536827B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

用於改善之影像品質的結合周圍及閃光曝光
本發明係關於數位相機之領域，且更特定言之係關於自動使用閃光及周圍照明，從而以改善之總體品質來進行俘獲及成像。
數十年來，具有眾多操作特徵(包括(但不限於)曝光控制、白平衡及自動對焦)之數位相機已成為消費者日常用品。由於相機複雜性已增加，因此使用者操作數位相機所需之動作亦已增加。
電子成像系統取決於用以在影像感測器上形成影像以便產生視覺影像之電子表示的透鏡系統。此等影像感測器之實例包括電荷耦合器件(CCD)影像感測器及主動像素感測器(APS)器件(APS器件常常被稱為CMOS感測器，此係因為以互補金屬氧化物半導體製程製造其之能力)。感測器包括個別像元感測器或像素之二維陣列。每一像素通常具備紅色、綠色抑或藍色濾光片(如(例如)在Bayer之題為「Color imaging array」的共同讓渡之美國專利3,971,065中所描述)，使得可產生全色影像。不管所使用之影像感測器的類型(例如，CCD或CMOS)，像素充當積聚有與在由電子成像系統俘獲影像期間照射像素之光之量成正比的光生電荷的「貯體(bucket)」。
影像感測器在被稱為曝光時間或整合時間的時間間隔中搜集光以在影像俘獲期間產生正確曝光。基於待成像之場景的亮度量測，使用電子成像系統(通常具有自動曝光系統)來判定將產生具有有效亮度及有效訊雜比之影像的合適曝光時間。場景愈暗淡，則電子成像系統必須用來搜集光以產生正確曝光的時間量愈長。若在影像俘獲期間存在場景中之物件相對於影像俘獲器件的運動，則可在所俘獲之影像中存在運動模糊。當相機與場景中之一點之間的相對運動導致場景中之該點在曝光時間期間被成像遍及成像器上之多個像素時，引起運動模糊。在曝光期間的運動模糊可由運動模糊點擴散函數來描述，該運動模糊點擴散函數量化在曝光之時間期間影像中之該點至每一像素上的相對曝光。若不存在運動模糊，則運動模糊點擴散函數為簡單之尖峰(亦即，不存在運動模糊)。當該點在曝光期間移動得愈多時，運動模糊點擴散函數擴散以覆蓋更多像素。
運動模糊可由相機移動引起，在該狀況下，在所投影之影像中的運動貫穿該影像而主要為相同的且可由貫穿該影像而實質上為恆定的運動模糊點擴散函數來描述。此被稱為全域運動。場景內之物件獨立地移動(諸如，人在場景內移動)亦為普遍的。此被稱為區域運動且產生用於移動物件之運動模糊點擴散函數(不同於用於場景之其他部分的運動模糊點擴散函數)。在場景之組成及俘獲期間可存在此等類型之運動中之任一者或兩者。
通常更易於量測全域運動，此係因為僅需要估計少量參數(諸如，單一運動速度向量)。此外，可使用慣性器件(諸如，迴轉儀或加速度計)來提供關於相機運動之資料。
全域運動與區域運動兩者由速度向量(所投影之影像中之點移動地有多快)來很好地描述，該等速度向量可藉由方向及以像素/秒為單位來量化之速度而特徵化。區域速度與全域速度兩者可隨時間而改變，且速度隨時間之過去的積分提供關於所投影之點隨時間之過去的位置的資訊。增加速度或曝光時間將大體上增加曝光期間之運動模糊。在運動模糊是歸因於區域運動抑或全域運動係不重要的情形下，本發明使用術語「場景運動」。
用以減少全域運動模糊之多個方法已為熟習此項技術者所知。一種方法係使用影像穩定化系統。此等方法通常使用慣性量測器件(例如，迴轉儀或加速度計)來量測在俘獲期間影像俘獲器件之運動且接著使用具有一透鏡元件或透鏡群組之專用透鏡，該透鏡元件或透鏡群組可橫向地移動以導致由透鏡形成於影像感測器上之影像在補償影像俘獲器件運動之方向上移動。在其他實施例中，影像感測器自身可橫向地移動以補償影像俘獲器件運動。
可用以在視訊影像之俘獲期間校正運動的方法描述於Rabbani等人之「Image sequence stabilization method and camera having dual path image sequence stabilization」的美國專利申請公開案2006/0274156中。此方法係基於所俘獲之視訊序列中之個別圖框的數位移位以補償數位相機之移動。儘管此方法不能減少單一圖框中之運動模糊，但能有效地使所俘獲之視訊影像之序列穩定以減少相機抖動之效應。
上述方法中沒有一種方法能有效減少區域運動模糊之效應。一種用以減少區域運動模糊之方法係將曝光時間縮短至短於由僅考慮場景亮度之自動曝光系統所選擇之曝光時間的設定。所得影像將較暗且將具有較低訊雜比。 可接著將類比或數位增益應用於影像中之像素值以使較暗之影像變亮，但熟習此項技術者應認識到，此將產生更具雜訊之影像。
Nomura等人之題為「Subject shake detection device,imaging device,control method thereof,control program,and recording medium」的美國專利7,657,164描述使用迴轉儀及影像分析來估計相機抖動。根據預定義臨限值來調節曝光時間以限制運動模糊。
Weinberg等人之題為「Camera with acceleration sensor」的美國專利7,720,376教示具有加速度感測器之相機。在判定應用於特定焦距之最小快門速度的程序中使用所感測到之加速度。
Stavely之題為「Apparatus and method for reducing image blur in a digital camera」的美國專利申請公開案2007/0188617教示使用運動感測器及影像分析來判定相機運動資訊。該運動資訊用以控制影像俘獲之瞬時以提供減少之運動模糊。
用以減少區域運動模糊的另一方法係使用具有較大光圈之透鏡或具有較大像素之影像感測器來搜集更多的光，藉此使得能夠使用更短之曝光時間。此方法可產生具有減少之運動模糊及可接受之雜訊位準的影像。然而，電子成像系統中之當前產業趨勢係使影像俘獲器件更緊密且更不昂貴。具有大光圈之高級光學元件及具有較大像素之影像感測器實質上更昂貴，且因此不能實際用於許多應用。
用以減少區域運動模糊的另一方法係藉由攝影閃光來補充可用光以便減少有效之曝光時間。攝影閃光產生維持一秒之一小部分的強大光通量。攝影閃光可為具有氙氣管之電子閃光、發光二極體(LED)或LED陣列，或在 相機俘獲影像時被控制或觸發的某一其他光源。可將實際曝光時間設定至最低程度地長於閃光持續時間的短值。因此，可顯著地減少在曝光期間由全域運動或區域運動引起之運動模糊。然而，閃光在明亮照明中無效且明亮照明中之快速移動物件仍可產生區域運動模糊。另外，閃光攝影通常僅在閃光與被攝影之場景之間的距離為小的情況下才有用。閃光攝影亦趨向於產生假影，諸如紅眼及所俘獲之影像中的非常明亮區域或暗區域，此令許多人感到討厭。
可減輕區域運動模糊之方法大體上亦有效對抗全域運動模糊，但具有上文所描述之限制。
用於選擇曝光時間之習知解決方案通常使用一或多個標準化設定，或對操作者模式設定作出回應以獲得曝光時間。圖1展示用於執行自動曝光之數位相機之典型曝光控制系統200的流程圖。在評估場景亮度步驟210中，相機藉由場景亮度感測器或藉由對預覽影像之分析來評估場景亮度。在判定俘獲模式步驟220中，基於所量測之場景亮度及任何操作者選擇之使用者介面設定或標準化設定來判定俘獲模式設定225。在判定曝光指數步驟230中，根據所量測之場景亮度及俘獲模式設定225來判定曝光指數設定235(EI)。熟習此項技術者應認識到，曝光指數為一種用以量化良好曝光所必要之光之量的標準方式。對於基於膠片之相機而言，通常基於膠片速度或ISO等級(其與膠片感光度有關)來設定曝光指數。相反地，在數位相機中，常常基於多個因數(包括場景亮度)來設定曝光指數(EI)，且調節數位相機之有效ISO以充分匹配EI。在判定光圈步驟240中，根據所量測之場景亮度、俘獲模式設定225及曝光指數設定235來判定光圈設定245以控制相機透鏡之f數。接著在判定曝光時間步驟250中根據場景亮度、俘獲模式設定225、曝光指數設定235及光圈設定245來判定曝光時間設定 255(t)。應注意，不必以圖1中所展示之次序來執行此等步驟。在已判定各種設定之後，使用俘獲數位影像步驟260來俘獲及儲存數位影像265。然而，因為亮度及場景中之運動可為高度可變的且由於未考慮運動，所以典型相機控制系統200之方法傾向於俘獲具有不良之感知影像品質的影像，從而可在影像中存在令人失望之運動模糊或雜訊位準。
Pillman等人之題為「Varying camera self-determination based on subject motion」的美國專利申請公開案2007/0237514教示一種用於俘獲數位影像之方法，其中在影像俘獲之前量測場景中之運動。回應於所判定之場景運動而調節各種相機設定。若偵測到緩慢場景運動或未偵測到場景運動，則進行額外分析以幫助選擇數位相機之俘獲模式設定225。若偵測到快速場景運動，則選擇適合於運動攝影之俘獲模式設定225以供如圖1中所呈現之曝光控制系統200使用。運動俘獲模式將限制曝光時間且使用比典型預設俘獲模式高的曝光指數設定235。因而，Pillman之方法主要提供一種用於俘獲具有顯著場景運動之場景的改善之方法。
在Minema等人之題為「Image blurring reduction」的美國專利申請公開案2007/0237506中，描述了一相機，其中若未偵測到相機運動，則以較慢快門速度來俘獲影像。若偵測到相機運動，則以較快快門速度來俘獲影像。儘管此方法確實減少了影像中之運動模糊，但其未解決在選擇俘獲條件(包括曝光時間及ISO)中影像中之運動模糊及雜訊對影像之感知影像品質的結合影響。
McIntyre等人之題為「Image capture apparatus」的美國專利5,598,237描述可在手持式條件及在穩定之非手持式條件下操作的影像俘獲裝置。取決於是否正在手持式條件下使用相機來選擇不同曝光參數。
Rubner之題為「Adaptive Exposure Control」的美國專利申請公開案2009/0040364教示使用多影像俘獲程序來減少影像品質假影(包括運動模糊)。圖2展示概述此方法之流程圖。在俘獲第一影像步驟270中，使用由相機自動曝光控制系統(例如，如圖1中所呈現之曝光控制系統200)定義之曝光條件來俘獲第一影像。在分析影像缺陷步驟275中，針對影像品質之態樣(諸如，過度曝光、曝光不足、運動模糊、動態範圍或景深)來分析第一影像以判定已滿足哪些態樣且缺陷仍然存在於何處。基於此分析，使用剩餘缺陷測試280來檢查任何缺陷是否仍然存在於影像品質之態樣中。若一些缺陷仍然存在，則該程序進行至更新曝光參數步驟282，在該更新曝光參數步驟282中，針對至少一額外影像來設定新的曝光參數。接著使用俘獲額外影像步驟272以使用該等新的曝光參數來俘獲額外影像。接著藉由分析分析影像缺陷步驟275來分析該額外影像。此程序重複直至剩餘缺陷測試280判定在已俘獲之多個影像之中已滿足影像品質之所有態樣為止。接著藉由以使得滿足所要之影像品質之所有態樣的方式使用結合俘獲影像步驟285來結合多個所俘獲之影像之部分而建構最終影像。然而，Rubner之方法未解決在需要俘獲僅單一俘獲影像之應用中與運動有關之影像品質問題。
Pozniansky等人之題為「Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired」的美國專利申請公開案2008/0101786描述一種用於使用人工照明以基於運動分析來獲取改善之影像的方法。此申請案教示使用場景明度臨限值及運動模糊臨限值來判定應何時使用閃光。此申請案添加運動臨限值以補充場景明度臨限值在控制閃光中之熟知使用。在其圖10中，其基於場景明度及運動模糊之臨限值而結合閃光及周 圍曝光。Pozniansky等人之方法未教示一種用於連續地調合周圍及閃光曝光以達成較佳曝光控制的方法。
Wheeler之題為「Depth number based technique for selecting lens aperture size and flash parameters for a full flash exposure」的美國專利5,124,740描述一種用於控制閃光及各種系統參數以最佳化用於靜態影像俘獲之曝光的方法。詳言之，Wheeler教示使用深度指數以及閃燈指數(guide number)來最佳化光圈(f數)選擇。
O'Such等人之題為「Automatic optimization of photographic exposure parameters through determination and utilization of extra system speed」的美國專利5,130,739描述一種用於控制閃光及周圍曝光以獲得改善之影像品質的方法。此專利有效地教示調節相機曝光以最大化總體品質目標，即使此意謂在不同於被裝載至相機中之膠片之標稱ISO的曝光指數下俘獲場景。
Wheeler及O'Such等人之專利描述對考量許多系統因素(諸如，焦距、可用閃光功率、主體距離(subject distance)、周圍照明及系統速度)之影像俘獲參數的最佳化。然而，未使用明確之運動資訊來改善場景俘獲，此係因為在此項技術中未教示或使用運動估計。
如由所引證之先前技術所展示，相機通常僅基於場景亮度來啟用閃光，從而在場景亮度低於臨限值的情況下啟用閃光。此外，當前相機趨向於在場景亮度低於臨限值的情況下切換至僅閃光曝光。當主體距離相對於可用閃光功率而為大的時，僅閃光曝光將亦具有不良品質。在此等情形中，較佳使用來自閃光與周圍照明兩者之曝光，其使用允許顯著周圍曝光而非僅僅與閃光同步的曝光時間。
在一些狀況下，需要以低閃光功率來俘獲影像，以節約能量或俘獲影像而不等待閃光電容器完全充電。在所引證之先前技術中，僅Wheeler及O'Such解決此問題，但他們中沒有一者使用運動之知識。
仍然需要一種用以在於主體距離、場景照明及場景速度之廣泛範圍內對場景攝影時自動地完全利用閃光(相機控制之照明)及周圍照明的方法。
本發明表示一種用於使用具有閃光之電子影像俘獲器件來俘獲改善之封存影像的方法，其包含：使用該影像俘獲器件而在不同俘獲時間俘獲場景之至少兩個預覽影像；判定場景亮度；使用處理器分析所俘獲之預覽影像以判定場景之運動速度；回應於所判定之場景亮度與所判定之運動速度之間的比率而判定閃光曝光設定及周圍曝光設定；及使用所判定之閃光曝光設定及所判定之周圍曝光設定來俘獲封存影像。
在一較佳實施例中，對周圍曝光設定之判定係回應於影像品質函數，該影像品質函數依據總曝光指數及運動模糊位準而提供對感知影像品質之估計，該總曝光指數與閃光曝光設定及周圍曝光設定有關且該運動模糊位準與所判定之運動速度有關。
本發明具有以下優點：所俘獲之封存影像的影像品質將藉由提供運動模糊假影與影像雜訊假影之間的較佳平衡而得到改善。
本發明具有以下額外優點：使用閃光來補充場景上之周圍照明可使得能夠使用比藉由僅周圍曝光將可能達成之曝光時間短的曝光時間，藉此減 少運動模糊之量，而同時使得能夠控制總曝光指數以便提供運動模糊假影與影像雜訊假影之間的較佳平衡。
本發明之此等及其他態樣、目標、特徵及優點將自對較佳實施例之以下詳細描述及附加之申請專利範圍的檢閱及藉由參看隨附圖式來更加清楚地理解及瞭解。
2‧‧‧閃光
3‧‧‧閃光感測器
4‧‧‧透鏡
6‧‧‧可調節光圈及可調節快門
8‧‧‧變焦及聚焦馬達驅動器
10‧‧‧數位相機
12‧‧‧時序產生器
14‧‧‧影像感測器
16‧‧‧類比信號處理器(ASP)及類比轉數位(A/D)轉換器
18‧‧‧緩衝記憶體
20‧‧‧處理器
22‧‧‧音訊編解碼器
24‧‧‧麥克風
26‧‧‧揚聲器
28‧‧‧韌體記憶體
30‧‧‧影像記憶體
32‧‧‧影像顯示器
34‧‧‧使用者控制件
35‧‧‧電源控制件
36‧‧‧顯示器記憶體
38‧‧‧有線介面
40‧‧‧電腦
44‧‧‧視訊介面
46‧‧‧視訊顯示器
48‧‧‧介面/再充電器
50‧‧‧無線數據機
52‧‧‧射頻頻帶
58‧‧‧無線網路
70‧‧‧網際網路
72‧‧‧相片服務提供者
90‧‧‧白平衡設定
95‧‧‧白平衡步驟
100‧‧‧彩色感測器資料
105‧‧‧雜訊減少步驟
110‧‧‧ISO設定
115‧‧‧解馬賽克步驟
120‧‧‧解析度模式設定
125‧‧‧色彩校正步驟
130‧‧‧色彩模式設定
135‧‧‧色調標度校正步驟
140‧‧‧對比度設定
145‧‧‧影像清晰化步驟
150‧‧‧清晰化設定
155‧‧‧影像壓縮步驟
160‧‧‧使用者選擇之壓縮模式設定
165‧‧‧檔案格式化步驟
170‧‧‧後設資料
175‧‧‧使用者設定
180‧‧‧數位影像檔案
185‧‧‧相機設定
200‧‧‧曝光控制系統/相機控制系統
210‧‧‧評估場景亮度步驟
220‧‧‧判定俘獲模式步驟
225‧‧‧俘獲模式設定
230‧‧‧判定曝光指數步驟
235‧‧‧曝光指數設定
240‧‧‧判定光圈步驟
245‧‧‧光圈設定
250‧‧‧判定曝光時間步驟
255‧‧‧曝光時間設定
260‧‧‧俘獲數位影像步驟
265‧‧‧數位影像
270‧‧‧俘獲第一影像步驟
272‧‧‧俘獲額外影像步驟
275‧‧‧分析影像缺陷步驟
280‧‧‧剩餘缺陷測試
282‧‧‧更新曝光參數步驟
285‧‧‧結合俘獲影像步驟
410‧‧‧等高線
420‧‧‧具有恆定對數信號比之線
422‧‧‧俘獲設定點
424‧‧‧俘獲設定點
426‧‧‧俘獲設定點
430‧‧‧較佳曝光曲線
450‧‧‧點
460‧‧‧點
470‧‧‧點
510‧‧‧搜集預俘獲資料步驟
520‧‧‧判定參數值步驟
530‧‧‧選擇俘獲模式步驟
540‧‧‧計算EIA、EIF及tA步驟
550‧‧‧計算BA及EIT步驟
560‧‧‧計算BO步驟
570‧‧‧決策測試
575‧‧‧更新EIA及tA步驟
580‧‧‧選擇曝光時間步驟
600‧‧‧俘獲數位影像步驟
730‧‧‧曲線
圖1為說明根據先前技術之用於控制曝光之方法的流程圖；圖2為描繪俘獲多個影像以提供改善之影像之先前技術方法的流程圖；圖3為展示根據本發明之一實施例的用於俘獲數位影像之系統之組件的高階圖；圖4為描繪用以處理數位相機中之數位影像之典型影像處理操作的流程圖；圖5A為展示針對低模糊影像之曝光指數與所感知影像品質之間的關係的曲線圖；圖5B為展示針對低曝光指數影像之影像中之模糊量與所感知影像品質之間的關係的曲線圖；圖5C為描繪依據曝光指數及運動模糊之所感知影像品質之變化的曲線圖；圖6為描繪依據曝光指數及運動模糊之所感知影像品質之變化的曲線圖，其中所添加之特徵說明對較佳影像俘獲條件之判定； 圖7為描繪接著判定依據場景亮度與運動速度之間的信號比之較佳曝光指數的曲線圖；圖8為描繪根據本發明之一實施例的用於判定閃光及周圍曝光設定之方法的流程圖；圖9為說明根據本發明之一實施例的判定閃光及周圍曝光設定之一實例的曲線圖；及圖10描繪用於電子閃光電路中之電容器的指數充電函數。
在以下描述中，將明確描述將通常被實施為軟體程式的本發明之一較佳實施例。熟習此項技術者應易於認識到，亦可以硬體來建構此種軟體之等效物。因為影像操縱演算法及系統係熟知的，所以本描述將特定針對形成根據本發明之系統及方法之部分或更直接地與根據本發明之系統及方法合作的演算法及系統。可自此項技術中已知之此等系統、演算法、組件及元件來選擇此等演算法及系統以及用於產生及以其他方式處理所涉及之影像信號的硬體或軟體(本文中未具體展示或描述)的其他態樣。在以下材料中給出如根據本發明所描述之系統，本文中未具體展示、建議或描述之用於實施本發明的軟體係習知的且為一般熟習此等項技術者所掌握。
仍進一步如本文中所使用，可將用於執行本發明之方法的電腦程式儲存於電腦可讀儲存媒體中，該電腦可讀儲存媒體可包括(例如)：磁性儲存媒體，諸如磁碟(諸如，硬碟機或軟性磁碟)或磁帶；光學儲存媒體，諸如光碟、光帶或機器可讀條碼；固態電子儲存器件，諸如隨機存取記憶體(RAM)或唯讀記 憶體(ROM)；或用以儲存具有用於控制一或多個電腦來實踐根據本發明之方法之指令的電腦程式的任何其他實體器件或媒體。
本發明包括本文中所描述之實施例之結合。對「一特定實施例」及其類似者的參考指代存在於本發明之至少一實施例中的特徵。對「一實施例」或「特定實施例」或其類似者的單獨參考未必指代相同之一或多個實施例；然而，此等實施例非為互相排他的，除非如此指示或如為熟習此項技術者易於顯而易見。在參考「方法」或「多種方法」及其類似者時對單數或複數的使用非為限制性的。應注意，除非另外明確提出或由上下文要求，否則詞語「或」在本發明中係以非排他意義來使用。
因為使用用於信號俘獲及處理之成像器件及相關電路的數位相機及顯示器係熟知的，所以本描述將特定針對形成根據本發明之方法及裝置之部分或更直接地與根據本發明之方法及裝置合作的元件。自此項技術中已知之元件來選擇本文中未具體展示或描述之元件。待描述之實施例之某些態樣係以軟體提供。在以下材料中給出如根據本發明展示及描述之系統，本文中未具體展示、描述或建議之用於實施本發明的軟體係習知的且為一般熟習此等項技術者所掌握。
熟習此項技術者將熟悉數位相機之以下描述。將明顯地存在此實施例之許多變化，該等變化係可能的且經選擇以降低成本、添加特徵或改善相機之效能。
圖3描繪數位攝影系統之方塊圖，該數位攝影系統包括根據本發明之數位相機10。較佳地，數位相機10為攜帶型電池供電器件，其足夠小以容易由使用者在俘獲及檢閱影像時手持。數位相機10產生使用影像記憶體30而儲存為數位影像檔案的數位影像。如本文中所使用，片語「數位影像」或「數位影像檔案」指代任何數位影像檔案，諸如數位靜態影像或數位視訊檔案。
在一些實施例中，數位相機10俘獲運動視訊影像與靜態影像兩者。數位相機10亦可包括其他功能，包括(但不限於)數位音樂播放器(例如，MP3播放器)、行動電話、GPS接收器或可程式化數位助理(PDA)的功能。
數位相機10包括具有可調節光圈之透鏡4及可調節快門6。在一較佳實施例中，透鏡4為變焦透鏡且由變焦及聚焦馬達驅動器8控制。透鏡4將來自場景(圖中未展示)之光聚焦至影像感測器14(例如，單晶片彩色CCD或CMOS影像感測器)上。透鏡4為用於在影像感測器14上形成場景之影像的一種類型之光學系統。在其他實施例中，該光學系統可使用具有可變焦點或固定焦點之固定焦距透鏡。
影像感測器14之輸出藉由類比信號處理器(ASP)及類比轉數位(A/D)轉換器16而轉換成數位形式，且臨時儲存於緩衝記憶體18中。儲存於緩衝記憶體18中之影像資料隨後藉由處理器20使用儲存於韌體記憶體28中之嵌入式軟體程式(例如，韌體)來操縱。在一些實施例中，將軟體程式永久地儲存於使用唯讀記憶體(ROM)之韌體記憶體28中。在其他實施例中，可藉由使用(例如)閃光EPROM記憶體來修改韌體記憶體28。在此等實施例中，外部器件可使用有線介面38或無線數據機50來更新儲存於韌體記憶體28中之軟體程式。在此等實施例中，亦可使用韌體記憶體28來儲存影像感測器校準資料、使用者設定選擇及在關閉相機時必須保留的其他資料。在一些實施例中，處理器20包括程式記憶體(圖中未展示)，且儲存於韌體記憶體28中之軟體程式在由處理器20執行之前被複製至該程式記憶體中。
應理解，可使用單一可程式化處理器或藉由使用多個可程式化處理器(包括一或多個數位信號處理器(DSP)器件)來提供處理器20之功能。或者，可藉由定製電路(例如，藉由經具體設計以供在數位相機中使用的一或多個定製 積體電路(IC))或藉由可程式化處理器與定製電路之結合來提供處理器20。應理解，可使用共同資料匯流排來形成處理器20與圖3中所展示之各種組件中之一些或所有組件之間的連接器。舉例而言，在一些實施例中，可使用共同資料匯流排來形成處理器20、緩衝記憶體18、影像記憶體30及韌體記憶體28之間的連接。
接著使用影像記憶體30來儲存經處理之影像。應理解，影像記憶體30可為熟習此項技術者所已知之任何形式的記憶體，包括(但不限於)抽取式閃光記憶卡、內部閃光記憶體晶片、磁性記憶體或光學記憶體。在一些實施例中，影像記憶體30可包括內部閃光記憶體晶片與至抽取式閃光記憶卡(諸如，安全數位(SD)卡)之標準介面兩者。或者，可使用不同記憶卡格式，諸如微SD卡、緊密閃光(CF)卡、多媒體卡(MMC)、xD-Picture CardTM或記憶棒。
影像感測器14由時序產生器12控制，該時序產生器12產生用以選擇列及像素之各種時脈信號且使ASP及A/D轉換器16之操作同步。影像感測器14可具有(例如)1240萬像素(4088×3040像素)以便提供大約4000×3000像素之靜態影像檔案。為了提供彩色影像，使影像感測器大體上覆有彩色濾光片陣列，該彩色濾光片陣列提供具有包括不同彩色像素之像素陣列的影像感測器。可以許多不同圖案來配置該等不同彩色像素。作為一實例，可使用熟知之Bayer彩色濾光片陣列來配置不同彩色像素，如在較早引證之共同讓渡之美國專利3,971,065中所描述，該案之揭示內容以引用之方式併入本文中。作為第二實例，可如在Compton等人之題為「Image sensor with improved light sensitivity」的共同讓渡之美國專利申請公開案2007/0024931中所描述來配置不同彩色像素，該案之揭示內容以引用之方式併入本文中。此等實例並非為限制性的，且可使用許多其他彩色圖案。
應理解，影像感測器14、時序產生器12與ASP及A/D轉換器16可為分離製造之積體電路，或其可製造為單一積體電路，如關於CMOS影像感測器所通常進行。在一些實施例中，此單一積體電路可執行圖3中所展示之一些其他功能，包括由處理器20提供之一些功能。
在由時序產生器12以第一模式致動時，影像感測器14有效地用於提供較低解析度感測器影像資料之運動序列(當俘獲視訊影像且亦當預覽待俘獲之靜態影像時使用該運動序列)，以便組成影像。可將此預覽模式感測器影像資料提供為HD解析度影像資料(例如，具有1920×10280像素或1280×720像素)或提供為VGA解析度影像資料(例如，具有640×480像素)，或使用與影像感測器之解析度相比具有顯著更少之資料行及列的其他解析度來提供此預覽模式感測器影像資料。
可藉由結合具有相同色彩之鄰近像素之值或藉由消除一些像素值或藉由結合一些彩色像素值同時取消其他彩色像素值來提供預覽模式感測器影像資料。可如在Parulski等人之題為「Electronic camera for initiating capture of still images while previewing motion images」的共同讓渡之美國專利6,292,218中所描述來處理預覽模式影像資料，該案以引用之方式併入本文中。
在由時序產生器12以第二模式致動時，影像感測器14亦有效地用於提供高解析度靜態影像資料。將此最終模式感測器影像資料提供為高解析度輸出影像資料，其對於具有高照明位準之場景而言包括影像感測器之所有像素，且可為(例如)具有4000×3000像素之1200萬像素最終影像資料。在較低照明位準下，可藉由「格化儲存」影像感測器上之某一數目個相似色彩的像素來提供最終感測器影像資料，以便增加信號位準且因此增加感測器之「ISO速度」。
藉由處理器20所供應之控制信號來控制變焦及聚焦馬達驅動器8，以提供適當焦距設定及將場景聚焦至影像感測器14上。藉由控制可調節光圈 及可調節快門6之f數及曝光時間、影像感測器14之曝光週期(經由時序產生器12)與ASP及A/D轉換器16之增益(亦即，ISO速度)設定來控制影像感測器14之曝光程度。處理器20亦控制可照明場景之閃光2。影像感測器之「ISO速度」用以量化正常曝光之影像所需的光之量。類比增益及數位增益之改變可改變此，但通常伴隨有影像雜訊之增加(訊雜比之減小)，但。當判定特定場景之曝光設定時，較佳考慮曝光指數(EI)，此係因為其量化經收集以供俘獲之光的量。通常，使用增益改變來調節相機之「ISO速度」以等於經選擇用於自動曝光控制之EI。進行此調節以幫助以令人愉快之方式呈現在不同EI值下俘獲之影像以供顯示或其他用途。由於ISO及EI通常在數值上為相同的(調節相機ISO以等於曝光計算中所使用之EI)，因此在此處將互換地使用該兩個術語。如此處所使用，可將增益應用於類比信號處理鏈中(作為數位因數或以兩者之任何結合)。熟習此項技術者應認識到，可以倍乘因數(當對與曝光成線性關係之資料操作時)、以加成性偏移(當對與曝光成對數關係之資料操作時)、以調節相機之色調曲線的查找表或此等操作之任何結合來實施增益。
可藉由自動曝光控制件來判定曝光。該自動曝光控制件可實施於處理器20內且可選自此項技術中已知之自動曝光控制件，其實例揭示於Fox之題為「Exposure and focus system for a zoom camera」的美國專利5,335,041中。基於待成像之場景之亮度量測(如由亮度感測器提供或如由來自預覽影像中之像素值之量測所提供)，電子成像系統通常使用自動曝光控制處理來判定將產生具有有效亮度及良好訊雜比之影像的有效曝光時間t。在本發明中，由自動曝光控制件判定之曝光時間t用於俘獲預覽影像且接著基於場景亮度及預期運動模糊而修改以用於俘獲封存影像俘獲物。其中封存影像為在已基於本發明之方法來定義俘獲條件(包括曝光時間)之後所俘獲的最終影像。熟習此項技術者應認識到，曝光時間愈短，則將存在於封存影像中的運動模糊愈少且雜訊愈多。
圖3之數位相機10包括閃光2，該閃光2具有電子控制之照明器(諸如，氙氣閃光管(圖3中標記為「閃光」))。此閃光亦可為發光二極體(LED)、LED陣列或某一其他類型之光源。可視情況提供閃光感測器3，其回應於在封存影像俘獲期間自場景感測之光或藉由在封存影像俘獲之前的預閃光而輸出信號。或者，閃光輸出可為固定的或可基於其他資訊(諸如，對焦距離)而變化。
可藉由使用「穿過透鏡」自動對焦而以第一模式來使數位相機10之透鏡4聚焦，如在Parulski等人之題為「Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor」的共同讓渡之美國專利5,668,597中所描述，該案以引用之方式併入本文中。此聚焦係藉由使用變焦及聚焦馬達驅動器8以將透鏡4之焦點位置調節至在近焦點位置至無限遠焦點位置之間範圍內的多個位置來實現，同時處理器20判定最近焦點位置，其提供由影像感測器14俘獲之影像之中心部分的峰值清晰度值。對應於該最近焦點位置之對焦距離可接著用於若干目的(諸如，自動地設定適當場景模式)，且可作為後設資料與其他透鏡及相機設定一起儲存於影像檔案中。
處理器20產生臨時儲存於顯示器記憶體36中且顯示於影像顯示器32上的選單及低解析度彩色影像。影像顯示器32通常為主動式矩陣彩色液晶顯示器(LCD)，但可使用其他類型之顯示器(諸如，有機發光二極體(OLED)顯示器)。視訊介面44將來自數位相機10之視訊輸出信號提供至視訊顯示器46(諸如，平板HDTV顯示器)。在預覽模式或視訊模式中，由處理器20操縱來自緩衝記憶體18之數位影像資料以形成一系列運動預覽影像，該等預覽影像通常作為彩色影像而顯示於影像顯示器32上。在檢閱模式中，使用來自儲存於影像記憶體30中之數位影像檔案的影像資料來產生顯示於影像顯示器32上之影像。
回應於由使用者控制件34提供之使用者輸入而控制顯示於影像顯示器32上之圖形使用者介面。該等使用者控制件34用以選擇各種相機模式(諸 如，視訊俘獲模式、靜態俘獲模式及檢閱模式)，及用以起始對靜態影像之俘獲及對運動影像之記錄。使用者控制件34通常包括按鈕、搖臂開關、搖桿或旋轉撥盤之某一結合。在一些實施例中，藉由使用上覆於影像顯示器32上之觸控式螢幕來提供使用者控制件34中之一些使用者控制件。在其他實施例中，可使用額外狀態顯示器或影像顯示器。在一較佳實施例中，使用者控制件34包括：用以開啟或關閉相機之電源控制件35(例如，電源按鈕)；以及其他控制件，諸如用以控制透鏡4之透鏡控制件及用以起始影像俘獲操作之影像俘獲控制件(例如，快門按鈕)。在一些實施例中，當對相機供電時或當使用者藉由部分按壓快門按鈕而將相機自電力節省模式喚醒時，起始靜態預覽模式，且當使用者完全按壓快門按鈕時，起始靜態影像俘獲模式。在一些實施例中，使用快門按鈕來開始及停止視訊俘獲。
可使用該等使用者控制件34來選擇的相機模式包括「計時器」模式。當選擇「計時器」模式時，在使用者完全按壓快門按鈕之後、在處理器20起始對靜態影像之俘獲之前出現短延遲(例如，10秒)。
連接至處理器20之音訊編解碼器22自麥克風24接收音訊信號且將音訊信號提供至揚聲器26。此等組件可用以記錄及播放音訊曲面連同視訊序列或靜態影像。若數位相機10為多功能器件(諸如，結合相機及行動電話)，則麥克風24及揚聲器26可用於電話會話。
在一些實施例中，揚聲器26可用作使用者介面之部分，(例如)以提供指示已按壓使用者控制件或已選擇特定模式的各種聲訊信號。在一些實施例中，可使用麥克風24、音訊編解碼器22及處理器20來提供語音辨識，使得使用者可藉由使用語音命令而非使用者控制件34來將使用者輸入提供至處理器20。亦可使用揚聲器26來通知使用者傳入電話呼叫。此通知可使用儲存於韌體記憶體28中之標準鈴聲或藉由使用自無線網路58下載且儲存於影像記憶體30中 之定製鈴聲來進行。另外，可使用振動器件(圖中未展示)來提供對傳入電話呼叫之靜寂(例如，非聲訊)通知。
處理器20亦通常提供對來自影像感測器14之影像資料的額外處理，以便產生所呈現之sRGB影像資料，該sRGB影像資料經壓縮且儲存於影像記憶體30中之「已完成」影像檔案(諸如，熟知之Exif-JPEG影像檔案)內。在一些實施例中，使用處理器以將影像資料儲存至影像記憶體中之「原始」檔案。
數位相機10可經由有線介面38而連接至介面/再充電器48，該介面/再充電器48連接至電腦40，該電腦40可為位於家中或辦公室中的桌上型電腦或攜帶型電腦。有線介面38可符合(例如)熟知之USB 2.0介面規格。介面/再充電器48可經由有線介面38而將電力提供至數位相機10中之可再充電電池(圖中未展示)。
數位相機10可包括無線數據機50，該無線數據機50經由射頻頻帶52而與無線網路58介接。無線數據機50可使用各種無線介面協定，諸如熟知之藍芽(Bluetooth)無線介面或熟知之802.11無線介面。電腦40可經由網際網路70而將影像上載至相片服務提供者72(諸如，Kodak Gallery)。其他器件(圖中未展示)可存取由相片服務提供者72儲存之影像。無線網路58亦可在不需要電腦40之情況下直接與網際網路70或相片服務提供者72通信(鏈路未展示)。
在替代實施例中，無線數據機50經由射頻(例如，無線)鏈路而與行動電話網路(圖中未展示)(諸如，3GSM網路)通信，該行動電話網路與網際網路70連接以便上載來自數位相機10之數位影像檔案。可將此等數位影像檔案提供至電腦40或相片服務提供者72。
圖4為描繪影像處理操作之流程圖，可由數位相機10(圖3)中之處理器20執行該等影像處理操作以便處理來自影像感測器14之由ASP及A/D轉換器16輸出的彩色感測器資料100。在一些實施例中，藉由各種使用者設定175來 判定由處理器20用以操縱特定數位影像之彩色感測器資料100的處理參數，該等使用者設定175可回應於顯示於影像顯示器32上之選單而經由使用者控制件34來選擇。
藉由白平衡步驟95來操縱已藉由ASP及A/D轉換器16進行數位轉換之彩色感測器資料100。在一些實施例中，可使用在Miki之題為「White balance adjustment device and color identification device」的共同讓渡之美國專利7,542,077中所描述之方法來執行此處理。可回應於白平衡設定90而調節白平衡，該白平衡設定90可由使用者手動設定，或可由相機自動設定。
接著藉由雜訊減少步驟105來操縱彩色影像資料以便減少來自影像感測器14之雜訊。在一些實施例中，可使用在Gindele等人之題為「Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel」的共同讓渡之美國專利6,934,056中所描述之方法來執行此處理。可回應於ISO設定110而調節雜訊減少之量，使得以較高ISO曝光指數設定來執行更多濾波。
接著藉由解馬賽克步驟115來操縱彩色影像資料，以便在每一像素位置處提供紅色、綠色及藍色(RGB)影像資料值。用於執行解馬賽克步驟115之演算法通常稱為彩色濾光片陣列(CFA)內插演算法或「deBayering」演算法。 在本發明之一實施例中，解馬賽克步驟115可使用在Adams等人之題為「Adaptive color plane interpolation in single sensor color electronic camera」的共同讓渡之美國專利5,652,621中所描述之明度CFA內插方法。解馬賽克步驟115亦可使用在Cok之題為「Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal」的共同讓渡之美國專利4,642,678中所描述之色度CFA內插方法。
在一些實施例中，使用者可在不同像素解析度模式之間進行選擇，使得數位相機可產生較小大小之影像檔案。可如在Parulski等人之題為「Single sensor color camera with user selectable image record size」的共同讓渡之美國專利5,493,335中所描述來提供多個像素解析度。在一些實施例中，可由使用者將解析度模式設定120選擇為全大小(例如，3,000×2,000像素)、中等大小(例如，1,500×1000像素)或小的大小(750×500像素)。
在色彩校正步驟125中對彩色影像資料進行色彩校正。在一些實施例中，使用3×3線性空間色彩校正矩陣來提供色彩校正，如在Parulski等人之題為「Method and apparatus for improving the color rendition of hardcopy images from electronic cameras」的共同讓渡之美國專利5,189,511中所描述。在一些實施例中，可藉由將不同彩色矩陣係數儲存於數位相機10之韌體記憶體28中來提供不同之使用者可選色彩模式。舉例而言，可提供四種不同之色彩模式，使得使用色彩模式設定130來選擇以下色彩校正矩陣中之一者：設定1(標準彩色複製)
設定2(飽和彩色複製)
設定3(不飽和彩色複製)
設定4(單色)
在其他實施例中，可使用三維查找表來執行色彩校正步驟125。
亦藉由色調標度校正步驟135來操縱彩色影像資料。在一些實施例中，可使用一維查找表來執行色調標度校正步驟135，如在較早引證之美國專利第5,189,511號中所描述。在一些實施例中，將複數個色調標度校正查找表儲存於數位相機10中之韌體記憶體28中。此等查找表可包括提供「標準」色調標度校正曲線、「高對比度」色調標度校正曲線及「低對比度」色調標度校正曲線的查找表。由處理器20使用一使用者選擇之對比度設定140以判定當執行色調標度校正步驟135時將使用該等色調標度校正查找表中之哪一者。該複數個色調曲線可包括意欲亦調節曝光增益因數從而避免在處理鏈中之別處使用數位增益的曲線。
亦藉由影像清晰化步驟145來操縱彩色影像資料。在一些實施例中，可使用在Hamilton等人之題為「Edge enhancing colored digital images」的共同讓渡之美國專利6,192,162中所描述之方法來提供此。在一些實施例中，使用者可在各種清晰化設定之間進行選擇，該等清晰化設定包括「標準清晰度」設定、「高清晰度」設定及「低清晰度」設定。在此實例中，處理器20回應於由數位相機10之使用者選擇的清晰化設定150而使用三個不同邊緣加強倍增值中之一者，例如，用於「高清晰度」等級之2.0、用於「標準清晰度」等級之1.0及用於「低清晰度」等級之0.5。
亦藉由影像壓縮步驟155來操縱彩色影像資料。在一些實施例中，可使用在Daly等人之題為「Adaptive block transform image coding method and apparatus」的共同讓渡之美國專利4,774,574中所描述之方法來提供影像壓縮步驟155。在一些實施例中，使用者可在各種壓縮設定之間進行選擇。可藉由將複數個量化表(例如，三個不同表)儲存於數位相機10之韌體記憶體28中來實施此。此等表為待儲存於數位相機10之影像記憶體30中的經壓縮之數位影像檔案180提供不同品質等級及平均檔案大小。由處理器20使用一使用者選擇之壓縮模式設定160以選擇待用於特定影像之影像壓縮步驟155的特定量化表。
使用檔案格式化步驟165將經壓縮之彩色影像資料儲存於數位影像檔案180中。該影像檔案可包括各種後設資料170。後設資料170為與數位影像有關的任何類型之資訊，諸如俘獲影像之相機的型號、影像之大小、俘獲影像之日期及時間，及各種相機設定(諸如，透鏡焦距、透鏡之曝光時間與f數及是否激發相機閃光)。在一較佳實施例中，使用標準化標籤將所有此後設資料170儲存於熟知之Exif-JPEG靜態影像檔案格式內。在本發明之一較佳實施例中，後設資料170包括關於相機設定185之資訊。
本發明回應於場景亮度及場景運動而調合對周圍照明及閃光照明之使用以改善特定場景之總體影像品質。當處理器20選擇用於特定場景之俘獲設定(諸如，曝光指數、透鏡光圈設定及曝光時間)時，存在影像品質之取捨，當存在場景運動時，必須考慮該等取捨。曝光指數(EI)與收集於感測器上以用於影像俘獲之光的量有關。ISO與回應於光之給定量而由影像感測器產生之信號(就像素值而言)及在俘獲影像時應用於該等像素值之相關聯之類比或數位增益有關，如為熟習此項技術者所熟知。
通常，選擇ISO以匹配曝光計算中所使用之EI。通常，亦藉由對影像處理參數之進一步選擇來補充對ISO之選擇，該等影像處理參數包括增益及各種雜訊減少影像處理選擇，其中藉由較大程度之雜訊減少影像處理來實現較高ISO。長曝光時間增大訊雜比，因此所得影像看起來明亮且具有低雜訊，但存 在之運動接著產生影像中之更多運動模糊。在此狀況下，存在之任何區域運動皆產生區域模糊之區域(諸如，當快速移動之汽車進入場景時)；另外，可出現全域運動(諸如，當影像俘獲器件在影像俘獲期間移動時)，此情形導致整個影像模糊。
縮短曝光時間減少了運動模糊，但亦減小了訊雜比，使得所得影像將看起來較暗或有雜訊。隨著場景中之照明條件變得更暗，需要更長曝光時間來產生具有可接受訊雜比之影像，其為適當明亮的且無雜訊。增加用於影像俘獲之增益增大了影像之亮度，但亦使雜訊變得更顯而易見。值得注意的要點係，影像中之運動模糊及雜訊的取捨為感知問題。
本文中所描述之本發明提供一種用於藉由影像俘獲器件來俘獲封存影像且基於場景中之所量測之場景亮度及所量測之運動速度(呈信號比形式)來自動地選擇用於影像俘獲器件之相機設定(例如，EI及曝光時間設定)的方法，該方法係至少部分地藉由資料處理系統來實施。在第一實施例中，本發明包含使用具有可選俘獲模式、EI及曝光時間之影像俘獲器件以用於俘獲場景之至少兩個預覽影像。分析該等預覽影像以判定場景中之場景亮度及運動速度。接著在場景亮度與運動速度之間判定信號比，且在判定適當相機設定的程序中使用該信號比。
為了在考慮運動模糊及EI時判定曝光時間，必須理解運動模糊與EI之間的關係。曝光計量方程式之常用形式使用曝光時間與EI之間的以下關係： 其中H為場景亮度或明度(以(諸如)cd/m2為單位)，C為計量常數，N為f數，t為曝光時間(秒)，且EI為俘獲之曝光指數。給定固定照明位準及固定光圈，曝光時間與EI成反比關係。舉例而言，將曝光時間二等分將使俘獲之EI加倍。
基於恆定線性運動模型，在俘獲期間所獲得之運動模糊為：b=t×V (6)其中V為視運動速度(像素/秒)，且b為運動模糊之像素(在曝光期間移位之像素)。
在方程式(5)及(6)中，V及H由場景施加影響，N通常處於其最小值(當運動模糊及影像雜訊受關注時)，且t由相機控制演算法選擇。取此等方程式之對數允許在對數空間中考慮此等關係，其中可以直線來表示乘積及反比關係。
log2(t)=log2(C)+2 log2(N)-log2(H)-log2(EI) (7)
log2(b)=log2(t)+log2(V) (8)
在一較佳實施例中，在存在運動的情況下使用影像品質之心理測量資料來控制曝光設定。圖5A、圖5B及圖5C針對藉由特定數位相機所俘獲之大量影像而呈現來自影像品質之心理測量研究的資料，如由一群二十個觀測者所觀測且針對感知影像品質來評級(就恰可辨差異單元(JND)而言)。通常在數位成像中使用JND以描述感知影像品質之改變。對JND之描述可見於Keelan等人之題為「ISO 20462,A psychophysical image quality measurement standard」(Image Quality and System Performance,Proc.of SPIE-IS&T Electronic Imaging)第5294卷，第181-189頁，2004)的文章中。JND單元為統計上可辨別之差異等級，其中單一JND為可由觀測者一致地偵測之最小品質差異。在圖5C中所呈現之多維模型中，與被感知為具有卓越影像品質(其具有零之JND等級)的影像相比，以JND單元來表達品質。在圖5A至圖5C之資料中所展示之品質值本質上為影像品質自高品質參考等級降級的JND等級。可針對多種影像品質特性(包括模糊及雜訊)來定義JND。
圖5A及圖5B展示如由一群20個觀測者針對相同場景之大量影像呈現所感知的平均影像品質，該等影像呈現經俘獲具有分別藉由不同EI(或ISO) 設定及受控制之全域運動模糊所產生的受控制量之影像雜訊及模糊。影像雜訊對應於影像層級中之源自影響影像感測及處理操作之隨機程序的不合需要的隨機變化。圖5A展示如藉由以不同EI設定而在數位相機上俘獲相同場景所產生的具有變化量之雜訊之一系列低模糊影像的資料。如可自此資料所見，感知影像品質隨著EI增加而逐漸變差。
圖5B展示以低EI設定及在曝光時間期間由相機之受控制之運動所產生之各種模糊量所俘獲的一系列影像之資料。運動模糊為所俘獲之影像中之模糊量，如由像素速度V與曝光時間t之乘積所描述(如在方程式(6)中)。該資料展示模糊對感知影像品質不具有任何影響直至其高於某一臨限模糊位準(約2至3個像素之模糊)為止。
熟習此項技術者應瞭解，圖5A及圖5B中所展示之品質資料具體地適用於用於心理測量實驗之檢視條件(例如，在每吋大約100個像素、20吋檢視距離及暗淡環境下的LCD顯示器)，且該等曲線將隨著檢視條件之改變而改變。因為檢視條件之詳細知識通常在俘獲時不可用，所以通常針對代表性檢視條件來最佳化影像俘獲及處理鏈。
圖5C展示依據IE及運動模糊之總體影像品質之等高線圖，該等高線圖有效地結合來自圖5A及圖5B之兩個模型。等高線410描繪具有恆定總體影像品質之等高線。圖5A有效地為此品質模型沿水平軸或EI軸之曲線，而圖5B有效地為沿垂直軸或運動模糊像素軸之曲線。圖5C清楚地展示具有低運動模糊量及低EI之影像俘獲提供藉由此相機所可能實現的最佳影像品質。當EI或運動模糊之像素增加時，總體品質降低。具有恆定影像品質之等高線410趨向於在運動模糊為低時係垂直的及在運動模糊為高時係水平的。此情形指示在低運動模糊位準下，運動模糊並不非常明顯，而與增加之EI相關聯的雜訊則非常明顯，使得具有恆定感知影像品質之線為垂直的。在曲線圖之此低模糊區中，重要的是，使 用較長曝光時間及較低EI設定來減少雜訊，同時允許某一模糊(應注意，EI不能減小至影像感測器之基礎EI以下，在此狀況下該基礎EI為64)。相比之下，在恆定JND線為水平的高運動模糊位準下，與影像雜訊相比，運動模糊為非常明顯的。在曲線圖之此高模糊區中，重要的是，使用較短曝光時間及較高EI設定來減少模糊，同時允許某一雜訊。
圖6含有與圖5C相同之品質模型等高線且亦包括恆定對數信號比之有角度線420。如先前所提及，信號比為所判定之場景亮度與所判定之運動速度之間的比率，且對數信號比簡單地為此信號比之對數。在一較佳實施例中，將信號比定義為HR/V使得對數信號比(S)被給定為： 在此方程式中，H為場景照度(通常以cd/m2為單位)，其為場景亮度之量度，V為運動速度(通常以像素/秒為單位)，且R為常數。在一較佳實施例中，將R設定為曝光之每勒秒在一像素中俘獲之光電子之數目。此值可基於透鏡之f數、感測器之光譜量子效率、場景發光體及假設之場景反射比來判定。實務上，常數R按比例縮放場景照度資料以給出用於S之範圍的便利值。R之特定值係相對不重要的，且可為調諧起見而調節，而非執行詳述之光譜計算。對於一實例相機而言，R具有值440。因為場景亮度為場景照度(照在場景上之光之量)與場景反射比的乘積，所以可使用場景明度(自場景反射之光之量)，而非具有R之適當改變的場景照度。
具有恆定對數信號比之線420表示可藉由針對給定對數信號比而以不同EI值來俘獲影像所獲得的品質取捨位置。具有恆定對數信號比之每一線420係用位於該線之左邊及頂部的其各別對數信號比值來標記。此圖之一個重要暗示為總體影像品質既非僅取決於場景亮度，亦非僅取決於運動速度；其取決 於共同地兩個此等值。曝光時間(或等效地EI)之改變沿此等線中之一者而移動影像俘獲，而信號比之改變則改變相機將沿具有恆定對數信號比之哪條線420操作以用於曝光控制目的。
舉例而言，若場景亮度及運動速度為使得對數信號比為8的場景亮度及運動速度，則可以大約400之EI及8個像素之運動模糊來俘獲場景，如由俘獲設定點422所展示。進行此操作所需之曝光時間將取決於特定場景亮度及運動速度，但只要對數信號比為8，場景便將落在具有恆定對數信號比之此線上。 若相對於產生400之EI的曝光時間而使曝光時間加倍，則EI將被二等分至200。加倍之曝光時間亦將使運動模糊量加倍至約略16個像素，如由俘獲設定點424所展示。相反地，若將曝光時間二等分而非加倍，則EI被加倍至800，且運動模糊被二等分至4，如由俘獲設定點426所展示。所有三個此等條件皆沿著具有恆定對數信號之單一線。
繼續此實例，品質等高線展示在以EI 400及8個像素之運動模糊所進行之俘獲中獲得的影像品質稍低於以大約470之EI(其將對應於稍微少的運動模糊)將獲得的影像品質。若使曝光時間進一步減少(增加EI及減少模糊)，則影像品質將開始降級。對於對數信號比8而言，產生最佳影像品質之EI為大約470。 可針對對數信號比之非常多的值來進行此分析，從而在每一線上找到提供最佳影像品質之位置。圖6中之較佳曝光曲線430展示針對每一對數信號比之EI與運動模糊之較佳結合。
對於影像俘獲器件內之即時決策而言，圖6中由具有恆定品質之等高線所展示的完整品質表面係過多的。圖中之最重要關係為較佳曝光曲線430。檢查圖6，可見，對於指定之對數信號比而言，藉由以接近較佳曝光曲線430之EI來俘獲影像而獲得最佳影像品質。當改變曝光時間以移動遠離較佳曝光曲線430時，影像品質降低。藉由圖6中之較佳曝光曲線430來判定對EI之選擇及 最終對曝光時間值之選擇，以獲得貫穿所展示之空間的最佳感知影像品質。較佳曝光曲線430可藉由使模糊之像素與EI有關的函數來有效地表示，例如，具有如以下方程式中所展示之擬合：B=-0.0004433 I3+0.14731 I2-1.0307 I+8.187 (10)
其中I=log2(EI) (11)
B=log2(b)+5 (12)應注意，當較佳曝光曲線430歸因於此為可操作數位影像俘獲器件之最小EI的事實而變得垂直時，方程式(10)之簡單多項式並未在EI=64下俘獲不連續性。在本發明中，曲線之垂直部分對於曝光控制係不重要的。若場景條件提供非常高的信號比，使得指示在可能之最低曝光指數下的俘獲，則運動模糊不成問題，且將閃光用於使添加之光增益將為不必要的。
圖7展示曲線730，其給出使用數位相機來獲得最佳感知影像品質所需的對數信號比(S)與曝光指數(EI)之間的關係，該數位相機以全解析度俘獲模式而用於此研究中。在圖7中，水平軸為對數信號比(S)且垂直軸為曝光指數(EI)。如由曲線730所指示，當信號比增加(場景相對於運動速度而較亮)時，EI應減小以達成改善之感知影像品質。在數位相機之操作系統中通常使用將較低EI用於較亮場景的關係。然而，由於圖7中之水平軸係基於場景亮度對運動速度之比率，因此曲線730亦指示當運動速度V增加(更多運動)且因此S減小時，EI應相應地增加。可以方程式形式將曲線730表達為：EI=max(64,2I) (13)
其中I=-0.000445 S 3+0.00526 S 2-0.6855 S+14.872 (14) 熟習此項技術者應認識到，EI可僅下降至影像感測器之基礎ISO(或飽和限制之ISO)(EIB)，對於圖7中所展示之資料之狀況而言，該基礎ISO為64。結果，圖7中所展示之曲線730在EI=64處突然改變至水平線，此與方程式(13)一致。
當所俘獲之光與曝光時間成比例且EI與曝光時間成反比時，圖6中之具有恆定對數信號比之線420的EI與模糊之間的關係適用於周圍照明。當使用閃光時，其具有將曝光添加至俘獲物的效應，而不增加曝光時間或增加運動模糊，只要曝光時間足夠長以使影像俘獲與閃光同步即可。
在使用閃光來補充周圍照明的狀況下，大體上依據主體距離(亦即，相機與所攝影之主體之間的距離)來判定閃光曝光設定。在一些實施例中，藉由偵測相機透鏡自動對焦驅動機構上之步進馬達計數來獲得待用於閃光曝光計算中之主體距離資訊。可使用焦距及儲存於相機韌體或軟體中之相關聯之透鏡位置資料的表而將此等步進馬達計數直接映射至透鏡焦點位置及相關聯之主體距離。可藉由各種技術(包括手動聚焦技術、對比度最大化或相位偵測自動對焦技術)來判定透鏡焦點位置。在其他實施例中，可使用熟知之技術(諸如，主動式紅外線距離三角測量或預閃光能量回傳監視)來獲得主體距離資訊。
以習知閃光曝光方程式開始來自閃光使用之被添加至影像的曝光： 其中N為透鏡光圈(f數)，G為閃光閃燈(flash guide number)指數，且D為主體距離。給定閃燈指數及主體距離，此方程式通常用以求解f數。
閃光閃燈指數G取決於EI及可用閃光功率。通常針對ISO 100來陳述閃光之閃燈指數。可根據以下方程式來判定用於一般EI之閃光閃燈指數： 結合此等兩種關係產生方程式(17)，其基於閃光基礎閃燈指數及主體距離來求解將提供被正常曝光之俘獲物的EI。
最終基本關係為注意如何添加周圍及閃光曝光。此處所使用之模型係自閃光曝光獲取之信號添加有周圍曝光。由於曝光與EI成反比關係，因此總曝光指數EIt為倒數之和的倒數： 給定此等關係，藉由圖8之流程圖來展示用於包括閃光曝光及周圍曝光的程序。在搜集預俘獲資料步驟510中，搜集來自一系列預覽影像及可用於相機中之其他資料源的預俘獲資料。在一較佳實施例中，預俘獲資料包括場景之在不同時間俘獲的至少兩個預覽影像以使得能夠估計運動速度。通常，在不使用閃光2之情況下俘獲該等預覽影像。然而，在一些實施例中，可使用閃光來俘獲該等預覽影像中之至少一些預覽影像。
在判定參數值步驟520中，使用此預俘獲資料來估計場景亮度(H)、運動速度(V)及主體距離(D)。可藉由分析所俘獲之預覽影像中之信號位準來判定場景亮度，或可回應於來自某一其他光感測器之信號而判定場景亮度。 在一較佳實施例中，藉由分析在不同俘獲時間俘獲之至少兩個預覽影像之序列來判定運動速度。可藉由使用此項技術中熟知之方法來識別該預覽影像序列中的對應點及邊緣而估計運動速度。給定俘獲時間之間的時間間隔，可使用該影像序列中之對應點之間的距離來判定運動速度。對於在場景中存在區域運動模糊之狀況而言，一些影像區之運動速度可不同於其他影像區之運動速度。在此狀況下，可藉由各種方法(諸如，選擇最大區域運動速度、藉由對區域運動速度求平均值，或藉由判定影像中之主要主體之運動速度)來判定運動速度。如較早 所論述，可使用此項技術中已知之各種方法(諸如，偵測相機透鏡自動對焦驅動機構上之步進馬達計數、使用主動式紅外線距離三角測量、相位偵測或對比度最大化自動對焦，或預閃光能量回傳監視)來判定主體距離。使用所估計之場景亮度及運動速度連同最小(全開)f數，以使用方程式(9)來計算對數信號比(S)。
在選擇俘獲模式步驟530中，基於對數信號比來選擇俘獲模式。在一較佳實施例中，使用在共同讓渡、同在申請中之美國專利申請案第12/701,659號中所描述之方法來進行此選擇，該案以引用之方式併入本文中
在計算EIA、EIF及tA步驟540中，使用方程式(13)至(14)而自對數信號比(S)來計算僅周圍曝光指數(EIA)。又，使用方程式(17)而使用主體距離、f數及基礎閃光閃燈指數來計算僅閃光曝光指數(EIF)。最後，藉由求解方程式(5)以求出t而自EIA及場景亮度來判定周圍曝光時間(tA)。
現使用計算BA及EIT步驟550來計算周圍對數運動模糊(BA)及總曝光指數(EIt)。藉由將周圍曝光時間(tA)及所判定之運動速度(V)代入方程式(6)中來判定周圍運動模糊(bA)。接著使用方程式(12)來計算對應之周圍對數運動模糊(BA)。另外，使用方程式(18)來判定總曝光指數(EIT)。
在計算BO步驟560中，使用方程式(10)至(11)來判定對應於EIT之較佳對數運動模糊(BO)，其表示由來自圖6之較佳曝光曲線430給出的運動模糊與曝光指數之較佳關係。(應注意，此等方程式中之係數及可能地甚至該等方程式之形式取決於特定數位影像俘獲系統之雜訊特性將為不同的。)
在決策測試570中，使用方程式(19)來計算差量對數運動模糊(△B)，其對應於較佳對數運動模糊(BO)與來自當前周圍曝光之周圍對數運動模糊(BA)之間的差：△B=B O -B A (19) 若差量對數運動模糊足夠小(諸如，|△B|<T B )(其中TB為最大可允許差量對數運動模糊)，則反覆收斂於足夠接近於圖6中之較佳曝光曲線430的總曝光及運動模糊。在一實施例中，TB之較佳值為0.1，使得當差量對數運動模糊之量值小於0.1時，反覆終止。在此狀況下，處理繼續選擇曝光時間步驟580，在該選擇曝光時間步驟580中，將待用以俘獲封存數位影像之曝光時間(t)選擇作為當前周圍曝光時間tA。接著使用俘獲數位影像步驟600來俘獲具有所要運動模糊位準(其將產生最佳影像品質)之封存數位影像。
若在決策測試570中發現差量對數運動模糊(△B)大於最大可允許差量對數運動模糊，則使用更新EIA及tA步驟575來判定新的周圍曝光指數(EIA)及新的周圍曝光時間(tA)。可使用以下方程式來判定更新之值。首先，使用方程式(20)來判定校正因數(K)：K=2-△B (20)接著將此校正因數應用於周圍曝光指數(EIA)及周圍曝光時間(tA)以使用方程式(21)及(22)來判定更新之值(EI'A及t'A)：EI' A =K×EI A (21)
在更新周圍曝光時間及周圍曝光指數之後，該程序返回至計算BA及EIT步驟550，在該計算BA及EIT步驟550中，使用更新之周圍曝光時間及更新之周圍曝光指數來判定新的周圍對數運動模糊(BA)及新的總曝光指數(EIt)。此反覆程序繼續直至決策測試570指示已達到收斂為止。
此程序之一實例說明於圖9中，圖9展示以200之EIF及800之EIA開始的反覆。點450(以圓圈符號展示)展示僅周圍曝光位於較佳曝光曲線430上何處(其中EI為800且運動模糊為大約8個像素)。點460(以「×」符號展示)對應於在計算BA及EIT步驟550中藉由根據方程式(17)結合EIF及EIA連同與點450相同之運動 模糊位準(~8個像素)所判定的總曝光指數EIT。此展示將閃光曝光添加至初始周圍曝光給出對應於160之EI(其中運動模糊為大約8個像素)的總曝光。在此程序中，假設閃光曝光之添加不影響運動模糊。此假設稍顯保守，此係因為若閃光曝光遠大於周圍曝光，則在周圍曝光中獲得之運動模糊可較不明顯。在其他狀況下，當閃光曝光更接近周圍曝光時，仍可清楚地感知運動模糊。因此，此實施例選擇假設來自周圍曝光之運動模糊為所關注之運動模糊的保守模型。
約略8個像素之運動模糊為實質上多於在160之EI下針對較佳曝光曲線所指示之運動模糊的運動模糊。因為對於160之EI而言較佳運動模糊少於來自周圍曝光之運動模糊，所以周圍曝光時間被減少以使周圍曝光運動模糊更接近較佳運動模糊。此情形將增加周圍曝光指數EIA且因此亦增加總曝光指數EIT。在較佳曝光曲線430附近之點470(以圓圈符號展示)展示在圖8之反覆程序收斂時運動模糊與總曝光指數(EIT)之連續結合。在此狀況下，大約3.6個像素之運動模糊及180之EIT的較佳條件由周圍曝光及閃光曝光之較佳調合產生。為了排他地藉由周圍光來達成僅3.6個像素之模糊位準，曝光將需要大約1700之EIA，此將產生比發明性程序顯著更具雜訊(更低品質)的影像。在此實例中，使周圍及閃光曝光與最佳化之增益及快門時間結合減少了雜訊及模糊，以產生影像品質之10JND的改善。
在一較佳實施例中，若在計算EIA、EIF及tA步驟540中所判定之僅周圍曝光指數低於臨限值(諸如，EI A 64)，則不需要閃光，且將俘獲模式設定至周圍曝光模式，從而跳過圖8中之程序的剩餘部分。
類似地，若在計算EIA、EIF及tA步驟540中所判定之僅閃光曝光指數低於臨限值(諸如，EI F 64)，則不需要周圍照明，且將俘獲模式設定至僅使用閃光曝光，從而跳過圖8中之程序的剩餘部分。
在剛才所描述之實施例中，假設可用閃光功率為固定的，如為在操作具有以全功率操作之光源的相機時典型的。此情形之一實例為閃光單元，其在使用之前總是被完全充電且在使用期間總是被完全放電。若對數信號比S及主體距離為使得周圍照明、短曝光時間及完全閃光放電將產生低於相機之飽和限制之ISO的總EIT的對數信號比S及主體距離，則使用較低功率閃光放電。熟習此項技術者應認識到，可使用閃光消光(quench)電路來減少用於影像俘獲之閃光功率。
在另一實施例中，可用閃光功率為變數，其經選擇以減少閃光再循環時間或節約電力且延長電池壽命。圖10說明電子閃光電路中之電容器之熟知指數充電回應。x軸表示均勻時間間隔(例如，秒)且y軸表示施加至電路之電流及所得電壓之相對量值。在時間零，若電容器自先前閃光發射而被完全放電，則將最大可用電流施加至電容器。當充電已進行了一個時間間隔時，電壓已上升至最大值的50%且施加至電容器之電流下降達50%。因為可用於閃光發射的電荷與電壓成正比，所以可監視此電壓作為可用於影像曝光之閃光能量的指示。 在50%電荷點處，閃光系統將提供比在處於完全充電情況下將提供之照明少大約一個光闌的照明。換言之，此時間瞬時之閃光閃燈指數有效地比在處於完全充電情況下之閃光閃燈指數小一個光闌()。藉由監視充電電路上之電壓，可將在充電週期期間之任何點的潛在閃光能量(閃燈指數)施加至發明性曝光程序以提供周圍及閃光照明之最有效結合，其最小化不合需要之雜訊及模糊且縮短相片之間的時間間隔。熟習此項技術者應認識到，即使足夠時間可用於在影像俘獲之間來對閃光更完全地充電，仍可使用閃光消光電路來減少用於影像俘獲之閃光功率。此節約電池電力，從而允許相機在較長時間週期中較一致地操作。
在具有可變閃光功率之此實施例中，方程式(15)中所使用之基礎閃燈指數自身為變數。可控制基礎閃燈指數之值，其中閃光再循環時間旨在提 供有限之閃光功率。亦可在再充電期間量測閃光充電位準。此情形允許即使在閃光未被完全再充電時仍藉由周圍照明及閃光使用之較佳結合來俘獲影像。此為勝於先前技術之顯著進步，先前技術延遲影像俘獲直至閃光被完全充電為止，或允許藉由不足曝光來俘獲影像，從而產生暗影像。在曝光控制中使用可用閃光功率之當前位準允許調節ISO及曝光時間以改善總體影像品質。
當監視閃光再充電之狀態時，可將可用閃光功率表示為可變基礎閃燈指數。舉例而言，若可用閃光功率為完全充電功率之一半且標稱基礎閃燈指數為30，則可如下所進行來按比例縮放當前基礎閃燈指數： 在方程式(23)中，GD為完全再充電之閃光的設計基礎閃燈指數，PC為當前充電狀態之功率位準，PD為完全充電之功率位準，且GC為當前基礎閃燈指數。
熟習此項技術者應認識到，在圖5至圖7及圖9中呈現且在由方程式(10)至(14)表示之多維模型中特徵化的特定資料集呈現以單一俘獲模式操作之特定數位相機的模型。預期數位相機或其他類型之影像俘獲器件的其他俘獲模式及其他模型將具有稍微不同之資料集連同稍微不同之多維模型，其類似於先前所描述之關係。詳言之，影像感測器14及透鏡4(及光學影像穩定化)與相關聯之電子組件與影像處理技術的改變將引起EI與感知影像品質之間的關係的移位。然而，運動模糊與感知影像品質之間的關係為廣泛適用的。在任何狀況下，基於運動速度及場景亮度(或信號比)來選擇俘獲模式、曝光時間及EI之本發明之方法可廣泛應用於數位影像俘獲器件。

Claims (26)

  1. 一種用於使用具有一閃光之一電子影像俘獲器件來俘獲一改善之封存影像的方法，其包含：使用該影像俘獲器件而在不同俘獲時間俘獲一場景之至少兩個預覽影像；判定一場景亮度；使用一處理器分析該等所俘獲之預覽影像以判定該場景之一運動速度；回應於該所判定之場景亮度與該所判定之運動速度之間的一比率而判定一閃光曝光設定及一周圍曝光設定；及使用該所判定之閃光曝光設定及該所判定之周圍曝光設定來俘獲一封存影像。
  2. 如申請專利範圍第1項所述之方法，其中對該周圍曝光設定之該判定係回應於一影像品質函數，該影像品質函數依據一總曝光指數及一運動模糊位準而提供對感知影像品質之一估計，該總曝光指數與該閃光曝光設定及該周圍曝光設定有關且該運動模糊位準與該所判定之運動速度有關。
  3. 如申請專利範圍第2項所述之方法，其中該影像品質函數考量歸因於運動模糊假影之影像品質降級及歸因於影像雜訊假影之影像品質降級。
  4. 如申請專利範圍第1項所述之方法，其進一步包括判定該場景之一主體距離，且其中該所判定之閃光曝光設定亦回應於該所判定之主體距離。
  5. 如申請專利範圍第1項所述之方法，其中該閃光曝光設定包括一閃光功率設定。
  6. 如申請專利範圍第5項所述之方法，其中該閃光係回應於該閃光功率設定而消光。
  7. 如申請專利範圍第1項所述之方法，其進一步包括判定該閃光之一當前充電狀態，且其中該所判定之閃光曝光設定亦回應於該所判定之充電狀態。
  8. 如申請專利範圍第1項所述之方法，其中該周圍曝光設定包括一曝光時間。
  9. 如申請專利範圍第1項所述之方法，其中一總曝光指數係回應於該閃光曝光設定及一周圍曝光設定而判定，且其中一增益因數係回應於該總曝光指數而判定，且該增益因數用以處理該所俘獲之封存影像。
  10. 如申請專利範圍第9項所述之方法，其中該增益因數係在一類比信號處理路徑或一數位信號處理路徑中應用於該所俘獲之封存影像。
  11. 如申請專利範圍第1項所述之方法，其中該閃光使用一氙氣光源或一LED光源。
  12. 如申請專利範圍第1項所述之方法，其中該等預覽影像中之至少一者係使用該閃光而俘獲。
  13. 一種用於使用具有一閃光之一電子影像俘獲器件來俘獲一改善之封存影像的方法，其包含：a)判定一場景亮度； b)判定該場景之一主體距離；c)使用該影像俘獲器件而在不同俘獲時間俘獲一場景之至少兩個預覽影像；d)使用一處理器分析該等所俘獲之預覽影像以判定該場景之一運動速度；e)回應於該所判定之主體距離及該所判定之場景亮度與該所判定之運動速度之間的一比率而判定一閃光曝光設定、一總曝光指數及一曝光時間；及f)使用該所判定之閃光曝光設定、該總曝光指數及該曝光時間來俘獲一封存影像。
  14. 如申請專利範圍第13項所述之方法，其中該總曝光指數及該曝光時間係回應於一影像品質函數而判定，該影像品質函數依據該總曝光指數及一運動模糊位準而提供對感知影像品質之一估計，該運動模糊位準與該所判定之運動速度有關。
  15. 如申請專利範圍第14項所述之方法，其中該影像品質函數考量歸因於運動模糊假影之影像品質降級及歸因於影像雜訊假影之影像品質降級。
  16. 如申請專利範圍第13項所述之方法，其中一增益因數係回應於該總曝光指數而判定且該增益因數用以處理該所俘獲之封存影像。
  17. 如申請專利範圍第13項所述之方法，其中步驟e)包括：i)回應於該所判定之場景亮度與該所判定之運動速度之間的該比率而判定一周圍曝光之一周圍曝光指數； ii)回應於該所判定之主體距離及一閃光功率位準而判定一僅閃光曝光之一閃光曝光指數；iii)回應於該周圍曝光指數及該閃光曝光指數而判定該閃光曝光設定、該總曝光指數及該曝光時間。
  18. 如申請專利範圍第13項所述之方法，其中步驟e)包括藉由以下步驟判定該總曝光指數及該曝光時間：i)在假設將不使用閃光曝光之情況下回應於該所判定之場景亮度與該所判定之運動速度之間的該比率而判定一較佳周圍曝光指數；ii)回應於該所判定之主體距離及一閃光功率位準而判定一閃光曝光指數；iii)藉由結合該較佳周圍曝光指數及該閃光曝光指數來判定一中間總曝光指數；iv)回應於該中間總曝光指數而判定一中間較佳模糊位準；v)回應於該中間較佳模糊位準而更新該較佳周圍曝光指數；vi)重複步驟iii)至v)直至滿足一收斂準則為止；vii)將該總曝光指數設定為最終中間總曝光指數，且回應於最終較佳周圍曝光指數而判定該曝光時間。
  19. 如申請專利範圍第18項所述之方法，其中該較佳周圍曝光指數經選擇以實質上最大化一影像品質函數。
  20. 如申請專利範圍第13項所述之方法，其進一步包括判定該閃光之一當前充電狀態，且其中該所判定之閃光曝光設定亦回應於該所判定之當前充電狀態。
  21. 如申請專利範圍第20項所述之方法，其中該閃光之一有效曝光指數係回應於該閃光之該所判定之當前充電狀態而判定，且其中該閃光曝光設定係回應於該閃光之該有效曝光指數而判定。
  22. 如申請專利範圍第13項所述之方法，其中該閃光使用一氙氣光源或一LED光源。
  23. 如申請專利範圍第13項所述之方法，該等預覽影像中之至少一者係使用該閃光而俘獲。
  24. 一種用於使用具有一閃光之一電子影像俘獲器件來俘獲一改善之封存影像的方法，其包含：a)判定一場景亮度；b)判定該場景之一主體距離；c)使用該影像俘獲器件而在不同俘獲時間俘獲一場景之至少兩個預覽影像；d)使用一處理器分析該等所俘獲之預覽影像以判定該場景之一運動速度；e)回應於該所判定之主體距離及該所判定之場景亮度與該所判定之運動速度之間的一比率而判定一閃光曝光設定、一總曝光指數及一曝光時間；及f)使用該所判定之閃光曝光設定、該總曝光指數及該曝光時間來俘獲一封存影像；其中步驟e)包括： i)回應於該所判定之場景亮度與該所判定之運動速度之間的該比率而判定一周圍曝光之一周圍曝光指數；ii)回應於該所判定之主體距離及一閃光功率位準而判定一僅閃光曝光之一閃光曝光指數；iii)回應於該周圍曝光指數及該閃光曝光指數而判定該閃光曝光設定、該總曝光指數及該曝光時間，其中該總曝光指數係使用以下方程式藉由結合該周圍曝光指數及該閃光曝光指數來判定：EIT=(1/EIA+1/EIF)-1其中EIT為該總曝光指數，EIA為該周圍曝光指數，且EIF為該閃光曝光指數。
  25. 如申請專利範圍第24項所述之方法，其中當該周圍曝光指數小於一周圍曝光指數臨限值時，該總曝光指數經設定為該周圍曝光指數且該閃光曝光設定經設定為一非閃光曝光模式。
  26. 如申請專利範圍第24項所述之方法，其中當該閃光曝光指數小於一閃光曝光指數臨限值時，該總曝光指數經設定為該閃光曝光指數且該閃光設定經設定為一僅閃光曝光模式。
TW101100841A 2011-01-10 2012-01-09 用於改善之影像品質的結合周圍及閃光曝光 TWI536827B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/987,403 US8224176B1 (en) 2011-01-10 2011-01-10 Combined ambient and flash exposure for improved image quality

Publications (2)

Publication Number Publication Date
TW201240448A TW201240448A (en) 2012-10-01
TWI536827B true TWI536827B (zh) 2016-06-01

Family

ID=45558383

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101100841A TWI536827B (zh) 2011-01-10 2012-01-09 用於改善之影像品質的結合周圍及閃光曝光

Country Status (3)

Country Link
US (1) US8224176B1 (zh)
TW (1) TWI536827B (zh)
WO (1) WO2012096803A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784237B (zh) * 2020-02-11 2022-11-21 群光電子股份有限公司 監控裝置及影像擷取方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438480B1 (ko) * 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
DE102008054985B4 (de) * 2008-12-19 2012-02-02 Sirona Dental Systems Gmbh Verfahren und Vorrichtung zur optischen Vermessung von dreidimensionalen Objekten mittels einer dentalen 3D-Kamera unter Verwendung eines Triangulationsverfahrens
TWI398716B (zh) * 2009-09-09 2013-06-11 Altek Corp Use the flash to assist in detecting focal lengths
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
JP5126344B2 (ja) * 2010-11-18 2013-01-23 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US9516238B2 (en) * 2011-02-10 2016-12-06 Hewlett-Packard Development Company, L.P. Noise suppression
US8754953B2 (en) 2011-06-24 2014-06-17 Apple Inc. Digital camera providing an extended focus range
US8760527B2 (en) 2011-06-24 2014-06-24 Apple Inc. Extending a digital camera focus range
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5858744B2 (ja) * 2011-11-21 2016-02-10 キヤノン株式会社 撮像装置及びカメラシステム
JP2013183434A (ja) * 2012-03-05 2013-09-12 Toshiba Corp 固体撮像装置
US9148582B2 (en) * 2012-06-29 2015-09-29 Intel Corporation Method and system for perfect shot imaging from multiple images
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9338348B2 (en) 2012-10-23 2016-05-10 Snapaid Ltd. Real time assessment of picture quality
US9392196B2 (en) * 2012-11-08 2016-07-12 Leap Motion, Inc. Object detection and tracking with reduced error due to background illumination
US9218538B2 (en) 2013-01-30 2015-12-22 Xerox Corporation Methods and systems for detecting an object borderline
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10477087B2 (en) * 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
US11363938B2 (en) * 2013-03-14 2022-06-21 Ormco Corporation Feedback control mechanism for adjustment of imaging parameters in a dental imaging system
JP6303304B2 (ja) * 2013-07-03 2018-04-04 リコーイメージング株式会社 カメラ
TWI602153B (zh) * 2013-07-09 2017-10-11 聚晶半導體股份有限公司 影像去雜訊化方法與影像去雜訊化裝置
KR102075456B1 (ko) 2013-07-10 2020-02-10 삼성전자주식회사 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치
US20150063694A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Techniques for combining images with varying brightness degrees
US9204044B2 (en) * 2013-10-02 2015-12-01 Nokia Technologies Oy Method and apparatus for optimization during camera flash pulses
US9380229B2 (en) * 2014-02-28 2016-06-28 Samsung Electronics Co., Ltd. Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
JP2015203764A (ja) * 2014-04-14 2015-11-16 キヤノン株式会社 発光装置、その制御方法、および制御プログラム、並びに撮像装置
EP2938064B1 (en) * 2014-04-24 2016-10-12 Axis AB Method and apparatus for determining exposure setting
US10154202B2 (en) * 2014-10-15 2018-12-11 Samsung Electronics Co., Ltd. Apparatus for illuminating a scene and control method thereof
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US10031229B1 (en) * 2014-12-15 2018-07-24 Rockwell Collins, Inc. Object designator system and method
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
US10852403B2 (en) 2015-06-10 2020-12-01 Hewlett-Packard Development Company, L.P. 3D scan tuning
JP6572004B2 (ja) * 2015-06-18 2019-09-04 オリンパス株式会社 露出制御装置および露出制御方法
KR102449873B1 (ko) * 2015-12-11 2022-10-04 삼성전자주식회사 플래시를 포함하는 촬상 장치를 제어하는 방법 및 촬상장치
US9692955B1 (en) * 2016-03-21 2017-06-27 Universal Display Corporation Flash optimized using OLED display
CN109792478B (zh) 2016-09-01 2021-11-12 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
JP2018151464A (ja) * 2017-03-10 2018-09-27 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
KR102317624B1 (ko) * 2017-03-27 2021-10-26 삼성전자 주식회사 전자 장치 및 그의 이미지 처리 방법
CN107517305B (zh) * 2017-07-10 2019-08-30 Oppo广东移动通信有限公司 移动终端及其调整方法、拍摄控制方法和装置
US10904448B2 (en) * 2017-07-13 2021-01-26 Motorola Mobility Llc Controlling flash behavior during capture of image data
CN108401457A (zh) * 2017-08-25 2018-08-14 深圳市大疆创新科技有限公司 一种曝光的控制方法、装置以及无人机
CN110501035B (zh) * 2018-05-18 2022-03-15 好庆科技企业股份有限公司 感测器及感测器的自动校正方法
US10447942B1 (en) 2018-06-07 2019-10-15 Qualcomm Incorporated Flash control for video capture
CN108989700B (zh) * 2018-08-13 2020-05-15 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及计算机可读存储介质
CN112673310B (zh) 2018-09-11 2022-10-28 保富图公司 使得使用摄像机拍摄照片与启动至少一个闪光装置的闪光脉冲协调的计算机实现的方法和系统
US11863866B2 (en) 2019-02-01 2024-01-02 Profoto Aktiebolag Housing for an intermediate signal transmission unit and an intermediate signal transmission unit
CN111917991B (zh) * 2019-05-09 2022-04-26 北京京东乾石科技有限公司 图像的质量控制方法、装置、设备及存储介质
US11115602B2 (en) * 2019-06-11 2021-09-07 Watchguard Video, Inc. Emulating light sensitivity of a target
CN115550556B (zh) * 2021-06-25 2023-10-24 荣耀终端有限公司 一种曝光强度调节方法及相关装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
FR2356175A1 (fr) * 1976-06-25 1978-01-20 Minolta Camera Kk Dispositif de commande d'exposition au flash
US4642678A (en) 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US4774574A (en) 1987-06-02 1988-09-27 Eastman Kodak Company Adaptive block transform image coding method and apparatus
US5189511A (en) 1990-03-19 1993-02-23 Eastman Kodak Company Method and apparatus for improving the color rendition of hardcopy images from electronic cameras
US5130739A (en) 1990-08-23 1992-07-14 Eastman Kodak Company Automatic optimization of photographic exposure parameters through determination and utilization of extra system speed
US5124740A (en) 1990-08-23 1992-06-23 Eastman Kodak Company Depth number based technique for selecting lens aperture size and flash parameters for a full flash exposure
JP3207313B2 (ja) * 1992-12-22 2001-09-10 富士写真フイルム株式会社 撮像装置およびその制御方法
US5493335A (en) 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
US5335041A (en) 1993-09-13 1994-08-02 Eastman Kodak Company Exposure and focus system for a zoom camera
US5828406A (en) 1994-12-30 1998-10-27 Eastman Kodak Company Electronic camera having a processor for mapping image pixel signals into color display pixels
US5668597A (en) 1994-12-30 1997-09-16 Eastman Kodak Company Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor
US5598237A (en) 1995-03-31 1997-01-28 Eastman Kodak Company Image capture apparatus
US5652621A (en) 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
JPH10336511A (ja) * 1997-06-05 1998-12-18 Sanyo Electric Co Ltd カメラ装置
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
US6192162B1 (en) 1998-08-17 2001-02-20 Eastman Kodak Company Edge enhancing colored digital images
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
US6625325B2 (en) 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
EP1094353A3 (en) 1999-09-28 2004-01-02 Fuji Photo Optical Co., Ltd. Image stabilizing apparatus
JP2004020730A (ja) 2002-06-13 2004-01-22 Nikon Vision Co Ltd 像安定化装置
US7212230B2 (en) 2003-01-08 2007-05-01 Hewlett-Packard Development Company, L.P. Digital camera having a motion tracking subsystem responsive to input control for tracking motion of the digital camera
US7304681B2 (en) * 2004-01-21 2007-12-04 Hewlett-Packard Development Company, L.P. Method and apparatus for continuous focus and exposure in a digital imaging device
WO2006083563A2 (en) 2005-02-01 2006-08-10 Analog Devices, Inc. Camera with acceleration sensor
JP4849818B2 (ja) 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
EP1924966B1 (en) 2005-08-08 2009-04-29 MEP Imaging Technologies Ltd. Adaptive exposure control
KR100809686B1 (ko) 2006-02-23 2008-03-06 삼성전자주식회사 이산 여현 변환을 이용한 영상 리사이징 방법 및 장치
JP4165568B2 (ja) 2006-04-03 2008-10-15 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法、制御プログラム及び記録媒体
JP2007300595A (ja) 2006-04-06 2007-11-15 Winbond Electron Corp 静止画像撮影の手ブレ回避方法
US20070237514A1 (en) * 2006-04-06 2007-10-11 Eastman Kodak Company Varying camera self-determination based on subject motion
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
US7697836B2 (en) 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
JP5096017B2 (ja) * 2007-02-15 2012-12-12 オリンパスイメージング株式会社 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI784237B (zh) * 2020-02-11 2022-11-21 群光電子股份有限公司 監控裝置及影像擷取方法
US11659285B2 (en) 2020-02-11 2023-05-23 Chicony Electronics Co., Ltd. Monitoring device and image capturing method

Also Published As

Publication number Publication date
WO2012096803A1 (en) 2012-07-19
TW201240448A (en) 2012-10-01
US8224176B1 (en) 2012-07-17
US20120177352A1 (en) 2012-07-12

Similar Documents

Publication Publication Date Title
TWI536827B (zh) 用於改善之影像品質的結合周圍及閃光曝光
US8970713B2 (en) Automatic engagement of image stabilization
US8379934B2 (en) Estimating subject motion between image frames
US8428308B2 (en) Estimating subject motion for capture setting determination
US8189057B2 (en) Camera exposure optimization techniques that take camera and scene motion into account
US7843493B2 (en) Image sensing apparatus and image processing method
RU2562918C2 (ru) Устройство для съемки изображения, система для съемки изображения и способ управления устройством для съемки изображения
CN111684788A (zh) 一种图像处理的方法和装置
US20120113515A1 (en) Imaging system with automatically engaging image stabilization
JP6831493B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2008148180A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
WO2019208155A1 (ja) 画像処理装置、方法、及びプログラム並びに撮像装置
JP6921972B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法、およびプログラム
JP2008131530A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
US8760527B2 (en) Extending a digital camera focus range
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2003309854A (ja) デジタルカメラ
JP2005122016A (ja) オートフォーカスカメラ
US8754953B2 (en) Digital camera providing an extended focus range
JP2016040879A (ja) 制御システム、撮像装置、制御方法およびプログラム
JP2017034536A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees