TWI550558B - 用以產生高動態範圍影像之系統及其方法 - Google Patents

用以產生高動態範圍影像之系統及其方法 Download PDF

Info

Publication number
TWI550558B
TWI550558B TW103128144A TW103128144A TWI550558B TW I550558 B TWI550558 B TW I550558B TW 103128144 A TW103128144 A TW 103128144A TW 103128144 A TW103128144 A TW 103128144A TW I550558 B TWI550558 B TW I550558B
Authority
TW
Taiwan
Prior art keywords
input
image
pixel
dynamic range
intensity
Prior art date
Application number
TW103128144A
Other languages
English (en)
Other versions
TW201516963A (zh
Inventor
鄺江濤
吳東暉
單基長
Original Assignee
豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 豪威科技股份有限公司 filed Critical 豪威科技股份有限公司
Publication of TW201516963A publication Critical patent/TW201516963A/zh
Application granted granted Critical
Publication of TWI550558B publication Critical patent/TWI550558B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

用以產生高動態範圍影像之系統及其方法
標準影像感測器具有約60dB至70dB或更小之有限動態範圍。舉例而言，相較於具有較大位元深度之感測器通常更經濟的8位元感測器具有僅48dB之動態範圍。然而，真實世界之明度動態範圍大得多，且自然場景常常跨越90dB或更大之範圍。當影像感測器捕捉具有超出感測器動態範圍之明度動態範圍的場景時，資訊必定會遺失。取決於曝光設定，較明亮區可能飽和，及/或較黯淡區可能曝光不足，從而產生不能夠再生實際場景之一捕捉影像的品質。
為了同時地捕捉場景之光亮部及陰影，已在影像感測器中使用高動態範圍(HDR)技術以增加經捕捉動態範圍。用以增加動態範圍之最常見技術中的一者是將運用標準低動態範圍影像感測器而捕捉之多次曝光合併成相較於單一曝光影像具有大得多動態範圍之單一HDR影像。舉例而言，可以一系列不同曝光時間來記錄同一場景之複數影像，其中最長曝光經設定以最佳地捕捉該場景之最黯淡部分，且最短曝光經設定以最佳地捕捉該場景之最明亮部分。
適當地組合多個影像以形成高品質HDR影像是具挑戰性的。對於HDR影像中之每一像素，組合程序涉及作出關於輸入影像中之對應像素之相對權重的決策。HDR影像歸因於影像組合程序所固有之瑕疵而頻繁地含有假影。作為一實例，不連續性在影像之表示實際場景中之平滑強度及/或色彩轉變的區域中可顯而易見，不連續性是由輸入影像之加權依據輸入影像像素之性 質(例如，強度、雜訊及感測器回應)的離散移位造成。
根據本文中之教示，系統及方法係基於複數個輸入影像來產生數個高動態範圍影像。本文所揭示之方法產生高動態範圍影像，該等高動態範圍影像為實際場景的平滑且真實之表示，其在影像之表示實際場景中之平滑亮度及/或色彩轉變、習知解決方案中之常見HDR影像組合假影的區域中沒有不連續性。
在一實施例中，一種方法基於具有不同亮度之第一輸入影像及第二輸入影像來判定(決定)一高動態範圍影像中之一像素值。該方法包括：(a)獲得第一輸入影像中的一第一像素之一第一輸入像素強度及第二輸入影像中的一對應像素之一第二輸入像素強度；(b)判定(決定)用於第一輸入像素強度之一第一組合權重及用於第二輸入像素強度之一第二組合權重，第一組合權重及第二組合權重中之每一者為第一輸入像素強度及第二輸入像素強度之一函數；及(c)使用第一組合權重及第二組合權重來計算高動態範圍影像中之像素值以作為第一輸入像素強度及第二輸入像素強度之一加權平均值，其中該計算步驟包含將第一輸入像素強度及第二輸入像素強度按比例調整至一共同影像亮度。
在一實施例中，一種方法自具有不同亮度之N個輸入影像判定(決定)一高動態範圍影像中之一像素值，其中N為大於2之一整數。該方法包括：(a)形成數對輸入像素強度之一清單，該等輸入像素強度中每一者對應於該N個輸入影像中之同一位置，且其中惟數對之該清單中之第一對除外的數對之該清單中之所有對包含數對之該清單中之先前對中的該等輸入像素強度中之一者，及未表示於該等先前對中任一者的該等輸入像素強度中之一者；(b)對於數對之該清單中之每一對，判定(決定)用於該等輸入像素強度之數個相對組合權重，該等相對組合權重為該對中之該等輸入像素強度兩者之一函數；(c)將一正規化條件應用至該等相對組合權重以判定(決定)數個絕對組合權重；及(d)使用該等絕對組合權重來計算該高動態範圍影像中之該像素值以作為該等 輸入像素強度之一加權平均值，其中該計算步驟包含將該等輸入像素強度按比例調整至一共同影像亮度。
在一實施例中，一種高動態範圍影像產生系統包 括：(a)一處理器；(b)一記憶體，其以通信方式耦接至處理器，且包括用於儲存來自一第一輸入影像及一第二輸入影像之第一輸入像素強度及第二輸入像素強度之一影像儲存器；(c)一組合權重模組，其包括儲存於該記憶體中之數個機器可讀指令，該等機器可讀指令在由該處理器執行時執行判定(決定)用於第一輸入像素強度之一第一組合權重及用於第二輸入像素強度之一第二組合權重之功能，第一組合權重及第二組合權重中每一者為第一輸入像素強度及第二輸入像素強度之一連續函數；及(d)一像素值計算模組，其包括儲存於記憶體中之數個機器可讀指令，該等機器可讀指令在由處理器執行時執行以下功能：將第一輸入像素強度及第二輸入像素強度按比例調整至一共同亮度；及使用第一組合權重及第二組合權重來計算一高動態範圍影像中之一像素值作為該等經按比例調整第一及第二輸入像素強度之一加權平均值。
在一實施例中，一種高動態範圍影像產生系統包 括：(a)一處理器；(b)一記憶體，其以通信方式耦接至處理器，且包括用於儲存來自N個輸入影像之數個輸入像素強度之一影像儲存器，其中N為大於2之一整數；(c)一組合權重模組，其包括儲存於該記憶體中之機器可讀指令，該等機器可讀指令在由該處理器執行時執行以下功能：(i)形成數對輸入像素強度之一清單，該等輸入強度中每一者對應於該N個輸入影像中之同一位置，且其中惟數對之該清單中之第一對除外的數對之該清單中之所有對包含數對之該清單中之先前對中的該等輸入像素強度中之一者，及未表示於該等先前對中任一者的該等輸入像素強度中之一者；(ii)判定(決定)用於該等輸入像素強度之數個相對組合權重，用於數對之該清單中之一對的該等相對組合權重中之每一者為該對中之該等輸入像素強度兩者之一連續函數；及(iii)將一正規化條件應用至該等相對組合權重以判定(決定)數個絕對組合權重；及(d)一
像素值計算模組，其包括儲存於記憶體中之數個機器可讀指令，該等機器可讀指令在由處理器執行時執行以下功能：將該等輸入像素強度按比例調整至一共同亮度；及使用該等絕對組合權重來計算一高動態範圍影像中之一像素值以作為該等經按比例調整輸入像素強度之一加權平均值。
100‧‧‧加權映像
105‧‧‧x軸
106‧‧‧y軸
110‧‧‧標記
120‧‧‧標記
130‧‧‧標記
140‧‧‧標記
141‧‧‧標記
200‧‧‧系統
210‧‧‧介面
220‧‧‧處理器
230‧‧‧記憶體
231‧‧‧機器可讀指令
232‧‧‧HDR影像組合模組
233‧‧‧加權映像
235‧‧‧影像儲存器
236‧‧‧像素強度
237‧‧‧影像計數器
238‧‧‧像素計數器
239‧‧‧組合權重
261‧‧‧組合權重模組
262‧‧‧像素值計算模組
263‧‧‧亮度參數
300‧‧‧系統
310‧‧‧介面
320‧‧‧處理器
330‧‧‧記憶體
331‧‧‧機器可讀指令
332‧‧‧HDR影像組合模組
333‧‧‧加權映像
335‧‧‧影像儲存器
336‧‧‧像素強度
337‧‧‧影像計數器
338‧‧‧像素計數器
339‧‧‧組合權重
340‧‧‧感測器
350‧‧‧成像光學件
361‧‧‧組合權重模組
362‧‧‧像素值計算模組
363‧‧‧亮度參數
390‧‧‧選用外殼
400‧‧‧方法
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
440‧‧‧步驟
445‧‧‧步驟
450‧‧‧步驟
460‧‧‧步驟
500‧‧‧方法
510‧‧‧步驟
520‧‧‧步驟
530‧‧‧步驟
540‧‧‧步驟
550‧‧‧步驟
560‧‧‧步驟
565‧‧‧步驟
570‧‧‧步驟
I1(i)‧‧‧強度
I1(i)‧‧‧像素強度
I2(i)‧‧‧強度
I2(i)‧‧‧像素強度
P‧‧‧點
Th0‧‧‧臨限值
Th11‧‧‧臨限值
Th12‧‧‧臨限值
Th21‧‧‧臨限值
Th22‧‧‧臨限值
Th31‧‧‧臨限值
Th32‧‧‧臨限值
w11‧‧‧預定義組合權重
w12‧‧‧預定義組合權重
w21‧‧‧預定義組合權重
w22‧‧‧預定義組合權重
wx1(i)‧‧‧中間組合權重
wx2(i)‧‧‧中間組合權重
圖1說明根據一實施例的用於判定(決定)用於高動態範圍影像組合中之組合權重之加權映像。
圖2說明根據一實施例的用於使用加權映像來產生高動態範圍影像之系統。
圖3說明根據一實施例的用於使用加權映像來捕捉影像且產生高動態範圍影像之系統。
圖4說明根據一實施例的用於使用加權映像來判定(決定)組合權重之方法。
圖5說明根據一實施例的用於使用加權映像來產生高動態範圍影像之方法。
本文揭示用於自具有較低動態範圍及不同亮度之多個輸入影像以產生HDR輸出影像之系統及方法。舉例而言，可以不同曝光時間、攝影機增益及/或孔徑光闌來記錄輸入影像。HDR輸出影像中之每一像素係指定為輸入影像中之對應像素之強度之函數的一值。該函數包括用以對來自不同輸入影像之像素強度進行加權的數個組合權重、用以將不同輸入影像按比例調整至共同亮度之數個比例因數、以及選擇性地包括對按比例調整之數個校正。
數個組合權重用來產生被按比例調整至共同亮度之輸入像素強度之加權平均值，且對於產生一高品質HDR影像至關重要。通常而言，數個組合權重對於具有較好品質之輸入像素強度是較大的，其中像素品質之決定可以基於數個性質及關聯準 則。本文所揭示之系統及方法未特定於某些品質度量；也可以使用任何度量或數個度量之組合。舉例而言，較大組合權重可被給予至高於感測器雜訊位準、低於飽和度、在感測器回應之線性體系中、具有高信雜比及/或基於任何適合單一度量或數個度量之組合而被認為具有較好品質之輸入像素強度。因此，本發明所揭示之HDR影像產生系統及方法可適應於極廣泛範圍之使用情境，且重要地，允許同時地考慮眾多不同品質度量。自對應於HDR輸出影像中之一給定像素之所有輸入像素強度的一比較來決定數個組合權重，此是與數個輸入像素強度之獨立評估相對。此導致較多最佳組合權重，此是因為該比較提供可經評估及利用以決定該等組合權重之額外資訊。另外，本發明之系統及方法以一平滑方式來指定數個組合權重。具體而言，與HDR輸出影像中之一給定像素相關聯的數個組合權重為所有對應輸入像素強度之一連續函數。結果，HDR輸出影像通常提供實際場景之一平滑且真實之表示，且在表示實際場景中之平滑亮度及/或色彩轉變之影像、習知解決方案中之一常見HDR影像組合假影的區域中是沒有亮度或色彩不連續性。本發明所揭示之系統及方法的所有上述優點是使用簡單加權映像以低計算成本而提供，該加權映像被稀疏地填入有預定義的數個組合權重。
用於產生數個HDR影像的本發明所揭示之系統及方 法係利用一用於決定數個組合權重之加權映像。圖1展示用以自待組合成單一HDR輸出影像之兩個個別輸入影像以決決定一對之對應像素之數個組合權重之一加權映像100。如下文將論述，當組合兩個以上輸入影像時，可將加權映像100應用至一系列數對之輸入影像。加權映像100將用於一輸入影像1中之一個別像素i之組合權重展示為強度I1(i)及I2(i)之函數，其中I1(i)為輸入影像1中之像素強度，且I2(i)為一對應輸入影像2中之像素強度。 x軸105表示強度I1(i)，且y軸106表示強度I2(i)。
在一實施例中，加權映像100含有具有數個預定義組合權重wn1n2之一離散二維網格(參見圖1中之標記110，並非 所有預定義組合權重wn1n2皆被加標記)，其中n1及n2為在0至3之範圍內的整數。在此實施例中，加權映像100為4×4網格，但加權映像100可具有其他尺寸而不脫離本發明之範疇。數個定義組合權重wn1n2之網格位置對應於為輸入影像1及2所共有之臨限值Th0(圖1中之標記120)、被指定至影像1之臨限值Th11、Th21及Th31(在圖1中未加標記)，及被指定至影像2之臨限值Th12、Th22及Th32(在圖1中未加標記)。此等臨限值指示輸入影像1及2中的像素i之全強度範圍之一所要劃分。舉例而言，一臨限值可以與上述雜訊像素強度之一下限、無飽和度效應之像素強度之一上限、零像素強度、最高可能像素強度一致；或一對臨限值可以囊括感測器回應之線性範圍或信雜比之範圍。在一個例示性實施例中，臨限值Th0為零像素強度，臨限值Th11為針對上述雜訊像素強度之下限，臨限值Th11及Th21一起囊括感測器回應之一線性範圍，臨限值Th31為最高可能像素強度，Th12及Th22一起囊括感測器回應之一線性範圍，Th22為針對無飽和度效應之數個像素強度之上限，且Th32為最高可能像素強度。
在替代實施例中，該加權映像相較於加權映像100是基於較多或較少臨限值，從而引起較密集或較不密集之網格。
該等臨限值對於輸入影像1及2可以相同或可不相同。若影像1及2被知道為具有不同性質，則可有利的是針對影像1及2定義不同臨限值。此知識可基於數個實際影像之一評估，抑或基於影像1及2被捕捉所處之條件(例如，曝光時間)之一般知識。舉例而言，較長曝光時間通常是與歸因於例如在曝光期間之熱誘發性信號之累積的較高雜訊位準相關聯。可藉由定義為曝光時間之函數的表示雜訊底限之臨限值而在加權映像100中考量此關聯。若影像1及2是以不同曝光時間被捕捉，則此臨限值對於影像1及2將不同。在一般表達式中，加權映像可基於在一個維度上之n個臨限值，及在另一維度上之m個臨限值，從而引起n×m網格，其中n、m2。可藉由實施較多臨限值而將較多資訊嵌入於加權映像中。然而，此情形將相對於與一較大矩陣之儲存 及操縱相關聯的記憶體及計算成本進行取捨。
數個實際像素強度之任何給定對(來自輸入影像1之I1(i)及來自輸入影像2之I2(i))定義加權映像100中之一點P(由圖1中之標記130指示)。若點P與一預定義組合權重wn1n2一致，則組合權重w1(i)=wn1n2被指定至輸入影像1之像素i，且組合權重w2(i)=1-w1(i)被指定至輸入影像2之像素i。同樣地，點P將不與預定義組合權重一致，在此狀況下，用於輸入影像1中的像素i之組合權重w1(i)是藉由使用四個最接近預定義組合權重wn1n2之內插而找到。就圖1中之點P之例示性位置而言，該內插是基於預定義組合權重w11、w12、w21及w22。
可使用習知技術中所知之任何方法(例如，雙線性內插)來執行內插。在利用雙線性內插之實施例中，可應用在x方向上之線性內插以判定(決定)用於在y方向上之後續線性內插中的數個中間組合權重以找到最終組合權重。根據以下方程式，沿著由w11及w21定義之網格線執行線性內插以判定(決定)由圖1中之標記140指示的一中間組合權重wx1(i)，且沿著由w12及w22定義之網格線執行線性內插以決定由圖1中之標記141指示的一中間組合權重wx2(i)
及
與點P(圖1中之標記130)相關聯的用於輸入影像1之像素i之組合權重w1(i)是根據以下方程式沿著由wx1(i)及wx2(i)定義之線藉由在y方向上之線性內插而找到
且用於輸入影像2之像素i之對應組合權重w2(i)為w2(i)=1-w1(i)。
加權映像100及內插之使用確保數個組合權重為數 個輸入像素強度之一連續函數。在加權映像100中之任何地方不存在數個權重值之不連續性，在例如數個常數權重被指定至數個像素強度之某些範圍的情況下將為該狀況。因此，實際場景中之一平滑強度及/或色彩轉變將被再生為HDR輸出影像中之一平滑強度及/或色彩轉變。
加權映像100基於像素強度I1(i)與像素強度I2(i)之 一比較而進一步允許數個度量之使用。加權映像100之此態樣可用以診斷假影且減少假影對使用加權映像100而產生之HDR輸出影像的貢獻。此處針對影像1相較於影像2以較高亮度被記錄的情形提供此使用之實例。舉例而言，影像1相較於影像2可以較長曝光時間被記錄。考慮定義加權映像中靠近針對影像1及2兩者之雜訊底限之一點的一對已記錄像素強度。在僅基於數個輸入影像之獨立評估的一演算法中，屬於影像1及2之像素將很可能被指定幾乎相等之低權重。在具有僅兩個已記錄輸入影像之狀況下，或在此特定像素靠近所有輸入影像中之雜訊底限的情況下，此情形將引起數個輸出影像中之對應像素之品質不良。然而，影像1相較於影像2以較高亮度被記錄之知識可在無額外成本的情況下併入至加權映像100中。數個預定義組合權重wn1n2(參見圖1中之標記110)可以經定義以反映如下物理預期：對於在雜訊底限附近之數個黯淡信號，影像1提供實際場景之最好表示。僅執行數個輸入像素強度之獨立評估的加權映像100之有利使用之一相似實例存在於強度範圍，在感測器飽和度位準附近，之另一端處。此處，複數預定義組合權重wn1n2(圖1中之標記110)可以經定義以導致一較高組合權重而被指定至屬於影像2之像素。
在具有兩個以上輸入影像之狀況下，可以成對方式 將加權映像100應用至輸入像素強度I1(i)、......、IN(i)，其中N>2，且In(i)屬於輸入影像n。在一實例中，首先將加權映像100應用至像素強度I1(i)及I2(i)，從而導致對應組合權重w1(i)及w2(i)之判定(決定)。可將此情形表達為被指定至像素強度I1(i)之一相對組合權重wrel,1(i)=w1(i)/w2(i)。緊接著，將加權映像100應用至像 素強度I2(i)及I3(i)，從而導致用於像素強度I2(i)之一相對組合權重wrel,2(i)之判定(決定)。以此方式來應用加權映像100，直至決定相對組合權重wrel,n(i)，其中n=1、......、N-1。應用正規化條件以得到用於像素強度IN(i)之組合權重wN(i)之絕對值，此是與相對值相對：
可使用關係式wrel,n(i)=wn(i)/wn+1(i)而自以上方程式推斷所有其他絕對組合權重wn(i)，其中n=1、......、N-1。方程式3對於具有僅兩個輸入影像之狀況亦成立。應注意，加權映像100中之數個臨限值及數個預定義組合權重對於每一輸入影像n可以不相同。
圖2說明能夠使用本發明所揭示之高動態範圍影像組合方法來執行HDR影像組合之HDR影像產生系統之一實施例。圖2之系統200包括用於接收數個輸入影像且輸出基於數個經接收輸入影像而產生之數個HDR影像之一介面210。介面210是與一處理器220通信，處理器220是進一步與一記憶體230通信。記憶體230包括機器可讀指令231，機器可讀指令231在由處理器220執行時產生HDR影像。指令231包括一加權映像233及至少一HDR影像組合模組232，HDR影像組合模組232例如執行圖5之方法500。在某些實施例中，HDR影像組合模組232包括組合權重模組261及像素值計算模組262。組合權重模組261包括機器可讀指令，機器可讀指令在由處理器220執行時決定數個組合權重，諸如，藉由執行圖4之方法400。像素值計算模組262包括機器可讀指令，機器可讀指令在由處理器220執行時計算一高動態範圍影像像素值，諸如，藉由執行圖5之方法500之步驟550。加權映像233例如為圖1之映像100，其中實際編號被指定至圖1之數個預定組合權重110，以用於根據HDR影像組合模組232來決定數個組合權重。
記憶體230更包括用於既儲存輸入影像又視情況儲 存經產生HDR輸出影像之一影像儲存器235。影像儲存器235可包括自數個輸入影像獲得之數個像素強度236，及表示數個輸入影像被記錄所處之亮度條件之數個亮度參數263。數個亮度參數之實例包括曝光時間、孔徑光闌、感測器增益及其組合。處理器220及記憶體230可整合於一微處理器中。在某些實施例中，記憶體230更包含有一影像計數器237、一像素計數器238及數個組合權重239以促進例如圖5之方法500之執行。在不脫離本發明之範疇的情況下，如圖2所說明的包括於記憶體230中之一些元件可以代替地實施於記憶體230外部之分離電子電路系統中。
在一些實施例中，圖2之系統200是與用以記錄數 個輸入影像之攝影機整合或整合於該攝影機內。一個此類實施例在圖3中被說明為一系統300。系統300包括用於例如與一使用者及/或諸如電腦之一遠端系統通信之一介面310，及一處理器320。處理器320是進一步與一記憶體330及記錄由成像光學件350產生之數個輸入影像之一感測器340通信。記憶體330包括機器可讀指令331，機器可讀指令331在由處理器320執行時基於由感測器340記錄之輸入影像來產生HDR影像。指令331包括一加權映像333及至少一HDR影像組合模組332，HDR影像組合模組332例如執行圖5之方法500。在某些實施例中，HDR影像組合模組332包括一組合權重模組361及一像素值計算模組362。組合權重模組361包括機器可讀指令，機器可讀指令在由處理器320執行時判定(決定)數個組合權重，諸如，藉由執行圖4之方法400。像素值計算模組362包括機器可讀指令，機器可讀指令在由處理器320執行時計算高動態範圍影像像素值，諸如，藉由執行圖5之方法500之步驟550。加權映像333為例如圖1之映像100，其中實際編號被指定至圖1之數個預定義組合權重110，以用於根據HDR影像組合模組232來判定(決定)數個組合權重。
記憶體330進一步包括用於儲存輸入影像且視情況 儲存HDR輸出影像之一影像儲存器335。如針對系統200所論 述，在系統300之某些實施例中，影像儲存器335含有數個像素強度336及數個亮度參數363。處理器320及記憶體330可整合於一微處理器中。在某些實施例中，記憶體330進一步含有一影像計數器337、一像素計數器338及數個組合權重339以促進例如圖5之方法500之執行。如圖3所說明的包括於記憶體330中之一些元件可代替地實施於記憶體330外部之分離電子電路系統中，而不脫離本文所揭示的本發明之範疇。
系統300可進一步包括一選用外殼390。選用外殼 390具有開口(圖3中未圖示)，使得成像光學件350可曝露以照光，亦即場景可以被捕捉。在系統300之不包括選用外殼390的實施例中，感測器340及成像光學件350可任意地遠離系統300之剩餘部分。感測器340可經由有線或無線通信路徑而與處理器320通信。
圖4展示用於自一系列輸入影像判定(決定)HDR輸 出影像中之給定像素i之數個組合權重之方法400。方法400利用一加權映像，例如，圖1之加權映像100。方法400可以例如實施於圖2之系統200或圖3之系統300中。執行方法400之指令可位於圖2所展示的系統200之記憶體230中以作為HDR影像組合模組232及加權映像233。同樣地，執行方法400之指令可位於系統300之記憶體330(圖3)中以作為HDR影像組合模組332及加權映像333。在一個實施例中，方法400之指令實施於圖2之系統200中以作為組合權重模組261。在另一實施例中，方法400之指令實施於圖3之系統300中以作為組合權重模組361。
在步驟410中，獲得對應像素強度I1(i)、......、IN(i) 之一清單，其中N2。在步驟410之一個實例中，系統200之介面210(圖2)自外部系統接收像素強度I1(i)、......、IN(i)，且處理器220將該等像素強度儲存於影像儲存器235中以作為數個像素強度236。在步驟410之另一實例中，感測器340(圖3)產生像素強度I1(i)、......、IN(i)，且處理器320將該等像素強度儲存於影像儲存器335中作為數個像素強度336。
在步驟420中，將影像計數器n(例如，系統300之 影像計數器337(圖3))初始化至n=1。在步驟430中，使用加權映像(例如，圖1之加權映像100)來判定(決定)像素強度In(i)相對於像素強度In+1(i)之相對組合權重wrel,n(i)。在步驟440中，進行關於影像計數器n之值的查詢。若n不同於N-1，則方法400在返回至步驟430之前行進至步驟445，在步驟445中，使成像計數器增加1。若n=N-1，則方法400代替地行進至步驟450，在步驟450中，使用正規化條件(例如，上文所提及之)以判定(決定)用於所有輸入影像之組合權重wn(i)。在利用方程式3的情況下，可使用上文所概述之演算法來執行步驟450。
步驟420至步驟450是可分別藉由(例如)圖2之處理 器220或圖3之處理器320使用加權映像233(圖2)或333(圖3)而執行。在步驟420之實例中，系統200之處理器220(圖2)將儲存於記憶體230中之影像計數器237初始化至為1之值。在步驟430之實例中，系統200之處理器220(圖2)使用加權映像233及儲存於記憶體230內之數個指令231中的關聯指令來判定(決定)數個相對組合權重，且繼續進行以將相對組合權重儲存至記憶體230作為數個組合權重239之一部分。舉例而言，處理器220可藉由評估儲存於記憶體230中之影像計數器237的值來執行步驟440。在一實例中，處理器220亦藉由讀取儲存於記憶體230中之影像計數器237的值、使此值增加1且將該值儲存於記憶體230中作為影像計數器237來執行步驟445。在步驟450之實例中，處理器220讀取儲存於記憶體230中之數個組合權重239中的用於所有影像之相對組合權重、應用儲存於記憶體230中之指令231中的正規化條件、判定(決定)用於所有影像之數個最終組合權重，且將數個最終組合權重儲存於記憶體230中之數個組合權重239中。
在步驟460中，輸出在步驟450中判定(決定)之數個 組合權重作為對應於在步驟410中提供之像素強度I1(i)、......、IN(i)之清單的一清單w1(i)、......、wN(i)。此等組合權重可以例如 儲存於記憶體230圖(2)或330(圖3)中以供處理器220(圖2)或320(圖3)進一步處理，及/或由介面210(圖2)或310(圖3)輸出。在步驟460之實例中，系統200之處理器220(圖2)讀取儲存以作為組合權重239之部分的數個組合權重，且將該等組合權重發送至介面210。
圖5說明用於利用加權映像而自多個輸入影像產生HDR影像之方法500。舉例而言，方法500可使用圖1之加權映像100。方法500可實施於圖2之系統200或圖3之系統300中。在此狀況下，方法500之數個指令可位於圖2所展示的系統200之記憶體230中以作為HDR影像組合模組232及加權映像233。在系統300(圖3)中之實施的狀況下，方法500之數個指令可位於系統300之記憶體330中以作為HDR影像組合模組332及加權映像333。下文中在轉至方法500之詳細描述之前概述用於圖5之方法500中的概念。
簡潔地，圖5之方法500判定(決定)對應於HDR輸出影像中之所有像素的數個組合權重、將輸入像素強度按比例調整至一共同亮度，且視情況判定(決定)及應用一全域(亦即，圖像寬度)組合誤差。用於一影像n中之一感測器像素i之記錄強度In(i)為感測器輻照度E(i)及表示由感測器或攝影機性質(例如，曝光時間、感測器增益及孔徑光闌)控制之影像亮度之值之一函數。出於說明起見，本論述假定藉由以不同曝光時間tn來記錄個別影像而達成記錄影像之不同亮度；應理解，本文所揭示之HDR影像組合方法可應用至使用於使影像亮度變化(包括但不限於調整感測器增益及/或孔徑光闌)之任何適合方法而記錄的影像。可將用於影像n中的像素i之經記錄像素強度表達為I n (i)=f[E(i)×t n ]，其中f為感測器回應函數，且tn為曝光時間。假定場景為靜態。因此，感測器輻照度E(i)對於所有影像相同。在感測器回應函數之線性體系(通常為介於雜訊底限與飽和度之間的範圍)中，兩個影像1及2中的像素i之強度I1(i)及I2(i)遵守如下方程式
及
其中t1及t2為用於影像1及2之曝光時間。
若像素強度I1(i)及I2(i)中之一者或兩者屬於感測器回應函數之非線性體系及/或曝光時間並不準確，則不滿足方程式4a及4b。在一實施例中，併入組合誤差項Logε，如以下方程式所展示
其中組合誤差項Logε是自遍及低於飽和度之所有像素進行平均化的組合誤差而估計。此估計方法是以如下方程式而表達
其中M為低於飽和度之像素的數目。在此實施例中，誤差項Logε為全域，亦即，對於影像1中之所有像素相同。應理解，包括提供局域或甚至提供像素特定校正之方法的其他校正方法是可結合本文所揭示之HDR影像組合方法的其他態樣(例如，圖1之加權映像100)而使用。另外，本發明所揭示之HDR影像組合方法是可在不應用校正方法的情況下使用。
在使用例如根據圖4之方法400而使用一加權映像(例如，圖1之加權映像100)所判定(決定)之數個組合權重的情況下，可將HDR輸出影像中的像素i之強度I(i)寫為
其中w1(i)及w2(i)為用於影像1及2中的像素i之數個組合權重。根據此方程式，將輸入像素強度按比例調整至影像1之亮度或等效地按比例調整至影像1之曝光時間，且參考影像1來計算組合校正項Logε。在一替代實施例中，可將像素強度按比例調整至不同曝光時間，包括但不限於影像2之曝光時間。出於計算簡 易及成本起見，有利的是使影像1為以最長曝光時間而記錄之影像，亦即，t1>t2，使得將影像2之像素強度按比例調整至較大數目而非較小數目。在此狀況下，按比例調整計算依賴於乘法而非除法。可易於將方程式7中之表達式延伸至兩個以上輸入影像。對於被按比例調整至參考曝光時間tref之N個輸入影像，該表達式變為
其中wn(i)及In(i)分別為影像n中的像素i之組合權重及像素強度，且tn及Logεn為用於影像n之曝光時間及組合誤差項。此外，計算優點是與將曝光時間tref設定至最長使用曝光時間相關聯。應注意，若參考影像M來計算組合誤差，則用於影像M之組合誤差LogεM為零。
圖5說明利用方程式8中提供的用於HDR輸出像素強度I(i)之表達式以及方程式8所基於之方法的HDR影像組合方法500。在一個實施例中，方法500實施於圖2之系統200中作為HDR影像組合模組232。方法500亦可實施於圖3之系統300中作為HDR影像組合模組332。
在步驟510中，針對所有輸入影像獲得對應像素強度I1(i)、......、IN(i)。可直接地獲得或藉由首先獲得數個輸入影像且接著自輸入影像提取像素強度來間接地獲得像素強度。舉例而言，若方法500實施至圖3之系統300中，則數個輸入影像或像素強度是可由感測器340或介面310提供，且儲存於影像儲存器335中。作為方法500實施至圖2之系統200中的另一實例，數個輸入影像或像素強度是可由介面210提供，且儲存於影像儲存器235中。在步驟510之一個實例中，處理器220使用介面210而自所有輸入影像獲得數個像素強度，且將此等像素強度儲存於記憶體230中作為像素強度236。在步驟510之另一實例中，處理器220首先使用介面210來獲得所有影像、將該等影像儲存至影像儲存器235、判定(決定)用於所有影像之像素強度，且將該等 像素強度儲存於記憶體230中以作為像素強度236。舉例而言，若以壓縮格式來獲得影像，則此後一實例可相關，在此狀況下，處理器220可需要解壓縮儲存於影像儲存器235中之經壓縮影像以便判定(決定)像素強度。
在選用步驟520中，使用上文所揭示之方法而針對 每一輸入影像判定(決定)全域組合誤差Logεn。在選用步驟520之一個實例中，處理器讀取儲存於記憶體230中之像素強度236、判定(決定)用於所有影像之全域組合誤差，且將該等全域組合誤差儲存至記憶體230。
在步驟530中，初始化像素計數器i，i=第一像素。 在步驟530之一個實例中，處理器220(圖2)將像素計數器之值初始化至1，且將此值儲存至記憶體230中之像素計數器238。
在步驟540中，使用加權映像(例如，圖1之加權映 像100)且遵循(例如)圖4之方法400而針對每一輸入影像n判定(決定)用於像素i之組合權重wn(i)。在步驟540之一個實例中，處理器220首先讀取像素計數器238。視情況，將用於執行步驟540之指令儲存於記憶體230中以作為組合權重指令262。緊接著，處理器200讀取針對等於像素計數器238之值之像素數目之像素強度236。處理器220接著使用儲存於記憶體230內之加權映像233及關聯指令231以判定(決定)用於每一影像的此像素之數個組合權重。此情形可例如涉及儲存於記憶體230中之影像計數器237的讀取及遞增。接著由處理器220將數個組合權重儲存至記憶體230中之組合權重239。
在步驟550中，使用在步驟540中判定(決定)之數個 組合權重且利用方程式8來計算HDR輸出影像中的像素i之強度。視情況，將用於執行步驟550之數個指令儲存於記憶體230中以作為像素值計算指令262。若省略選用步驟520，則在步驟550中省略組合誤差校正項Logεn。在步驟550之一個實例中，處理器220使用像素計數器238之重複讀取及遞增以針對像素計數器238之給定值讀取以下各者：(a)儲存於記憶體230中之組合權 重239中的數個組合權重；(b)儲存於記憶體230中之像素強度236的數個像素強度；(c)儲存於記憶體230中以作為影像儲存器235之部分(若曝光時間是與影像一起被獲得)抑或作為指令231之部分(若曝光時間被預設)的曝光時間；及(d)儲存於記憶體230中之選用全域組合誤差。處理器220接著計算組合式像素強度且將組合式像素強度儲存至記憶體230中之像素強度236。
步驟560進行查詢以判定(決定)HDR輸出影像中之 所有像素是否已被處理。在步驟560之一個實例中，處理器220讀取及評估儲存於記憶體230中之像素計數器238。若並非所有像素皆已被處理，則方法500行進至步驟565，在步驟565中使像素計數器增加1，且方法500接著返回至步驟540。在步驟565之一個實例中，處理器220讀取儲存於記憶體230中之像素計數器238、使像素計數器238之值遞增1，且將遞增值儲存至記憶體230以作為像素計數器238。
若對步驟560中之查詢的回答為是，則步驟570輸 出藉由在步驟550中計算之像素強度而構成的HDR影像。在步驟560之一個實例中，處理器220讀取儲存於記憶體230中之像素強度236中的組合式像素強度，且在此等組合式像素強度由處理器220視情況處理成所要影像格式之後，將此等組合式像素強度發送至介面210。
本文所揭示的用於HDR影像產生之所有系統及方法 適用於單色影像及彩色影像兩者。標準彩色感測器是由相同像素群組構成，每一群組含有對特定色彩範圍敏感之像素。舉例而言，對於所謂RGB感測器，每一群組是可由以下各者構成：對可見光光譜之紅色部分敏感的一像素(R)；對可見光光譜之綠色部分敏感的兩個像素(G)；及對可見光光譜之藍色部分敏感的一像素(B)。 在一實施例中，本文所揭示之HDR影像組合方法可分離地適用於每一像素，而不管其色彩敏感度。在另一實施例中，僅基於具有一種形式之色彩敏感度的像素(例如，對可見光光譜之紅色部分敏感的像素)而使用加權映像(例如，圖1之加權映像100)來判定(決 定)組合權重。在採取相似於針對RGB感測器所論述之感測器組態(結構)的情況下，可隨後將此等組合權重延伸至同一像素群組內的具有其他色彩敏感度之像素。在又一實施例中，可使用加權映像(例如，圖1之加權映像100)來判定(決定)組合權重，其中輸入像素強度(例如，圖1中之像素強度105及106)為像素群組內的具有不同色彩敏感度之像素之強度的總和、平均值或加權平均值。
特徵之組合
可以各種方式來組合上文所描述之特徵以及下文所主張之特徵而不脫離本發明之範疇。舉例而言，應瞭解，本文所描述之一種方法/系統的態樣可以併有或調換本文所描述之另一攝影機方法/系統的特徵。以下實例說明上文所描述之實施例的可能非限制性組合。應清楚的是，可以對本文中之方法及系統進行許多其他改變及修改而不脫離本發明之精神及範疇：
(A)一種用於基於具有不同亮度之第一輸入影像及第二輸入影像來判定(決定)一高動態範圍影像中之一像素值之方法，該方法包括：獲得第一輸入影像中的一第一像素之一第一輸入像素強度及第二輸入影像中的一對應像素之一第二輸入像素強度的一步驟；及判定(決定)用於第一輸入像素強度之一第一組合權重及用於第二輸入像素強度之一第二組合權重的一步驟，第一組合權重及第二組合權重中每一者為第一輸入像素強度及第二輸入像素強度之一函數。
(B)(A)之方法可進一步包括使用第一組合權重及第二組合權重來計算高動態範圍影像中之像素值以作為第一輸入像素強度及第二輸入像素強度之一加權平均值的一步驟，其中該計算步驟包含將第一輸入像素強度及第二輸入像素強度按比例調整至一共同影像亮度。
(C)在被標誌為(A)及(B)之方法中，該函數可為第一輸入像素強度及第二輸入像素強度之一連續函數。
(D)在被標誌為(A)至(C)之方法中，該函數可具有用於一預定義第一像素強度及一預定義第二像素強度之複數個對之 複數個預定義值。
(E)在被標誌為(D)之方法中，可藉由考慮至少一品質度量來定義該等預定義值。
(F)在被標誌為(E)之方法中，該至少一品質度量可包括以下各者中之一或多者：強度、雜訊貢獻、飽和度效應、信雜比、感測器回應之線性、第一像素強度與第二像素強度之比率，或其一組合。
(G)在被標誌為(E)及(F)之方法中，該品質度量可包括利用該第一輸入像素強度與該第二輸入像素強度之一比較之至少一品質度量。
(H)在被標誌為(D)至(G)之方法中，當第一輸入像素強度及第二輸入像素強度不與複數個對預定義第一及第二像素強度一致時，可藉由在預定義第一及第二像素強度之該等對之間進行內插來判定(決定)該函數之一值。
(I)在被標誌為(H)之方法中，可藉由在預定義第一及第二像素強度之最近對之間進行內插來判定(決定)該函數之該值。
(J)在被標誌為(H)及(I)之方法中，該內插步驟可包括雙線性內插。
(K)被標誌為(A)至(J)之方法可進一步包括獲得與該第一輸入影像相關聯之一第一亮度參數及與該第二輸入影像相關聯之一第二亮度參數。
(L)在被標誌為(L)之方法中，按比例調整可基於第一亮度參數及第二亮度參數。
(M)被標誌為(K)及(L)之方法可進一步包括校正第一亮度參數及第二亮度參數中至少一者中之誤差。
(N)在被標誌為(M)之方法中，該等誤差可以由一非線性感測器回應以及該第一輸入影像及該第二輸入影像中至少一者被捕捉所處之亮度條件之不正確評估中之一或多者造成。
(O)一種用於自具有不同亮度之N個輸入影像以判定 (決定)一高動態範圍影像中之一像素值之方法，其中N為大於2之一整數，該方法包括：形成數對輸入像素強度之一清單的一步驟，該等輸入像素強度中每一者對應於N個輸入影像中之同一位置，且其中惟數對之該清單中之第一對除外的數對之該清單中之所有對包括數對之該清單中之先前對中的該等輸入像素強度中之一者，及未表示於該等先前對中任一者的該等輸入像素強度中之一者。
(P)被標誌為(O)之方法進一步包括判定(決定)用於該等輸入像素強度之數個相對組合權重的一步驟，該等相對組合權重為該對中之該等輸入像素強度兩者之一函數。
(Q)被標誌為(P)之方法進一步包括將一正規化條件應用至該等相對組合權重以判定(決定)數個絕對組合權重。
(R)被標誌為(P)至(Q)之方法進一步包括計算該高動態範圍影像中之像素值以作為該等輸入像素強度之一加權平均值，其中該計算步驟包括將該等輸入像素強度按比例調整至一共同影像亮度。
(S)在被標誌為(R)之方法中，按比例調整可包括使用數個絕對組合權重。
(T)在被標誌為(O)至(S)之方法中，數對之該清單中之每一對可包括來自該N個輸入影像亮度中之兩者的數個輸入像素強度，使得該N個輸入影像中沒有其他者在其間具有亮度。
(U)在被標誌為(P)至(T)之方法中，該函數可為由該對包含之該等輸入像素強度之一連續函數。
(V)在被標誌為(P)至(U)之方法中，該函數可具有用於一複數個對之預定義像素強度之數個預定義值。
(W)在被標誌為(V)之方法中，可藉由考慮至少一品質度量來定義該等預定義值。
(X)在被標誌為(W)之方法中，該至少一品質度量可包括以下各者中之一或多者：強度、雜訊貢獻、飽和度效應、信雜比、感測器回應之線性、第一像素強度與第二像素強度之比率， 或其一組合。
(Y)在被標誌為(W)及(X)之方法中，該品質度量可包括利用該對中之該等輸入像素強度之一比較的至少一品質度量。
(Z)在被標誌為(V)至(Y)之方法中，當該等輸入像素強度與一對預定義像素強度一致時，可藉由在數對預定義像素強度之間進行內插來判定(決定)該函數之一值。
(AA)在被標誌為(Z)之方法中，可藉由在預定義像素強度之最近對之間進行內插來判定(決定)該函數之該值。
(AB)在被標誌為(Z)及(AA)之方法中，該內插步驟可包括雙線性內插。
(AC)被標誌為(R)至(AB)之方法可進一步包括獲得N個亮度參數，該N個亮度參數中每一者對應於N個輸入影像中之一各別輸入影像。
(AD)在被標誌為(AC)之方法中，按比例調整可基於N個亮度參數中之一或多者。
(AE)被標誌為(AC)及(AD)之方法可進一步包括校正該N個亮度參數中至少一者中之誤差。
(AF)在被標誌為(AE)之方法中，該等誤差是可由一非線性感測器回應以及該N個輸入影像中至少一者被捕捉所處之亮度條件之不正確評估中之一或多者造成。
(AG)一種高動態範圍影像產生系統，其包括：(a)一處理器；(b)一記憶體，其以通信方式耦接至處理器，且包括用於儲存來自一第一輸入影像及一第二輸入影像之第一輸入像素強度及第二輸入像素強度之一影像儲存器；及(c)一組合權重模組，其包括儲存於該記憶體中之數個機器可讀指令，該等機器可讀指令在由處理器執行時執行判定(決定)用於第一輸入像素強度之一第一組合權重及用於第二輸入像素強度之一第二組合權重之功能，第一組合權重及第二組合權重中每一者為第一輸入像素強度及第二輸入像素強度之一函數。
(AH)被標誌為(AG)之系統可進一步包括一像素值計 算模組，該像素值計算模組包括儲存於記憶體中之數個機器可讀指令，該等機器可讀指令在由處理器執行時執行以下功能：將第一輸入像素強度及第二輸入像素強度按比例調整至一共同亮度；及使用第一組合權重及第二組合權重來計算一高動態範圍影像中之一像素值作為該等經按比例調整第一及第二輸入像素強度之一加權平均值。
(AI)在被標誌為(AG)及(AH)之系統中，該組合權重 模組可經調適以針對儲存於該影像儲存器中與數對預定義第一及第二像素強度不一致的第一像素強度及第二像素強度，而在數對預定義第一及第二像素強度之間進行內插。
(AJ)在被標誌為(AG)至(AI)之系統中，第一輸入像素 強度及第二輸入像素強度之該函數可被實施為第一像素強度及第二像素強度之一連續函數。
(AK)在被標誌為(AG)至(AJ)之系統中，該影像儲存 器可包括用於儲存與第一輸入影像相關聯之一第一亮度參數及與第二輸入影像相關聯之一第二亮度參數之一亮度參數模組。
(AL)在被標誌為(AH)至(AJ)之系統中，該影像儲存器 可包括用於儲存與第一輸入影像相關聯之一第一亮度參數及與第二輸入影像相關聯之一第二亮度參數之一亮度參數模組，且該像素值計算模組可包括用於根據第一亮度參數及第二亮度參數來按比例調整第一輸入像素強度及第二輸入像素強度之指令。
(AM)在被標誌為(AL)之系統中，該像素值計算模組 可包括用於校正第一亮度參數及第二亮度參數中之一或多者中之誤差的指令。
(AN)一種高動態範圍影像產生系統，其包括：(a)一 處理器；(b)一記憶體，其以通信方式耦接至處理器，且包括用於儲存來自N個輸入影像之數個輸入像素強度之一影像儲存器，其中N為大於2之一整數；及(c)一組合權重模組，其包括儲存於該記憶體中之機器可讀指令，該等機器可讀指令在由該處理器執行時執行以下功能：(i)形成數對輸入像素強度之一清單，該等輸入 強度中每一者對應於該N個輸入影像中之同一位置，且其中惟數對之該清單中之第一對除外的數對之該清單中之所有對包含數對之該清單中之先前對中的該等輸入像素強度中之一者，及未表示於該等先前對中任一者的該等輸入像素強度中之一者；(ii)判定(決定)用於該等輸入像素強度之數個相對組合權重，用於數對之該清單中之一對的該等相對組合權重中之每一者為該對中之該等輸入像素強度兩者之一連續函數；及(iii)將一正規化條件應用至該等相對組合權重以判定(決定)數個絕對組合權重。
(AO)被標誌為(AN)之系統可進一步包括一像素值計 算模組，該像素值計算模組包括儲存於記憶體中之機器可讀指令，該等機器可讀指令在由處理器執行時執行以下功能：將第一輸入像素強度及第二輸入像素強度按比例調整至一共同亮度；及使用第一組合權重及第二組合權重來計算一高動態範圍影像中之一像素值以作為該等經按比例調整第一及第二輸入像素強度之一加權平均值。
(AP)在被標誌為(AN)及(AO)之系統中，該組合權重 模組可經調適以形成數對之該清單，使得數對之該清單中之每一對包含來自該N個輸入影像亮度中之兩者的數個輸入像素強度，使得該N個輸入影像中沒有其他者在其間具有亮度。
(AQ)在被標誌為(AN)至(AP)之系統中，該對中之該 等輸入像素強度兩者之該函數可被實施為該對中之該等輸入像素強度兩者之一連續函數。
(AR)在被標誌為(AN)至(AQ)之系統中，該影像儲存 器可包括用於儲存N個亮度參數之一亮度參數模組，該N個亮度參數中每一者是與該N個輸入影像中之一各別輸入影像相關聯。
(AS)在被標誌為(AO)至(AQ)之系統中，該影像儲存 器可包括用於儲存N個亮度參數之一亮度參數模組，該N個亮度參數中每一者是與該N個輸入影像中之一各別輸入影像相關聯，且像素值計算模組可包括用於根據該N個亮度參數中之一或多者來按比例調整該等像素強度的指令。
(AT)在被標誌為(AS)之系統中，該像素值計算模組可包括用於校正該N個亮度參數中之一或多者中之誤差的指令。
(AU)被標誌為(AG)至(AT)之系統可進一步包括用於以下操作中之一或多者的一介面：控制該系統；接收輸入像素強度；及傳達由處理器進行之處理的結果。
(AV)被標誌為(AG)至(AU)之系統可進一步包括經合作地配置以用於影像捕捉之一感測器及成像光學件。
400‧‧‧方法
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
440‧‧‧步驟
445‧‧‧步驟
450‧‧‧步驟
460‧‧‧步驟

Claims (23)

  1. 一種用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，該方法包含：獲得該第一輸入影像中的一第一像素之一第一輸入像素強度及該第二輸入影像中的一對應像素之一第二輸入像素強度；決定用於該第一輸入像素強度之一第一組合權重及用於該第二輸入像素強度之一第二組合權重，該第一組合權重及該第二組合權重之每一者為該第一輸入像素強度及該第二輸入像素強度之一函數；及使用該第一組合權重及該第二組合權重來計算該高動態範圍影像中之該像素值以作為該第一輸入像素強度及該第二輸入像素強度之一加權平均值，其中該計算步驟包含將該第一輸入像素強度及該第二輸入像素強度按比例調整至一共同影像亮度。
  2. 如請求項第1項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，該函數為該第一輸入像素強度及該第二輸入像素強度之一連續函數。
  3. 如請求項第2項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，該函數具有用於一預定義第一像素強度及一預定義第二像素強度之複數個對之複數個預定義值。
  4. 如請求項第3項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，藉由考慮至少一品質度量來定義該等預定義值。
  5. 如請求項第4項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，該至少一品質度量包含以下各者中之一或多者：強度、雜訊貢獻、飽和度效應、信雜比、感測器回應之線性、第一像素強度與第二像素強度之比率。
  6. 如請求項第4項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，該品質度量包含利用該第一輸入像素強度與該第二輸入像素強度之一比較之至少一品質度量。
  7. 如請求項第4項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，當該第一輸入像素強度及該第二輸入像素強度不與該複數個對預定義第一及第二像素強度一致時，藉由在預定義第一及第二像素強度之該等對之間進行內插來決定該函數之一值。
  8. 如請求項第7項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，藉由在預定義第一及第二像素強度之最近對之間進行內插來決定該函數之該值。
  9. 如請求項第7項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，該內插步驟包含雙線性內插。
  10. 如請求項第4項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，其進一步包含獲得與該第一輸入影像相關聯之一第一亮度參數及與該第二輸入影像相關聯之一第二亮度參數，且其中按比例調整是基於該第一亮度參數及該第二亮度參數。
  11. 如請求項第10項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，其進一步包含校正該第一亮度參數及該第二亮度參數中至少一者中之感測器誘發誤差。
  12. 如請求項第11項之用於基於具有不同亮度之第一輸入影像及第二輸入影像以決定一高動態範圍影像中之一像素值之方法，其中該等感測器誘發誤差是由一非線性感測器回應以及該第一輸入影像及該第二輸入影像中至少一者被捕捉所處之 亮度條件之不正確評估中之一或多者造成。
  13. 一種用於自具有不同亮度之N個輸入影像以決定一高動態範圍影像中之一像素值之方法，其中N為大於2之一整數，該方法包含：形成數對輸入像素強度之一清單，該等輸入像素強度中每一者對應於該N個輸入影像中之同一位置，且其中惟數對之該清單中之第一對除外的數對之該清單中之所有對包含數對之該清單中之先前對中的該等輸入像素強度之一者，及未表示於該等先前對中任一者的該等輸入像素強度之一者；對於數對之該清單中之每一對，決定用於該等輸入像素強度之每一之相對組合權重，該等相對組合權重之每一為該對中之該等輸入像素強度兩者之一函數；將一正規化條件應用至該等相對組合權重以決定絕對組合權重；及使用該等絕對組合權重來計算該高動態範圍影像中之該像素值以作為該等輸入像素強度之一加權平均值，其中該計算步驟包含將該等輸入像素強度按比例調整至一共同影像亮度。
  14. 如請求項第13項之用於自具有不同亮度之N個輸入影像以決定一高動態範圍影像中之一像素值之方法，其中數對之該清單中之每一對包含來自該N個輸入影像亮度中之兩者的數個輸入像素強度，使得該N個輸入影像中沒有其他者在其間具有亮度。
  15. 如請求項第13項之用於自具有不同亮度之N個輸入影像以決定一高動態範圍影像中之一像素值之方法，該函數為由該對包含之該等輸入像素強度之一連續函數。
  16. 如請求項第14項之用於自具有不同亮度之N個輸入影像以決定一高動態範圍影像中之一像素值之方法，該函數具有用於一複數個對之預定義像素強度之數個預定義值，藉由考慮至少一品質度量來定義該等預定義值。
  17. 如請求項第16項之用於自具有不同亮度之N個輸入影像以決 定一高動態範圍影像中之一像素值之方法，當該等輸入像素強度與一對預定義像素強度不一致時，藉由在數對預定義像素強度之間進行內插來決定該函數之值。
  18. 一種用以產生高動態範圍影像之系統，其包含：一處理器；一記憶體，其以通信方式耦接至該處理器，且包括用於儲存來自一第一輸入影像及一第二輸入影像之第一輸入像素強度及第二輸入像素強度之一影像儲存器；一組合權重模組，其包括儲存於該記憶體中之機器可讀指令，該等機器可讀指令在由該處理器執行時執行決定用於該第一輸入像素強度之一第一組合權重及用於該第二輸入像素強度之一第二組合權重之功能，該第一組合權重及該第二組合權重中每一者為該第一輸入像素強度及該第二輸入像素強度之一連續函數；及一像素值計算模組，其包括儲存於該記憶體中之機器可讀指令，該等機器可讀指令在由該處理器執行時執行以下功能：將該第一輸入像素強度及該第二輸入像素強度按比例調整至一共同亮度；及使用該第一組合權重及該第二組合權重來計算一高動態範圍影像中之一像素值作為該等經按比例調整第一及第二輸入像素強度之一加權平均值。
  19. 如請求項第18項之用以產生高動態範圍影像之系統，該組合權重模組經進一步調適以針對儲存於該影像儲存器中與數對預定義第一及第二像素強度不一致的第一像素強度及第二像素強度，而在該數對預定義第一及第二像素強度之間進行內插。
  20. 如請求項第18項之用以產生高動態範圍影像之系統，其進一步包含經合作地配置以用於影像捕捉之一感測器及成像光學件。
  21. 一種用以產生高動態範圍影像之系統，其包含：一處理器； 一記憶體，其以通信方式耦接至該處理器，且包括用於儲存來自N個輸入影像之輸入像素強度之一影像儲存器，其中N為大於2之一整數；一組合權重模組，其包括儲存於該記憶體中之機器可讀指令，該等機器可讀指令在由該處理器執行時執行以下功能：(a)形成數對輸入像素強度之一清單，該等輸入強度中每一者對應於該N個輸入影像中之同一位置，且其中惟數對之該清單中之第一對除外的數對之該清單中之所有對包含數對之該清單中之先前對中的該等輸入像素強度之一者，及未表示於該等先前對中任一者的該等輸入像素強度之一者；(b)決定用於該等輸入像素強度之相對組合權重，用於數對之該清單中之一對的該等相對組合權重中之每一者為該對中之該等輸入像素強度兩者之一連續函數；及(c)將一正規化條件應用至該等相對組合權重以決定絕對組合權重；及一像素值計算模組，其包括儲存於該記憶體中之機器可讀指令，該等機器可讀指令在由該處理器執行時執行以下功能：將該等輸入像素強度按比例調整至一共同亮度；及使用該等絕對組合權重來計算一高動態範圍影像中之一像素值以作為該等經按比例調整之該等輸入像素強度之一加權平均值。
  22. 如請求項第21項之用以產生高動態範圍影像之系統，該組合權重模組經進一步調適以形成數對之該清單，使得數對之該清單中之每一對包含來自該N個輸入影像亮度中之兩者的數個輸入像素強度，使得該N個輸入影像中沒有其他者在其間具有亮度。
  23. 如請求項第21項之用以產生高動態範圍影像之系統，其進一步包含經合作地配置以用於影像捕捉之一感測器及成像光學件。
TW103128144A 2013-08-15 2014-08-15 用以產生高動態範圍影像之系統及其方法 TWI550558B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/968,092 US9432589B2 (en) 2013-08-15 2013-08-15 Systems and methods for generating high dynamic range images

Publications (2)

Publication Number Publication Date
TW201516963A TW201516963A (zh) 2015-05-01
TWI550558B true TWI550558B (zh) 2016-09-21

Family

ID=52466572

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103128144A TWI550558B (zh) 2013-08-15 2014-08-15 用以產生高動態範圍影像之系統及其方法

Country Status (4)

Country Link
US (1) US9432589B2 (zh)
CN (1) CN104378558B (zh)
HK (1) HK1202198A1 (zh)
TW (1) TWI550558B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823437A (zh) * 2014-06-12 2015-08-05 深圳市大疆创新科技有限公司 一种图片处理方法、装置
KR102195311B1 (ko) * 2014-09-15 2020-12-24 삼성전자주식회사 이미지의 잡음 특성 개선 방법 및 그 전자 장치
CN106375649B (zh) * 2015-10-27 2019-05-21 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置、图像采集设备
US10366478B2 (en) * 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
CN105976325A (zh) * 2016-06-29 2016-09-28 上海小蚁科技有限公司 用于调整多个图像的明亮度的方法
US10425599B2 (en) * 2017-02-01 2019-09-24 Omnivision Technologies, Inc. Exposure selector for high-dynamic range imaging and associated method
US10638055B2 (en) * 2018-01-15 2020-04-28 Qualcomm Incorporated Aperture simulation
TWI692939B (zh) * 2018-08-14 2020-05-01 鈺創科技股份有限公司 過濾訊號的數位濾波器
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
WO2020214966A1 (en) * 2019-04-19 2020-10-22 Direct Electron, Lp Apparatus and method for high dynamic range counting by pixelated detectors
JP2022528751A (ja) 2019-04-19 2022-06-15 ディレクト、エレクトロン、エルピー ４ｄ ｓｔｅｍを用いて元素組成を判定するシステム、装置、および方法
GB2588616B (en) * 2019-10-29 2021-10-27 Visidon Oy Image processing method and apparatus
WO2021207571A1 (en) * 2020-04-10 2021-10-14 Smith & Nephew, Inc. Reciprocal optical tracking system and methods thereof
US11265484B1 (en) 2020-12-16 2022-03-01 Waymo Llc Systems and methods for automatic exposure of images
US11595589B2 (en) 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
US11410281B1 (en) 2021-11-29 2022-08-09 Unity Technologies Sf Increasing dynamic range of a virtual production display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080170799A1 (en) * 2007-01-11 2008-07-17 Industrial Technology Research Institute Method for calibrating a response curve of a camera
CN101595719A (zh) * 2006-11-27 2009-12-02 杜比实验室特许公司 用于增加数字图像中的动态范围的设备和方法
US20100169169A1 (en) * 2008-12-31 2010-07-01 International Business Machines Corporation System and method for using transaction statistics to facilitate checkout variance investigation
TW201216697A (en) * 2010-10-15 2012-04-16 Altek Corp Image processing method
TW201328350A (zh) * 2011-10-11 2013-07-01 Omnivision Tech Inc 高動態範圍次取樣架構
CN103237168A (zh) * 2013-04-02 2013-08-07 清华大学 一种基于综合增益的高动态范围图像视频处理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2432071A (en) * 2005-11-04 2007-05-09 Autoliv Dev Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question
JP5397068B2 (ja) * 2009-06-03 2014-01-22 ソニー株式会社 撮像装置、撮像制御方法、露出制御装置および露出制御方法
US8345975B2 (en) * 2009-06-29 2013-01-01 Thomson Licensing Automatic exposure estimation for HDR images based on image statistics
CN101917551B (zh) * 2010-08-10 2012-01-04 浙江大学 一种多次曝光的高动态范围图像获取方法
CN102457669B (zh) * 2010-10-15 2014-04-16 华晶科技股份有限公司 图像处理方法
CN102420944B (zh) * 2011-04-25 2013-10-16 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
KR20130031574A (ko) * 2011-09-21 2013-03-29 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
US8866938B2 (en) * 2013-03-06 2014-10-21 International Business Machines Corporation Frame to frame persistent shadow reduction within an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101595719A (zh) * 2006-11-27 2009-12-02 杜比实验室特许公司 用于增加数字图像中的动态范围的设备和方法
US20080170799A1 (en) * 2007-01-11 2008-07-17 Industrial Technology Research Institute Method for calibrating a response curve of a camera
US20100169169A1 (en) * 2008-12-31 2010-07-01 International Business Machines Corporation System and method for using transaction statistics to facilitate checkout variance investigation
TW201216697A (en) * 2010-10-15 2012-04-16 Altek Corp Image processing method
TW201328350A (zh) * 2011-10-11 2013-07-01 Omnivision Tech Inc 高動態範圍次取樣架構
CN103237168A (zh) * 2013-04-02 2013-08-07 清华大学 一种基于综合增益的高动态范围图像视频处理方法

Also Published As

Publication number Publication date
US20150049215A1 (en) 2015-02-19
HK1202198A1 (zh) 2015-09-18
CN104378558A (zh) 2015-02-25
US9432589B2 (en) 2016-08-30
CN104378558B (zh) 2018-05-29
TW201516963A (zh) 2015-05-01

Similar Documents

Publication Publication Date Title
TWI550558B (zh) 用以產生高動態範圍影像之系統及其方法
JP7130777B2 (ja) シングルショットｈｄｒカラーイメージセンサからのｈｄｒ画像生成
CN108668093B (zh) Hdr图像的生成方法及装置
JP4651716B2 (ja) 複数の画像フレームに基づく画像形成方法、画像処理システム、およびデジタルカメラ
US9516290B2 (en) White balance method in multi-exposure imaging system
KR101026585B1 (ko) 장면의 이미지 시퀀스로부터 고 동적 범위(ｈｄｒ) 이미지를 생성하는 시스템, 컴퓨터로 구현된 방법 및 컴퓨터 판독가능 기록매체
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20070118547A (ko) 화상처리장치, 촬상장치, 화상출력장치, 이들 장치에있어서의 방법 및 프로그램
US9113089B2 (en) Noise-constrained tone curve generation
JP2008048029A (ja) デジタルカメラ、および画像処理プログラム
US20090268051A1 (en) Image processing apparatus, imaging apparatus, image processing method and program recording medium
JP2020145594A (ja) 画像処理装置及び画像処理方法、及び撮像装置
KR20180132210A (ko) 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체
JP5911525B2 (ja) 画像処理装置及び方法、画像処理プログラム、撮像装置
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
US8379142B2 (en) Apparatus and method for balancing color of flashed image using depth estimation
JP4917959B2 (ja) 知覚的な鏡面・拡散反射画像推定方法とその装置、及びプログラムと記憶媒体
JP4900373B2 (ja) 画像出力装置、画像出力方法およびプログラム
JP5973804B2 (ja) 画像処理装置及びその制御方法
JP6611543B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN109844803A (zh) 用于检测图像中的饱和像素的方法
KR102644899B1 (ko) 공간적으로 다중화된 노출
JP2019145097A (ja) 設定装置及び方法、プログラム、記憶媒体
JP2014007528A (ja) 画像処理装置およびその制御方法
US9210338B2 (en) Image processing device and image processing method, and program