TWI682664B - 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法 - Google Patents
基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法 Download PDFInfo
- Publication number
- TWI682664B TWI682664B TW105100456A TW105100456A TWI682664B TW I682664 B TWI682664 B TW I682664B TW 105100456 A TW105100456 A TW 105100456A TW 105100456 A TW105100456 A TW 105100456A TW I682664 B TWI682664 B TW I682664B
- Authority
- TW
- Taiwan
- Prior art keywords
- exposure
- frame
- current
- next frame
- hdr
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003384 imaging method Methods 0.000 claims abstract description 6
- 230000009471 action Effects 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 23
- 239000003086 colorant Substances 0.000 abstract 2
- 230000015654 memory Effects 0.000 description 17
- 230000001186 cumulative effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000003066 decision tree Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000005316 response function Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/50—Tuning indicators; Automatic tuning control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
本發明係為一種用以產生場景之高動態範圍(HDR)影像之方法，當已在一目前曝光(E i )下捕捉一使該場景成像之目前訊框(f i )時，該方法包括：設定一曝光(E i+1 )用於下一訊框(f i+1 )，設為目前曝光(E i )之函數，目前訊框(f i )之像素之色彩其第一亮度分布(Hfulli)之函數，及該等像素之色彩由該等像素之動作加權之第二亮度分布(Hmotioni)之函數，其中與前一訊框(f i-1 )比較，以評估該動作用於該等像素；在該設定曝光(E i+1 )下捕捉該下一訊框(f i+1 )；將該下一訊框(f i+1 )與至少該目前訊框(f i )合併成一高動態範圍(HDR)影像。
Description
本發明一般相關高動態範圍(HDR)數位成像，尤其相關判定及設定曝光參數用於成像裝置如數位相機的影像資料檢測，用以產生場景的高動態範圍(HDR)影像。
動態範圍係感測器或致動器可產生的最大可能信號與最小可能信號之間的比率，本文中使用”動態範圍”一詞意指一影像捕捉裝置如數位相機的動態範圍。
用以捕捉一場景的HDR影像，通常由一HDR影像捕捉裝置在各種不同曝光下捕捉此場景的多訊框，在此裝置的傳統設定中，通常使該等曝光間隔如用以覆蓋場景中的全照明分布，此一過程係稱為”曝光定標試驗”。現代相機允許3到9個曝光定標試驗的捕捉，其係可間隔1/3個f光闌到3個f光闌，其中1個f光闌係一對數單位，f光闌係相機鏡頭的焦距與此鏡頭的入射光瞳直徑的比率。用以從具有不同曝光的此等訊框中產生一HDR影像，藉由一當然已知方式結合各曝光的完美曝光部分以合併該曝光序列。通常，曝光係根據其曝光時間定標，及各訊框的各像素係依其光強度以接收一權重因子-越接近範圍中間的像素因其較可能描繪有用資訊，因此接收越高權重，例如參閱Pradeep Sen、Nima Khademi Kalantari、MaziarYaesoubi、Soheil Darabi、Dan B.Goldman及Eli Shechtman的文章，名稱為”動態場景之穩固批次為基高動態範圍重建(Robust patch-based HDR reconstruction of dynamic scenes)”，美國電腦學會(ACM)圖學學報，第31(6)期，203：1-203：11，2012年。
通常，用以建立一HDR影像的不同訊框的曝光係均等地間隔，因曝光的均等間隔，此等解決方法因此具有數個弱點。首先，會捕
捉太多曝光，各重複許多相鄰曝光的內容；第二，若曝光係更加間隔開，作為結果的HDR影像會因暗區中太多雜訊而變差。
在Orazio Gallo等人於2012年發表的文章，名稱為”用於曝光堆疊之計量(Metering for exposure stacks)”中(在電腦圖學論壇，第31期，第479-488頁(Wiley線上圖書館))，在捕捉用以建立一HDR影像的曝光集前，一演算法估計該場景使用低解析度曝光的HDR直方圖。基於此直方圖，測試所有曝光組合以決定用於HDR捕捉何者係最適用該場景。用以導引曝光的選擇及布局，亦考量到雜訊特性，以便最終選擇使雜訊減到最小，接著利用此等設定以捕捉曝光系列。由於此措施係設計用以捕捉單一HDR影像，因此具有以下缺點：- 未考慮到動作；- 用於視訊並不實用，因視訊要求建立全HDR直方圖，此將造成太多訊框遺失，因此最終結果就會是低訊框率。
相同結論適用於專利文件US7382931及US8582001。
當應用此一HDR過程到視訊捕捉時，使用不同曝光設定以連續地捕捉交替訊框：此一過程係稱為”時序定標試驗”。但，由於場景中的一些物件在建立視訊的各HDR影像使用的連續曝光的捕捉期間會移動，及由於此等不同曝光在不同時間捕捉該場景，此等曝光的合併因此會產生動作假影。此外，由於HDR影像的頻率係視訊影像捕捉裝置允許的訊框頻率分割，此HDR頻率因此會太低以至無法避免動作模糊。
因此，需要在高動態範圍與清晰動作捕捉之間作取捨。
本發明的目的係此一取捨。
本發明涉及一種用以產生場景的高動態範圍(HDR)影像的方法，其中已在一目前曝光下捕捉一目前訊框使該場景成像，及已在該目前訊框前捕捉前一訊框使該場景成像，該方法包括有：- 將用於下一訊框的一曝光設為目前曝光的函數，目前訊框的像素的色彩其第一亮度分布的函數，及此等像素的色彩由此等像素的動作加權的第二亮度分布的函數，其中與該前一訊框作比較，評估該動作用於此等像素；
- 在該設定曝光下捕捉該下一訊框；- 將該下一訊框與至少該目前訊框合併成一HDR影像。
該等訊框中的每一者(即前一訊框、目前訊框及下一訊框)在不同瞬間使該場景成像，此前一訊框、目前訊框及下一訊框可係連續捕捉的訊框，即它們之間並無其他訊框，或可係非連續捕捉的訊框，即它們之間尚有其他訊框。
該動作區可關係到該目前訊框中未連接起來的不同部分，此動作用於此等像素的評估亦可考量到其他參數，補足與前一訊框的比較。
為要即時判定待合併的不同訊框的最適曝光設定用以取得場景的HDR影像，揭示的影像/訊框捕捉方法有利地同時考慮此場景的動態範圍與此場景中的動作兩者，該方法係逐訊框地動態更改曝光，不僅如在先前技術依據場景中亮度值分布的函數，亦依據此場景中所檢測動作的函數。此方法有利地利用局部及整體動作資料，連同亮度直方圖資訊一起用以決定多少曝光用於一給定場景係可能不會產生動作假影。
該方法不使用預定參數以定義用以產生一HDR影像的連續訊框的曝光，反而在捕捉一目前訊框後立即定義一曝光用於下一訊框。
作為次要有利點，該方法不縮減訊框率，係由於一序列中產生的HDR影像數目將幾乎與用於此等HDR影像所產生的訊框數相同。例如，若該場景具有極不同亮度位準的二相異區，則該方法將使曝光與此等位準的每一者對準，但將進一步隔開曝光，以使曝光之間的重疊減到最小或移除，亦取決於應用哪個合併演算法用於後處理。同樣地，若有陰影物件正在明亮背景前移動(反之亦然)，則將在移動物件的強度位準周圍隔開曝光，以便可適當地捕捉移動物件的動作。在明亮背景區(反之亦然)，該方法將依賴在空間上較遠的訊框，其中在暗(亮)區的動作係不強烈及允許用以捕捉全景的動態範圍。藉此在提供具動作的區域優先權的同時，若該動作在相鄰訊框中的一者中減少，則該方法可有利地重建全景範圍用於產生的各LDR影像。若不然，相較於單一LDR影像，該方法仍擴大該範圍。
較佳地，用於目前訊框的至少一像素，該動作係空的，意
指此訊框實際上包括一非動作區，較一般說法，意指與前一訊框中的對應像素比較以評估動作用於目前訊框的像素，導致不同值的動作，特別導致不同值的動作幅度，特別包括零。
較佳地，該曝光用於下一訊框亦設為一較佳曝光改變方向的函數以用於該目前訊框。
較佳地，該方法包括一較佳曝光改變方向的判定用於下一訊框的一隨後訊框。
較佳地，用於下一訊框的該曝光設定包括一初始曝光的估計(係基於該第一亮度分布，並非基於該第二亮度分布)，一調整曝光的估計(係基於該第二亮度分布)，及該曝光的最終估計用於下一訊框，係調適在該初始曝光與該調整曝光之間用以選擇作為該曝光的值用於下一訊框。
而且，本發明涉及一種高動態範圍(HDR)影像捕捉裝置，包括有一訊框感測器，配置用以捕捉連續訊框使一場景成像，特別用以捕捉在一目前曝光下的一目前訊框及前一訊框，及一處理器配置用以：- 將用於下一訊框的一曝光設為目前曝光的函數，目前訊框的像素的色彩其第一亮度分布的函數，及該等像素的色彩由該等像素的動作加權的第二亮度分布的函數，其中與前一訊框作比較，評估該動作用於該等像素；- 觸發該訊框感測器在該設定曝光下捕捉該下一訊框；- 將該下一訊框與至少該目前訊框合併成一高動態範圍(HDR)影像。
100‧‧‧數位視訊攝影機
110‧‧‧訊框感測器
120‧‧‧處理器
130‧‧‧記憶體
140‧‧‧顯示器
A i ‧‧‧具局部動作的像素的百分率
A min ‧‧‧具局部動作的像素的最小百分率
A max ‧‧‧具局部動作的像素的最大百分率
dir i+1 ‧‧‧曝光改變方向用於第二訊框
dir i+2 ‧‧‧曝光改變方向第三訊框
Eddj i+1 ‧‧‧調整曝光用於下一訊框
Einit i+1 ‧‧‧初始曝光用於下一訊框
E i ‧‧‧目前曝光
E i+1 ‧‧‧設定曝光
f i-1 ‧‧‧前一訊框
f i ‧‧‧目前訊框
f i+1 ‧‧‧下一訊框
h‧‧‧分組(bin)臨界值
Hfulli‧‧‧第一亮度分布，全影像直方圖
Hmotioni‧‧‧第二亮度分布
I(Z)‧‧‧場景放射照度值
LM i ‧‧‧局部動作索引
Mi‧‧‧動作幅度圖
MRi‧‧‧動作區
t low ‧‧‧曝光不足色彩資料臨界值
t high ‧‧‧過度曝光色彩資料臨界值
thr full ‧‧‧臨界值
Z‧‧‧亮度/強度值
Z high,i ‧‧‧預設亮度高臨界值
Z high,i+1 ‧‧‧預設亮度高臨界值用於下一訊框
Z low,i ‧‧‧預設亮度低臨界值
Z thr,full,i ‧‧‧最終調整亮度臨界值
以下在閱讀本發明藉由參考附圖及非限定範例的說明時，將使本發明更明朗化，圖中：圖1係根據本發明的一主要實施例以簡化方塊圖顯示一視訊影像捕捉裝置；圖2係根據本發明的一主要實施例以圖描繪一方法，係使用圖1的視訊影像捕捉裝置以產生一場景的HDR影像；圖3係此主要實施例中使用的決策樹，當用於下一訊框的曝光改變方向係”up(向上)”時，用以實施最終曝光估計步驟用於此下一訊框及曝光改變方向判定步驟用於隨後訊框；
圖4係此主要實施例中使用的決策樹，當用於下一訊框的曝光改變方向係”down(向下)”時，用以實施最終曝光估計步驟用於此下一訊框及曝光改變方向判定步驟用於隨後訊框；圖5係根據一主要實施例描繪在圖2繪示方法的一迭代的一目前訊框f i 中亮度值Z的直方圖；圖6係以如圖5的相同直方圖描繪亮度值Z，以點線表示累積直方圖。
熟諳此藝者應了解本文中提出的流程圖、直方圖及類似者圖係以概念圖表示具體實現本發明的示範說明電路結構設計，其可大體上表現在電腦可讀取媒體及由電腦或處理器如此執行，不論是否明顯顯示此類電腦或處理器。
根據本發明的一主要實施例，圖1係以簡化方塊圖描繪一視訊影像捕捉裝置，尤其數位視訊攝影機。數位視訊攝影機100包括一訊框感測器110，訊框感測器110可相關一光學鏡頭與光檢測電路設計結構(如CMOS(互補金屬氧化物半導體)積體電路等)的組合，配置用以捕捉場景的影像或訊框。此訊框感測器110的特徵依一當然已知方式在於一相機響應函數(“CRF”)，其採取亮度值及返回亮度值，此CRF係可想成反伽馬(gamma)，其角色係對抗感測器的非線性用以使影像線性化。
可將訊框感測器110檢測的影像資料作為捕捉的訊框資料經由一滙流排提供到處理器120，捕捉的訊框資料包括色彩資料，相關一訊框的不同像素。
可使用積體電路微處理器、微控制器、數位信號處理器及一般處理器中的一者以實現處理器120，處理器120係可配置用以處理接收的訊框資料，例如基於特定影像處理演算法，係以處理器可執行指令形式儲存在記憶體130中。處理器120尚配置成藉由滙流排方式用以提供曝光值到訊框感測器110，如用以允許此訊框感測器110在此類曝光值下捕捉訊框。
處理資料如處理器120產生的HDR影像資料係可儲存在記憶體130及/或提供到顯示器140用於檢視，應了解記憶體130可相關不同記憶儲存裝置如硬碟驅動器、隨機存取記憶體(RAM)、唯讀記憶體
(ROM)、快閃記憶體，或其他任何類型依電性及/或不變性記憶體的任何組合。尚應了解記憶體130係可實現為多記憶體或離散式記憶體用以儲存處理影像資料，以及用以處理捕捉影像資料的處理器可執行指令。此外，記憶體130可包括可卸除記憶體如快閃記憶體以用於影像資料的儲存。
顯示器140可相關一液晶顯示器(LCD)，併入數位視訊攝影機100中用於捕捉影像資料及HDR影像資料的顯示。或者，應了解一外部顯示裝置係可耦接到數位視訊攝影機100以用於HDR影像資料的顯示及/或輸出。雖然以上已相關數位視訊攝影機來說明圖1，但應了解該裝置可相關其他裝置如一般成像裝置。
雖然圖1的視訊影像捕捉裝置係已描述為數位視訊攝影機，但亦應了解此裝置可相關其他裝置(或包括在其他裝置中)如行動通訊裝置及一般可攜式通訊裝置。
茲將參考圖2，繪示一方法的非限定實施例，在圖1的視訊影像捕捉裝置所產生的一視訊序列中用以產生一場景的至少一HDR影像。本文中使用”場景”一詞可相關此裝置的使用者想要捕捉的區域，及可包括在各種照明程度下照亮的一或多個物件，其中此等物件中的一或多者可在該裝置捕捉連續訊框期間移動。如以下的詳細討論，照明範圍的判定及此等物件移動的判定可提供一或多個曝光參數用以捕捉該等連續訊框。
在以下說明中，”過度曝光像素”一詞關係到一捕捉訊框的像素，用於該訊框，與該等像素關聯的色彩資料對應到一值，係在一預定過度曝光色彩資料臨界值t high 以上。當此過度曝光臨界值係用於該色彩資料的最大值時，該色彩係視為飽和，通常，此最大過度曝光色彩資料臨界值係在此最大值極限以下，此一過度曝光臨界值係可定義在用以表示一顏色的各顏色通道R、G及B，R、G及B則視為色彩資料。在另一範例中，此過度曝光色彩資料臨界值係定義為一過度曝光亮度臨界值，及亮度L係計算為R、G及B的值的加權總和。又在另一範例中，其係較效能靈敏(如行動電話)，會使用綠色通道作為一”代理”用於亮度。同樣地，”曝光不足像素”一詞關係到一捕捉訊框的像素，用於該訊框，與該等像素關聯的色彩資料對應到一值，係在一預定曝光不足色彩資料臨界值t low 以下，通常，此曝光不足色彩資料臨界值係在零以上，雖然其係可等於零。
用以根據此非限定實施例以初始化該方法，使用訊框感測器110，在曝光E 0 下捕捉第一訊框f 0 及在曝光E 1 下捕捉第二訊框f 1 ，使用任何已知自動曝光演算法，將曝光E 0 及E 1 設成不同值，調適成從此二初始訊框的合併中產生該場景的第一HDR影像。由於目測過度曝光比曝光不足更差，用於第二訊框的曝光時間較佳正改變的方向dir i+1=1 較佳設成”down(向下)”(即E 1 <E 0 )，雖然亦可能設成”up(向上)”(即E 1 >E 0 )。此方向判定訊框f i+1=1 是否比目前訊框以較久(“up”)或較短(“down”)曝光來捕捉。特別使用圖3及4顯示的決策樹以計算方向dir i+2=2 ，其中較佳正基於第一訊框f 0 及第二訊框f 1 的特性以改變用於第三訊框f i+2=2 的曝光時間。捕捉的第一訊框f 0 及第二訊框f 1 (具有其色彩資訊)，及其曝光E 1 、E 2 的值，及較佳曝光改變方向用於第三訊框f 2 的值則轉送到記憶體130用於儲存，及轉送到處理器120用以處理，如以下說明。
用於以下二訊框的處理的第一迭代，其中i=1，第二訊框f i=1 係稱為”目前訊框”，第一訊框f i-1=0 係”前一訊框”，第三訊框f i+1=2 係”下一訊框”，及”下一”訊框隨後的第四訊框f i+2=3 係稱為”隨後訊框”。處理器120實施步驟1到6，接著感測器110實施步驟6，在步驟1到6算出的曝光E i+1 下用以捕捉”下一訊框”f i+1 。
在此第一迭代之後，開始進行第二迭代，具有i=2，訊框f i=2 成為”目前訊框”，f i-1=1 成為”前一訊框”，f i+1=3 成為”下一訊框”，及f i+2=4 成為”隨後訊框”，用於步驟1到6的另一迭代，允許在步驟1到6再次算出的曝光下捕捉另一個”下一訊框”。依此類推，隨著i的值增大直達到一訊框序列的捕捉結束，接著可從該訊框序列中產生該場景的HDR影像，將說明如下。
茲將說明此等迭代的每一者的不同步驟，呈現的次序不必代表執行此等步驟的次序。
步驟1-亮度直方圖計算用於目前訊框f i ，不考量動作：依一當然已知方式從目前訊框f i (即已捕捉的最後訊框)的所有像素的色彩亮度值中算出亮度直方圖Hfulli，此計算不考量像素的動作。
步驟2-動作場Mi的計算用於目前訊框f i ，及根據第一變化，目前訊框f i 的動作區MRi的判定：
從一動作場(依一當然已知方式從目前訊框f i 與前一訊框f i-1 之間的移動比較所算出)中提供一動作幅度圖Mi，具有如同目前訊框f i 的大小，其中此圖Mi的各像素具有一動作幅度值。一像素的動作幅度表示此像素從前一訊框f i-1 移動到目前訊框f i 的距離，較佳將動作幅度值正規化在0(無動作)與1(最大動作用於目前訊框)之間，例如使用動作估計方法以計算此動作場，如揭露在Fabrice Urban等人的文章，名稱為”即時多數位信號處理動作估計器用於mpeg-4 h.264 avc高清晰度視訊編碼(a real-time multi-dsp motion estimator for mpeg-4 h.264 avc high definition video encoding)”，於2009年發表在即時影像處理期刊(Journal of Real-Time Image Processing)第4(1)期，第23-31頁。
在第一變化中，已固定一動作幅度臨界值在零以上，此動作幅度圖Mi的所有像素具有一動作幅度值在此臨界值以上，形成目前訊框f i 中的一動作區MRi。在以下步驟3中提出一第二變化無動作幅度臨界值。
步驟3-亮度直方圖計算，考量用於目前訊框f i 的動作：較佳使用(但不必然)如以上步驟1的的相同方法，計算像素(屬於步驟1中判定的動作區MRi)的色彩的亮度直方圖，稱為Hmotioni，意指用於此亮度直方圖Hmotioni只考量屬於動作區MRi的像素。
在第二變化中，其中在步驟1未定義任何動作幅度臨界值，目前訊框f i 的各像素的亮度值係由此像素從以上步驟1判定的動作幅度圖Mi得到的動作幅度加權。在此一亮度值加權之後，執行亮度加權直方圖的計算用於此第二變化，亦稱為Hmotioni。
在以上變化兩者中，藉由此計算得到的亮度分布Hmotioni係基於對應像素的動作加權的色彩資料，其中與前一訊框f i-1 比較以評估此動作。在第一變化中，由於提供其他像素一權重值0，因此提供屬於動作區的像素一權重值1。
在此階段，具有二亮度直方圖：
- Hfulli，用於影像中的所有像素。
- Hmotioni，其只考慮具有動作權重非空的像素，其則視為一動作區MRi的一部分。
此表示在Hmotioni計數的像素亦在Hfulli中計數。
在此實施例的另一變化中，避免此雙重像素計數係可藉由計算該影像中非動作區MRi部分的所有像素的一分開直方圖，此直方圖將稱為Hglobali。
假設直方圖Hfulli係由N full 個分組(bin)組成，直方圖Hmotioni係由N motion 個分組組成，及直方圖Hglobali係由N global 個分組組成。
由以上三個直方圖Hfulli、Hmotioni及Hglobali的每一者，亦計算出另外三個累積直方圖如下：
由以上三個直方圖Hfulli、Hmotioni及Hglobali的每一者，亦計算出另外三個反向累積直方圖如下：
在以下子步4.2及4.3中將使用此等累積直方圖。
步驟4-曝光E i+1 的估計用於下一訊框f i+1 ：
用以估計此曝光E i+1 用於下一訊框f i+1 ，特別需要前一迭代(或初始化步驟)提供的曝光值用於目前訊框f i 及較佳曝光改變方向值dir i+1 。
整體上，有三個可能情況：
a.目前訊框f i 的曝光E i 已捕捉整個場景曝光範圍，在該情況中，E i+1 ←E i 及dir i+2 =down(向下)(由於正有效反轉到初始化條件)。用以測試目前曝光E i 是否充分捕捉場景的動態範圍，採用全影像直方圖Hfulli的N full 個分組(bin)中的第一分組及最後分組。用於具有分組總數N full 的直方圖，測試分組值Hfulli(0)及Hfulli(N full -1)以對照一分組臨界值h，此臨界值(其通常為所有訊框共用)通常係在訊框中像素總數的小百分率，例如1%，但亦可選擇係零。若滿足以下條件，則目前訊框係視為正捕捉場景的動態範圍：Hfulli(0)<h及Hfulli(N full -1)<h
b.可找出一曝光設定E i+1 ，其滿足二條件：
- f i+1 與f i 具有充分重疊
- f i+1 正捕捉足夠有用像素
c.並無此一曝光E i+1 ，如因為場景放射照度分布係雙模式及曝光E i 係在二模式中間，在該情況中選擇最大曝光梯度，以便能在給定曝光改變方向中，同時在二可能曝光改變方向中的一者保留充分曝光重疊。
圖3及圖4所示決策樹的主要區塊，其導致一曝光E i+1 的估計用於下一訊框f i+1 ，涉及先前二估計，即初始曝光Einit i+1 的估計用於下一訊框f i+1 及一調整曝光Eadj i+1 的估計用於下一訊框f i+1 ，在以下子步中說明此等估計。
子步4.1-初始曝光Einit i+1 的估計用於下一訊框f i+1 ：計算一初始曝光設定Einit i+1 用於下一訊框係只使用步驟1提供的Hfulli及在方向dir i+1 改變曝光，該方向係已由前一迭代(或初始化步驟)算出，係根據以下在步驟5所述用於dir i+2 計算的相同過程。
計算一預設亮度低臨界值Z low,i ，對應到一曝光不足色彩資料臨界值t low 用於目前訊框f i ，及計算一預設亮度高臨界值Z high,i ，對應到過度曝光色彩資料臨界值t high 。臨界值t low 及t high 定義(依相對尺度)
一訊框中何亮度範圍係有用的。t low 及t high 的值通常係用以捕捉序列的所有訊框共用，若訊框感測器110係配置用以捕捉8位元訊框，則例如具有t low =0.2及t high =0.9。因此，用於此一計算，若具有t low =0.2，則Z low,i =t low ×255=51，且若具有t high =0.9，則Z high,i =t high ×255=230。
如以下所示，用以計算Einit i+1 ，若dir i+1 =up(向上)，則考慮曝光不足色彩資料臨界值t low ，若dir i+1 =down(向下)，則考慮過度曝光色彩資料臨界值t high 。
知道訊框感測器110的相機響應函數(參閱以上說明)及目前訊框f i 的曝光時間E i ，茲計算此訊框的場景放射照度值(對應到此訊框的預設亮度臨界值Z low,i 或Z high,i )如下：
圖5描繪目前訊框f i 中亮度值Z的分布(即8位元編碼中的0到255)，此分布只對應到Hfulli。Y軸對應到像素計數及X軸對應到像素值的色彩資料Z，I(Z)表示捕捉為Z的場景放射照度值。
當dir i+1 =up(向上)時，用以計算Einit i+1 ，較佳應滿足在圖5繪示的以下方程：
I(Z low,i )=I(Z high,i+1) (4)假定方程(3)及(4)，則推論出
再次考慮相機響應函數CRF，可基於對應到下一訊框f i+1 的值改寫方程(5)的公式：
(5)與(6)合併以提供
在方程(7)唯一未知係Einit i+1 ，因此可根據
求其解，得到初始曝光設定用於下一訊框f i+1 。
簡言之，可計算一估計用於下一訊框f i+1 的曝光Einit i+1 ，以便捕捉相同場景放射照度用於目前訊框f i 及下一訊框f i+1 中的特定色彩值。此Einit i+1 選擇確保在目前訊框f i 與下一訊框f i+1 的曝光範圍之間有充分曝光重疊，及確保下一訊框捕捉足夠數目的像素，其在目前訊框係曝光不足或過度曝光(即上述情況4b)。
同樣地，仍參考圖5所示亮度值分布，當dir i+1 =down(向下)時，用以計算Einit i+1 ，係根據以下方程8’以估計初始曝光Einit i+1 用於下一訊框f i+1 ：
本發明不侷限Einit i+1 的計算如上述，亦可使用其他不用考量動作以建立HDR影像的已知方法，特別地不僅指使用上述定位在只有Hfulli的亮度直方圖的臨界值Z low 及Z high 的方法，亦指使用此直方圖的形狀的方法，例如參閱美國專利號US7382931。
子步4.2-調整曝光Eadj i+1 的估計用於下一訊框f i+1 ：用於此一估計，較佳將考慮目前訊框f i 中多少像素具有色彩，其係在不同情況過度曝光或曝光不足，及因此調整曝光用於下一訊框f i+1 。
用以判定可接受用於下一訊框f i+1 的過度曝光/曝光不足像素的數目，較佳考慮多少像素係受到目前訊框f i 中局部或整體動作的影響，亦考慮是否正測量目前訊框f i 中的過度曝光或曝光不足。此等情況的每一者導致不同值用於動作區MRi之內過度曝光/曝光不足像素的百分率臨界值th motion ，及用於全訊框f i 中過度曝光/曝光不足像素的百分率臨界值thr full (或用於不在動作區MRi中的過度曝光/曝光不足像素的百分率臨界值thr global )。以下將使用此二臨界值thr motion 及th full (或rhr global )用以判定下一訊框f i+1 較佳應與目前訊框f i 亮度重疊多少。
茲將詳細說明用於目前訊框f i 的像素估計thr motion 。
依據以上在步驟2提供的動作幅度圖Mi，用於各像素位置x，設定一局部動作索引LM i 如下：
接著得到一局部動作圖用於目前訊框f i 。
此外，計算在目前訊框f i 具有局部動作的像素的百分率如下：
在實驗上例如將一值A min (具有局部動作的像素的最小百分率)及一值A max (具有局部動作的像素的最大百分率)設成A min =0.1%及A max =1%，該等值通常係一序列的所有訊框共用。用以判定動作區MRi如何相關A min 及A max ，將具有動作的像素簡單地計數如下。
參照到以下表一，若具有局部動作的像素的百分率A i 係低於A min ，則：- 當dir i+1 =up時用於向上曝光，設thr motion =thr over,min ，及- 當dir i+1 =down時用於向下曝光，設thr motion =thr under,min 。在表一的第一列提出用於thr over,min 及thr under,min 的值。
若具有動作的像素百分率A i 係超過A max ，則：- 當dir i+1 =up時用於向上曝光，設thr motion =thr over,max ，及- 當dir i+1 =down時用於向下曝光，設thr motion =thr under,max 。在表一的最後一列提出用於thr over,max 及thr under,max 的值。
在第三可能情形，其中A min <A i <A max ，內插(參閱表一的中間列)過度曝光/曝光不足像素的百分率臨界值thr motion 如下所示：
若dir i+1=up(向上)thr motion =(thr under,max -thr under,min )dA+thr under,min (9)
若dir i+1=down(向下)thr motion =(thr over,max -thr over,min )dA+thr over,min (10)
茲將詳細說明像素估計thr full (或根據第二實施例的thr global )用於目前訊框f i 。
若方向dir i+1 =up(向上)，則將臨界值thr full (或thr global )設成表二提供的臨界值thr under ，若方向dir i+1 =down(向下)，則設成表二提供的臨界值thr over 。
重複此過程用於累積直方圖兩者。
用於動作區MRi之內過度曝光/曝光不足像素的百分率臨界值thr motion 係可逐訊框地變化，特別由於可根據方程10算出，及因此特定地評估用於各訊框，此值將依訊框中多少動作而更動。
在如上述得到過度曝光/曝光不足像素百分率的臨界值thr motion 用於目前訊框f i 的動作區MRi，及得到fhr full 用於目前訊框f i 的所有像素(或thr global 用於不屬於動作區的像素)後，在上述描述者之中選擇二累積直方圖用於後續計算。若偏好曝光時間增加用於下一訊框(即dir i+1 =up(向上))，則較佳選擇
及
。在一替代實施例中，可選擇
及
，用以避免像素雙重計數(如上述概要)。
若偏好曝光時間減少，即dir i+1 =down(向下)，則較佳選擇Cfull i 及Cmotion i ，在一替代實施例中，可選擇Cglobal i 及Cmotion i ，用以避免像素雙重地計數(如上述概要)。
此過程較佳選擇二累積直方圖，一者用於動作區，及一者用於全影像(或全影像減動作區MRi)。以上亦已判定用於二對應臨界值的值：根據以上方程9及10所計算的thr motion 係涉及以下有關Cmotion i (
分別)的計算，及根據表二依賴dir i+1 所設定的thr full 係涉及以下有關Cfull i (
分別)或Cglobal i (
分別)的計算，依實施例的選擇而定。
如圖5，圖6描繪在目前訊框f i 的亮度/強度值Z(即8位元編碼中的0到255)的相同分布。在以點線表示的一曲線上，圖6亦描繪選擇的反向累積分布。I(Z)表示捕捉為Z的一場景放射照度值，參照到此圖6，判定一調整亮度臨界值Z thr,full,i (對應到以上臨界值thr full )如下：在以點線表示的累積直方圖Cfull i (
分別)上，找出y軸(即像素計數)係等於thr full 的點，及此點在x軸的投射提供Z thr,full,i 的值。
當此過程係應用到累積直方圖Cfull i (
分別)(或Cglobal i (
分別))時，得到Z thr,full,i 的值，重複此過程用於累積直方圖Cmotion i (
分別)，用以得到Z thr,motion,i 。
接著，若且唯若：
一旦具有此調整亮度臨界值Z thr,i ，即依以上已在方程3到7中估計Einit i+1 的相同方式，估計調整曝光Eadj i+1 用於下一訊框f i+1 ，其中以Z thr,i 取代Z low,i 及以Eadj i+1 取代Einit i+1 。
子步4.3-曝光 E i+1 的最終估計用於下一訊框f i+1 ：若dir i+1 =up(向上)，則遵循圖3所示決策樹以得到曝光 E i+1 的最終估計
用於下一訊框f i+1 。若dir i+1 =down(向下)，則遵循圖4所示決策樹以得到曝光 E i+1 的最終估計用於下一訊框f i+1 。根據此等決策樹，結論係E i+1 =Einit i+1 或E i+1 =Eadj i+1 。請注意，此等決策考量到目前訊框f i 的曝光E i 。
步驟5-較佳曝光改變方向判定用於隨後訊框f i+2 ：此方向dir i+2 判定捕捉”隨後”訊框f i+2 是否應利用一曝光時間比用於”下一”訊框f i+1 的曝光E i+1 更久(“up”)或更短(“down”)。根據子步4.3使用的相同決策樹以判定方向dir i+2 ，其中較佳應在下一迭代改變(向上或向下)曝光用於隨後訊框f i+2 ，請再次參閱圖3及4。
步驟6-下一訊框f i+1 的捕捉：感測器110接收相關曝光E i+1 (如上述在步驟4由處理器120所調整)的資料，接著，該感測器在此曝光E i+1 下捕捉下一訊框f i+1 ，接著將相關此捕捉訊框f i+1 的影像資料轉送到記憶體130加以儲存。
步驟1到6的連續迭代
在上述步驟1到6的第一迭代後，同樣地執行步驟1到6的其他連續迭代，直到捕捉結束。
一迭代接一迭代地，將在各別曝光E 0 ,E 1 ,E 2 ,...,E i-1 ,E i ,E i+1 ,...,E Q-1 下使同一場景成像的連續訊框f 0 ,f 1 ,f 2 ,...,f i-1 ,f i ,f i+1 ,...,f Q-1 儲存在記憶體130中，其中Q係一序列的訊框總數。
後處理：產生該場景的一HDR影像序列
在如上述捕捉Q個訊框後，處理器120應用一後處理步驟，如將該等訊框分組成具不同曝光的連續訊框系列，及依一當然已知方式將各系列的訊框合併成該場景的一HDR影像。較佳地，各系列包括二連續訊框及各訊框屬於二系列，以便第一系列的第二訊框係跟在第一系列後面的第二系列的第一訊框。
較佳使用在Nima Khademi Kalantari等人的文章，名稱為”批次為基之高動態範圍視訊(Patch-based high dynamic range video)”所揭露的方法(2013年發表在美國電腦學會(ACM)圖學學報，第32(6)期，第202頁)以執行從一序列訊框的合併中產生各HDR影像。
接著得到該場景的HDR影像的一視訊序列。
在一變化中，關於此等訊框的影像資料一在記憶體130可
用，即可執行如上述從連續訊框中產生HDR影像。
本發明的優勢
根據本發明的方法具有以下優勢：- 在產生的HDR視訊序列中使動作假影減到最小程度，同時使此等序列的動態範圍增到最大程度；- 幾乎在該方法的連線部分中(即在以上步驟1到6的迭代中)捕捉的每一訊框在後處理後導致一HDR訊框，免去如其他產生HDR視訊序列方法中用於高訊框率相機的需要；- 捕捉最小曝光需要數量用於一給定HDR影像，以便若一場景不需許多曝光，將不捕捉該等曝光；- 該方法係特別設計用於具有有限處理能力的行動裝置。
應瞭解本發明係可實現在各種形式的硬體、軟體、韌體、特殊目的處理器或其組合中。本發明特別可實現為硬體與軟體的組合，此外，該軟體係可實現為一應用程式，可有形具體化在一程式儲存單元中。該應用程式係可上傳到包括有任何合適架構的機器，及由該機器執行，較佳地，該機器係實現在一電腦平台上，該電腦平台具有硬體如一或多個中央處理單元(“CPU”)、一隨機存取記憶體(“RAM”)，及輸入/輸出(“I/O”)介面。而且該電腦平台可包括一作業系統及微指令碼，本文所述各種過程及功能可係該微指令碼的一部分或該應用程式的一部分或其任何組合，其係可由一CPU執行。此外，其他各種周邊單元係可連接到該電腦平台，如一附加資料儲存單元及一列印單元。
雖然相關特殊範例及較佳實施例以說明本發明，但當然本發明未侷限於此等範例及實施例。因此如熟諳此藝者所了解，本發明如所主張包括本文所述特殊範例及較佳實施例中的變化，雖然一些特定實施例係可分開地說明及主張，但應瞭解本文中說明及主張的實施例的各種特徵係可組合地使用。在後附申請專利範圍中出現的參考數字符號係只藉由舉例說明方式，對該等申請專利範圍的範疇不應具有限制效力。
dir i+1 ‧‧‧曝光改變方向用於第二訊框
dir i+2 ‧‧‧曝光改變方向用於第三訊框
Eadj i+1 ‧‧‧調整曝光用於下一訊框
Einit i+1 ‧‧‧初始曝光用於下一訊框
E i ‧‧‧目前曝光
E i+1 ‧‧‧設定曝光
f i-1 ‧‧‧前一訊框
f i ‧‧‧目前訊框
f i+1 ‧‧‧下一訊框
h‧‧‧分組(bin)臨界值
Hfulli‧‧‧第一亮度分布，全影像直方圖
Hmotioni‧‧‧第二亮度分布
Mi‧‧‧動作幅度圖
t low ‧‧‧曝光不足色彩資料臨界值
t high ‧‧‧過度曝光色彩資料臨界值
Claims (8)
- 一種用以產生場景之高動態範圍(HDR)影像之方法，其中已在一目前曝光(E i )下捕捉一使該場景成像之目前訊框(f i )，及在該目前訊框(f i )前已捕捉使該場景成像之前一訊框(f i-1 )，該方法包括有：- 設定一曝光(E i+1 )用於下一訊框(f i+1 )，設為該目前曝光(E i )之函數，該目前訊框(f i )之像素之色彩其第一亮度分布(Hfulli)之函數，及此等像素之色彩由此等像素之動作加權之第二亮度分布(Hmotioni)之函數，其中與該前一訊框(f i-1 )比較，以評估該動作用於此等像素；- 在該設定曝光(E i+1 )下捕捉該下一訊框(f i+1 )；- 將該下一訊框(f i+1 )與至少該目前訊框(f i )合併成一高動態範圍(HDR)影像。
- 如申請專利範圍第1項之HDR影像產生方法，其中該曝光(E i+1 )用於下一訊框(f i+1 )亦設為一較佳曝光改變方向(dir i+1 )用於該目前訊框(f i+1 )之函數。
- 如申請專利範圍第2項之高動態範圍(HDR)影像產生方法，包括判定一較佳曝光改變方向(dir i+2 )用於下一訊框(f i+1 )之一隨後訊框(f i+2 )。
- 如申請專利範圍第1至3項中任一項之高動態範圍(HDR)影像產生方法，其中用於下一訊框(f i+1 )之曝光(E i+1 )之該設定包括：一初始曝光(Einit i+1 )之估計，係基於該第一亮度分布(Hfulli)，並非基於該第二亮度分布(Hmotioni)；一調整曝光(Eadj i+1 )之估計，係基於該第二亮度分布(Hmotioni)；及該曝光(E i+1 )之最終估計用於下一訊框(f i+1 )，調適用以在該初始曝光(Einit i+1 )與該調整曝光(Eadj i+1 )間選擇，作為用於該曝光(E i+1 )之值用於下一訊框(f i+1 )。
- 一種高動態範圍(HDR)影像捕捉裝置，包括有一訊框感測器(110)，配置用以捕捉使一場景成像之連續訊框，特別用以在一目前曝光(E i )下捕捉一目前訊框(f i )及用以捕捉前一訊框(f i-1 )，及一處理器係配置用以：- 設定一曝光(E i+1 )用於下一訊框(f i+1 )，設為該目前曝光(E i )之函數，該目前訊框(f i )之像素之色彩其第一亮度分布(Hfulli)之函數，及此等像素之色彩由此等像素之動作加權之第二亮度分布(Hmotioni)之函數，其中與 該前一訊框(f i-1 )比較，以評估該動作用於該等像素；- 觸發該訊框感測器(110)在該設定曝光(E i+1 )下捕捉該下一訊框(f i+1 )；- 將該下一訊框(f i+1 )與至少該目前訊框(f i )合併成一HDR影像。
- 如申請專利範圍第5項之高動態範圍(HDR)影像捕捉裝置，其中該處理器亦配置用以設定該曝光(E i+1 )用於下一訊框(f i+1 )，亦設為一較佳曝光改變方向(dir i+1 )用於該目前訊框(f i+1 )之函數。
- 如申請專利範圍第6項之高動態範圍(HDR)影像捕捉裝置，其中該處理器亦配置用以判定一較佳曝光改變方向(dir i+2 )用於下一訊框(f i+1 )之一隨後訊框(f i+2 )。
- 如申請專利範圍第5至7項中任一項之高動態範圍(HDR)影像捕捉裝置，其中該處理器亦如此配置，俾一曝光(E i+1 )用於下一訊框(f i+1 )之該設定包括：一初始曝光(Einit i+1 )之估計，係基於該第一亮度分布(Hfulli)，並非基於該第二亮度分布(Hmotioni)；一調整曝光(Eadj i+1 )之估計，係基於該第二亮度分布(Hmotioni)；及該曝光(E i+1 )之最終估計用於下一訊框(f i+1 )，調適用以在該初始曝光(Einit i+1 )與該調整曝光(Eadj i+1 )間選擇，作為用於該曝光(E i+1 )之值用於下一訊框(f i+1 )。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15305054.7A EP3046319A1 (en) | 2015-01-19 | 2015-01-19 | Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion |
| EP15305054.7 | 2015-01-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201628391A TW201628391A (zh) | 2016-08-01 |
| TWI682664B true TWI682664B (zh) | 2020-01-11 |
Family
ID=52444239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW105100456A TWI682664B (zh) | 2015-01-19 | 2016-01-08 | 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US9648251B2 (zh) |
| EP (2) | EP3046319A1 (zh) |
| JP (1) | JP6742732B2 (zh) |
| KR (1) | KR102638638B1 (zh) |
| CN (1) | CN105812675B (zh) |
| ES (1) | ES2658061T3 (zh) |
| PL (1) | PL3046320T3 (zh) |
| TW (1) | TWI682664B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6572004B2 (ja) * | 2015-06-18 | 2019-09-04 | オリンパス株式会社 | 露出制御装置および露出制御方法 |
| US10366478B2 (en) * | 2016-05-18 | 2019-07-30 | Interdigital Ce Patent Holdings | Method and device for obtaining a HDR image by graph signal processing |
| JP2018022935A (ja) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | 撮像装置、および、撮像装置の制御方法 |
| US10049463B1 (en) * | 2017-02-14 | 2018-08-14 | Pinnacle Imaging Corporation | Method for accurately aligning and correcting images in high dynamic range video and image processing |
| US10334141B2 (en) * | 2017-05-25 | 2019-06-25 | Denso International America, Inc. | Vehicle camera system |
| KR102243292B1 (ko) * | 2017-06-02 | 2021-04-22 | 한국전자기술연구원 | 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체 |
| IT201800003384A1 (it) * | 2018-03-08 | 2019-09-08 | Photosi Spa Unipersonale | Procedimento di valutazione automatica della qualità di foto digitali |
| EP3671625B1 (en) | 2018-12-18 | 2020-11-25 | Axis AB | Method, device, and system for enhancing changes in an image captured by a thermal camera |
| US11653101B2 (en) | 2019-05-17 | 2023-05-16 | Samsung Electronics Co., Ltd. | Imaging system for generating high dynamic range image |
| US11102422B2 (en) * | 2019-06-05 | 2021-08-24 | Omnivision Technologies, Inc. | High-dynamic range image sensor and image-capture method |
| CN110213502B (zh) * | 2019-06-28 | 2022-07-15 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US11200653B2 (en) * | 2019-08-06 | 2021-12-14 | Samsung Electronics Co., Ltd. | Local histogram matching with global regularization and motion exclusion for multi-exposure image fusion |
| KR20210019826A (ko) * | 2019-08-13 | 2021-02-23 | 삼성전자주식회사 | Ar 글래스 장치 및 그 동작 방법 |
| KR20210053377A (ko) | 2019-11-01 | 2021-05-12 | 삼성전자주식회사 | 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법 |
| CN111246125B (zh) * | 2020-01-17 | 2022-11-01 | 广州盈可视电子科技有限公司 | 一种多路视频流合成方法和装置 |
| CN111462268B (zh) * | 2020-03-31 | 2022-11-11 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
| CN111586292B (zh) * | 2020-04-23 | 2021-10-22 | 浙江大华技术股份有限公司 | 一种摄像状态的切换方法、装置和计算机设备 |
| US11847778B2 (en) * | 2020-08-21 | 2023-12-19 | Apple Inc. | Image capture techniques personalized to individual subjects being imaged |
| CN114630053B (zh) * | 2020-12-11 | 2023-12-12 | 青岛海信移动通信技术有限公司 | 一种hdr图像显示方法及显示设备 |
| CN112822404B (zh) * | 2021-01-12 | 2022-08-09 | Oppo广东移动通信有限公司 | 一种图像处理方法及装置、存储介质 |
| CN115731146B (zh) * | 2022-12-26 | 2023-05-12 | 中国人民解放军战略支援部队航天工程大学 | 基于色彩梯度直方图特征光流估计多曝光图像融合方法 |
| CN117198219B (zh) * | 2023-11-07 | 2024-02-27 | 惠科股份有限公司 | 显示屏显示方法、设备、存储介质及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1799057A (zh) * | 2003-04-29 | 2006-07-05 | 微软公司 | 用于生成高动态范围视频的系统和过程 |
| TW201216691A (en) * | 2010-08-23 | 2012-04-16 | Red Com Inc | High dynamic range video |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100316717B1 (ko) * | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
| WO2006070046A1 (en) * | 2004-12-29 | 2006-07-06 | Nokia Corporation | Exposure of digital imaging |
| US8582001B2 (en) | 2009-04-08 | 2013-11-12 | Csr Technology Inc. | Exposure control for high dynamic range image capture |
| JP5424921B2 (ja) * | 2009-08-31 | 2014-02-26 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| JP5713752B2 (ja) * | 2011-03-28 | 2015-05-07 | キヤノン株式会社 | 画像処理装置、及びその制御方法 |
| CN103002225B (zh) * | 2011-04-20 | 2017-04-12 | 高通科技公司 | 多曝光高动态范围图像捕捉 |
| JP5693355B2 (ja) | 2011-04-27 | 2015-04-01 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| KR20130031574A (ko) * | 2011-09-21 | 2013-03-29 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| JP5898466B2 (ja) * | 2011-11-11 | 2016-04-06 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
| WO2013109261A1 (en) * | 2012-01-18 | 2013-07-25 | Intel Corporation | Intelligent computational imaging system |
| US9137451B2 (en) * | 2012-03-09 | 2015-09-15 | Htc Corporation | Electronic apparatus and adjustment method thereof |
| CN103581563A (zh) * | 2012-07-18 | 2014-02-12 | 索尼公司 | 图像捕获设备、图像捕获设备控制方法和程序 |
| US20150009355A1 (en) * | 2013-07-05 | 2015-01-08 | Himax Imaging Limited | Motion adaptive cmos imaging system |
| JP6446790B2 (ja) * | 2014-02-21 | 2019-01-09 | 株式会社リコー | 画像処理装置、撮像装置、画像補正方法およびプログラム |
-
2015
- 2015-01-19 EP EP15305054.7A patent/EP3046319A1/en not_active Withdrawn
-
2016
- 2016-01-08 TW TW105100456A patent/TWI682664B/zh active
- 2016-01-13 EP EP16150989.8A patent/EP3046320B1/en active Active
- 2016-01-13 ES ES16150989.8T patent/ES2658061T3/es active Active
- 2016-01-13 PL PL16150989T patent/PL3046320T3/pl unknown
- 2016-01-15 CN CN201610028658.2A patent/CN105812675B/zh active Active
- 2016-01-18 JP JP2016007185A patent/JP6742732B2/ja active Active
- 2016-01-19 US US15/001,121 patent/US9648251B2/en active Active
- 2016-01-19 KR KR1020160006432A patent/KR102638638B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1799057A (zh) * | 2003-04-29 | 2006-07-05 | 微软公司 | 用于生成高动态范围视频的系统和过程 |
| TW201216691A (en) * | 2010-08-23 | 2012-04-16 | Red Com Inc | High dynamic range video |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3046320B1 (en) | 2017-12-13 |
| JP6742732B2 (ja) | 2020-08-19 |
| CN105812675B (zh) | 2020-06-12 |
| PL3046320T3 (pl) | 2018-05-30 |
| CN105812675A (zh) | 2016-07-27 |
| KR102638638B1 (ko) | 2024-02-21 |
| KR20160089292A (ko) | 2016-07-27 |
| ES2658061T3 (es) | 2018-03-08 |
| US20160212355A1 (en) | 2016-07-21 |
| EP3046320A1 (en) | 2016-07-20 |
| US9648251B2 (en) | 2017-05-09 |
| TW201628391A (zh) | 2016-08-01 |
| EP3046319A1 (en) | 2016-07-20 |
| JP2016134919A (ja) | 2016-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI682664B (zh) | 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法 | |
| CN111418201B (zh) | 一种拍摄方法及设备 | |
| CN110121882B (zh) | 一种图像处理方法及装置 | |
| CN108335279B (zh) | 图像融合和hdr成像 | |
| US9118841B2 (en) | Determining an image capture payload burst structure based on a metering image capture sweep | |
| US9172888B2 (en) | Determining exposure times using split paxels | |
| TWI530911B (zh) | 動態曝光調整方法及其電子裝置 | |
| CN111684788A (zh) | 一种图像处理的方法和装置 | |
| CN105960797B (zh) | 一种处理图像的方法和装置 | |
| US20150092066A1 (en) | Using a Second Camera to Adjust Settings of First Camera | |
| US10171743B2 (en) | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image | |
| US9087391B2 (en) | Determining an image capture payload burst structure | |
| JP2016519822A (ja) | 動きゴーストフィルタリングのための基準画像選択 | |
| TW200904169A (en) | Buffer management for an adaptive buffer value using accumulation and averaging | |
| Gallo et al. | Metering for exposure stacks | |
| Gryaditskaya et al. | Motion aware exposure bracketing for HDR video | |
| WO2017143654A1 (zh) | 选择待输出照片的方法、拍照方法、装置及存储介质 | |
| van Beek | Improved image selection for stack-based hdr imaging | |
| Wang et al. | A novel deghosting method for exposure fusion | |
| CN113822819A (zh) | Hdr场景检测方法与装置、终端及可读存储介质 | |
| Ferrante et al. | An Algorithm for Extended Dynamic Range Video in Embedded Systems |