TW202143700A - 高動態範圍圖像生成方法、裝置及可讀存儲介質 - Google Patents
高動態範圍圖像生成方法、裝置及可讀存儲介質 Download PDFInfo
- Publication number
- TW202143700A TW202143700A TW109114661A TW109114661A TW202143700A TW 202143700 A TW202143700 A TW 202143700A TW 109114661 A TW109114661 A TW 109114661A TW 109114661 A TW109114661 A TW 109114661A TW 202143700 A TW202143700 A TW 202143700A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- dynamic range
- high dynamic
- images
- range image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 60
- 230000000694 effects Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 26
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一種高動態範圍圖像生成方法，包括以下步驟：將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至預設模型，通過所述預設模型對所述多張圖像進行對齊處理；確認經過對齊處理之所述多張圖像中需關注之目標圖像；確認所述需關注之目標圖像之融合權重；及根據所述目標圖像之融合權重融合成一張高動態範圍圖像。本發明還提供一種高動態範圍圖像生成裝置及可讀存儲介質。
Description
本發明涉及影像處理技術領域，尤其涉及一種高動態範圍（High Dynamic Range、HDR）圖像生成方法、裝置及電腦可讀存儲介質。
當使用者使用具有拍照功能之電子設備進行拍照時，若拍照場景內同時存於高亮度以及低亮度之地方，拍攝出來之圖像可能會出現暗區過暗或者是亮區過度曝光之問題。習知之解決方式是拍攝多張圖像並將該多張圖像疊合形成一整張圖像均清晰之HDR圖像。然而拍攝多張圖像可能會遇到手抖、場景有物體移動等問題，導致多張圖像之間無法完美之對齊，進而使得合成之HDR圖像出現鬼影等問題。
有鑑於此，有必要提供一種HDR圖像生成方法、裝置及電腦可讀存儲介質，HDR圖像融合效果佳，且可避免融合之HDR圖像出現鬼影之缺陷。
本發明一實施方式提供一種HDR圖像生成方法，應用於一電子裝置，所述方法包括：將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至預設模型，通過所述預設模型對所述多張圖像進行對齊處理；確認經過對齊處理之所述多張圖像中需關注之目標圖像；確認所述需關注之目標圖像之融合權重；及根據所述目標圖像之融合權重融合成一張高動態範圍圖像。
本發明一實施方式還提供一種HDR圖像生成裝置，所述裝置包括處理器及記憶體，所述記憶體上存儲有複數電腦程式，所述處理器用於執行所述記憶體中存儲之電腦程式時實現以下步驟：將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至預設模型，通過所述預設模型對所述多張圖像進行對齊處理；確認經過對齊處理之所述多張圖像中需關注之目標圖像；確認所述需關注之目標圖像之融合權重；及根據所述目標圖像之融合權重融合成一張高動態範圍圖像。
本發明一實施方式還提供一種可讀存儲介質，所述可讀存儲介質存儲有多條指令，多條所述指令可被一個或者多個處理器執行，以實現以下步驟：將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至預設模型，通過所述預設模型對所述多張圖像進行對齊處理；確認經過對齊處理之所述多張圖像中需關注之目標圖像；確認所述需關注之目標圖像之融合權重；及根據所述目標圖像之融合權重融合成一張高動態範圍圖像。
與現有技術相比，上述HDR圖像生成方法及裝置，將多張屬於同一場景之不同曝光值或不同曝光時間之圖像按照不同之比重去融合得到HDR圖像，HDR圖像融合效果佳，且可避免融合之HDR圖像出現鬼影之缺陷。
請參閱圖1，為本發明高動態範圍（High Dynamic Range、HDR）圖像生成裝置較佳實施例之示意圖。
所述HDR圖像生成裝置100包括記憶體10、處理器20及存儲於所述記憶體10中並可於所述處理器20上運行之HDR圖像生成程式30。所述處理器20執行所述HDR圖像生成程式30時實現HDR圖像生成方法實施例中之步驟，例如圖3所示之步驟S300~S306。或者，所述處理器20執行所述HDR圖像生成程式30時實現圖2中之各模組之功能。
所述HDR圖像生成程式30可被分割成一個或多個模組，所述一個或者多個模組被存儲於所述記憶體10中，並由所述處理器20執行，以完成本發明。所述一個或多個模組可是能夠完成特定功能之一系列電腦程式指令段，所述指令段用於描述所述HDR圖像生成程式30於所述HDR圖像生成裝置100中之執行過程。例如，所述HDR圖像生成程式30可被分割成圖2中之預處理模組101、確認模組102、生成模組103及判斷模組104。各模組具體功能參見下圖2中各模組之功能。
本領域技術人員可理解，所述示意圖僅是HDR圖像生成裝置100之示例，並不構成對HDR圖像生成裝置100之限定，可包括比圖示更多或更少之部件，或者組合某些部件，或者不同之部件，例如所述HDR圖像生成裝置100還可包括顯示裝置、匯流排、通信單元等。
所稱處理器20可是中央處理單元(Central Processing Unit，CPU)，還可是其他通用處理器、數位訊號處理器 (Digital Signal Processor，DSP)、專用積體電路 (Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列 (Field-Programmable Gate Array，FPGA) 或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可是微處理器或者所述處理器20亦可是任何常規之處理器等，所述處理器20可利用各種介面與匯流排連接HDR圖像生成裝置100之各個部分。
所述記憶體10可用於存儲所述HDR圖像生成程式30與/或模組，所述處理器20藉由運行或執行存儲於所述記憶體10內之電腦程式與/或模組，以及調用存儲於記憶體10內之資料，實現所述HDR圖像生成裝置100之各種功能。所述記憶體10可包括高速隨機存取記憶體，還可包括非易失性記憶體，例如硬碟機、記憶體、插接式硬碟機，智慧存儲卡（Smart Media Card, SMC），安全數位（Secure Digital, SD）卡，快閃記憶體卡（Flash Card）、至少一個磁碟記憶體件、快閃記憶體器件、或其他非易失性固態記憶體件。
圖2為本發明HDR圖像生成程式較佳實施例之功能模組圖。
參閱圖2所示，HDR圖像生成程式30可包括預處理模組101、確認模組102、生成模組103及判斷模組104。於一實施方式中，上述模組可為存儲於所述記憶體10中且可被所述處理器20調用執行之可程式化軟體指令。可理解之是，於其他實施方式中，上述模組亦可為固化於所述處理器20中之程式指令或固件（firmware）。
所述預處理模組101用於將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至預設模型，通過所述預設模型對所述多張圖像進行對齊處理。
於一實施方式中，所述預設模型基於深度學習方法對所述多張圖像進行對齊處理。所述預設模型優選藉由有監督學習方式訓練得到。比如，所述預設模型可是基於預設樣本圖像庫對卷積神經網路進行訓練得到之單應性估測網路。所述預設樣本圖像庫包括多張樣本圖像及對多張樣本圖像進行隨機透視變換得到之圖像。
舉例而言，所述預設樣本圖像庫包括多個樣本圖像集，一樣本圖像集包括樣本圖像A1~A4，其中樣本圖像A2~A4為對樣本圖像A1進行隨機透視變換得到，另一樣本圖像集包括樣本圖像B1~B3，其中樣本圖像B2、B3為對樣本圖像B1進行隨機透視變換得到。所述預設模型可藉由以下方式訓練得到：a. 隨機將預設樣本圖像庫之樣本圖像集劃分為訓練集及測試集，訓練集之數量優選大於測試集之數量，比如將80%之樣本圖像集劃分為訓練集，將20%之樣本圖像集劃分為測試集；b. 利用所述訓練集對所述卷積神經網路進行訓練得到預設模型及利用所述測試集對訓練得到之預設模型進行測試；c. 判斷所述預設模型之圖像對齊處理效果是否符合預設要求；d. 若符合預設要求，則完成對所述預設模型之訓練，當前訓練得到之預設模型滿足使用需求；e. 若不符合預設要求，則調整所述卷積神經網路之參數，並利用所述訓練集重新對調整後之卷積神經網路進行訓練，直到測試集驗證得到之預設模型之圖像對齊處理效果符合所述預設要求。
於一實施方式中，所述圖像之數量可根據實際需求進行設定，優選為至少2張圖像。所述圖像可是指拍照設備對同一場景進行拍攝得到之圖像，如低動態範圍（Low Dynamic Range，LDR）圖像，所述多張圖像可以是具有不同的曝光值，或具有不同的曝光時間。當訓練得到所述預設模型時，所述預處理模組101可將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至所述預設模型，進而藉由所述預設模型對所述多張圖像進行對齊處理。比如，所述預設模型可估算出所述多張圖像需使用之單應性矩陣，以基於所述單應性矩陣來對所述多張圖像進行全圖之對齊。
舉例而言，所述對齊模組101將2張屬於同一場景之不同曝光值之圖像輸入至預設模型，以藉由所述預設模型對該2張圖像進行對齊處理。所述對齊模組101亦可將2張屬於同一場景之不同曝光時間之圖像輸入至預設模型，以藉由所述預設模型對該2張圖像進行對齊處理。
所述確認模組102用於確認經過對齊處理之所述多張圖像中需關注之目標圖像。
於一實施方式中，所述確認模組102可以通過以下方式實現確認經過對齊處理之所述圖像是否為需關注之目標圖像，其步驟如下：a. 將經過對齊處理之所述圖像進行特徵提取產生一特徵圖；b. 對所述特徵圖進行分析以確定所述圖像區域之關注度；c. 根據所述圖像區域之關注度獲得一權重分布圖；d. 根據所述權重分布圖確認所需關注之目標圖像。舉例而言，步驟a可將多張經過對齊之圖像輸入至預先建立之卷積神經網路的編碼層，通過特徵提取產生一特徵圖，步驟b是將所述特徵圖通過機器學習方式對輸入圖像之圖像區域賦予不同關注度，步驟c是基於步驟b而得到一個包含不同關注度區域之權重分布圖，最後步驟d可從所述權重分布圖對應至所述需關注之目標圖像。
於一實施方式中，所述確認模組102用於確認經過對齊處理之所述多張圖像之關注度。所述關注度係對於圖像之不同區域進行權重區分，當對於圖像中局部區域賦予不同權重時，可以表示所述局部區域與其所屬物件之關聯程度。於一實施方式中，可以利用卷積神經網路對圖像進行特徵提取，根據特徵提取結果進行相關物件的匹配，通過匹配結果可以對於所述相關物件於所述圖像中進行定位，進而可根據所述相關物件之定位位置在圖像區域中設置較高關注度，避免背景雜訊之干擾。
所述確認模組102還用於確認所述需關注之目標圖像之融合權重。
於一實施方式中，所述融合權重可是所述目標圖像中需關注之圖像區域之權重，該權重可以具體是指需關注之圖像區域之每一圖元（pixel）的融合比重，所述確認模組102可確認所述目標圖像之融合權重。
於一實施方式中，所述確認模組102可利用預設注意力網路確認經過對齊處理之所述多張圖像中需關注之目標圖像，及每一所述目標圖像中需關注之圖像區域之融合權重。於一實施方式中，所述確認模組102還可利用所述預設合成網路確認每一所述目標圖像中需關注之圖像區域之融合權重。
於一實施方式中，可以藉由預設圖像分割算法（例如U-Net網路）對每一所述目標圖像中需關注之圖像區域進行圖像分割。
於一實施方式中，所述確認模組102可根據每一所述目標圖像中需關注之圖像區域之亮度來設置不同之融合權重。比如，根據高亮度區域之亮度來設置不同之融合權重，根據低亮度區域之亮度來設置不同之融合權重。
所述生成模組103用於根據所述目標圖像之融合權重融合成一張HDR圖像。
於一實施方式中，當確定經過對齊處理之所述多張圖像中需關注之目標圖像，及每一所述目標圖像中需關注之圖像區域之融合權重時，所述生成模組103可實現基於所述多張目標圖像融合得到一張HDR圖像。
於一實施方式中，所述生成模組103可利用預設合成網路基於所述目標圖像融合得到一張HDR圖像。所述生成模組103利用所述預設合成網路基於所述目標圖像融合成一張HDR圖像之具體實現方式可包括：i. 將所述目標圖像中需關注之圖像區域按照所屬之圖像區域位置劃分為多個圖像區域集，其中每一所述圖像區域集可對應一圖像區域位置；ii. 利用所述預設合成網路確定每一所述圖像區域集中之每一所述圖像區域之混合權重；iii. 根據所述圖像區域集確定之混合權重將所述圖像區域集中之圖像進行混合，可得到與所述圖像區域集對應之圖像區域位置之高動態區域圖像；iv. 基於混合得到之多張高動態區域圖像來合成所述HDR圖像。
舉例而言，所述HDR圖像基於10個高動態區域圖像P1~P10合成得到。高動態區域圖像P1對應之圖像區域集包括3個圖像區域I1、I2、I3，所述生成模組103可利用所述預設合成網路確定該3個圖像區域I1~I3之混合權重，並根據所確定之混合權重對該3個圖像區域I1~I3進行混合得到所述高動態區域圖像P1。
所述判斷模組104用於基於基準HDR圖像判斷所述融合之HDR圖像之融合效果是否符合預設要求。
於一實施方式中，所述基準HDR圖像可是預先準備並存儲於圖像集中，所述圖像集可包括融合之HDR圖像及至少一張基準HDR圖像。當無法於圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像時，所述判斷模組104可判定所述融合之HDR圖像之融合效果符合所述預設要求。當能夠於所述圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像時，所述判斷模組104可判定所述融合之HDR圖像之合成效果不符合所述預設要求。
於一實施方式中，所述判斷模組104可以利用預設鑒別網路來判斷所述融合之HDR圖像之融合效果是否符合預設要求。當所述預設鑒別網路能夠於所述圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像時，表明所述預設合成網路進行圖像融合的融合效果不能滿足使用需求，所述預設合成網路需要進行重新訓練以提高融合效果，直至所述預設鑒別網路無法於圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像。
可理解，所述預設注意力網路、所述預設合成網路及所述預設鑒別網路可構成基於注意力機制之對抗生成網路。可利用預設樣本庫對所述基於注意力機制之對抗生成網路進行訓練，所述預設樣本庫中之訓練樣本可包括多個圖像對，一圖像對可包括經過對齊處理之多張屬於同一場景之不同曝光值之圖像及一張基準HDR圖像。該圖像對亦可包括經過對齊處理之多張屬於同一場景之不同曝光時間之圖像及一張基準HDR圖像。
當所述基於注意力機制之對抗生成網路訓練完成後，可將多張屬於同一場景之不同曝光值或不同曝光時間之待處理圖像輸入至所述預設模型，以藉由所述預設模型對所述多張待處理圖像進行對齊處理，再將經過對齊處理之所述多張待處理圖像輸入至所述基於注意力機制之對抗生成網路，所述基於注意力機制之對抗生成網路可輸出一張HDR圖像。
請參閱圖3，為本發明一實施例中HDR圖像生成方法之流程圖。所述HDR圖像生成方法可應用於HDR圖像生成裝置100中。根據不同之需求，所述流程圖中步驟之順序可改變，某些步驟可省略。
步驟S300，將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至預設模型，通過所述預設模型對所述多張圖像進行對齊處理。
於一實施方式中，所述預設模型基於深度學習方法對所述多張圖像進行對齊處理。所述預設模型優選藉由有監督學習方式訓練得到。比如，所述預設模型可是基於預設樣本圖像庫對卷積神經網路進行訓練得到之單應性估測網路。所述預設樣本圖像庫包括多張樣本圖像及對多張樣本圖像進行隨機透視變換得到之圖像。
舉例而言，所述預設樣本圖像庫包括多個樣本圖像集，一樣本圖像集包括樣本圖像A1~A4，其中樣本圖像A2~A4為對樣本圖像A1進行隨機透視變換得到，另一樣本圖像集包括樣本圖像B1~B3，其中樣本圖像B2、B3為對樣本圖像B1進行隨機透視變換得到。所述預設模型可藉由以下步驟訓練得到：a. 隨機將預設樣本圖像庫之樣本圖像集劃分為訓練集及測試集，訓練集之數量優選大於測試集之數量，比如將80%之樣本圖像集劃分為訓練集，將20%之樣本圖像集劃分為測試集；b. 利用所述訓練集對所述卷積神經網路進行訓練得到預設模型及利用所述測試集對訓練得到之預設模型進行測試；c. 判斷所述預設模型之圖像對齊處理效果是否符合預設要求；d. 若符合預設要求，則完成對所述預設模型之訓練，當前訓練得到之預設模型滿足使用需求；e. 若不符合預設要求，則調整所述卷積神經網路之參數，並利用所述訓練集重新對調整後之卷積神經網路進行訓練，直到測試集驗證得到之預設模型之圖像對齊處理效果符合所述預設要求。
於一實施方式中，所述圖像之數量可根據實際需求進行設定，優選為至少2張圖像。所述圖像可是指拍照設備對同一場景進行拍攝得到之圖像，如低動態範圍（Low Dynamic Range，LDR）圖像，所述多張圖像可以是具有不同的曝光值，或具有不同的曝光時間。當訓練得到所述預設模型時，可將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至所述預設模型，進而藉由所述預設模型對所述多張圖像進行對齊處理。比如，所述預設模型可估算出所述多張圖像需使用之單應性矩陣，以基於所述單應性矩陣來對所述多張圖像進行全圖之對齊。
舉例而言，可將2張屬於同一場景之不同曝光值之圖像輸入至預設模型，以藉由所述預設模型對該2張圖像進行對齊處理。亦可將2張屬於同一場景之不同曝光時間之圖像輸入至預設模型，以藉由所述預設模型對該2張圖像進行對齊處理。
步驟S302，確認經過對齊處理之所述多張圖像中需關注之目標圖像。
於一實施方式中，可以通過以下方式實現確認經過對齊處理之所述圖像是否為需關注之目標圖像，其步驟如下：a. 將經過對齊處理之所述圖像進行特徵提取產生一特徵圖；b. 對所述特徵圖進行分析以確定所述圖像區域之關注度；c. 根據所述圖像區域之關注度獲得一權重分布圖；d. 根據所述權重分布圖確認所需關注之目標圖像。
於一實施方式中，可以先確認經過對齊處理之所述多張圖像之關注度。所述關注度係對於圖像之不同區域進行權重區分，當對於圖像中局部區域賦予不同權重時，可以表示所述局部區域與其所屬物件之關聯程度。於一實施方式中，可以利用卷積神經網路對圖像進行特徵提取，根據特徵提取結果進行相關物件的匹配，通過匹配結果可以對於所述相關物件於所述圖像中進行定位，進而可根據所述相關物件之定位位置在圖像區域中設置較高關注度，避免背景雜訊之干擾。
步驟S304，確認所述需關注之目標圖像之融合權重。
於一實施方式中，所述融合權重可是所述圖像中需關注之圖像區域之權重，該權重可以具體是指需關注之圖像區域之每一圖元的融合比重。
於一實施方式中，可利用預設注意力網路確認經過對齊處理之所述多張圖像中需關注之目標圖像，及每一所述目標圖像中需關注之圖像區域之融合權重。於一實施方式中，還可利用所述預設合成網路確認每一所述目標圖像中需關注之圖像區域之融合權重。
於一實施方式中，可以藉由預設圖像分割算法（例如U-Net網路）對每一所述目標圖像中需關注之圖像區域進行圖像分割。
於一實施方式中，可根據每一所述目標圖像中需關注之圖像區域之亮度來設置不同之融合權重。比如，根據高亮度區域之亮度來設置不同之融合權重，根據低亮度區域之亮度來設置不同之融合權重。
步驟S306，根據所述目標圖像之融合權重融合成一張HDR圖像。
於一實施方式中，當確定經過對齊處理之所述多張圖像中需進行關注之目標圖像，及每一所述目標圖像中需關注之圖像區域之融合權重時，可實現基於所述多張目標圖像融合得到一張HDR圖像。
於一實施方式中，可利用預設合成網路基於所述目標圖像融合得到一張HDR圖像。利用所述預設合成網路基於所述目標圖像融合得到一張HDR圖像之步驟可包括：i. 將所述目標圖像中需關注之圖像區域按照所屬之圖像區域位置劃分為多個圖像區域集，其中每一所述圖像區域集可對應一圖像區域位置；ii. 利用所述預設合成網路確定每一所述圖像區域集中之每一所述圖像區域之混合權重；iii. 根據所述圖像區域集確定之混合權重將所述圖像區域集中之圖像區域進行混合，可得到與所述圖像區域集對應之圖像區域位置之高動態區域圖像；iv. 基於混合得到之多張高動態區域圖像來合成所述HDR圖像。
舉例而言，所述HDR圖像基於10個高動態區域圖像P1~P10合成得到。高動態區域圖像P1對應之圖像區域集包括3個圖像區域I1、I2、I3，可利用所述預設合成網路確定該3個圖像區域I1~I3之混合權重，並根據所確定之混合權重對該3個圖像區域I1~I3進行混合得到所述高動態區域圖像P1。
步驟S308，基於基準HDR圖像判斷所述融合之HDR圖像之融合效果是否符合預設要求。
於一實施方式中，所述基準HDR圖像可是預先準備並存儲於圖像集中，所述圖像集可包括融合之HDR圖像及至少一張基準HDR圖像。當無法於圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像時，可判定所述融合之HDR圖像之融合效果符合所述預設要求。當能夠於所述圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像時，可判定所述融合之HDR圖像之融合效果不符合所述預設要求。
於一實施方式中，可以利用預設鑒別網路來判斷所述融合之HDR圖像之融合效果是否符合預設要求。當所述預設鑒別網路能夠於所述圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像時，表明所述預設合成網路進行圖像融合的融合效果不能滿足使用需求，所述預設合成網路需要進行重新訓練以提高融合效果，直至所述預設鑒別網路無法於圖像集中判斷哪一張HDR圖像是所述融合之HDR圖像。
可理解，所述預設注意力網路、所述預設合成網路及所述預設鑒別網路可構成基於注意力機制之對抗生成網路。可利用預設樣本庫對所述基於注意力機制之對抗生成網路進行訓練，所述預設樣本庫中之訓練樣本可包括多個圖像對，一圖像對可包括經過對齊處理之多張屬於同一場景之不同曝光值之圖像及一張基準HDR圖像。該圖像對亦可包括經過對齊處理之多張屬於同一場景之不同曝光時間之圖像及一張基準HDR圖像。
上述HDR圖像生成方法及裝置，將多張屬於同一場景之不同曝光值或不同曝光時間之圖像按照不同之比重去融合得到HDR圖像，HDR圖像融合效果佳，且可避免融合之HDR圖像出現鬼影之缺陷。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，本發明之範圍並不以上述實施方式為限，舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。
10:記憶體
20:處理器
30:HDR圖像生成程式
100:HDR圖像生成裝置
101:預處理模組
102:確認模組
103:生成模組
104:判斷模組
圖1是本發明一實施方式之HDR圖像生成裝置之功能模組圖。
圖2是本發明一實施方式之HDR圖像生成程式之功能模組圖。
圖3是本發明一實施方式之HDR圖像生成方法之步驟流程圖。
Claims (10)
- 一種高動態範圍圖像生成方法，應用於一電子裝置，所述高動態範圍圖像生成方法包括： 將多張屬於同一場景之不同曝光值或不同曝光時間之圖像輸入至預設模型，通過所述預設模型對所述多張圖像進行對齊處理； 確認經過對齊處理之所述多張圖像中需關注之目標圖像； 確認所述需關注之目標圖像之融合權重；及 根據所述目標圖像之融合權重融合成一張高動態範圍圖像。
- 如請求項1所述之高動態範圍圖像生成方法，還包括： 基於基準高動態範圍圖像判斷所述融合之高動態範圍圖像之融合效果是否符合預設要求。
- 如請求項2所述之高動態範圍圖像生成方法，其中所述判斷所述融合之高動態範圍圖像之融合效果是否符合預設要求之步驟包括： 當無法於圖像集中判斷哪一張高動態範圍圖像是所述融合之高動態範圍圖像時，判定所述融合之高動態範圍圖像之融合效果符合所述預設要求； 其中，所述圖像集包括所述融合之高動態範圍圖像及所述基準高動態範圍圖像。
- 如請求項1所述之高動態範圍圖像生成方法， 其中所述通過所述預設模型對所述多張圖像進行對齊處理係基於深度學習方法。
- 如請求項1所述之高動態範圍圖像生成方法，其中確認經過對齊處理之所述多張圖像中需關注之目標圖像之步驟包括： 將經過對齊處理之所述多張圖像進行特徵提取； 根據所述特徵提取結果確定所述多張圖像之圖像區域之關注度； 根據所述圖像區域之關注度獲得一權重分布圖；及 根據所述多張圖像之權重分布圖確認所述多張圖像中需關注之目標圖像。
- 如請求項1所述之高動態範圍圖像生成方法，其中確認所述需關注之目標圖像之融合權重之步驟包括： 確認所述需關注之目標圖像中之圖元之融合權重。
- 如請求項1所述之高動態範圍圖像生成方法， 其中所述預設模型基於預設樣本圖像庫訓練得到，所述預設樣本圖像庫包括多張樣本圖像及對所述多張樣本圖像進行隨機透視變換得到之圖像。
- 如請求項1所述之高動態範圍圖像生成方法，其中確認所述需關注之目標圖像之融合權重之步驟包括： 根據所述需關注之目標圖像之圖像區域之亮度設置所述目標圖像之融合權重。
- 一種高動態範圍圖像生成裝置，所述裝置包括處理器及記憶體，所述記憶體上存儲有複數電腦程式，所述處理器用於執行所述記憶體中存儲之電腦程式時實現如請求項1至8中任一項所述之高動態範圍圖像生成方法之步驟。
- 一種電腦可讀存儲介質，其特徵在於，所述電腦可讀存儲介質存儲有多條指令，多條所述指令可被一個或者多個處理器執行，以實現如請求項1至8中任一項所述之高動態範圍圖像生成方法之步驟。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109114661A TWI730746B (zh) | 2020-04-30 | 2020-04-30 | 高動態範圍圖像生成方法、裝置及可讀存儲介質 |
| US17/243,903 US12051180B2 (en) | 2020-04-30 | 2021-04-29 | Method for generating images with high dynamic range during multiple exposures and times of capture, device employing method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109114661A TWI730746B (zh) | 2020-04-30 | 2020-04-30 | 高動態範圍圖像生成方法、裝置及可讀存儲介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI730746B TWI730746B (zh) | 2021-06-11 |
| TW202143700A true TW202143700A (zh) | 2021-11-16 |
Family
ID=77517180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109114661A TWI730746B (zh) | 2020-04-30 | 2020-04-30 | 高動態範圍圖像生成方法、裝置及可讀存儲介質 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12051180B2 (zh) |
| TW (1) | TWI730746B (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2565870A1 (en) * | 2004-05-06 | 2005-12-15 | The Regents Of The University Of California | Method and system for aligning and classifying images |
| US8525900B2 (en) * | 2009-04-23 | 2013-09-03 | Csr Technology Inc. | Multiple exposure high dynamic range image capture |
| US8933985B1 (en) * | 2011-06-06 | 2015-01-13 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for on-camera HDR panorama |
| US9143673B2 (en) * | 2012-09-19 | 2015-09-22 | Google Inc. | Imaging device with a plurality of pixel arrays |
| CN103067671B (zh) | 2012-12-31 | 2015-09-23 | 华为技术有限公司 | 一种显示图像的方法及装置 |
| CN105187739B (zh) * | 2015-09-18 | 2018-10-26 | 北京中科慧眼科技有限公司 | 基于hdr算法的相机传感器设计方法 |
| TWI590192B (zh) | 2016-07-27 | 2017-07-01 | 國立中興大學 | 適應性高動態範圍影像合成演算法 |
| CN106506981B (zh) | 2016-11-25 | 2019-04-19 | 阿依瓦（北京）技术有限公司 | 生成高动态范围图像的设备和方法 |
| US10638052B2 (en) * | 2017-04-12 | 2020-04-28 | Samsung Electronics Co., Ltd. | Method and apparatus for generating HDR images |
| US11094043B2 (en) * | 2017-09-25 | 2021-08-17 | The Regents Of The University Of California | Generation of high dynamic range visual media |
| US11107205B2 (en) * | 2019-02-18 | 2021-08-31 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
| CN110958399B (zh) * | 2019-12-09 | 2021-06-29 | Oppo广东移动通信有限公司 | 高动态范围图像hdr实现方法及相关产品 |
-
2020
- 2020-04-30 TW TW109114661A patent/TWI730746B/zh active
-
2021
- 2021-04-29 US US17/243,903 patent/US12051180B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20210342986A1 (en) | 2021-11-04 |
| TWI730746B (zh) | 2021-06-11 |
| US12051180B2 (en) | 2024-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lopez et al. | Deep single image camera calibration with radial distortion | |
| JP6994588B2 (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
| JP6629513B2 (ja) | ライブネス検査方法と装置、及び映像処理方法と装置 | |
| WO2014187223A1 (en) | Method and apparatus for identifying facial features | |
| Pan et al. | MIEGAN: Mobile image enhancement via a multi-module cascade neural network | |
| CN108833785A (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| CN111507908B (zh) | 图像矫正处理方法、装置、存储介质及计算机设备 | |
| Singh et al. | A comprehensive review of convolutional neural network based image enhancement techniques | |
| Charco et al. | Deep learning based camera pose estimation in multi-view environment | |
| JP2023526899A (ja) | 画像修復モデルを生成するための方法、デバイス、媒体及びプログラム製品 | |
| TW202127312A (zh) | 影像處理方法及存儲介質 | |
| US8903124B2 (en) | Object learning method, object tracking method using the same, and object learning and tracking system | |
| CN111915735A (zh) | 一种针对视频中三维结构轮廓的深度优化方法 | |
| JP5704909B2 (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
| CN114529687A (zh) | 图像重建方法、装置、电子设备及计算机可读存储介质 | |
| Huang et al. | Robust simultaneous localization and mapping in low‐light environment | |
| TWI730746B (zh) | 高動態範圍圖像生成方法、裝置及可讀存儲介質 | |
| CN113592753A (zh) | 基于工业相机拍摄的图像的处理方法、装置和计算机设备 | |
| CN111476056A (zh) | 目标物体的识别方法、装置、终端设备及计算机存储介质 | |
| WO2022252641A1 (zh) | 基于多图片差异性的鉴伪方法、装置、设备及存储介质 | |
| CN110298834A (zh) | 像素级边缘效应的修正方法及终端设备 | |
| TWI776668B (zh) | 影像處理方法及影像處理系統 | |
| CN117689899B (zh) | 一种手势采集装置参数点检方法、系统、设备及存储介质 | |
| WO2024164569A9 (zh) | 数据处理方法、装置、设备以及存储介质 | |
| TWI708190B (zh) | 圖像辨識方法、物體辨識模型的訓練系統與物體辨識模型的訓練方法 |