TWI769725B - 圖像處理方法、電子設備及電腦可讀儲存介質 - Google Patents

圖像處理方法、電子設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI769725B
TWI769725B TW110107768A TW110107768A TWI769725B TW I769725 B TWI769725 B TW I769725B TW 110107768 A TW110107768 A TW 110107768A TW 110107768 A TW110107768 A TW 110107768A TW I769725 B TWI769725 B TW I769725B
Authority
TW
Taiwan
Prior art keywords
image
processed
difference
primitive
network
Prior art date
Application number
TW110107768A
Other languages
English (en)
Other versions
TW202137133A (zh
Inventor
林木得
任思捷
張帆
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202137133A publication Critical patent/TW202137133A/zh
Application granted granted Critical
Publication of TWI769725B publication Critical patent/TWI769725B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

本發明實施例公開了一種圖像處理方法、電子設備及電腦可讀儲存介質。該方法包括：獲取第一待處理圖像和第二待處理圖像，其中，所述第一待處理圖像的內容與所述第二待處理圖像的內容相同，且所述第一待處理圖像的曝光量與所述第二待處理圖像的曝光量不同；對所述第一待處理圖像和所述第二待處理圖像進行特徵提取處理，得到第一特徵圖像；依據所述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重；依據所述第一權重和所述第二權重，對所述第一待處理圖像和所述第二待處理圖像進行融合處理，得到融合後的圖像。

Description

圖像處理方法、電子設備及電腦可讀儲存介質
本發明關於圖像處理技術領域，尤其關於一種圖像處理方法、電子設備及電腦可讀儲存介質。
相較於通過膠片相機進行攝影，在數位攝影中，是否正確曝光，是決定拍攝得到的圖像品質的重要因素之一。合適的曝光量（exposure values，EV），可使圖像中的被拍攝對象的明暗對比合適，而曝光量低易導致圖像的亮度過低、曝光量過大易導致圖像的亮度過高。因此，如何為圖像確定合適的曝光量具有非常重要的意義。
本發明實施例提供一種圖像處理方法、電子設備及電腦可讀儲存介質。
第一方面，提供了一種圖像處理方法，所述方法包括： 獲取第一待處理圖像和第二待處理圖像，其中，所述第一待處理圖像的內容與所述第二待處理圖像的內容相同，且所述第一待處理圖像的曝光量與所述第二待處理圖像的曝光量不同； 對所述第一待處理圖像和所述第二待處理圖像進行特徵提取處理，得到第一特徵圖像； 依據所述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重，其中，所述第一圖元點為所述第一待處理圖像中的圖元點，所述第二圖元點為所述第二待處理圖像中與所述第一圖元點互為同名點的圖元點； 依據所述第一權重和所述第二權重，對所述第一待處理圖像和所述第二待處理圖像進行融合處理，得到融合後的圖像。
在該方面中，通過對第一待處理圖像和第二待處理圖像進行特徵提取處理，得到第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊。基於第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊，得到第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，可達到使明暗程度不同的圖元點的權重不同的效果，從而在基於第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，對第一待處理圖像和第二待處理圖像進行融合處理的過程中，可提高得到的融合後的圖像的品質。
在一些可能的實現方式中，所述對所述第一待處理圖像和所述第二待處理圖像進行特徵提取處理，得到特徵圖像，包括： 對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三待處理圖像； 提取所述第三待處理圖像中的圖元點的特徵資訊，得到第二特徵圖像； 對所述第二特徵圖像進行歸一化處理，得到第三特徵圖像； 對所述第三特徵圖像進行非線性變換處理，得到所述第一特徵圖像。
結合本發明實施例任一實施方式，在所述第一特徵圖像的尺寸小於所述第三待處理圖像的尺寸的情況下，所述對所述第三特徵圖像進行非線性變換處理，得到所述第一特徵圖像，包括： 對所述第三特徵圖像進行非線性變換處理，得到第四特徵圖像； 對所述第四特徵圖像進行上採樣處理，得到所述第一特徵圖像。
在一些可能的實現方式中，在所述對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三特徵圖像之前，所述方法還包括： 對所述第一待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第一待處理圖像； 對所述第二待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第二待處理圖像； 所述對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三待處理圖像，包括： 對所述歸一化處理後的第一待處理圖像和所述歸一化處理後的第二待處理圖像進行拼接處理，得到所述第三待處理圖像。
在一些可能的實現方式中，所述依據所述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重，包括： 依據第三圖元點的圖元值得到所述第一權重，其中，所述第三圖元點為所述第一特徵圖像中的圖元點，所述第三圖元點在所述第一特徵圖像中的位置與所述第一圖元點在所述第三待處理圖像中的位置相同； 依據第四圖元點的圖元值得到所述第二權重，其中，所述第四圖元點為所述第一特徵圖像中的圖元點，所述第四圖元點在所述第一特徵圖像中的位置與所述第二圖元點在所述第三待處理圖像中的位置相同。
在一些可能的實現方式中，通過圖像處理網路實現所述圖像處理方法； 所述圖像處理網路的訓練過程包括： 獲取第一樣本圖像、第二樣本圖像、監督資料和待訓練網路，其中，所述第一樣本圖像的內容與所述第二樣本圖像的內容相同，且所述第一樣本圖像的曝光量與所述第二樣本圖像的曝光量不同，所述監督資料通過將所述第一樣本圖像和所述第二樣本圖像融合得到； 使用所述待訓練網路對所述第一樣本圖像和所述第二樣本圖像進行處理，得到融合後的樣本圖像； 依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失； 基於所述待訓練網路的損失，調整所述待訓練網路的參數，得到所述圖像處理網路。
在一些可能的實現方式中，在所述依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失之前，所述訓練過程還包括： 依據所述融合後的樣本圖像中梯度的方向和所述監督資料中梯度的方向之間的差異，得到第一差異； 所述依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失，包括： 依據所述融合後的樣本圖像與所述監督資料之間的差異，得到第二差異； 依據所述第一差異和所述第二差異，得到所述待訓練網路的損失。
在一些可能的實現方式中，在所述依據所述第一差異和所述第二差異，得到所述待訓練網路的損失之前，所述訓練過程還包括： 確定所述融合後的樣本圖像中圖元值大於或等於高亮圖元點閾值的圖元點，作為高亮圖元點； 依據所述高亮圖元點的梯度與所述監督資料中的第三圖元點的梯度之間的差異，得到第三差異，其中，所述高亮圖元點與所述第三圖元點互為同名點； 所述依據所述第一差異和所述第二差異，得到所述待訓練網路的損失，包括： 依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失。
在一些可能的實現方式中，在所述依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失之前，所述訓練過程還包括： 依據所述融合後的樣本圖像中梯度和所述監督資料中梯度之間的差異，得到第四差異； 所述依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失，包括： 依據所述第一差異、所述第二差異、所述第三差異和所述第四差異，得到所述待訓練網路的損失。
第二方面，提供了一種圖像處理裝置，所述裝置包括： 獲取部分，被配置為獲取第一待處理圖像和第二待處理圖像，其中，所述第一待處理圖像的內容與所述第二待處理圖像的內容相同，且所述第一待處理圖像的曝光量與所述第二待處理圖像的曝光量不同； 第一處理部分，被配置為對所述第一待處理圖像和所述第二待處理圖像進行特徵提取處理，得到特徵圖像； 第二處理部分，被配置為依據所述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重，其中，所述第一圖元點為所述第一待處理圖像中的圖元點，所述第二圖元點為所述第二待處理圖像中與所述第一圖元點互為同名點的圖元點； 第三處理部分，被配置為依據所述第一權重和所述第二權重，對所述第一待處理圖像和所述第二待處理圖像進行融合處理，得到融合後的圖像。
在一些可能的實現方式中，所述第一處理部分，還被配置為： 對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三待處理圖像； 提取所述第三待處理圖像中的圖元點的特徵資訊，得到第二特徵圖像； 對所述第二特徵圖像進行歸一化處理，得到第三特徵圖像； 對所述第三特徵圖像進行非線性變換，得到所述第一特徵圖像。
在一些可能的實現方式中，在所述第一特徵圖像的尺寸小於所述第三待處理圖像的尺寸的情況下，所述第一處理部分，還被配置為： 對所述第三特徵圖像進行非線性變換，得到第四特徵圖像； 對所述第四特徵圖像進行上採樣處理，得到所述第一特徵圖像。
在一些可能的實現方式中，所述裝置還包括： 第四處理部分，被配置為在對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三特徵圖像之前，對所述第一待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第一待處理圖像，以及對所述第二待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第二待處理圖像； 所述第一處理部分，還被配置為： 對所述歸一化處理後的第一待處理圖像和所述歸一化處理後的第二待處理圖像進行拼接處理，得到所述第三待處理圖像。
在一些可能的實現方式中，所述第三處理部分，還被配置為： 依據第三圖元點的圖元值得到所述第一權重，其中，所述第三圖元點為所述第一特徵圖像中的圖元點，所述第三圖元點在所述第一特徵圖像中的位置與所述第一圖元點在所述第三待處理圖像中的位置相同； 依據第四圖元點的圖元值得到所述第二權重，其中，所述第四圖元點為所述第一特徵圖像中的圖元點，所述第四圖元點在所述第一特徵圖像中的位置與所述第二圖元點在所述第三待處理圖像中的位置相同。
在一些可能的實現方式中，所述裝置執行的圖像處理方法應用於圖像處理網路； 所述裝置還包括：訓練部分，被配置為對所述圖像處理網路進行訓練，所述圖像處理網路的訓練過程包括： 獲取第一樣本圖像、第二樣本圖像、監督資料、待訓練網路，其中，所述第一樣本圖像的內容與所述第二樣本圖像的內容相同，且所述第一樣本圖像的曝光量與所述第二樣本圖像的曝光量不同，所述監督資料通過將所述第一樣本圖像和所述第二樣本圖像融合得到； 使用所述待訓練網路對所述第一樣本圖像和所述第二樣本圖像進行處理，得到融合後的樣本圖像； 依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失； 基於所述待訓練網路的損失，調整所述待訓練網路的參數，得到所述圖像處理網路。
在一些可能的實現方式中，所述訓練部分還被配置為： 在所述依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失之前，依據所述融合後的樣本圖像中梯度的方向和所述監督資料中梯度的方向之間的差異，得到第一差異； 依據所述融合後的樣本圖像與所述監督資料之間的差異，得到第二差異； 依據所述第一差異和所述第二差異，得到所述待訓練網路的損失。
在一些可能的實現方式中，所述訓練部分還被配置為： 在所述依據所述第一差異和所述第二差異，得到所述待訓練網路的損失之前，確定所述融合後的樣本圖像中圖元值大於或等於高亮圖元點閾值的圖元點，作為高亮圖元點； 依據所述高亮圖元點的梯度與所述監督資料中的第三圖元點的梯度之間的差異，得到第三差異，其中，所述高亮圖元點與所述第三圖元點互為同名點； 依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失。
在一些可能的實現方式中，所述訓練部分還被配置為： 在所述依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失之前，依據所述融合後的樣本圖像中梯度和所述監督資料中梯度之間的差異，得到第四差異； 依據所述第一差異、所述第二差異、所述第三差異和第四差異，得到所述待訓練網路的損失。
第三方面，提供了一種處理器，所述處理器被配置為執行如上述第一方面及其任意一種可能實現的方式的方法。
第四方面，提供了一種電子設備，包括：處理器、發送裝置、輸入裝置、輸出裝置和記憶體，所述記憶體被配置為儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，在所述處理器執行所述電腦指令的情況下，所述電子設備執行如上述第一方面及其任意一種可能實現的方式的方法。
第五方面，提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，在所述程式指令被處理器執行的情況下，使所述處理器執行如上述第一方面及其任意一種可能實現的方式的方法。
第六方面，提供了一種電腦程式，包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，使得所述電子設備中的處理器執行上述第一方面及其任一種可能的實現方式的方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
為了使本技術領域的人員更好地理解本發明實施例方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明實施例的一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明實施例保護的範圍。
本發明實施例的說明書和請求項書及上述附圖中的術語“第一”、“第二”等是用於區別不同對象，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或部分的過程、方法、系統、產品或設備沒有限定於已列出的步驟或部分，而是可選地還包括沒有列出的步驟或部分，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或部分。
在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本發明實施例的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。
相較於通過膠片相機進行攝影，在數位攝影中，是否正確曝光，是決定拍攝得到的圖像品質的重要因素之一。合適的EV（Exposure Values）可使圖像中的被拍攝對象的明暗對比合適，而曝光量低易導致圖像的亮度過低、曝光量過大易導致圖像的亮度過高。因此，合適的曝光量可提高圖像的高品質。
由於攝影者無法確定合適的曝光量，導致拍攝得到的圖像（下文將稱為參考圖像）的品質低。在傳統方法中，通過調整參考圖像的曝光量，得到處理後的圖像。對參考圖像和處理後的圖像進行融合處理，提升參考圖像的品質，得到融合後的圖像。舉例來說（例1），假設參考圖像的曝光量為2EV。通過調整參考圖像的曝光量，使參考圖像的曝光量降低1EV，得到處理後的圖像，其中，處理後的圖像的曝光量為1EV。對參考圖像和處理後的圖像進行融合處理，得到融合後的圖像，其中融合後的圖像的曝光量處於[1EV，2EV]之間。
為表述方便，本發明實施例中，[
Figure 02_image001
，
Figure 02_image003
]表示大於或等於
Figure 02_image001
且小於或等於
Figure 02_image003
的取值區間。
在例1中，參考圖像的內容與處理後的圖像的內容相同，但參考圖像的曝光量與處理後的圖像的曝光量不同。通過將參考圖像與處理後的圖像融合，得到的融合後的圖像的內容與參考圖像的內容相同，但融合後的圖像的曝光量與參考圖像的曝光量不同。這樣，可通過將參考圖像和處理後的圖像融合，達到調整參考圖像的曝光量的效果，進而提升參考圖像的品質。
為表述方便，下文將內容相同、曝光量不同的至少兩張圖像稱為包圍曝光圖像。例如，例1中的參考圖像和處理後的圖像即為包圍曝光圖像。在一些實施例中，圖像的類型可以是RAW圖像或者經過圖像信號處理（Image Signal Processing，ISP ）後的YUV圖像或者RGB圖像等，還可以是其他圖像的類型，在此不做限定。又例如，圖像a的內容、圖像b的內容、圖像c的內容均相同，圖像a的曝光量為1EV、圖像b的曝光量為-1EV、圖像c的曝光量為2EV，則圖像a、圖像b和圖像c為包圍曝光圖像。再例如，圖1a所示的圖像與圖1b所示的圖像為內容相同、曝光量不同的兩張圖像，即圖1a所示的圖像與圖1b所示的圖像為包圍曝光圖像。
在包圍曝光圖像融合的過程中，通過為不同的圖像設置不同的權重，並基於該權重對包圍曝光圖像進行加權求和，可在不改變圖像內容的前提下，得到曝光量合適的圖像。例如（例2），在例1中，假設參考圖像的權重為0.6，處理後的圖像的權重為0.4，融合後的圖像的曝光量為
Figure 02_image005
EV。
因為包圍曝光圖像中不同圖元點的明暗程度不一致，所以不同圖元點所需的曝光量的調整幅度不同。例如，在參考圖像中，由於圖元點A的曝光量小導致圖元點A暗、圖元點B的曝光量大導致圖元點B亮。顯然，對於圖元點A，需要將曝光量調大，以使圖元點A的亮度增大，而對於圖元點B，需要將曝光量調小，以使圖元點B的亮度減小。由於在對參考圖像和處理後的圖像進行融合的過程中，並未考慮圖像中不同圖元點的明暗程度，導致通過傳統方法得到的融合後的圖像的品質低。例如，在例2中，在對包圍曝光圖像進行融合的過程中，無論是亮的圖元點還是暗的圖元點，參考圖像中的圖元點的權重均為0.6，且處理後的圖像中的圖元點的權重均為0.4。
本發明實施例提供了一種技術方案，可在對包圍曝光圖像進行融合的過程中，基於圖元點的明暗程度，確定圖元點的權重，進而提高融合後的圖像的品質。
本發明實施例的執行主體為圖像處理裝置，在一些可能的實現方式中，圖像處理裝置可以是以下中的一種：手機、電腦、伺服器和平板電腦。下面結合本發明實施例中的附圖對本發明實施例進行描述。
請參閱圖2，圖2是本發明實施例提供的一種圖像處理方法的流程示意圖。
201、獲取第一待處理圖像和第二待處理圖像。
本發明實施例中，第一待處理圖像和第二待處理圖像為包圍曝光圖像。
在一種獲取第一待處理圖像和第二待處理圖像的實現方式中，圖像處理裝置接收使用者通過輸入元件輸入的第一待處理圖像和第二待處理圖像。上述輸入元件包括：鍵盤、滑鼠、觸控螢幕、觸控板和音頻輸入器等。
在另一種獲取第一待處理圖像和第二待處理圖像的實現方式中，圖像處理裝置接收第一終端發送的第一待處理圖像和第二待處理圖像。在一些可能的實現方式中，第一終端可以是以下任意一種：手機、電腦、平板電腦、伺服器和可穿戴設備。
在又一種獲取第一待處理圖像和第二待處理圖像的實現方式中，圖像處理裝置在獲取第一待處理圖像後，通過對第一待處理圖像進行處理，調整第一待處理圖像的曝光量，得到第二待處理圖像。例如，圖像處理裝置獲取到的第一待處理圖像的EV為2。圖像處理裝置對第一待處理圖像進行處理，使第一待處理圖像的EV減一，得到第二待處理圖像，其中，第二待處理圖像的EV為1。
202、對上述第一待處理圖像和上述第二待處理圖像進行特徵提取處理，得到第一特徵圖像。
本發明實施例中，特徵提取處理可以是卷積處理，也可以是池化處理，還可以是卷積處理和池化處理的結合，或者其他可以提取特徵的處理，不限於此。在一些可能的實現方式中，特徵提取處理可通過卷積神經網路實現，也可通過特徵提取模型實現，本發明對此不做限定。
在一種可能實現的方式中，特徵提取處理通過卷積神經網路實現。通過將帶有標注資訊的包圍曝光圖像作為訓練資料，對卷積神經網路進行訓練，使訓練後的卷積神經網路可完成對第一待處理圖像和第二待處理圖像的特徵提取處理。訓練資料中的圖像的標注資訊可以為包圍曝光圖像中的圖元點的明暗資訊。在使用訓練資料對卷積神經網路進行訓練的過程中，卷積神經網路從包圍曝光圖像中提取出圖像的特徵圖像，作為訓練結果。以標注資訊為監督資訊，監督卷積神經網路在訓練過程中得到的訓練結果，並調整卷積神經網路的參數，完成對卷積神經網路的訓練。這樣，可使用訓練後的卷積神經網路對第一待處理圖像和第二待處理圖像進行處理，得到第一特徵圖像，其中，第一特徵圖像攜帶第一待處理圖像中的圖元點的明暗資訊和第二待處理圖像中的圖元點的明暗資訊。
在另一種可能實現的方式中，通過至少兩層卷積層對第一待處理圖像和第二待處理圖像逐層進行卷積處理，完成對第一待處理圖像和第二待處理圖像的特徵提取處理，得到第一待處理圖像和第二待處理圖像的特徵圖像。至少兩層卷積層中的卷積層依次串聯，即上一層卷積層的輸出為下一層卷積層的輸入，在對第一待處理圖像和第二待處理圖像進行特徵提取處理的過程中，每層卷積層提取出的內容及語義資訊均不一樣，具體表現為，特徵提取處理一步步地將第一待處理圖像的特徵抽象出來，同時也將逐步丟棄相對次要的特徵資訊，其中，相對次要的特徵資訊指除圖元點的明暗資訊之外的特徵資訊。因此，越到後面提取出的特徵圖像的尺寸越小，但內容及語義資訊更濃縮。通過多層卷積層逐級對第一待處理圖像和第二待處理圖像進行卷積處理，可在得到第一特徵圖像攜帶第一待處理圖像中的圖元點的明暗資訊和第二待處理圖像中的圖元點的明暗資訊的同時，將第一待處理圖像和第二待處理圖像的尺寸縮小，減小圖像處理裝置的資料處理量，提高圖像處理裝置的處理速度。
在一些可能的實現方式中，上述卷積處理的實現過程如下：通過使卷積核在第一待處理圖像和第二待處理圖像上滑動，並將第一待處理圖像和第二待處理圖像上與卷積核的中心圖元點對應的圖元點作為目標圖元點，將第一待處理圖像和第二待處理圖像上的圖元值與卷積核上對應的數值相乘，然後將所有相乘後的值相加得到卷積處理後的圖元值。將卷積處理後的圖元值作為目標圖元點的圖元值。最終滑動處理完第一待處理圖像和第二待處理圖像，更新第一待處理圖像和第二待處理圖像中所有圖元點的圖元值，完成對第一待處理圖像和第二待處理圖像的卷積處理，得到第一待處理圖像和第二待處理圖像的特徵圖像。示例性的，上述至少兩層卷積層中的卷積核的尺寸均為3*3，卷積處理的步長為2。
203、依據上述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重。
本發明實施例中，第一圖元點為第一待處理圖像中的任意一個圖元點，第二圖元點為第二待處理圖像中的圖元點，且第一圖元點與第二圖元點互為同名點，即第一圖元點所表徵的物理點與第二圖元點所表徵的物理點相同。例如，圖4所示的兩張圖像為包圍曝光圖像，其中，圖元點A與圖元點B互為同名點，圖元點C與圖元點D互為同名點。
第一權重為在後續對第一待處理圖像和第二待處理圖像進行融合的過程中，第一圖元點的權重。第二權重為在後續對第一待處理圖像和第二待處理圖像進行融合的過程中，第二圖元點的權重。
第一特徵圖像中的圖元值攜帶圖元點的明暗資訊。因此，可依據第一特徵圖像中與第一圖元點對應的圖元點（下文將稱為第一參考圖元點）的圖元值，確定第一圖元點的權重，作為第一權重。依據第一特徵圖像中與第二圖元點對應的圖元點（下文將稱為第二參考圖元點）的圖元值，確定第二圖元點的權重，作為第二權重。
例如，假設第三待處理圖像為將第一待處理圖像和第二待處理圖像進行通道維度上的拼接（concatenate）得到的圖像。對第一待處理圖像和第二待處理圖像進行特徵提取處理，可通過對第三待處理圖像進行特徵提取處理實現。對第三待處理圖像進行特徵提取處理，得到的第一特徵圖像的尺寸，與第三待處理圖像的尺寸相同。第一參考圖元點在第一特徵圖像中的位置與第一圖元點在第一待處理圖像中的位置相同，第二參考圖元點在第一特徵圖像中的位置與第二圖元點在第二待處理圖像中的位置相同。
又例如，第一特徵圖像包括第一特徵子圖像和第二特徵子圖像，其中，第一特徵子圖像通過對第一待處理圖像進行特徵提取處理得到，第二特徵子圖像通過對第二待處理圖像進行特徵提取處理得到。將第一特徵子圖像中與第一圖元點對應的圖元點稱為第一參考圖元點，第一參考圖元點在第一特徵子圖像中的位置與第一圖元點在第一待處理圖像中的位置相同，第二參考圖元點在第二特徵子圖像中的位置與第二圖元點在第二待處理圖像中的位置相同。
本發明實施例中，兩張圖像中相同位置的圖元點可參見圖3，如圖3所示，圖元點A11 在圖像A中的位置與圖元點B11 在圖像B中的位置相同，圖元點A12 在圖像A中的位置與圖元點B12 在圖像B中的位置相同，圖元點A13 在圖像A中的位置與圖元點B13 在圖像B中的位置相同，圖元點A21 在圖像A中的位置與圖元點B21 在圖像B中的位置相同，圖元點A22 在圖像A中的位置與圖元點B22 在圖像B中的位置相同，圖元點A23 在圖像A中的位置與圖元點B23 在圖像B中的位置相同，圖元點A31 在圖像A中的位置與圖元點B31 在圖像B中的位置相同，圖元點A32 在圖像A中的位置與圖元點B32 在圖像B中的位置相同，圖元點A33 在圖像A中的位置與圖元點B33 在圖像B中的位置相同。
假設：第一權重為
Figure 02_image007
，第二權重為
Figure 02_image009
，第一特徵圖像中與第一圖元點對應的圖元點的圖元值為
Figure 02_image011
，第一特徵圖像中與第一圖元點對應的圖元點的圖元值為
Figure 02_image013
。
在一種可能實現的方式中，
Figure 02_image007
，
Figure 02_image009
，
Figure 02_image011
，
Figure 02_image013
滿足下式：
Figure 02_image015
…                             公式（1） 其中，
Figure 02_image017
和
Figure 02_image019
均為正數，在一些可能的實現方式中，
Figure 02_image021
。
在另一種可能實現的方式中，
Figure 02_image007
，
Figure 02_image009
，
Figure 02_image011
，
Figure 02_image013
滿足下式：
Figure 02_image023
…                           公式（2） 其中，
Figure 02_image017
和
Figure 02_image019
均為正數，
Figure 02_image025
和
Figure 02_image027
為實數，在一些可能的實現方式中，
Figure 02_image021
，
Figure 02_image029
。
204、依據上述第一權重和上述第二權重，對上述第一待處理圖像和上述第二待處理圖像進行融合處理，得到融合後的圖像。
在得到第一權重和第二權重後，可在對第一待處理圖像和第二待處理圖像進行融合處理的過程中，使用第一權重和第二權重對第一圖元點的圖元值和第二圖元點的圖元值進行加權求和，以實現對第一圖元點和第二圖元點的融合合，具體可以採用下式：
Figure 02_image031
公式（3） 其中，O代表融合後的圖像，
Figure 02_image033
代表圖元點i的權重，
Figure 02_image035
代表圖元點i的圖元值。
舉例來說，假設第一圖元點的圖元值為130、第二圖元點的圖元值為30、第一權重為0.4、第二權重為0.6。使用第一權重和第二權重對第一圖元點的圖元值和第二圖元點的圖元值進行加權求和，得到融合後的圖像中的第四圖元點的圖元值，第四圖元點與第一圖元點、第二圖元點互為同名點，第四圖元點的圖元值為：
Figure 02_image037
。
需要理解的是，本實施例以第一圖元點和第二圖元點為處理對象，描述了基於第一圖元點的圖元值和第二圖元點的圖元值，得到第四圖元點的圖元值的處理過程，而在實際應用中，可基於第一待處理圖像和第二待處理圖像中所有同名點的圖元值，得到融合後的圖像中的所有圖元點的圖元值。
舉例來說，第一待處理圖像包括圖元點a、圖元點b，第二待處理圖像包括圖元點c、圖元點d，其中，圖元點a和圖元點c互為同名點、圖元點b和圖元點d互為同名點，圖元點a的圖元值為40、圖元點b的圖元值為60、圖元點c的圖元值為80、圖元點d的圖元值為30。對第一待處理圖像和第二待處理圖像進行特徵提取處理，確定圖元點a的權重為0.4、圖元點b的權重為0.3、圖元點c的權重為0.6、圖元點d的權重為0.7。通過對第一待處理圖像和第二待處理圖像進行融合處理，得到融合後的圖像。融合後的圖像包括圖元點e和圖元點f，其中，圖元點e與圖元點a、圖元點c互為同名點，圖元點f與圖元點b、圖元點d互為同名點。圖元點e的圖元值為：
Figure 02_image039
，圖元點f的圖元值為：
Figure 02_image041
。
在一些可能的實現方式中，步驟202和步驟203均可通過卷積神經網路實現。通過將包圍曝光圖像作為訓練資料、將監督圖像作為監督資料，對卷積神經網路進行訓練，使訓練後的卷積神經網路可完成對第一待處理圖像和第二待處理圖像的特徵提取處理，其中，監督圖像的內容與訓練資料的內容相同，但監督圖像的曝光量比訓練資料的曝光量更合適。在使用訓練資料對卷積神經網路進行訓練的過程中，卷積神經網路從包圍曝光圖像中提取出特徵圖像，並依據特徵圖像確定包圍曝光圖像中圖元點的權重。基於包圍曝光圖像中圖元點的權重，對包圍曝光圖像進行融合，得到訓練得到的圖像。基於訓練得到的圖像與監督圖像之間的差異，確定卷積神經網路的損失，並基於該損失調整卷積神經網路的參數，完成對卷積神經網路的訓練。這樣，可使用訓練後的卷積神經網路對第一待處理圖像和第二待處理圖像進行處理，得到第一圖元點的第一權重和第二圖元點的第二權重，並基於第一權重和第二權重，對第一待處理圖像和第二待處理圖像進行融合，得到融合後的圖像。
需要理解的是，在本發明實施例中，包圍曝光圖像包括兩張圖像，即第一待處理圖像和第二待處理，通過對第一待處理圖像和第二待處理圖像進行處理，可得到融合後的圖像。在實際應用中，包圍曝光圖像還可包括三張圖像或三張以上的圖像，而基於本發明實施例提供的技術方案，可對三張圖像或三張以上的圖像進行處理，得到融合後的圖像，其中，融合後的圖像的曝光量比包圍曝光圖像中的任意一張圖像的曝光量均更合適。例如，包圍曝光圖像包括圖像a、圖像b和圖像c。對圖像a、圖像b和圖像c進行特徵提取處理，得到第一權重圖像、第二權重圖像和第三權重圖像，其中，第一權重圖像包括圖像a中每個圖元點的權重，第二權重圖像包括圖像b中每個圖元點的權重，第三權重圖像包括圖像c中每個圖元點的權重。依據第一權重圖像、第二權重圖像和第三權重圖像，對圖像a、圖像b和圖像c進行融合處理，可得到融合後的圖像。本發明實施例通過對第一待處理圖像和第二待處理圖像進行特徵提取處理，得到第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊。基於第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊，得到第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，可達到使明暗程度不同的圖元點的權重不同的效果，從而在基於第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，對第一待處理圖像和第二待處理圖像進行融合處理的過程中，可提高得到的融合後的圖像的品質。
請參閱圖5，圖5是本發明實施例提供的步驟202的一種可能實現的方法的流程示意圖。
501、對上述第一待處理圖像和上述第二待處理圖像進行拼接處理，得到第三待處理圖像。
本實施例中，拼接處理為在通道維度上的拼接處理，即第三待處理圖像的寬（即列數）為第一待處理圖像的寬（即列數）和第二待處理圖像的寬（即列數）的和，第三待處理圖像的高（即行數）為第一待處理圖像的高（即行數）和第二待處理圖像的高（即行數）的和。第一待處理圖像和第二待處理圖像進行拼接處理的實現過程，可參見圖6。
由於第一待處理圖像中的圖元值的取值範圍，和第二待處理圖像中的圖元值的取值範圍可能不同，這將給圖像處理裝置在對第一待處理圖像和第二待處理圖像進行處理的過程中，帶來困難。例如（例3），第一待處理圖像為通過成像設備A採集的圖像，第一待處理圖像的圖元值的取值範圍為[0,255]，第二待處理圖像為通過成像設備B採集的圖像，第二待處理圖像的圖元值的取值範圍為[0,1000]，其中，成像設備A和成像設備B可以是攝影頭、攝影機和相機中的一種。顯然，圖元值的取值範圍不同，給圖像處理裝置處理增加了難度。接著例3繼續舉例，第一待處理圖像中圖元值為200的圖元點所表徵的明暗程度，與第二待處理圖像中圖元值為200的圖元點所表徵的明暗程度不同。
為減小圖元值的取值範圍不同給圖像裝置的處理帶來的難度，在一些可能的實施方式，在對第一待處理圖像和第二待處理圖像進行拼接處理之前，可分別對第一待處理圖像和第二待處理圖像的圖元值進行歸一化處理，將第一待處理圖像的圖元值和第二待處理圖像的圖元值歸一化至[0,1]，得到歸一化處理後的第一待處理圖像和歸一化處理後的第二待處理圖像。
在一種對圖像（包括第一待處理圖像和第二待處理圖像）的圖元值進行歸一化處理的實現方式中，假設圖像中目標圖元點的圖元值為
Figure 02_image043
，圖像的圖元值的取值範圍為[
Figure 02_image045
]，對目標圖元點的圖元值進行歸一化處理後，得到的圖元值為
Figure 02_image047
，則
Figure 02_image047
、
Figure 02_image043
、
Figure 02_image049
、
Figure 02_image051
滿足下式：
Figure 02_image053
公式（4）。
舉例來說，第一待處理圖像包括圖元點a，圖元點a的圖元值為153，第一待處理圖像中圖元值的取值範圍為[0,255]。對第一待處理圖像進行歸一化處理後，圖元點a的圖元值為：
Figure 02_image055
。
再舉例來說，第二待處理圖像包括圖元點b，圖元點b的圖元值為320，第二待處理圖像中圖元值的取值範圍為[0,800]。對第二待處理圖像進行歸一化處理後，圖元點b的圖元值為：
Figure 02_image057
。
在得到歸一化處理後的第一待處理圖像和歸一化處理後的第二待處理圖像後，步驟501具體包括： 對歸一化處理後的第一待處理圖像和歸一化處理後的第二待處理圖像進行拼接處理，得到第三待處理圖像。
本步驟中，拼接處理也為在通道維度上的拼接處理，即第三待處理圖像的寬（即列數）為歸一化處理後的第一待處理圖像的寬（即列數）和歸一化處理後的第二待處理圖像的寬（即列數）的和，第三待處理圖像的高（即行數）為歸一化處理後的第一待處理圖像的高（即行數）和歸一化處理後的第二待處理圖像的高（即行數）的和。
502、提取上述第三待處理圖像中的圖元點的特徵資訊，得到第二特徵圖像。
本步驟中，可通過對第三待處理圖像進行卷積處理，提取第三待處理圖像中的圖元點的特徵資訊。卷積處理的實現過程可參見步驟202中卷積處理的實現過程，其中，第三待處理圖像與步驟202中的第一待處理圖像和第二待處理圖像對應，第二特徵圖像與步驟202中的第一特徵圖像對應。
503、對上述第二特徵圖像進行歸一化處理，得到第三特徵圖像。
在對第三待處理圖像進行特徵提取處理的過程中，第三待處理圖像經過卷積層的處理後，第三待處理圖像中的資料分佈都會發生變化，即第二特徵圖像中的資料分佈與第三待處理圖像中的資料分佈不同，這將給接下來對第二特徵圖像的處理帶來困難。因此，在對第二待處理圖像進行接下來的處理之前，可對第二特徵圖像進行歸一化處理，以使第二特徵圖像中的資料分佈與第三待處理圖像中的資料分佈接近。
在一些可能的實現方式中，對第二特徵圖像進行歸一化處理的過程可參見下文： 假設第二特徵圖像為
Figure 02_image059
，共
Figure 02_image061
個資料，輸出是
Figure 02_image063
，BN層將對第二特徵圖像進行如下處理： 求出第二特徵圖像
Figure 02_image059
的平均值，即下式：
Figure 02_image065
公式（5） 根據上述平均值
Figure 02_image067
，確定上述第二特徵圖像的方差，即下式：
Figure 02_image069
公式（6） 根據上述平均值
Figure 02_image067
和方差
Figure 02_image071
，對上述第二特徵圖像進行歸一化處理，得到
Figure 02_image073
； 基於縮放變數
Figure 02_image075
和平移變數
Figure 02_image077
，得到第三特徵圖像，即下式：
Figure 02_image079
公式（7） 其中，
Figure 02_image075
和
Figure 02_image077
均為已知。
504、對上述第三特徵圖像進行非線性變換，得到上述第一特徵圖像。
由於卷積處理以及歸一化處理無法處理具有複雜映射的資料，例如圖像、視頻、音頻和語音等等。因此，需要通過對歸一化處理後的資料進行非線性變換，來處理具有複雜映射的資料。
在一些可能的實現方式中，通過啟動函數對歸一化後的圖像進行非線性變換，以處理複雜映射。在一些可能實現的方式中，將第三特徵圖像代入帶參數的線性整流函數(parametric rectified linear unit，PReLU)，實現對第三特徵圖像的非線性變換，得到第一特徵圖像。第一特徵圖像中每個圖元點的圖元值均包含明暗資訊，依據第一特徵圖像中一個圖元點的圖元值，可得到第一待處理圖像中一個圖元點的權重或第二待處理圖像中一個圖元點的權重。由於在對第三待處理圖像進行卷積處理得到第二特徵圖像的過程中，可能使第三待處理圖像的尺寸縮小，第二特徵圖像的尺寸可能小於第三待處理圖像的尺寸，進而使基於第三特徵圖像得到的第三待處理圖像的權重的尺寸小於第三待處理圖像的尺寸。這樣，將無法確定第三待處理圖像中的部分圖元點的權重。
舉例來說，如圖7所示，通過對圖6所示的第三待處理圖像進行卷積處理，得到的第一特徵圖像的尺寸小於第三待處理圖像的尺寸。如圖7所示，第一特徵圖像包括4個圖元點，依據這4個圖元點的圖元值，可得到4個權重，但圖6所示的第一待處理圖像和第二待處理圖像均包括9個圖元點。顯然，依據第一特徵圖像不能確定第一待處理圖像和第二待處理圖像中所有圖元點的權重。
在一些可能的實現方式中，在第一特徵圖像的尺寸小於第三待處理圖像的尺寸的情況下，步驟504具體包括以下步驟。
51、對上述第三特徵圖像進行非線性變換，得到第四特徵圖像。
本步驟的實現過程可參見步驟404中“對上述第三特徵圖像進行非線性變換，得到上述第一特徵圖像”的實現過程。需要理解的是，在本步驟中，對上述第三特徵圖像進行非線性變換，得到的是第四特徵圖像，而不是第一特徵圖像。
52、對上述第四特徵圖像進行上採樣處理，得到上述第一特徵圖像。
由於第一特徵圖像的尺寸小於第三待處理圖像，第四特徵圖像的尺寸與第一特徵圖像的尺寸相同，第四特徵圖像的尺寸也小於第三待處理圖像。因此，需要增大第四特徵圖像的尺寸，使第四特徵圖像的尺寸與第三待處理圖像的尺寸相同。
在一種可能的實現方式中，對第四特徵圖像進行上採樣處理，得到第一特徵圖像。上述上採樣處理可以是以下中的一種：雙線性插值處理、最鄰近插值處理、高階插值和反卷積處理。
本實施例中，通過對第三待處理圖像進行卷積處理，在減小圖像處理裝置的資料處理量的同時，提取出第三待處理圖像中圖元點的特徵資訊，得到第二特徵圖像。對第二特徵圖像依次進行歸一化處理和非線性變換，以提高得到第二特徵圖像中的資訊的有效性。
本發明實施例還提供了一種圖像處理網路，可用於實現前文所提及的技術方案。請參閱圖8，圖8為本發明實施例提供的示例性的一種圖像處理網路的結構示意圖。如圖8所示，圖像處理網路中的網路層依次串聯，共包含十二層卷積層和一層上採樣層。
在十二層卷積層中，第一層卷積層中卷積核的尺寸、第三層卷積層中卷積核的尺寸、第五層卷積層中卷積核的尺寸、第七層卷積層中卷積核的尺寸、第九層卷積層中卷積核的尺寸和第十一層卷積層中卷積核的尺寸均為3×3，第二層卷積層中卷積核的尺寸、第四層卷積層中卷積核的尺寸、第六層卷積層中卷積核的尺寸、第八層卷積層中卷積核的尺寸、第十層卷積層中卷積核的尺寸和第十二層卷積層中的卷積核的尺寸均為1×1。第一層卷積層中卷積核的數量、第二層卷積層中卷積核的數量、第四層卷積層中卷積核的數量、第六層卷積層中卷積核的數量、第八層卷積層中卷積核的數量和第十層卷積層中卷積核的數量均為6，第三層卷積層中卷積核的數量、第五層卷積層中卷積核的數量、第七層卷積層中卷積核的數量、第九層卷積層中卷積核的數量和第十一層卷積層中卷積核的數量均為6，第十二層卷積層中卷積核的數量為K，其中，K為正整數，即本發明實施例對第十二層卷積層中卷積核的數量不做限定。第一層卷積層中卷積核的步長為2，其餘十一層卷積層中卷積核的步長均為1。
在一些可能的實現方式中，除第十二層卷積層之外的每一層卷積層後都連接有一個歸一化（batchnorm，BN）層和啟動層（圖8中未示出），其中，BN層用於對輸入的資料進行歸一化處理，啟動層用於對輸入的資料進行啟動處理。例如，第一層卷積層輸出的資料登錄至BN層，經BN層對第一層輸出的資料進行處理，得到第一中間資料。將第一中間資料登錄至啟動層，經啟動層對第一中間資料進行處理，得到第二中間資料，將第二中間資料登錄至第二層卷積層。
圖像處理網路對輸入的第一待處理圖像和第二待處理圖像進行拼接處理，得到第三待處理圖像。第三待處理圖像依次經第一層卷積層、第二層卷積層、…、第十二層卷積層的處理後，得到第四特徵圖像。將第四特徵圖像輸入至上採樣層，經上採樣層對第四特徵圖像進行上採樣處理，得到第一特徵圖像。基於第一特徵圖像，可確定第一待處理圖像中每個圖元點的權重，以及，確定第二待處理圖像中每個圖元點的權重。基於第一待處理圖像中每個圖元點的權重和第二待處理圖像中每個圖元點的權重，對第一待處理圖像和第二待處理圖像進行融合，得到融合後的圖像。
在應用圖8所示的圖像處理網路對第一待處理圖像和第二待處理圖像進行處理之前，需對圖像處理網路進行訓練。為此，本發明實施例還提供了一種圖像處理網路的訓練方法。
請參閱圖9，圖9是本發明實施例提供的一種圖像處理神經網路的訓練方法的流程示意圖。本實施例的執行主體可以是圖像處理裝置，也可以不是圖像裝置，即圖像處理神經網路的訓練方法的執行主體，與使用圖像處理網路對待處理圖像進行處理的執行主體可以相同，也可以不同，本發明實施例對本實施例的執行主體不做限定。為表述方便，下文將本實施例的執行主體稱為訓練裝置，在一些可能的實現方式中，訓練裝置可以是以下任意一種：手機、電腦、平板電腦和伺服器。
901、獲取第一樣本圖像、第二樣本圖像、監督資料和待訓練網路。
本發明實施例中，第一樣本圖像與第二樣本圖像為包圍曝光圖像。上述監督資料為通過將第一樣本圖像和第二樣本圖像融合得到的圖像（下文將稱為參考圖像），其中，參考圖像的內容與第一樣本圖像和第二樣本圖像的內容相同，但參考圖像的曝光量比第一樣本圖像和第二樣本圖像的曝光量更合適。
本發明實施例中，待訓練網路的網路結構與圖像處理網路的網路結構相同，具體可參見圖8。
在一種獲取待訓練網路的實現方式中，訓練裝置接收使用者通過輸入元件輸入的待訓練網路。上述輸入元件包括：鍵盤、滑鼠、觸控螢幕、觸控板和音頻輸入器等。
在另一種獲取待訓練網路的實現方式中，訓練裝置接收第二終端發送的待訓練網路。在一些可能的實現方式中，上述第二終端可以是以下任意一種：手機、電腦、平板電腦、伺服器和可穿戴設備。
902、使用上述待訓練網路對上述第一樣本圖像和上述第二樣本圖像進行處理，得到融合後的樣本圖像。
使用待訓練網路對第一樣本圖像和第二樣本圖像進行處理，可得到融合後的樣本圖像，其中，融合後的樣本圖像的內容與第一樣本圖像和第二樣本圖像相同，融合後的樣本圖像的曝光量與第一樣本圖像的曝光量和第二樣本圖像的曝光量不同。
903、依據上述融合後的樣本圖像與上述監督資料之間的差異，得到上述待訓練網路的損失。
在一種確定融合後的樣本圖像與監督資料之間的差異的實現方式中，假設參考圖像為
Figure 02_image081
，融合後的樣本圖像為
Figure 02_image083
，融合後的樣本圖像與監督資料之間的差異為
Figure 02_image085
，其中，
Figure 02_image087
、
Figure 02_image083
、
Figure 02_image089
滿足下式：
Figure 02_image091
公式（8） 其中，
Figure 02_image093
為
Figure 02_image095
的1範數。
在另一種確定融合後的樣本圖像與監督資料之間的差異的實現方式中，假設參考圖像為
Figure 02_image081
，融合後的樣本圖像為
Figure 02_image083
，融合後的樣本圖像與監督資料之間的差異為
Figure 02_image085
，其中，
Figure 02_image087
、
Figure 02_image083
、
Figure 02_image089
滿足下式：
Figure 02_image097
公式（9） 其中，
Figure 02_image099
為
Figure 02_image095
的2範數。
在又一種確定融合後的樣本圖像與監督資料之間的差異的實現方式中，假設參考圖像為
Figure 02_image081
，融合後的樣本圖像為
Figure 02_image083
，融合後的樣本圖像與監督資料之間的差異為
Figure 02_image085
，其中，
Figure 02_image087
、
Figure 02_image083
、
Figure 02_image085
滿足下式：
Figure 02_image101
公式（10） 其中，
Figure 02_image103
為
Figure 02_image095
的F範數。
在確定融合後的樣本圖像與監督資料之間的差異後，可依據融合後的樣本圖像與監督資料之間的差異，確定待訓練網路的損失。
在一種確定待訓練網路的損失的實現方式中，假設融合後的樣本圖像與監督資料之間的差異為
Figure 02_image089
，待訓練神經網路的損失為
Figure 02_image105
，其中，
Figure 02_image107
滿足下式：
Figure 02_image109
公式（11） 其中，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image111
。
在另一種確定待訓練網路的損失的實現方式中，假設融合後的樣本圖像與監督資料之間的差異為
Figure 02_image089
，待訓練神經網路的損失為
Figure 02_image105
，其中，
Figure 02_image107
滿足下式：
Figure 02_image113
公式（12） 其中，
Figure 02_image061
為實數，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image111
。
在又一種確定待訓練網路的損失的實現方式中，假設融合後的樣本圖像與監督資料之間的差異為
Figure 02_image089
，待訓練神經網路的損失為
Figure 02_image105
，其中，
Figure 02_image117
滿足下式：
Figure 02_image119
公式（13） 其中，
Figure 02_image061
為實數，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image111
。
基於融合後的樣本圖像與監督資料之間的差異，確定待訓練網路的損失。在後續處理中，基於待訓練網路的損失調整待訓練網路的參數，得到圖像處理網路，可減小通過圖像處理網路得到的融合後的樣本圖像與參考圖像的差異，從而提高使用圖像處理網路得到的融合後的圖像的品質。
作為一種在一些可能的實現方式中實施方式，在執行步驟903之前，可執行以下步驟。
91、依據融合後的樣本圖像中梯度的方向和監督資料中梯度的方向之間的差異，得到第一差異。
在一種得到第一差異的實現方式中，假設參考圖像為梯度為
Figure 02_image121
，融合後的樣本圖像的梯度為
Figure 02_image123
，第一差異為
Figure 02_image089
，其中，
Figure 02_image125
、
Figure 02_image123
、
Figure 02_image089
滿足下式：
Figure 02_image127
公式（14） 其中，
Figure 02_image017
為正數，在一些可能的實現方式中
Figure 02_image111
。
本發明實施例中，
Figure 02_image129
公式（15）。
在一種得到第一差異的實現方式中，假設參考圖像為梯度為
Figure 02_image121
，融合後的樣本圖像的梯度為
Figure 02_image123
，第一差異為
Figure 02_image089
，其中，
Figure 02_image125
、
Figure 02_image123
、
Figure 02_image131
滿足下式：
Figure 02_image133
公式（16） 其中，
Figure 02_image061
為實數，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image111
。
在又一種得到第一差異的實現方式中，假設參考圖像為梯度為
Figure 02_image121
，融合後的樣本圖像的梯度為
Figure 02_image123
，第一差異為
Figure 02_image089
，其中，
Figure 02_image125
、
Figure 02_image123
、
Figure 02_image131
滿足下式：
Figure 02_image135
公式（17） 其中，
Figure 02_image061
為實數，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image111
。
在得到第一差異後，步驟903具體包括以下步驟。
92、依據融合後的樣本圖像與監督資料之間的差異，得到第二差異。
確定融合後的樣本圖像與監督資料之間的差異的實現方式可參見步驟903。
在一種確定第二差異的實現方式中，假設融合後的樣本圖像與監督資料之間的差異為
Figure 02_image085
，第二差異為
Figure 02_image131
，其中，
Figure 02_image137
、
Figure 02_image131
滿足下式：
Figure 02_image139
公式（18） 其中，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image111
。
在另一種確定第二差異的實現方式中，假設融合後的樣本圖像與監督資料之間的差異為
Figure 02_image085
，第二差異為
Figure 02_image131
，其中，
Figure 02_image137
、
Figure 02_image131
滿足下式：
Figure 02_image141
公式（19） 其中，
Figure 02_image061
為實數，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image111
。
在又一種確定第二差異的實現方式中，假設融合後的樣本圖像與監督資料之間的差異為
Figure 02_image085
，第二差異為
Figure 02_image131
，其中，
Figure 02_image137
、
Figure 02_image131
滿足下式：
Figure 02_image143
公式（20） 其中，
Figure 02_image061
為實數，
Figure 02_image017
為正數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image111
。
93、依據第一差異和第二差異，得到待訓練網路的損失。
在一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image105
滿足下式：
Figure 02_image145
公式（21） 其中，
Figure 02_image017
和
Figure 02_image147
均為正數，在一些可能的實現方式中，
Figure 02_image149
。
在另一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image105
滿足下式：
Figure 02_image151
公式（22） 其中，
Figure 02_image017
和
Figure 02_image147
均為正數，
Figure 02_image061
為實數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image149
。
在又一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image105
滿足下式：
Figure 02_image153
公式（23） 其中，
Figure 02_image017
和
Figure 02_image147
均為正數，
Figure 02_image061
為實數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image149
。
基於第一差異，確定待訓練網路的損失。在後續處理中，基於待訓練網路的損失調整待訓練網路的參數，得到圖像處理網路，可減小通過圖像處理網路得到的融合後的樣本圖像與參考圖像的差異。基於第二差異，確定待訓練網路的損失。在後續處理中，基於待訓練網路的損失調整待訓練網路的參數得到圖像處理網路，使用圖像處理網路對第一樣本圖像和第二樣本圖像進行處理得到融合後的樣本圖像，可使融合後的樣本圖像的梯度方向與參考圖像的梯度方向相同，尤其可調整反方向梯度圖元點區域的梯度，使反方向梯度圖元點區域的梯度與參考圖像的梯度方向相同，以使融合後的樣本圖像中的邊緣更平滑，進而使融合後的樣本圖像的融合效果更自然。從而提高使用圖像處理網路得到的融合後的圖像的品質。
在一些可能的實現方式中，在執行步驟93之前，可執行以下步驟。
94、確定上述融合後的樣本圖像中圖元值大於或等於高亮圖元點閾值的圖元點，作為高亮圖元點。
本發明實施例中，高亮圖元點閾值為正整數，具體取值可依據用戶的使用需求進行調整，在一些可能的實現方式中，高亮圖元點閾值為200。
95、依據上述高亮圖元點的梯度與上述監督資料中的第三圖元點的梯度之間的差異，得到第三差異。
本步驟中，第三圖元點為參考圖像中的圖元點，且第三圖元點與高亮圖元點互為同名點。依據高亮圖元點與第三圖元點之間的差異，可得到第三差異。
在一種得到第三差異的實現方式中，假設第三圖元點的梯度為
Figure 02_image155
，高亮圖元點的梯度為
Figure 02_image157
，第一差異為
Figure 02_image159
，其中，
Figure 02_image161
、
Figure 02_image157
、
Figure 02_image159
滿足下式：
Figure 02_image163
公式（24） 其中，
Figure 02_image165
為
Figure 02_image167
的1範數。
在另一種得到第三差異的實現方式中，假設第三圖元點的梯度為
Figure 02_image155
，高亮圖元點的梯度為
Figure 02_image157
，第一差異為
Figure 02_image159
，其中，
Figure 02_image161
、
Figure 02_image157
、
Figure 02_image159
滿足下式：
Figure 02_image169
公式（25） 其中，
Figure 02_image171
為
Figure 02_image167
的2範數。
在又一種得到第三差異的實現方式中，假設第三圖元點的梯度為
Figure 02_image155
，高亮圖元點的梯度為
Figure 02_image157
，第一差異為
Figure 02_image159
，其中，
Figure 02_image161
、
Figure 02_image157
、
Figure 02_image159
滿足下式：
Figure 02_image173
公式（26） 其中，
Figure 02_image175
為
Figure 02_image167
的F範數。
在得到第三差異後，步驟93具體包括以下步驟。
96、依據上述第一差異、上述第二差異和上述第三差異，得到上述待訓練網路的損失。
在一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，第三差異為
Figure 02_image159
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image159
、
Figure 02_image105
滿足下式：
Figure 02_image177
公式（27） 其中，
Figure 02_image179
和
Figure 02_image181
均為正數，在一些可能的實現方式中，
Figure 02_image183
。
在另一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，第三差異為
Figure 02_image159
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image159
、
Figure 02_image105
滿足下式：
Figure 02_image185
公式（28） 其中，
Figure 02_image179
和
Figure 02_image181
均為正數，
Figure 02_image061
為實數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image183
。
在又一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，第三差異為
Figure 02_image159
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image159
、
Figure 02_image105
滿足下式：
Figure 02_image187
公式（29） 其中，
Figure 02_image179
和
Figure 02_image181
均為正數，
Figure 02_image061
為實數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image183
。
基於第一差異，確定待訓練網路的損失。在後續處理中，基於待訓練網路的損失調整待訓練網路的參數，得到圖像處理網路，可減小通過圖像處理網路得到的融合後的樣本圖像與參考圖像的差異。基於第二差異，確定待訓練網路的損失。在後續處理中，基於待訓練網路的損失調整待訓練網路的參數得到圖像處理網路，使用圖像處理網路對第一樣本圖像和第二樣本圖像進行處理得到融合後的樣本圖像，可使融合後的樣本圖像的梯度方向與參考圖像的梯度方向相同，尤其可調整反方向梯度圖元點區域的梯度，使反方向梯度圖元點區域的梯度與參考圖像的梯度方向相同，以使融合後的樣本圖像中的邊緣更平滑，進而使融合後的樣本圖像的融合效果更自然。基於第三差異，確定待訓練網路的損失，可對融合後的樣本圖像中高亮圖元點區域的調整，這樣，可使融合後的樣本圖像中的高亮圖元點區域的品質更高。從而提高使用圖像處理網路得到的融合後的圖像的品質。
在一些可能的實現方式中，在執行步驟96之前，可執行以下步驟。
97、依據融合後的圖像中梯度和監督資料中梯度之間的差異，得到第四差異。
在一種得到第四差異的實現方式中，假設融合後的樣本圖像的梯度為
Figure 02_image121
，參考圖像的梯度為
Figure 02_image123
，第四差異為
Figure 02_image189
，其中，
Figure 02_image125
、
Figure 02_image123
、
Figure 02_image189
滿足下式：
Figure 02_image191
公式（30） 其中，
Figure 02_image193
為
Figure 02_image195
的1範數。
在另一種得到第四差異的實現方式中，假設融合後的樣本圖像的梯度為
Figure 02_image121
，參考圖像的梯度為
Figure 02_image123
，第四差異為
Figure 02_image189
，其中，
Figure 02_image125
、
Figure 02_image123
、
Figure 02_image189
滿足下式：
Figure 02_image197
公式（31） 其中，
Figure 02_image199
為
Figure 02_image195
的2範數。
在又一種得到第四差異的實現方式中，假設融合後的樣本圖像的梯度為
Figure 02_image121
，參考圖像的梯度為
Figure 02_image123
，第四差異為
Figure 02_image189
，其中，
Figure 02_image125
、
Figure 02_image123
、
Figure 02_image189
滿足下式：
Figure 02_image197
公式（32） 其中，
Figure 02_image199
為
Figure 02_image195
的2範數。
在得到第四差異後，步驟96具體包括以下步驟。
98、依據上述第一差異、上述第二差異、上述第三差異和第四差異，得到上述待訓練網路的損失。
在一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，第三差異為
Figure 02_image159
，第四差異為
Figure 02_image189
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image159
、
Figure 02_image189
、
Figure 02_image105
滿足下式：
Figure 02_image201
公式（33） 其中，
Figure 02_image203
和
Figure 02_image205
均為正數，在一些可能的實現方式中，
Figure 02_image207
。
在一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，第三差異為
Figure 02_image159
，第四差異為
Figure 02_image189
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image159
、
Figure 02_image189
、
Figure 02_image105
滿足下式：
Figure 02_image209
公式（34） 其中，
Figure 02_image203
和
Figure 02_image205
均為正數，
Figure 02_image061
為實數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image207
。
在又一種確定待訓練網路的損失的實現方式中，假設第一差異為
Figure 02_image089
，第二差異為
Figure 02_image131
，第三差異為
Figure 02_image159
，第四差異為
Figure 02_image189
，待訓練網路的損失為
Figure 02_image105
，其中，
Figure 02_image089
、
Figure 02_image131
、
Figure 02_image159
、
Figure 02_image189
、
Figure 02_image105
滿足下式：
Figure 02_image211
公式（35） 其中，
Figure 02_image203
和
Figure 02_image205
均為正數，
Figure 02_image061
為實數，在一些可能的實現方式中，
Figure 02_image115
，
Figure 02_image207
。
基於第一差異，確定待訓練網路的損失。在後續處理中，基於待訓練網路的損失調整待訓練網路的參數，得到圖像處理網路，可減小通過圖像處理網路得到的融合後的樣本圖像與參考圖像的差異。基於第二差異，確定待訓練網路的損失。在後續處理中，基於待訓練網路的損失調整待訓練網路的參數得到圖像處理網路，使用圖像處理網路對第一樣本圖像和第二樣本圖像進行處理得到融合後的樣本圖像，可使融合後的樣本圖像的梯度方向與參考圖像的梯度方向相同，尤其可調整反方向梯度圖元點區域的梯度，使反方向梯度圖元點區域的梯度與參考圖像的梯度方向相同，以使融合後的樣本圖像中的邊緣更平滑，進而使融合後的樣本圖像的融合效果更自然。基於第三差異，確定待訓練網路的損失，可對融合後的樣本圖像中高亮圖元點區域的調整，這樣，可使融合後的樣本圖像中的高亮圖元點區域的品質更高。基於第四差異，確定待訓練網路的損失，在後續處理中，基於待訓練網路的損失調整待訓練網路的參數，得到圖像處理網路，不僅可使融合後的樣本圖像的梯度方向與參考圖像的梯度方向相同，還可使融合後的樣本圖像的梯度大小與參考圖像的梯度大小相同，進一步使融合後的樣本圖像中的邊緣更平滑、融合效果更自然。從而提高使用圖像處理網路得到的融合後的圖像的品質。
904、基於上述待訓練網路的損失，調整上述待訓練網路的參數，得到上述圖像處理網路。
基於待訓練網路的損失，以反向梯度傳播的方式對待訓練訓練網路進行訓練，直至收斂，完成對待訓練網路的訓練，得到圖像處理網路。
基於本發明實施例提供的技術方案，本發明實施例還提供了一種可能實現的應用場景。
張三在外出旅遊時通過手機拍攝得到三張風景圖像，這三張風景圖像的內容相同、且曝光量各不相同。張三覺得這三張風景圖像的曝光量均不合適，因此希望通過對這三張圖像進行處理，以得到曝光量合適的圖像。將本發明是實施例提供的技術方案應用於手機，手機可使用本發明實施例提供的技術方案對這三張風景圖像進行處理，得到融合後的風景圖像。融合後的風景圖像的曝光量比上述三張風景圖像的曝光量更加合適。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
上述詳細闡述了本發明實施例的方法，下面提供了本發明實施例的裝置。
請參閱圖10，圖10為本發明實施例提供的一種圖像處理裝置的結構示意圖，該裝置1包括：獲取部分11、第一處理部分12、第二處理部分13、第三處理部分14、第四處理部分15以及訓練部分16，其中： 獲取部分11，被配置為獲取第一待處理圖像和第二待處理圖像，其中，所述第一待處理圖像的內容與所述第二待處理圖像的內容相同，且所述第一待處理圖像的曝光量與所述第二待處理圖像的曝光量不同； 第一處理部分12，被配置為對所述第一待處理圖像和所述第二待處理圖像進行特徵提取處理，得到特徵圖像； 第二處理部分13，被配置為依據所述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重，其中，所述第一圖元點為所述第一待處理圖像中的圖元點，所述第二圖元點為所述第二待處理圖像中與所述第一圖元點互為同名點的圖元點； 第三處理部分14，被配置為依據所述第一權重和所述第二權重，對所述第一待處理圖像和所述第二待處理圖像進行融合處理，得到融合後的圖像。
在一些可能的實現方式中，所述第一處理部分12，還被配置為： 對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到三待處理圖像； 提取所述第三待處理圖像中的圖元點的特徵資訊，得到第二特徵圖像； 對所述第二特徵圖像進行歸一化處理，得到第三特徵圖像； 對所述第三特徵圖像進行非線性變換處理，得到所述第一特徵圖像。
在一些可能的實現方式中，在所述第一特徵圖像的尺寸小於所述第三待處理圖像的尺寸的情況下，所述第一處理部分12，還被配置為： 對所述第三特徵圖像進行非線性變換處理，得到第四特徵圖像； 對所述第四特徵圖像進行上採樣處理，得到所述第一特徵圖像。
在一些可能的實現方式中，所述裝置1還包括： 第四處理部分15，被配置為在對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三特徵圖像之前，對所述第一待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第一待處理圖像，以及對所述第二待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第二待處理圖像； 所述第一處理部分12，還被配置為： 對所述歸一化處理後的第一待處理圖像和所述歸一化處理後的第二待處理圖像進行拼接處理，得到所述第三待處理圖像。
在一些可能的實現方式中，所述第三處理部分14，還被配置為： 依據第三圖元點的圖元值得到所述第一權重，其中，所述第三圖元點為所述第一特徵圖像中的圖元點，所述第三圖元點在所述第一特徵圖像中的位置與所述第一圖元點在所述第三待處理圖像中的位置相同； 依據第四圖元點的圖元值得到所述第二權重，其中，所述第四圖元點為所述第一特徵圖像中的圖元點，所述第四圖元點在所述第一特徵圖像中的位置與所述第二圖元點在所述第三待處理圖像中的位置相同。
在一些可能的實現方式中，所述裝置1執行的圖像處理方法應用於圖像處理網路； 所述裝置1還包括：訓練部分16，被配置為對所述圖像處理網路進行訓練，所述圖像處理網路的訓練過程包括： 獲取第一樣本圖像、第二樣本圖像、所述監督資料和待訓練網路，其中，所述第一樣本圖像的內容與所述第二樣本圖像的內容相同，且所述第一樣本圖像的曝光量與所述第二樣本圖像的曝光量不同，所述監督資料通過將所述第一樣本圖像和所述第二樣本圖像融合得到； 使用所述待訓練網路對所述第一樣本圖像和所述第二樣本圖像進行處理，得到融合後的樣本圖像； 依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失； 基於所述待訓練網路的損失，調整所述待訓練網路的參數，得到所述圖像處理網路。
在一些可能的實現方式中，所述訓練部分16還被配置為： 在所述依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失之前，依據所述融合後的樣本圖像中梯度的方向和所述監督資料中梯度的方向之間的差異，得到第一差異； 依據所述融合後的樣本圖像與所述監督資料之間的差異，得到第二差異； 依據所述第一差異和所述第二差異，得到所述待訓練網路的損失。
在一些可能的實現方式中，所述訓練部分16還被配置為： 在所述依據所述第一差異和所述第二差異，得到所述待訓練網路的損失之前，確定所述融合後的樣本圖像中圖元值大於或等於高亮圖元點閾值的圖元點，作為高亮圖元點； 依據所述高亮圖元點的梯度與所述監督資料中的第三圖元點的梯度之間的差異，得到第三差異，其中，所述高亮圖元點與所述第三圖元點互為同名點； 依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失。
在一些可能的實現方式中，所述訓練部分16還被配置為： 在所述依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失之前，依據所述融合後的樣本圖像中梯度和所述監督資料中梯度之間的差異，得到第四差異； 依據所述第一差異、所述第二差異、所述第三差異和所述第四差異，得到所述待訓練網路的損失。
本發明實施例通過對第一待處理圖像和第二待處理圖像進行特徵提取處理，得到第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊。基於第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊，得到第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，可達到使明暗程度不同的圖元點的權重不同的效果，從而在基於第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，對第一待處理圖像和第二待處理圖像進行融合處理的過程中，可提高得到的融合後的圖像的品質。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的部分可以被配置為執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
圖11為本發明實施例提供的一種圖像處理裝置的硬體結構示意圖。該圖像處理裝置2包括處理器21，記憶體22，輸入裝置23和輸出裝置24。該處理器21、記憶體22、輸入裝置23和輸出裝置24通過連接器相耦合，該連接器包括各類介面、傳輸線或匯流排等等，本發明實施例對此不作限定。應當理解，本發明的各個實施例中，耦合是指通過特定方式的相互聯繫，包括直接相連或者通過其他設備間接相連，例如可以通過各類介面、傳輸線、匯流排等相連。
處理器21可以是一個或多個圖形處理器（graphics processing unit， GPU），在處理器21是一個GPU的情況下，該GPU可以是單核GPU，也可以是多核GPU。在一些可能的實現方式中，處理器21可以是多個GPU構成的處理器組，多個處理器之間通過一個或多個匯流排彼此耦合。在一些可能的實現方式中，該處理器還可以為其他類型的處理器等等，本發明實施例不作限定。
記憶體22可用於儲存電腦程式指令，以及用於執行本發明實施例方案的程式碼在內的各類電腦程式代碼。可選地，記憶體包括但不限於是隨機儲存記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、可擦除可程式設計唯讀記憶體（erasable programmable read only memory，EPROM）、或可擕式唯讀記憶體（compact disc read-only memory，CD-ROM），該記憶體用於相關指令及資料。
輸入裝置23用於輸入資料和/或信號，以及輸出裝置24用於輸出資料和/或信號。輸入裝置23和輸出裝置24可以是獨立的器件，也可以是一個整體的器件。
可理解，本發明實施例中，記憶體22不僅可用於儲存相關指令，還可用於儲存相關資料，如該記憶體22可用於儲存通過輸入裝置23獲取的第一待處理圖像和第二待處理圖像，又或者該記憶體22還可用於儲存通過處理器21得到的融合後的圖像等等，本發明實施例對於該記憶體中具體所儲存的資料不作限定。
可以理解的是，圖11僅僅示出了一種圖像處理裝置的簡化設計。在實際應用中，圖像處理裝置還可以分別包含必要的其他元件，包含但不限於任意數量的輸入/輸出裝置、處理器、記憶體等，而所有可以實現本發明實施例的圖像處理裝置都在本發明實施例的保護範圍之內。
在一些實施例中，還提供了一種電腦程式，包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，使得所述電子設備中的處理器執行上述方法。
本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的部分及演算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明實施例的範圍。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統、裝置和部分的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。所屬領域的技術人員還可以清楚地瞭解到，本發明各個實施例描述各有側重，為描述的方便和簡潔，相同或類似的部分在不同實施例中可能沒有贅述，因此，在某一實施例未描述或未詳細描述的部分可以參見其他實施例的記載。
在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述部分的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個部分或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或部分的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的部分可以是或者也可以不是物理上分開的，作為部分顯示的部件可以是或者也可以不是物理部分，即可以位於一個地方，或者也可以分佈到多個網路部分上。可以根據實際的需要選擇其中的部分或者全部部分來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能部分可以集成在一個處理部分中，也可以是各個部分單獨物理存在，也可以兩個或兩個以上部分集成在一個部分中。
在本發明實施例以及其他的實施例中，“部分”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是單元，還可以是模組也可以是非模組化的。
在上述實施例中，可以全部或部分地通過軟體、硬體、固件或者其任意組合來實現。當使用軟體實現時，可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦指令。在電腦上載入和執行所述電腦程式指令時，全部或部分地產生按照本發明實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式設計裝置。所述電腦指令可以儲存在電腦可讀儲存介質中，或者通過所述電腦可讀儲存介質進行傳輸。所述電腦指令可以從一個網站網站、電腦、伺服器或資料中心通過有線（例如同軸電纜、光纖、數位用戶線路（digital subscriber line，DSL））或無線（例如紅外、無線、微波等）方式向另一個網站網站、電腦、伺服器或資料中心進行傳輸。所述電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料存放裝置。所述可用介質可以是磁性介質，(例如，軟碟、硬碟、磁帶)、光介質(例如，數位通用光碟（digital versatile disc，DVD）)、或者半導體介質（例如固態硬碟（solid state disk ，SSD））等。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，該流程可以由電腦程式來指令相關的硬體完成，該程式可儲存於電腦可讀取儲存介質中，該程式在執行時，可包括如上述各方法實施例的流程。而前述的儲存介質包括：唯讀記憶體（read-only memory，ROM）或隨機儲存記憶體（random access memory，RAM）、磁碟或者光碟等各種可儲存程式碼的介質。
工業實用性 本發明實施例涉及一種圖像處理方法、電子設備及電腦可讀儲存介質，通過對第一待處理圖像和第二待處理圖像進行特徵提取處理，得到第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊，基於第一待處理圖像中圖元點的明暗資訊和第二待處理圖像中圖元點的明暗資訊，得到第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，可達到使明暗程度不同的圖元點的權重不同的效果，從而在基於第一待處理圖像中的圖元點的權重和第二待處理圖像中的圖元點的權重，對第一待處理圖像和第二待處理圖像進行融合處理的過程中，可提高得到的融合後的圖像的品質。
1:圖像處理裝置 11:獲取部分 12:第一處理部分 13:第二處理部分 14:第三處理部分 15:第四處理部分 16:訓練部分 2:圖像處理裝置 21:處理器 22:記憶體 23:輸入裝置 24:輸出裝置 201~204,501~504,901~904:步驟
為了更清楚地說明本發明實施例或背景技術中的技術方案，下面將對本發明實施例或背景技術中所需要使用的附圖進行說明。 此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明實施例的技術方案。 圖1a和圖1b為本發明實施例提供的示例性的一種包圍曝光圖像的示意圖； 圖2為本發明實施例提供的一種圖像處理方法的流程示意圖； 圖3為本發明實施例提供的示例性的一種相同位置的圖元點的示意圖； 圖4為本發明實施例提供的示例性的一種同名點的示意圖； 圖5為本發明實施例提供的另一種圖像處理方法的流程示意圖； 圖6為本發明實施例提供的示例性的一種對圖像進行通道維度上的拼接的示意圖； 圖7為本發明實施例提供的示例性的一種對第三待處理圖像進行處理得到第一特徵圖像的示意圖； 圖8為本發明實施例提供的示例性的一種圖像處理網路的結構示意圖； 圖9為本發明實施例提供的另一種圖像處理方法的流程示意圖； 圖10為本發明實施例提供的一種圖像處理裝置的結構示意圖； 圖11為本發明實施例提供的一種圖像處理裝置的硬體結構示意圖。
201~204:步驟

Claims (10)

  1. 一種圖像處理方法，所述方法包括：獲取第一待處理圖像和第二待處理圖像，其中，所述第一待處理圖像的內容與所述第二待處理圖像的內容相同，且所述第一待處理圖像的曝光量與所述第二待處理圖像的曝光量不同；對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三待處理圖像；提取所述第三待處理圖像中的圖元點的特徵資訊，得到第二特徵圖像；對所述第二特徵圖像進行歸一化處理，得到第三特徵圖像；對所述第三特徵圖像進行非線性變換處理，得到所述第一特徵圖像；依據所述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重，其中，所述第一圖元點為所述第一待處理圖像中的圖元點，所述第二圖元點為所述第二待處理圖像中與所述第一圖元點互為同名點的圖元點；依據所述第一權重和所述第二權重，對所述第一待處理圖像和所述第二待處理圖像進行融合處理，得到融合後的圖像。
  2. 根據請求項1所述的方法，其中，在所述第一特徵圖像的尺寸小於所述第三待處理圖像的尺寸的情況下，所述對所述第三特徵圖像進行非線性變換處理，得到 所述第一特徵圖像，包括：對所述第三特徵圖像進行非線性變換處理，得到第四特徵圖像；對所述第四特徵圖像進行上採樣處理，得到所述第一特徵圖像。
  3. 根據請求項1或2所述的方法，其中，在所述對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三待處理圖像之前，所述方法還包括：對所述第一待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第一待處理圖像；對所述第二待處理圖像中的圖元值進行歸一化處理，得到歸一化處理後的第二待處理圖像；所述對所述第一待處理圖像和所述第二待處理圖像進行拼接處理，得到第三待處理圖像特徵圖像，包括：對所述歸一化處理後的第一待處理圖像和所述歸一化處理後的第二待處理圖像進行拼接處理，得到所述第三待處理圖像。
  4. 根據請求項1或2所述的方法，其中，所述依據所述第一特徵圖像，得到第一圖元點的第一權重和第二圖元點的第二權重，包括：依據第三圖元點的圖元值得到所述第一權重，其中，所述第三圖元點為所述第一特徵圖像中的圖元點，所述第三圖元點在所述第一特徵圖像中的位置與所述第一圖元點在所述第三待處理圖像中的位置相同； 依據第四圖元點的圖元值得到所述第二權重，其中，所述第四圖元點為所述第一特徵圖像中的圖元點，所述第四圖元點在所述第一特徵圖像中的位置與所述第二圖元點在所述第三待處理圖像中的位置相同。
  5. 根據請求項1或2所述的方法，其中，通過圖像處理網路實現所述圖像處理方法；所述圖像處理網路的訓練過程包括：獲取第一樣本圖像、第二樣本圖像、監督資料和待訓練網路，其中，所述第一樣本圖像的內容與所述第二樣本圖像的內容相同，且所述第一樣本圖像的曝光量與所述第二樣本圖像的曝光量不同，所述監督資料通過將所述第一樣本圖像和所述第二樣本圖像融合得到；使用所述待訓練網路對所述第一樣本圖像和所述第二樣本圖像進行處理，得到融合後的樣本圖像；依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失；基於所述待訓練網路的損失，調整所述待訓練網路的參數，得到所述圖像處理網路。
  6. 根據請求項5所述的方法，其中，在所述依據所述融合後的樣本圖像與所述監督資料之間的差異，得到所述待訓練網路的損失之前，所述訓練過程還包括：依據所述融合後的樣本圖像中梯度的方向和所述監督資料中梯度的方向之間的差異，得到第一差異；所述依據所述融合後的樣本圖像與所述監督資料之間的 差異，得到所述待訓練網路的損失，包括：依據所述融合後的樣本圖像與所述監督資料之間的差異，得到第二差異；依據所述第一差異和所述第二差異，得到所述待訓練網路的損失。
  7. 根據請求項6所述的方法，其中，在所述依據所述第一差異和所述第二差異，得到所述待訓練網路的損失之前，所述訓練過程還包括：確定所述融合後的樣本圖像中圖元值大於或等於高亮圖元點閾值的圖元點，作為高亮圖元點；依據所述高亮圖元點的梯度與所述監督資料中的第三圖元點的梯度之間的差異，得到第三差異，其中，所述高亮圖元點與所述第三圖元點互為同名點；所述依據所述第一差異和所述第二差異，得到所述待訓練網路的損失，包括：依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失。
  8. 根據請求項7所述的方法，其中，在所述依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失之前，所述訓練過程還包括：依據所述融合後的樣本圖像中梯度和所述監督資料中梯度之間的差異，得到第四差異；所述依據所述第一差異、所述第二差異和所述第三差異，得到所述待訓練網路的損失，包括： 依據所述第一差異、所述第二差異、所述第三差異和所述第四差異，得到所述待訓練網路的損失。
  9. 一種電子設備，包括：處理器和記憶體，所述記憶體儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，在所述處理器執行所述電腦指令的情況下，所述電子設備執行請求項1至8中任一項所述的方法。
  10. 一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，在所述程式指令被處理器執行的情況下，使所述處理器執行請求項1至8中任一項所述的方法。
TW110107768A 2020-03-26 2021-03-04 圖像處理方法、電子設備及電腦可讀儲存介質 TWI769725B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010223122.2A CN111311532B (zh) 2020-03-26 2020-03-26 图像处理方法及装置、电子设备、存储介质
CN202010223122.2 2020-03-26

Publications (2)

Publication Number Publication Date
TW202137133A TW202137133A (zh) 2021-10-01
TWI769725B true TWI769725B (zh) 2022-07-01

Family

ID=71160932

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110107768A TWI769725B (zh) 2020-03-26 2021-03-04 圖像處理方法、電子設備及電腦可讀儲存介質

Country Status (3)

Country Link
CN (1) CN111311532B (zh)
TW (1) TWI769725B (zh)
WO (1) WO2021189733A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311532B (zh) * 2020-03-26 2022-11-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备、存储介质
CN111724404A (zh) * 2020-06-28 2020-09-29 深圳市慧鲤科技有限公司 边缘检测方法及装置、电子设备及存储介质
CN111798497A (zh) * 2020-06-30 2020-10-20 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN113780165A (zh) * 2020-09-10 2021-12-10 深圳市商汤科技有限公司 车辆识别方法及装置、电子设备及存储介质
CN112614064B (zh) * 2020-12-18 2023-04-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113313661A (zh) * 2021-05-26 2021-08-27 Oppo广东移动通信有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
CN114363519A (zh) * 2022-01-10 2022-04-15 北京字跳网络技术有限公司 一种图像处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法
TW201905743A (zh) * 2017-06-16 2019-02-01 日商大日本印刷股份有限公司 圖形圖案之形狀推定裝置、圖形圖案之形狀修正裝置、程式、圖形圖案之形狀推定方法
US10248664B1 (en) * 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
CN110602467A (zh) * 2019-09-09 2019-12-20 Oppo广东移动通信有限公司 图像降噪方法、装置、存储介质及电子设备
CN110717878A (zh) * 2019-10-12 2020-01-21 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
CN103973958B (zh) * 2013-01-30 2018-04-03 阿里巴巴集团控股有限公司 图像处理方法及设备
CN106157319B (zh) * 2016-07-28 2018-11-02 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN106161979B (zh) * 2016-07-29 2017-08-25 广东欧珀移动通信有限公司 高动态范围图像拍摄方法、装置和终端设备
CN107800979B (zh) * 2017-10-23 2019-06-28 深圳看到科技有限公司 高动态范围视频拍摄方法及拍摄装置
US20190335077A1 (en) * 2018-04-25 2019-10-31 Ocusell, LLC Systems and methods for image capture and processing
CN108694705B (zh) * 2018-07-05 2020-12-11 浙江大学 一种多帧图像配准与融合去噪的方法
CN110163808B (zh) * 2019-03-28 2022-06-10 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN110097528B (zh) * 2019-04-11 2023-04-18 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110084216B (zh) * 2019-05-06 2021-11-09 苏州科达科技股份有限公司 人脸识别模型训练和人脸识别方法、系统、设备及介质
CN110751608B (zh) * 2019-10-23 2022-08-16 北京迈格威科技有限公司 一种夜景高动态范围图像融合方法、装置和电子设备
CN110728648B (zh) * 2019-10-25 2022-07-19 北京迈格威科技有限公司 图像融合的方法、装置、电子设备及可读存储介质
CN111311532B (zh) * 2020-03-26 2022-11-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203985A (zh) * 2017-05-18 2017-09-26 北京联合大学 一种端到端深度学习框架下的多曝光图像融合方法
TW201905743A (zh) * 2017-06-16 2019-02-01 日商大日本印刷股份有限公司 圖形圖案之形狀推定裝置、圖形圖案之形狀修正裝置、程式、圖形圖案之形狀推定方法
US10248664B1 (en) * 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
CN110602467A (zh) * 2019-09-09 2019-12-20 Oppo广东移动通信有限公司 图像降噪方法、装置、存储介质及电子设备
CN110717878A (zh) * 2019-10-12 2020-01-21 北京迈格威科技有限公司 图像融合方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
TW202137133A (zh) 2021-10-01
WO2021189733A1 (zh) 2021-09-30
CN111311532A (zh) 2020-06-19
CN111311532B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
TWI769725B (zh) 圖像處理方法、電子設備及電腦可讀儲存介質
Lv et al. Attention guided low-light image enhancement with a large scale low-light simulation dataset
TWI753327B (zh) 圖像處理方法、處理器、電子設備與電腦可讀存儲介質
Lee et al. Deep chain hdri: Reconstructing a high dynamic range image from a single low dynamic range image
WO2020192483A1 (zh) 图像显示方法和设备
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
WO2021043273A1 (zh) 图像增强方法和装置
CN111654594B (zh) 图像拍摄方法、图像拍摄装置、移动终端及存储介质
US10410327B2 (en) Shallow depth of field rendering
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
WO2021135657A1 (zh) 图像处理方法、装置和图像处理系统
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
US20220189029A1 (en) Semantic refinement of image regions
US20170109873A1 (en) Image enhancement using self-examples and external examples
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
WO2021164269A1 (zh) 基于注意力机制的视差图获取方法和装置
CN112348747A (zh) 图像增强方法、装置及存储介质
WO2023125440A1 (zh) 一种降噪方法、装置、电子设备及介质
CN111429371A (zh) 图像处理方法、装置及终端设备
CN113658065A (zh) 图像降噪方法及装置、计算机可读介质和电子设备
WO2022099710A1 (zh) 图像重建方法、电子设备和计算机可读存储介质
WO2022021025A1 (zh) 图像增强方法及装置
CN111383171B (zh) 一种图片处理方法、系统及终端设备
Yang et al. An end‐to‐end perceptual enhancement method for UHD portrait images