TWI765304B - 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體 - Google Patents

圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI765304B
TWI765304B TW109125062A TW109125062A TWI765304B TW I765304 B TWI765304 B TW I765304B TW 109125062 A TW109125062 A TW 109125062A TW 109125062 A TW109125062 A TW 109125062A TW I765304 B TWI765304 B TW I765304B
Authority
TW
Taiwan
Prior art keywords
sample
network
image
feature
event
Prior art date
Application number
TW109125062A
Other languages
English (en)
Other versions
TW202139140A (zh
Inventor
張松
姜哲
張宇
邹冬青
任思捷
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202139140A publication Critical patent/TW202139140A/zh
Application granted granted Critical
Publication of TWI765304B publication Critical patent/TWI765304B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公開涉及一種圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體，所述圖像重建方法包括：獲取目標場景的事件資訊，所述事件資訊用於表示所述目標場景在第一亮度範圍內的亮度變化；對所述事件資訊進行特徵提取，得到所述目標場景的第一事件特徵；對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，所述重建圖像的亮度處於第二亮度範圍內，所述第二亮度範圍高於所述第一亮度範圍。本公開實施例可提高圖像重建的效果。

Description

圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體
本公開涉及電腦技術領域，尤其涉及一種圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體。本申請要求在2020年3月31日提交中國專利局、申請號為202010243153.4、發明名稱為“圖像重建方法及裝置、電子設備和儲存媒體”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
傳統的圖像採集設備可以採集到符合人們的觀察習慣的圖像，例如RGB圖像或強度圖像等。但受其本身較低的動態範圍的限制，圖像採集設備在光照較低的暗光條件下會出現曝光不足的情況，無法生成高品質的清晰圖像。
本公開提出了一種圖像重建技術方案。
根據本公開的一方面，提供了一種圖像重建方法，包括：獲取目標場景的事件資訊，所述事件資訊用於表示所述目標場景在第一亮度範圍內的亮度變化；對所述事件資訊進行特徵提取，得到所述目標場景的第一事件特徵；對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，所述 重建圖像的亮度處於第二亮度範圍內，所述第二亮度範圍高於所述第一亮度範圍。
在一種可能的實現方式中，對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，包括：根據第一雜訊資訊及所述第一事件特徵，對所述第一事件特徵進行細節增強，得到第二事件特徵，所述第一雜訊資訊為預設的隨機雜訊資訊；將所述第一事件特徵與所述第二事件特徵融合，得到融合特徵；對所述融合特徵進行圖像重建，得到所述目標場景的重建圖像。
在一種可能的實現方式中，所述圖像重建方法通過圖像處理網路實現，所述圖像處理網路包括第一特徵提取網路及圖像重建網路，所述第一特徵提取網路用於對所述事件資訊進行特徵提取，所述圖像重建網路用於對所述第一事件特徵進行圖像重建，所述圖像重建方法還包括：根據預設的訓練集訓練所述圖像處理網路，所述訓練集包括多個第一樣本場景的第一樣本事件資訊，多個第二樣本場景的第二樣本事件資訊及樣本場景圖像；其中，所述第一樣本事件資訊是在第三亮度範圍內獲取的，所述第二樣本事件資訊是在第四亮度範圍內獲取的，所述樣本場景圖像是在所述第四亮度範圍內獲取的，所述第四亮度範圍高於所述第三亮度範圍。
在一種可能的實現方式中，所述圖像處理網路還包括鑒別網路，所述根據預設的訓練集訓練所述圖像處理網路，包括：將所述第一樣本場景的第一樣本事件資訊和所述第二樣本場景的第二樣本事件資訊分別輸入所述第一特徵提取網路，得到第一樣本事件特徵和第二樣本事件特徵；將所述第一樣 本事件特徵和所述第二樣本事件特徵分別輸入所述鑒別網路，得到第一鑒別結果和第二鑒別結果；根據所述第一鑒別結果及所述第二鑒別結果，對抗訓練所述圖像處理網路。
在一種可能的實現方式中，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第二樣本事件特徵輸入所述圖像重建網路，得到所述第二樣本場景的第一重建圖像；根據所述第二樣本場景的第一重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括細節增強網路，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第二樣本事件特徵及第三雜訊資訊輸入所述細節增強網路，得到第四樣本事件特徵，所述第三雜訊資訊為預設的隨機雜訊資訊；將所述第二樣本事件特徵與所述第四樣本事件特徵融合，得到第二樣本融合特徵；將所述第二樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第三重建圖像；根據所述第二樣本場景的第一重建圖像、所述第三重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括第二特徵提取網路，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第二樣本場景的第二樣本事件資訊及第二雜訊資訊輸入所述第二特徵提取網路，得到第三樣本事件特徵，所述第二雜訊資訊為預設的隨機雜訊資訊；將所述第二樣本事件特徵與所述第三樣本事件特徵融合，得到第一樣本融合特徵；將所述 第一樣本融合特徵輸入所述鑒別網路，得到第三鑒別結果；根據所述第一鑒別結果及所述第三鑒別結果，對抗訓練所述圖像處理網路。
在一種可能的實現方式中，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第一樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第二重建圖像；根據所述第二樣本場景的第二重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括細節增強網路，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第一樣本融合特徵及第四雜訊資訊輸入所述細節增強網路，得到第五樣本事件特徵，所述第四雜訊資訊為預設的隨機雜訊資訊；將所述第一樣本融合特徵與所述第五樣本事件特徵融合，得到第三樣本融合特徵；將所述第三樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第四重建圖像；根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，訓練所述圖像處理網路，包括：根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，確定所述圖像處理網路的總體損失；根據所述總體損失，確定所述圖像處理網路的梯度資訊；根據所述梯度資訊，調整所述第一特徵提取網路、所述第二特徵提取網路、所述細節增強網路及所述圖像重建網路的網路參數，其 中，所述細節增強網路的梯度資訊不傳遞到所述第二特徵提取網路。
根據本公開的一方面，提供了一種圖像重建裝置，包括：事件獲取模組，用於獲取目標場景的事件資訊，所述事件資訊用於表示所述目標場景在第一亮度範圍內的亮度變化；特徵提取模組，用於對所述事件資訊進行特徵提取，得到所述目標場景的第一事件特徵；圖像重建模組，用於對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，所述重建圖像的亮度處於第二亮度範圍內，所述第二亮度範圍高於所述第一亮度範圍。
在一種可能的實現方式中，所述圖像重建模組包括：細節增強子模組，用於根據第一雜訊資訊及所述第一事件特徵，對所述第一事件特徵進行細節增強，得到第二事件特徵；融合子模組，用於將所述第一事件特徵與所述第二事件特徵融合，得到融合特徵；重建子模組，用於對所述融合特徵進行圖像重建，得到所述目標場景的重建圖像。
在一種可能的實現方式中，所述圖像重建裝置通過圖像處理網路實現，所述圖像處理網路包括第一特徵提取網路及圖像重建網路，所述第一特徵提取網路用於對所述事件資訊進行特徵提取，所述圖像重建網路用於對所述第一事件特徵進行圖像重建，所述圖像重建裝置還包括：訓練模組，用於根據預設的訓練集訓練所述圖像處理網路，所述訓練集包括多個第一樣本場景的第一樣本事件資訊，多個第二樣本場景的第二樣本事件資訊及樣本場景圖像；其中，所述第一樣本事件資訊是在第三亮度範 圍內獲取的，所述第二樣本事件資訊是在第四亮度範圍內獲取的，所述樣本場景圖像是在所述第四亮度範圍內獲取的，所述第四亮度範圍高於所述第三亮度範圍。
在一種可能的實現方式中，所述圖像處理網路還包括鑒別網路，所述訓練模組包括：第一提取子模組，用於將所述第一樣本場景的第一樣本事件資訊和所述第二樣本場景的第二樣本事件資訊分別輸入所述第一特徵提取網路，得到第一樣本事件特徵和第二樣本事件特徵；第一鑒別子模組，用於將所述第一樣本事件特徵和所述第二樣本事件特徵分別輸入所述鑒別網路，得到第一鑒別結果和第二鑒別結果；第一對抗訓練子模組，用於根據所述第一鑒別結果及所述第二鑒別結果，對抗訓練所述圖像處理網路。
在一種可能的實現方式中，所述訓練模組還包括：第一重建子模組，用於將所述第二樣本事件特徵輸入所述圖像重建網路，得到所述第二樣本場景的第一重建圖像；第一訓練子模組，用於根據所述第二樣本場景的第一重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括細節增強網路，所述訓練模組還包括：第一增強子模組，用於將所述第二樣本事件特徵及第三雜訊資訊輸入所述細節增強網路，得到第四樣本事件特徵；第一融合子模組，用於將所述第二樣本事件特徵與所述第四樣本事件特徵融合，得到第二樣本融合特徵；第二重建子模組，用於將所述第二樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第三重建圖像；第二訓練子模組，用於根據 所述第二樣本場景的第一重建圖像、所述第三重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括第二特徵提取網路，所述訓練模組還包括：第二提取子模組，用於將所述第二樣本場景的第二樣本事件資訊及第二雜訊資訊輸入所述第二特徵提取網路，得到第三樣本事件特徵；第二融合子模組，用於將所述第二樣本事件特徵與所述第三樣本事件特徵融合，得到第一樣本融合特徵；第二鑒別子模組，用於將所述第一樣本融合特徵輸入所述鑒別網路，得到第三鑒別結果；第二對抗訓練子模組，用於根據所述第一鑒別結果及所述第三鑒別結果，對抗訓練所述圖像處理網路。
在一種可能的實現方式中，所述訓練模組還包括：第三重建子模組，用於將所述第一樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第二重建圖像；第三訓練子模組，用於根據所述第二樣本場景的第二重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括細節增強網路，所述訓練模組還包括：第二增強子模組，用於將所述第一樣本融合特徵及第四雜訊資訊輸入所述細節增強網路，得到第五樣本事件特徵；第三融合子模組，用於將所述第一樣本融合特徵與所述第五樣本事件特徵融合，得到第三樣本融合特徵；第四重建子模組，用於將所述第三樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第四重建圖像；第四訓練子模組，用於根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像， 訓練所述圖像處理網路。
在一種可能的實現方式中，所述第四訓練子模組用於：根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，確定所述圖像處理網路的總體損失；根據所述總體損失，確定所述圖像處理網路的梯度資訊；根據所述梯度資訊，調整所述第一特徵提取網路、所述第二特徵提取網路、所述細節增強網路及所述圖像重建網路的網路參數，其中，所述細節增強網路的梯度資訊不傳遞到所述第二特徵提取網路。
根據本公開的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述圖像重建方法。
根據本公開的一方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述圖像重建方法。
根據本公開的一方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行上述圖像重建方法。
在本公開實施例中，能夠獲取目標場景在較低的第一亮度範圍內的事件資訊；對事件資訊進行特徵提取，得到事件特徵；對事件特徵進行圖像重建，得到目標場景在較高的第二亮度範圍內的重建圖像，從而通過暗光條件下的事件重建出正常光照條件下的高品質圖像，提高了圖像重建的效果。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和 解釋性的，而非限制本公開。根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特徵及方面將變得清楚。
S11~S13:流程步驟
D:鑒別網路
EC:第一特徵提取網路
EP:第二特徵提取網路
R:圖像重建網路
Te:細節增強網路
XLE:第一樣本事件特徵
XC:第二樣本事件特徵
Xp:第三樣本事件特徵
XDE:第一樣本融合特徵
Figure 109125062-A0305-02-0043-31
:第二重建圖像
Figure 109125062-A0305-02-0043-32
:第四重建圖像
△y:第五樣本事件特徵
21:第一樣本事件資訊
22:第二樣本事件資訊
23:雜訊資訊
24:雜訊資訊
31:事件獲取模組
32:特徵提取模組
33:圖像重建模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音訊組件
812:輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:記憶體
1950:網路介面
1958:輸入輸出介面
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1示出根據本公開實施例的圖像重建方法的流程圖。
圖2示出根據本公開實施例的圖像重建方法的網路訓練的處理過程的示意圖。
圖3示出根據本公開實施例的圖像重建裝置的框圖。
圖4示出根據本公開實施例的一種電子設備的框圖。
圖5示出根據本公開實施例的一種電子設備的框圖。
以下將參考圖式詳細說明本公開的各種示例性實施例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製圖式。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一 種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。
在圖像拍攝、圖像處理、人臉識別、安防等領域，通常需要通過圖像採集設備(例如強度相機或攝像頭等)採集圖像。圖像採集設備在暗光條件下(例如夜間、光線不足或其他黑暗環境下)採集的圖像容易曝光不足，圖像品質較差。在該情況下，可對品質較差的圖像進行重建，以得到正常光照條件下的高品質圖像。
圖1示出根據本公開實施例的圖像重建方法的流程圖，如圖1所示，所述圖像重建方法包括：在步驟S11中，獲取目標場景的事件資訊，所述事件資訊用於表示所述目標場景在第一亮度範圍內的亮度變化；在步驟S12中，對所述事件資訊進行特徵提取，得到所述目標場景的第一事件特徵；在步驟S13中，對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，所述重建圖像的亮度處於第二亮度範圍內，所述第二亮度範圍高於所述第一亮度範圍。
在一種可能的實現方式中，所述圖像重建方法可以由終端設備或伺服器等電子設備執行，終端設備可以為使用者設備(User Equipment，UE)、行動設備、使用者終端、終端、蜂巢式電話、室內無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等，所述圖像重建方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可通過伺服器執行所述圖像重建方法。
在一種可能的實現方式中，目標場景可以是包括建築、風景、人物、車輛等場景的地理區域。該目標場景可能處於暗光條件(例如夜間或其他黑暗環境)下，通過圖像採集設備(例如強度相機或攝像頭等)採集的該目標場景的圖像曝光不足，圖像品質較差。在該情況下，可在步驟S11中，通過事件採集設備(例如事件相機)，在與暗光條件相對應的第一亮度範圍內，獲取目標場景的事件資訊，該事件資訊用於表示目標場景在第一亮度範圍內的亮度變化。本公開對第一亮度範圍的具體取值不作限制。
在一種可能的實現方式中，事件相機能夠非同步地記錄場景中亮度的改變，輸出流形式的事件資料(事件流)，其資料單元如下所示：e k =(x k ,y k ,p k ,t k ) (1)公式(1)中，x k 和y k 表示場景中第k個位置的事件資料e k 的空間座標，t k 表示事件資料e k 產生的時間，p k
Figure 109125062-A0305-02-0012-5
{+1,-1}表示事件資料e k 的極性，極性為正表示亮度增強，極性為負表示亮度降低。
傳統的CNN方法只能處理圖片形式的規則資料，無法應用於事 件流。因此，在目標場景處於第一亮度範圍時，可通過事件採集設備採集目標場景在一個或多個預設時間段內的亮度變化，得到事件資料，並在空間維度上對各事件資料的極性進行積分，得到單通道或多通道的事件資訊。
積分方式如下式所示：
Figure 109125062-A0305-02-0013-1
 公式(2)中，Φτ(t)表示第k個位置的事件資料在預設時間段tk
Figure 109125062-A0305-02-0013-7
[t,t+τ]內的事件資訊。這樣，對場景中各個位置的事件資料進行積分，可得到單通道的事件資訊(也可稱為事件幀)；對多個預設時間段內各個位置的事件資料進行積分，可得到多通道的事件資訊，例如四通道的事件資訊。為保證資料範圍的一致性，可將各通道的事件資訊分別在空間維度上進行標準化，將標準化後的事件資訊作為目標場景的事件資訊。本公開對事件資訊的通道數量不作限制
在一種可能的實現方式中，可在步驟S12中對所述事件資訊進行特徵提取，得到該目標場景的第一事件特徵。該第一事件特徵至少包括表示該目標場景的結構的資訊。可例如通過卷積神經網路提取事件資訊的特徵，該卷積神經網路可包括多個卷積層、多個殘差層等，本公開對卷積神經網路的網路結構不作限制。
在一種可能的實現方式中，可在步驟S13中對第一事件特徵進行圖像重建，得到該目標場景的重建圖像。該重建圖像可例如為強度圖像，該重建圖像的亮度處於與正常光照條件對應的第二亮度範圍內，該第二亮度範圍高於第一亮度範圍。
在一種可能的實現方式中，可例如通過反卷積神經網路對第一事件特徵進行圖像重建，該反卷積神經網路可包括多個反卷積層、多個殘差層以及卷積層等，本公開對第二亮度範圍的具體取值以及反卷積神經網路的網路結構不作限制。
根據本公開的實施例，能夠獲取目標場景在較低的第一亮度範圍內的事件資訊；對事件資訊進行特徵提取，得到事件特徵；對事件特徵進行圖像重建，得到目標場景在較高的第二亮度範圍內的重建圖像，從而通過暗光條件下的事件重建出正常光照條件下的高品質圖像，提高了圖像重建的效果。
在一種可能的實現方式中，步驟S13可包括：根據第一雜訊資訊及所述第一事件特徵，對所述第一事件特徵進行細節增強，得到第二事件特徵；將所述第一事件特徵與所述第二事件特徵融合，得到融合特徵；對所述融合特徵進行圖像重建，得到所述目標場景的重建圖像。
舉例來說，在暗光條件下獲取到的事件資訊可能存在較多的雜訊幹擾及局部的結構資訊缺失。在該情況下，可對第一事件特徵進行增強，以便恢復更多的細節資訊。
在一種可能的實現方式中，可預設有隨機的第一雜訊資訊，根據該第一雜訊資訊為第一事件特徵添加額外的雜訊通道。將添加雜訊通道後的第一事件特徵輸入細節增強網路中進行細節增強，得到第二事件特徵。該細節增強網路可例如為殘差網路，包括卷積層及多個殘差層。本公開對第一雜訊資訊 的獲取方式及細節增強網路的具體網路結構不作限制。
在一種可能的實現方式中，可將第一事件特徵與第二事件特徵進行融合，例如疊加，得到融合特徵；將融合特徵輸入反卷積神經網路中進行圖像重建，得到該目標場景的重建圖像。
通過這種方式，可以增強第一事件特徵中的細節資訊，進一步提高重建圖像的品質。
在一種可能的實現方式中，根據本公開實施例的圖像重建方法可通過圖像處理網路實現，該圖像處理網路至少包括第一特徵提取網路及圖像重建網路，第一特徵提取網路用於對所述事件資訊進行特徵提取，例如為卷積神經網路；圖像重建網路用於對所述第一事件特徵進行圖像重建，例如為反卷積神經網路。
應當理解，圖像處理網路可以採用其他類型的網路或模型，本領域技術人員可根據實際情況設置，本公開對此不作限制。
在應用該圖像處理網路之前，可對該圖像處理網路進行訓練。
在一種可能的實現方式中，根據本公開實施例的圖像重建方法還包括：根據預設的訓練集訓練所述圖像處理網路，所述訓練集包括多個第一樣本場景的第一樣本事件資訊，多個第二樣本場景的第二樣本事件資訊及樣本場景圖像，其中，所述第一樣本事件資訊是在第三亮度範圍內獲取的，所述第二樣本事件資訊是在第四亮度範圍內獲取的，所述樣本場景圖像是在所述第 四亮度範圍內獲取的，所述第四亮度範圍高於所述第三亮度範圍。
舉例來說，可預先設定有訓練集，訓練集中包括多個樣本場景，例如建築、風景、人物、車輛等場景。樣本場景可分為暗光場景(可稱為第一樣本場景)和正常光照的場景(可稱為第二樣本場景)。每個第一樣本場景包括第一樣本事件資訊；每個第二樣本場景包括第二樣本事件資訊及樣本場景圖像。第一樣本場景和第二樣本場景可以為相同或不同的場景，本公開對此不作限制。
在一種可能的實現方式中，在第一樣本場景處於與暗光條件相對應的第三亮度範圍時，可通過事件採集設備(例如事件相機)獲取第一樣本場景的亮度變化，得到第一樣本事件資訊，以便作為圖像處理網路的輸入。該第一樣本事件資訊包括表示該第一樣本場景的整體結構的資訊。第三亮度範圍可與前述的第一亮度範圍相同或不同，本公開對此不作限制。
暗光條件下的該第一樣本事件資訊包括表示該第一樣本場景的整體結構的資訊，但缺少強度資訊(即圖像的亮度資訊)。在該情況下，可引入正常光照條件下的第二樣本場景的事件資訊(可稱為第二樣本事件資訊)，以便通過圖像處理網路學習該第二樣本事件資訊中的強度資訊。
在一種可能的實現方式中，在第二樣本場景處於與正常光照條件相對應的第四亮度範圍時，可通過事件採集設備獲取第二樣本場景的亮度變化，得到第二樣本事件資訊。第四亮度範圍高於第三亮度範圍。其中，第四亮度範圍可與前述的第二亮度範圍相同或不同，本公開對此不作限制。
其中，第一樣本場景的第一樣本事件資訊和第二樣本場景的第二樣本事件資訊的獲取方式可與目標場景的事件資訊的獲取方式相似，此處不再重複描述。
此外，對於處於暗光條件下的第一樣本場景，通過圖像採集設備採集的目標場景的圖像品質較差，無法作為監督資訊。在該情況下，可引入正常光照條件下的第二樣本場景的樣本場景圖像，作為圖像處理網路的監督資訊。可通過圖像採集設備(例如攝像頭)在與正常光照條件相對應第四亮度範圍內獲取該樣本場景圖像。
通過這種方式，可以提高圖像處理網路的訓練效果。
在一種可能的實現方式中，所述圖像處理網路還包括鑒別網路，所述根據預設的訓練集訓練所述圖像處理網路的步驟，包括：將所述第一樣本場景的第一樣本事件資訊和所述第二樣本場景的第二樣本事件資訊分別輸入所述第一特徵提取網路，得到第一樣本事件特徵和第二樣本事件特徵；將所述第一樣本事件特徵和所述第二樣本事件特徵分別輸入所述鑒別網路，得到第一鑒別結果和第二鑒別結果；根據所述第一鑒別結果及所述第二鑒別結果，對抗訓練所述圖像處理網路。
舉例來說，圖像處理網路中的鑒別網路用於對第一特徵提取網路的輸出結果進行鑒別。也就是說，可通過對抗訓練的方式訓練第一特徵提取網 路，以使第一特徵提取網路學習到暗光條件下的第一樣本事件資訊和正常光照條件下的第二樣本事件資訊之間共同分布資訊。
在一種可能的實現方式中，可將第一樣本場景的第一樣本事件資訊和第二樣本場景的第二樣本事件資訊分別輸入到第一特徵提取網路中處理，輸出第一樣本事件特徵和第二樣本事件特徵；將第一樣本事件特徵和第二樣本事件特徵分別輸入鑒別網路，得到第一鑒別結果和第二鑒別結果；根據第一鑒別結果和第二鑒別結果，對抗訓練所述圖像處理網路。
在對抗訓練過程中，第一特徵提取網路試圖混淆第一樣本事件特徵和第二樣本事件特徵，鑒別網路試圖區分第一樣本事件特徵和第二樣本事件特徵，兩者相互對抗，相互促進。
這樣，可強制第一特徵提取網路提取出正常光照條件下的特徵域與暗光條件下的特徵域之間的公共分布域，使得暗光條件下的第一樣本事件特徵具有正常光照條件下的事件資訊的分布特點，正常光照條件下的第二樣本事件特徵具有暗光條件下的事件資訊的分布特點。即，通過域自適應(domain adaptation)的方式，使得第一特徵提取網路同時適用於兩種不同分布的資料的特徵提取。本公開對對抗訓練的損失函數的選取不作限制。
通過這種方式，可以使得第一特徵提取網路能夠更好地提取暗光下的事件特徵，提高第一特徵提取網路的精度，以便利用暗光下的事件資訊實現高品質的圖像重建。
在一種可能的實現方式中，所述根據預設的訓練集訓練所述圖像 處理網路的步驟，還包括：將所述第二樣本事件特徵輸入所述圖像重建網路，得到所述第二樣本場景的第一重建圖像；根據所述第二樣本場景的第一重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
舉例來說，在對抗訓練後，第一特徵提取網路提取出的第二樣本事件特徵，具有暗光條件下的事件資訊的分布特點，並且，相應的第二樣本事件資訊具有監督資訊(即，正常光照條件下的樣本場景圖像)。
在一種可能的實現方式中，所述根據預設的訓練集訓練所述圖像處理網路的步驟，還包括：將所述第二樣本事件特徵輸入所述圖像重建網路，得到所述第二樣本場景的第一重建圖像；根據所述第二樣本場景的第一重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
舉例來說，在對抗訓練後，第一特徵提取網路提取出的第二樣本事件特徵，具有暗光條件下的事件資訊的分布特點，並且，相應的第二樣本事件資訊具有監督資訊(即，正常光照條件下的樣本場景圖像)。
在一種可能的實現方式中，所述圖像處理網路還包括第二特徵提取網路，所述根據預設的訓練集訓練所述圖像處理網路的步驟，還包括：將所述第二樣本場景的第二樣本事件資訊及第二雜訊資訊輸入 所述第二特徵提取網路，得到第三樣本事件特徵；將所述第二樣本事件特徵與所述第三樣本事件特徵融合，得到第一樣本融合特徵；將所述第一樣本融合特徵輸入所述鑒別網路，得到第三鑒別結果；根據所述第一鑒別結果及所述第三鑒別結果，對抗訓練所述圖像處理網路。
舉例來說，暗光條件下的第一樣本事件資訊可能存在一定的雜訊干擾，而正常光照條件下的第二樣本事件資訊中的雜訊較低。在該情況下，可為第二樣本事件資訊引入額外的雜訊通道，以便提高網路的泛化性。
在一種可能的實現方式中，圖像處理網路還包括第二特徵提取網路，例如為卷積圖像處理網路，包括多個卷積層及多個殘差層，本公開對第二特徵提取網路的網路結構不作限制。
在一種可能的實現方式中，可預設有隨機的第二雜訊資訊，根據該第二雜訊資訊為第二樣本事件資訊添加雜訊通道。將添加雜訊通道後的第二樣本事件資訊輸入第二特徵提取網路中進行特徵提取，輸出第三樣本事件特徵；將所述第二樣本事件特徵與所述第三樣本事件特徵融合，得到第一樣本融合特徵。這樣，可實現第二樣本事件特徵的特徵強化。
在一種可能的實現方式中，將第一樣本融合特徵輸入鑒別網路，可得到第三鑒別結果；進而，根據第一鑒別結果及所述第三鑒別結果，對抗訓 練所述圖像處理網路。對抗訓練的具體過程不再重複描述。
通過這種方式，可進一步提高第一特徵提取網路的精度。
在一種可能的實現方式中，所述圖像處理網路還包括第二特徵提取網路，所述根據預設的訓練集訓練所述圖像處理網路的步驟，還包括：將所述第一樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第二重建圖像；根據所述第二樣本場景的第二重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
舉例來說，在對抗訓練後，第一特徵提取網路及第二特徵提取網路提取出的第一樣本融合特徵，具有暗光條件下的事件資訊的分布特點，並且，相應的第二樣本事件資訊具有監督資訊(即，正常光照條件下的樣本場景圖像)。
在一種可能的實現方式中，可將該第一樣本融合特徵輸入圖像重建網路中處理，輸出第二樣本場景的第二重建圖像；根據第二樣本場景的第二重建圖像及樣本場景圖像之間的差異，可確定第一特徵提取網路、第二特徵提取網路及圖像重建網路的網路損失，例如L1損失；進而，可根據該網路損失反向調整第一特徵提取網路、第二特徵提取網路及圖像重建網路的網路參數，實現第一特徵提取網路、第二特徵提取網路及圖像重建網路的訓練。
在實際訓練過程中，同樣可進行交替訓練。即，在每輪反覆運算過程中，根據對抗網路損失，反向調整鑒別網路的網路參數；再根據第一特徵 提取網路、第二特徵提取網路及圖像重建網路的網路損失，反向調整第一特徵提取網路、第二特徵提取網路及圖像重建網路的網路參數，本次訓練中仍然會得到鑒別網路的輸出作為指導資訊，但不更新鑒別網路的參數。這樣，經過多輪反覆運算，在滿足訓練條件(例如網路收斂)的情況下，可得到訓練後的圖像處理網路。
通過這種方式，可以實現整個圖像處理網路的訓練過程，得到高精度的圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括細節增強網路，所述根據預設的訓練集訓練所述圖像處理網路的步驟，還可包括：將所述第二樣本事件特徵及第三雜訊資訊輸入所述細節增強網路，得到第四樣本事件特徵；將所述第二樣本事件特徵與所述第四樣本事件特徵融合，得到第二樣本融合特徵；將所述第二樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第三重建圖像；根據所述第二樣本場景的第一重建圖像、所述第三重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
舉例來說，可引入細節增強網路對事件特徵進行細節增強，以便恢復更多的圖像細節資訊(例如局部的結構資訊)。細節增強網路可例如為殘差網路，包括卷積層及多個殘差層，本公開對細節增強網路的網路結構不作限 制。
在一種可能的實現方式中，在未引入第二特徵提取網路的情況下，可直接使用第二樣本事件特徵進行細節增強。可將預設有隨機的第三雜訊資訊，根據該第三雜訊資訊為第二樣本事件特徵添加雜訊通道。將添加雜訊通道後的第二樣本事件特徵輸入細節增強網路中處理，得到第四樣本事件特徵；將第二樣本事件特徵與第四樣本事件特徵融合，得到第二樣本融合特徵；將所述第二樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第三重建圖像。
在一種可能的實現方式中，根據所述樣本場景的第一重建圖像、所述第三重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
其中，根據第三重建圖像與樣本場景圖像之間的差異，可確定第一特徵提取網路、細節增強網路及圖像重建網路的第一損失；根據第三重建圖像與樣本場景圖像之間的差異，以及第一重建圖像與樣本場景圖像之間的差異，可確定第一特徵提取網路、細節增強網路及圖像重建網路的第二損失。該第二損失可保證引入細節增強後的第三重建圖像的品質優於未引入細節增強時的第一重建圖像的品質，保證細節增強網路能起到預期的作用。
在一種可能的實現方式中，可根據第一損失和第二損失確定第一特徵提取網路、細節增強網路及圖像重建網路的總體損失，例如將第一損失與第二損失的加權和確定為總體損失；進而，可根據該總體損失反向調整第一特徵提取網路、細節增強網路及圖像重建網路的網路參數，實現第一特徵提取網 路、細節增強網路及圖像重建網路的訓練。
在實際訓練過程中，同樣可進行交替訓練。即在每輪反覆運算過程中，對抗訓練鑒別網路；再訓練第一特徵提取網路、細節增強網路及圖像重建網路，鑒別網路的輸出作為指導資訊，但不更新鑒別網路的參數。經過多輪反覆運算，在滿足訓練條件(例如網路收斂)的情況下，可得到訓練後的圖像處理網路。
通過這種方式，可以實現重建圖像的細節增強，進一步提高訓練後的圖像處理網路得到的重建圖像的品質。
在一種可能的實現方式中，所述根據預設的訓練集訓練所述圖像處理網路的步驟，還可包括：將所述第一樣本融合特徵及第四雜訊資訊輸入所述細節增強網路，得到第五樣本事件特徵；將所述第一樣本融合特徵與所述第五樣本事件特徵融合，得到第三樣本融合特徵；將所述第三樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第四重建圖像；根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
舉例來說，在已引入第二特徵提取網路的情況下，可使用第一樣本融合特徵進行細節增強。可將預設有隨機的第四雜訊資訊，根據該第四雜訊 資訊為第一樣本融合特徵添加雜訊通道。將添加雜訊通道後的第一樣本融合特徵輸入細節增強網路中處理，得到第五樣本事件特徵；將第一樣本融合特徵與第五樣本事件特徵融合，得到第三樣本融合特徵；將所述第三樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第四重建圖像。
在一種可能的實現方式中，根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，訓練圖像處理網路。該步驟可包括：根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，確定所述圖像處理網路的總體損失；根據所述總體損失，確定所述圖像處理網路的梯度資訊；根據所述梯度資訊，調整所述第一特徵提取網路、所述第二特徵提取網路、所述細節增強網路及所述圖像重建網路的網路參數，其中，所述細節增強網路的梯度資訊不傳遞到所述第二特徵提取網路。
舉例來說，根據第四重建圖像與樣本場景圖像之間的差異，可確定第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路的第三損失；根據第四重建圖像與樣本場景圖像之間的差異，以及第二重建圖像與樣本場景圖像之間的差異，可確定第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路的第四損失。該第四損失可保證引入細節增強後的第四重建圖像的品質優於未引入細節增強時的第二重建圖像的品質，保證細節 增強網路能起到預期的作用。
在一種可能的實現方式中，可根據第三損失和第四損失確定第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路的總體損失，例如將第三損失與第四損失的加權和確定為總體損失；根據該總體損失，可確定第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路的梯度資訊，進而，可在第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路中反向傳遞該梯度資訊，從而調整第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路的網路參數，實現第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路的訓練。
在一種可能的實現方式中，由於第二特徵提取網路與細節增強網路的輸入均添加了雜訊通道，因此，為了降低早期訓練階段對學習效果的影響，在反向傳遞梯度資訊時，細節增強網路與第二特徵提取網路之間停止梯度傳遞(stop gradient)，從而可降低細節增強網路與第二特徵提取網路之間的相互干擾，有效地減少資訊流中的迴圈，降低模式崩潰的概率。
在實際訓練過程中，同樣可進行交替訓練。即在每輪反覆運算過程中，對抗訓練鑒別網路。再訓練第一特徵提取網路、第二特徵提取網路、細節增強網路及圖像重建網路，鑒別網路的輸出作為指導資訊，但不更新鑒別網路的參數。經過多輪反覆運算，在滿足訓練條件(例如網路收斂)的情況下，可得到訓練後的圖像處理網路。
通過這種方式，可以實現重建圖像的細節增強，進一步提高訓練 後的圖像處理網路得到的重建圖像的品質。
圖2示出根據本公開實施例的圖像重建方法的網路訓練的處理過程的示意圖。如圖2所示，根據本公開實施例的圖像處理網路包括第一特徵提取網路EC、第二特徵提取網路EP、鑒別網路D、細節增強網路Te及圖像重建網路R。
在示例中，對於任意一組第一樣本場景和第二樣本場景，可將暗光條件下的第一樣本事件資訊21輸入第一特徵提取網路EC中處理，輸出第一樣本事件特徵XLE；將正常光照條件下的第二樣本事件資訊22輸入參數共用的第一特徵提取網路EC中處理，輸出第二樣本事件特徵XC；對正常光照條件下的第二樣本事件資訊22添加雜訊資訊23後，輸入參數不共用的第二特徵提取網路EP中處理，輸出第三樣本事件特徵Xp；將第二樣本事件特徵XC與第三樣本事件特徵Xp進行疊加，得到第一樣本融合特徵XDE；將第一樣本事件特徵XLE和第一樣本融合特徵XDE分別輸入鑒別網路D中進行鑒別，得到各自的鑒別結果(未示出)。
在示例中，根據鑒別結果對抗訓練鑒別網路D。網路損失LD表示如下：
Figure 109125062-A0305-02-0027-35
 公式(3)中，
Figure 109125062-A0305-02-0027-33
和
Figure 109125062-A0305-02-0027-34
分別表示第一樣本事件特徵XLE和第一樣本融合特徵XDE對應的損失。
在示例中，將第一樣本融合特徵XDE輸入圖像重建網路R中，輸 出第二重建圖像
Figure 109125062-A0305-02-0028-8
；同時，對第一樣本融合特徵XDE添加雜訊資訊24後，輸入細節增強網路Te中，輸出第五樣本事件特徵△y；將第一樣本融合特徵XDE與第五樣本事件特徵△y融合後，輸入圖像重建網路R中，輸出第四重建圖像
Figure 109125062-A0305-02-0028-10
。
在示例中，根據第二重建圖像
Figure 109125062-A0305-02-0028-13
、第四重建圖像
Figure 109125062-A0305-02-0028-15
及所述樣本場景圖像y g (未示出)，可確定第一特徵提取網路EC、第二特徵提取網路EP、細節增強網路Te及圖像重建網路R的總體損失L R (也可稱為重建損失)，表示如下：
Figure 109125062-A0305-02-0028-2
 公式(4)中，L p (
Figure 109125062-A0305-02-0028-17
,
Figure 109125062-A0305-02-0028-18
,y g )表示亮度重建損失，可以為第四重建圖像
Figure 109125062-A0305-02-0028-20
與所述樣本場景圖像y g 之間的L1損失，以及第二重建圖像
Figure 109125062-A0305-02-0028-21
與所述樣本場景圖像y g 之間的L1損失的和。L t (△y,X p )表示細節增強網路的殘差損失，可以為△y與-Xp之間的L1損失(表示為∥△y-(-X p )∥1)。Lr(
Figure 109125062-A0305-02-0028-22
,
Figure 109125062-A0305-02-0028-23
,y g )表示排名損失，可以為第四重建圖像
Figure 109125062-A0305-02-0028-26
與所述樣本場景圖像y g 之間的L1損失，以及第二重建圖像
Figure 109125062-A0305-02-0028-27
與所述樣本場景圖像y g 之間的L1損失的差。β和γ表示超參數項，本領域技術人員可根據實際情況設置
其中，LR的第一項用於確保網路能夠恢復出正確的圖像，第二項用於保證細節增強網路的精度，第三項用於保證網路在引入細節增強網路Te後的重構效果更好，使得細節增強網路Te能真正地起到細節增強的作用。
在示例中，根據本公開實施例的圖像處理網路的總體優化目標可表示如下：
Figure 109125062-A0305-02-0029-3
公式(5)中，
Figure 109125062-A0305-02-0029-28
,
Figure 109125062-A0305-02-0029-29
, θ R ,
Figure 109125062-A0305-02-0029-30
分別表示用於第一特徵提取網路EC、第二特徵提取網路EP、圖像重建網路R及細節增強網路Te的參數；θ D 表示鑒別網路D的參數；α是相應的超參數權重，本領域技術人員可根據實際情況設置。根據本公開實施例，可使用對抗式訓練交替優化這兩類參數，可例如採用隨機批次處理梯度下降的方式進行訓練，本公開對此不作限制。經訓練後，可得到高精度的圖像處理網路。
根據本公開實施例的圖像重建方法，通過將域自我調整方法與事件相機結合，利用暗光條件下的事件資訊進行圖像重建，得到正常光照條件下的高品質圖像，提高了圖像重建的效果。該方法在訓練過程中無需暗光下強度圖像進行監督訓練，實現了無監督的網路框架，降低了資料集構建難度。該方法通過細節增強網路對事件特徵中的暗光分布域進行增強，降低其中的雜訊干擾、增強局部細節，提高了圖像重建的效果以及訓練效果。
根據本公開實施例的圖像重建方法的網路框架，不依賴於事件資訊，也適用於其它基於域自我調整方法的任務，比如圖像風格變換、語義分割域自我調整等。只需更改相應的輸入資料並將圖像重構網路替換成各自任務對應的網路結構即可。
根據本公開實施例的圖像重建方法，可應用於圖像拍攝、圖像處理、人臉識別、安防等領域，實現暗光條件下的圖像重建。
例如，採用相關技術的電子設備(例如智慧手機)的拍攝系統以 強度相機為基礎，在暗光條件下無法成像，使用閃光燈作為輔助進行拍照或錄製視頻會帶來極大的能耗提升，而且閃光燈的刺眼光芒對於場景中的人來說很不友好。高動態的事件相機不需要額外的光源輔助，而且能耗很低。可設置事件相機獲取暗光條件下的事件資訊，通過本公開實施例的圖像重建方法，根據該事件資訊生成清晰圖像，從而實現暗光條件下的圖像拍攝。
例如，本公開實施例的圖像重建方法，可作為多種圖像處理演算法的上游演算法。如人臉識別、物體檢測、語義分割等圖像處理任務在暗光條件下都會因無法獲取高品質強度圖像而失效。該圖像重建方法能夠通過暗光條件下的事件資訊，重構出暗光下的強度圖像，使得以上演算法可以繼續應用。
例如，城市的安防領域應用了大量的強度相機攝像頭，陰影區域和暗光條件下會有很多死角無法清晰檢測。可設置事件相機獲取暗光條件下的事件資訊，通過本公開實施例的圖像重建方法，根據事件資訊生成清晰的圖像，從而提高安防檢測的效果，保障城市安全。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。本領域技術人員可以理解，在具體實施方式的上述圖像重建方法中，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本公開還提供了圖像重建裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本公開提供的任一種圖像重建方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖3示出根據本公開實施例的圖像重建裝置的框圖，如圖3所示，所述圖像重建裝置包括：事件獲取模組31，用於獲取目標場景的事件資訊，所述事件資訊用於表示所述目標場景在第一亮度範圍內的亮度變化；特徵提取模組32，用於對所述事件資訊進行特徵提取，得到所述目標場景的第一事件特徵；圖像重建模組33，用於對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，所述重建圖像的亮度處於第二亮度範圍內，所述第二亮度範圍高於所述第一亮度範圍。
在一種可能的實現方式中，所述圖像重建模組33包括：細節增強子模組，用於根據第一雜訊資訊及所述第一事件特徵，對所述第一事件特徵進行細節增強，得到第二事件特徵；融合子模組，用於將所述第一事件特徵與所述第二事件特徵融合，得到融合特徵；重建子模組，用於對所述融合特徵進行圖像重建，得到所述目標場景的重建圖像。
在一種可能的實現方式中，所述圖像重建裝置通過圖像處理網路實現，所述圖像處理網路包括第一特徵提取網路及圖像重建網路，所述第一特徵提取網路用於對所述事件資訊進行特徵提取，所述圖像重建網路用於對所述第一事件特徵進行圖像重建，所述圖像重建裝置還包括：訓練模組，用於根據預設的訓練集訓練所述圖像處理網路，所述訓練集包括多個第一樣本場景的第一樣本事件資訊，多個第二樣本場景的第二 樣本事件資訊及樣本場景圖像；其中，所述第一樣本事件資訊是在第三亮度範圍內獲取的，所述第二樣本事件資訊是在第四亮度範圍內獲取的，所述樣本場景圖像是在所述第四亮度範圍內獲取的，所述第四亮度範圍高於所述第三亮度範圍。
在一種可能的實現方式中，所述圖像處理網路還包括鑒別網路，所述訓練模組包括：第一提取子模組，用於將所述第一樣本場景的第一樣本事件資訊和所述第二樣本場景的第二樣本事件資訊分別輸入所述第一特徵提取網路，得到第一樣本事件特徵和第二樣本事件特徵；第一鑒別子模組，用於將所述第一樣本事件特徵和所述第二樣本事件特徵分別輸入所述鑒別網路，得到第一鑒別結果和第二鑒別結果；第一對抗訓練子模組，用於根據所述第一鑒別結果及所述第二鑒別結果，對抗訓練所述圖像處理網路。
在一種可能的實現方式中，所述訓練模組還包括：第一重建子模組，用於將所述第二樣本事件特徵輸入所述圖像重建網路，得到所述第二樣本場景的第一重建圖像；第一訓練子模組，用於根據所述第二樣本場景的第一重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括細節增強網路，所述訓練模組還包括：第一增強子模組，用於將所述第二樣本事件特徵及第三雜訊資訊輸入所述細節增強網路，得到第四樣本事件特徵；第一融合子模組，用於將所述第二樣本事件特徵與所述第四樣本事件特徵融合，得到第二樣本融合特徵；第二重建子模組，用於將所述第二樣本融合特徵輸入所述圖像重 建網路，得到所述第二樣本場景的第三重建圖像；第二訓練子模組，用於根據所述第二樣本場景的第一重建圖像、所述第三重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括第二特徵提取網路，所述訓練模組還包括：第二提取子模組，用於將所述第二樣本場景的第二樣本事件資訊及第二雜訊資訊輸入所述第二特徵提取網路，得到第三樣本事件特徵；第二融合子模組，用於將所述第二樣本事件特徵與所述第三樣本事件特徵融合，得到第一樣本融合特徵；第二鑒別子模組，用於將所述第一樣本融合特徵輸入所述鑒別網路，得到第三鑒別結果；第二對抗訓練子模組，用於根據所述第一鑒別結果及所述第三鑒別結果，對抗訓練所述圖像處理網路。
在一種可能的實現方式中，所述訓練模組還包括：第三重建子模組，用於將所述第一樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第二重建圖像；第三訓練子模組，用於根據所述第二樣本場景的第二重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述圖像處理網路還包括細節增強網路，所述訓練模組還包括：第二增強子模組，用於將所述第一樣本融合特徵及第四雜訊資訊輸入所述細節增強網路，得到第五樣本事件特徵；第三融合子模組，用於將所述第一樣本融合特徵與所述第五樣本事件特徵融合，得到第三樣本融合特徵；第四重建子模組，用於將所述第三樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第四重建圖像；第四訓練子模組，用於根據 所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
在一種可能的實現方式中，所述第四訓練子模組用於：根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，確定所述圖像處理網路的總體損失；根據所述總體損失，確定所述圖像處理網路的梯度資訊；根據所述梯度資訊，調整所述第一特徵提取網路、所述第二特徵提取網路、所述細節增強網路及所述圖像重建網路的網路參數，其中，所述細節增強網路的梯度資訊不傳遞到所述第二特徵提取網路。
在一些實施例中，本公開實施例提供的圖像重建裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述圖像重建方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體或揮發性電腦可讀儲存媒體。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述圖像重建方法。
本公開實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖像重建方法的指令。
本公開實施例還提供了另一種電腦程式產品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的圖像重建方法的操作。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖4示出根據本公開實施例的一種電子設備800的框圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖4，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，聯絡人資料，電話簿資料，消息，圖片，影片等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存 取記憶體(SRAM)，電子抹除式可複寫唯讀記憶體(EEPROM)，可擦除可規劃式唯讀記憶體(EPROM)，可程式化唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸控面板(TP)。如果螢幕包括觸控面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸控面板包括一個或多個觸控感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸控感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝像頭和/或後置攝像頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝像頭和/或後置攝像頭可以接收外部的多媒體資料。每個前置攝像頭和後置攝像頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置為輸出和/或輸入音訊信號。例如，音訊組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例 中，音訊組件810還包括一個揚聲器，用於輸出音訊信號。
輸入/輸出介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補式金屬氧化物半導體(CMOS)或電荷耦合裝置(CCD)圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如無線網路(WiFi)，第二代行動通信技術(2G)或第三代行動通信技術(3G)，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於射 頻識別(RFID)技術，紅外資料協會(IrDA)技術，超寬頻(UWB)技術，藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯裝置(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述圖像重建方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述圖像重建方法。
圖5示出根據本公開實施例的一種電子設備1900的框圖。例如，電子設備1900可以被提供為一伺服器。參照圖5，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述圖像重建方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如微軟伺服器作業系統(Windows ServerTM)，蘋果公司推出的基於圖形化使用者介面作業系統(Mac OS XTM)，多用戶多行程的 電腦作業系統(UnixTM)，自由和開放原始碼的類UNIX作業系統(LinuxTM)，開放原始碼的類UNIX作業系統(FreeBSDTM)或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述圖像重建方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是--但不限於--電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦除可規劃式唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位影音光碟(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存媒體不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括區域網路(LAN)或廣域網路(WAN)-連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從 而實現本公開的各個方面。
這裡參照根據本公開實施例的圖像重建方法、圖像重建裝置(系統)和電腦程式產品的流程圖和/或框圖描述了本公開的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
圖式中的流程圖和框圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流 程圖或框圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於圖式中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存媒體，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。
在不違背邏輯的情況下，本公開不同實施例之間可以相互結合，不同實施例描述有所側重，為側重描述的部分可以參見其他實施例的記載。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
S11~S13:流程步驟

Claims (13)

  1. 一種圖像重建方法，包括：獲取目標場景的事件資訊，所述事件資訊用於表示所述目標場景在第一亮度範圍內的亮度變化；對所述事件資訊進行特徵提取，得到所述目標場景的第一事件特徵；對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，所述重建圖像的亮度處於第二亮度範圍內，所述第二亮度範圍高於所述第一亮度範圍。
  2. 根據請求項1所述的圖像重建方法，其中，對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，包括：根據第一雜訊資訊及所述第一事件特徵，對所述第一事件特徵進行細節增強，得到第二事件特徵，所述第一雜訊資訊為預設的隨機雜訊資訊；將所述第一事件特徵與所述第二事件特徵融合，得到融合特徵；對所述融合特徵進行圖像重建，得到所述目標場景的重建圖像。
  3. 根據請求項1或2所述的圖像重建方法，其中，所述圖像重建方法通過圖像處理網路實現，所述圖像處理網路包括第一特徵提取網路及圖像重建網路，所述第一特徵提取網路用於對所述事件資訊進行特徵提取，所述圖像重建網路用於對所述第一事件特徵進行圖像重建：所述圖像重建方法還包括：根據預設的訓練集訓練所述圖像處 理網路，所述訓練集包括多個第一樣本場景的第一樣本事件資訊，多個第二樣本場景的第二樣本事件資訊及樣本場景圖像；其中，所述第一樣本事件資訊是在第三亮度範圍內獲取的，所述第二樣本事件資訊是在第四亮度範圍內獲取的，所述樣本場景圖像是在所述第四亮度範圍內獲取的，所述第四亮度範圍高於所述第三亮度範圍。
  4. 根據請求項3所述的圖像重建方法，其中，所述圖像處理網路還包括鑒別網路，所述根據預設的訓練集訓練所述圖像處理網路，包括：將所述第一樣本場景的第一樣本事件資訊和所述第二樣本場景的第二樣本事件資訊分別輸入所述第一特徵提取網路，得到第一樣本事件特徵和第二樣本事件特徵；將所述第一樣本事件特徵和所述第二樣本事件特徵分別輸入所述鑒別網路，得到第一鑒別結果和第二鑒別結果；根據所述第一鑒別結果及所述第二鑒別結果，對抗訓練所述圖像處理網路。
  5. 根據請求項4所述的圖像重建方法，其中，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第二樣本事件特徵輸入所述圖像重建網路，得到所述第二樣本場景的第一重建圖像；根據所述第二樣本場景的第一重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
  6. 根據請求項5所述的圖像重建方法，其中，所述圖像處理網路還包括細節增強網路，所述根據預設的訓練集訓練所述圖像處理網路，還包括： 將所述第二樣本事件特徵及第三雜訊資訊輸入所述細節增強網路，得到第四樣本事件特徵，所述第三雜訊資訊為預設的隨機雜訊資訊；將所述第二樣本事件特徵與所述第四樣本事件特徵融合，得到第二樣本融合特徵；將所述第二樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第三重建圖像；根據所述第二樣本場景的第一重建圖像、所述第三重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
  7. 根據請求項4所述的圖像重建方法，其中，所述圖像處理網路還包括第二特徵提取網路，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第二樣本場景的第二樣本事件資訊及第二雜訊資訊輸入所述第二特徵提取網路，得到第三樣本事件特徵，所述第二雜訊資訊為預設的隨機雜訊資訊；將所述第二樣本事件特徵與所述第三樣本事件特徵融合，得到第一樣本融合特徵；將所述第一樣本融合特徵輸入所述鑒別網路，得到第三鑒別結果；根據所述第一鑒別結果及所述第三鑒別結果，對抗訓練所述圖像處理網路。
  8. 根據請求項7所述的圖像重建方法，其中，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第一樣本融合特徵輸入所述圖像重建網路，得到所述第 二樣本場景的第二重建圖像；根據所述第二樣本場景的第二重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
  9. 根據請求項8所述的圖像重建方法，其中，所述圖像處理網路還包括細節增強網路，所述根據預設的訓練集訓練所述圖像處理網路，還包括：將所述第一樣本融合特徵及第四雜訊資訊輸入所述細節增強網路，得到第五樣本事件特徵，所述第四雜訊資訊為預設的隨機雜訊資訊；將所述第一樣本融合特徵與所述第五樣本事件特徵融合，得到第三樣本融合特徵；將所述第三樣本融合特徵輸入所述圖像重建網路，得到所述第二樣本場景的第四重建圖像；根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，訓練所述圖像處理網路。
  10. 根據請求項9所述的圖像重建方法，其中，所述根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，訓練所述圖像處理網路，包括：根據所述第二樣本場景的第二重建圖像、所述第四重建圖像及所述樣本場景圖像，確定所述圖像處理網路的總體損失；根據所述總體損失，確定所述圖像處理網路的梯度資訊；根據所述梯度資訊，調整所述第一特徵提取網路、所述第二特徵提取網路、所述細節增強網路及所述圖像重建網路的網路參數，其中，所述細節增強網路的梯度資訊不傳遞到所述第二特徵提 取網路。
  11. 一種圖像重建裝置，包括：事件獲取模組，用於獲取目標場景的事件資訊，所述事件資訊用於表示所述目標場景在第一亮度範圍內的亮度變化；特徵提取模組，用於對所述事件資訊進行特徵提取，得到所述目標場景的第一事件特徵；圖像重建模組，用於對所述第一事件特徵進行圖像重建，得到所述目標場景的重建圖像，所述重建圖像的亮度處於第二亮度範圍內，所述第二亮度範圍高於所述第一亮度範圍。
  12. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至10中任意一項所述的圖像重建方法。
  13. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至10中任意一項所述的圖像重建方法。
TW109125062A 2020-03-31 2020-07-24 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體 TWI765304B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010243153.4A CN111462268B (zh) 2020-03-31 2020-03-31 图像重建方法及装置、电子设备和存储介质
CN202010243153.4 2020-03-31

Publications (2)

Publication Number Publication Date
TW202139140A TW202139140A (zh) 2021-10-16
TWI765304B true TWI765304B (zh) 2022-05-21

Family

ID=71682204

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109125062A TWI765304B (zh) 2020-03-31 2020-07-24 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體

Country Status (3)

Country Link
CN (1) CN111462268B (zh)
TW (1) TWI765304B (zh)
WO (1) WO2021196401A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205646B (zh) * 2020-09-18 2024-03-29 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置、电子设备及存储介质
CN112712170B (zh) * 2021-01-08 2023-06-20 西安交通大学 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN112785672B (zh) * 2021-01-19 2022-07-05 浙江商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN112668557B (zh) * 2021-01-29 2024-06-14 南通大学 一种行人再识别系统中防御图像噪声攻击的方法
CN112950497A (zh) * 2021-02-22 2021-06-11 上海商汤智能科技有限公司 图像处理方法、装置、电子设备及存储介质
CN113506320B (zh) * 2021-07-15 2024-04-12 清华大学 图像处理方法及装置、电子设备和存储介质
CN113506325B (zh) * 2021-07-15 2024-04-12 清华大学 图像处理方法及装置、电子设备和存储介质
CN113506229B (zh) * 2021-07-15 2024-04-12 清华大学 神经网络训练和图像生成方法及装置
CN113837938B (zh) * 2021-07-28 2022-09-09 北京大学 基于动态视觉传感器重建潜在图像的超分辨率方法
CN113869449A (zh) * 2021-10-11 2021-12-31 北京百度网讯科技有限公司 一种模型训练、图像处理方法、装置、设备及存储介质
CN114648478A (zh) * 2022-03-29 2022-06-21 北京小米移动软件有限公司 图像处理方法、装置、芯片、电子设备和存储介质
CN114663842B (zh) * 2022-05-25 2022-09-09 深圳比特微电子科技有限公司 图像融合处理方法、装置、电子设备及存储介质
CN115661336A (zh) * 2022-09-21 2023-01-31 华为技术有限公司 一种三维重建方法及相关装置
CN115578295B (zh) * 2022-11-17 2023-04-07 中国科学技术大学 一种视频去雨方法、系统、设备及存储介质
CN116456183B (zh) * 2023-04-20 2023-09-26 北京大学 一种事件相机引导下的高动态范围视频生成方法及系统
CN117576522B (zh) * 2024-01-18 2024-04-26 之江实验室 一种基于拟态结构动态防御的模型训练方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201101842A (en) * 2009-06-25 2011-01-01 Pixart Imaging Inc Dynamic image compression method for human face detection
TWI369122B (en) * 2008-12-03 2012-07-21 Altek Corp Method for improving image resolution
TWI479884B (zh) * 2009-10-12 2015-04-01 Himax Imagimg Inc 應用於影像感應器的雜訊去除方法與相關裝置
CN105359507A (zh) * 2013-07-12 2016-02-24 索尼公司 再现装置、再现方法和记录介质
TW201628391A (zh) * 2015-01-19 2016-08-01 湯姆生特許公司 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法
CN109859144A (zh) * 2019-02-22 2019-06-07 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109977876A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 图像识别方法、装置、计算设备、系统和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4424518B2 (ja) * 2007-03-27 2010-03-03 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101680602B1 (ko) * 2015-06-03 2016-11-29 한국생산기술연구원 3차원 내부 영상 복원 시스템, 3차원 내부 영상 복원 장치, 3차원 내부 영상 복원 방법 및 기록 매체
WO2018037079A1 (en) * 2016-08-24 2018-03-01 Universität Zürich Simultaneous localization and mapping with an event camera
CN108073857B (zh) * 2016-11-14 2024-02-27 北京三星通信技术研究有限公司 动态视觉传感器dvs事件处理的方法及装置
CN107395983B (zh) * 2017-08-24 2020-04-07 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108154474B (zh) * 2017-12-22 2021-08-27 浙江大华技术股份有限公司 一种超分辨率图像重构方法、装置、介质及设备
CN108182670B (zh) * 2018-01-15 2020-11-10 清华大学 一种事件图像的分辨率增强方法及系统
KR102083721B1 (ko) * 2018-03-06 2020-03-02 한국과학기술원 딥 러닝을 이용한 양안기반 초해상 이미징 방법 및 그 장치
CN109801214B (zh) * 2018-05-29 2023-08-29 京东方科技集团股份有限公司 图像重构装置及方法、设备、计算机可读存储介质
CN109087269B (zh) * 2018-08-21 2020-08-04 厦门美图之家科技有限公司 弱光图像增强方法及装置
CN109118430B (zh) * 2018-08-24 2023-05-09 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN109685746B (zh) * 2019-01-04 2021-03-05 Oppo广东移动通信有限公司 图像亮度调整方法、装置、存储介质及终端
CN110070498A (zh) * 2019-03-12 2019-07-30 浙江工业大学 一种基于卷积自编码器的图像增强方法
CN109981991A (zh) * 2019-04-17 2019-07-05 北京旷视科技有限公司 模型训练方法、图像处理方法、装置、介质和电子设备
CN110533097B (zh) * 2019-08-27 2023-01-06 腾讯科技（深圳）有限公司 一种图像清晰度识别方法、装置、电子设备及存储介质
CN110769196A (zh) * 2019-10-17 2020-02-07 天津大学 一种用于非连续监控路段的视频预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI369122B (en) * 2008-12-03 2012-07-21 Altek Corp Method for improving image resolution
TW201101842A (en) * 2009-06-25 2011-01-01 Pixart Imaging Inc Dynamic image compression method for human face detection
TWI479884B (zh) * 2009-10-12 2015-04-01 Himax Imagimg Inc 應用於影像感應器的雜訊去除方法與相關裝置
CN105359507A (zh) * 2013-07-12 2016-02-24 索尼公司 再现装置、再现方法和记录介质
TW201628391A (zh) * 2015-01-19 2016-08-01 湯姆生特許公司 基於亮度分布與動作間之取捨以產生場景之高動態範圍影像之方法
CN109859144A (zh) * 2019-02-22 2019-06-07 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109977876A (zh) * 2019-03-28 2019-07-05 腾讯科技（深圳）有限公司 图像识别方法、装置、计算设备、系统和存储介质

Also Published As

Publication number Publication date
CN111462268A (zh) 2020-07-28
WO2021196401A1 (zh) 2021-10-07
CN111462268B (zh) 2022-11-11
TW202139140A (zh) 2021-10-16

Similar Documents

Publication Publication Date Title
TWI765304B (zh) 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
TWI777162B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
TWI759647B (zh) 影像處理方法、電子設備，和電腦可讀儲存介質
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
CN109658352B (zh) 图像信息的优化方法及装置、电子设备和存储介质
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
TWI755833B (zh) 一種圖像處理方法、電子設備和儲存介質
TWI777112B (zh) 圖像處理方法、電子設備和儲存介質
US20210103733A1 (en) Video processing method, apparatus, and non-transitory computer-readable storage medium
CN111340731B (zh) 图像处理方法及装置、电子设备和存储介质
CN111435422B (zh) 动作识别方法、控制方法及装置、电子设备和存储介质
CN108171222B (zh) 一种基于多流神经网络的实时视频分类方法及装置
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备
CN113506229B (zh) 神经网络训练和图像生成方法及装置
CN111062407B (zh) 图像处理方法及装置、电子设备和存储介质
CN111507131B (zh) 活体检测方法及装置、电子设备和存储介质
CN113506324B (zh) 图像处理方法及装置、电子设备和存储介质
CN113506325B (zh) 图像处理方法及装置、电子设备和存储介质
CN113506321B (zh) 图像处理方法及装置、电子设备和存储介质
CN114565962A (zh) 人脸图像处理方法及装置、电子设备和存储介质
CN112330721A (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
CN111723715B (zh) 一种视频显著性检测方法及装置、电子设备和存储介质
CN115239986B (zh) 图像分类方法、装置、设备及存储介质
CN117372441A (zh) 一种多对象分割方法及设备