TWI769523B - 圖像處理方法、電子設備和電腦可讀儲存介質 - Google Patents

圖像處理方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TWI769523B
TWI769523B TW109130877A TW109130877A TWI769523B TW I769523 B TWI769523 B TW I769523B TW 109130877 A TW109130877 A TW 109130877A TW 109130877 A TW109130877 A TW 109130877A TW I769523 B TWI769523 B TW I769523B
Authority
TW
Taiwan
Prior art keywords
target
image
blurred image
target moment
clear image
Prior art date
Application number
TW109130877A
Other languages
English (en)
Other versions
TW202137767A (zh
Inventor
姜哲
張宇
鄒冬青
任思捷
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202137767A publication Critical patent/TW202137767A/zh
Application granted granted Critical
Publication of TWI769523B publication Critical patent/TWI769523B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本發明涉及一種圖像處理方法、電子設備和電腦可讀儲存介質，所述方法包括：獲取在曝光時間內曝光得到的模糊圖像，以及在所述曝光時間內採樣得到的事件數據，其中，所述事件數據用於反映所述模糊圖像中的像素點的亮度變化；根據所述事件數據，確定所述曝光時間內的全局事件特徵；根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像對應的清晰圖像。

Description

圖像處理方法、電子設備和電腦可讀儲存介質
本申請要求在2020年3月27日提交中國專利局、申請號爲202010232152.X、申請名稱爲“圖像處理方法及裝置、電子設備和存儲介質”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
本發明涉及電腦技術領域，尤其涉及一種圖像處理方法、電子設備和電腦可讀儲存介質。
在圖像採集過程中，圖像採集設備與被拍攝物體之間往往存在相對運動，因而造成了圖像的運動模糊。圖像去模糊是電腦視覺以及計算攝影學的重要研究方向，是圖像畫質增强，圖像修復不可或缺的重要步驟。該技術廣泛應用在攝影，娛樂，視訊監控等多種場景。
本發明提出了一種圖像處理方法、電子設備和電腦可讀儲存介質的技術方案。
根據本發明的一方面，提供了一種圖像處理方法，包括：獲取在曝光時間內曝光得到的模糊圖像，以及在所述曝光時間內採樣得到的事件數據，其中，所述事件數據用於反映所述模糊圖像中的像素點的亮度變化；根據所述事件數據，確定所述曝光時間內的全局事件特徵；根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像對應的清晰圖像。
在一種可能的實現方式中，所述曝光時間內包括多個目標時刻；所述根據所述事件數據，確定所述曝光時間內的全局事件特徵，包括：根據第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述第
Figure 02_image001
目標時刻對應的局部事件特徵，其中，
Figure 02_image005
；根據所述多個目標時刻對應的局部事件特徵，確定所述全局事件特徵。
在一種可能的實現方式中，所述根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像對應的清晰圖像，包括：根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像。
在一種可能的實現方式中，所述根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像，包括：基於運動模糊物理模型，根據所述模糊圖像和所述事件數據，確定所述模糊圖像在所述第
Figure 02_image007
目標時刻對應的初始清晰圖像；根據所述模糊圖像在所述第
Figure 02_image007
目標時刻對應的初始清晰圖像和所述全局事件特徵，確定所述模糊圖像在所述第
Figure 02_image007
時刻對應的清晰圖像。
在一種可能的實現方式中，所述方法還包括：根據所述模糊圖像在所述第
Figure 02_image007
目標時刻對應的清晰圖像，確定所述模糊圖像對應的清晰圖像序列。
在一種可能的實現方式中，所述根據所述模糊圖像在所述第
Figure 02_image007
目標時刻對應的清晰圖像，確定所述模糊圖像對應的清晰圖像序列，包括：根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像、所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，以及所述第
Figure 02_image001
目標時刻對應的局部事件特徵，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的清晰圖像，其中，
Figure 02_image005
；根據所述模糊圖像在第
Figure 02_image010
至
Figure 02_image007
目標時刻對應的清晰圖像，得到所述清晰圖像序列。
在一種可能的實現方式中，所述根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像、所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，以及所述第
Figure 02_image001
目標時刻對應的局部事件特徵，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的清晰圖像，包括：根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像，以及所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像；對所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據進行濾波處理，確定所述第
Figure 02_image001
目標時刻對應的邊界特徵圖；根據所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像，以及所述第
Figure 02_image001
目標時刻對應的邊界特徵圖和局部事件特徵，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的清晰圖像。
在一種可能的實現方式中，所述根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像，以及所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像，包括：基於運動模糊物理模型，根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像，以及所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像。
在一種可能的實現方式中，所述根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像，以及所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像，包括：根據所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述第
Figure 02_image003
目標時刻到所述第
Figure 02_image001
目標時刻的前向光流；根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像和所述前向光流，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像。
根據本發明的一方面，提供了一種圖像處理裝置，包括：第一確定模組，用於獲取在曝光時間內曝光得到的模糊圖像，以及在所述曝光時間內採樣得到的事件數據，其中，所述事件數據用於反映所述模糊圖像中的像素點的亮度變化；第二確定模組，用於根據所述事件數據，確定所述曝光時間內的全局事件特徵；第三確定模組，用於根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像對應的清晰圖像。
在一種可能的實現方式中，所述曝光時間內包括多個目標時刻；所述第二確定模組，包括：第一確定子模組，用於根據第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述第
Figure 02_image001
目標時刻對應的局部事件特徵，其中，
Figure 02_image005
；第二確定子模組，用於根據所述多個目標時刻對應的局部事件特徵，確定所述全局事件特徵。
在一種可能的實現方式中，所述第三確定模組，包括：第三確定子模組，用於根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像。
在一種可能的實現方式中，所述第三確定子模組，包括：第一確定單元，用於基於運動模糊物理模型，根據所述模糊圖像和所述事件數據，確定所述模糊圖像在所述第
Figure 02_image007
目標時刻對應的初始清晰圖像；第二確定單元，用於根據所述模糊圖像在所述第
Figure 02_image007
目標時刻對應的初始清晰圖像和所述全局事件特徵，確定所述模糊圖像在所述第
Figure 02_image007
時刻對應的清晰圖像。
在一種可能的實現方式中，所述第三確定模組還包括：第四確定子模組，用於根據所述模糊圖像在所述第
Figure 02_image007
目標時刻對應的清晰圖像，確定所述模糊圖像對應的清晰圖像序列。
在一種可能的實現方式中，所述第四確定子模組，包括：第三確定單元，用於根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像、所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，以及所述第
Figure 02_image001
目標時刻對應的局部事件特徵，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的清晰圖像，其中，
Figure 02_image012
；第四確定單元，用於根據所述模糊圖像在第
Figure 02_image010
至
Figure 02_image007
目標時刻對應的清晰圖像，得到所述清晰圖像序列。
在一種可能的實現方式中，所述第三確定單元，包括：第一確定子單元，用於根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像，以及所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像；第二確定子單元，用於對所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據進行濾波處理，確定所述第
Figure 02_image001
目標時刻對應的邊界特徵圖；第三確定子單元，用於根據所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像，以及所述第
Figure 02_image001
目標時刻對應的邊界特徵圖和局部事件特徵，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的清晰圖像。
在一種可能的實現方式中，所述第一確定子單元具體用於：基於運動模糊物理模型，根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像，以及所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像。
在一種可能的實現方式中，所述第一確定子單元具體用於：根據所述第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定所述第
Figure 02_image003
目標時刻到所述第
Figure 02_image001
目標時刻的前向光流；根據所述模糊圖像在所述第
Figure 02_image003
目標時刻對應的清晰圖像和所述前向光流，確定所述模糊圖像在所述第
Figure 02_image001
目標時刻對應的初始清晰圖像。
根據本發明的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置爲調用所述記憶體儲存的指令，以執行上述方法。
根據本發明的一方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。
根據本發明的一方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述方法。
在本發明實施例中，根據模糊圖像的曝光時間內採樣得到的事件數據，可以確定用於反映曝光時間內場景運動訊息的全局事件特徵，使得基於事件數據和全局事件特徵對模糊圖像進行去模糊處理後，可以得到模糊圖像對應的圖像品質較高的清晰圖像，從而有效提高圖像去模糊品質。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考圖式對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本發明的一個或多個示例性實施例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的元件。儘管在圖式中示出了實施例的一個或多個方面，但是除非特別指出，不必按比例繪製圖式。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
在圖像採集過程中，圖像採集設備與被拍攝物體之間往往存在相對運動，因而造成了圖像的運動模糊。例如，拍攝過程中相機抖動或者場景移動産生的圖像模糊，飛行器、機器人或自動駕駛的視覺系統等由於自身快速運動産生的圖像模糊等。本發明實施例的圖像處理方法可以用於對上述應用場景下得到的模糊圖像進行圖像去模糊處理操作。
圖1示出根據本發明實施例的圖像處理方法的流程圖。如圖1所示的圖像處理方法可以由終端設備或其它處理設備執行，其中，終端設備可以爲用戶設備（User Equipment，UE）、行動設備、用戶終端、終端、行動電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。其它處理設備可爲伺服器或雲端伺服器等。在一些可能的實現方式中，該圖像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖1所示，該方法可以包括：
在步驟S11中，獲取在曝光時間內得到的模糊圖像，以及在曝光時間內採樣得到的事件數據，其中，事件數據用於反映模糊圖像中的像素點的亮度變化。
在步驟S12中，根據事件數據，確定曝光時間內的全局事件特徵。
在步驟S13中，根據模糊圖像、事件數據和全局事件特徵，確定模糊圖像對應的清晰圖像。
模糊圖像可以是圖像採集設備（例如，攝影機）在曝光時間內採集得到的，具有較低的清晰度，存在圖像模糊、動態範圍較小等情況，其中，曝光時間指的是圖像採集設備採集模糊圖像的一個時間段，例如，曝光時間爲90ms指的是0-90ms的一個時間段。圖像採集設備在曝光時間內採集模糊圖像時，可通過事件採集設備（例如，事件相機，Event-Based Camera）在曝光時間內進行採樣得到事件數據，其中，事件數據可以反映模糊圖像中的像素點在曝光時間內的亮度變化，進而利用該事件數據對模糊圖像進行去模糊處理。
其中，事件數據的格式可以爲
Figure 02_image013
，其中，
Figure 02_image015
表示亮度變化超過亮度閾值的像素點的位置，
Figure 02_image017
表示像素點
Figure 02_image015
亮度變化超過亮度閾值的時刻。通過
Figure 02_image013
的取值來表示像素點當像素點
Figure 02_image015
在
Figure 02_image017
時刻的亮度變化，例如，當像素點
Figure 02_image015
在
Figure 02_image017
時刻亮度增加超過亮度閾值時，
Figure 02_image013
的取值爲正數（例如，+1）；當像素點
Figure 02_image015
在
Figure 02_image017
時刻亮度減小超過亮度閾值時，
Figure 02_image013
的取值爲負數（例如，-1）；當像素點
Figure 02_image015
在
Figure 02_image017
時刻亮度的亮度變化未達到亮度閾值時，
Figure 02_image013
的取值爲0。亮度閾值的具體取值可以根據實際情況確定，本發明對此不做具體限定。
在一種可能的實現方式中，曝光時間內包括多個目標時刻；根據事件數據，確定曝光時間內的全局事件特徵，包括：根據第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定第
Figure 02_image001
目標時刻對應的局部事件特徵；根據多個目標時刻對應的局部事件特徵，確定全局事件特徵。
通過在模糊圖像的曝光時間內確定多個目標時刻，可以將在曝光時間內採樣得到的事件數據劃分爲等時間間隔的多組，使得可以利用多組事件數據得到用於反映曝光時間內的場景運動訊息的全局事件特徵和局部事件特徵。在一示例中，在曝光時間內確定多個目標時刻，相鄰目標時刻之間對應的事件數據爲一組，進而根據多組事件數據可以得到用於反映場景運動訊息的多個目標時刻對應的局部事件特徵，以及根據多個目標時刻對應的局部事件特徵，得到用於反映場景運動訊息的全局事件特徵。
例如，模糊圖像的曝光時間爲90ms，事件採集設備在曝光時間內採樣得到事件數據，在曝光時間內確定四個目標時刻：第一目標時刻（0ms）、第二目標時刻（30ms）、第三目標時刻（60ms）和第四目標時刻（90ms），則可以實現將事件數據劃分爲3組：第一目標時刻和第二目標時刻之間（0~30ms）的局部事件數據、第二目標時刻和第三目標時刻之間（30~60ms）的局部事件數據，以及第三目標時刻和第四目標時刻之間（60~90ms）的局部事件數據。根據第一目標時刻和第二目標時刻之間（0~30ms）的局部事件數據可以確定第一目標時刻對應的局部事件特徵；根據第二目標時刻和第三目標時刻之間（30~60ms）的事件數據可以確定第二目標時刻對應的局部事件特徵；根據第三目標時刻和第四目標時刻之間（60~90ms）的事件數據可以確定第三目標時刻對應的局部事件特徵；根據第一目標時刻對應的局部事件特徵、第二目標時刻對應的局部事件特徵，以及第三目標時刻對應的局部事件特徵，可以確定曝光時間內（0~90ms）的全局事件特徵。曝光時間內目標時刻的個數可以根據實際情況確定，本發明對此不做具體限定。
在一種可能的實時方式中，可以根據模糊圖像的曝光時間內採樣得到的事件數據，利用圖像去模糊神經網路中的讀取子網路，確定曝光時間內的全局事件特徵和多個目標時刻對應的局部事件特徵。圖2示出根據本發明實施例的圖像去模糊神經網路的示意圖。讀取子網路可以由一系列卷積網路和卷積長短時記憶網路組成。圖2中包括四個目標時刻，將模糊圖像的曝光時間內採樣得到的事件數據輸入圖2中的讀取子網路後，等時間間隔分爲多個相鄰目標時刻之間的局部事件數據，由卷積網路構成的編碼器對相鄰目標時刻之間的局部事件數據進行特徵提取，得到多個目標時刻對應的局部事件特徵，再通過長短時記憶網路對多個目標時刻對應的局部事件特徵進行時序特徵提取，得到曝光時間內的全局事件特徵。讀取子網路除了可以由一系列卷積網路和卷積長短時記憶網路組成，還可以有其它網路構成形式，本發明對此不做具體限定。
在一種可能的實現方式中，根據模糊圖像、事件數據和全局事件特徵，確定模糊圖像對應的清晰圖像，包括：根據模糊圖像、事件數據和全局事件特徵，確定模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像。
在一種可能的實現方式中，根據模糊圖像、曝光時間內的事件數據和全局事件特徵，確定模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像，包括：基於運動模糊物理模型，根據模糊圖像和事件數據，確定模糊圖像在第
Figure 02_image007
目標時刻對應的初始清晰圖像；根據模糊圖像在第
Figure 02_image007
目標時刻對應的初始清晰圖像和全局事件特徵，確定模糊圖像在第
Figure 02_image007
時刻對應的清晰圖像。
在本發明實施例中，根據模糊圖像的曝光時間內採樣得到的事件數據，可以確定用於反映曝光時間內場景運動訊息的全局事件特徵，使得基於事件數據和全局事件特徵對模糊圖像進行去模糊處理後，可以得到模糊圖像對應的圖像品質較高的清晰圖像，從而有效提高圖像去模糊品質。
假設模糊圖像經過圖像去模糊後可以得到曝光時間內的第
Figure 02_image010
至
Figure 02_image007
目標時刻對應的
Figure 02_image007
幀清晰圖像，則根據運動模糊物理模型，模糊圖像爲
Figure 02_image007
幀清晰圖像的圖像平均值。因此，基於模糊圖像
Figure 02_image019
和模糊圖像
Figure 02_image019
曝時間內的事件數據，利用運動模糊物理模型，通過下述公式（一）初步確定模糊圖像在第
Figure 02_image007
目標時刻對應的初始清晰圖像
Figure 02_image021
：
Figure 02_image023
Figure 02_image025
（一）。
其中，
Figure 02_image007
爲目標時刻的個數，
Figure 02_image027
爲模糊圖像在第
Figure 02_image001
目標時刻對應的清晰圖像，
Figure 02_image029
爲事件採集設備的亮度閾值，當像素點
Figure 02_image015
在
Figure 02_image017
時刻觸發了事件
Figure 02_image031
時，
Figure 02_image033
，未觸發事件
Figure 02_image031
時，
Figure 02_image035
。進而根據模糊圖像在第
Figure 02_image007
目標時刻對應的初始清晰圖像和全局事件特徵，確定模糊圖像在第
Figure 02_image007
時刻對應的清晰圖像。
在一種可能的實現方式中，可以根據模糊圖像、事件數據和全局事件特徵，利用圖像去模糊神經網路中的初始化子網路，確定模糊圖像在第
Figure 02_image007
時刻對應的清晰圖像。仍以上述圖2爲例，將模糊圖像
Figure 02_image019
和模糊圖像經過上述公式（一）得到的模糊圖像在第四目標時刻對應的初始清晰圖像
Figure 02_image037
輸入初始化子網路的編碼器進行編碼，得到第四目標時刻對應的特徵圖
Figure 02_image039
，進而將第四目標時刻對應的特徵圖和讀取網路輸出的全局事件特徵進行級聯，將級聯後特徵經過初始化子網路的解碼器進行解碼，得到模糊圖像在第四目標時刻對應的清晰圖像（
Figure 02_image041
）。
在一種可能的實現方式中，該方法還包括：根據模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像，確定模糊圖像對應的清晰圖像序列
在一種可能的實現方式中，根據模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像，確定模糊圖像對應的清晰圖像序列，包括：根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像、第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，以及第
Figure 02_image001
目標時刻對應的局部事件特徵，確定模糊圖像在第
Figure 02_image001
目標時刻對應的清晰圖像，其中，
Figure 02_image012
；根據模糊圖像在第
Figure 02_image010
至
Figure 02_image007
目標時刻對應的清晰圖像，得到清晰圖像序列。
在一種可能的實現方式中，根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像、第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，以及第
Figure 02_image001
目標時刻對應的局部事件特徵，確定模糊圖像在第
Figure 02_image001
目標時刻對應的清晰圖像，包括：根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像，以及第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像；對第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據進行濾波處理，確定第
Figure 02_image001
目標時刻對應的邊界特徵圖；根據模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像，以及第
Figure 02_image001
目標時刻對應的邊界特徵圖和局部事件特徵，確定模糊圖像在第
Figure 02_image001
目標時刻對應的清晰圖像。
與圖像採集設備採集模糊圖像的過程相同，事件採集設備對模糊圖像的曝光時間內的事件數據進行採集時，事件採集設備與被拍攝物體之間同樣存在相對運動，導致事件採集設備採集到的不同時刻的事件數據之間存在對不齊的現象。因此，針對相鄰目標時刻之間的局部事件數據進行濾波對齊，例如，第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，通過對第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據進行濾波處理，可以實現將第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據進行對齊，進而得到第
Figure 02_image001
目標時刻對應的更加清晰的邊界特徵圖，從而根據模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像，以及第
Figure 02_image001
目標時刻對應的邊界特徵圖和局部事件特徵，可以得到邊緣更加清晰的模糊圖像在第
Figure 02_image001
目標時刻對應的清晰圖像。
確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像的方式至少包括下述兩種：
第一種：基於運動模糊物理模型的確定方式
在一種可能的實現方式中，根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像，以及第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像，包括：基於運動模糊物理模型，根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像，以及第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像。
在一示例中，基於模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像
Figure 02_image043
和第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，利用運動模糊物理模型，通過下述公式（二）確定模糊圖像在第
Figure 02_image007
目標時刻對應的初始清晰圖像
Figure 02_image045
：
Figure 02_image047
（二）。
第二種：基於光流的確定方式
在一種可能的實現方式中，根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像，以及第
Figure 02_image001
目標時刻和所述第
Figure 02_image003
目標時刻之間的局部事件數據，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像，包括：根據第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定第
Figure 02_image003
目標時刻到所述第
Figure 02_image001
目標時刻的前向光流；根據第
Figure 02_image003
目標時刻對應的目標清晰圖像和前向光流，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像。
根據第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定相同像素點在第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的空間位置變化，從而得到第
Figure 02_image003
目標時刻到所述第
Figure 02_image001
目標時刻的前向光流，進而根據第
Figure 02_image003
目標時刻到第
Figure 02_image001
目標時刻的前向光流對模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像進行運動補償處理，從而得到模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像。
在一種可能的實現方式中，可以根據模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像，利用圖像去模糊神經網路中的處理子網路，確定模糊圖像對應的清晰圖像序列。仍以上述圖2爲例，將基於運動模糊模型（即公式（二））對第四目標時刻對應的清晰圖像（
Figure 02_image041
）進行處理得到的第三目標時刻對應的初始清晰圖像、利用運動補償模組（MC，Motion Compensation）得到的第四目標時刻到第三目標時刻之間的前向光流對第四目標時刻對應的清晰圖像（
Figure 02_image041
）進行處理得到的初始清晰圖像，以及利用定向事件濾波模組（DEF，Direction Event Filtering）對第三目標時刻和第四目標時刻之間的局部事件數據進行濾波處理得到的第三目標時刻對應的邊界特徵圖中的至少一個輸入處理子網路中的編碼器進行編碼，得到第三目標時刻對應的特徵圖，進而第三目標時刻對應的特徵圖和讀取網路輸出的第三目標時刻對應的局部事件特徵進行級聯，將級聯後的特徵輸入處理子網路的解碼器進行解碼，得到模糊圖像在第三目標時刻對應的清晰圖像（
Figure 02_image050
）。確定模糊圖像在第二目標時刻對應的清晰圖像（
Figure 02_image052
）和模糊圖像在第一目標時刻對應的清晰圖像（
Figure 02_image054
）的方式，與確定模糊圖像在第三目標時刻對應的清晰圖像（
Figure 02_image050
）相類似，這裏不再贅述。
在本發明實施例中，根據單張模糊圖像的曝光時間內採樣得到的事件數據，可以確定用於反映曝光時間內場景運動訊息的全局事件特徵和局部事件特徵，進而基於事件數據、全局事件特徵和局部事件特徵，可以從單張模糊圖像中恢復得到曝光時間內模糊圖像對應的圖像品質較高的清晰圖像序列，從而有效提高動態場景下圖像去模糊品質。例如，本發明實施例的圖像處理方法可以應用於行動終端設備的攝影系統，利用該方法不僅可以去除由相機抖動或者場景行動産生的圖像模糊，得到拍攝時的清晰圖像序列，實現動態場景記錄，使得用戶得到更好的拍照體驗。例如，本發明實施例的圖像處理方法可以應用在飛行器、機器人或自動駕駛的視覺系統上，不僅可以解決由快速運動産生的圖像模糊，得到的清晰圖像序列還有助於其他視覺系統發揮更好的性能，如SLAM系統等。
可以理解，本發明提及的上述一個或多個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，多個步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明提供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖3示出根據本發明實施例的圖像處理裝置的方塊圖。如圖3所示，裝置30包括：
第一確定模組31，用於獲取在曝光時間內曝光得到的模糊圖像，以及在曝光時間內採樣得到的事件數據，其中，事件數據用於反映模糊圖像中的像素點的亮度變化；
第二確定模組32，用於根據事件數據，確定曝光時間內的全局事件特徵；
第三確定模組33，用於根據模糊圖像、事件數據和全局事件特徵，確定模糊圖像對應的清晰圖像。
在一種可能的實現方式中，曝光時間內包括多個目標時刻；
第二確定模組32，包括：
第一確定子模組，用於根據第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定第
Figure 02_image056
目標時刻對應的局部事件特徵，其中，
Figure 02_image012
；
第二確定子模組，用於根據多個目標時刻對應的局部事件特徵，確定全局事件特徵。
在一種可能的實現方式中，第三確定模組33，包括：
第三確定子模組，用於根據模糊圖像、事件數據和全局事件特徵，確定模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像。
在一種可能的實現方式中，第三確定子模組，包括：
第一確定單元，用於基於運動模糊物理模型，根據模糊圖像和事件數據，確定模糊圖像在第
Figure 02_image007
目標時刻對應的初始清晰圖像；
第二確定單元，用於根據模糊圖像在第
Figure 02_image007
目標時刻對應的初始清晰圖像和全局事件特徵，確定模糊圖像在第
Figure 02_image007
時刻對應的清晰圖像。
在一種可能的實現方式中，第三確定模組33還包括：
第四確定子模組，用於根據模糊圖像在第
Figure 02_image007
目標時刻對應的清晰圖像，確定模糊圖像對應的清晰圖像序列。
在一種可能的實現方式中，第四確定子模組，包括：
第三確定單元，用於根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像、第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，以及第
Figure 02_image001
目標時刻對應的局部事件特徵，確定模糊圖像在第
Figure 02_image001
目標時刻對應的清晰圖像，其中，
Figure 02_image012
；
第四確定單元，用於根據模糊圖像在第
Figure 02_image010
至
Figure 02_image007
目標時刻對應的清晰圖像，得到清晰圖像序列。
在一種可能的實現方式中，第三確定單元，包括：
第一確定子單元，用於根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像，以及第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像；
第二確定子單元，用於對第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據進行濾波處理，確定第
Figure 02_image001
目標時刻對應的邊界特徵圖；
第三確定子單元，用於根據模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像，以及第
Figure 02_image001
目標時刻對應的邊界特徵圖和局部事件特徵，確定模糊圖像在第
Figure 02_image001
目標時刻對應的清晰圖像。
在一種可能的實現方式中，第一確定子單元具體用於：
基於運動模糊物理模型，根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像，以及第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像。
在一種可能的實現方式中，第一確定子單元具體用於：
根據第
Figure 02_image001
目標時刻和第
Figure 02_image003
目標時刻之間的局部事件數據，確定第
Figure 02_image003
目標時刻到第
Figure 02_image001
目標時刻的前向光流；
根據模糊圖像在第
Figure 02_image003
目標時刻對應的清晰圖像和前向光流，確定模糊圖像在第
Figure 02_image001
目標時刻對應的初始清晰圖像。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，爲了簡潔，這裏不再贅述。
本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非揮發性電腦可讀儲存介質。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置爲調用所述記憶體儲存的指令，以執行上述方法。
本發明實施例還提供了一種電腦程式産品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖像處理方法的指令。
本發明實施例還提供了另一種電腦程式産品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的圖像處理方法的操作。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖4示出根據本發明實施例的一種電子設備的方塊圖。如圖4所示，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖4，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/O）的介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存一種或多種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，訊息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除可程式化唯讀記憶體（EEPROM），可抹除可程式化唯讀記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的一種或多種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影機和/或後置攝影機可以接收外部的多媒體數據。一個或多個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置爲輸出和/或輸入音訊訊號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置爲接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊訊號。
I/O介面812爲處理組件802和周邊介面模組之間提供介面，上述周邊介面模組可以是鍵盤，滑鼠，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供一個或多個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體（CMOS）或電荷耦合裝置（CCD）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如無線網路（WiFi），第二代行動通訊技術（2G）或第三代行動通訊技術（3G），或它們的組合。在一個示例性實施例中，通訊組件816經由廣播信道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（RFID）技術，紅外數據協會（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位訊號處理設備（DSPD）、可程式化邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖5示出根據本發明實施例的一種電子設備的方塊圖。如圖5所示，電子設備1900可以被提供爲一伺服器。參照圖5，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的對應於一組指令的模組。此外，處理組件1922被配置爲執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置爲將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如微軟伺服器操作系統（Windows ServerTM ），蘋果公司推出的基於圖形用戶界面操作系統（Mac OS XTM ），多用戶多進程的電腦操作系統（UnixTM ）,自由和開放原始碼的類Unix操作系統（LinuxTM ），開放原始碼的類Unix操作系統（FreeBSDTM ）或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的一個或多個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子（非窮舉的列表）包括：可攜式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除式可程式化唯讀記憶體（EPROM或閃存）、靜態隨機存取記憶體（SRAM）、可攜式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存介質不被解釋爲瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到一個或多個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。至少一個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在一個或多個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的原始碼或目標代碼，所述程式化語言包括面向對象的程式化語言—諸如Smalltalk、C++等，以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式化邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的一個或多個方面。
這裏參照根據本發明實施例的方法、裝置（系統）和電腦程式産品的流程圖和/或方塊圖描述了本發明的一個或多個方面。應當理解，流程圖和/或方塊圖的一個或多個方塊以及流程圖和/或塊圖中一個或多個方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生産出一種機器，使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時，産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的一個或多個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以産生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
圖式中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的至少一個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方塊中所標注的功能也可以以不同於圖式中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的一個或多個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式産品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式産品具體體現爲電腦儲存介質，在另一個可選實施例中，電腦程式産品具體體現爲軟體産品，例如軟體開發套件(Software Development Kit，SDK)等等。
以上已經描述了本發明的一個或多個實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的一個或多個實施例。在不偏離所說明的至少一個實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在解釋實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的一個或多個實施例。
30:裝置 31:第一確定模組 32:第二確定模組 33:第三確定模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出介面 814:感測器組件 816:通訊組件 820:處理器 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入/輸出介面 S11~S13:步驟
此處的圖式被併入說明書中並構成本說明書的一部分，這些圖式示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案： 圖1示出根據本發明實施例的圖像處理方法的流程圖； 圖2示出根據本發明實施例的圖像去模糊神經網路的示意圖； 圖3示出根據本發明實施例的圖像處理裝置的方塊圖； 圖4示出本發明實施例的一種電子設備的方塊圖；及 圖5示出本發明實施例的一種電子設備的方塊圖。
S11~S13:步驟

Claims (11)

  1. 一種圖像處理方法，包括：獲取在曝光時間內曝光得到的模糊圖像，以及在所述曝光時間內採樣得到的事件數據，其中，所述事件數據用於反映所述模糊圖像中的像素點在所述曝光時間內的亮度變化；根據所述事件數據，確定所述曝光時間內的全局事件特徵，其中，所述全局事件特徵用於反映所述曝光時間內的場景運動訊息；根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像對應的清晰圖像。
  2. 如請求項1所述的方法，所述曝光時間內包括多個目標時刻；所述根據所述事件數據，確定所述曝光時間內的全局事件特徵，包括：根據第i目標時刻和第i+1目標時刻之間的局部事件數據，確定所述第i目標時刻對應的局部事件特徵，其中，i=1,2,...,T-1；根據所述多個目標時刻對應的局部事件特徵，確定所述全局事件特徵。
  3. 如請求項2所述的方法，所述根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像對應的清晰圖像，包括：根據所述模糊圖像、所述事件數據和所述全局事件特 徵，確定所述模糊圖像在第T目標時刻對應的清晰圖像。
  4. 如請求項3所述的方法，所述根據所述模糊圖像、所述事件數據和所述全局事件特徵，確定所述模糊圖像在第T目標時刻對應的清晰圖像，包括：基於運動模糊物理模型，根據所述模糊圖像和所述事件數據，確定所述模糊圖像在所述第T目標時刻對應的初始清晰圖像；根據所述模糊圖像在所述第T目標時刻對應的初始清晰圖像和所述全局事件特徵，確定所述模糊圖像在所述第T時刻對應的清晰圖像。
  5. 如請求項3或4所述的方法，所述方法還包括：根據所述模糊圖像在所述第T目標時刻對應的清晰圖像，確定所述模糊圖像對應的清晰圖像序列。
  6. 如請求項5所述的方法，所述根據所述模糊圖像在所述第T目標時刻對應的清晰圖像，確定所述模糊圖像對應的清晰圖像序列，包括：根據所述模糊圖像在所述第i+1目標時刻對應的清晰圖像、所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據，以及所述第i目標時刻對應的局部事件特徵，確定所述模糊圖像在所述第i目標時刻對應的清晰圖像，其中，i=1,2,...,T-1；根據所述模糊圖像在第1至T目標時刻對應的清晰圖像，得到所述清晰圖像序列。
  7. 如請求項6所述的方法，所述根據所述模糊圖像在所述第i+1目標時刻對應的清晰圖像、所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據，以及所述第i目標時刻對應的局部事件特徵，確定所述模糊圖像在所述第i目標時刻對應的清晰圖像，包括：根據所述模糊圖像在所述第i+1目標時刻對應的清晰圖像，以及所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據，確定所述模糊圖像在所述第i目標時刻對應的初始清晰圖像；對所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據進行濾波處理，確定所述第i目標時刻對應的邊界特徵圖；根據所述模糊圖像在所述第i目標時刻對應的初始清晰圖像，以及所述第i目標時刻對應的邊界特徵圖和局部事件特徵，確定所述模糊圖像在所述第i目標時刻對應的清晰圖像。
  8. 如請求項7所述的方法，所述根據所述模糊圖像在所述第i+1目標時刻對應的清晰圖像，以及所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據，確定所述模糊圖像在所述第i目標時刻對應的初始清晰圖像，包括：基於運動模糊物理模型，根據所述模糊圖像在所述第i+1目標時刻對應的清晰圖像，以及所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據，確定所述模糊圖像在所述第i目標時刻對應的初始清晰圖像。
  9. 如請求項7所述的方法，所述根據所述模糊圖像在所述第i+1目標時刻對應的清晰圖像，以及所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據，確定所述模糊圖像在所述第i目標時刻對應的初始清晰圖像，包括：根據所述第i目標時刻和所述第i+1目標時刻之間的局部事件數據，確定所述第i+1目標時刻到所述第i目標時刻的前向光流；根據所述模糊圖像在所述第i+1目標時刻對應的清晰圖像和所述前向光流，確定所述模糊圖像在所述第i目標時刻對應的初始清晰圖像。
  10. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行如請求項1至9其中任意一項所述的方法。
  11. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現如請求項1至9其中任意一項所述的方法。
TW109130877A 2020-03-27 2020-09-09 圖像處理方法、電子設備和電腦可讀儲存介質 TWI769523B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010232152.X 2020-03-27
CN202010232152.XA CN111445414B (zh) 2020-03-27 2020-03-27 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202137767A TW202137767A (zh) 2021-10-01
TWI769523B true TWI769523B (zh) 2022-07-01

Family

ID=71651348

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109130877A TWI769523B (zh) 2020-03-27 2020-09-09 圖像處理方法、電子設備和電腦可讀儲存介質

Country Status (5)

Country Link
US (1) US20220020124A1 (zh)
CN (1) CN111445414B (zh)
SG (1) SG11202110306WA (zh)
TW (1) TWI769523B (zh)
WO (1) WO2021189704A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131991B (zh) * 2020-09-15 2024-01-23 厦门大学 一种基于事件相机的数据关联方法
CN113177890B (zh) * 2021-04-27 2023-04-18 深圳市慧鲤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113537071B (zh) * 2021-07-19 2023-08-11 深圳龙岗智能视听研究院 一种基于事件相机的静态和动态目标检测方法及设备
CN114841870A (zh) * 2022-03-31 2022-08-02 华为技术有限公司 图像处理方法、相关装置和系统
CN115082417A (zh) * 2022-07-11 2022-09-20 北京字跳网络技术有限公司 一种图像质量的处理方法、装置、电子设备及存储介质
CN117880645A (zh) * 2022-10-10 2024-04-12 华为技术有限公司 一种图像处理的方法、装置、电子设备及存储介质
CN115734088B (zh) * 2022-10-28 2024-10-11 深圳锐视智芯科技有限公司 一种图像果冻效应消除方法及相关装置
CN116012675B (zh) * 2023-02-14 2023-08-11 荣耀终端有限公司 一种模型训练方法、图像处理方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791273A (zh) * 2016-12-07 2017-05-31 重庆大学 一种结合帧间信息的视频盲复原方法
CN107610059A (zh) * 2017-08-28 2018-01-19 维沃移动通信有限公司 一种图像处理方法及移动终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100553295C (zh) * 2006-07-07 2009-10-21 奥林巴斯映像株式会社 照相机、照相机的图像处理方法
CN102509281A (zh) * 2011-11-24 2012-06-20 浙江大学 基于透明度的双图像去平面运动模糊方法
CN102663718B (zh) * 2012-03-19 2015-06-24 清华大学 一种全局不一致图像去模糊的方法及系统
US9749532B1 (en) * 2014-08-12 2017-08-29 Amazon Technologies, Inc. Pixel readout of a charge coupled device having a variable aperture
US9743024B2 (en) * 2015-07-01 2017-08-22 Massachusetts Institute Of Technology Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
CN108074222A (zh) * 2017-12-25 2018-05-25 清华大学 基于混合相机系统的高速运动物体去模糊方法及装置
CN108764078B (zh) * 2018-05-15 2019-08-02 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备
CN109922372B (zh) * 2019-02-26 2021-10-12 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791273A (zh) * 2016-12-07 2017-05-31 重庆大学 一种结合帧间信息的视频盲复原方法
CN107610059A (zh) * 2017-08-28 2018-01-19 维沃移动通信有限公司 一种图像处理方法及移动终端

Also Published As

Publication number Publication date
CN111445414A (zh) 2020-07-24
US20220020124A1 (en) 2022-01-20
CN111445414B (zh) 2023-04-14
SG11202110306WA (en) 2021-10-28
WO2021189704A1 (zh) 2021-09-30
TW202137767A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
TWI769523B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
WO2020135127A1 (zh) 一种行人识别方法及装置
TWI767596B (zh) 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質
TWI755833B (zh) 一種圖像處理方法、電子設備和儲存介質
CN107944409B (zh) 能够区分关键动作的视频分析方法及装置
CN108985176B (zh) 图像生成方法及装置
WO2021169136A1 (zh) 图像处理方法及装置、电子设备和存储介质
JP2021518961A (ja) 画像生成方法および装置、電子機器並びに記憶媒体
CN110134532A (zh) 一种信息交互方法及装置、电子设备和存储介质
KR101826326B1 (ko) 파노라마 사진의 생성 방법 및 장치
CN111523346B (zh) 图像识别方法及装置、电子设备和存储介质
WO2022021932A1 (zh) 降噪方法及装置、电子设备、存储介质和计算机程序产品
CN112085097A (zh) 图像处理方法及装置、电子设备和存储介质
CN113506229B (zh) 神经网络训练和图像生成方法及装置
TWI770531B (zh) 人臉識別方法、電子設備和儲存介質
CN113506325B (zh) 图像处理方法及装置、电子设备和存储介质
CN113506324B (zh) 图像处理方法及装置、电子设备和存储介质
CN113506321B (zh) 图像处理方法及装置、电子设备和存储介质
CN110121115B (zh) 精彩视频片段的确定方法及装置
CN113506320B (zh) 图像处理方法及装置、电子设备和存储介质
CN114339019B (zh) 对焦方法、对焦装置及存储介质
CN112330721A (zh) 三维坐标的恢复方法及装置、电子设备和存储介质
CN113506323B (zh) 图像处理方法及装置、电子设备和存储介质
CN113506319B (zh) 图像处理方法及装置、电子设备和存储介质