TW202133609A - 圖像處理方法、電子設備和電腦可讀儲存介質 - Google Patents

圖像處理方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TW202133609A
TW202133609A TW109131137A TW109131137A TW202133609A TW 202133609 A TW202133609 A TW 202133609A TW 109131137 A TW109131137 A TW 109131137A TW 109131137 A TW109131137 A TW 109131137A TW 202133609 A TW202133609 A TW 202133609A
Authority
TW
Taiwan
Prior art keywords
film frame
xth
feature
frame
propagation
Prior art date
Application number
TW109131137A
Other languages
English (en)
Other versions
TWI780482B (zh
Inventor
陳焯傑
余可
王鑫濤
董超
呂健勤
湯曉鷗
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202133609A publication Critical patent/TW202133609A/zh
Application granted granted Critical
Publication of TWI780482B publication Critical patent/TWI780482B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Television Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本發明涉及一種圖像處理方法、電子設備和電腦可讀儲存介質，所述方法包括：獲取影片片段中第x+1個影片幀的反向傳播特徵及第x-1個影片幀的正向傳播特徵中的至少一項，其中，影片片段包括N個影片幀，N為大於2的整數，x為整數；根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵；根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。本發明實施例可實現提高高分辨率圖像的重構效率，降低計算成本。

Description

圖像處理方法、電子設備和電腦可讀儲存介質
本申請要求在2020年2月28日提交中國專利局、申請號為202010129837.1、發明名稱為“圖像處理方法及裝置、電子設備和存儲介質”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
本發明涉及電腦技術領域，尤其涉及一種圖像方法、電子設備和電腦可讀儲存介質。
影片超分辨率旨在給定低分辨率影片的情況下重建對應的高分辨率影片。相關技術採用多個低分辨率影片幀預測一個高分辨率影片幀，重建之後的影片幀比重建之前的影片幀的分辨率更高，這樣得到的影片清晰度會更高。
本發明提出了一種用於重建高分辨率影片幀的技術方案。
根據本發明的一方面，提供了一種圖像處理方法，包括：
獲取影片片段中第x+1個影片幀的反向傳播特徵及第x-1個影片幀的正向傳播特徵中的至少一項，其中，影片片段包括N個影片幀，N為大於2的整數，x為整數；
根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵；
根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。
在一種可能的實現方式中，1＜x＜N，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，包括：
根據所述第x個影片幀、所述第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
根據所述第x個影片幀、所述第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵，包括：
根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、所述第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵、及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵，包括：
根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述第x個影片幀的反向傳播特徵、所述扭曲後的正向傳播特徵、及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
在一種可能的實現方式中，1＜x＜N，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，包括：
根據所述第x個影片幀、所述第x-1個影片幀及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
根據所述第x個影片幀、所述第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、所述第x-1個影片幀、及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵，包括：
根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述扭曲後的正向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、所述第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵、及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵，包括：
根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述第x個影片幀的正向傳播特徵、所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，包括：
在x=N的情況下，對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=N的情況下，針對第x個影片幀，獲取第x-1個影片幀的正向傳播特徵；
根據所述第x個影片幀、所述第x-1個影片幀的正向傳播特徵，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=1的情況下， 針對第x個影片幀，獲取第x+1個影片幀的反向傳播特徵；
根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵，得到所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述方法還包括：
確定影片數據中的至少兩個關鍵幀；
根據所述關鍵幀將所述影片數據劃分為至少一個影片片段。
根據本發明的另一方面，提供了一種圖像處理裝置，包括：
獲取模組，用於獲取影片片段中第x+1個影片幀的反向傳播特徵及第x-1個影片幀的正向傳播特徵中的至少一項，其中，影片片段包括N個影片幀，N為大於2的整數，x為整數；
第一處理模組，用於根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵；
第二處理模組，用於根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。
在一種可能的實現方式中，1＜x＜N，所述第一處理模組，還用於：
根據所述第x個影片幀、所述第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
根據所述第x個影片幀、所述第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述第一處理模組，還用於：
根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述第一處理模組，還用於：
根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述第x個影片幀的反向傳播特徵、所述扭曲後的正向傳播特徵、及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
在一種可能的實現方式中，1＜x＜N，所述第一處理模組，還用於：
根據所述第x個影片幀、所述第x-1個影片幀及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
根據所述第x個影片幀、所述第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述第一處理模組，還用於：
根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述扭曲後的正向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
在一種可能的實現方式中，所述第一處理模組，還用於：
根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述第x個影片幀的正向傳播特徵、所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述第一處理模組，還用於：
在x=N的情況下，對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=N的情況下，針對第x個影片幀，獲取第x-1個影片幀的正向傳播特徵；
根據所述第x個影片幀、所述第x-1個影片幀的正向傳播特徵，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=1的情況下，針對第x個影片幀，獲取第x+1個影片幀的反向傳播特徵；
根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵，得到所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述裝置還包括：
確定模組，用於確定影片數據中的至少兩個關鍵幀；
劃分模組，用於根據所述關鍵幀將所述影片數據劃分為至少一個影片片段。
根據本發明的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。
根據本發明的一方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。
根據本發明的一方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述的方法。
在本發明實施例中，可以獲取影片片段中第x+1個影片幀的反向傳播特徵及第x-1個影片幀的正向傳播特徵中的至少一項，進而可以根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵、及所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，進一步的可以根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。根據本發明實時例提供的圖像處理方法、電子設備和電腦可讀儲存介質，提高了高分辨率圖像的重構效率，降低了計算成本，並且利用了自然影片中的時間連續性，任一影片幀的重構特徵均採用前一影片幀及後一影片幀傳遞的特徵來確定，使用附近幀中的特徵，而不必從頭開始提取，這樣可以大大節省特徵提取和聚合的時間，提高重構精度。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
圖1示出根據本發明實施例的圖像處理方法的流程圖。所述圖像方法可以由終端設備或伺服器等電子設備執行，終端設備可以為用戶設備（User Equipment，UE）、移動設備、用戶終端、終端、行動電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等，所述方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可通過伺服器執行所述方法。
如圖1所示，所述圖像處理方法包括：
在步驟S11中，獲取影片片段中第x+1個影片幀的反向傳播特徵及獲取第x-1個影片幀的正向傳播特徵中的至少一項，其中，影片片段包括N個影片幀，N為大於2的整數，x為整數。
影片超分辨率旨在給定低分辨率影片的情況下重建對應的高分辨率影片。本發明實施例提供的圖像處理方法，可以對低分辨率影片進行重建，得到對應的高分辨率影片。
舉例來說，可以將一個待處理的影片數據作為一個影片片段，也可以將一個待處理的影片數據劃分為多個影片片段，各個影片片段相互獨立。
在一種可能的實現方式中，所述方法還可以包括：
確定所述影片數據中的至少兩個關鍵幀；
根據所述關鍵幀將所述影片數據劃分為至少一個影片片段。
舉例來說，可以將影片數據中的第1幀和最後1幀作為關鍵幀，將影片數據作為一個影片片段；或者，可以按照預置間隔幀數，確定影片數據中的至少兩個關鍵幀，例如：將影片數據中的第1幀作為關鍵幀，影片數據中相鄰的兩個關鍵幀之間間隔預置間隔幀數，根據每兩個相鄰的關鍵幀將影片數據劃分為多個影片片段；或者，將影片數據中的第1幀作為關鍵幀, 針對第N個關鍵幀，確定第N個關鍵幀之後的任一幀與第N個關鍵幀的光流，若光流的均值大於閾值，則將該幀作為第N+1個關鍵幀 ，根據每兩個相鄰的關鍵幀將影片數據劃分為多個影片片段，以此可以保證同一個影片片段中影片幀具有一定程度的相關性。
在重建影片片段中第x個影片幀的高分辨率圖像時，可以獲取影片片段中第x+1個影片幀的反向傳播特徵，和/或獲取影片片段中第x-1個影片幀的正向傳播特徵。在影片片段中，除第一個影片幀以外，其餘的影片幀（第2個影片幀、第3個影片幀、……、第N-1個影片幀的）的反向傳播特徵均可以根據當前影片幀的後一幀影片幀的反向傳播特徵來確定，並在確定反向傳播特徵後，可以將反向傳播特徵傳遞給前一幀影片幀，以使得根據當前影片幀的反向傳播特徵確定前一幀影片幀的反向傳播特徵；除第N個影片幀以外，其餘的影片幀的正向傳播特徵均可以根據當前影片幀的前一幀影片幀的正向傳播特徵來確定，在確定正向傳播特徵後，可以將正向傳播特徵傳遞給後一幀影片幀，以使得可以根據當前影片幀的正向傳播特徵確定後一幀影片幀的正向傳播特徵。
在步驟S12中，根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵。
舉例來說，在得到第x+1個影片幀的反向傳播特徵、和/或所述第x-1個影片幀的正向傳播特徵後，可以根據第x個影片幀、第x+1個影片幀的反向傳播特徵、所述第x-1個影片幀的正向傳播特徵中的至少一項進行特徵提取，得到第x個影片幀的重構特徵，例如：在1＜x＜N時，可以根據第x個影片幀、第x+1個影片幀的反向傳播特徵、所述第x-1個影片幀的正向傳播特徵，得到第x個影片幀的重構特徵，在x=1時，可以根據第x個影片幀或者第x+1個影片幀的反向傳播特徵得到第x個影片幀的重構特徵，或者在x=N時，可以根據第x個影片幀或者第x-1個影片幀的正向傳播特徵，得到第x個影片幀的重構特徵。例如：可以通過用於提取重構特徵的神經網路對第x個影片幀、第x+1個影片幀的反向傳播特徵、第x-1個影片幀的正向傳播特徵中的至少一項進行相應卷積處理，得到第x個影片幀的重構特徵。
在步驟S13中，根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。
舉例來說，可以通過卷積和多通道間的重組對第x個影片幀的重構特徵進行放大，得到高分辨率的重構特徵。並對第x個影片幀進行上採樣處理，得到上採樣結果，將高分辨率的重構特徵及上採樣結果進行相加處理，得到與第x個影片幀對應的目標影片幀，該目標影片幀的分辨率高於所述第x個影片幀的分辨率，即目標影片幀為第x個影片幀的高分辨率圖像幀。
示例性的，圖2示出了用於重構高分辨圖像的神經網路的結構示意圖，通過卷積模組202對第x個影片幀（px）的重構特徵201進行卷積處理後，得到卷積結果。再通過像素重組模組203對卷積結果進行處理，得到第一處理結果，將第一處理結果繼續通過卷積模組204及像素重組模組205進行處理，得到第二處理結果，將得到的第二處理結果經過卷積模組206和卷積模組207進行兩次卷積處理後，可以得到放大後的重構特徵。對第x個影片幀（px）進行上採樣後，將上採樣結果與放大後的重構特徵進行相加處理，得到與第x個影片幀對應的目標影片幀208。
這樣，可以獲取影片片段中第x+1個影片幀的反向傳播特徵及第x-1個影片幀的正向傳播特徵中的至少一項，進而可以根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵、及所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，進一步的可以根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。根據本發明實施例提供的圖像處理方法，提高了高分辨率圖像的重構效率，降低了計算成本，並且利用了自然影片中的時間連續性，任一影片幀的重構特徵均採用前一影片幀及後一影片幀傳遞的特徵來確定，使用附近幀中的特徵，而不必從頭開始提取，這樣可以大大節省特徵提取和聚合的時間，提高重構精度。
在一種可能的實現方式中，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，可以包括：
根據所述第x個影片幀、第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
根據所述第x個影片幀、第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵、及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
舉例來說，可以通過第x個影片幀及第x+1個影片幀對第x+1個影片幀的反向傳播特徵進行扭曲，以實現特徵對齊，得到第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵，可以包括：
根據所述第x個影片幀及第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
舉例來說，參照圖3，可以通過第x個影片幀（圖3中示為px）及第x+1個影片幀（圖3中示為px+1）預測第x個影片幀與第x+1個影片幀之間的第一光流圖（圖3中示為sx+），並根據第一光流圖sx+對第x+1個影片幀的反向傳播特徵（圖3中示為bx+1）與第x個影片幀進行特徵對齊，得到扭曲後的反向傳播特徵。進一步的根據扭曲後的反向傳播特徵及第x個影片幀，可以得到所述第x個影片幀的反向傳播特徵（圖3中示為bx）。
示例性的，可以通過圖4所示的用於確定反向傳播特徵的神經網路（其中，401為卷積模組，402為殘差模組）確定第x個影片幀（px）的反向傳播特徵。首先利用第x個影片幀與第x+1個影片幀（px+1）之間的第一光流圖對第x+1個影片幀的反向傳播特徵bx+1進行扭曲，構造第x個影片幀與第x+1個影片幀的反向傳播特徵bx+1之間的對應關係，得到扭曲後的反向傳播特徵，進而對扭曲後的反向傳播特徵及第x個影片幀進行多次卷積處理後，將卷積結果作為殘差模組的輸入，以得到第x個影片幀的反向傳播特徵bx。
得到第x個影片幀的反向傳播特徵後，可以根據第x個影片幀的反向傳播特徵確定第x個影片幀的正向傳播特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵、及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵，可以包括：
根據所述第x個影片幀及第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述第x個影片幀的反向傳播特徵、所述扭曲後的正向傳播特徵、及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
舉例來說，參照圖5，可以通過第x個影片幀（圖5中示為px）及第x-1個影片幀（圖5中示為px-1）預測第x個影片幀與第x-1個影片幀之間的第二光流圖（圖5中示為sx-），並根據第二光流圖sx-對第x-1個影片幀的正向傳播特徵（圖5中示為fx-1）與第x個影片幀進行特徵對齊，得到扭曲後的正向傳播特徵。進一步的根據扭曲後的正向傳播特徵、第x個影片幀的反向傳播特徵及第x個影片幀，可以得到所述第x個影片幀的正向傳播特徵（圖5中示為fx）。
示例性的，可以通過圖6所示的用於確定正向傳播特徵的神經網路（其中，601為卷積模組，602為殘差模組）確定第x個影片幀的正向傳播特徵。首先利用第x個影片幀與第x-1個影片幀之間的第二光流圖對第x-1個影片幀的正向傳播特徵fx-1進行扭曲，構造第x個影片幀與第x-1個影片幀的正向傳播特徵fx-1之間的對應關係，得到扭曲後的正向傳播特徵，進而對扭曲後的正向傳播特徵、第x個影片幀的反向傳播特徵及第x個影片幀進行多次卷積處理後，將卷積結果作為殘差模組的輸入，以得到第x個影片幀的正向傳播特徵fx。
在一種可能的實現方式中，x=1，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，可以包括：
對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
舉例來說，可以對第1個影片幀和可選的鄰居幀（第1個影片幀順序關聯的預置數量的影片幀）進行特徵提取，並將提取到的圖像特徵作為第1個影片幀的正向傳播特徵傳遞給第2個影片幀，以使得可以依據第1個影片幀的正向傳播特徵預測第2個影片幀的正向傳播特徵，並傳遞給第3個影片幀，……，以此類推，直至根據第N-2個影片幀的正向傳播特徵預測第N-1個影片幀的正向傳播特徵。其中，本發明實施例不對上述進行特徵提取的方式加以限定，凡是可以提取圖像特徵的方式均可以。
在提取到第1個影片幀的正向傳播特徵後，可以將第1個影片幀的正向傳播特徵作為第1個影片幀的重構特徵，進而根據第1個影片幀的重構特徵對第1個影片幀進行高分率圖像重構，以得到第1個影片幀對應的目標影片幀，該目標影片幀即為第1個圖像幀的高分率圖像，其中，本發明實施例不對上述進行對第1個影片幀進行圖像重建的方式加以限定，參照相關技術即可。
在一種可能的實現方式中，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，可以包括：
在x=N的情況下，對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=N的情況下，針對第x個影片幀，獲取第x-1個影片幀的正向傳播特徵；
根據所述第x個影片幀、所述第x-1個影片幀的正向傳播特徵，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=1的情況下，針對第x個影片幀，獲取第x+1個影片幀的反向傳播特徵；
根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵，得到所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
舉例來說，在x=N的情況下，可以對第N個影片幀和可選的鄰居幀（第N個影片幀順序關聯的預置數量的影片幀）進行特徵提取，並將提取到的圖像特徵作為第N個影片幀的反向傳播特徵傳遞給第N-1個影片幀，以使得可以依據第N個影片幀的正向傳播特徵預測第N-1個影片幀的反向傳播特徵，並傳遞給第N-2個影片幀，……，以此類推，直至根據第3個影片幀的反向傳播特徵預測第2個影片幀的反向傳播特徵。其中，本發明實施例不對上述進行特徵提取的方式加以限定，凡是可以提取圖像特徵的方式均可以。
在提取到第N個影片幀的正向傳播特徵後，可以將所述第N個影片幀的反向傳播特徵作為所述第N個影片幀的重構特徵，進而根據第N個影片幀的重構特徵對第N個影片幀進行高分率圖像重構，以得到第N個影片幀對應的目標影片幀，該目標影片幀即為第N個圖像幀的高分率圖像。其中，本發明實施例不對上述進行對第N個影片幀進行圖像重建的方式加以限定，參照相關技術即可。
這樣，本發明實施例僅對第1個影片幀及第N個影片幀進行特徵提取即可實現影片片段內所有影片幀的高分辨率重構，因此可以提高高分辨率圖像的重構效率，降低計算成本。
舉例來說，在x=1的情況下，可以通過圖4所示的用於確定反向傳播特徵的神經網路確定第2個影片幀的反向傳播特徵。首先可以獲取第2個影片幀的反向傳播特徵，並可以利用第1個影片幀與第2個影片幀之間的光流圖對第2個影片幀的反向傳播特徵進行扭曲，構造第1個影片幀與第2個影片幀的反向傳播特徵之間的對應關係，得到扭曲後的反向傳播特徵，進而對扭曲後的反向傳播特徵及第1個影片幀進行多次卷積處理後，將卷積結果作為殘差模組的輸入，以得到第1個影片幀的正向傳播特徵，將該正向傳播特徵傳遞作為第1個影片幀的重構特徵，並將該正向傳播特徵傳遞至第2個影片幀，以根據該第1個影片幀的正向傳播特徵預測第2個影片幀的正向傳播特徵，並傳遞給第3個影片幀，……，以此類推，直至根據第N-1個影片幀的正向傳播特徵預測第N個影片幀的反向傳播特徵。
在確定第1個影片幀的重構特徵後，可以根據圖2示所示的用於重構高分辨圖像的神經網路重構第1個影片幀的目標影片幀。
舉例來說，在x=N的情況下，首先可以獲取第N-1個影片幀的正向傳播特徵，並可以利用第N個影片幀與第N-1個影片幀之間的光流圖對第N-1個影片幀的正向傳播特徵進行扭曲，構造第N個影片幀與第N-1個影片幀的正向傳播特徵之間的對應關係，得到扭曲後的正向傳播特徵，進而對扭曲後的正向傳播特徵及第N個影片幀進行多次卷積處理後，將卷積結果作為殘差模組的輸入，以得到第N個影片幀的反向傳播特徵，將該反向傳播特徵傳遞作為第N個影片幀的重構特徵，並將該反向傳播特徵傳遞至第N-1個影片幀，以根據該第N個影片幀的反向傳播特徵預測第N-1個影片幀的反向傳播特徵，並傳遞給第N-2個影片幀，……，以此類推，直至根據第2個影片幀的反向傳播特徵預測第1個影片幀的正向傳播特徵。
在確定第1個影片幀的重構特徵後，可以根據圖2所示的用於重構高分辨圖像的神經網路重構第1個影片幀的目標影片幀。
這樣，本發明實施例無需對任一影片幀進行特徵提取即可實現影片片段內所有影片幀的高分辨率重構，因此可以提高高分辨率圖像的重構效率，降低計算成本。
為使本領域技術人員更好的理解本發明實施例，以下通過具體示例對本發明實施例加以說明：
如圖7所示，針對影片片段S（p1~pN），對第N個影片幀進行特徵提取，得到第N個影片幀的反向傳播特徵，根據該反向傳播特徵重構第N個影片幀的高分辨率圖像，並將該反向傳播特徵傳遞至第N-1個影片幀，以使得根據該第N個影片幀的反向傳播特徵預測第N-1個影片幀的反向傳播特徵，並將第N-1個影片幀的反向傳播特徵傳遞至第N-2個影片幀，……，依此類推，直至根據第3個影片幀的反向傳播特徵預測第2個影片幀的反向傳播特徵，即影片片段（p2~pN-1）內的每一影片幀均可以根據後一幀的反向傳播特徵，預測對應的反向傳播特徵。
對第1個影片幀進行特徵提取，得到第1個影片幀的正向傳播特徵，根據該正向傳播特徵重構第1個影片幀的高分辨率圖像，得到與第1個影片幀對應的目標影片幀。同時將該第1個影片幀的正向傳播特徵傳遞至第2個影片幀，以使得根據該第2個影片幀的反向傳播特徵及第1影片幀的正向傳播特徵預測第2個影片幀的正向傳播特徵，將第2個影片幀的正向傳播特徵作為重構特徵，對第2個影片幀進行重構，得到與第2個影片幀對應的目標影片幀，同時將第2個影片幀的正向傳播特徵傳遞至第3個影片幀，……，依此類推，直至根據第N-2個影片幀的正向傳播特徵預測第N-1個影片幀的正向傳播特徵，將第N-1個影片幀的正向傳播特徵作為重構特徵，對第N-1個影片幀進行重構，得到與第N-1個影片幀對應的目標影片幀，即可以影片片段（p2~pN-1）內的每一影片幀均可以根據前一幀的正向傳播特徵，預測對應的正向傳播特徵，並根據正向傳播特徵重構得到對應的目標影片幀。
在一種可能的實現方式中，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，可以包括：
根據所述第x個影片幀、第x-1個影片幀、及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
根據所述第x個影片幀、第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵、及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵。
舉例來說，可以通過第x個影片幀及第x-1個影片幀對第x-1個影片幀的正向傳播特徵進行扭曲，以實現特徵對齊，得到第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、第x-1個影片幀、及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵，包括：
根據所述第x個影片幀及第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述扭曲後的正向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
舉例來說，可以通過第x個影片幀及第x-1個影片幀預測第x個影片幀與第x-1個影片幀之間的第二光流圖，並根據第二光流圖對第x-1個影片幀的正向傳播特徵與第x個影片幀進行特徵對齊，構造第x個影片幀與第x-1個影片幀的正向傳播特徵之間的對應關係，得到扭曲後的正向傳播特徵。進一步的根據扭曲後的正向傳播特徵及第x個影片幀，可以得到所述第x個影片幀的正向傳播特徵。示例性的，可以對扭曲後的正向傳播特徵及第x個影片幀進行多次卷積處理後，將卷積結果作為殘差模組的輸入，以得到第x個影片幀的正向傳播特徵。
得到第x個影片幀的正向傳播特徵後，可以根據第x個影片幀的正向傳播特徵確定第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述根據所述第x個影片幀、第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵、及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵，包括：
根據所述第x個影片幀及第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述第x個影片幀的正向傳播特徵、所述扭曲後的反向傳播特徵、及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
舉例來說，可以通過第x個影片幀及第x+1個影片幀預測第x個影片幀與第x+1個影片幀之間的第一光流圖，並根據第二光流圖對第x+1個影片幀的反向傳播特徵與第x個影片幀進行特徵對齊，構造第x個影片幀與第x+1個影片幀的反向傳播特徵之間的對應關係，得到扭曲後的正向傳播特徵。進一步的根據扭曲後的反向傳播特徵、第x個影片幀的正向傳播特徵及第x個影片幀，可以得到所述第x個影片幀的反向傳播特徵。示例性的，可以對扭曲後的反向傳播特徵、第x個影片幀的正向傳播特徵及第x個影片幀進行多次卷積處理後，將卷積結果作為殘差模組的輸入，以得到第x個影片幀的反向傳播特徵。
為使本領域技術人員更好的理解本發明實施例，以下通過具體示例對本發明實施例加以說明：
為使本領域技術人員更好的理解本發明實施例，以下通過具體示例對本發明實施例加以說明：
如圖8所示，針對影片片段S（p1~pN），對第1個影片幀進行特徵提取，得到第1個影片幀的正向傳播特徵，根據該正向傳播特徵重構第1個影片幀的高分辨率圖像，並將該正向傳播特徵傳遞至第2個影片幀，以使得根據該第1個影片幀的正向傳播特徵預測第2個影片幀的正向傳播特徵，並將第2個影片幀的正向傳播特徵傳遞至第3個影片幀，……，依此類推，直至根據第N-2個影片幀的正向傳播特徵預測第N-1個影片幀的正向傳播特徵，即影片片段（p2~pN-1）內的每一影片幀均可以根據前一幀的正向傳播特徵，預測對應的正向傳播特徵。
對第N個影片幀進行特徵提取，得到第N個影片幀的反向傳播特徵，根據該反向傳播特徵重構第N個影片幀的高分辨率圖像，得到與第N個影片幀對應的目標影片幀。同時將該第N個影片幀的反向傳播特徵傳遞至第N-1個影片幀，以使得根據該第N-1個影片幀的正向傳播特徵及第N個影片幀的反向傳播特徵預測第N-1個影片幀的反向傳播特徵，將第N-1個影片幀的反向傳播特徵作為重構特徵，對第N-1個影片幀進行重構，得到與第N-1個影片幀對應的目標影片幀，同時將第N-1個影片幀的反向傳播特徵傳遞至第N-2個影片幀，……，依此類推，直至根據第3個影片幀的反向傳播特徵預測第2個影片幀的反向傳播特徵，將第2個影片幀的反向傳播特徵作為重構特徵，對第2個影片幀進行重構，得到與第2個影片幀對應的目標影片幀，即影片片段（p2~pN-1）內的每一影片幀均可以根據後一幀的反向傳播特徵，預測對應的反向傳播特徵，並根據反向傳播特徵重構得到對應的目標影片幀。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明提供的任一圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖9示出根據本發明實施例的圖像處理裝置的方塊圖，如圖9所示，所述圖像處理裝置包括：
獲取模組901，可以用於獲取影片片段中第x+1個影片幀的反向傳播特徵及第x-1個影片幀的正向傳播特徵中的至少一項，其中，影片片段包括N個影片幀，N為大於2的整數，x為整數；
第一處理模組902，可以用於根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵；
第二處理模組903，可以用於根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。
在本發明的一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現和技術效果可參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
在一種可能的實現方式中，1＜x＜N，所述第一處理模組，還可以用於：
根據所述第x個影片幀、所述第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
根據所述第x個影片幀、所述第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述第一處理模組，還可以用於：
根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，所述第一處理模組，還可以用於：
根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述第x個影片幀的反向傳播特徵、所述扭曲後的正向傳播特徵、及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
在一種可能的實現方式中，1＜x＜N，所述第一處理模組，還可以用於：
根據所述第x個影片幀、所述第x-1個影片幀及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵；
根據所述第x個影片幀、所述第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，所述第一處理模組，還可以用於：
根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖；
根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；
根據所述扭曲後的正向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
在一種可能的實現方式中，所述第一處理模組，還可以用於：
根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖；
根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；
根據所述第x個影片幀的正向傳播特徵、所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
在一種可能的實現方式中，x=1，所述第一處理模組，還可以用於：
對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
在一種可能的實現方式中，x=N，所述第一處理模組，還用於：
在x=N的情況下，對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=N的情況下，針對第x個影片幀，獲取第x-1個影片幀的正向傳播特徵；
根據所述第x個影片幀、所述第x-1個影片幀的正向傳播特徵，得到所述第x個影片幀的反向傳播特徵；
將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵；或者，
在x=1的情況下，針對第x個影片幀，獲取第x+1個影片幀的反向傳播特徵；
根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵，得到所述第x個影片幀的正向傳播特徵；
將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。在一種可能的實現方式中，所述裝置還包括：
確定模組，用於確定影片數據中的至少兩個關鍵幀；
劃分模組，用於根據所述關鍵幀將所述影片數據劃分為至少一個影片片段。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。
本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任一實施例提供的圖像處理方法的指令。
本發明實施例還提供了另一種電腦程式產品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的圖像處理方法的操作。
本發明實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述圖像處理方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖10示出根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是移動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖10，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/ O）介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，消息，圖片，影片等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除可程式化唯讀記憶體程式（EEPROM），可抹除可程式化唯讀記憶體程式（EPROM），可程式化唯讀記憶體程式（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控式面板（TP）。如果螢幕包括觸控式面板，螢幕可以被實現為觸控式螢幕，以接收來自用戶的輸入信號。觸控式面板包括一個或多個觸控式感測器以感測觸控、滑動和觸控式面板上的手勢。所述觸控式感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影鏡頭和/或後置攝影鏡頭。當電子設備800處於操作模式，如拍攝模式或影片模式時，前置攝影鏡頭和/或後置攝影鏡頭可以接收外部的多媒體數據。每個前置攝影鏡頭和後置攝影鏡頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置為輸出和/或輸入音訊信號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊信號。
輸入/輸出介面812為處理組件802和外圍介面模組之間提供介面，上述外圍介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體（CMOS）或電荷耦合裝置（CCD）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如無線網路（WiFi），第二代移動通信技術（2G）或第三代移動通信技術（3G），或它們的組合。在一個示例性實施例中，通信組件816經由廣播頻道接收來自外部廣播管理系統的廣播信號或廣播相關信息。在一個示例性實施例中，所述通信組件816還包括近場通信（NFC）模組，以促進短程通信。例如，在NFC模組可基於無線射頻辨識（RFID）技術，紅外數據協會（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位信號處理設備（DSPD）、可程式邏輯裝置程式（PLD）、現場可程式化邏輯閘陣列程式（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖11示出根據本發明實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖11，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如微軟伺服器操作系統（Windows ServerTM），蘋果公司推出的基於圖形用戶界面操作系統（Mac OS XTM），多用戶多進程的電腦操作系統（UnixTM）, 自由和開放原代碼的類Unix操作系統（LinuxTM），開放原代碼的類Unix操作系統（FreeBSDTM）或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子（非窮舉的列表）包括：便攜式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除可程式化唯讀記憶體程式（EPROM或閃存）、靜態隨機存取記憶體（SRAM）、可擕式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為瞬時信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、網關電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置數據、或者以一種或多種程式語言的任意組合編寫的原始碼或目標代碼，所述程式語言包括面向對象的程式語言—諸如Smalltalk、C++等，以及常規的過程式程式語言—諸如“C”語言或類似的程式語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作為一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠程電腦或伺服器上執行。在涉及遠程電腦的情形中，遠程電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路服務供應商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態信息來個性化定制電子電路，例如可程式邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方框以及流程圖和/或方塊圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式數據處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式數據處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式數據處理裝置、或其它設備上，使得在電腦、其它可程式數據處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方框中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方框、以及方塊圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬件的系統來實現，或者可以用專用硬件與電腦指令的組合來實現。
該電腦程式產品可以具體通過硬件、軟件或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟件產品，例如軟體開發包(Software Development Kit，SDK)等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
201:重構特徵 202:卷積模組 203:像素重組模組 204:卷積模組 205:像素重組模組 206:卷積模組 207:卷積模組 208:目標影片幀 401:卷積模組 402:殘差模組 601:卷積模組 602:殘差模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出介面 814:感測器組件 816:通信組件 820:處理器 901:獲取模組 902:第一處理模組 903:第二處理模組 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入輸出介面 S11~S13:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。 圖1示出根據本發明實施例的圖像處理方法的流程圖； 圖2示出根據本發明實施例的神經網路的結構示意圖； 圖3示出根據本發明實施例的圖像處理方法的示意圖； 圖4示出根據本發明實施例的圖像處理方法的示意圖； 圖5示出根據本發明實施例的圖像處理方法的示意圖； 圖6示出根據本發明實施例的圖像處理方法的示意圖； 圖7示出根據本發明實施例的圖像處理方法的示意圖； 圖8示出根據本發明實施例的圖像處理方法的示意圖； 圖9示出根據本發明實施例的圖像處理裝置的方塊圖； 圖10示出根據本發明實施例的一種電子設備800的方塊圖；及 圖11示出根據本發明實施例的一種電子設備1900的方塊圖。
S11~S13:步驟

Claims (12)

  1. 一種圖像處理方法，包括： 獲取影片片段中第x+1個影片幀的反向傳播特徵及第x-1個影片幀的正向傳播特徵中的至少一項，其中，影片片段包括N個影片幀，N為大於2的整數，x為整數； 根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵；及 根據所述第x個影片幀的重構特徵對第x個影片幀進行重構，得到與第x個影片幀對應的目標影片幀，所述目標影片幀的分辨率高於所述第x個影片幀的分辨率。
  2. 根據請求項1所述的方法，其中，1＜x＜N，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，包括： 根據所述第x個影片幀、所述第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵； 根據所述第x個影片幀、所述第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵；及 將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
  3. 根據請求項2所述的方法，其中，所述根據所述第x個影片幀、第x+1個影片幀及所述第x+1個影片幀的反向傳播特徵，確定所述第x個影片幀的反向傳播特徵，包括： 根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖； 根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；及 根據所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
  4. 根據請求項2所述的方法，其中，所述根據所述第x個影片幀、所述第x-1個影片幀、所述第x-1個影片幀的正向傳播特徵、及所述第x個影片幀的反向傳播特徵，確定所述第x個影片幀的正向傳播特徵，包括： 根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖； 根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；及 根據所述第x個影片幀的反向傳播特徵、所述扭曲後的正向傳播特徵、及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
  5. 根據請求項1所述的方法，其中，1＜x＜N，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，包括： 根據所述第x個影片幀、所述第x-1個影片幀及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵； 根據所述第x個影片幀、所述第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵；及 將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵。
  6. 根據請求項5所述的方法，其中，所述根據所述第x個影片幀、所述第x-1個影片幀、及所述第x-1個影片幀的正向傳播特徵，確定所述第x個影片幀的正向傳播特徵，包括： 根據所述第x個影片幀及所述第x-1個影片幀，得到第二光流圖； 根據所述第二光流圖對所述第x-1個影片幀的正向傳播特徵進行扭曲，得到扭曲後的正向傳播特徵；及 根據所述扭曲後的正向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的正向傳播特徵。
  7. 根據請求項5或6所述的方法，其中，所述根據所述第x個影片幀、所述第x+1個影片幀、所述第x+1個影片幀的反向傳播特徵、及所述第x個影片幀的正向傳播特徵，確定所述第x個影片幀的反向傳播特徵，包括： 根據所述第x個影片幀及所述第x+1個影片幀，得到第一光流圖； 根據所述第一光流圖對所述第x+1個影片幀的反向傳播特徵進行扭曲，得到扭曲後的反向傳播特徵；及 根據所述第x個影片幀的正向傳播特徵、所述扭曲後的反向傳播特徵及所述第x個影片幀，得到所述第x個影片幀的反向傳播特徵。
  8. 根據請求項1至6中任一項所述的方法，其中，x=1，所述根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，包括： 對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的正向傳播特徵；及 將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
  9. 根據請求項1至6中任一項所述的方法，根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵和所述第x-1個影片幀的正向傳播特徵中的至少一項，得到所述第x個影片幀的重構特徵，包括： 在x=N的情況下，對所述第x個影片幀進行特徵提取，得到所述第x個影片幀的反向傳播特徵； 將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵；或者， 在x=N的情況下，針對第x個影片幀，獲取第x-1個影片幀的正向傳播特徵； 根據所述第x個影片幀、所述第x-1個影片幀的正向傳播特徵，得到所述第x個影片幀的反向傳播特徵； 將所述第x個影片幀的反向傳播特徵作為所述第x個影片幀的重構特徵；或者， 在x=1的情況下， 針對第x個影片幀，獲取第x+1個影片幀的反向傳播特徵； 根據所述第x個影片幀、所述第x+1個影片幀的反向傳播特徵，得到所述第x個影片幀的正向傳播特徵；及 將所述第x個影片幀的正向傳播特徵作為所述第x個影片幀的重構特徵。
  10. 根據請求項1至6中任一項所述的方法，其中，所述方法還包括： 確定影片數據中的至少兩個關鍵幀；及 根據所述關鍵幀將所述影片數據劃分為至少一個影片片段。
  11. 一種電子設備，包括： 處理器；及 用於儲存處理器可執行指令的記憶體； 其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至10中任意一項所述的方法。
  12. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至10中任意一項所述的方法。
TW109131137A 2020-02-28 2020-09-10 圖像處理方法、電子設備和電腦可讀儲存介質 TWI780482B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010129837.1A CN111369438B (zh) 2020-02-28 2020-02-28 图像处理方法及装置、电子设备和存储介质
CN202010129837.1 2020-02-28

Publications (2)

Publication Number Publication Date
TW202133609A true TW202133609A (zh) 2021-09-01
TWI780482B TWI780482B (zh) 2022-10-11

Family

ID=71211005

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109131137A TWI780482B (zh) 2020-02-28 2020-09-10 圖像處理方法、電子設備和電腦可讀儲存介質

Country Status (4)

Country Link
US (1) US20230019679A1 (zh)
CN (1) CN111369438B (zh)
TW (1) TWI780482B (zh)
WO (1) WO2021169137A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070031058A1 (en) * 2005-06-08 2007-02-08 Canamet Canadian National Medical Technologies Inc. Method and system for blind reconstruction of multi-frame image data
US20100254453A1 (en) * 2009-04-02 2010-10-07 Qualcomm Incorporated Inverse telecine techniques
US9230303B2 (en) * 2013-04-16 2016-01-05 The United States Of America, As Represented By The Secretary Of The Navy Multi-frame super-resolution of image sequence with arbitrary motion patterns
CN105072373B (zh) * 2015-08-28 2018-03-27 中国科学院自动化研究所 基于双向循环卷积网络的视频超分辨率方法和系统
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN109257605B (zh) * 2017-07-13 2021-11-19 华为技术有限公司 图像处理方法、设备及系统
CN109102462B (zh) * 2018-08-01 2023-04-07 中国计量大学 一种基于深度学习的视频超分辨率重建方法
CN109118430B (zh) * 2018-08-24 2023-05-09 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质
CN110633700B (zh) * 2019-10-21 2022-03-25 深圳市商汤科技有限公司 视频处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI780482B (zh) 2022-10-11
CN111369438A (zh) 2020-07-03
WO2021169137A1 (zh) 2021-09-02
US20230019679A1 (en) 2023-01-19
CN111369438B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN113766313B (zh) 视频数据处理方法及装置、电子设备和存储介质
TWI747325B (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
TWI736179B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
TWI738172B (zh) 影片處理方法及裝置、電子設備、儲存媒體和電腦程式
WO2020156009A1 (zh) 视频修复方法及装置、电子设备和存储介质
TW202113680A (zh) 人臉和人手關聯檢測方法及裝置、電子設備和電腦可讀儲存媒體
JP7152598B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN107944409B (zh) 能够区分关键动作的视频分析方法及装置
WO2020133966A1 (zh) 锚点确定方法及装置、电子设备和存储介质
WO2017092127A1 (zh) 视频归类方法及装置
JP2022544893A (ja) ネットワーク訓練方法及び装置、ターゲット検出方法及び装置並びに電子機器
WO2021036382A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN111539410B (zh) 字符识别方法及装置、电子设备和存储介质
TW202107337A (zh) 一種人臉圖像識別方法及裝置、電子設備和電腦可讀儲存媒體
WO2019165832A1 (zh) 文字信息处理方法、装置及终端
US20210287009A1 (en) Video processing method, video processing device, and storage medium
TW202127369A (zh) 網路訓練方法、圖像生成方法、電子設備及電腦可讀儲存介質
TW202032425A (zh) 圖像處理方法及裝置、電子設備和儲存介質
TW202133111A (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
WO2020103353A1 (zh) 多波束选取方法及装置
WO2022247128A1 (zh) 图像处理方法及装置、电子设备和存储介质
WO2021082486A1 (zh) 获取样本的方法、装置、设备、存储介质及程序
TWI719777B (zh) 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體
US20230386449A1 (en) Method and apparatus for training neural network, and method and apparatus for audio processing
TW202145064A (zh) 對象計數方法、電子設備、電腦可讀儲存介質

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent