JP7143529B2 - 画像復元方法及びその装置、電子機器並びに記憶媒体 - Google Patents

画像復元方法及びその装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7143529B2
JP7143529B2 JP2021535032A JP2021535032A JP7143529B2 JP 7143529 B2 JP7143529 B2 JP 7143529B2 JP 2021535032 A JP2021535032 A JP 2021535032A JP 2021535032 A JP2021535032 A JP 2021535032A JP 7143529 B2 JP7143529 B2 JP 7143529B2
Authority
JP
Japan
Prior art keywords
sub
image
network
images
preset number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021535032A
Other languages
English (en)
Other versions
JP2022514566A (ja
Inventor
余可
王▲しん▼涛
董超
▲湯▼▲曉▼▲鴎▼
▲呂▼健▲勤▼
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022514566A publication Critical patent/JP2022514566A/ja
Application granted granted Critical
Publication of JP7143529B2 publication Critical patent/JP7143529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

（関連出願への相互参照）
本開示は出願番号が２０１９１０１１７７８２．Ｘで、出願日が２０１９年２月１５日である中国特許出願に基づいて提案され、この中国特許出願の優先権を主張し、この中国特許出願の全てのコンテンツが参照により本出願に組み込まれる。
本開示の実施例は、画像復元技術分野に関し、画像復元方法及びその装置、電子機器並びに記憶媒体に関するが、これらに限定されない。
画像復元とはコンピュータ処理により、劣化した画像を再構成又は復元するプロセスである。画像の劣化の原因は多く、例えばカメラの露出ノイズ、ピンぼけ、画像圧縮による歪みなどがある。実際の画像復元問題は、画像の劣化プロセスに様々な程度の歪みが含まれる可能性があり、歪みのタイプ及び程度が画像によって異なり、さらには同一の画像でも均一に分布しなく、例えば、露出ノイズが画像の暗い部分で大きく、画像の明るい部分で小さいため、非常に複雑である。
通常、画像復元では、各画像のすべての領域に対して同じ処理を行う。異なるコンテンツ及び歪み状況を含む画像を復元できるために、この処理方式は一般的に複雑であり、例えば１つの深いニューラルネットワークの場合、このような複雑なアルゴリズムは、実行する時に遅く、実際の応用ニーズを満たすことができない。
実際には、画像領域が異なれば、画像のコンテンツ及び歪み状況も異なるため、その中のいくつかの画像領域は、より簡単な方式で復元されてもよい。例えば、画像に含まれる背景である空は、テクスチャが簡単であり、明るさが高く、含まれるノイズが小さいため、これらの領域は容易に復元されてもよい。しかしながら、画像のコンテンツ及び歪み状況の不均一な分布に対して、いくつかの簡単な領域に対しても複雑な計算が実行されるため、画像の復元速度が遅くなる。
本開示の実施例は、画像の復元速度を向上させるために、画像復元方法及びその装置、電子機器並びに記憶媒体を提供することを望む。
本開示の実施例の技術的解決策は以下のように実現される。
本開示の実施例による画像復元方法は、
取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得することと、各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて前記各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、それによって前記画像の復元画像を取得することと、を含む。
上記解決策では、各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて前記各サブ画像を復元し、各サブ画像の復元画像を取得することは、前記各サブ画像を符号化し、前記各サブ画像の特徴を取得することと、前記各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像のための復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得することと、各サブ画像の処理後の特徴を復号し、前記各サブ画像の復元画像を取得することと、を含む。
上記解決策では、前記各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像の復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得することは、前記サブネットワークの数がＮであり、且つＮ個のサブネットワークが順次接続されている場合、各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップと、前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップと、ｉがｉ＋１に更新され、前記各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップ、及び前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップに戻るステップと、各サブ画像のＮ番目のレベルの特徴を出力して取得するまで、前記ｉが更新されて前記ステップに戻るステップを実行し、前記各サブ画像のＮ番目のレベルの特徴を前記各サブ画像の処理後の特徴として決定するステップと、を含み、ｉ＝１の場合、前記各サブ画像のｉ番目のレベルの特徴が前記各サブ画像の特徴であり、ここで、Ｎが１以上の正整数であり、Ｍが２以上の正整数であり、ｉが１以上且つＮ以下の正整数である。
上記スキームでは、取得されたサブ画像の復元画像の数が予め設定された数以上である場合、前記方法はさらに予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得することと、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新することと、且つ、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたボーナス関数に従って、前記オプティマイザによって強化学習アルゴリズムを用い、前記パス選択ネットワークを訓練し、前記パス選択ネットワークにおけるパラメータを更新することと、を含む。
上記解決策では、予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得した後、取得された予め設定された数のサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する前に、前記方法はさらに前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記パス選択ネットワークにおけるパラメータを更新することと、を含む。
上記スキームでは、前記ボーナス関数は、次のように示される。
Figure 0007143529000001
ここで、
Figure 0007143529000002
がｉ番目のレベルのサブネットワークのボーナス関数を表し、
Figure 0007143529000003
が１つの予め設定されたペナルティ項を表し、
Figure 0007143529000004
が１つの指示関数を表し、
Figure 0007143529000005
が難度係数を表し、
Figure 0007143529000006
の場合、指示関数の値が１であり、
Figure 0007143529000007
の場合、指示関数の値が０である。
上記スキームでは、前記難度係数
Figure 0007143529000008
は次のように示される。
Figure 0007143529000009
ここで、
Figure 0007143529000010
が前記予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数を表し、
Figure 0007143529000011
が１つの閾値である。
本開示の実施例による画像復元装置は、取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得するように構成される分割モジュールと、各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて前記各サブ画像を復元し、各サブ画像の復元画像を出力し、前記画像の復元画像を取得するように構成される復元モジュールと、を備える。
上記画像復元装置では、前記復元モジュールは、前記各サブ画像を符号化し、前記各サブ画像の特徴を取得するように構成される符号化サブモジュールと、各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像のための復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得するように構成される復元サブモジュールと、各サブ画像の処理後の特徴を復号し、前記各サブ画像の復元画像を取得するように構成される復号サブモジュールと、を備える。
上記画像復元装置では、前記復元サブモジュールは、具体的には、前記サブネットワークの数がＮであり、且つＮ個のサブネットワークが順次接続されている場合、各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップと、前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップと、ｉがｉ＋１に更新され、前記各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップ、及び前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップに戻るステップと、各画像のＮ番目のレベルの特徴を出力して取得するまで、前記ｉが更新されて前記ステップに戻るステップを実行し、前記各サブ画像のＮ番目のレベルの特徴を前記各サブ画像の処理後の特徴として決定するステップと、を実行するように構成され、ｉ＝１の場合、前記各サブ画像のｉ番目のレベルの特徴が前記各サブ画像の特徴であり、ここで、Ｎが１以上の正整数であり、Ｍが２以上の正整数であり、ｉが１以上且つＮ以下の正整数である。
上記画像復元装置では、取得されたサブ画像の復元画像の数が予め設定された数以上である場合、前記装置は、さらに予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得するように構成される取得モジュールと、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新し、且つ、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたボーナス関数に従って、前記オプティマイザによって強化学習アルゴリズムを強化し、前記パス選択ネットワークを訓練し、前記パス選択ネットワークにおけるパラメータを更新するように構成される第一の訓練モジュールと、を備える。
上記画像復元装置では、前記装置は、さらに予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得した後、取得された予め設定された数のサブ画像の復元画像と対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する前に、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新するように構成される第二の訓練モジュールを備える。
上記画像復元装置では、前記ボーナス関数は、次のように示される。
Figure 0007143529000012
ここで、
Figure 0007143529000013
がｉ番目のレベルのサブネットワークのボーナス関数を表し、
Figure 0007143529000014
が１つの予め設定されたペナルティ項を表し、
Figure 0007143529000015
が１つの指示関数を表し、
Figure 0007143529000016
が難度係数を表し、
Figure 0007143529000017
の場合、指示関数の値が１であり、
Figure 0007143529000018
の場合、指示関数の値が０である。
上記画像復元装置では、前記難度係数
Figure 0007143529000019
は次のように示される。
Figure 0007143529000020
ここで、
Figure 0007143529000021
が前記予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数を表し、
Figure 0007143529000022
が１つの閾値である。
本開示の実施例による電子機器は、プロセッサ、メモリと通信バスを備え、ここで、前記通信バスが前記プロセスと前記メモリの間の接続及び通信を実現するように構成され、前記プロセッサが前記メモリに記憶された画像復元プログラムを実行し、上記画像復元方法を実現するように構成される。
本開示によるコンピュータ可読記憶媒体は、１つ又は複数のプログラムを記憶し、上記画像復元方法を実現するたように、前記１つ又は複数のプログラムが１つ又は複数のプロセッサに実行されてもよい。
本開示の実施例による画像復元方法及びその装置、電子機器並びに記憶媒体によれば、画像復元装置は、取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得し、各サブ画像をマルチパスニューラルネットワークに入力し、各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、画像の復元画像を取得する。即ち、本開示の実施例の技術的解決策では、まず、取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得し、次に、各サブ画像をマルチパスニューラルネットワークに入力し、各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元する。ここからわかるように、マルチパスニューラルネットワークにおいて各サブ画像に対応する復元ネットワークを決定し、このようにして、各サブ画像のための復元ネットワークがすべて同じではなく、異なるサブ画像に対して異なる復元ネットワークを用い、そのため、異なるサブ画像に対して異なる復元ネットワークを用い、いくつかのサブ画像を簡単な方式で復元でき、いくつかのサブ画像を複雑な方式で復元できる。これにより、このような領域がカスタマイズされた画像復元方法を用いると、画像復元の複雑さが低減され、それによって画像の復元速度が向上する。
例えば、本願は以下の項目を提供する。
（項目１）
画像復元方法であって、
取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得することと、
各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、それによって前記画像の復元画像を取得することと、を含む、前記画像復元方法。
（項目２）
前記各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて前記各サブ画像を復元し、各サブ画像の復元画像を取得することは、
前記各サブ画像を符号化し、前記各サブ画像の特徴を取得することと、
前記各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像のための復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得することと、
各サブ画像の処理後の特徴を復号し、前記各サブ画像の復元画像を取得することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像のための復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得することは、
前記サブネットワークの数がＮであり、且つＮ個のサブネットワークが順次接続されている場合、
各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップと、
前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップと、
ｉがｉ＋１に更新され、前記各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップ、及び前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップに戻るステップと、
各サブ画像のＮ番目のレベルの特徴を出力して取得するまで、前記ｉが更新されて前記ステップに戻るステップを実行し、前記各サブ画像のＮ番目のレベルの特徴を前記各サブ画像の処理後の特徴として決定するステップと、を含み、
ｉ＝１の場合、前記各サブ画像のｉ番目のレベルの特徴が前記各サブ画像の特徴であり、
ここで、Ｎが１以上の正整数であり、Ｍが２以上の正整数であり、ｉが１以上且つＮ以下の正整数であることを含むことを特徴とする
項目２に記載の方法。
（項目４）
取得されたサブ画像の復元画像の数が予め設定された数以上である場合、前記方法はさらに、
予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得することと、
前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新することと、
且つ、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたボーナス関数に従って、前記オプティマイザによって強化学習アルゴリズムを用い、前記パス選択ネットワークを訓練し、前記パス選択ネットワークにおけるパラメータを更新することと、を含むことを特徴とする
項目１に記載の方法。
（項目５）
前記予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得した後、前記取得された予め設定された数のサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する前に、前記方法はさらに、
前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパラメータを更新することを含むことを特徴とする
項目４に記載の方法。
（項目６）
前記ボーナス関数は次のように示される：
Figure 0007143529000023
ここで、
Figure 0007143529000024
がｉ番目のレベルのサブネットワークのボーナス関数を表し、
Figure 0007143529000025
が１つの予め設定されたペナルティ項を表し、
Figure 0007143529000026
が１つの指示関数を表し、
Figure 0007143529000027
が難度係数を表し、
Figure 0007143529000028
の場合、指示関数の値が１であり、
Figure 0007143529000029
の場合、指示関数の値が０であることを特徴とする項目４に記載の方法。
（項目７）
前記難度係数は次のように示される：
Figure 0007143529000030
ここで、
Figure 0007143529000031
が前記予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数を表し、
Figure 0007143529000032
が１つの閾値であることを特徴とする
項目６に記載の方法。
（項目８）
画像復元装置であって、
取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得するように構成される分割モジュールと、
各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて前記各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、それによって前記画像の復元画像を取得するように構成される復元モジュールと、を備える、前記画像復元装置。
（項目９）
前記復元モジュールは、
前記各サブ画像を符号化し、前記各サブ画像の特徴を取得するように構成される符号化サブモジュールと、
前記各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像のための復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得するように構成される復元サブモジュールと、
各サブ画像の処理後の特徴を復号し、前記各サブ画像の復元画像を取得するように構成される復号サブモジュールと、を含むことを特徴とする
項目８に記載の装置。
（項目１０）
前記復元サブモジュールは、具体的には、
前記サブネットワークの数がＮであり、且つＮ個のサブネットワークが順次接続されている場合、
各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップと、
前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップと、
ｉがｉ＋１に更新され、前記各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップ、及び前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップに戻るステップと、
各サブ画像のＮ番目のレベルの特徴を出力して取得するまで、前記ｉが更新されて前記ステップに戻るステップを実行し、前記各サブ画像のＮ番目のレベルの特徴を前記各サブ画像の処理後の特徴として決定するステップと、を実行するように構成され、
ｉ＝１の場合、前記各サブ画像のｉ番目のレベルの特徴が前記各サブ画像の特徴であり、
ここで、Ｎが１以上の正整数であり、Ｍが２以上の正整数であり、ｉが１以上且つＮ以下の正整数であることを特徴とする
項目９に記載の装置。
（項目１１）
取得されたサブ画像の復元画像の数が予め設定された数以上である場合、前記装置はさらに、
予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得するように構成される取得モジュールと、
前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新し、
且つ、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたボーナス関数に従って、前記オプティマイザによって強化学習アルゴリズムを用い、前記パス選択ネットワークを訓練し、前記パス選択ネットワークにおけるパラメータを更新するように構成される第一の訓練モジュールと、を備えることを特徴とする項目８に記載の装置。
（項目１２）
前記装置はさらに、
前記予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得した後、前記取得された予め設定された数のサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する前に、前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新するように構成される第二の訓練モジュールを備えることを特徴とする
項目１１に記載の装置。
（項目１３）
前記ボーナス関数は次のように示される：
Figure 0007143529000033
ここで、
Figure 0007143529000034
がｉ番目のレベルのサブネットワークのボーナス関数を表し、
Figure 0007143529000035
が１つの予め設定されたペナルティ項を表し、
Figure 0007143529000036
が１つの指示関数を表し、
Figure 0007143529000037
が難度係数を表し、
Figure 0007143529000038
の場合、指示関数の値が１であり、
Figure 0007143529000039
の場合、指示関数の値が０であることを特徴とする
項目１１に記載の装置。
（項目１４）
前記難度係数
Figure 0007143529000040
は次のように示される：
Figure 0007143529000041
ここで、
Figure 0007143529000042
が前記予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数を表し、
Figure 0007143529000043
が１つの閾値であることを特徴とする
項目１３に記載の装置。
（項目１５）
電子機器であって、プロセッサ、メモリと通信バスを備え、
前記通信バスは、前記プロセッサと前記メモリの間の接続及び通信を実現するように構成され、
前記プロセッサは、前記メモリに記憶された画像復元プログラムを実行して、項目１～７のいずれか一項に記載の画像復元方法を実現する、前記電子機器。
（項目１６）
コンピュータ可読記憶媒体であって、１つ又は複数のプログラムを記憶し、項目１～７のいずれか一項に記載の画像復元方法を実現するように、前記１つ又は複数のプログラムが１つ又は複数のプロセッサに実行される、前記コンピュータ可読記憶媒体。
本開示の実施例による画像復元方法のフローチャートである。 本開示の実施例による別の画像復元方法のフローチャートである。 本開示の実施例による１つの選択可能なマルチパスニューラルネットワークの構造概略図である。 本開示の実施例による１つの選択可能な動的ブロックの構造概略図である。 本開示の実施例による別の選択可能な動的ブロックの構造概略図である。 本開示の実施例による画像復元装置の構造概略図である。 本開示の実施例による電子機器の構造概略図である。
本開示の実施例の目的、技術的解決策と利点をより明確にするために、以下に本開示の実施例における図面を組み合わせて本発明の具体的な技術的解決策をさらに詳しく説明する。以下に実施例は、本開示を説明するために使用されるが、本開示の範囲を限定されるためのものではない。
本開示の一実施例は画像復元方法を提供する。図１は本開示の実施例による画像復元方法のフローチャートである。図１に示すように、上記画像復元方法は次のステップを含むことができる。
Ｓ１０１において、取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得する。
現在、カメラの露出ノイズ、ピンぼけ、画像圧縮などにより、画像が歪むため、画像を復元する必要があるが、画像の劣化プロセスに様々な程度の歪みが含まれる可能性があり、歪みのタイプ及び程度が画像によって異なるため、各画像のすべての領域に対して１つのディープニューラルネットワークを用いて同じ処理を行うと、画像の復元速度に影響を与える。
画像の復元速度を向上させるために、まず、画像を取得した後、まず画像に対して領域分割を行い、１つの以上のサブ画像を取得する。
実際の応用において、１つの画像が取得された場合、当該画像の解像度が６３＊６３であり、当該画像に対して分割し、複数の領域を取得し、各領域が上記のサブ画像であり、ここで、各サブ画像が横座標の方向及び縦座標の方向において隣接する画像と１０ピクセル重なり、マルチパスニューラルネットワークによって復元された後、これらの復元後のサブ画像が１つの完全な画像に結合され、重なっている領域が平均化され、これにより、復元後の画像を取得することができる。
Ｓ１０２において、各サブ画像をマルチパスニューラルネットワークに入力し、各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、それによって画像の復元画像を取得する。
１つ以上のサブ画像が取得された後、各サブ画像への復元を実現するために、各サブ画像をマルチパスニューラルネットワークに順次入力し、マルチパスニューラルネットワークにおいて、各サブ画像に対して復元ネットワークを決定し、それによって各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、これにより、マルチパスニューラルネットワークから各サブ画像の復元画像を出力して取得し、最後、すべてのサブ画像の復元画像を結合し、画像の復元画像を取得することができる。
各サブ画像をマルチパスニューラルネットワークに入力して各サブ画像の復元画像を取得するために、１つの選択可能な実施例では、図２は本開示の実施例による別の画像復元方法のフローチャートである。図２に示すように、Ｓ１０２は次のステップを含むことができる。
Ｓ２０１において、各サブ画像を符号化し、各サブ画像の特徴を取得する。
Ｓ２０２において、各サブ画像の特徴をマルチパスニューラルネットワークのサブネットワークに入力し、サブネットワーク内のパス選択ネットワークを使用して、各サブ画像のための復元ネットワークを選択し、各サブ画像のための復元ネットワークによって各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得する。
Ｓ２０３において、各サブ画像の処理後の特徴を復号し、各サブ画像の復元画像を取得する。
具体的には、マルチパスニューラルネットワークには３つの処理部分が含まれる。第一の処理部分は、各サブ画像への符号化を実現することであり、これは、エンコーダで実現されてもよく、例えば、サブ画像は、１つのカラー画像領域であり、６３＊６３＊３のテンソルとして表されてもよく、エンコーダによって符号化された後、当該サブ画像の特徴が出力されて取得され、１つの６３＊６３＊４のテンソルとして表されてもよい。
このようにして、マルチパスニューラルネットワークにおいて、まずサブ画像を符号化して当該サブ画像の特徴を取得する。
第二の処理部分は、サブ画像の特徴をマルチパスニューラルネットワークのサブネットワークに入力することであり、当該サブネットワークは動的ブロック（Ｄｙｎａｍｉｃ ｂｌｏｃｋ）に対応してもよく、動的ブロックの数がＮ個であってもよく、Ｎが１以上の正整数であってもよく、即ち、当該サブネットワークは１つの動的ブロックであってもよく、２つ以上の動的ブロックであってもよく、ここで、本開示の実施例では具体的に限定されない。
各動的ブロックには、各サブ画像のための復元ネットワークを決定するためのパスセレクター（上記パス選択ネットワークと同等）が含まれているため、各画像は、異なる動的ブロックで異なる復元ネットワークによって処理されてもよく、それによって異なるサブ画像に対して異なる処理方式を選択するという目的が達成され、処理後の特徴は１つの６３＊６３＊６４のテンソルである。
第三の処理部分は、各サブ画像の復号を実現することであり、そのため、各サブ画像の処理後の特徴が取得された後、各サブ画像を処理してから復号し、ここで、デコーダーによって実現でき、例えば、上記の処理後の特徴を復号し、６３＊６３＊３のテンソルとして表されてもよいサブ画像の復元後の画像を取得する。
ここで、マルチパスニューラルネットワークのサブネットワークによるサブ画像の特徴の処理を実現するために、１つの選択可能な実施例では、Ｓ２０２は、
サブネットワークの数がＮであり、且つＮ個のサブネットワークが順次接続されている場合、
各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、各サブ画像に対してｉ番目の復元ネットワークを選択するステップと、
ｉ番目の復元ネットワークによって各サブ画像のｉ番目のレベルの特徴を処理し、各サブ画像のｉ＋１番目のレベルの特徴を出力するステップと、
ｉがｉ＋１に更新され、前記各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、各サブ画像に対してｉ番目の復元ネットワークを選択するステップ、及び前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップに戻るステップと、
各サブ画像のＮ番目のレベルの特徴を出力して取得するまで、前記ｉが更新されて前記ステップに戻るステップを実行し、各サブ画像のＮ番目のレベルの特徴を各サブ画像の処理後の特徴として決定するステップと、を含むことができ、
ｉ＝１の場合、各サブ画像のｉ番目のレベルの特徴が各サブ画像の特徴であり、
ここで、Ｎが１以上の正整数であり、Ｍが２以上の正整数であり、ｉが１以上且つＮ以下の正整数である。
サブネットワークが動的ブロックであることを例とすると、マルチパスニューラルネットワークにＮ個の動的ブロックが含まれ、且つＮ個の動的ブロックが順次接続されている場合、取得されたサブ画像の特徴を１番目の動的ブロックに入力し、各動的ブロックに１つのパスセレクター、１つの共有パスとＭ個の動的パスが含まれる。
１番目の動的ブロックがサブ画像の特徴を受信した場合、受信されたサブ画像の特徴をサブ画像の１番目のレベルの特徴とし、１番目のパスセレクターはサブ画像の１番目のレベルの特徴に応じて、Ｍ個の動的パスからサブ画像のための１番目の復元ネットワークを決定し、それによって共有パスとＭ個の動的パスから選択された動的パスとを１番目の復元ネットワークに構成し、次に、１番目のレベルの復元ネットワークによってサブ画像の１番目のレベルの特徴を処理し、サブ画像の２番目のレベルの特徴を取得し、ｉを２に更新し、サブ画像の２番目のレベルの特徴を２番目の動的ブロックに入力し、１番目の動的ブロックと同じ処理方法に従って、サブ画像のレベル３の特徴を取得する。このように類推して、サブ画像のＮ番目のレベルの特徴を取得するまで続いて、各サブ画像の処理後の特徴を取得する。
ここで、マルチパスニューラルネットワークでは、サブ画像の特徴のサイズと復元ネットワークの数は可変であり、実際の応用において、サブ画像の特徴のサイズは６３＊６３＊６４のテンソルであってもよく、３２＊３２＊１６のテンソル、９６＊９６＊４８のテンソルなどであってもよく、動的ブロックの数Ｎと動的パスの数Ｍは可変であり、例えば、Ｎ＝６、Ｍ＝２、Ｎ＝５、Ｍ＝４、ここで、本開示の実施形態では具体的に限定されない。
ここで、上記のＮ及びＭパラメータの選択において、解決される歪み問題がより複雑である場合、Ｎ及びＭを適切に増やすことができ、逆にもＮとＭを小さくすることを説明するべきである。
上記共有パスと２-Ｍ番目の動的パスの構造は、残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）に限定されず、密ブロック（ｄｅｎｓｅ ｂｌｏｃｋ）などの他の構造であってもよい。
説明すべきこととして、上記動的ブロックのそれぞれにおけるパスセレクターのネットワーク構造は、同じであっても異なっていてもよく、ここで、本開示の実施例は、具体的に限定されない。
実際の応用において、上記パスセレクターには入力が６３＊６３＊６４のテンソルであり、出力が選択したパスの番号aiであり、パスセレクターの構造は、入力から出力までそれぞれＣ個の畳み込み層、１つの全接続層（出力次元３２）、１つの長期短期記憶（ＬＳＴＭ：Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）ブロック（状態番号３２）、１つの全接続層（出力次元Ｍ）である。ここで、最後の層のアクティブ化関数はＳｏｆｔｍａｘ又はＲｅＬＵであり、アクティブ化されたＭ次元ベクトルの最大要素のシーケンス番号は選択された動的パス番号である。
ここで、Ｃの数は、復元タスクの難度に応じて調整されてもよく、１番目の全接続層の出力次元とＬＳＴＭブロックの状態の数は、３２に制限されず、１６、６４などであってもよい。
マルチパスニューラルネットワークのパラメータを更新するために、１つの選択可能な実施例において、取得されたサブ画像の復元画像の数が予め設定された数以上である場合、当該方法はさらに、
予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得することと、
予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新することと、
且つ、予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたボーナス関数に従って、オプティマイザによって強化学習アルゴリズムを用いてパス選択ネットワークを訓練し、パス選択ネットワークにおけるパラメータを更新することと、を含む。
具体的には、基準画像が予め記憶され、予め設定された数が３２であることを例とすると、３２つのサブ画像の復元画像が取得された場合、これらの３２つのサブ画像の復元画像とそれらに対応する基準画像をサンプルとし、当該サンプルデータに基づき、サブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する。
それと同時に、これらの３２つのサブ画像の復元画像とそれらに対応する基準画像をサンプルとして用いる。パス選択ネットワークを訓練するために、ここでは強化学習アルゴリズムが用いられ、強化学習アルゴリズムを用いるために、ボーナス関数が予め設定され、かつ当該強化学習アルゴリズムの最適化の目標がすべてのボーナス関数の合計の期待値を最大化することであり、このように、当該サンプルデータに基づき、予め設定されたボーナス関数に従って、オプティマイザによって強化学習アルゴリズムを用いてパス選択ネットワークを訓練することにより、パス選択ネットワークのパラメータを更新する目的を達成する。
即ち、異なる処理方式を用い、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワーク、及びパス選択ネットワークを同時に訓練し、ネットワークのパラメータを更新する目的を達成する。
ここで、サブ画像の復元画像とそれに対応する基準画像の間の損失関数が予め設定され、当該損失関数はＬ２損失関数であってもよく、ＶＧＧ損失関数であってもよく、ここで、本開示の実施例では具体的に限定されない。
マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータをより良く更新するために、１つの選択可能な実施例では、予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得した後、取得された予め設定された数のサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する前に、当該方法はさらに、
予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークにおけるパラメータを更新することを含む。
即ち、異なる処理方式を用い、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワーク、及びパス選択ネットワークを同時に訓練する前に、サンプルに基づき、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークを訓練し、次に、異なる処理方式を用い、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワーク、及びパス選択ネットワークを同時に訓練することができ、これにより、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワーク及びパス選択ネットワークにおけるパラメータをより良く最適化することができる。
１つの選択可能な実施例では、上記ボーナス関数は式（１）に示される：
Figure 0007143529000044
ここで、
Figure 0007143529000045
がｉ番目のレベルのサブネットワークのボーナス関数を表し、
Figure 0007143529000046
が１つの予め設定されたペナルティ項を表し、
Figure 0007143529000047
が１つの指示関数を表し、
Figure 0007143529000048
が難度係数を表し、
Figure 0007143529000049
の場合、指示関数の値が１であり、
Figure 0007143529000050
の場合、指示関数の値が０である。
ここで、上記ペナルティ項が１つの設定された値であり、当該ペナルティ項の値がサブ画像の歪み程度に関連し、ネットワークの複雑さを表し、
Figure 0007143529000051
の場合、即ち簡単な接続パスが選択される場合、当該パスに余分な計算オーバーヘッドが導入されていないため、ペナルティ項が０である。
Figure 0007143529000052
の場合、即ち１本の複雑なパスが選択される場合、ボーナス関数にはペナルティ項
Figure 0007143529000053
がある。
上記ボーナス関数はサブ画像の難度係数に基づくボーナス関数であり、上記難度係数は定数１であってもよく、損失関数に関連する値であってもよく、ここで、本開示の実施例では、具体的に限定されない。
ここで、難度係数が損失関数に関連する値である場合、１つの選択可能な実施例において、上記難度係数
Figure 0007143529000054
は、式（２）に示される。
Figure 0007143529000055
ここで、
Figure 0007143529000056
が前記予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数を表し、
Figure 0007143529000057
が１つの閾値である。
上記損失関数は、平均二乗誤差Ｌ２損失関数であってもよく、視覚幾何学グループ（ＶＧＧ：Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ）損失関数であってもよく、ここで、本開示の実施例では具体的に限定されない。
ここで、説明すべきこととして、難度係数に用いられる損失関数の形態とネットワーク訓練に用いられる損失関数の形態は同じであっても異なっていてもよく、本開示の実施形態では具体的に限定されない。
例えば、難度係数が独立変数であるサブ画像の復元画像とそれに対応する基準画像の間の距離Ｌ２である場合、Ｌ２は復元効果を表し、復元結果が優れているほど、この項の値が大きくなり、ボーナス関数も大きくなる。難度係数
Figure 0007143529000058
は、１つの画像領域の復元の難度を表し、難度が大きいほど、
Figure 0007143529000059
の値が大きくなり、ネットワークによるこれらの領域のより詳細な復元が推奨され、難度が小さいほど、
Figure 0007143529000060
の値が小さくなるため、ネットワークによるこれらの領域の過度に詳細な復元が推奨されない。
以下に上記の１つ又は複数の実施例で説明される画像復元方法を例を挙げて説明する。
図３は本開示の実施例による１つの選択可能なマルチパスニューラルネットワークの構造概略図である。図３に示すように、画像を取得し、画像に対して領域分割を行い、いくつかのサブ画像ｘを取得し、サブ画像χ（６３＊６３＊３のテンソルで表される）をマルチパスニューラルネットワークにおけるエンコーダに入力し、エンコーダが１つの畳み込み層Ｃｏｎｖであり、当該畳み込み層を介してサブ画像χを符号化し、サブ画像χの特徴（６３＊６３＊６４のテンソルで表される）を取得する。
次に、サブ画像xの特徴をＮ個の動的ブロック（Ｄｙｎａｍｉｃ Ｂｌｏｃｋ １…Ｄｙｎａｍｉｃ Ｂｌｏｃｋ ｉ…Ｄｙｎａｍｉｃ Ｂｌｏｃｋ Ｎ）のうちの１番目の動的ブロックに入力し、図３から、各動的ブロックに１つの共有パス
Figure 0007143529000061
、１つのパスセレクター
Figure 0007143529000062
とＭ個の動的パス
Figure 0007143529000063
が含まれることがわかり、１番目の動的ブロックに対して、サブ画像の１番目のレベルの特徴x1を受信し、パスセレクターはx1処理してa1を取得し、本実施例では、a1について
Figure 0007143529000064
が選択され、a1によってＭ個の動的パスからx1のための１つの動的ブロックを決定することにより、共有パスとa1に対して決定された動的パスを復元ネットワークに構成し、x1を処理し、サブ画像の１番目のレベルの特徴x2を取得し、次に、x2を２番目のレベルの動的ブロックに入力し、x1の処理と同様に、x3を取得し、サブ画像の処理後の特徴としてxnを取得するまで続く。
最後に、xnをデコーダーに入力し、デコーダーが１つの畳み込み層Ｃｏｎｖであり、xnを、畳み込み層Ｃｏｎｖを介して復号し、サブ画像の復元後の画像（図３に示すｏｕｔｐｕｔの下の画像に示すように、６３＊６３＊６４のテンソルで表される）を取得する。
ここで、パスセレクター（Ｐａｔｈｆｉｎｄｅｒ）には入力が６３＊６３＊６４のテンソルであり、出力が選択したパスの番号aiであり、図３に示すように、パスセレクターの構造は、入力から出力までそれぞれＣ個の畳み込み層（Ｃｏｎｖ １からＣｏｎｖ Ｃまで）、１つの全接続層ＦＣ（出力次元３２）、１つの長期短期記憶（ＬＳＴＭ：Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）ブロック（状態番号３２）、１つの全接続層ＦＣ（出力次元Ｍ）である。こで、最後の層のアクティブ化関数はＳｏｆｔｍａｘ又はＲｅＬＵであり、アクティブ化されたＭ次元ベクトルの最大要素のシーケンス番号は選択された動的パス番号である。
予め設定された数が３２である場合、３２つのサブ画像の復元画像を取得した後、まず基準画像ＧＴ（ｙで表される）からこれらの３２つのサブ画像に対応する基準画像を取得し、それによって訓練サンプルを取得し、次に、予め設定されたサブ画像の復元画像と基準画像の間の損失関数Ｌ２ ｌｏｓｓに従って、図３のパスセレクター以外のネットワークをオプティマイザ（Ａｄａｍ）で訓練し、パスセレクター以外のネットワークにおけるパラメータを更新し、それによってネットワークパラメータの最適化の目的を達成する。
同時に、上記訓練サンプルに基づき、予め設定された、難度係数に関連するボーナス関数（Ｒｅｗａｒｄ）に従って、オプティマイザ（Ａｄａｍ）によって強化学習アルゴリズムを用いて図３のパスセレクターを訓練し、パスセレクターのパラメータを更新し、それによってネットワークパラメータの最適化の目的を達成する。
ここで、上記オプティマイザによって用いられるアルゴリズムは、確率的勾配降下（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）であってもよく、上記強化学習アルゴリズムは、ＲＥＩＮＦＯＲＣＥであってもよく、ａｃｔｏｒ－ｃｒｉｔｉｃなどの他のアルゴリズムであってもよく、ここで、本開示の実施例では、これは具体的に限定されない。
説明すべきこととして、図３の実線の矢印は、前向き（Ｆｏｒｗａｒｄ）を表し、短い破線の矢印は、後向き（Ｂａｃｋｗａｒｄ）を表し、長い破線の矢印は、前向きパス選択（Ｐａｔｈ Ｓｅｌｅｃｔｉｏｎ）を表す。
図４は本開示の実施例による１つの選択可能な動的ブロックの構造概略図である。図４に示すように、動的ブロック（Ｄｙｎａｍｉｃ Ｂｌｏｃｋ）には、２つの畳み込み層（２つのＣｏｎｖ（３、６４、１））で構成された１つの共有パス、１つのパスセレクター（Ｐａｔｈｆｉｎｄｅｒ）と２つの動的パスが含まれ、１つの動的パスの入力と出力が同じであり、即ち、当該動的パスにサブ画像の特徴が処理されなく、別の動的パスに２つの畳み込み層（２つのＣｏｎｖ（３、６４、１））で構成され、パスセレクターの結果は共有パスと動的パスで組み合わせられ、ここで、パスセレクターは、２つの畳み込み層（２つのＣｏｎｖ（５、４、４）とＣｏｎｖ（５、２４、４））、１つの全接続層Ｆｃ（３２）、１つのＬＳＴＭ（３２）と１つのＦｃ（３２）で構成される。
図５は本開示の実施例による別の選択可能な動的ブロックの構造概略図である。図５に示すように、動的ブロック（Ｄｙｎａｍｉｃ Ｂｌｏｃｋ）には、２つの畳み込み層（Ｃｏｎｖ（３、２４、１）とＣｏｎｖ（３、３２、１））で構成された１つの共有パス、１つのパスセレクター（Ｐａｔｈｆｉｎｄｅｒ）と４つの動的パスが含まれ、１つの動的パスの入力と出力が同じであり、即ち、当該動的パスにサブ画像の特徴が処理されなく、別の動的パスが２つの畳み込み層（２つのＣｏｎｖ（３、３２、１））で構成され、パスセレクターの結果は共有パスと動的パスで組み合わせられ、ここで、パスセレクターは、４つの畳み込み層（１つのＣｏｎｖ（３、８、２）、２つのＣｏｎｖ（３、１６、２）と１つのＣｏｎｖ（３、２４、２））、１つの全接続層Ｆｃ（３２）、１つのＬＳＴＭ（３２）と１つのＦｃ（３２）で構成される。
上記実施例により、１つ又は複数の歪みを含む劣化画像を復元することができ、歪みがガウスノイズ、ガウスブラー、ＪＰＥＧ圧縮の１つ又は複数を含むがこれらに限定されない。本開示の実施例は、同じ画像復元効果を達成しながら、最大４倍の速度増加を達成することができ、具体的な速度増加比が復元タスクに関連し、復元タスクが複雑であるほど、速度増加が明らかになり、同じ計算量の前提で、より良好な復元効果を達成し、復元効果はピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）と構造類似度（ＳＳＩＭ：Ｓｔｒｕｔｕａｌ Ｓｉｍｉｉｓ Ｉｎｄｅｘ）で評価されてもよい。
また、携帯電話の写真の画質を、露光ノイズの除去又は低減、ピンぼけ、圧縮歪などを含めて迅速に向上させることができる。一枚の携帯電話の写真におけるコンテンツは多様であり、広くかつスムーズな天空領域、又はぼやけた背景がある可能性があり、これらの領域は、容易に処理され、本開示の実施例により、これらの領域は、より速く復元されてもよく、計算量を画像の本体領域に強調し、それによって高速で優れた画像復元を実現する。
本開示の実施例による画像復元方法では、画像復元装置は、取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得し、各サブ画像をマルチパスニューラルネットワークに入力し、各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、画像の復元画像を取得することがわかり、即ち、本開示の実施例の技術的解決策では、まず取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得し、次に、各サブ画像をマルチパスニューラルネットワークに入力し、各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、これにより、マルチパスニューラルネットワークにおいて各サブ画像に対応する復元ネットワークを決定することがわかり、このようにして各サブ画像のための復元ネットワークがすべて同じではなく、異なるサブ画像に対して異なる復元ネットワークを用い、そのため、異なるサブ画像に対して異なる復元ネットワークを用い、いくつかのサブ画像を簡単な方式で復元でき、いくつかのサブ画像を複雑な方式で復元でき、これにより、このような領域がカスタマイズされた画像復元方法を用いると、画像復元の複雑さが低減され、それによって画像の復元速度が向上する。
図６は本開示の実施例による画像復元装置の構造概略図である。図６に示すように、当該画像復元装置は、
取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得するように構成される分割モジュール６１と、
各サブ画像をマルチパスニューラルネットワークに入力し、各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、画像の復元画像を取得するように構成される復元モジュール６２と、を備える。
選択可能に、復元モジュール６２は、
各サブ画像を符号化し、各サブ画像の特徴を取得するように構成される符号化サブモジュールと、
各サブ画像の特徴をマルチパスニューラルネットワークのサブネットワークに入力し、サブネットワーク内のパス選択ネットワークを使用して、各サブ画像のための復元ネットワークを選択し、各サブ画像のための復元ネットワークによって各サブ画像を処理し、各サブ画像の処理後の特徴を出力するように構成される復元サブモジュールと、
各サブ画像の処理後の特徴を復号し、各サブ画像の復元画像を取得するように構成される復号サブモジュールと、を含む。
選択可能に、復元サブモジュールは、具体的には、
サブネットワークの数がＮであり、且つＮ個のサブネットワークが順次接続されている場合、
各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、各サブ画像に対してｉ番目の復元ネットワークを選択するステップと、
ｉ番目の復元ネットワークによって各サブ画像のｉ番目のレベルの特徴を処理し、各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップと、
ｉがｉ＋１に更新され、前記各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、各サブ画像に対してｉ番目の復元ネットワークを選択するステップ、及び前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップに戻るステップと、
各サブ画像のＮ番目のレベルの特徴を出力して取得するまで、前記ｉが更新されて前記ステップに戻るステップを実行し、各サブ画像のＮ番目のレベルの特徴を各サブ画像の処理後の特徴として決定するステップと、を実行するように構成され、
ｉ＝１の場合、各サブ画像のｉ番目のレベルの特徴が各サブ画像の特徴であり、
ここで、Ｎが１以上の正整数であり、Ｍが２以上の正整数であり、ｉが１以上且つＮ以下の正整数である。
選択可能に、取得されたサブ画像の復元画像の数が予め設定された数以上である場合、当該装置はさらに、
予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得するように構成される取得モジュールと、
予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新し、
且つ、予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたボーナス関数に従って、オプティマイザによって強化学習アルゴリズムを用いてパス選択ネットワークを訓練し、パス選択ネットワークにおけるパラメータを更新するように構成される第一の訓練モジュールと、を備える。
選択可能に、当該装置はさらに、
予め設定された数のサブ画像の復元画像、及び予め設定された数のサブ画像の復元画像に対応する基準画像を取得した後、取得された予め設定された数のサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する前に、予め設定された数のサブ画像の復元画像とそれに対応する基準画像に基づき、予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数に従って、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新するように構成される第二の訓練モジュールを備える。
選択可能に、上記ボーナス関数は式（１）に示される。
Figure 0007143529000065
ここで、
Figure 0007143529000066
がｉ番目のレベルのサブネットワークのボーナス関数を表し、
Figure 0007143529000067
が１つの予め設定されたペナルティ項を表し、
Figure 0007143529000068
が１つの指示関数を表し、
Figure 0007143529000069
が難度係数を表し、
Figure 0007143529000070
の場合、指示関数の値が１であり、
Figure 0007143529000071
の場合、指示関数の値が０である。
選択可能に、上記難度係数
Figure 0007143529000072
は、式（２）に示される。
Figure 0007143529000073
ここで、
Figure 0007143529000074
が前記予め設定されたサブ画像の復元画像とそれに対応する基準画像の間の損失関数を表し、
Figure 0007143529000075
が１つの閾値である。
図７は本開示の実施例による電子機器の構造概略図である。図７に示すように、当該電子機器は、プロセッサ７１、メモリ７２と通信バス７３を備え、ここで、
前記通信バス７３は、前記プロセッサ７１と前記メモリ７２の間の接続及び通信を実現するように構成され、
前記プロセッサ７１は、前記メモリ７２に記憶された画像復元プログラムを実行し、上記画像復元方法を実現するように構成される。
本開示の実施例によるコンピュータ可読記憶媒体は、１つ又は複数のプログラムを記憶し、上記画像復元方法を実現するたように、前記１つ又は複数のプログラムが１つ又は複数のプロセッサに実行されてもよい。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、又は読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）などの不揮発性メモリであってもよく、携帯電話、コンピュータ、タブレットデバイス、パーソナルデジタルアシスタントなどのような、上記メモリの１つ又は任意の組み合わせを含むそれぞれのデバイスであってもよい。
当業者であれば、本開示の実施例は、方法、システム、又はコンピュータプログラム製品として提供されてもよいと理解すべきである。したがって、本開示はハードウェア実施例、ソフトウェア実施例、又はソフトウェアとハードウェアを組み合わせる実施例の形態を採用してもよい。また、本開示はコンピュータ使用可能プログラムコードを含む一つ又は複数のコンピュータ使用可能記憶媒体（磁気ディスクメモリ及び光メモリ等を含むがこれらに限らない）で実施されるコンピュータプログラム製品の形態を採用できる。
本開示は本開示の実施例に係る方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明される。コンピュータプログラムコマンドによってフローチャート及び／又はブロック図の各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせを実現できると理解すべきである。これらのコンピュータプログラムコマンドを汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又はその他のプログラム可能信号処理装置のプロセッサに提供して一つの機械を生成することができ、それによってコンピュータ又はその他のプログラム可能信号処理装置のプロセッサで実行されるコマンドによりフローチャートにおける一つのフロー又は複数のフロー及び／又はブロック図における一つのブロック又は複数のブロックに指定された機能を実現するための装置を生成する。
これらのコンピュータプログラムコマンドは特定の方式で動作するようにコンピュータ又はその他のプログラム可能信号処理装置を案内することができるコンピュータ可読メモリに記憶されてもよく、それによって該コンピュータ可読メモリに記憶されたコマンドによりコマンド装置を含む製造品を生成し、該コマンド装置はフローチャートにおける一つのフロー又は複数のフロー及び／又はブロック図における一つのブロック又は複数のブロックに指定された機能を実現する。
これらのコンピュータプログラムコマンドは、コンピュータ又はその他のプログラム可能信号処理装置にロードされてもよく、その結果、一連の操作ステップがコンピュータ又は他のプログラム可能装置で実行されて、コンピュータで実現される処理を生成し、それによってコンピュータ又はその他のプログラム可能装置で実行されるコマンドは、フローチャートにおける一つのフロー又は複数のフロー及び／又はブロック図における一つのブロック又は複数のブロックに指定された機能を実現するためのステップを提供する。
上記は本開示の好ましい実施例に過ぎず、本開示の保護範囲を限定するために使用されるものではない。

Claims (10)

  1. 電子機器によって実行される画像復元方法であって、
    取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得することと、
    各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、それによって前記画像の復元画像を取得することと
    を含み、
    取得されたサブ画像の復元画像の数が予め設定された数以上である場合、前記方法は、
    予め設定された数のサブ画像の復元画像と、予め設定された数のサブ画像の復元画像に対応する基準画像とを取得することと、
    前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像とに基づいて、予め設定されたサブ画像の復元画像とそれに対応する基準画像との間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新することと、
    前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像とに基づいて、予め設定されたボーナス関数に従って、前記オプティマイザによって強化学習アルゴリズムを用い、前記パス選択ネットワークを訓練し、前記パス選択ネットワークにおけるパラメータを更新することと
    をさらに含み、
    前記ボーナス関数は、サブ画像の難度係数に基づく関数であり、前記サブ画像の難度係数は、前記サブ画像の復元の難度を表す、画像復元方法。
  2. 前記各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて前記各サブ画像を復元し、各サブ画像の復元画像を取得することは、
    前記各サブ画像を符号化し、前記各サブ画像の特徴を取得することと、
    前記各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像のための復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得することと、
    各サブ画像の処理後の特徴を復号し、前記各サブ画像の復元画像を取得することと
    を含む、請求項１に記載の画像復元方法。
  3. 前記各サブ画像の特徴を前記マルチパスニューラルネットワークのサブネットワークに入力し、前記サブネットワーク内のパス選択ネットワークを使用して、前記各サブ画像のための復元ネットワークを選択し、前記各サブ画像のための復元ネットワークによって前記各サブ画像を処理し、各サブ画像の処理後の特徴を出力して取得することは、
    前記サブネットワークの数がＮであり、かつ、Ｎ個のサブネットワークが順次接続されている場合、
    各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップと、
    前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップと、
    ｉがｉ＋１に更新され、前記各サブ画像のｉ番目のレベルの特徴をｉ番目のサブネットワークに入力し、ｉ番目のサブネットワーク内のｉ番目のパス選択ネットワークを使用して、ｉ番目のサブネットワーク内のＭ個の復元ネットワークから、前記各サブ画像に対してｉ番目の復元ネットワークを選択するステップおよび前記ｉ番目の復元ネットワークによって前記各サブ画像のｉ番目のレベルの特徴を処理し、前記各サブ画像のｉ＋１番目のレベルの特徴を出力して取得するステップに戻るステップと、
    各サブ画像のＮ番目のレベルの特徴を出力して取得するまで、前記ｉが更新されて前記ステップに戻るステップを実行し、前記各サブ画像のＮ番目のレベルの特徴を前記各サブ画像の処理後の特徴として決定するステップと
    を含み、
    ｉ＝１の場合、前記各サブ画像のｉ番目のレベルの特徴は、前記各サブ画像の特徴であり、
    ここで、Ｎが１以上の正整数であり、Ｍが２以上の正整数であり、ｉが１以上かつＮ以下の正整数である、請求項２に記載の画像復元方法。
  4. 前記予め設定された数のサブ画像の復元画像と、予め設定された数のサブ画像の復元画像に対応する基準画像とを取得した後、前記取得された予め設定された数のサブ画像の復元画像とそれに対応する基準画像との間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新する前に、前記画像復元方法は、
    前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像とに基づいて、予め設定されたサブ画像の復元画像とそれに対応する基準画像との間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパラメータを更新することをさらに含む、請求項１に記載の画像復元方法。
  5. 前記ボーナス関数は、次のように示され、
    Figure 0007143529000076
    ここで、
    Figure 0007143529000077
    がｉ番目のレベルのサブネットワークのボーナス関数を表し、
    Figure 0007143529000078
    が１つの予め設定されたペナルティ項を表し、
    Figure 0007143529000079
    が１つの指示関数を表し、
    Figure 0007143529000080
    が難度係数を表し、
    Figure 0007143529000081
    の場合、指示関数の値が１であり、
    Figure 0007143529000082
    の場合、指示関数の値が０である、請求項１に記載の画像復元方法。
  6. 前記難度係数は、次のように示され、
    Figure 0007143529000083
    ここで、
    Figure 0007143529000084
     が前記予め設定されたサブ画像の復元画像とそれに対応する基準画像との間の損失関数を表し、
    Figure 0007143529000085
    が１つの閾値である、請求項５に記載の画像復元方法。
  7. 画像復元装置であって、
    取得された画像に対して領域分割を行い、１つ以上のサブ画像を取得するように構成されている分割モジュールと、
    各サブ画像をマルチパスニューラルネットワークに入力し、前記各サブ画像に対して決定された復元ネットワークを用いて前記各サブ画像を復元し、各サブ画像の復元画像を出力して取得し、それによって前記画像の復元画像を取得するように構成されている復元モジュールと
    を備え、
    取得されたサブ画像の復元画像の数が予め設定された数以上である場合、前記画像復元装置は、取得モジュールと第一の訓練モジュールとをさらに備え、
    前記取得モジュールは、予め設定された数のサブ画像の復元画像と、予め設定された数のサブ画像の復元画像に対応する基準画像とを取得するように構成されており、
    前記第一の訓練モジュールは、
    前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像とに基づいて、予め設定されたサブ画像の復元画像とそれに対応する基準画像との間の損失関数に従って、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークをオプティマイザで訓練し、前記マルチパスニューラルネットワーク内のパス選択ネットワーク以外のネットワークのパラメータを更新することと、
    前記予め設定された数のサブ画像の復元画像とそれに対応する基準画像とに基づいて、予め設定されたボーナス関数に従って、前記オプティマイザによって強化学習アルゴリズムを用い、前記パス選択ネットワークを訓練し、前記パス選択ネットワークにおけるパラメータを更新することと
    を行うように構成されており、
    前記ボーナス関数は、サブ画像の難度係数に基づく関数であり、前記サブ画像の難度係数は、前記サブ画像の復元の難度を表す、画像復元装置。
  8. 電子機器であって、
    前記電子機器は、プロセッサとメモリと通信バスとを備え、
    前記通信バスは、前記プロセッサと前記メモリとの間の接続および通信を実現するように構成されており、
    前記プロセッサは、前記メモリに記憶されている画像復元プログラムを実行することにより、請求項１～６のいずれか一項に記載の画像復元方法を実行するように構成されている、電子機器。
  9. １つまたは複数のプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記１つまたは複数のプログラムは、１つまたは複数のプロセッサによって実行されると、請求項１～６のいずれか一項に記載の画像復元方法を実行することを前記１つまたは複数のプロセッサに行わせる、コンピュータ読み取り可能な記憶媒体。
  10. 請求項１～６のいずれか一項に記載の画像復元方法を実行することをコンピュータに行わせるコンピュータプログラム。
JP2021535032A 2019-02-15 2019-04-23 画像復元方法及びその装置、電子機器並びに記憶媒体 Active JP7143529B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910117782.X 2019-02-15
CN201910117782.XA CN109886891B (zh) 2019-02-15 2019-02-15 一种图像复原方法及装置、电子设备、存储介质
PCT/CN2019/083855 WO2020164189A1 (zh) 2019-02-15 2019-04-23 图像复原方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
JP2022514566A JP2022514566A (ja) 2022-02-14
JP7143529B2 true JP7143529B2 (ja) 2022-09-28

Family

ID=66928293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021535032A Active JP7143529B2 (ja) 2019-02-15 2019-04-23 画像復元方法及びその装置、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210295473A1 (ja)
JP (1) JP7143529B2 (ja)
KR (1) KR20210092286A (ja)
CN (1) CN109886891B (ja)
SG (1) SG11202106269UA (ja)
TW (1) TWI770432B (ja)
WO (1) WO2020164189A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968040A (zh) * 2020-07-02 2020-11-20 北京大学深圳研究生院 图像的复原方法、系统及计算机可读存储介质
CN111986103A (zh) * 2020-07-20 2020-11-24 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN112200226B (zh) * 2020-09-27 2021-11-05 北京达佳互联信息技术有限公司 基于强化学习的图像处理方法、图像处理方法及相关装置
CN112767260A (zh) * 2020-12-30 2021-05-07 上海联影智能医疗科技有限公司 图像质量提升方法、装置、计算机设备和存储介质
CN112862681B (zh) * 2021-01-29 2023-04-14 中国科学院深圳先进技术研究院 一种超分辨率方法、装置、终端设备及存储介质
CN113409215B (zh) * 2021-06-23 2023-01-17 青岛海信医疗设备股份有限公司 重建设备及医学影像多平面重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129306A1 (en) 2003-12-12 2005-06-16 Xianglin Wang Method and apparatus for image deinterlacing using neural networks
JP2018206371A (ja) 2017-06-02 2018-12-27 三菱電機株式会社 コンピューター実施画像再構成システムおよび画像再構成方法
WO2019026407A1 (ja) 2017-07-31 2019-02-07 株式会社日立製作所 医用撮像装置及び医用画像処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993003443A1 (en) * 1991-08-05 1993-02-18 Kawasaki Steel Corporation Signal processor and learning method thereof
JPH08263649A (ja) * 1995-02-21 1996-10-11 Xerox Corp ニューラルベースの空間画像強化システム
JP5146159B2 (ja) * 2008-07-01 2013-02-20 株式会社ニコン 画像復元方法、画像復元プログラム、および画像復元装置
US9396523B2 (en) * 2013-07-24 2016-07-19 Microsoft Technology Licensing, Llc Image restoration cascade
CN103605972B (zh) * 2013-12-10 2017-02-15 康江科技(北京)有限责任公司 一种基于分块深度神经网络的非限制环境人脸验证方法
CN104200443A (zh) * 2014-09-22 2014-12-10 中华人民共和国四川出入境检验检疫局 结合alpha通道和图像分割的局部运动模糊复原算法
EP3156943A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Method and device for clustering patches of a degraded version of an image
WO2018119807A1 (zh) * 2016-12-29 2018-07-05 浙江工商大学 一种基于卷积神经网络的时空一致性深度图序列的生成方法
CN106971187B (zh) * 2017-04-12 2019-07-09 华中科技大学 一种基于车辆特征点的车辆部件检测方法和系统
CN107273904A (zh) * 2017-05-31 2017-10-20 上海联影医疗科技有限公司 图像处理方法及系统
CN107392865B (zh) * 2017-07-01 2020-08-07 广州深域信息科技有限公司 一种人脸图像的复原方法
CN107463881A (zh) * 2017-07-07 2017-12-12 中山大学 一种基于深度增强学习的人物图像搜索方法
CN107563974B (zh) * 2017-08-15 2020-04-14 深圳云天励飞技术有限公司 图像去噪方法、装置、电子设备及存储介质
CN107784647B (zh) * 2017-09-29 2021-03-09 华侨大学 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN107832807B (zh) * 2017-12-07 2020-08-07 上海联影医疗科技有限公司 一种图像处理方法和系统
CN108364262A (zh) * 2018-01-11 2018-08-03 深圳大学 一种模糊图像的复原方法、装置、设备及存储介质
CN108921220A (zh) * 2018-06-29 2018-11-30 国信优易数据有限公司 图像复原模型训练方法、装置及图像复原方法和装置
CN108932536B (zh) * 2018-07-18 2021-11-09 电子科技大学 基于深度神经网络的人脸姿态重建方法
CN109087273B (zh) * 2018-07-20 2021-09-14 哈尔滨工业大学（深圳） 基于增强的神经网络的图像复原方法、存储介质及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129306A1 (en) 2003-12-12 2005-06-16 Xianglin Wang Method and apparatus for image deinterlacing using neural networks
JP2018206371A (ja) 2017-06-02 2018-12-27 三菱電機株式会社 コンピューター実施画像再構成システムおよび画像再構成方法
WO2019026407A1 (ja) 2017-07-31 2019-02-07 株式会社日立製作所 医用撮像装置及び医用画像処理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Ke Yu et al.，"Crafting a Toolchain for Image Restoration by Deep Reinforcement Learning"，2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition，米国，IEEE，2018年01月18日，pp.2443-2452
Zuxuan Wu et al.，"BlockDrop: Dynamic Inference Paths in Residual Networks"，arXiv，米国，Cornell University，2019年01月28日，pp.1-11，https://arxiv.org/abs/1711.08393
呂 建明、外２名，"ニューラルネットワークを用いたカラー劣化画像の雑音除去の一方法"，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2003年05月01日，Vol.J86-A, No.5，pp.529-539
寺本 篤司、外３名，"局所選択型ニューラルフィルタによるＭＲ像の画質改善"，情報処理学会論文誌，日本，社団法人情報処理学会，1998年11月15日，Vol.39, No.11，pp.2988-2996

Also Published As

Publication number Publication date
JP2022514566A (ja) 2022-02-14
SG11202106269UA (en) 2021-07-29
TWI770432B (zh) 2022-07-11
KR20210092286A (ko) 2021-07-23
TW202032497A (zh) 2020-09-01
CN109886891A (zh) 2019-06-14
US20210295473A1 (en) 2021-09-23
WO2020164189A1 (zh) 2020-08-20
CN109886891B (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
JP7143529B2 (ja) 画像復元方法及びその装置、電子機器並びに記憶媒体
Shi et al. Image compressed sensing using convolutional neural network
CN113658051B (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
US20210021866A1 (en) Encoding and decoding image data
KR20180100976A (ko) 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN111028150A (zh) 一种快速时空残差注意力视频超分辨率重建方法
Sun et al. Reduction of JPEG compression artifacts based on DCT coefficients prediction
US20220414838A1 (en) Image dehazing method and system based on cyclegan
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
CN114096987A (zh) 视频处理方法及装置
Luo et al. Functional neural networks for parametric image restoration problems
EP4241448A1 (en) Compression-informed video super-resolution
CN114071167B (zh) 视频增强方法、装置、解码方法、解码器及电子设备
CN116012272A (zh) 一种基于重建流场的压缩视频质量增强方法
CN113542780B (zh) 一种网络直播视频的压缩伪影去除方法及装置
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及系统
Amaranageswarao et al. Blind compression artifact reduction using dense parallel convolutional neural network
Teng et al. EARN: Toward efficient and robust JPEG compression artifact reduction
Qiao et al. Dcs-risr: Dynamic channel splitting for efficient real-world image super-resolution
Sufian et al. Denoising The wireless channel corrupted images using machine learning
He et al. Learning degradation-aware visual prompt for maritime image restoration under adverse weather conditions
Shi et al. DDABNet: a dense Do-conv residual network with multisupervision and mixed attention for image deblurring
Wu et al. RDS-denoiser: a detail-preserving convolutional neural network for image denoising

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220914

R150 Certificate of patent or registration of utility model

Ref document number: 7143529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150