JP7463643B2 - 画像処理用の装置、方法及びコンピュータ読み取り可能媒体、並びにニューラルネットワークトレーニングシステム - Google Patents

Description

関連出願の相互参照
本出願は、２０１８年９月３０に出願された中国特許出願第２０１８１１１５５１４７．２号に基づく優先権と、２０１８年９月３０に出願された中国特許出願第２０１８１１１５５２５２．６号に基づく優先権と、２０１８年９月３０に出願された中国特許出願第２０１８１１１５５３２６．６号に基づく優先権と、２０１８年９月３０に出願された中国特許出願第２０１８１１１５５９３０．９号に基づく優先権とを主張しており、その内容は、本明細書において参照により全体に組み込まれる。

本開示は、全般的には深層学習技術分野に関し、より詳しくは、画像処理、より詳しくは、画像処理並びに画像解像度向上用のシステム、方法及びコンピュータ読み取り可能媒体に関する。

人工ニューラルネットワークに基づく深層学習技術は、画像処理などの分野で大いに進歩している。深層学習技術の利点は、汎用構造及び比較的類似したシステムを利用した異なる技術的問題の解決にある。

本開示は、敵対的生成ネットワークトレーニング方法を提供する。前記方法は、生成ネットワークおいて、第１振幅を有する第１ノイズ入力及び第１リファレンス画像を反復的に増強して第１出力画像を生成するステップと、前記生成ネットワークにおいて、第２振幅を有する第２ノイズ入力及び前記第１リファレンス画像を反復的に増強して第２出力画像を生成するステップと、前記第１出力画像、及び前記第１リファレンス画像に対応し且つ前記第１リファレンス画像より高い解像度を有する第２リファレンス画像を、識別ネットワークに送信するステップと、前記第２リファレンス画像に基づいて前記識別ネットワークから第１スコアを得、前記第１出力画像に基づいて前記識別ネットワークから第２スコアを得るステップと、前記第１スコア及び前記第２スコアに基づいて前記生成ネットワークの損失関数を計算するステップと、前記生成ネットワークの損失関数が低減するように、前記生成ネットワークの少なくとも一つのパラメータを調整するステップとを含み得る。

いくつかの実施形態において、前記生成ネットワークの損失関数は数式（１）により計算され得る。

数式（１）において、Ｘは高解像度のリファレンス画像を表す。Ｙ_ｎ＝０は前記第２出力画像を表す。Ｙ_ｎ＝１は前記第１出力画像を表す。Ｌ_ｒｅｃ（Ｘ，Ｙ_ｎ＝０）は前記第２出力画像と前記第２リファレンス画像の間の再構築誤差を表す。Ｌ_ｐｅｒ（Ｘ，Ｙ_ｎ＝１）は前記第１出力画像と前記第２リファレンス画像の間の知覚損失を表す。Ｌ_ＧＡＮ（Ｙ_ｎ＝１）は前記第１スコアと前記第２スコアとの和を表す。λ_１、λ_２、λ_３はいずれも所定の加重値を表す。

いくつかの実施形態において、前記第２出力画像と前記第２リファレンス画像の間の再構築誤差は数式（２）により計算され得る。

数式（２）において、Ｌは増強の反復回数を表し、Ｌ≧１である。Ｙ^ｌ _ｎ＝０はネットワークマイクロプロセッサにより、前記第２ノイズ入力に基づいて１回の反復を行った後に生成された画像を表し、ｌ≦Ｌである。ＬＲは第１リファレンス画像を表す。Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝０）は、Ｙ^ｌ _ｎ＝０で表される画像に対してダウンサンプリングを行うことによって得られた画像を表し、Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝０）で表される画像は前記第１リファレンス画像と同じ解像度を有する。ＨＲ^ｌは、前記第２リファレンス画像に対してダウンサンプリングを行うことによって得られた画像を表し、ＨＲ^ｌで表される画像はＹ^ｌ _ｎ＝０で表される画像と同じ解像度を有する。Ｅ［ ］はマトリックスエネルギー計算を表す。

いくつかの実施形態において、前記第１出力画像と前記第２リファレンス画像の間の知覚損失は数式（３）により計算され得る。

数式（３）において、Ｙ^ｌ _ｎ＝１は生成ネットワークマイクロプロセッサにより、前記第１ノイズ入力に基づいて１回の反復を行った後に生成された画像を表す。Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝１）は、Ｙ^ｌ _ｎ＝１で表される画像に対してダウンサンプリングを行うことによって得られた画像を表し、Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝１）で表される画像は前記第１リファレンス画像と同じ解像度を有する。Ｌ_ＣＸ（ ）は知覚損失関数を表す。

いくつかの実施形態において、前記第１スコアと前記第２スコアとの和は数式（４）により計算され得る。

数式（４）において、Ｄ（Ｙ _ｎ＝１）は前記第１スコアを表す。Ｄ（ＨＲ）は前記第２スコアを表す。

いくつかの実施形態において、前記方法は、前記第１ノイズ入力及び前記第１リファレンス画像を、少なくとも一つのパラメータが調整された前記生成ネットワークに提供して第３出力画像を生成するステップと、前記第３出力画像及び前記第２リファレンス画像を、前記識別ネットワークに提供するステップと、前記第２リファレンス画像に基づいて前記識別ネットワークから第３スコアを得、前記第３出力画像に基づいて前記識別ネットワークから第４スコアを得るステップと、前記生成ネットワークマイクロプロセッサの損失関数を計算するステップとを更に含み得る。

いくつかの実施形態において、前記第１ノイズ入力及び前記第１リファレンス画像を反復的に増強するステップは、前記第１リファレンス画像に基づいて第１特徴画像を生成するステップと、前記第１特徴画像を前記第１ノイズ入力と結合して第１併合画像を得るステップと、有限回数の反復にて、前記第１特徴画像に基づく前記第１リファレンス画像及び前記第１併合画像を反復的に増強して、前記第１リファレンス画像の高解像度画像を生成するステップとを含む。

いくつかの実施形態において、前記有限回数の反復の各々のノイズ入力は同じ所定の振幅を有する。

いくつかの実施形態において、前記方法は、前記第１リファレンス画像を補間して第１補間画像を得るステップと、前記第１補間画像に基づいて第２特徴画像を生成するステップと、前記第２特徴画像をダウンサンプリングし、当該ダウンサンプリングされた第２特徴画像を前記第１併合画像と結合して第２併合画像を得るステップと、前記有限回数の反復にて、前記第２特徴画像に基づいた前記第１リファレンス画像、前記第１併合画像、及び前記第２併合画像を反復的に増強して前記第１リファレンス画像の高解像度画像を得るステップとを更に含み得る。

いくつかの実施形態において、前記方法は、前記第１併合画像に基づいて、前記第１併合画像と前記第１特徴画像の間の相違度を表す第１残差画像を生成するステップと、前記第１残差画像に基づいて前記第１特徴画像に残差補正を適用し、前記第１リファレンス画像の高解像度画像を得るステップとを更に含み得る。

いくつかの実施形態において、前記第１残差画像の生成及び残差補正の適用は少なくとも一回行われる。

本開示は、敵対的生成ネットワークトレーニングシステムを更に提供する。前記システムは、敵対的生成ネットワークプロセッサを含み得る。前記敵対的生成ネットワークプロセッサは、生成ネットワークマイクロプロセッサと、前記生成ネットワークマイクロプロセッサにカップリングされた識別ネットワークマイクロプロセッサとを含み得る。いくつかの実施形態において、前記敵対的生成ネットワークプロセッサは、敵対的生成ネットワークトレーニング方法を実行するように構成される。前記方法は上記のとおりであってよい。

本開示は、敵対的生成ネットワークトレーニング方法によりトレーニングされた生成ネットワークマイクロプロセッサを含むシステムを更に提供する。前記方法は上記のとおりであってよい。

本開示は、敵対的生成ネットワークトレーニング方法を実行するように構成される装置を含む生成ネットワークマイクロプロセッサを更に提供する。前記方法は上記のとおりであってよい。

いくつかの実施形態において、前記装置は、分析プロセッサと、前記分析プロセッサにカップリングされた接続プロセッサと、前記接続プロセッサにカップリングされた増強プロセッサとを含み得る。

いくつかの実施形態において、前記分析プロセッサは、リファレンス画像を受信し、前記入力画像から１つ又は複数の特徴を抽出して、前記リファレンス画像に基づいて特徴画像を生成するように構成され得る。

いくつかの実施形態において、前記接続プロセッサは、所定の振幅を有するノイズ入力を受信し、前記ノイズ入力と前記特徴画像とを結合して第１併合画像を生成するように構成され得る。

いくつかの実施形態において、前記増強プロセッサは、前記特徴画像に基づくリファレンス画像及び前記第１併合画像を反復的に増強して、前記リファレンス画像の高解像度画像を生成するように構成され得る。

いくつかの実施形態において、複数回の反復が行われる場合、各回の反復のノイズ入力は同じ所定の振幅を有し得る。

いくつかの実施形態において、前記増強プロセッサは、互いにカップリングされた第１アップサンプラと、ダウンサンプラと、残差確定プロセッサと、第２アップサンプラと、補正プロセッサと、合成プロセッサとを含み得る。

いくつかの実施形態において、前記第１アップサンプラは、前記第１併合画像をアップサンプリングしてアップサンプリング特徴画像を生成するように構成され得る。

いくつかの実施形態において、前記ダウンサンプラは、前記アップサンプリング特徴画像をダウンサンプリングしてダウンサンプリング特徴画像を生成するように構成され得る。

いくつかの実施形態において、前記残差確定プロセッサは、前記ダウンサンプリング特徴画像及び前記第１併合画像から、前記ダウンサンプリング特徴画像と前記第１併合画像の間の差異を表す残差画像を生成するように構成され得る。

いくつかの実施形態において、前記第２アップサンプラは、前記残差画像をアップサンプリングしてアップサンプリング残差画像を生成するように構成され得る。

いくつかの実施形態において、前記補正プロセッサは、アップサンプリング残差画像に基づいて、前記アップサンプリング特徴画像に少なくとも１回の残差補正を適用して前記リファレンス画像の高解像度特徴画像を生成するように構成され得る。

いくつかの実施形態において、合成プロセッサは、前記高解像度特徴画像から、前記リファレンス画像の高解像度画像を合成するように構成され得る。

いくつかの実施形態において、前記増強プロセッサは、少なくとも２回の反復を行うように構成され得る。

いくつかの実施形態において、前記高解像度画像及び前記高解像度特徴画像は、後続の反復のリファレンス画像及び特徴画像であり得る。

いくつかの実施形態において、前記増強プロセッサは、互いにカップリングされた補間プロセッサと、重畳プロセッサとを更に含み得る。

いくつかの実施形態において、前記補間プロセッサは、前記リファレンス画像に対して補間を行って補間画像を生成するように構成され得る。

いくつかの実施形態において、前記重畳プロセッサは、前記補間画像を前記合成プロセッサからの出力に重畳して前記リファレンス画像の高解像度画像を生成するように構成され得る。

いくつかの実施形態において、前記第１アップサンプラは、前記第１併合画像を直接アップサンプリングするように構成され得る。

いくつかの実施形態において、前記第１アップサンプラは、前記補間画像に基づいて第２併合画像を生成し、そして前記第２併合画像をアップサンプリングしてアップサンプリング特徴画像を生成するように構成され得る。

本発明と見なされる主題は、本明細書の終末での請求項に特に指摘され且つ明確に請求される。本発明の前述の及び他の目的、特徴並びに利点は、添付図面と併せて進められる次の詳細な説明からより明らかになるであろう。図面は以下の通りである。

歪みターゲットと知覚品質ターゲットの「可能な」組み合わせの領域と、歪みターゲットと知覚品質ターゲットの「不可能な」組み合わせの領域とを含む、歪み量と知覚品質の損失の関係を説明するグラフを示す。 本開示の実施形態に係る画像処理システムのブロック図を示す。 本開示の実施形態に係る増強ユニットのブロック図を示す。 本開示の実施形態に係る増強ユニットのブロック図を示す。 本開示の実施形態に係る増強ユニットのブロック図を示す。 本開示の実施形態に係る増強ユニットのブロック図を示す。 本開示の実施形態に係る増強ユニットのブロック図を示す。 残差補正のない入力画像の増強を説明する概略図を示す。 １回の残差補正による入力画像の増強を説明する概略図を示す。 ２回の残差補正による入力画像の増強を説明する概略図を示す。 本開示の別の実施形態に係る画像処理システムの概略図を示す。 本開示の実施形態に係る生成ネットワークトレーニング方法のフローチャートを示す。 本開示の実施形態に係る識別ネットワークトレーニング方法のフローチャートを示す。 本開示の実施形態に係る画像処理方法のフローチャートを示す。 本開示の実施形態に係る画像を反復的に増強する方法のフローチャートを示す。 本開示の別の実施形態に係る画像を反復的に増強する方法のフローチャートを示す。

図示は当業者による詳細な説明と併せた本発明の理解の促進における明確性を図るものであるため、図面の多様な特徴は縮尺通りでない。

次に、上で簡単に述べられた添付図面と併せて本開示の実施形態を明確且つ具体的に記述することにする。本開示の主題は、法定要件を満たすために特異性を持って記述される。しかし、説明そのものは本開示の範囲を限定することを意図していない。むしろ、本発明者らは、この文書で記述されるステップ又は要素に類似した異なるステップ又は要素を含むように、請求される主題が現在又は将来の技術と併せて他のやり方で具現され得ると考える。

多様な図面の実施形態に関連して本技術を記述したが、理解すべきことは、本技術から逸脱することなく本技術の同じ機能を実行するために、他の類似した実施形態が利用され得るか、又は記述された実施形態に対する変更及び追加が実施され得る。したがって、本技術は、いずれか単一の実施形態に限定されるべきではなく、添付される特許請求の範囲に応じた広さ及び範囲に準拠して解釈されるべきである。また、当該技術分野における通常の知識を有する者によりこの書類に記載される実施形態に基づいて得られるその他すべての実施形態は本開示の範囲内であると見なされる。

人工ニューラルネットワークに基づく深層学習技術は、画像処理などの分野で大いに進歩している。深層学習は、機械学習方法におけるデータの特性に基づく学習方法である。観測値（例えば、画像）は多様なピクセルの強度値のベクタとして、もしくは、より抽象的には、特定の形状を有する一連のエッジ、領域等として多様な方式により表され得る。深層学習技術の利点は、汎用構造及び比較的類似したシステムを利用した異なる技術的問題の解決にある。深層学習の利点は、特徴の手動取得を特徴学習及び階層的な特徴抽出用の効率的な教師なし又は半教師ありアルゴリズムに代替することである。

自然界の画像は、人間によって合成的に又はコンピュータによってランダムに作成された画像と容易に区別され得る。自然画像は、少なくとも特定の構造を含有し、非常に非ランダムであるため特徴的である。例えば、合成的に及びコンピュータによってランダムに生成された画像は自然的なシーン又はオブジェクトをほとんど含有しない。圧縮アルゴリズム、アナログ記憶媒体、さらには人間自身の視覚システムのような画像処理システムは現実世界の画像に対して機能する。

畳み込みニューラルネットワーク又は単に畳み込みネットワークは、画像を入力／出力として使用し、スカラ重みをフィルタに置き換える（即ち、畳み込み）ニューラルネットワーク構造である。例示的な例として、畳み込みネットワークは３つの層を持つ簡単な構造を有し得る。この構造は、入力の第１層における第１数量の入力画像を取り込み、非表示の第２層で第２数量の画像を生成し、出力層で２つの画像を出力する。各々の層で、畳み込みの後に画像へのバイアスの追加が続く。そして、いくつかの畳み込みとバイアスの加算の結果は、一般的に正規化線形ユニット（ＲｅＬＵ）、シグモイド関数、双曲線正接などに対応する活性化ボックスを通過する。前記畳み込み及びバイアスは、ネットワークの動作中に固定され、一連の入力／出力画像例の適用及び応用に依存する何らかの最適化基準に合わせるように行う調整を含むトレーニングプロセスを通じて得られる。一般的な構成は往々にして各層における数十又は数百の畳み込みを含む。少数の層を持つネットワーク（例えば、３つの層）は浅層と見なされるのに対し、５又は１０層を超える層を持つネットワークは通常深層と見なされる。

畳み込みネットワークは、一般的な深層学習システムであり、例えば、画像認識、画像分類、及び超解像度画像再構築をトレーニングするよう、画像処理技術に広く使用される。

従来の超解像度画像再構築技術は、そのダウンスケールされたバージョンから高解像度画像を再構築する。これは、往々にして画像情報の損失をもたらし、その結果として、高解像度画像の現実感及び知覚品質を低下させる。

敵対的生成ネットワーク（ＧＡＮ）は、自然画像の現実的サンプルを生成する一ソリューションである。ＧＡＮは、２つのモデルが同時にトレーニングされるか又はクロストレーニングされる生成モデリングへのアプローチであり得る。

学習システムは、特定のターゲットに基づいてパラメータを調整するように構成され得、損失関数で表され得る。ＧＡＮにおいて、前記損失関数は、難しいタスクを独立して学習できる別の機械学習システムに置き換えられる。ＧＡＮは、通常、識別ネットワークに対抗する生成ネットワークを含む。前記生成ネットワークは、低解像度データ画像の入力を受信し、前記低解像度データ画像をアップスケールし、当該アップスケールされた画像を前記識別ネットワークに送る。前記識別ネットワークは、その入力が前記生成ネットワークの出力（即ち、「フェイク」アップスケールデータ画像）であるかそれとも実際画像（即ち、オリジナル高解像度データ画像）であるかを区別するタスクを任せられる。前記識別ネットワークは、その入力がアップスケールされた画像及びオリジナル画像である確率を測定する「０」と「１」の間のスコアを出力する。前記識別ネットワークが「０」又は「０」に近づくスコアを出力する場合、前記識別ネットワークは、当該画像が前記生成ネットワークの出力であると判断している。前記識別ネットワークが「１」又は「１」に近づく数値を出力する場合、前記識別ネットワークは、当該画像がオリジナル画像であると判断している。このような生成ネットワークを識別ネットワークに対向させ、したがって、「敵対的」な仕方は２つのネットワーク間の競争を利用して、生成ネットワークにより生成された画像がオリジナルと区別できなくなるまで、両方のネットワークがそれらの方法を改善するように駆動する。

識別ネットワークは、所定のスコアを有するデータを用いて入力を「リアル」又は「フェイク」とスコアリングするようにトレーニングされ得る。「フェイク」データは生成ネットワークにより生成された高解像度画像であり得、「リアル」データは所定のリファレンス画像であり得る。識別ネットワークをトレーニングするために、識別ネットワークが「リアル」データを受信する時はいつでも「１」に近づくスコアを出力し、「フェイク」データを受信する時はいつでも「０」に近づくスコアを出力するまで、前記識別ネットワークのパラメータを調整する。生成ネットワークをトレーニングするために、前記生成ネットワークの出力が識別ネットワークから「１」にできるだけ近いスコアを受信するまで、前記生成ネットワークのパラメータを調整する。

ＧＡＮは普遍的には、偽造者と警察に類推される。生成ネットワークは偽造者に類推され、贋金を製造して、検出なしにそれを使用しようとするのに対し、識別ネットワークは警察に類推され、当該贋金を検出しようとし得る。偽造者と警察の間の競争は双方が、偽造品が本物と区別できなくなるまで、それらの方法を改善するように刺激する。

生成ネットワーク及び識別ネットワークの両方ともゼロ和ゲームで異なり且つ対立する目的関数、即ち、損失関数を最適化しょうとする。「クロストレーニング」を通じて識別ネットワークによる出力を最大化し、生成ネットワークは生成ネットワークが生成する画像を改善し、識別ネットワークはそのオリジナル高解像度画像と生成ネットワークにより生成された画像の区別の正確度を向上させる。前記生成ネットワークと前記識別ネットワークとは、より良好な画像を生成し、画像を評価する基準を高めようと競争する。

生成ネットワークが特定のパラメータを改善するようにトレーニングするためには、オリジナル高解像度画像と生成ネットワークにより生成された画像の区別における識別ネットワークの正確度を高める必要が残っている。例えば、リアルで破損していないと認識される画像の生成するタスクに関心がある。これは、ぼけ除去、ノイズ除去、デモザイク処理、圧縮解除、コントラスト強調、画像超解像度などのような問題に応用できる。このような問題において、破損された画像が視覚的に損なわれており、機械学習システムがそれを修復するために設計され得る。しかし、オリジナル画像を復旧するターゲットは往々にして非現実的であり、本物らしく見えない画像につながる。ＧＡＮは、「リアル」画像を生成するように設計される。一般的な構成は、カラー出力画像を取り、機械学習システム（例えば、畳み込みネットワーク）を用いて画像がどれほどリアルであるかを測定する単一の数値を出力する。このシステムは知覚品質を向上できるが、現在、敵対的システムの出力は依然として人間ビューアにより自然画像と認識されるのに不足している。

超解像度画像再構築は、ベース画像をアップスケールして高解像度画像を生成し、より詳しくは、ベース画像の品質を数倍（例えば、４倍）向上させる超解像度画像を生成する。歪み及び知覚品質は、しばしば超解像度画像再構築の効果を評価するのに用いられる。歪みは、再構築された画像とベース画像の間の相違点を客観的に測定する。平均二乗偏差（ＭＳＥ）、構造的類似度（ＳＳＩＭ）及びピーク信号対ノイズ比（ＰＳＮＲ）を含むいくつかの歪みメトリックが提案されている。一方で、知覚品質は人間の目に自然画像と同じくらいリアルに見えるアップスケールされた画像を作成することにもっと焦点を当てている。

図１は、歪みと知覚品質の関係を説明するグラフを示す。より詳しくは、図１は、画像再構築おける歪みと知覚品質の相反する役割を図示している。図１において、曲線の上方の領域は歪みターゲットと知覚品質ターゲットの「可能な」組み合わせを表すのに対し、曲線の下方の領域は歪みターゲットと知覚品質ターゲットの「不可能な」組み合わせを表す。図１に示すように、歪み量が小さい場合、知覚品質の損失は大きくなりがちである。そのような状況において、再構築された画像はまとまっているように現れるが、細部が欠落し得る。一方で、知覚品質の損失が小さい場合、歪み量は大きくなりがちである。そのような状況において、再構築された画像は細部が豊かになりがちである。既存の超解像度画像再構築技術は歪みの最小化を強調するのを好むが、一部の応用に対して、ビューアは細部が豊かに再構築された再構築画像を好む。

図２は、本開示の実施形態に係る画像処理システムのブロック図を示す。

図２のブロック図は、画像処理システムが図２に示されたコンポーネントのみを含むことを示すことを意図していない。本開示に係る画像処理システムは、具体的な実施の詳細に応じて、当該技術分野における通常の知識を有する者に知られているが図２に示されていない任意の数の追加的なアクセサリ及び／又はコンポーネントを含み得る。

図２に示すように、当該システムは取得ユニット１００と、取得ユニット１００にカップリングされた生成ネットワーク２００とを含む。取得ユニット１００は、リファレンス画像及びノイズ入力Ｉ_ｎを取得するように構成される。前記リファレンス画像は入力画像Ｉ_０であるか、又は、後述されるように、前記リファレンス画像は、増強又はアップスケーリングプロセスにより生成された増強された又はアップスケールされた高解像度画像であり得る。ノイズ入力Ｉ_ｎには特に制限がない。ノイズ入力Ｉ_ｎはノイズ画像の形であり得る。ノイズ入力Ｉ_ｎはランダムノイズを含有し得る。

生成ネットワーク２００は、入力画像Ｉ_０に対して増強又はアップスケーリングを行うように構成される。生成ネットワーク２００は、分析ユニット２１０と、接続ユニット２２０と、増強ユニット２３０とを含む。

分析ユニット２１０は、入力画像Ｉ_０に基づいて、対応する特徴画像Ｒ_０を生成するように構成される。特徴画像Ｒ_０は、対応する入力像Ｉ_０の異なるディメンションを表すマルチチャンネル画像であり得る。特徴画像Ｒ_０は、対応する入力画像Ｉ_０より多くのチャンネルを有する。いくつかの実施形態において、入力画像Ｉ_０は３つのチャンネルを有し得、出力特徴画像Ｒ_０は６４個のチャンネル、１２８個のチャンネル又は他の任意の数のチャンネルを有し得る。ノイズ入力Ｉ_ｎは同じくマルチチャンネル画像であり得る。

いくつかの実施形態において、分析ユニット２１０はニューラルネットワークアーキテクチャ上で実施され得る。例示的なニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、密集接続畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）、ＣｌｉｑｕｅＮｅｔ、ｆｉｌｔｅｒ ｂａｎｋ（フィルタバンク）等を含む。分析ユニット２１０は、少なくとも一つの畳み込み層を含み得、且つ、特徴画像Ｒ_０の生成を容易にするように、入力画像Ｉ_０を受信、分析及び操作するように構成され得る。より詳しくは、分析ユニット２１０は、中間特徴画像を生成し、そして中間特徴画像に対して畳み込みを行って入力画像Ｉ_０の特徴画像Ｒ_０を得るように構成され得る。

接続ユニット２２０は、リファレンス画像の特徴画像とノイズ入力（例えば、ノイズ画像）とを連結することによって第１併合画像を生成するように構成される。ノイズ入力がノイズ画像であり且つ特徴画像及びノイズ画像の両方ともマルチチャンネル画像である実施形態において、特徴画像とノイズ入力とを連結することによって生成された第１併合画像もマルチチャンネル画像になる。より詳しくは、連結は、特徴画像の各チャンネルからのチャンネル画像をノイズ画像のチャンネルの一つからのチャンネル画像と重畳することを含む。前記第１併合画像におけるチャンネル数は、前記特徴画像におけるチャンネル数とノイズ画像におけるチャンネル数との和になる。第１併合画像の各チャンネルのチャンネル画像は、特徴画像及びノイズ画像からの対応するチャンネル画像の併合になる。

増強の複数回の反復が行われる実施形態において、一回目の反復で、接続ユニット２２０は、例えば、図２に示すように、入力画像Ｉ_０の特徴画像Ｒ_０とノイズ入力Ｉ_ｎとを連結することによって併合画像を生成するように構成される。

増強ユニット２３０は、前記第１併合画像に基づいて、前記リファレンス画像に基づく高解像度特徴画像を生成するように構成される。前記高解像度特徴画像の解像度は、所定のアップスケーリング係数でリファレンス画像の解像度より高い。前記所定のアップスケーリング係数は、１より大きい任意の整数であり得る。高解像度特徴画像の前の画像がマルチチャンネル画像である実施形態において、増強ユニット２３０により生成される高解像度特徴画像もマルチチャンネル画像である。前記高解像度特徴画像におけるチャンネル数は、前記リファレンス画像におけるチャンネル数より大きい。増強の複数回の反復が行われる実施形態において、一回目の反復で、増強ユニット２３０は、例えば、図２に示すように、入力画像Ｉ_０の高解像度特徴画像を生成するように構成される。

いくつかの実施形態において、増強ユニット２３０は、リファレンス画像に基づいて高解像度画像を生成するように構成されても良い。非限定的且つ例示的な一例として、アップスケーリング係数はＡであり、リファレンス画像の解像度はｘ＊ｘであると仮定する。前記リファレンス画像がＡ倍アップスケールされた場合、結果画像の解像度はＡ＊ｘ＊ｘである。

生成ネットワーク２００は、アップスケーリングを通じてリファレンス画像を反復的に増強するように構成される。より詳しくは、生成ネットワーク２００は、増強の１回又は複数回の反復（即ち、アップスケーリング）を行うことによってターゲット解像度を有する画像を得るように構成される。一回目の反復で、前記リファレンス画像は入力画像Ｉ_０であり、前記リファレンス画像の特徴画像は入力画像Ｉ_０の特徴画像Ｒ_０である。増強の後続の反復で、前記リファレンス画像は先行する反復中に生成された高解像度画像であり、前記リファレンス画像の特徴画像は同じく先行する反復中に生成された高解像度特徴画像である。

図２に示すように、増強の１回目の反復中、反復回数ｌは１より大きく、接続ユニット２２０が受信した特徴画像は増強のｌ－１回目の反復を経たリファレンス画像の高解像度特徴画像Ｒ_ｌ－１である。非限定的且つ例示的な一例として、アップスケーリング係数が２である場合、１回目の反復後の高解像度特徴画像の解像度は、初期入力画像の解像度の２ｌ倍である。実際には、反復回数は所望のターゲット解像度及び／又は増強の各回の反復中のアップスケーリング係数応じて決定され得る。

増強の各回の反復中、ノイズの振幅は変わらない。前記ノイズの振幅はノイズの平均変動に対応する。例えば、いくつかの実施形態において、ノイズはランダムノイズであり、ノイズ入力の平均値及び分散は、それぞれμ及びσである。ノイズ入力における各ピクセル値はμ－σ乃至μ＋σの範囲内で変動する。そのような実施形態において、ノイズの振幅はμである。画像処理中、画像は画像アレイとして表され、したがって上記の「ピクセル値」は基本単位値を表すことが理解できる。

超解像度の再構築中、再構築された超解像度画像（例えば、毛髪、ライン、など）における細部は往々にしてノイズの影響を受ける。そのため、再構築された超解像度画像が所望の基準を満たすように、生成ネットワーク上の超解像度再構築中、選好及び必要（例えば、細部をハイライト表示すべきであるか否か、細部表示の度合い、等）に応じてノイズの振幅を調整し得ることは理解できる。

図３は、本開示の実施形態に係る増強ユニットのブロック図を示す。

図３のブロック図は、前記増強ユニットが図３に示されたコンポーネントのみを含むことを示すことを意図するものではない。本開示に係る増強ユニットは、具体的な実施の詳細に応じて、当該技術分野における通常の知識を有する者に既知である、図３に示されていない任意の数の追加的なアクセサリ及び／又はコンポーネントを含み得る。

図３において、接続ユニット２２０が受信したリファレンス画像は、初期入力画像Ｉ_０である。図３に示すように、増強ユニット２３０は、第１アップサンプラ２３１と、ダウンサンプラ２３３と、残差確定ユニット２３４と、第２アップサンプラ２３２と、補正ユニット２３５と、合成ユニット２３６とを含む。

第１アップサンプラ２３１は、第１併合画像ＲＣ_０に基づいて第１アップサンプリング特徴画像Ｒ^０ _１を生成するように構成される。いくつかの実施形態において、第１アップサンプラ２３１は、畳み込みニューラルネットワーク（ＣＮＮ）及び残差ニューラルネットワーク（ＲｅｓＮｅｔ）のようなニューラルネットワークアーキテクチャ、及びアップサンプリング層の組み合わせを実施するように構成され得る。第１アップサンプラ２３１は第１併合画像ＲＣ_０に対して畳み込みを行って中間画像を生成するように構成される上記のニューラルネットワークアーキテクチャを実施し得る。前記アップサンプリング層は、前記中間画像に対してアップサンプリングを行って第１アップサンプリング特徴画像Ｒ^０ _１を生成するように構成される。前記アップサンプリング層は、ＭｕｘＯｕｔ層、ストライド転置畳み込み層、又はスタンダードパーチャンネルアップサンプラ（例えば、バイキュビック補間層）を含み得る。

ダウンサンプラ２３３は、第１アップサンプリング特徴画像Ｒ^０ _１に対してダウンサンプリングを行って第１ダウンサンプリング特徴画像Ｒ^１ _０を生成するように構成される。いくつかの実施形態において、第１アップサンプラ２３１は、畳み込みニューラルネットワーク（ＣＮＮ）及び残差ニューラルネットワーク（ＲｅｓＮｅｔ）のようなニューラルネットワークアーキテクチャ、及びダウンサンプリング層の組み合わせを実施するように構成され得る。ダウンサンプラ２３３は、第１アップサンプリング特徴画像Ｒ^１ _０に対してダウンサンプリングを行うように構成されるニューラルネットワークアーキテクチャを実施し得る。前記ダウンサンプリング層は、前記ダウンサンプリング画像に対して畳み込みを行って第１ダウンサンプリング特徴画像Ｒ^１ _０を得るように構成される。前記ダウンサンプリング層は、反転ＭｕｘＯｕｔ層、ストライド畳み込み層、ｍａｘｐｏｏｌ層、又はスタンダードパーチャンネルダウンサンプラ（例えば、バイキュビック補間層）を含み得る。

残差確定ユニット２３４は、第１ダウンサンプリング特徴画像Ｒ^１ _０及び第１併合画像ＲＣ_０から残差画像Ｄ^１ _０を生成するように構成される。残差画像Ｄ^１ _０は、前記第１ダウンサンプリング特徴画像Ｒ^１ _０と第１併合画像ＲＣ_０の間の相違度を表す。

いくつかの実施形態において、残差確定ユニット２３４は、第１ダウンサンプリング特徴画像Ｒ^１ _０及び第１併合画像ＲＣ_０に対して線形演算を行って残差画像Ｄ^１ _０を得るように構成される。前記残差画像は、第１ダウンサンプリング特徴画像Ｒ^１ _０と第１併合画像ＲＣ_０の間の差の大きさを表す。非限定的且つ例示的な一例として、Ｄ^１ _０＝αＲ^１ _０＋βＤ^１ _０である。α＝１であり、β＝－１である場合、残差画像Ｄ^１ _０は、第１ダウンサンプリング特徴画像Ｒ^１ _０と第１併合画像ＲＣ_０の間の差である。残差画像Ｄ^１ _０における各ピクセル値は、第１ダウンサンプリング特徴画像Ｒ^１ _０及び第１併合画像ＲＣ_０における位置的に対応するピクセルの差を表す。α及びβの値は特に限定されない。α及びβの値が選好及び必要に応じて設定され得ることは理解できる。一実施形態において、α＝１．１であり、β＝－０．９である。上記のα及びβの値は単に例示的な例として示されたものであり、本開示の範囲を限定することを意図していない。いくつかの実施形態において、残差画像は畳み込みネットワークにより生成され得る。

いくつかの実施形態において、残差確定ユニット２３４は、ニューラルネットワークを用いて残差画像Ｄ^１ _０を生成するように構成され得る。他の実施形態において、残差確定ユニット２３４は、第１ダウンサンプリング特徴画像Ｒ^１ _０と第１併合画像ＲＣ_０とを結合するように構成され得る。通常、結合操作は、畳される二つの画像における位置的に対応するピクセルの加重重畳を含む。そして、当該結合された特徴画像に対して畳み込みを行って残差画像Ｄ^１ _０を得る。即ち、残差確定ユニット２３４は接続ユニット２２０と同じニューラルネットワークアーキテクチャを利用し得るが、当該２つのニューラルネットワークアーキテクチャのパラメータが異なり得ることは理解できる。

第２アップサンプラ２３２は、残差画像Ｄ^１ _０に対してアップサンプリングを行ってアップサンプリング残差画像Ｄ^１ _１を生成するように構成される。第２アップサンプラ２３２は、例えば、上記のように、畳み込みニューラルネットワーク（ＣＮＮ）及び残差ニューラルネットワーク（ＲｅｓＮｅｔ）のようなニューラルネットワークアーキテクチャ及びアップサンプリング層の組み合わせを実施するように構成され得る。

補正ユニット２３５は、第１アップサンプリング残差画像Ｄ^１ _１に基づいて、第１アップサンプリング特徴画像Ｒ^０ _１に残差補正を適用することによって高解像度特徴画像を生成するように構成される。

第１ダウンサンプリング特徴画像Ｒ^１ _０は、第１併合画像ＲＣ_０に対してアップサンプリングを行ってからダウンサンプリングを行った後に得られる。第１ダウンサンプリング特徴画像Ｒ^１ _０は、入力画像Ｉ_０の特徴画像Ｒ_０と同じ解像度を有する。言い換えれば、第１ダウンサンプリング特徴画像Ｒ^１ _０は、処理されていない第１併合画像ＲＣ_０と同様である。しかし、実際には、画像のアップサンプリングは、推定により画像の解像度を向上させることを含む。その結果、第１併合画像ＲＣ_０と、第１アップサンプリング特徴画像Ｒ^０ _１に対してダウンサンプリングを行うことによって得られた第１ダウンサンプリング特徴画像Ｒ^１ _０の間に相違点が存在する。したがって、そのような第１ダウンサンプリング特徴画像Ｒ^１ _０と第１併合画像ＲＣ_０の間の差異を利用して、第１アップサンプリング特徴画像Ｒ^０ _１を補正し得る。

例えば、図３に示すように、補正ユニット２３５は、以下のように第１アップサンプリング特徴画像Ｒ^０ _１に残差補正を適用し得る。第１重畳モジュール２３５１は、第１アップサンプリング特徴画像Ｒ^０ _１を補正するように、第１アップサンプリング残差画像Ｄ^１ _１と第１アップサンプリング特徴画像Ｒ^０ _１とを重畳するように構成される。重畳後に得られる画像は、高解像度特徴画像Ｒ_１である。通常、重畳操作は、重畳される２つの画像における位置的に対応するピクセルの階調の重畳を含む。

合成ユニット２３６は、高解像度特徴画像Ｒ_１から高解像度画像Ｉ_１を合成するように構成される。図３に示すように、合成ユニット２３６は、入力画像Ｉ_０の高解像度バージョンである画像Ｉ_１を出力する。高解像度画像Ｉ_１の解像度は、高解像度特徴画像Ｒ_１の解像度と同じである。高解像度画像Ｉ_１は、入力画像Ｉ_０と同じチャンネル数を有する。いくつかの実施形態において、合成ユニット２３６は、ニューラルネットワーク、及び畳み込み層を実施するように構成され得る。合成ユニット２３６は、前記畳み込みニューラルネットワークを利用して高解像度特徴画像Ｒ_１に対して畳み込みを行い、畳み込み層を利用して高解像度特徴画像Ｒ_１から高解像度画像Ｉ_１を合成するように構成され得る。

図４は、本開示の実施形態に係る増強ユニットのブロック図を示す。

図４のブロック図は、前記増強ユニットが図４に示されるコンポーネントのみを含むことを示すことを意図していない。本開示に係る増強ユニットは、具体的な実施の詳細に応じて、当該技術分野における通常の知識を有する者に知られているが図４に示されていない任意の数の追加的なアクセサリ及び／又はコンポーネントを含み得る。

図４において、接続ユニット２２０が受信したリファレンス画像は、初期入力画像Ｉ_０である。同様に図３に示すように、生成ネットワーク２００は、分析ユニット２１０と、接続ユニット２２０と、増強ユニット２３０とを含む。増強ユニット２３０は、第１アップサンプラ２３１と、第２アップサンプラ２３２と、ダウンサンプラ２３３と、残差確定ユニット２３４と、合成ユニット２３６とを含む。これらのコンポーネントの構造及び構成は上記のようである。

図３に図示される実施形態と図４に図示される実施形態の間の違いは、補正ユニット２３５である。

図４に示すように、補正ユニット２３５は、第１重畳モジュール２３５１と、ダウンサンプリングモジュール２３５２と、残差確定モジュール２３５３と、アップサンプリングモジュール２３５４と、第２重畳モジュール２３５５とを含む。

図４において、第１重畳モジュール２３５１は、第１アップサンプリング残差画像Ｄ^１ _１と第１アップサンプリング特徴画像Ｒ^０ _１とを重畳して第２アップサンプリング特徴画像Ｒ^１ _１を得るように構成される。ダウンサンプリングモジュール２３５２は、第２アップサンプリング特徴画像Ｒ^１ _１に対してダウンサンプリングを行って第２ダウンサンプリング特徴画像Ｒ^２ _０を得るように構成される。残差確定モジュール２３５３は、第２ダウンサンプリング特徴画像Ｒ^２ _０及び第１併合画像ＲＣ_０から残差画像Ｄ^２ _０を生成するように構成される。残差確定モジュール２３５３は、残差確定ユニット２３４と類似したプロセスに従って残差画像Ｄ^２ _０を生成するように構成され得る。アップサンプリングモジュール２３５４は、残差画像Ｄ^２ _０に対してアップサンプリングを行ってアップサンプリング残差画像Ｄ^２ _１を得るように構成される。第２重畳モジュール２３５５は、アップサンプリング残差画像Ｄ^２ _１と第２アップサンプリング特徴画像Ｒ^１ _１とを重畳して第３アップサンプリング特徴画像Ｒ^２ _１を得、そして第３アップサンプリング特徴画像Ｒ^２ _１から高解像度画像Ｒ_１を生成するように構成される。

第１アップサンプラ２３１と、第２アップサンプラ２３２と、アップサンプリングモジュール２３５４とは類似した構造を有し得る。ダウンサンプラ２３３とダウンサンプリングモジュール２３５２と類似した構造を有し得る。残差確定ユニット２３４と残差確定モジュール２３５３とは類似した畳み込みネットワークを実施するように構成され得るが、同一の画像処理システム内の２つの畳み込みネットワークは同じ構造でありながらも異なるパラメータを有し得る。

図４に図示する実施形態において、ダウンサンプラ２３３、残差確定ユニット２３４、第２アップサンプラ２３２及び第１重畳モジュール２３５１は、第１アップサンプリング特徴画像Ｒ^０ _１に第１残差補正を適用する。ダウンサンプリングモジュール２３５２、残差確定モジュール２３５３、アップサンプリングモジュール２３５４及び第２重畳ユニット２３５５は、第１アップサンプリング特徴画像Ｒ^０ _１に第２残差補正を適用する。いくつかの実施形態において、複数回の残差補正を行って再構築解像度をさらに向上させるために、補正ユニット２３５は、複数のアップサンプリングモジュールと、複数のダウンサンプリングモジュールと、複数の残差確定モジュールと、複数の第２重畳ユニットとを含み得る。

本開示に係る生成ネットワーク２００は、アップスケーリングを通じて入力画像Ｉ_０を反復的に増強するように構成される。より詳しくは、生成ネットワーク２００は、増強の１回又は複数回の反復（即ち、アップスケーリング）を行うことによってターゲット解像度を有する画像を得るように構成される。一回目の反復で、前記リファレンス画像は、入力画像Ｉ_０である。後続の増強の反復で、先行する反復中で生成された高解像度特徴画を接続モジュール２２０に提供する。各回の反復中、接続モジュール２２０は、同じ解像度を有するノイズ入力と特徴画像受信とを受信する。いくつかの実施形態において、所定の振幅が取得ユニット２１０に提供され得、そして、所定の振幅に基づいて、取得ユニット２１０は、異なる解像度を有する複数のノイズ入力を生成し、且つ、各回の反復中、接続モジュール２２０が受信した特徴画像と同じ解像度を有するノイズ入力を接続モジュール２２０に提供し得る。

図５は、本開示の実施形態に係る増強ユニットのブロック図を示す。

図５のブロック図は、前記増強ユニットが図５に示されるコンポーネントのみを含むことを示すことを意図していない。本開示に係る増強ユニットは、具体的な実施の詳細に応じて、当該技術分野における通常の知識を有する者に知られているが図５に示されていない任意の数の追加的なアクセサリ及び／又はコンポーネントを含み得る。

本開示に係る生成ネットワーク２００は、入力画像に対して増強の複数回の反復を行うように構成される。図５に示すように、増強ユニット２３０は、第１アップサンプラ２３１と、第２アップサンプラ２３２と、ダウンサンプラ２３３と、残差確定ユニット２３４と、第１重畳モジュール２３５１と、ダウンサンプリングモジュール２３５２と、アップサンプリングモジュール２３５４と、残差確定モジュール２３５３とを含む。これらのコンポーネントの構造及び構成は、図４に対して前述されたようである。

図５に示すように、接続モジュール２２０が受信したリファレンス画像は、増強のｌ－１回目の反復後に生成された高解像度特徴画像Ｒ^０ _ｌ－１である。図５に図示する実施形態が分析ユニット（不図示）を含むことは理解できる。増強の１回目の反復中、反復回数ｌは１より大きく、前記分析ユニットは初期入力画像の特徴画像を生成し、前記特徴画像を前記接続モジュールに提供する。

増強ユニット２３０は、逆投影を行うように構成される残差補正システムを含み得る。逆投影は、第１アップサンプリング特徴画像Ｒ^０ _ｌに対して残差補正を行うプロセスである。前記残差補正システムからの出力は補正されたアップサンプリング特徴画像である。

増強のｌ－１回目の反復後に得られた高解像度画像Ｒ^μ _ｌ－１をノイズ入力に結合して第１併合画像ＲＣ_ｌ－１を生成する。第１アップサンプラ２３１は、第１併合画像ＲＣ_ｌ－１に対してアップサンプリングを行い、第１アップサンプリング特徴画像Ｒ^０ _ｌを生成する。前記残差補正システムは、第１アップサンプリング特徴画像ＲＲ^０ _ｌに対して複数ラウンドのダウンサンプリングを行って初期入力画像Ｉ_０と同じ解像度を有するダウンサンプリング画像を生成する。第１アップサンプリング特徴画像Ｒ^０ _ｌに対して複数ラウンドのダウンサンプリングを行うことによって準備されたダウンサンプリング画像を第１併合画像ＲＣ_０と比較することで、第１アップサンプリング特徴画像Ｒ^０ _ｌに適用すべき残差補正を確定することができる。

図５において、Ｒ^ρ _ｌは増強のｌ回目の反復後に得られた高解像度特徴画像を表し、当該ｌ回目の反復中、第１アップサンプリング特徴画像Ｒ^０に対してρラウンドの残差補正を行う。図５に示すように、Ｒ^１ _ｌは１ラウンドの残差補正処理を受けたアップサンプリング特徴画像を表すために用いられ得る。Ｒ^２ _ｌは２ラウンドの残差補正処理を受けたアップサンプリング特徴画像を表すために用いられ得、以下同様に続き得る。残差補正の回数（即ち、ρ値）を含めて、具体的な実施が選好及び必要に応じて調整され得ることは理解できる。

図６は、本開示の実施形態に係る増強ユニットのブロック図を示す。

図６のブロック図は、前記増強ユニットが図６に示されるコンポーネントのみを含むことを示すことを意図するものではない。本開示に係る増強ユニットは、具体的な実施の詳細に応じて、当該技術分野における通常の知識を有する者に既知の、図６に示されていない任意の数の追加的なアクセサリ及び／又はコンポーネントを含み得る。

図６における増強ユニット２３０は、第１アップサンプラ２３１と、第２アップサンプラ２３２と、ダウンサンプラ２３３と、残差確定ユニット２３４と、第１重畳モジュール２３５１と、ダウンサンプリングモジュール２３５２と、アップサンプリングモジュール２３５４と、残差確定モジュール２３５３とを含む。

図６に示すように、増強ユニット２３０は、補間ユニット２３７と、重畳ユニット２３８とを含む。

補間ユニット２３７は、リファレンス画像Ｉ_ｌ－１に対して補間を行って、前記リファレンス画像Ｉ_ｌ－１に基づく補間画像を生成するように構成される。前記補間画像におけるチャンネル数は、リファレンス画像Ｉ_ｌ－１におけるチャンネル数と同じである。前記補間画像の解像度は、高解像度特徴画像Ｒ^μ _ｌの解像度と同じである。補間ユニット２３７は、バイキュビック補間を含むがこれに限られない当該技術分野における通常の知識を有する者に既知の任意の適当な補間方法に従って補間を行うように構成され得る。

重畳ユニット２３８は、リファレンス画像Ｉ_ｌ－１の高解像度画像Ｉ_ｌを生成するために、補間ユニット２３７により生成された補間画像を合成ユニット２３６からの出力に重畳するように構成される。

図５に図示される実施形態と図６に図示される実施形態の間の違いとしては、図５において、生成ネットワーク２００は直接リファレンス画像Ｉ_ｌ－１の高解像度バージョンを出力するのに対し、図６において、生成ネットワーク２００はリファレンス画像Ｉ_ｌ－１の細部画像の高解像度バージョンを出力する。図５に図示される生成ネットワーク２００と図６に図示される生成ネットワーク２００とは構造的に類似しているが、当該２つのニューラルネットワークアーキテクチャのパラメータが異なり得ることは理解できる。

図７は、本開示の実施形態に係る増強ユニットのブロック図を示す。

図７のブロック図は、前記増強ユニットが図７に示されるコンポーネントのみを含むことを示すことを意図するものではない。本開示に係る増強ユニットは、具体的な実施の詳細に応じて、当該技術分野における通常の知識を有する者に既知の、図７に示されていない任意の数の追加的なアクセサリ及び／又はコンポーネントを含み得る。

図７に示すように、増強ユニット２００は、第１アップサンプラ２３１と、第２アップサンプラ２３２と、ダウンサンプラ２３３と、残差確定ユニット２３４と、ダウンサンプリングモジュール２３５２と、アップサンプリングモジュール２３５４と、残差確定モジュール２３５３とを含む。これらのコンポーネントの構造及び構成は、図６に対して前述されたようである。

図６における実施形態と図７における実施形態の間の違いは、第１アップサンプラ２３１にある。図６における第１アップサンプラ２３１は、直接第１併合画像ＲＣ_ｌ－１に対してアップサンプリングを行って第１アップサンプリング特徴画像Ｒ^０ _ｌを生成するように構成される。図７において、第１アップサンプラ２３１は、直接第１併合画像ＲＣ_ｌ－１に対してアップサンプリングを行わない。図６及び図７に図示される第１アップサンプラが本開示に係る画像処理システムにおいて個別に又は組み合わせて使用され得ることは理解できる。

図７に示すように、第１アップサンプラ２３１は、分析モジュール２３１１と、ダウンサンプリングモジュール２３１２と、接続モジュール２３１３と、アップサンプリングモジュール２３１４とを含む。

第１アップサンプラ２３１の分析モジュール２３１１は、前記補間画像の特徴画像を生成するように構成される。前記特徴画像におけるチャンネル数は、前記補間画像におけるチャンネル数と同じである。前記特徴画像の解像度は、前記補間画像の解像度と同じである。

第１アップサンプラ２３１のダウンサンプリングモジュール２３１２は、前記補間画像の特徴画像に対してダウンサンプリングを行ってダウンサンプリング特徴画像を生成するように構成される。

第１アップサンプラ２３１の接続モジュール２３１３は、ダウンサンプリングモジュール２３１２により生成されたダウンサンプリング特徴画像を第１併合画像ＲＣ_ｌ－１と結合して第２併合画像を得るように構成される。

第１アップサンプラ２３１のアップサンプリングモジュール２３１４は、前記第２併合画像に対してアップサンプリングを行って第１アップサンプリング特徴画像Ｒ^０ _ｌを生成するように構成される。

本開示に係る画像処理システムにおけるモジュール、ユニット、及び／又はコンポーネントの各々は本明細書で記述される多様な技法を実施し得る１つ又は複数のコンピュータシステム及び／又はコンピューティング装置上で実施され得る。前記コンピューティング装置は、汎用のコンピュータ、マイクロプロセッサ、デジタル電子回路、集積回路、特に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はその組み合わせの形であり得る。これらの多様な実施は、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１つ又は複数のコンピュータプログラムにおける実施を含み、当該少なくとも一つのプログラマブルプロセッサは専用又は汎用であり得、且つカップリングされて記憶システム、少なくとも一つの入力装置や少なくとも一つの出力装置からデータ及び命令を受信し、記憶システム、少なくとも一つの入力装置や少なくとも一つの出力装置にデータ及び命令を送信し得る。

例えば、一例示的なコンピューティング装置は、互いに通信可能にカップリングされた処理システム、少なくとも一つのコンピュータ読み取り可能媒体、及び少なくとも一つのＩ／Ｏインタフェースを含み得る。前記コンピューティング装置は、多様なコンポーネントを互いにカップリングさせるシステムバス又は他のデータ、及び指令転送システムを更に含み得る。システムバスは、各種のバスアーキテクチャのいずれか一つを利用するメモリバス又はメモリコントローラ、周辺バス、ユニバーサルシリアルバス、及び／又はプロセッサ又はローカルバスのような異なるバス構造のうちの１つ又はその組み合わせを含み得る。制御ライン及びデータラインのような多様な他の例も考えられる。

前記処理システムは、ハードウェアを利用して１つ又は複数の操作を行うように構成され、したがって、プロセッサ、機能ブロック等として構成され得るハードウェア素子を含み得る。これは、１つ又は複数の半導体を用いて形成された特定用途向け集積回路又は他の論理デバイスとしてのハードウェアにおける実施を含み得る。ハードウェア素子は、それらが形成される材料又はびそれらに用いられる処理メカニズムによって限定されない。プロセッサは、半導体及び／又はトランジスタ（例えば、電子集積回路）を含み得る。

コンピュータプログラム（プログラム、アプリケーション、ソフトウェア、ソフトウェアアプリケーション又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルの手続き及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語で実施され得る。本明細書で使用されるように、用語「機械読み取り可能媒体」、「コンピュータ読み取り可能媒体」は、機械読み取り可能信号として機械命令を受信する機械読み取り可能媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意のコンピュータプログラム製品、装置及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。用語「機械読み取り可能信号」は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

Ｉ／Ｏインタフェースは、ユーザがコマンド及び情報をコンピューティング装置に入力可能にし、なお、情報がユーザ及び／又は他のコンポーネント又はデバイスに提示され得るようにする任意のデバイスであり得る。その例は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、並びにユーザがコンピュータに入力を提供できるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール））を含むが、これらに限られない。他の種類のアクセサリ及び／又はデバイスを用いてユーザとの対話を提供しても良い。例えば、ユーザに提供されるフィードバックは任意の形の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であり得る。ユーザからの入力は、音響、音声又は触覚入力を含む任意の形で受信され得る。

上記の装置、システム、プロセス、機能、及び技法は、バックエンド・コンポーネント（例えば、データサーバとして）を含む、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、又はフロントエンド・コンポーネント（例えば、ユーザが上記の装置、システム、プロセス、機能、及び技法の実施と対話を行えるグラフィカルユーザインタフェース又はウェブブラウザを有するクライアントコンピュータ）を含む、又はそのようなバックエンド、ミドルウェア、又はフロントエンドコンポーネントの組み合わせを含むコンピューティングシステムにおいて実施され得る。前記システムのコンポーネントは、任意の形式又はデジタルデータ通信の媒体（通信ネットワーク等）により相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、及びインターネットを含む。

前記コンピューティングシステムは、クライアントと、サーバとを含み得る。クライアントとサーバとは、通常互いに離れており、且つ、一般的に通信ネットワークを介して対話を行う。クライアントとサーバーの関係は、それぞれのコンピュータで実行され且つ互いにクライアント―サーバ関係を持つコンピュータープログラムによって生じる。

図８Ａ乃至図８Ｃは、異なる回数の残差補正による入力画像の増強を説明する概略図を示す。図８Ａは、残差補正のない入力画像の増強を説明する概略図を示す。図８Ｂは、１回の残差補正による入力画像の増強を説明する概略図を示す。図８Ｃは、２回の残差補正による入力画像の増強を説明する概略図を示す。

図８Ａ乃至図８Ｃにおいて、文字「ａ」は、分析ユニット２１０及び／又は分析モジュール２３１１より行われる特徴抽出操作を表す。文字「ｓ」は、合成ユニット２３６により行われる合成操作を表す。文字「ｂ」は、補間ユニット２３７により行われる補間操作を表す。文字「ｄ」は、ダウンサンプラ２３３及び／又はダウンサンプリングモジュール２３５２、２３１２により行われるダウンサンプリング操作を表す。文字「ｕ」は、第２アップサンプラ２３３及び／又はアップサンプリングモジュール２３５３、２３１４により行われるアップサンプリング操作を表す。記号「＋」は、第１重畳モジュール２３５１及び／又は第２重畳モジュール２３５５により行われる重畳操作を表す。前記重畳操作は、重畳される２つの画像における位置的に対応するピクセルの階調の重畳を含む。文字「ｃ」は、接続ユニット２２０及び／又は接続モジュール２３１３により行われる結合操作を表す。結合操作は、重畳される２つの画像における位置的に対応するピクセルの加重重畳を含む。各コンポーネントの構造及び構成は、上記のようである。なお、上記のように、２つの画像の間の残差画像は、２つの画像の間の相違点を表す。いくつかの実施形態において、残差画像を得るために、減算を実行し得る。他の実施形態において、残差画像は、２つの画像を結合し、そして当該結合された画像に対して変換を行うことによって得られる。図８Ａ乃至８Ｃに図示される実施形態において、残差画像は、結合操作を含むプロセスを通じて得られる。

図８Ａに図示される実施形態において、残差補正なしに入力画像に対して増強を行う。増強の反復の総回数は３回であり、残差補正のラウンド数（ρ）は０である（即ち、ρ＝０である）。

図８Ａに示すように、入力画像Ｉ_０を、入力画像Ｉ_０に対して特徴抽出操作を行って入力画像Ｉ_０の特徴画像を得る分析モジュール（ａ）に入力する。そして、接続モジュール（ｃ）で当該特徴画像とノイズ入力とを結合して第１併合画像を得る。合成モジュール（ｓ）は前記特徴画像に対して合成操作を行い、重畳モジュール（＋）は当該合成された画像を入力画像Ｉ_０と重畳して変換された入力画像を得る。補間モジュール（ｂ）で当該変換された入力画像に対して補間操作を行って、解像度が２倍向上された第１補間画像を得る。分析モジュール（ａ）は、第１補間画像の特徴画像を得、続いて、ダウンサンプリングモジュール（ｄ）におけるダウンサンプリング操作が行われる。接続モジュール（ｃ）でダウンサンプリングされた画像を前記第１併合画像と結合する。そして、当該結合された画像をアップサンプリングモジュール（ｕ）で２倍アップサンプリングして第１高解像度特徴画像を得る。合成モジュール（ｓ）により前記第１高解像度特徴画像に対して合成操作を行い、当該合成された画像が第１補間画像と重畳され、第１高解像度画像が得られる。

そして、前記第１高解像度画像に対して補間操作を行って第２補間画像を得る。前記第１高解像度特徴画像を対応する解像度を有するノイズ入力と結合して第２併合画像を得る。前記第２補間画像に対して特徴抽出及び２倍ダウンサンプリングを順次行う。当該ダウンサンプリングされた画像を前記第２併合画像と結合する。そして、当該結合された画像を２倍アップサンプリングして第２高解像度特徴画像を得る。前記第２高解像度特徴画像に対して合成操作を行い、合成された画像を前記第２補間画像と重畳して、入力画像Ｉ_０に対して４倍向上された解像度を有する第２高解像度画像を得る。

そして、入力画像Ｉ_０に対して８ｘ倍向上された解像度を有する第３高解像度画像を得るために、前記第２高解像度画像に前記第１高解像度画像と同じ処理を施し、前記第２高解像度特徴画像に前記第１高解像度特徴画像と同じ処理を施す。

図８Ｂに図示される実施形態において、一回の残差補正で入力画像に対して増強を行う。増強の反復の総回数は３回であり、残差補正のラウンド数（ρ）は１である（即ち、ρ＝１である）。

図８Ｂに示すように、入力画像Ｉ_０を分析モジュール（ａ）に入力し、分析モジュール（ａ）は入力画像Ｉ_０に対して特徴抽出操作を行って力画像Ｉ_０の特徴画像を得る。前記特徴画像を同じ解像度を有するノイズ入力と結合して第１併合画像を得る。合成モジュール（ｓ）は前記特徴画像に対して合成操作を行い、重畳モジュール（＋）は当該合成された画像を入力画像Ｉ_０と重畳して変換された入力画像を得る。補間モジュール（ｂ）は、当該変換された入力画像を補間係数２で補間して第１補間画像を得る。分析モジュール（ａ）は、前記第１補間画像の特徴画像を得る。ダウンサンプリングモジュール（ｄ）で前記第１補間画像を２倍ダウンサンプリングする。そして、前記接続モジュール（ｃ）で当該ダウンサンプリングされた第１補間画像を前記第１併合画像と結合する。そして、アップサンプリングモジュール（ｕ）で当該結合された画像を２倍アップサンプリングして第１アップサンプリング特徴画像を得る。前記第１アップサンプリング特徴画像は、２倍アップサンプリングされている。

前記第１アップサンプリング特徴画像をダウンサンプリングし、当該ダウンサンプリングされた第１アップサンプリング特徴画像と前記第１併合画像の間の相違点を表す第１残差画像を得る。前記第１残差画像を２倍アップサンプリングする。当該アップサンプリングされた第１残差画像と前記第１アップサンプリング特徴画像とを重畳して第１高解像度特徴画像を得る。前記第１高解像度特徴画像に対して合成操作を行い、その後、当該合成された画像を前記第１補間画像と重畳して第１高解像度画像を得る。前記第１高解像度画像の解像度は、入力画像Ｉ_０の解像度に対して２倍向上されている。

解像度をさらに向上させるために、前記第１高解像度画像を補間ファクタ２で補間して第２補間画像を取得し得る。前記第１高解像度特徴画像を同じ解像度を有するノイズ入力と結合して第２併合画像を得る。前記第２補間画像に対して特徴抽出及びダウンサンプリングを行い、そして当該ダウンサンプリングされた第２補間画像を前記第２併合画像と結合する。当該結合された画像をアップサンプリングして４倍アップサンプリングされた第１アップサンプリング特徴画像を得る。

前記第１アップサンプリング特徴画像を２倍ダウンサンプリングして第１ダウンサンプリング特徴画像を得る。前記第１ダウンサンプリング特徴画像をさらに２倍ダウンサンプリングし、その後、前記第１ダウンサンプリング特徴画像と前記第１併合画像の間の相違点を表す第２残差画像を得る。前記第２併合画像を２倍アップサンプリングし、そして前記第１ダウンサンプリング特徴画像と重畳して、当該重畳された画像と前記第１高解像度特徴画像の間の残差を確定する。前記残差を２倍アップサンプリングし、そして（４倍アップサンプリングされた）第１アップサンプリング特徴画像と重畳して第２高解像度特徴画像を得る。前記第２高解像度特徴画像に対して合成操作を行い、続いて前記第２補間画像との重畳を行って第２高解像度画像を得る。前記第２高解像度画像の解像度は、入力画像Ｉ_０の解像度に対して４倍向上されている。

図８Ｂに示すように、上記のプロセスを繰り返すと、入力画像Ｉ_０の解像度に対して８倍向上された解像度を有する第３高解像度画像が生成される。

図８Ｃに図示される実施形態において、一回の残差補正で入力画像に対して増強を行う。増強の反復の総回数は３回であり、残差補正のラウンド数（ρ）は２である（即ち、ρ＝２である）。

図８Ｂに図示される実施形態と図８Ｃに図示される実施形態の間の違いとして、図８Ｃにおいて、第１アップサンプリング特徴画像に複数ラウンドのダウンサンプリングを施し、最終的なダウンサンプリング画像と前記第１併合画像の間の残差を確定する。前記第１アップサンプリング特徴画像に対して複数回の残差補正を行うために、前記残差をアップサンプリングして、第１アップサンプリング特徴画像と重畳する。図８Ｃに図示される実施形態は、図５に関連して前述されている。

図９は、本開示の別の実施形態に係る画像処理システムの概略図を示す。

図９に示すように、前記画像処理システムは、生成ネットワーク２００と、トレーニングデータ構築モジュール３００と、トレーニングモジュール４００とを含む。

トレーニングセット構築モジュール３００は、トレーニング生成ネットワーク２００をトレーニングするためのデータを構築するように構成される。トレーニングデータは、複数の高解像度リファレンス画像と、前記複数の高解像度リファレンス画像に対してダウンサンプリングを行うことによって得られた複数の対応する低解像度リファレンス画像とを含み得る。前記高解像度リファレンス画像と前記低解像度リファレンス画像の間アップスケール係数は、前記生成ネットワークにより最終的に生成される高解像度画像と入力画像（例えば、Ｉ_０）の間のアップスケール係数と同じである。

トレーニングモジュール４００は、所望のトレーニング目標が満たされるまで、生成ネットワーク２００と識別ネットワーク（不図示）とを交互にトレーニングするように構成される。例えば、トレーニング目標は、所定の数のトレーニングセッションであり得る。生成ネットワークと識別ネットワークとを交互にトレーニングすることは、生成ネットワークのトレーニングを識別ネットワークのトレーニングと交互に行うことであり、その逆も同様である。識別ネットワークは、生成ネットワークとトレーニングできるである限り、当該技術分野における通常の知識を有する者に知られている任意の適当な方式で構築及び構成され得る。

図１０は、本開示の実施形態に係る生成ネットワークトレーニング方法のフローチャートを示す。

図１０に示すように、前記方法は以下のステップを含む。

ステップＳ１１１で、第１振幅を有するリファレンスノイズ入力に対応する少なくとも一つの第１ノイズ入力、及び複数の低解像度リファレンス画像のうちの一つを生成ネットワークに提供して、上記のように反復的に増強し、第１出力画像を生成する。

ステップＳ１１２で、第２振幅を有するリファレンスノイズ入力に対応する少なくとも一つの第２ノイズ入力、及び複数の低解像度リファレンス画像のうちの一つを前記生成ネットワーク提供して、上記のような反復画像処理を通じて第２出力画像を生成する。

Ｓ１１１とＳ１１２とが行われる順序は特に限定されない。

前記第１振幅は「０」より大きく、前記第２振幅は「０」に等しい。前記第１ノイズ入力の数及び前記第２ノイズ入力の数はいずれも反復画像処理で行われるべき増強の反復回数と同じである。さらに、各回の反復中、前記ノイズ入力は、前記リファレンス画像に対応する特徴画像の解像度と同じ解像度を有する。前記第１出力画像及び前記第２出力画像は、反復画像処理によって生成される最終的な画像を指す。同一のトレーニングセッション中、前記第１出力画像と前記第２出力画像は、生成ネットワーク２００により同じネットワークパラメータに基づいて生成される。

ランダムノイズを含有し得るノイズリファレンスには特に制限がない。ノイズ入力の平均値及び分散はそれぞれμ及びσである。前記ノイズ入力における各ピクセル値はμ－σ乃至μ＋σの範囲内で変動する。そのような実施形態において、ノイズの振幅はμである。いくつかの実施形態において、第１ノイズ入力の平均値（μ）は１であり、分散は所定の値（σ）である。

ステップＳ１１３で、前記第１出力画像、及び前記複数の低解像度リファレンス画像のうちの一つに対応する高解像度リファレンス画像を、識別ネットワークに提供する。前記識別ネットワークは、画像を分析及び分類して、前記高解像度リファレンス画像に基づく第１スコアを出力し、前記第１出力画像に基づく第２スコアを出力する。

前記生成ネットワークの損失は、以下の数式（１）により計算される。

式（１）において、Ｘは前記高解像度のリファレンス画像を表す。Ｙ_ｎ＝０は、前記第２出力画像を表す。Ｙ_ｎ＝１は、前記第１出力画像を表す。Ｌ_ｒｅｃ（Ｘ，Ｙ_ｎ＝０）は、前記第２出力画像と前記高解像度リファレンス画像の間の再構築誤差を表す。Ｌ_ｐｅｒ（Ｘ，Ｙ_ｎ＝１）は、前記第１出力画像と前記高解像度リファレンス画像の間の知覚損失を表す。Ｌ_ＧＡＮ（Ｙ_ｎ＝１）は、前記第１スコアと前記第２スコアとの和を表す。λ_１、λ_２、λ_３は、いずれも所定の加重値を表す。

再構築誤差Ｌ_ｒｅｃ（Ｘ，Ｙ_ｎ＝０）は、以下の数式（２）により計算される。

知覚損失Ｌ_ｐｅｒ（Ｘ，Ｙ_ｎ＝１）は、以下の数式（３）により計算される。

Ｌ_ＧＡＮ（Ｙ_ｎ＝１）の値は、以下の数式（４）により計算される。

上記の数式（２）乃至（４）において、

Ｌは増強の反復回数を表し、Ｌ≧１であり、

Ｙ^ｌ _ｎ＝０は、前記生成ネットワークにより第２ノイズ入力に基づいて増強の一回の反復を行った後に生成される画像を表し、ｌ≦Ｌである。

ＬＲは、低解像度リファレンス画像を表し、

Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝０）は、Ｙ^ｌ _ｎ＝０で表される画像に対してダウンサンプリングを行うことによって得られた画像を表し、Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝０）で表される画像は前記低解像度リファレンス画像と同じ解像度を有する。

ＨＲ^ｌは高解像度リファレンス画像に対してダウンサンプリングを行うことによって得られた画像を表し、ＨＲ^ｌで表される画像はＹ^ｌ _ｎ＝０で表される画像と同じ解像度を有し、

Ｙ^ｌ _ｎ＝１は、前記生成ネットワークにより第１ノイズ入力に基づいて増強の一回の反復を行った後に生成された画像を表し、

Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝１）はＹ^ｌ _ｎ＝１で表される画像に対してダウンサンプリングを行うことによって得られた画像を表し、Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝１）で表される画像は前記低解像度リファレンス画像と同じ解像度を有し、

Ｌ_ＣＸ（ ）は、知覚損失関数を表し、

Ｄ（Ｙ _ｎ＝１）は、前記第１スコアを表し、

Ｄ（ＨＲ）は、前記２スコアを表し、

Ｅ［ ］は、マトリックスエネルギー計算を表す。

識別ネットワークはＬ個の入力端を含む。Ｌは増強の反復回数を表し、Ｌ≧１である。前記生成ネットワークによる第１ノイズ入力に基づく増強の（Ｌ－１）回目の反復の各々は一つの中間画像を生成し、Ｌ回目の反復は第１出力画像を生成する。前記第１出力画像を前記識別ネットワークに提供すると同時に、各々の中間画像を前記識別ネットワークに提供する。各々の中間画像及び前記第１出力画像を対応する入力端を介して前記識別ネットワークに提供する。

また、高解像度リファレンス画像に対してダウンサンプリングを行うことによって、対応する中間画像と同じ解像度を有する中間解像度画像を生成する。前記高解像度リファレンス画像を前記識別ネットワークに提供すると同時に、複数の中間解像度画像を前記識別ネットワークに提供する。前記複数の中間解像度画像の各々及び高解像度リファレンス画像を対応する入力端を介して前記識別ネットワークに提供する。

前記識別ネットワークは、高解像度リファレンス画像と各入力端で受信された計算された解像度が最も高い画像の間のマッチング度を評価するように構成される。前記識別ネットワークは、「０」乃至「１」の値を割り当てることによって各々のマッチングをスコアリングするように構成される。前記識別ネットワークが「０」又は「０」に近づくスコアを出力する場合、前記識別ネットワークは、計算された解像度が最も高い画像が前記生成ネットワークの出力であると判断している。前記識別ネットワークが「１」又は「１」に近づく数値を出力する場合、前記識別ネットワークは、計算された解像度が最も高い画像が高解像度リファレンス画像であると判断している。

ステップＳ１１４で、生成ネットワークの損失が低減するように、前記生成ネットワークのパラメータを調整する。前記損失は、前記高解像度リファレンス画像と出力画像の間の差と、前記高解像度リファレンス画像と前記第２出力画像の間の差との和を表す。

生成ネットワークの損失を低減することは、損失関数に従って計算して得られる損失を前回の生成ネットワークのトレーニングセッションにおいてより小さくするか、又は複数回の生成ネットワークトレーニングセッションプロセスにわたって損失が減少する傾向を確立することである。

図１１は、本開示の実施形態に係る識別ネットワークトレーニング方法のフローチャートを示す。

図１１に示すように、前記方法は以下のステップを含む。

ステップＳ１２１で、第１振幅を有するリファレンスノイズ入力に対応する第１ノイズ入力及び低解像度リファレンス画像を、パラメータが調整された生成ネットワークに提供する。前記生成ネットワークは、第３出力画像を生成する。

ステップＳ１２２で、前記第３出力画像及び前記低解像度リファレンス画像の高解像度バージョンを識別ネットワークに提供する。前記識別ネットワークの損失を低減させることに着目して前記識別ネットワークのパラメータを調整する。前記識別ネットワークは、前記識別ネットワークが受信した入力が前記生成ネットワークからの出力画像であるかそれとも高解像度リファレンス画像であるかを分類する分類結果を出力するように構成される。前記分類結果は「０」から「１」までの値である。前記識別ネットワークが「０」又は「０」に近づくスコアを出力する場合、前記識別ネットワークは、前記入力が前記生成ネットワークからの出力画像であると判断している。前記識別ネットワークが「１」又は「１」に近づく数値を出力する場合、前記識別ネットワークは、入力画像が高解像度リファレンス画像であると判断している。

識別ネットワークは、入力として受信した画像とリファレンス画像の間のマッチング度を分類できる限り、当該技術分野における通常の知識を有する者に知られている任意の適当な方法で構築及び構成され得る。

例えば、いくつかの実施形態において、識別器はカスケードシステムであり得る。前記カスケードシステムは、複数のカスケード層を含み、前記複数のカスケード層の各々は、分析モジュールと、プーリングモジュールと、合成層と、シグモイド層とを含む。

複数の分析モジュールの各々は、複数の入力端のうち対応する一つにカップリングされる。前記分析モジュールは、入力端を介して複数の入力画像を受信して、前記複数の入力画像の各々から１つ又は複数の特徴を抽出し、当該抽出された１つ又は複数の特徴に基づいて前記複数の入力画像に対応する複数の特徴画像を生成するように構成される。

前記分析モジュールは、畳み込み層と、フィルタとを含み得る。前記畳み込み層は、入力画像に対して畳み込みを行うように構成される。前記畳み込み層により生成される画像は、前記入力画像の中間特徴画像である。前記フィルタは、前記中間特徴画像にフィルタを適用して前記入力画像の特徴画像を得るように構成される。前記フィルタは、（例えば、特徴を抽出することにより）画像を変換するように構成される。前記フィルタは、畳み込みニューラルネットワーク（ＣＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）、密に接続された畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）、交互に更新されるクリークを持つ畳み込みニューラルネットワーク（ＣｌｉｑｕｅＮｅｔ）、フィルタバンク等として構成され得る。

前記複数の分析モジュールの各々は、プーリングモジュールにカップリングされる。前記プーリングモジュールは、カスケード接続される。前記プーリングモジュールは、複数の入力画像を受信し、前記複数の入力画像を連結することによって併合画像を生成し、前記併合画像に対してダウンサンプリングを行ってダウンサンプリングされた併合画像を生成するように構成される。カスケードの第１層において、分析モジュールからの特徴画像は、対応するプーリングモジュールのリファレンス画像として兼ねる。カスケードの後続の層において、前記リファレンス画像は、カスケードの前の層におけるプーリングモジュールにより生成されるダウンサンプリングされた併合画像である。

前記プーリングモジュールは、コネクタと、畳み込み層と、フィルタとを含み得る。前記コネクタは、併合画像を生成するために、前記分析モジュールにより生成された特徴画像と前記特徴画像と同じ解像度を有する前記リファレンス画像とを連結するように構成される。前記畳み込み層は、前記併合画像に対してダウンサンプリング操作を行って前記併合画像より低い解像度を有する中間ダウンサンプリング特徴画像を得るように構成される。言い換えれば、前記プーリングモジュールにおける畳み込み層は、ダウンサンプリング層であり得る。前記畳み込み層は、反転ＭｕｘＯｕｔ層、ストライド畳み込み層、ｍａｘｐｏｏｌ層、又はスタンダードパーチャンネルダウンサンプラ（例えば、バイキュビック補間層）を含み得る。前記プーリングモジュールにおけるフィルタは、前記中間ダウンサンプリング特徴画像に対してフィルタを適用してダウンサンプリング特徴画像を得るように構成される。前記フィルタは、畳み込みニューラルネットワーク（ＣＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）、密に接続された畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）、交互に更新されるクリークを持つ畳み込みニューラルネットワーク（ＣｌｉｑｕｅＮｅｔ）、フィルタバンク等として構成され得る。

前記合成層は、カスケードシステムの最後の層におけるプーリングモジュールからダウンサンプリングされた併合画像を受信するように構成される。前記合成層は、プーリングモジュールのカスケードの最後の層からのダウンサンプリングされた併合画像に基づいてトレーニング画像を生成するように構成される。前記合成層は、フィルタと、少なくとも一つの畳み込み層とを含み得る。前記フィルタは、プーリングモジュールのカスケードの最後の層からのダウンサンプリングされた併合画像にフィルタを適用して、中間トレーニング画像を得るように構成される。前記フィルタは、畳み込みニューラルネットワーク（ＣＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）、密に接続された畳み込みネットワーク（ＤｅｎｓｅＮｅｔ）、交互に更新されるクリークを持つ畳み込みニューラルネットワーク（ＣｌｉｑｕｅＮｅｔ）、フィルタバンク等として構成され得る。前記合成層の畳み込み層は、前記中間トレーニング画像に対して畳み込みを行ってトレーニング画像を得るように構成される。そして、前記トレーニング画像をシグモイド層に送り、そこで、前記トレーニング画像を前記トレーニング画像と同じ解像度を有する予め設定された標準画像に対して分類する。

前記シグモイド層は、受信された画像と前記受信された画像と同じ解像度を有する予め設定された標準画像の間のマッチング度を表すスコアを生成することによって、受信された前記合成層が生成したダウンサンプリングされた併合画像を分類するように構成される。前記スコアは「０」から「１」までの値を有する。スコアが「０」であるか又は「０」に近づく場合、入力画像は生成ネットワークの出力であると判断される。スコアが「１」であるか又は「１」に近づく場合、画像は予め設定された標準画像であると判断される。

トレーニングプロセスは、ｎ回の識別ネットワークトレーニングセッションと、ｎ回の生成ネットワークのトレーニングセッションとを含む。同一のトレーニングプロセス内の識別ネットワークのレーニングセッション及び生成ネットワークのレーニングセッション中、同一の低解像度リファレンス画像を前記生成ネットワークに提供する。異なるトレーニングプロセス中、異なる低解像度特徴画像が利用される。

超解像度再構築中、再構築されるより高解像度を有する画像の細部はノイズの影響を受ける。本開示は、ノイズの存在下で生成される高解像度リファレンス画像と出力画像の間の差異だけでなく、ノイズ入力がゼロに設定された場合において生成される高解像度リファレンス画像と出力画像の間の差異も考慮に入れた生成ネットワークの損失関数を提供する。超解像度再構築中に生成ネットワークに入るノイズ入力の振幅を調整することによって、本開示は、再構築された画像における損失量を図１の曲線上のポイントに制限することを可能にする。即ち、歪み量が与えられる場合、生成ネットワークに入るノイズ入力の振幅を調整することによって、本開示は、可能な最低知覚損失を得ることを可能にする。逆に、知覚損失量が与えられる場合、生成ネットワークに入るノイズ入力の振幅を調整することによって、本開示は、可能な最低歪み損失を得ることを可能にする。したがって、本開示は、異なるスケール及び／又は異なるサイズで細部を生成するように操作されるノイズ入力を通じて知覚－歪みトレードオフを制御するための戦略を提供することを可能にする。本開示は、再構築と知覚損失の間の衝突を回避する。これにより、本開示は、異なる選好及び基準に応じて画像を再構築し得る画像再構築に対する柔軟かつ汎用性の手法を提供する。

図１２は、本開示の実施形態に係る画像処理方法のフローチャートを示す。

図１２に示すように、前記方法は以下のステップを含む。

ステップ０（Ｓ０）で、トレーニングセットを構築する。トレーニングデータは、複数の高解像度リファレンス画像と、前記複数の高解像度リファレンス画像に対してダウンサンプリングを行うことによって得られた複数の対応する低解像度リファレンス画像とを含み得る。高解像度リファレンス画像と低解像度リファレンス画像の間のアップスケール係数は、生成ネットワークにより最終的に生成される高解像度画像と入力画像（例えば、Ｉ_０）の間のアップスケール係数と同じである。

ステップＳ１で、トレーニングプロセスにおいて、所望のトレーニング目標が満たされるまで、異なる低解像度画像を利用して生成ネットワークと識別ネットワークとを反復的かつ交互にトレーニングする。例えば、トレーニング目標は、所定の数のトレーニングセッションであり得る。生成ネットワークと識別ネットワークとを交互にトレーニングすることは、生成ネットワークのトレーニングを識別ネットワークのトレーニングと交互に行うことであり、その逆も同様である。生成ネットワークは図１０に図示されるようにトレーニングされ得、識別ネットワークは図１１に図示されるようにトレーニングされ得る。

ステップＳ２で、前記生成ネットワークが、入力画像に対して反復増強を行う。前記生成ネットワークは、ステップＳ１に従ってトレーニングされた生成ネットワークである。

図１３は、本開示の実施形態に係る画像を反復的に増強する方法のフローチャートを示す。

図１３に示すように、前記方法は以下のステップを含む。

ステップＳ２１で、リファレンス画像の特徴画像及びノイズ入力を取得する。

ステップＳ２２で、前記特徴画像と前記ノイズ入力とを結合して第１併合画像を得る。

ステップＳ２３で、前記第１併合画像に基づいて高解像度特徴画像を生成する。前記高解像度特徴画像の解像度は、前記リファレンス画像の解像度より高い。

増強の１回目の反復において、前記「リファレンス画像の特徴画像」は、前記入力画像の特徴画像を指す。後続の反復において、前記「リファレンス画像の特徴画像」は、先行する反復中に生成された高解像度特徴画像を指す。各回の反復において、ノイズ入力の振幅は同じである。

図１４は、本開示の別の実施形態に係る画像を反復的に増強する方法のフローチャートを示す。

図１４に示すように、前記方法は以下のステップを含む。

ステップＳ３１で、リファレンス画像の特徴画像及びノイズ入力を取得する。

ステップＳ３２で、前記特徴画像と前記ノイズ入力とを結合して第１併合画像を得る。

ステップＳ３３で、前記リファレンス画像を補間して前記リファレンス画像に対応する補間画像を得る。

テップＳ３４で、前記第１併合画像に基づいて高解像度特徴画像を生成する。前記高解像度特徴画像の解像度は、前記リファレンス画像の解像度より高い。前記補間画像の解像度は、前記高解像度特徴画像の解像度と同じである。

ステップＳ３４は以下のステップを更に含む。

ステップＳ３４１で、前記第１併合画像に基づいて第１アップサンプリング特徴画像を生成する。より詳しくは、ステップＳ３４１で、前記補間画像から特徴を抽出して前記補間画像の特徴画像を得る。そして、前記補間画像の特徴画像をダウンサンプリングして前記第１併合画像と結合して、第２併合画像を得る。前記第２併合画像をアップサンプリングして第１アップサンプリング特徴画像を得る。

ステップＳ３４２で、前記第１アップサンプリング特徴画像をダウンサンプリングして第１ダウンサンプリング特徴画像を得る。

ステップＳ３４３で、前記第１ダウンサンプリング特徴画像と前記第１併合画像の間の相違点を表す残差画像を生成する。いくつかの実施形態において、前記第１ダウンサンプリング特徴画像及び前記第１併合画像に対して減算を行って残差画像が得られ得る。他の実施形態において、第１ダウンサンプリング特徴画像を前記第１併合画像に結合し、そして当該結合された画像に対して変換を行うことによって前記残差画像が得られ得る。

ステップＳ３４４で、前記残差画像をアップサンプリングしてアップサンプリング残差画像を得る。

ステップＳ３４５で、前記アップサンプリング残差画像を補正して高解像度特徴画像を得る。いくつかの実施形態において、アップサンプリング残差画像と第１アップサンプリング特徴画像とを重畳して高解像度特徴画像が得られ得る。これらの実施形態において、第１アップサンプリング特徴画像に対して一回の補正を行う。他の実施形態において、補正は、アップサンプリング残差画像と第１アップサンプリング特徴画像とを重畳して第２アップサンプリング特徴画像を得るステップと、前記第２アップサンプリング特徴画像をダウンサンプリングして第２ダウンサンプリング特徴画像を得るステップと、前記第２ダウンサンプリング特徴画像及び前記第１併合画像から残差画像を取得するステップと、前記残差画像をアップサンプリングするステップと、当該アップサンプリング残差画像を前記第２ダウンサンプリング特徴画像と重畳して高解像度特徴画像を得るステップとを含み得る。これらの実施形態において、前記第１アップサンプリング特徴画像に対して二回の補正を行う。これらの実施形態も図４に関連して前述されている。

ステップＳ３４の後、ステップＳ３５で、前記高解像度特徴画像を前記補間画像と合成及び重畳して高解像度画像を得る。前記高解像度画像は、前記リファレンス画像の高解像度バージョンである。

増強の１回目の反復において、前記リファレンス画像は前記入力画像である。後続の反復において、前記リファレンス画像は先行する反復において生成された高解像度画像である。

上記の方法及び技法は、汎用のコンピュータ、マイクロプロセッサ、デジタル電子回路、集積回路、特に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はその組み合わせの形でコンピューティング装置上で実施され得る。これらの多様な実施は、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１つ又は複数のコンピュータプログラムにおける実施を含み、当該少なくとも一つのプログラマブルプロセッサは専用又は汎用であり得、且つカップリングされて記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置にデータ及び命令を送信し得る。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルの手続き及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語で実施され得る。本明細書で使用されるように、用語「機械読み取り可能媒体」、「コンピュータ読み取り可能媒体」は、機械読み取り可能信号として機械命令を受信する機械読み取り可能媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意のコンピュータプログラム製品、装置及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指す。用語「機械読み取り可能信号」は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

本開示に係る画像処理方法において、生成ネットワークを利用した画像の超解像度再構築中、生成ネットワークに入るノイズ入力の振幅を調整して所望の効果（例えば、再構築された画像における細部をハイライト表示するか否か及びどの細部をハイライト表示すべきか、詳細の程度など）を達成し得る。これにより、本開示は、異なる選好及び基準に応じて画像を再構築し得る画像再構築に対する柔軟かつ汎用性の手法を提供する。

本開示は、画像増強方法を更に提供する。前記方法は、入力画像及びノイズ入力の振幅を上記のような画像処理システムに提供するステップを含む。前記画像処理システムは、前記入力画像に対してＬ回の増強を行って高解像度画像を出力する。任意の与えられた入力画像に対して、異なる振幅を有するノイズ入力が提供される場合、前記画像処理システムは異なる画像を出力する。即ち、与えられた入力画像に対して、異なる振幅を有するノイズ入力が提供される場合、出力画像は、同じコンテンツを有するが、知覚損失及び／又は歪みの点で異なる。

本開示は、上記のような画像処理方法を実行するための命令を記憶したコンピュータ読み取り可能媒体を更に提供する。

用語「コンピュータ読み取り可能媒体」は、機械読み取り可能信号として機械命令を受信する機械読み取り可能媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意のコンピュータプログラム製品、装置及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理デバイス（ＰＬＤ））を指し得る。用語「機械読み取り可能信号」は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。本開示に係るコンピュータ読み取り可能媒体は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光学データストレージ、レジスタ、コンパクトディスク（ＣＤ）又はＤＶＤ（デジタル・バーサタイル・ディスク）光学記憶媒体及び他の非一時的媒体のようなディスク又はテープを含むが、これらに限られない。

ソフトウェア、ハードウェア素子、又はプログラムモジュールの一般的なコンテキストで、多様な特徴、実施、及び技法が本開示に記述される。一般的に、このようなモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、要素、コンポーネント、データ構造などを含む。本明細書で使用されるような用語「モジュール」、「機能」、「コンポーネント」は、一般的にソフトウェア、ファームウェア、ハードウェア、又はその組み合わせを表す。本開示で記述される技法の特徴はプラットフォーム非依存であって、技法が様々なプロセッサを有する様々なコンピューティングプラットフォーム上で実施され得ることを意味する。

「いくつかの実施形態」、「いくつかの実施例」、及び「例示的な実施形態」、「例」及び「特定の例」又は「いくつかの例」などに対する本開示における言及は、特定の特徴及び構造、材料又は特性が本開示の少なくとも一部の実施形態又は例に含まれる実施形態又は例に関連して記述された旨を意図する。用語の概略的な表現は、必ずしも同じ実施形態又は例を指すとは限らない。さらに、記述される特定の特徴、構造、材料又は特性は、任意の適切な方法で任意の１つ又は複数の実施形態又は例に含まれ得る。また、当該技術分野における通常の知識を有する者にとって、開示されたものは本開示の範囲に関し、技術方案は技術的特徴の特定の組み合わせに限定されず、本発明の概念から逸脱することなく技術的特徴又は技術的特徴の同等の特徴を組み合わせることによって形成される他の技術方案も網羅すべきである。その上、用語「第１」及び「第２」は単に説明を目的としており、示された技術的特徴の数量に対する相対的な重要性又は暗示的な言及を明示又は暗示するものとして解釈されるべきではない。したがって、用語「第１」及び「第２」によって定義される特徴は、１つ又は複数の特徴を明示的又は暗黙的に含み得る。本開示の記述において、「複数」の意味は、特に具体的に定義されない限り、２つ以上である。

本開示の原理及び実施形態は明細書に記載されている。本開示の実施形態の記述は単に本開示の方法及びその核となるアイデアの理解を助けるためのみに用いられる。一方、当該技術分野における通常の知識を有する者にとって、開示されたものは本開示の範囲に関し、技術方案は技術的特徴の特定の組み合わせに限定されず、本発明の概念から逸脱することなく技術的特徴又は技術的特徴の同等の特徴を組み合わせることによって形成される他の技術方案も網羅すべきである。例えば、本開示に開示されるような（ただし、これに限られない）上記の特徴を類似した特徴に置き換えることによって技術方案が得られ得る。

Claims (16)

1. 敵対的生成ネットワークトレーニング方法であって、
   前記方法は、
   生成ネットワークで第１振幅を有する第１ノイズ入力及び第１リファレンス画像を反復的に増強して第１出力画像を生成するステップと、
   前記生成ネットワークで第２振幅を有する第２ノイズ入力及び前記第１リファレンス画像を反復的に増強して第２出力画像を生成するステップと、
   前記第１出力画像及び前記第１リファレンス画像に対応し且つ前記第１リファレンス画像より高解像度を有する第２リファレンス画像を識別ネットワークに送信するステップと、
   前記第２リファレンス画像に基づいて前記識別ネットワークから第１スコアを得、前記第１出力画像に基づいて前記識別ネットワークから第２スコアを得るステップと、
   前記第１スコア及び前記第２スコアに基づいて前記生成ネットワークの損失関数を計算するステップと、
   前記生成ネットワークの損失関数が低減するように、前記生成ネットワークの少なくとも一つのパラメータを調整するステップと
   を含み、
   前記生成ネットワークの損失関数は数式（１）により計算され、
   

   

   Ｘは高解像度リファレンス画像を表し、
   Ｙ_ｎ＝０は前記第２出力画像を表し、
   Ｙ_ｎ＝１は前記第１出力画像を表し、
   Ｌ_ｒｅｃ（Ｘ，Ｙ_ｎ＝０）は前記第２出力画像と前記第２リファレンス画像の間の再構築誤差を表し、
   Ｌ_ｐｅｒ（Ｘ，Ｙ_ｎ＝１）は前記第１出力画像と前記第２リファレンス画像の間の知覚損失を表し、
   Ｌ_ＧＡＮ（Ｙ_ｎ＝１）は前記第１スコアと前記第２スコアとの和を表し、
   λ_１、λ_２、λ_３はいずれも所定の加重値を表し、
   前記第２出力画像と前記第２リファレンス画像の間の再構築誤差は数式（２）により計算され、
   

   

   Ｌは増強の反復回数を表し、Ｌ≧１であり、
   Ｙ^ｌ _ｎ＝０は生成ネットワークマイクロプロセッサにより、前記第２ノイズ入力に基づいて１回の反復を行った後に生成された画像を表し、ｌ≦Ｌであり、
   ＬＲは第１リファレンス画像を表し、
   Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝０）は、Ｙ^ｌ _ｎ＝０で表される画像に対してダウンサンプリングを行うことによって得られた画像を表し、Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝０）で表される画像は前記第１リファレンス画像と同じ解像度を有し、
   ＨＲ^ｌは、前記第２リファレンス画像に対してダウンサンプリングを行うことによって得られた画像を表し、ＨＲ^ｌで表される画像はＹ^ｌ _ｎ＝０で表される画像と同じ解像度を有し、
   Ｅ［ ］はマトリックスエネルギー計算を表す方法。
2. 前記第１出力画像と前記第２リファレンス画像の間の知覚損失は数式（３）により計算され、
   

   

   Ｙ^ｌ _ｎ＝１は生成ネットワークマイクロプロセッサにより、前記第１ノイズ入力に基づいて１回の反復を行った後に生成された画像を表し、
   Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝１）は、Ｙ^ｌ _ｎ＝１で表される画像に対してダウンサンプリングを行うことによって得られた画像を表し、Ｄ^ｌ _ｂｉｃ（Ｙ^ｌ _ｎ＝１）で表される画像は前記第１リファレンス画像と同じ解像度を有し、
   Ｌ_ＣＸ（ ）は知覚損失関数を表す請求項１に記載の方法。
3. 前記第１スコアと前記第２スコアとの和は数式（４）により計算され、
   

   

   Ｄ（Ｙ _ｎ＝１）は前記第１スコアを表し、
   Ｄ（ＨＲ）は前記第２スコアを表す請求項１又は２に記載の方法。
4. 前記第１ノイズ入力及び前記第１リファレンス画像を、少なくとも一つのパラメータが調整された前記生成ネットワークに提供して第３出力画像を生成するステップと、
   前記第３出力画像及び前記第２リファレンス画像を、前記識別ネットワークに提供するステップと、
   前記第２リファレンス画像に基づいて前記識別ネットワークから第３スコアを得、前記第３出力画像に基づいて前記識別ネットワークから第４スコアを得るステップと、
   前記生成ネットワークマイクロプロセッサの損失関数を計算するステップと
   を更に含む請求項１乃至請求項３のいずれか一項に記載の方法。
5. 前記第１ノイズ入力及び前記第１リファレンス画像を反復的に増強するステップは、
   前記第１リファレンス画像に基づいて第１特徴画像を生成するステップと、
   前記第１特徴画像を前記第１ノイズ入力と結合して第１併合画像を得るステップと、
   有限回数の反復にて、前記第１特徴画像に基づく前記第１リファレンス画像及び前記第１併合画像を反復的に増強して、前記第１リファレンス画像の高解像度画像を生成するステップと
   を含み、
   前記有限回数の反復の各々のノイズ入力は同じ所定の振幅を有する請求項１に記載の方法。
6. 前記第１リファレンス画像を補間して第１補間画像を得るステップと、
   前記第１補間画像に基づいて第２特徴画像を生成するステップと、
   前記第２特徴画像をダウンサンプリングし、当該ダウンサンプリングされた第２特徴画像を前記第１併合画像と結合して第２併合画像を得るステップと、
   前記有限回数の反復にて、前記第２特徴画像に基づいた前記第１リファレンス画像、前記第１併合画像、及び前記第２併合画像を反復的に増強して前記第１リファレンス画像の高解像度画像を得るステップと
   を更に含む請求項５に記載の方法。
7. 前記第１併合画像に基づいて、前記第１併合画像と前記第１特徴画像の間の相違度を表す第１残差画像を生成するステップと、
   前記第１残差画像に基づいて前記第１特徴画像に残差補正を適用し、前記第１リファレンス画像の高解像度画像を得るステップと
   を更に含む請求項５又は請求項６に記載の方法。
8. 前記第１残差画像の生成及び残差補正の適用は少なくとも一回行われる請求項７に記載の方法。
9. 生成ネットワークマイクロプロセッサと、前記生成ネットワークマイクロプロセッサにカップリングされた識別ネットワークマイクロプロセッサとを含む敵対的生成ネットワークプロセッサを含み、
   前記敵対的生成ネットワークプロセッサは請求項１に記載の方法を実行するように構成される、敵対的生成ネットワークトレーニングシステム。
10. 請求項１に記載の方法によりトレーニングされた生成ネットワークマイクロプロセッサを含む、システム。
11. 請求項５乃至請求項８のいずれか一項に記載の方法を実行するように構成される装置を含む、生成ネットワークマイクロプロセッサ。
12. 前記装置は、
    分析プロセッサと、
    前記分析プロセッサにカップリングされた接続プロセッサと、
    前記接続プロセッサにカップリングされた増強プロセッサと
    を含み、
    前記分析プロセッサは、リファレンス画像を受信し、入力画像から１つ又は複数の特徴を抽出して、前記リファレンス画像に基づいて特徴画像を生成するように構成され、
    前記接続プロセッサは、所定の振幅を有するノイズ入力を受信し、前記ノイズ入力と前記特徴画像とを結合して第１併合画像を生成するように構成され、
    前記増強プロセッサは、前記特徴画像に基づくリファレンス画像及び前記第１併合画像を反復的に増強して、前記リファレンス画像の高解像度画像を生成するように構成され、複数回の反復が行われる場合、各回の反復のノイズ入力は同じ所定の振幅を有する請求項１１に記載の生成ネットワークマイクロプロセッサ。
13. 前記増強プロセッサは、互いにカップリングされた第１アップサンプラと、ダウンサンプラと、残差確定プロセッサと、第２アップサンプラと、補正プロセッサと、合成プロセッサとを含み、
    前記第１アップサンプラは、前記第１併合画像をアップサンプリングしてアップサンプリング特徴画像を生成するように構成され、
    前記ダウンサンプラは、前記アップサンプリング特徴画像をダウンサンプリングしてダウンサンプリング特徴画像を生成するように構成され、
    前記残差確定プロセッサは、前記ダウンサンプリング特徴画像及び前記第１併合画像から、前記ダウンサンプリング特徴画像と前記第１併合画像の間の差異を表す残差画像を生成するように構成され、
    前記第２アップサンプラは、前記残差画像をアップサンプリングしてアップサンプリング残差画像を生成するように構成され、
    前記補正プロセッサは、アップサンプリング残差画像に基づいて、前記アップサンプリング特徴画像に少なくとも１回の残差補正を適用して前記リファレンス画像の高解像度特徴画像を生成するように構成され、
    合成プロセッサは、前記高解像度特徴画像から、前記リファレンス画像の高解像度画像を合成するように構成され、
    前記増強プロセッサは、少なくとも２回の反復を行うように構成され、
    前記高解像度画像及び前記高解像度特徴画像は、後続の反復のリファレンス画像及び特徴画像である請求項１２に記載の生成ネットワークマイクロプロセッサ。
14. 前記増強プロセッサは、互いにカップリングされた補間プロセッサと、重畳プロセッサとを更に含み、
    前記補間プロセッサは、前記リファレンス画像に対して補間を行って補間画像を生成するように構成され、
    前記重畳プロセッサは、前記補間画像を前記合成プロセッサからの出力に重畳して前記リファレンス画像の高解像度画像を生成するように構成される請求項１３に記載の生成ネットワークマイクロプロセッサ。
15. 前記第１アップサンプラは、前記第１併合画像を直接アップサンプリングするように構成される請求項１４に記載の生成ネットワークマイクロプロセッサ。
16. 前記第１アップサンプラは、前記補間画像に基づいて第２併合画像を生成し、そして前記第２併合画像をアップサンプリングしてアップサンプリング特徴画像を生成するように構成される請求項１５に記載の生成ネットワークマイクロプロセッサ。

Images