JP7260243B2

JP7260243B2 - ノイジーな画像をアップスケーリングする方法、及びノイジーな画像をアップスケーリングする装置

Info

Publication number: JP7260243B2
Application number: JP2016217107A
Authority: JP
Inventors: コスーリー，マンゲッシュ; マルクス，ジョルディサルバドール
Original assignee: インターデジタルマディソンパテントホールディングス，エスアーエス
Priority date: 2015-11-09
Filing date: 2016-11-07
Publication date: 2023-04-18
Anticipated expiration: 2036-11-07
Also published as: EP3166070B1; KR102620105B1; KR20170058277A; US10319075B2; CN107016642A; CN107016642B; US20170132760A1; EP3166070A1; JP2017091529A

Description

本発明は、画像をアップスケーリングする方法、及び画像をアップスケーリングする装置に関係がある。

画像超解像は、拡大された高分解能（ＨＲ；high-resolution）画像を低分解能（ＬＲ；low-resolution）画像から生成するタスクである。この拡大された画像は、ＬＲ画像の高周波（ＨＦ；high-frequency）コンテンツを維持すべきである。通常、ＨＲ画像は、ノイジーなＬＲ画像から、最初にノイズを除去し、次いでアップスケーリングすることによって、得られる。

国際公開第２００５／１２１４２２（Ａ）号（特許文献１）には、より低いスケールから学習される詳細を加えながら自動的に付加雑音をキャンセルするノイズアウェア（noise-aware）シングルイメージ超解像（ＳＩ－ＳＲ；single-image super-resolution）アルゴリズムが開示されている。一般的なＳＩ－ＳＲ技術と対照的に、当該方法は、入力画像を、標本（examples）のクリーンなソースであると仮定しない。代わりに、当該方法は、補間に基づくアップスケーリングされた画像パッチを補完するよう精細な詳細標本を学習すること及び画像ノイズを低減することの両方のために、前もって、最新且つ有効な配置済みの（in-place）クロススケール自己相似（cross-scale self-similarity）を利用する。

欧州特許第３０８６２８０号（特許文献２）では、超解像度画像の疎推定が補間によって最初に得られる。次いで、アップスケーリングされた画像の各パッチは、オフラインのトレーニングの間に得られるいくつかの独立した階層的非線形マッピング関数を上から下へトラバースするよう、平均減算され正規化される。夫々のトップダウンのトラバースの間に、マップにおける階層モードと正規化されたパッチとの間の類似度は結合され、最良の類似度を有するマップが選択され、このようにして、単一のマップを用いた代替の解決法によって達成される品質を改善する。平均減算されたパッチは、次いで、選択されたマップにおける結果として現れる線形化に対応する局所線形マップによって処理され、疎パッチに加えられる。

Dabov et al.，“Image denoising by sparse 3D transform-domain collaborative filtering”，in Transaction on Image Processing 2007（非特許文献１）には、２ステップ方法による画像ノイズ除去が開示されている。夫々のステップは、ブロックマッチング、３Ｄ変換、協調フィルタリング段及び逆３Ｄ変換による類似したパッチのグルーピング並びに再構成された画像の合成を含む。第１の段階の間に、協調フィルタは、ハード閾値法（hard-thresholding）を使用し、一方、第２の段階の間には、より細かいウィーナー（Wiener）ノイズ除去フィルタが使用される。閾値及びフィルタ係数の選択は、ノイズレベルを知っていることを必要とする。

Dong et al.，“Learning a Deep Convolutional Network for Image Super-Resolution”，in Proceedings of European Conference on Computer Vision (ECCV)，2014（非特許文献２）は、画像をアップスケーリングするよう複数のレイヤを備える畳み込みニューラルネットワーク（ＣＮＮ；convolutional neural network）に基づくアプローチを使用する。

国際公開第２００５／１２１４２２（Ａ）号欧州特許第３０８６２８０号

Dabov et al.，"Image denoising by sparse 3D transform-domain collaborative filtering"，in Transaction on Image Processing 2007 Dong et al.，"Learning a Deep Convolutional Network for Image Super-Resolution"，in Proceedings of European Conference on Computer Vision (ECCV)，2014

既知の画像アップスケーリング方法の問題は、入力画像がノイジーである場合に、重要な詳細情報がノイズ除去の間に失われ、アップスケーリングの間に回復することが困難である点である。

本発明は、ノイジーな画像の改善されたアップスケーリングのための解決法を提供する。

一実施形態において、ノイジーな入力画像をアップスケーリングする方法は、ノイジーな高分解能（ＨＲ）画像を得るよう、ノイジーな入力画像をアップスケーリングするステップと、ノイズ除去された低分解能（ＬＲ）画像を得るよう、前記ノイジーな入力画像からノイズを除去するステップと、アップスケーリングされたノイズを除去されたＬＲ画像を得るよう、前記ノイズを除去されたＬＲ画像をアップスケーリングするステップと、ノイズを除去されたＨＲ画像を生成するよう、前記ノイジーなＨＲ画像と前記アップスケーリングされたノイズを除去されたＬＲ画像とを結合するステップとを有する。

この方法を利用する装置は、請求項１４で開示されている。装置は、一実施形態において、請求項１５において開示されている。

一実施形態に従って、コンピュータ可読媒体は、コンピュータに特許請求の範囲で開示されている方法を実行させる実行可能命令を有する。

一実施形態に従って、アップスケーリングする装置は、少なくとも１つのハードウェアコンポーネントと、該少なくとも１つのハードウェアコンポーネントで実行される場合に、該少なくとも１つのハードウェアコンポーネントに特許請求の範囲で開示されている方法を実行させる少なくとも１つのソフトウェアコンポーネントを実体的に具現化する非一時的な有形なコンピュータ可読記憶媒体とを有する。

一実施形態において、少なくとも１つのハードウェアコンポーネントは、少なくとも１つのハードウェアプロセッサを有する。

本発明の更なる目的、特徴及び利点は、添付の図面に関連して理解される場合に以下の詳細な説明及び添付の特許請求の範囲の検討から明らかになるだろう。

本発明の例となる実施形態は、添付の図面を参照して記載される。
画像アップスケーリング方法のフローチャートを示す。画像アップスケーリングのための装置のブロック図を示す。画像ノイズ除去サブシステムの構造を示す。

通常、ＨＲ画像は、ノイジーなＬＲ画像から、最初にノイズを除去し、次いでアップスケーリングすることによって、得られる。本方法では、一実施形態において、ノイジーなＬＲ画像は、“ノイジーなＨＲ”画像を得るようアップスケーリングされる。この画像は、アップスケーリングされたノイズを有するが、ＨＲ構造も維持される。ＬＲ画像は、最初にノイズを除去され、次いで、“ノイズを除去されたＨＲ”画像を得るようアップスケーリングされる。この画像はノイズを含まないが、ＨＦ情報もより少ない。ノイジーなＬＲ画像から視覚的に優れたＨＲ画像を達成するよう、本発明は、“ノイジーなＨＲ”と“ノイズを除去されたＨＲ”とを非線形に結合して、より良いＨＲ画像を生成する。一実施形態において、非線形性は、閾値化（thresholding）によって得られる。そのような結合から得られた画像は、従来の方法を用いて得られるものと比べて、ＰＳＮＲが良く、更には、視覚的により心地良い。

図１は、一実施形態において、画像アップスケーリング方法のフローチャートを示す。ノイジーな入力画像をアップスケーリングする方法１００は、ノイジーなＨＲ画像を得るよう、ノイジーな入力画像１１をアップスケーリングするステップ２０と、ノイズ除去されたＬＲ画像を得るよう、ノイジーな入力画像１１からノイズを除去するステップ３０と、アップスケーリングされたノイズを除去されたＬＲ画像を得るよう、ノイズを除去されたＬＲ画像をアップスケーリングするステップ４０とを有する。ノイジーなＨＲ画像とアップスケーリングされたノイズを除去されたＬＲ画像とは、ノイズを除去されたＨＲ画像５１を生成するよう結合５０される。

アップスケーリング２０において、ノイジーなＬＲ入力画像は、シングルイメージ超解像のための方法を用いてアップスケーリングされる。この動作は、“ノイジーなＨＲ”画像を与える。ノイジーなＬＲ入力画像はまた、ノイズを除去されたＬＲ画像を生成するよう、ノイズ除去アルゴリズムを用いてノイズ除去３０を受け、次いで、ノイズを除去されたＬＲ画像は、アップスケーリング４０を受ける。一実施形態において、２つのアップスケーリング段２０、４０は、同じＳＲアルゴリズムを使用する。一実施形態において、２つのアップスケーリング段２０、４０は、異なったＳＲアルゴリズムを使用する。一実施形態において、追加のノイズ除去２５は、図１ｂ）で示されるように、アップスケーリング２０の後に実行される。追加のノイズ除去２５は、非常に簡単であってよい。ノイズを除去されたＨＲ画像とノイジーなＨＲ画像とは、ＬＲ入力画像の拡大された高分解能バージョンであるＨＲ画像を生成し出力するよう、非線形フィルタのネットワークを用いて結合される。

図２は、一実施形態において、ノイジーな入力画像をアップスケーリングするための装置を示す。装置２００は、ノイジーなＨＲ画像を得るようノイジーな入力画像１１をアップスケーリング２０するよう構成される第１の画像アップスケーラ２２０と、ノイズを除去されたＬＲ画像を得るよう、ノイジーな入力画像１１からノイズを除去３０するよう構成される画像デノイザ（denoiser）２３０と、アップスケーリングされたノイズを除去されたＬＲ画像を得るよう、ノイズを除去されたＬＲ画像をアップスケーリング４０するよう構成される第２の画像アップスケーラ２４０と、ノイズを除去されたＨＲ画像を生成するよう、ノイジーなＨＲ画像とアップスケーリングされたノイズを除去されたＬＲ画像とを結合するよう構成される画像コンバイナ２５０とを有する。実施形態において、コンバイナ２５０は、例えば、ノイジーなＨＲ画像のピクセル又はパッチを、アップスケーリングされたノイズを除去されたＬＲ画像のピクセル又はパッチと結合する。一実施形態において、入力画像１１は、重なり合うパッチに分割され、方法及び／又は装置の全ての段は、それらのパッチに適用される。最後の段５０、２５０において、処理されたパッチは、ＨＲ画像５１を得るよう重ね合わされる。

様々な実施形態において、第１の画像アップスケーラ２２０、画像デノイザ２３０及び第２の画像アップスケーラ２４０、並びにアップスケーリング２０、４０及びノイズ除去３０のうちの１つ以上は、後述されるように様々なフィルタを夫々有する。原理上、如何なるＦＩＲフィルタタイプも使用され得る。なお、一実施形態では、トレーニングが、フィルタタイプ、フィルタサイズ及びフィルタリング係数を最適化（すなわち、変更）してよい。他の実施形態では、トレーニングは、フィルタサイズ及び／又はフィルタ係数のみを最適化し、一方、フィルタタイプは与えられている。

原理上、３つのサブシステム、すなわち、画像ノイズ除去サブシステム、画像超解像サブシステム、及び画像結合サブシステム、が使用される。

画像ノイズ除去サブシステムは、画像のノイズ除去を実施する。画像のノイズ除去の目標は、画像において高周波詳細、すなわち、エッジ、テクスチャなどを保ちながら、ノイズを除去することである。画像ノイズ除去サブシステムは、フィルタバンクに基づく。図３で示される一実施形態において、ノイズ除去サブシステム３００の５段階アーキテクチャは、第１のノイズ除去フィルタリング３１０、第１の閾値化３２０、第２のノイズ除去フィルタリング３３０、第２の閾値化及び第３のノイズ除去フィルタリング３５０を使用する。原理上、第１のノイズ除去フィルタリング３１０及び第１の閾値化３２０はまとめて、非線形フィルタと見なされ得る。同じことが、第２のノイズ除去フィルタリング３３０及び第２の閾値化３４０にも当てはまる。他方で、第１の閾値化３２０及び第２のノイズ除去フィルタリング３３０もまとめて、非線形フィルタと見なされ得る。同じことが、第２の閾値化３４０及び第３のノイズ除去フィルタリング３５０にも当てはまる。このように、ノイズ除去サブシステム３００は、非線形フィルタのネットワークである。

一実施形態において、第１のフィルタリング段３２０は、９×９ピクセルの空間サイズを持った６４個のフィルタを有する。ノイジーな入力とノイズを除去された出力との間の非線形性をモデリングするために、閾値化ユニット３２０、３４０は、毎フィルタリング段後に使用される。そのような閾値化は、正の入力値が通り抜けることを認め、一方で、負の値は、ゼロと同じように扱われる。異なった数のフィルタ及び異なった空間フィルタサポート（すなわち、使用されるピクセル）を有するそれら２つの段のカスケードが使用された。アーキテクチャ３００の最後の段３５０は、再びフィルタリング動作である。例となる全体の構成が表１で示されている。

一実施形態において、フィルタの一部又は全ての係数は、ランダムに初期化され、次いで、バックプロパゲーション（backpropagation）として知られる機械学習アルゴリズムを用いて学習される。機械学習アルゴリズムの結果は、使用されるトレーニング画像に依存するが、表１で示されるものとしばしば類似する。

画像ノイズ除去サブシステムの１つの効果は、例えばガウス雑音を含むノイジーなＬＲ入力画像が、画像ノイズ除去を適用した後に、より少ないノイズを有するが、入力よりも滑らかでもある点である。

画像超解像サブシステムは、高周波コンテンツが保たれた拡大画像を提供するよう、ＬＲ画像のアップスケーリングを実施する。一実施形態において、先と同じく、フィルタリングに基づくアプローチが、異なるフィルタ配置を用いてこのサブシステムのために使用される。一実施形態において、フィルタの例となる構成は表２で示されている。それは、フィルタリング及び閾値化動作のカスケード接続された配置を有する５段階アーキテクチャをやはり使用する。図３で示されている構造は、ノイズ除去サブシステムに同様に当てはまる。

様々なスケーリング係数が使用され得る。例えば、２のアップスケーリング係数（次元ごと）は、両方の空間次元において入力画像の倍のサイズを持った出力画像を与える。

ノイジーなＨＲ画像は、ＨＦコンテンツを保つ（これは望ましい。）が、ノイズも含む。他方で、ノイズを除去されたＨＲ画像は、より少ないノイズを有するが、画像がより滑らかである。本発明は、ＨＦコンテンツに沿ってノイズを除去された最終の画像を生成するよう、それら２つの画像を結合する。

画像結合サブシステムは、最終の出力ＨＲ画像を生成するよう、ノイジーなＨＲ画像とノイズを除去されたＨＲ画像とを結合する。このネットワークは、入力画像と対応する出力ＨＲ画像との間の非線形性を決定する。一実施形態において、フィルタに基づくネットワークは、非線形マッピングを見つけるために使用される。それは、画像ノイズ除去及び画像超解像のために使用されたフィルタリングネットワークと同様のアーキテクチャを使用する。一実施形態において、図３は、入力画像を結合するためのものと同等のネットワークアーキテクチャを示す。一実施形態において、結合５０は、第１の結合フィルタリング、第１の閾値化、第２の結合フィルタリング、第２の閾値化及び第３の結合フィルタリングの５段階フィルタリングシーケンスを使用する。表３は、結合サブシステムの例となる構成パラメータを示す。

そのような非線形ネットワークによって生成された出力画像は、通常ノイズを除去されたＨＲ画像と比べて、ＰＳＮＲが良く（すなわち、ノイズがより少なく）（例えば、５の分散のガウス雑音を伴った画像についてＰＳＮＲは約２ｄＢ増大する。）、視覚的により心地良い。

トレーニングは、一実施形態において、３つのサブシステムのいわゆるバックプロパゲーションによって実施され得る。このアルゴリズムは、システムにおける重み（すなわち、フィルタリング係数）に対してエラーの導関数を計算する。エラーは、所望の出力画像とシステムによって生成された出力との間の差である。一実施形態において、グラウンドトルス（ground truth）とシステムの出力画像との間の平方差（squared difference）はエラー指標として使用される。次いで、エラーの導関数が重みに対して計算される。重みのための重み更新は、エラーの導関数をゼロと同じように扱うことによって計算され得る。エラーの傾きは、導関数の連鎖律（chain rule）を用いて出力段における重みから入力段における重みへと逆方向に伝播される。一実施形態において、そのような重み調整は、例えば、出力段において又はトレーニング段において、行われる。少数のトレーニング画像、例えば、９１個のトレーニング画像があれば、ネットワークをトレーニングするのに十分である。トレーニングのために、より小さいパッチが画像から抽出される。例えば、適当なトレーニングパッチサイズは、３つ全てのサブシステムのために、３２×３２ピクセルである。

本発明の１つの利点は、ガウス、フィルムグレイン、コーディングアーチファクトなどのような様々なノイズタイプを含むＬＲ画像を効率よくアップスケーリングしノイズ除去するよう構成される点である。すなわち、同じネットワークアーキテクチャが、全タイプのノイズについて使用され得る。これは、従来技術とは異なる。

開示されている方法の１つの利点は、客観的な評価（ＰＳＮＲ）及び主観的な評価（視覚外観）の両方に関して、より良い品質のＨＲ画像を達成する点である。

使用されるトレーニングストラテジに応じて、トレーニング結果は、入力画像のノイズレベルが知られている場合に、より良くなり得る。

語「有する（comprise）」及びその活用形の使用は、請求項で述べられている以外の要素又はステップの存在を除外しない。更に、要素に先行する冠詞（a又はan）の使用（すなわち、要素を単称形で述べること。）は、そのような要素の複数個の存在を除外しない。いくつかの「手段（means）」は、ハードウェアの同じアイテムによって表されて良い。更に、本発明は、ありとあらゆる新規の特徴又は特徴の組み合わせに存する。

本願で使用されるように。「アップスケーリング（upscaling）」又は「ノイズ除去（denoising）」は、単なる数学的抽象概念を記載せず、代わりに、マシン又は装置による検出が可能な物理媒体において具現又は搬送される情報を表し、パルス符号変調（ＰＣＭ；pulse code modulation）を含むがＰＣＭに制限されない如何なる形の符号化による伝達も含むと理解されるべきである。

本発明の基本的な新規の特徴は、その公的な実施形態に適用されるものとして図示、記載、及び指摘されてきたが、記載されている装置及び方法における、開示されている装置の形態及び詳細における、且つ、それらの動作における様々な削除及び置換及び変更は、本発明の主旨から逸脱することなしに当業者によって行われてよい点が理解されるだろう。同じ結果を達成するよう略同じように略同じ機能を実施する要素の全ての組み合わせは、本発明の適用範囲内であることが明示的に意図される。１つの記載されている実施形態から他への要素の置換も、十分に意図され考えられている。

本発明は、単に一例として記載されており、詳細の変更は、本発明の適用範囲から外れることなしに行われ得ることが理解されるだろう。

明細書並びに（必要に応じて）特許請求の範囲及び図面において開示されている夫々の特徴は、独立して、又は何らかの適切な組み合わせにおいて、提供されてよい。特徴は、必要に応じて、ハードウェア、ソフトウェア、又は両者の組み合わせにおいて実装されてよい。接続は、適用可能である場合に、無線接続、あるいは、有線の、必ずしも直接又は専用でない接続として、実装されてよい。特許請求の範囲で現れる参照符号は、単なる例示であり、特許請求の範囲の適用範囲を制限する効果を有するべきではない。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
ノイジーな入力画像をアップスケーリングする方法であって、
ノイジーな高分解能（ＨＲ）画像を得るよう、ノイジーな入力画像をアップスケーリングするステップと、
ノイズ除去された低分解能（ＬＲ）画像を得るよう、前記ノイジーな入力画像からノイズを除去するステップと、
アップスケーリングされたノイズを除去されたＬＲ画像を得るよう、前記ノイズを除去されたＬＲ画像をアップスケーリングするステップと、
ノイズを除去されたＨＲ画像を生成するよう、前記ノイジーなＨＲ画像と前記アップスケーリングされたノイズを除去されたＬＲ画像とを結合するステップと
を有する方法。
（付記２）
前記ノイジーな入力画像をアップスケーリングするステップのために、及び、前記ノイズを除去されたＬＲ画像をアップスケーリングするステップのために、同じアップスケーリング方法が使用される、
付記１に記載の方法。
（付記３）
前記結合するステップは、非線形性が閾値化を通じて得られるところの非線形フィルタのネットワークを使用する、
付記１又は２に記載の方法。
（付記４）
前記ノイズを除去するステップは、第１のノイズ除去フィルタリング、第１の閾値化、第２のノイズ除去フィルタリング、第２の閾値化及び第３のノイズ除去フィルタリングの５段階フィルタリングシーケンスを使用する、
付記１乃至３のうちいずれか一項に記載の方法。
（付記５）
前記アップスケーリングするステップは、第１のアップスケーリングフィルタリング、第１の閾値化、第２のアップスケーリングフィルタリング、第２の閾値化及び第３のアップスケーリングフィルタリングの５段階フィルタリングシーケンスを使用する、
付記１乃至４のうちいずれか一項に記載の方法。
（付記６）
前記結合するステップは、第１の結合フィルタリング、第１の閾値化、第２の結合フィルタリング、第２の閾値化及び第３の結合フィルタリングの５段階フィルタリングシーケンスを使用する、
付記１乃至５のうちいずれか一項に記載の方法。
（付記７）
前記閾値化は、負の値をゼロに設定し、正の値を不変なままとする、
付記３乃至６のうちいずれか一項に記載の方法。
（付記８）
前記フィルタリングのためのフィルタの係数及び次元は、ランダムに初期化され、その後に、機械学習アルゴリズムを使用することによってトレーニング段階においてトレーニングされる、
付記４乃至７のうちいずれか一項に記載の方法。
（付記９）
前記フィルタリングのためのフィルタの次元は、予め定義されており、前記フィルタリングのためのフィルタの係数は、ランダムに初期化され、その後に、機械学習アルゴリズムを使用することによってトレーニング段階においてトレーニングされる、
付記４乃至７のうちいずれか一項に記載の方法。
（付記１０）
前記アップスケーリングするステップ、前記ノイズを除去するステップ、及び前記結合するステップは、画像パッチを使用する、
付記１乃至９のうちいずれか一項に記載の方法。
（付記１１）
ノイジーな入力画像をアップスケーリングする装置であって、
ノイジーな高分解能（ＨＲ）画像を得るよう、ノイジーな入力画像をアップスケーリングするよう構成される第１の画像アップスケーラと、
ノイズ除去された低分解能（ＬＲ）画像を得るよう、前記ノイジーな入力画像からノイズを除去するよう構成される画像デノイザと、
アップスケーリングされたノイズを除去されたＬＲ画像を得るよう、前記ノイズを除去されたＬＲ画像をアップスケーリングするよう構成される第２の画像アップスケーラと、
ノイズを除去されたＨＲ画像を生成するよう、前記ノイジーなＨＲ画像のピクセル又はパッチと前記アップスケーリングされたノイズを除去されたＬＲ画像のピクセル又はパッチとを結合するよう構成される画像コンバイナと
を有する装置。
（付記１２）
前記ノイジーな入力画像をアップスケーリングするために、及び、前記ノイズを除去されたＬＲ画像をアップスケーリングするために、同じアップスケーリング方法が使用される、
付記１１に記載の装置。
（付記１３）
前記画像コンバイナは、非線形性が閾値化を通じて得られるところの非線形フィルタのネットワークを使用するよう構成される、
付記１１又は１２に記載の装置。
（付記１４）
前記画像デノイザは、第１のノイズ除去フィルタリング、第１の閾値化、第２のノイズ除去フィルタリング、第２の閾値化及び第３のノイズ除去フィルタリングの５段階フィルタリングシーケンスを使用するよう構成される、
付記１１乃至１３のうちいずれか一項に記載の装置。
（付記１５）
前記アップスケーリングは、第１のアップスケーリングフィルタリング、第１の閾値化、第２のアップスケーリングフィルタリング、第２の閾値化及び第３のアップスケーリングフィルタリングの５段階フィルタリングシーケンスを使用する、
付記１１乃至１４のうちいずれか一項に記載の装置。

１１入力画像
２０～５０ステップ
５１ＨＲ画像
１００方法
２００装置
２２０第１の画像アップスケーラ
２３０画像デノイザ
２４０第２の画像アップスケーラ
２５０画像コンバイナ
３００画像ノイズ除去／画像超解像／画像結合サブシステム
３１０第１のフィルタリングユニット
３２０第１の閾値化ユニット
３３０第２のフィルタリングユニット
３４０第２の閾値化ユニット
３５０第３のフィルタリングユニット

Claims

ノイジーな入力画像をアップスケーリングする方法であって、
ノイジーな高分解能（ＨＲ）画像を得るよう、ノイジーな入力画像をアップスケーリングするステップと、
ノイズ除去された低分解能（ＬＲ）画像を得るよう、前記ノイジーな入力画像からノイズを除去するステップと、
アップスケーリングされたノイズを除去されたＬＲ画像を得るよう、前記ノイズを除去されたＬＲ画像をアップスケーリングするステップと、
ノイズを除去されたＨＲ画像を生成するよう、前記ノイジーなＨＲ画像と前記アップスケーリングされたノイズを除去されたＬＲ画像とを、非線形フィルタリングのシーケンスによって結合するステップと
を有し、前記結合するステップは、前記非線形フィルタリングのシーケンスとして、
前記ノイジーなＨＲ画像と前記アップスケーリングされたノイズを除去されたＬＲ画像とに結合フィルタリングを適用する第１のステップと、
前記第１のステップからの出力に閾値化を適用する第２のステップと、
前記第２のステップからの出力に結合フィルタリングを適用する第３のステップと、
前記第３のステップからの出力に閾値化を適用する第４のステップと、
前記第４のステップからの出力に結合フィルタリングを適用する第５のステップとを含む、５段階フィルタリングシーケンスを使用する、方法。
前記ノイジーな入力画像をアップスケーリングするステップのために、及び、前記ノイズを除去されたＬＲ画像をアップスケーリングするステップのために、同じアップスケーリング方法が使用される、
請求項１に記載の方法。
前記結合するステップは、非線形性が閾値化を通じて得られるところの非線形フィルタのネットワークを使用する、
請求項１又は２に記載の方法。
前記ノイズを除去するステップは、ガウス雑音を有するノイジーな入力画像にノイズ除去フィルタリングを適用する第１のステップと、前記第１のステップからの出力に閾値化を適用する第２のステップと、前記第２のステップからの出力にノイズ除去フィルタリングを適用する第３のステップと、前記第３のステップからの出力に閾値化を適用する第４のステップと、前記第４のステップからの出力にノイズ除去フィルタリングを適用する第５のステップとを含む、５段階フィルタリングシーケンスを使用する、
請求項１乃至３のうちいずれか一項に記載の方法。
前記アップスケーリングするステップは、前記ノイジーな入力画像または前記ノイズを除去されたＬＲ画像にアップスケーリングフィルタリングを適用する第１のステップと、前記第１のステップからの出力に閾値化を適用する第２のステップと、前記第２のステップからの出力にアップスケーリングフィルタリングを適用する第３のステップと、前記第３のステップからの出力に閾値化を適用する第４のステップと、前記第４のステップからの出力にアップスケーリングフィルタリングを適用する第５のステップとを含む、５段階フィルタリングシーケンスを使用する、
請求項１乃至４のうちいずれか一項に記載の方法。
前記閾値化は、負の値をゼロに設定し、正の値を不変なままとする、
請求項３乃至５のうちいずれか一項に記載の方法。
前記ノイズ除去フィルタリング、前記アップスケーリングフィルタリング、又は前記結合フィルタリングのための各フィルタの係数及び次元は、ランダムに初期化され、その後に、機械学習アルゴリズムを使用することによってトレーニング段階においてトレーニングされる、
請求項４乃至６のうちいずれか一項に記載の方法。
前記ノイズ除去フィルタリング、前記アップスケーリングフィルタリング、又は前記結合フィルタリングのための各フィルタの次元は、予め定義されており、前記ノイズ除去フィルタリング、前記アップスケーリングフィルタリング、又は前記結合フィルタリングのための各フィルタの係数は、ランダムに初期化され、その後に、機械学習アルゴリズムを使用することによってトレーニング段階においてトレーニングされる、
請求項４乃至６のうちいずれか一項に記載の方法。
前記アップスケーリングするステップ、前記ノイズを除去するステップ、及び前記結合するステップは、画像パッチを使用する、
請求項１乃至８のうちいずれか一項に記載の方法。
ノイジーな入力画像をアップスケーリングする装置であって、
ノイジーな高分解能（ＨＲ）画像を得るよう、ノイジーな入力画像をアップスケーリングするよう構成される第１の画像アップスケーラと、
ノイズ除去された低分解能（ＬＲ）画像を得るよう、前記ノイジーな入力画像からノイズを除去するよう構成される画像デノイザと、
アップスケーリングされたノイズを除去されたＬＲ画像を得るよう、前記ノイズを除去されたＬＲ画像をアップスケーリングするよう構成される第２の画像アップスケーラと、
ノイズを除去されたＨＲ画像を生成するよう、前記ノイジーなＨＲ画像と前記アップスケーリングされたノイズを除去されたＬＲ画像とを、非線形フィルタリングのシーケンスによって結合するよう構成される画像コンバイナと
を有し、
前記画像コンバイナは、前記非線形フィルタリングのシーケンスとして、
前記ノイジーなＨＲ画像と前記アップスケーリングされたノイズを除去されたＬＲ画像とに結合フィルタリングを適用する第１のステップと、
前記第１のステップからの出力に閾値化を適用する第２のステップと、
前記第２のステップからの出力に結合フィルタリングを適用する第３のステップと、
前記第３のステップからの出力に閾値化を適用する第４のステップと、
前記第４のステップからの出力に結合フィルタリングを適用する第５のステップとを含む、５段階フィルタリングシーケンスを使用するよう構成される、
装置。
前記ノイジーな入力画像をアップスケーリングするために、及び、前記ノイズを除去されたＬＲ画像をアップスケーリングするために、同じアップスケーリング方法が使用される、
請求項１０に記載の装置。
前記画像コンバイナは、非線形性が閾値化を通じて得られるところの非線形フィルタのネットワークを使用するよう構成される、
請求項１０又は１１に記載の装置。
前記画像デノイザは、ガウス雑音を有するノイジーな入力画像にノイズ除去フィルタリングを適用する第１のステップと、前記第１のステップからの出力に閾値化を適用する第２のステップと、前記第２のステップからの出力にノイズ除去フィルタリングを適用する第３のステップと、前記第３のステップからの出力に閾値化を適用する第４のステップと、前記第４のステップからの出力にノイズ除去フィルタリングを適用する第５のステップとを含む、５段階フィルタリングシーケンスを使用するよう構成される、
請求項１０乃至１２のうちいずれか一項に記載の装置。
前記アップスケーリングは、前記ノイジーな入力画像または前記ノイズを除去されたＬＲ画像にアップスケーリングフィルタリングを適用する第１のステップと、前記第１のステップからの出力に閾値化を適用する第２のステップと、前記第２のステップからの出力にアップスケーリングフィルタリングを適用する第３のステップと、前記第３のステップからの出力に閾値化を適用する第４のステップと、前記第４のステップからの出力にアップスケーリングフィルタリングを適用する第５のステップとを含む、５段階フィルタリングシーケンスを使用する、
請求項１０乃至１３のうちいずれか一項に記載の装置。
コンピュータに方法を実行させるための、コンピュータ実行可能な命令を有することを特徴とする一時的でないコンピュータ読取可能記憶媒体であって、
前記方法は、
ノイジーな高分解能画像を得るよう、ノイジーな入力画像をアップスケーリングするステップと、
ノイズ除去された低分解能画像を得るよう、前記ノイジーな入力画像からノイズを除去するステップと、
アップスケーリングされたノイズを除去された低分解能画像を得るよう、前記ノイズを除去された低分解能画像をアップスケーリングするステップと、
ノイズを除去された高分解能画像を生成するよう、前記ノイジーな高分解能画像と前記アップスケーリングされたノイズを除去された低分解能画像とを、非線形フィルタリングのシーケンスによって結合するステップと
を含み、前記結合するステップは、前記非線形フィルタリングのシーケンスとして、
前記ノイジーな高分解能画像と前記アップスケーリングされたノイズを除去された低分解能画像とに結合フィルタリングを適用する第１のステップと、
前記第１のステップからの出力に閾値化を適用する第２のステップと、
前記第２のステップからの出力に結合フィルタリングを適用する第３のステップと、
前記第３のステップからの出力に閾値化を適用する第４のステップと、
前記第４のステップからの出力に結合フィルタリングを適用する第５のステップとを含む、５段階フィルタリングシーケンスを使用する、
一時的でないコンピュータ読取可能記憶媒体。