JP6015670B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、劣化画像から復元画像を生成する画像処理装置及び画像処理方法に関する。

劣化画像から復元画像を生成する技術の一例として、超解像技術が、知られている。超解像技術の中で、低解像度画像と高解像度画像とが対応付けられた事例を学習した辞書を用いる方式は、特に、学習型超解像技術と呼ばれる。学習型超解像技術の一例が、非特許文献１に記載されている。
非特許文献１に記載された学習型超解像技術は、以下の手法（ここでは、「超解像プロセス」と言う。）を実行する。
すなわち、超解像プロセスは、低解像度画像である入力画像を受け付ける。
次に、超解像プロセスは、入力画像を内挿法で多画素化し、仮高解像度画像を生成する。
さらに、超解像プロセスは、入力画像を多画素化したものから、低周波成分を生成する。
超解像プロセスは、生成した低周波成分から低周波パッチを切り抜き、低周波パッチから低周波特徴量を算出する。
超解像プロセスは、算出した低周波特徴量との距離が近い順に、所定の数の低周波特徴量を辞書から探索し、探索した低周波特徴量と組になっている高周波特徴量を読み出す。
そして、超解像プロセスは、探索時の距離、隣接する高周波ブロックとの整合性又は学習段階で別途学習する低周波特徴量と高周波特徴量との共起確率などを基準として、１つの高周波特徴量を選択する。
非特許文献１に記載の技術は、互いに類似した低周波特徴量同士を１つの代表にまとめた一対多対応の辞書構造を用いて、メモリ量を抑制し、計算コストを削減する。
田口安則、小野利幸、三田雄志、井田孝"画像超解像のための閉ループ学習による代表事例の学習方法"，電子情報通信学会論文誌 Ｄ，情報・システム Ｖｏｌ．Ｊ９２−Ｄ Ｎｏ．６，ｐｐ．８３１−８４２，２００９／０６／０１

しかしながら、非特許文献１に記載の技術は、必ずしも、高解像度画像の復元精度が良くないという問題点があった。
その理由は、入力画像と学習データとの間における低解像パッチの類似度のみを考慮して高解像パッチを選択するため、非特許文献１に記載の技術は、高解像パッチを誤選択する場合があるからである。
この問題に対し、低解像パッチの類似度に加え、高解像パッチの隣接間類似性を考慮してパッチを選択する技術が、考えられる。しかし、この技術は、計算コストが増大するという問題点がある。
本発明の目的は、上述した課題を解決する画像処理装置及び画像処理方法を提供することである。

上記目的を達成するため、本発明における画像処理装置は、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、入力された入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて選択した復元パッチから暫定復元画像を生成する暫定復元画像生成手段と、前記暫定復元画像を分割して暫定パッチを生成する暫定パッチ生成手段と、入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する復元手段と、を含む。
また、上記目的を達成するため、本発明における画像処理方法は、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納し、入力された入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて選択した復元パッチから暫定復元画像を生成し、前記暫定復元画像を分割して暫定パッチを生成し、入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する。
また、上記目的を達成するため、本発明におけるプログラムは、所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納し、入力された入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて選択した復元パッチから暫定復元画像を生成し、前記暫定復元画像を分割して暫定パッチを生成し、入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する、処理をコンピュータに実行させる。

本発明における画像処理装置によれば、計算コストを抑えながら精度の良い復元画像を生成できる。

図１は、本発明における第１実施形態に係る画像処理システムの構成の一例を示すブロック図である。 図２は、第１実施形態における学習装置の構成の一例を示すブロック図である。 図３は、第１実施形態における学習フェーズを説明するための概念図である。 図４は、第１実施形態における辞書がパッチペアを格納する様子を説明するための概念図である。 図５は、第１実施形態における学習装置の動作の一例を示すフローチャートである。 図６は、第１実施形態における画像処理装置の構成の一例を示すブロック図である。 図７は、第１実施形態における暫定復元画像生成部の詳細な構成の一例を示すブロック図である。 図８は、第１実施形態における復元フェーズを説明するための概念図である。 図９は、第１実施形態のパッチの一例を示す図である。 図１０は、画像処理装置の動作の一例を示すフローチャートである。 図１１は、本発明の第２実施形態に係る画像処理システム構成の一例を示すブロック図である。 図１２は、本発明の第２実施形態における学習装置の構成の一例を示すブロック図である。 図１３は、第２実施形態における学習フェーズを説明するための概念図である。 図１４は、第２実施形態における辞書が劣化パラメタを含む複数のパッチペアを格納する様子を説明するための概念図である。 図１５は、学習装置の動作の一例を示すフローチャートである。 図１６は、第２実施形態における画像処理装置の構成の一例を示すブロック図である。 図１７は、第２実施形態における暫定復元画像生成部の詳細な構成の一例を示すブロック図である。 図１８は、第２実施形態における復元フェーズを説明するための概念図である。 図１９は、画像処理装置の動作の一例を示すフローチャートである。 図２０は、本発明の第３実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２１は、第３実施形態における復元部及び表示区別部の詳細を説明するための図である。 図２２は、画像処理装置の動作の一例を示すフローチャートである。 図２３は、第４実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２４は、第４実施形態に係る画像処理装置の動作の一例を示すフローチャートである。 図２５は、本実施形態における画像処理装置とその周辺装置のハードウェア構成の一例を示すブロック図である。 図２６は、画像ＸとパッチＹとの関係を説明するための図である。 図２７は、隣接する復元パッチＹの重なり領域Ｗを説明するための図である。

次に、本発明を実施するための形態について図面を参照して詳細に説明する。
まず、本発明の実施形態の理解を容易にするため、本発明の背景を説明する。尚、以降の説明において超解像技術を例とするが、本発明は、超解像技術の適用に限定されるものではない。本発明は、例えば、ノイズ除去技術、画像修復技術、時間解像度補間技術、ボケ除去技術及び品質の悪い入力画像から復元画像を生成するどのような技術にも適用可能である。
学習型超解像技術は、学習フェーズと復元フェーズとを含む。
「学習フェーズ」とは、複数の事例を学習して、各事例におけるパッチペアを辞書データとして含む、辞書を作成するフェーズである。
「復元フェーズ」とは、学習フェーズで作成した辞書から、画像処理の対象となる入力画像のパッチ（以下、入力パッチと呼ぶ）に対応する最適なパッチを探索し、合成処理に用いて超解像画像（復元画像）を生成するフェーズである。ここで、入力画像は、一般的に、低解像度であったり、ノイズが混入していたり、部分的に破壊されていたり又は部分的に欠落していたりする、品質の悪い画像である。
ここで、「パッチペア」とは、所定の事例における高解像画像のパッチと低解像画像のパッチとのペアである。高解像画像（以下、「学習画像」と呼ぶ）は、その事例に対応する高解像度の画像である。低解像画像（以下、「劣化画像」と呼ぶ）は、その高解像画像を劣化させた画像である。以下、学習画像（高解像画像）のパッチを「復元パッチ」、劣化画像（低解像画像）のパッチを「劣化パッチ」と呼ぶ。
また、「パッチ」は、対象の画像の部分的な小領域画像である。例えば、パッチは、対象の画像をブロックに分割して生成されたもの（小領域画像）である。
本発明に関連する技術として、例えば、非特許文献１に記載の技術は、辞書が格納する複数の劣化パッチのうち、超解像処理の対象となる入力画像から生成したパッチと最も類似する劣化パッチを探索する。非特許文献１に記載の技術は、探索した劣化パッチとペアになっている復元パッチを選択し、選択した複数の復元パッチを合成して超解像画像を生成する。
非特許文献１に記載の技術のように、超解像プロセスにおいて、入力画像とパッチペアとにおける劣化パッチの間の類似度のみを考慮して復元パッチが選択される場合、復元パッチの誤選択が、生じやすい。
その理由は、超解像プロセスにおいてパッチ間の類似性が判定されるとき、低解像レベルが類似するが、高解像レベルが類似していないことがあるためである。そのため、低解像レベルでの類似性の考慮だけでは、高解像レベルでより類似するパッチが存在する場合に、他のパッチペアが選択されるという問題が、生じる。
この問題に対し、劣化パッチの類似性に加えて、復元パッチの隣接類似性を考慮してパッチを選択するという方法がある。この方法に基づけば、誤選択を生じるというリスクは、低減される。しかし、この方法は、計算コストが増大するという問題を生じる。
図２６及び図２７は、復元パッチの隣接類似性を考慮した場合の、計算コストの増大を説明するための図である。
図２６は、画像ＸとパッチＹとの関係を説明するための図である。
図２６に示すように、パッチＹは、ある一枚の画像Ｘの小領域画像である。パッチＹは、図２６に示すように、例えば、縦５個×横５個の２５個の画素Ｚから構成される。ここでパッチＹは、例えば、復元パッチである。
図２７は、隣接する復元パッチＹの重なり領域Ｗを説明するための図である。
図２７に示すように、復元パッチＹ１と、Ｙ１の隣のパッチである復元パッチＹ２とは、一部の領域が重なるように隣接する。重なり領域Ｗにおける画素値の差が小さいとき、２つのパッチは、滑らかに隣接していると言える。
ここで、仮に学習データを格納する辞書の中に、劣化パッチ及び復元パッチの組がＫ個格納されているとする。この場合、復元パッチの隣接類似性の計算は、復元パッチＹ１のパタンがＫ通り、隣接する復元パッチＹ２のパタンがＫ通りあり、計「Ｋ×Ｋ」通りという、膨大な数のパタンについての計算となる。このため、復元パッチの隣接類似性を全て計算することは、計算コストが膨大であり、現実的ではない。
以下に説明する本発明の実施形態は、劣化パッチの類似度に加え、復元パッチの隣接類似性を考慮した場合と同様の効果を得ることができるため、計算コストを抑えながら精度の良い復元画像を生成できる。
尚、図２６及び図２７において、一個のパッチが２５個の画素からできており、隣接パッチが３画素ずれて配置されている例を示しているが、この例は、本発明の範囲を限定するものではない。本発明のパッチは、６×６の３６個の画素から構成されていても良いし、これに限らず任意の数の画素で構成されても良い。また、本発明の隣接パッチは、１画素ずれて配置されていても良いし、これに限らず任意の数ずれて配置されても良い。
＜第１実施形態＞
図１は、本発明のおける第１実施形態に係る画像処理システム１０００の構成の一例を示すブロック図である。
図１に示すように、第１実施形態に係る画像処理システム１０００は、学習装置１００と、辞書２００と、画像処理装置３００とを含む。
学習装置１００は、学習画像を受け付け、学習フェーズを実行する。
辞書２００は、学習フェーズで作成されたパッチペアを記憶する。
画像処理装置３００は、入力画像を受け付け、辞書２００を利用して復元フェーズを実行し、復元画像を出力する。
以下、学習フェーズと復元フェーズに分けて、第１実施形態を説明する。
（学習フェーズ）
図２〜図５を参照して、本発明の第１実施形態における学習フェーズについて説明する。
図２は、学習装置１００の構成の一例を示すブロック図である。
図２に示すように、学習装置１００は、受付部１１０と、劣化画像生成部１２０と、パッチペア生成部１３０と、登録部１４０とを含む。
学習装置１００は、学習フェーズを実行して、辞書２００を作成する。
受付部１１０は、外部から学習画像を受け付ける。受付部１１０は、外部から受け取った学習画像を劣化画像生成部１２０及びパッチペア生成部１３０に出力する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に劣化処理を施して劣化画像を生成する。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対して、複数の劣化処理を施して、複数の劣化画像を生成しても良い。
劣化画像生成部１２０は、学習画像に対して複数の異なる劣化処理を施して複数の劣化画像を生成しても良い。
劣化画像生成部１２０は、受付部１１０から出力された学習画像に対し、サイズ縮小、明度減少、高周波成分除去又は姿勢変動の処理のうちの少なくとも一つを用いて、劣化画像を生成しても良い。
劣化画像生成部１２０は、受付部１１０から受け取った学習画像を、例えば、Ｎ分の１に縮小し、劣化画像を生成しても良い。（ここで、「Ｎ」は、所定の自然数である。）画像を縮小するアルゴリズムは、例えば、画質劣化が比較的大きいニアレストネイバー法を使用しても良い。又、画像を縮小するアルゴリズムは、例えば、バイリニア法やバイキュービック法を使用しても良い。
劣化画像生成部１２０は、例えば、学習画像の高周波成分を取り除いてボケ強度を強め、劣化画像を生成しても良い。
劣化画像生成部１２０は、例えば、学習画像を傾かせるような、姿勢を変動させて、劣化画像を生成しても良い。
劣化画像生成部１２０は、学習画像の輝度値を減少させて明度を低くし、劣化画像を生成しても良い。
劣化画像生成部１２０は、一般的な様々な手法を用いて、劣化画像を生成すれば良い。
劣化画像生成部１２０は、学習画像から生成した劣化画像を、パッチペア生成部１３０に出力する。
パッチペア生成部１３０は、受付部１１０から学習画像を受け取り、劣化画像生成部１２０から学習画像の劣化画像を受け取る。パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを複数生成する。
パッチペア生成部１３０は、一般的な手法を用いて、復元パッチと劣化パッチとの複数のペア（「パッチペア」）を生成すれば良い。
パッチペア生成部１３０は、生成した複数のパッチペアを登録部１４０に出力する。
尚、学習装置１００の受付部１１０は、学習画像及びその学習画像のペアである劣化画像の両方を、外部からを受け付けても良い。
例えば、学習装置１００は、高解像度画像を撮影可能なカメラで撮影した画像を学習画像とし、性能の低いカメラで撮影した画像を劣化画像としても良い。
また、劣化画像は、意図的にピントを狂わせて、又は、露出時間を不正に設定して撮影した画像でも良い。また、劣化画像は、ブレを発生させて撮影した画像でも良い。劣化画像は、その他のどのような悪条件で撮影した画像でも良い。
劣化画像を外部から受け付ける場合、学習装置１００は、劣化画像生成部１２０を含まなくても良い。この場合、パッチペア生成部１３０は、受付部１１０から学習画像及び劣化画像を受け取る。
登録部１４０は、パッチペア生成部１３０から、複数のパッチペアが入力される。登録部１４０は、複数のパッチペアを辞書２００に登録する。
辞書２００は、学習装置１００が生成した複数のパッチペアを格納する。
図３は、第１実施形態における学習フェーズを説明するための概念図である。
図３に示すように、学習装置１００は、学習画像１０及び劣化画像２０の対応する位置におけるパッチペアを辞書２００に登録する。
図４は、辞書２００がパッチペアを格納する様子を説明するための概念図である。
図４に示すように、辞書２００は、復元パッチ２０１（１）、２０１（２）、２０１（３）、・・・、２０１（ｎ−１）、２０１（ｎ）を格納する。また、辞書２００は、復元パッチ２０１に対応して劣化パッチ２０２（１）、２０２（２）、２０２（３）、・・・、２０２（ｎ−１）、２０２（ｎ）を格納する。すなわち、辞書２００は、復元パッチ２０１と劣化パッチ２０２とのペアであるパッチペア２０３（１）、２０３（２）、２０３（３）、・・・、２０３（ｎ−１）、２０３（ｎ）を格納する。ここで、ｎは、自然数である。
辞書２００のパッチペアの格納方法は、図４に示すように各パッチを対応付けて格納する方法に限定されない。例えば、辞書２００は、復元画像を、パッチではなく一枚の画像として格納し、劣化パッチ毎に復元画像のどこの領域と対応するかを示すインデックスを学習データとして格納しても良い。又、辞書２００は、その他の方法でパッチペアを格納しても良い。この場合、パッチの構造は、辞書２００のパッチペアの格納方法に適合する構造でも良い。
次に、図面を参照して、学習装置１００の動作を説明する。
図５は、学習装置１００の動作の一例を示すフローチャートである。
受付部１１０は、外部から学習画像を受け付ける（ステップＡ１）。
劣化画像生成部１２０は、受付部１１０から出力された学習画像を、例えば、Ｎ分の１に縮小して、劣化画像を生成する（ステップＡ２）。
パッチペア生成部１３０は、学習画像と劣化画像との対応する位置におけるパッチペアを生成し、登録部１４０へ出力する（ステップＡ３）。
登録部１４０は、パッチペアを辞書２００に登録する（ステップＡ４）。
以上が、辞書２００を作成する、学習装置１００の動作の説明である。
（復元フェーズ）
図６〜図１０を参照して、第１実施形態における復元フェーズについて説明する。
図６は、画像処理装置３００の構成の一例を示すブロック図である。
図６に示すように、画像処理装置３００は、暫定復元画像生成部３１０と、暫定パッチ生成部３２０と、復元部３３０とを含む。画像処理装置３００は、辞書２００を利用して、復元フェーズを実行する。
図７は、暫定復元画像生成部３１０の詳細な構成の一例を示すブロック図である。
図７に示すように、暫定復元画像生成部３１０は、受付部３１１と、パッチ生成部３１２と、選択部３１３と、合成部３１４とを含む。
暫定復元画像生成部３１０は、画像処理の対象となる入力画像を外部から受け付け、その入力画像を画像処理して暫定的な復元画像（以下、「暫定復元画像」と言う。）を生成する。具体的には、暫定復元画像生成部３１０は、入力画像をブロックに分割して生成した複数のパッチ（入力パッチ）と辞書２００に格納されている劣化パッチとの類似度に基づいて、復元パッチを選択する。次に、暫定復元画像生成部３１０は、選択した複数の復元パッチを合成して、暫定復元画像を生成する。入力パッチと劣化パッチとの類似度の詳細な説明は、後述する。
受付部３１１は、画像処理の対象となる入力画像を外部から受け付ける。受付部３１１は、ネットワークに接続して入力画像を受信しても良いし、入力画像を記憶するメモリから読み出して入力画像を受け付けても良く、受け付けの形態を限定されない。受付部３１１は、受け付けた入力画像をパッチ生成部３１２に出力する。
パッチ生成部３１２は、受付部３１１から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する。パッチ生成部３１２は、生成した複数の入力パッチを選択部３１３に出力する。また、パッチ生成部３１２は、生成した複数の入力パッチを、図６における復元部３３０に出力する。復元部３３０の動作の説明は、後述する。
選択部３１３は、パッチ生成部３１２から複数の入力パッチが入力される。選択部３１３は、辞書２００に格納されるパッチペアの中から、入力パッチと辞書２００中の劣化パッチとの類似度を示す値（以下、「劣化類似値」という。）を基に、入力パッチ毎に復元パッチを選択する。選択部３１３は、選択した復元パッチを合成部３１４に出力する。２つのパッチ間の類似度についての詳細は、図９の説明において後述する。
合成部３１４は、選択部３１３から出力された復元パッチを合成して、暫定復元画像を生成する。
図６に示す画像処理装置３００の構成の説明に戻る。
暫定復元画像生成部３１０は、生成した暫定復元画像を暫定パッチ生成部３２０に出力する。
暫定パッチ生成部３２０は、暫定復元画像生成部３１０から出力された暫定復元画像をブロックに分割して複数のパッチを生成する。暫定パッチ生成部３２０は、暫定復元画像から生成したパッチ（以下、「暫定パッチ」という。）を復元部３３０に出力する。
復元部３３０は、暫定パッチ生成部３２０から暫定パッチが入力される。復元部３３０は、劣化類似値に加え、暫定パッチと辞書２００中の復元パッチとの類似度を示す値（以下、「復元類似値」という。）を考慮して新たに復元パッチを選択し直す。すなわち、復元部３３０は、劣化類似値及び復元類似値を統合した値に基づいて、新たに復元パッチを選択し直し、選択し直した復元パッチを用いて暫定復元画像を更新する。復元部３３０は、劣化類似値及び復元類似値を統合した値として、例えば、これらの合計値や積算値などを用いれば良い。
復元部３３０は、劣化類似値及び復元類似値の合計値に基づいた暫定復元画像の更新を繰り返し、暫定復元画像の変更がなくなった段階で、その暫定復元画像を復元画像として外部に出力する。尚、復元部３３０は、劣化類似値及び復元類似値の合計値に基づいた暫定復元画像の更新を、暫定復元画像の変更がなくなるまで繰り返すのではなく、所定の回数の更新の後に暫定復元画像を復元画像として外部に出力しても良い。更新を繰り返す回数は、予め一定の回数が設定されていても良く、又は、ユーザの入力を基に設定されても良い。
図８は、復元フェーズを説明するための概念図である。
図８に示すように、画像処理装置３００は、入力画像３０の入力パッチ３１と辞書２００中の劣化パッチ２０２との類似性、及び、暫定復元画像４２の暫定パッチ４３と辞書２００中の復元パッチ２０１との類似性を考慮して、復元パッチ２０１を選択する。
次に、２つのパッチ（例えば、入力パッチと劣化パッチ）間の類似度について説明する。
図９は、パッチ５０の一例を示す図である。
図９に示すように、例えば、パッチ５０は、複数の画素５２の画素値を要素として持つ、多次元ベクトルである画素群５１を含む。尚、パッチ５０は、復元パッチ、劣化パッチ、入力パッチ及び暫定パッチを含む概念である。
また、画素値は、輝度値でも良く、これに限定されない。
輝度値の場合、２つのパッチ間の類似度を示す値とは、パッチ間の各画素の輝度値の差に基づく値でも良い。例えば、２つのパッチ間の類似度を示す値は、パッチ間の各画素の輝度値の差の二乗和であるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｓｔａｎｃｅ）に基づく値でも良い。又は、２つのパッチ間の類似度を示す値は、パッチ間の各画素の輝度値の差の絶対値和であるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｓｔａｎｃｅ）に基づく値でも良い。
他に、例えば、２つのパッチ間の類似度を示す値は、２つの特徴ベクトル間の角度に基づく値でも良い。又は、２つのパッチ間の類似度を示す値は、正規化相互相関関数を用いて算出される値でも良い。或いは、類似度は、パッチの輝度勾配に基づき算出される値でもよい。或いは、類似度は、輝度値や輝度勾配の値をヒストグラム化した後、ヒストグラムの距離から算出された値を用いてもよい。
ただし、２つのパッチ間の類似度を示す値は、これらに限定されない。
即ち、２つのパッチ間の類似度は、２つのパッチそれぞれの画素群が表す画像間の類似度である。
例えば、２つのパッチ間の類似度を示す値が輝度値のＳＳＤ又はＳＡＤを特定の定数から引いた値である場合、前述の劣化類似値及び復元類似値の合計値は、入力パッチと劣化パッチのパッチ間の輝度値のＳＳＤ又はＳＡＤの値と、暫定パッチと復元パッチのパッチ間の輝度値のＳＳＤ又はＳＡＤの値と、の合計値（和）を、前述の特定の定数の２倍から引いた値である。復元部３３０は、新たに、その値が最大（すなわち、前述のＳＳＤ又はＳＡＤの合計値が最小）となる復元パッチを、辞書２００から選択し直す。そして、復元部３３０は、暫定パッチ毎に、新たに選択した復元パッチを用いて、暫定復元画像を更新する。
次に、画像処理装置３００の動作について、図面を参照して詳細に説明する。
図１０は、画像処理装置３００の動作の一例を示すフローチャートである。
受付部３１１は、画像処理の対象となる入力画像を外部から受け付ける（ステップＢ１）。
パッチ生成部３１２は、受付部３１１から出力された入力画像をブロックに分割して複数のパッチ（入力パッチ）を生成する（ステップＢ２）。例えば、パッチ生成部３１２は、縦５個×横５個の計２５個の画素からなる領域を入力パッチのパッチ単位としても良い。この場合、パッチ生成部３１２は、入力画像に対し、隣接のパッチが１画素ずれた関係で入力パッチを生成しても良い。なお、パッチの領域の画素数や隣接パッチとの関係は、これらに限定されない。例えば、パッチ生成部３１２は、隣接のパッチが３画素ずれた関係のパッチとして入力パッチを生成しても良い。なお、入力パッチとそれに隣接するパッチとのずれ画素の数が小さい（隣接のパッチとの重なりが大きくなる）ほど、画像処理装置３００は、復元画像を生成するための細かな合成処理が可能である。
選択部３１３は、入力パッチと辞書２００中の劣化パッチとの劣化類似値に基づいて、入力パッチに最も類似する劣化パッチを探索し、最も類似する劣化パッチとペアになっている復元パッチを選択する（ステップＢ３）。例えば、選択部３１３は、入力パッチに対して前述のＳＳＤ又はＳＡＤの値を特定の定数から引いた値が最も大きい値になる劣化パッチを辞書２００から探索し、探索した劣化パッチに対応する復元パッチを選択し、出力しても良い。画像処理装置３００は、ステップＢ３を、入力画像から生成された全ての入力パッチについて繰り返す。
なお、上記のステップＢ３の説明において、入力パッチに最も類似する劣化パッチを探索するとしたが、ステップＢ３の動作は、この動作に限定されない。例えば、選択部３１３は、最も類似するパッチから類似の順に複数の復元パッチを合成し、新たな復元パッチを生成しても良い。尚、「画像（パッチ）を合成する」処理は、「合成の対象となる全画像（パッチ）の画素値の平均を取る」処理でも良い。
次に、合成部３１４は、選択部３１３が出力した複数の復元パッチを合成して、暫定復元画像を生成する（ステップＢ４）。ここで、「合成」とは、上述のように画素値の平均を取る処理でも良い。具体的には、「合成」とは、全復元パッチを、それぞれ対応する入力パッチの位置と相対的に同じ位置に置いたときの重なり領域について、重なった全ての復元パッチの画素値の平均を取る処理でも良い。
暫定パッチ生成部３２０は、暫定復元画像生成部３１０から出力された暫定復元画像をブロックに分割して複数の暫定パッチを生成する（ステップＢ５）。暫定パッチ生成部３２０は、入力画像と暫定復元画像との大きさの比に応じて暫定パッチを生成しても良い。例えば、入力パッチが、隣接のパッチと１画素ずつずれた関係で生成され、暫定復元画像の大きさが入力画像の５倍の大きさである場合を考える。この場合、暫定パッチは、隣接のパッチと５画素ずつずれた関係で生成されても良い。
復元部３３０は、劣化類似値及び復元類似値の合計値に基づいて、新たに復元パッチを辞書２００から選択し直す（ステップＢ６）。機能的に言い換えると、復元部３３０は、劣化類似度を考慮して生成された暫定復元画像に対し、改めて復元類似度を考慮した上で、復元画像として、より適切だと考えられる復元パッチを選択し直す。復元部３３０は、ステップＢ６の処理を、全ての暫定パッチについて繰り返す。なお、復元部３３０は、復元類似値を考慮しても同様の復元パッチが選択される領域に関しては、更新しない。
復元部３３０は、新たに復元パッチを選択し直し、新たに選択した復元パッチを用いて暫定復元画像を生成（更新）する（ステップＢ７）。復元部３３０は、全ての暫定パッチに関して新たに復元パッチを選択し直し、最後に、合成処理を実行して、暫定復元画像を更新しても良い。また、復元部３３０は、暫定パッチ一枚について新たに復元パッチを選択し直す度に置換する局所的な方法を用いて、暫定復元画像を更新しても良い。
復元部３３０は、暫定パッチから新たに復元パッチを選択する処理を基に、暫定復元画像に変更があったか否かを判定する（ステップＢ８）。
変更があったと判定した場合（ステップＢ８でＹＥＳ）、復元部３３０は、新たに暫定パッチを生成し、暫定復元画像を更新する処理を繰り返す（ステップＢ５、ステップＢ６、ステップＢ７及びステップＢ８）。
なお、復元部３３０は、暫定パッチから新たに復元パッチを選択する処理を基に、暫定復元画像の更新回数を判定しても良い（ステップＢ８）。そして、更新回数が所定の回数以下であった場合、復元部３３０は、新たに暫定パッチを生成し、暫定復元画像を更新する処理を繰り返しても良い（ステップＢ５、ステップＢ６、ステップＢ７及びステップＢ８）。更新を繰り返す回数は、予め一定の回数が設定されていても良い。又は、更新を繰り返す回数は、ユーザの入力を基に設定されても良い。
ステップＢ８において、変更がなかったと判定した場合（ステップＢ８でＮＯ）、復元部３３０は、最新の暫定復元画像を復元画像として出力する（ステップＢ９）。
なお、更新回数が一定回数に達した場合、復元部３３０は、最新の暫定復元画像を復元画像として出力しても良い（ステップＢ９）。
以上が画像処理装置３００の動作の説明である。
以上、説明したように、第１実施形態に係る画像処理システム１０００は、劣化パッチの類似度に加え、復元パッチの隣接類似性を考慮した場合と同様の効果を得ることができるため、計算コストを抑えながら精度の良い復元画像を生成できる。
その理由は、次のとおりである。画像処理システム１０００は、暫定的に生成した復元画像について、復元パッチとの類似度を基に、より類似するパッチを選択し直す。この動作を基に、画像処理システム１０００は、復元パッチの隣接類似性を考慮した場合と同様の効果が得られるからである。
また、復元パッチとの類似度を計算する処理は、復元パッチの隣接類似度を計算する処理に比べて計算コストが少ない。
＜第２実施形態＞
図１１は、本発明の第２実施形態に係る画像処理システム２０００の構成の一例を示すブロック図である。
図１１に示すように、第２実施形態に係る画像処理システム２０００は、学習装置４００と、辞書２５０と、画像処理装置５００とを含む。
学習装置４００は、学習装置１００と異なり、学習画像の劣化パラメタを含んだ態様で学習フェーズを実行する。
辞書２５０は、辞書２００と異なり、劣化パラメタをさらに格納する。
画像処理装置５００は、画像処理装置３００と異なり、劣化パラメタの類似性も考慮して復元フェーズを実行する。
以下、学習フェーズと復元フェーズとに分けて、第２実施形態おける第１実施形態と異なる点について説明する。尚、第１実施形態と同様の構成には、第１実施形態と同様の符号を付して、説明を省略する。
（学習フェーズ）
図１２〜図１５を参照して、本発明の第２実施形態における学習フェーズについて説明する。
図１２は、学習装置４００の構成の一例を示すブロック図である。
図１２に示すように、学習装置４００は、受付部１１０と、劣化画像生成部４２０と、パッチペア生成部４３０と、登録部４４０とを含む。学習装置４００は、学習フェーズを実行して、辞書２５０を作成する。
劣化画像生成部４２０は、受付部１１０から出力された学習画像に対して、一以上の劣化処理を施して、一以上の劣化画像を生成する。劣化画像生成部４２０は、学習画像に対して複数の異なる劣化処理を施して複数の劣化画像を生成しても良い。劣化画像生成部４２０は、一般的な様々な手法を用いて学習画像を劣化させれば良い。劣化処理は、画像の倍率、ボケ強度、姿勢又は明度を変更する処理でも良い。
劣化画像生成部４２０は、例えば、入力された学習画像の大きさをＮ分の１に縮小し、劣化画像を生成しても良い。学習画像の大きさをＮ分の１に縮小する場合、どの画素が残るかは、縮小するために用いる技術に基づく。
劣化画像生成部４２０は、例えば、学習画像の高周波成分を取り除いてボケ強度を強め、劣化画像を生成しても良い。
あるいは、劣化画像生成部４２０は、学習画像を傾かせるような姿勢変動を基に、劣化画像を生成しても良い。具体的には、劣化画像生成部４２０は、例えば、ｘｙ座標上に配置される学習画像に対し、座標軸を傾ける又は回転させる処理を用いて、学習画像の姿勢を変動させ、劣化画像を生成しても良い。
又は、劣化画像生成部４２０は、学習画像の輝度値を増加又は減少させて、明度を変更し、劣化画像を生成しても良い。
劣化画像生成部４２０は、学習画像から生成した一以上の劣化画像を、画像の劣化の状態を示す劣化パラメタと併せてパッチペア生成部４３０に出力する。ここで、劣化パラメタは、画像の領域毎に、画像の倍率、ボケ強度、姿勢変動又は明度を数値で表したパラメタでも良い。
パッチペア生成部４３０は、受付部１１０から学習画像が、劣化画像生成部４２０から一以上の劣化画像及び各劣化画像の劣化パラメタが入力される。パッチペア生成部４３０は、パッチペア生成部１３０と同様の処理を用いて、複数のパッチペアを生成する。パッチペア生成部４３０は、生成した複数のパッチペアに、劣化パッチの劣化パラメタを含ませ、登録部４４０に出力する。
登録部４４０は、劣化パッチに対応する劣化パラメタを含む複数のパッチペアを、辞書２５０に登録する。
辞書２５０は、学習装置４００が生成する劣化パッチに対応する劣化パラメタを含む複数のパッチペアを格納する。
図１３は、第２実施形態における学習フェーズを説明するための概念図である。
図１３に示すように、学習装置４００は、学習画像１０から様々なバリエーションの劣化画像２０を生成し、パッチペアを辞書２５０に登録する。図１３において、劣化１、劣化２、劣化３及び劣化４は、劣化処理のバリエーションを示す。
図１４は、辞書２５０が劣化パラメタを含む複数のパッチペアを格納する様子を説明するための概念図である。
図１４に示すように、辞書２５０は、辞書２００が格納していた内容の他に、劣化パラメタ２０４（１）、２０４（２）、２０４（３）、・・・、２０４（ｎ−１）、２０４（ｎ）を格納する。辞書２５０は、劣化パラメタを含むパッチペア２０５（１）、２０５（２）、２０５（３）、・・・、２０５（ｎ−１）、２０５（ｎ）を格納する。ここでｎは、自然数である。
図１５は、学習装置４００の動作の一例を示すフローチャートである。
図１５に示すように、ステップＡ１の後、劣化画像生成部４２０は、受付部１１０から出力された学習画像に対して、一以上の劣化処理を施して、一以上の劣化画像を生成する（ステップＡ５）。
パッチペア生成部４３０は、劣化パラメタを含む複数のパッチペアを生成して、登録部４４０に出力する（ステップＡ６）。
登録部４４０は、劣化パラメタを含む複数のパッチペアを辞書２５０に登録する（ステップＡ７）。
以上、学習フェーズを基に、辞書２５０が、作成される。
（復元フェーズ）
図１６〜図１９を参照して、本発明の第２実施形態における復元フェーズについて説明する。
図１６は、画像処理装置５００の構成の一例を示すブロック図である。
図１６に示すように、画像処理装置５００は、暫定復元画像生成部５１０と、暫定パッチ生成部５２０と、復元部５３０とを含む。画像処理装置５００は、辞書２５０を利用して、劣化パラメタの類似性も考慮した復元フェーズを実行する。
暫定復元画像生成部５１０は、辞書２５０が有する劣化パッチの劣化パラメタの情報を用いて、画像として劣化パラメタを有する暫定復元画像を生成する。
図１７は、暫定復元画像生成部５１０の詳細な構成の一例を示すブロック図である。
図１７に示すように、暫定復元画像生成部５１０は、受付部３１１と、パッチ生成部３１２と、選択部５１３と、合成部５１４とを含む。暫定復元画像生成部５１０は、辞書２５０を利用して劣化パラメタを有する暫定復元画像を生成する。
選択部５１３は、パッチ生成部３１２から複数の入力パッチを受け取る。選択部５１３は、辞書２５０に格納されるパッチペアのデータの中から、劣化類似値に基づいて、入力パッチ毎に復元パッチ及び対応する劣化パラメタを選択する。選択部５１３は、選択した複数の復元パッチ及び対応する劣化パラメタを合成部５１４に出力する。
合成部５１４は、選択部５１３から出力された複数の復元パッチを合成して、暫定復元画像を生成する。この際、合成部５１４は、各復元パッチに対応する複数の劣化パラメタを合成し、劣化パラメタを有する暫定復元画像を生成する。
図１６に示す画像処理装置５００の構成の説明に戻る。
暫定復元画像生成部５１０は、生成した劣化パラメタを有する暫定復元画像を暫定パッチ生成部５２０に出力する。
暫定パッチ生成部５２０は、暫定復元画像生成部５１０から出力された暫定復元画像をブロックに分割して、複数の劣化パラメタを有する暫定パッチを生成する。暫定パッチ生成部５２０は、劣化パラメタを有する暫定パッチを復元部５３０に出力する。
復元部５３０は、劣化類似値及び復元類似値に加え、暫定パッチの劣化パラメタと辞書２５０中の劣化パッチの劣化パラメタの類似度を示す値（以下、「劣化パラメタ類似度値」という。）を考慮して、新たに復元パッチを選択し直す。すなわち、復元部５３０は、劣化類似値、復元類似値及び劣化パラメタ類似度値の合計値に基づいて、新たに復元パッチを選択し直し、選択し直した復元パッチを用いて暫定復元画像を更新する。なお、この時、復元部５３０は、劣化パラメタを有する態様で暫定復元画像を更新する。
劣化パラメタ類似値を算出する方法は、例えば、以下のような方法で良い。
例えば、各パッチの劣化パラメタは、複数の劣化パラメタ（倍率や明度など）をベクトルとして持つパラメタ群として構成されるとする。この場合、２つのパッチ間の劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタの差に基づく値でも良い。
例えば、２つのパッチ間の劣化パラメタの類似度を示す値は、次のように求める値でも良い。
まず、復元部５３０は、パッチ間の各劣化パラメタの差の絶対値を算出する。次に、復元部５３０は、パラメタの差の絶対値を、値が一定値以上の場合に非零となる関数に代入する。最後に、復元部５３０は、劣化パラメタ毎に算出した関数値を合計した値を類似度とすれば良い。例えば、復元部５３０は、値が一定値以上である場合に非零となる関数として、パッチ間の各劣化パラメタの差を引数とするシグモイド関数を用いれば良い。
又は、２つのパッチ間の劣化パラメタの類似度を示す値は、第１実施形態で図９を用いて説明した２つのパッチ間の類似度を示す値と同様の手法を用いて算出される値でも良い。
例えば、２つのパッチ間の劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタの差に基づく値でも良い。又は、２つのパッチ間の劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタの差の二乗和であるＳＳＤに基づく値でも良い。又は、２つのパッチ間の劣化パラメタの類似度を示す値は、パッチ間の各劣化パラメタの差の絶対値和であるＳＡＤに基づく値でも良い。又は、２つのパッチ間の劣化パラメタの類似度を示す値は、２つの劣化パラメタを表すベクトル間の角度でも良い。又は、２つのパッチ間の劣化パラメタの類似度を示す値は、正規化相互相関関数を基に算出される値でも良い。ただし、２つのパッチ間の劣化パラメタの類似度を示す値は、これらに限定されない。或いは、類似度は、パッチの輝度勾配に基づき算出される値でもよい。或いは、類似度は、輝度値や輝度勾配の値をヒストグラム化した後、ヒストグラムの距離から算出された値を用いてもよい。
復元部５３０は、劣化類似値、復元類似値及び劣化パラメタ類似度値の合計値に基づいた暫定復元画像の更新を繰り返し、暫定復元画像の変更がなくなった段階の暫定復元画像を復元画像として外部に出力する。
又は、復元部５３０は、劣化類似値、復元類似値及び劣化パラメタ類似度値の合計値に基づいた暫定復元画像の更新を一定回数繰り返した段階の暫定復元画像を復元画像として外部に出力しても良い。
図１８は、第２実施形態における復元フェーズを説明するための概念図である。
図１８は、暫定復元画像４２について、劣化パラメタで表された画像を別途表示している。図１８に示すように、画像処理装置５００は、入力画像３０の入力パッチと辞書２００中の劣化パッチとの類似性に加え、暫定復元画像４２の暫定パッチと辞書２００中の復元パッチとの類似性及び劣化パラメタの類似性を考慮して、復元パッチを選択する。
図１９は、画像処理装置５００の動作の一例を示すフローチャートである。
図１９に示すように、ステップＢ１及びステップＢ２の後、選択部５１３は、劣化類似値に基づいて、入力パッチに最も類似する劣化パッチを探索し、最も類似する劣化パッチとペアになっている復元パッチ及び劣化パラメタを選択する（ステップＢ１０）。ステップＢ１０は、全ての入力パッチについて繰り返えされる。
合成部５１４は、選択部５１３から出力された複数の復元パッチ及び劣化パラメタを合成して、劣化パラメタを有する暫定復元画像を生成する（ステップＢ１１）。
暫定パッチ生成部５２０は、暫定復元画像生成部５１０から出力された劣化パラメタを有する暫定復元画像をブロックに分割して、劣化パラメタを有する複数の暫定パッチを生成する（ステップＢ１２）。
復元部５３０は、劣化類似値、復元類似値及び劣化パラメタ類似値の合計値に基づいて、新たに復元パッチを選択し直す（ステップＢ１３）。言い換えると、復元部５３０は、劣化類似度を考慮して生成された暫定復元画像に対し、改めて復元類似度及び劣化パラメタの類似度を考慮した上で、復元画像としてより適切だと考えられる復元パッチを選択し直す。ステップＢ１３の処理は、全ての暫定パッチについて繰り返される。
なお、復元部５３０は、復元類似値及び劣化パラメタ類似値を考慮してもなお同様の復元パッチが選択される領域に関しては、更新しない。
復元部５３０は、新たに復元パッチを選択し直し、選択し直した復元パッチを用いて、劣化パラメタを有する暫定復元画像を生成（更新）する（ステップＢ１４）。
復元部５３０は、暫定パッチから新たに復元パッチを選択する処理を基に、暫定復元画像に変更があったか否かを判定する。この際、復元部５３０は、暫定復元画像の劣化パラメタに変更があったか否かを判定しても良い（ステップＢ１５）。
変更があったと判定した場合、復元部５３０は、新たに暫定パッチを生成し、暫定復元画像を更新する処理を繰り返す（ステップＢ１２、ステップＢ１３、ステップＢ１４及びステップＢ１５）。
又は、復元部５３０は、暫定パッチから新たに復元パッチを選択する処理を基に、暫定復元画像の更新回数を判定しても良い（ステップＢ１５）。更新回数を判定において更新回数が所定の回数以下であった場合、復元部５３０は、新たに暫定パッチを生成し、暫定復元画像を更新する処理を繰り返しても良い（ステップＢ１２、ステップＢ１３、ステップＢ１４及びステップＢ１５）。更新を繰り返す回数は、予め一定の回数が設定されていても良い。又は、更新を繰り返す回数は、ユーザの入力を基に設定されても良い。
ステップＢ１５において、変更がなかったと判定した場合、復元部５３０は、最新の暫定復元画像を復元画像として出力する（ステップＢ９）。又は、ステップＢ１５において、更新回数が一定回数に達した場合、復元部５３０は、最新の暫定復元画像を復元画像として出力しても良い（ステップＢ９）。
ステップＢ１５において、変更がなかったと判定した場合、復元部５３０は、最新の暫定復元画像を復元画像として出力する（ステップＢ９）。
以上説明したように、第２実施形態に係る画像処理システム２０００は、より精度の良い復元画像を生成できる。
その理由は、暫定復元画像の更新の際、暫定パッチと復元パッチの類似性に加え、劣化パラメタの類似性も考慮して、復元パッチを選択し直すからである。
＜第３実施形態＞
図２０〜図２２を参照して本発明の第３実施形態について説明する。本発明の第３実施形態は、第１実施形態又は第２実施形態に比較して、画像処理装置３００又は画像処理装置５００が画像処理装置６００である点で異なる。
以下、第１実施形態に係る画像処理装置３００を画像処理装置６００に置き換えた態様について説明するが、本実施形態は、これに限定されない。本実施形態は、第２実施形態に係る画像処理装置５００を画像処理装置６００に置き換えても良い。
図２０は、本発明の第３実施形態に係る画像処理装置６００の構成の一例を示すブロック図である。
図２０に示すように、画像処理装置６００は、図６に示した画像処理装置３００と比較して、復元部３３０に代えて復元部６３０を含み、さらに表示区別部６４０を含む。
復元部６３０は、暫定パッチと復元パッチとの類似度を示す値が、暫定パッチと復元パッチの類似度が低いことを示す値である領域に関して、新たに復元パッチを選択して復元画像を生成する。復元部６３０は、生成した復元画像を表示区別部６４０に出力する。
表示区別部６４０は、復元部６３０から復元画像が入力される。表示区別部６４０は、暫定パッチと復元パッチとの類似度を示す値が低い領域が、他の領域と区別可能となる情報（以下、「区別情報」という。）を、復元画像に付与する。表示区別部６４０は、区別情報を有する復元画像を外部に出力する。
図２１は、復元部６３０及び表示区別部６４０の詳細を説明するための図である。
図２１は、暫定復元画像４２の中における復元類似値が低い領域を表示する。低い復元類似値は、復元精度の信頼性が低いことを意味する。従って、以降では復元類似値が低い値を示す領域を「低信頼領域６０」という。
復元部６３０は、全ての暫定パッチについて復元パッチを選択し直すのではなく、低信頼性領域７０に含まれる暫定パッチに関して復元パッチを選択し直す。
まず、復元部６３０は、全ての暫定パッチに関して、暫定パッチと復元パッチとの類似度を示す値、すなわち復元類似値を計算する。復元部６３０は、全ての暫定パッチについて復元類似値を計算すると、復元類似値が、低い領域を判定する。具体的には、復元部６３０は、復元類似値が所定の閾値より低い（又は高い）値を取るパッチの領域を、低信頼領域６０であると判定しても良い。
次に、復元部６３０は、低信頼領域６０に含まれる暫定パッチに関して、復元部３３０と同様の復元パッチを選択し直す。すなわち、復元部６３０は、低信頼領域６０において、劣化類似値及び復元類似値の合計値に基づいて、新たに復元パッチを選択し直し、選択し直した復元パッチを用いて暫定復元画像を更新する。
復元部６３０は、低信頼領域６０を判定して、劣化類似値及び復元類似値の合計値に基づいた暫定復元画像を更新する処理を繰り返す。復元部６３０は、暫定復元画像の変更がなくなった段階で、暫定復元画像を復元画像として表示区別部６４０に出力する。
又は、復元部６３０は、暫定復元画像の更新が一定回数に達した段階で、暫定復元画像を復元画像として表示区別部６４０に出力しても良い。更新を繰り返す回数は、予め一定の回数が設定されていても良い。又は、更新を繰り返す回数は、ユーザの入力を基に設定されても良い。
表示区別部６４０は、復元画像中における低信頼領域６０と、低信頼領域６０以外の領域とを区別可能な区別情報を復元画像に付与する。区別情報は、例えば、図２１に示すように、復元画像中における低信頼領域６０であるとしてマスクをかける範囲を示す情報でも良い。低信頼領域６０とそれ以外の領域とを区別する方法は、マスクをかける処理に限定されない。区別情報は、例えば、ユーザが、ディスプレイの出力部を目視したときに、低信頼領域６０を認識できるように表示方法を加工するための情報であれば、どのような情報でも良い。
図２２は、画像処理装置６００の動作の一例を示すフローチャートである。
図２２に示すように、暫定復元画像生成部３１０は、外部から入力画像を受け付ける（ステップＣ１）。
暫定復元画像生成部３１０は、入力画像から暫定復元画像を生成する（ステップＣ２）。具体的には、暫定復元画像生成部３１０は、図１０におけるステップＢ２、ステップＢ３及びステップＢ４と同様に暫定復元画像を生成しても良い。
暫定パッチ生成部３２０は、暫定復元画像をブロックに分割して、複数の暫定パッチを生成する（ステップＣ３）。
復元部６３０は、暫定復元画像中の低信頼領域６０を判定する（ステップＣ４）。
復元部６３０は、復元パッチを選択し直す（ステップＣ５）。復元部６３０は、ステップＣ５を、低信頼性領域７０に含まれる暫定パッチに関して、繰り返す。
復元部６３０は、低信頼領域６０に関して新たに選択した復元パッチを用いて、暫定復元画像を更新する（ステップＣ６）。
復元部６３０は、低信頼領域６０に関する新たに復元パッチの選択を基に、暫定復元画像に変更があったか否かを判定する（ステップＣ７）。変更があったと判定した場合、復元部６３０は、新たに暫定パッチを生成し、低信頼領域６０を判定し、暫定復元画像を更新する処理を繰り返す（ステップＣ３、ステップＣ４、ステップＣ５、ステップＣ６及びステップＣ７）。
又は、復元部６３０は、低信頼領域６０に関する新たに復元パッチの選択を基に、暫定復元画像の更新回数を判定しても良い（ステップＣ７）。更新回数が所定の回数以下の場合に、復元部６３０は、新たに暫定パッチを生成し、低信頼領域６０に関して暫定復元画像を更新する処理を繰り返しても良い（ステップＣ３、ステップＣ４、ステップＣ５、ステップＣ６及びステップＣ７）。更新を繰り返す回数は、予め一定の回数が設定されていても良い。又は、更新を繰り返す回数は、ユーザの入力を基に設定されても良い。
ステップＣ７において、変更がなかったと判定した場合、復元部６３０は、最新の暫定復元画像を復元画像として表示区別部６４０に出力する。又は、ステップＣ７において、更新回数が一定回数に達した場合、復元部６３０は、最新の暫定復元画像を復元画像として出力しても良い。
表示区別部６４０は、復元画像中における低信頼領域６０と、低信頼領域６０以外の領域とを区別可能な区別情報を復元画像に付与する（ステップＣ８）。
表示区別部６４０は、区別情報が付与された復元画像を出力する（ステップＣ９）。
以上説明したように、第３実施形態に係る画像処理装置６００は、計算コストを抑えて効率よく精度の良い復元画像を生成できる。
その理由は、復元部６３０が、全ての暫定パッチに関して復元パッチを選択し直すのではなく、信頼性が低い領域に絞って復元パッチを選択し直すからである。
また、第３実施形態に係る画像処理装置６００に基づけば、ユーザは、画像の復元度合いとして、信頼性の低い領域を目視で認識できる。
その理由は、表示区別部６４０が、信頼性の低い領域を、それ以外の領域と区別可能な情報を復元画像に付与するからである。
＜第４実施形態＞
次に図２３及び図２４を参照して、本発明の第４実施形態に係る画像処理装置７００の機能構成を説明する。
図２３は、第４実施形態に係る画像処理装置７００の構成の一例を示すブロック図である。
図２３に示すように、画像処理装置７００は、暫定復元画像生成部７１０と、暫定パッチ生成部７２０と、復元部７３０とを含む。画像処理装置７００は、辞書８００を利用して、入力された劣化画像から復元画像を生成する。なお、暫定復元画像生成部７１０、暫定パッチ生成部７２０、復元部７３０及び辞書８００は、第１実施形態における暫定復元画像生成部３１０、暫定パッチ生成部３２０、復元部３３０及び辞書２００と同様の構成でも良い。
辞書８００は、学習画像から生成した劣化画像のパッチである劣化パッチと、学習画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する。
暫定復元画像生成部７１０は、外部から受け付けた入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて復元パッチを選択し、選択した復元パッチを基に暫定復元画像を生成する。
暫定パッチ生成部７２０は、暫定復元画像を分割して暫定パッチを生成する。
復元部７３０は、入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する。
図２４は、第４実施形態に係る画像処理装置７００の動作の一例を示すフローチャートである。
図２４に示すように、暫定復元画像生成部７１０は、外部から受け付けた入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて選択した復元パッチから暫定復元画像を生成する（ステップＤ１）。
暫定パッチ生成部７２０は、暫定復元画像を分割して暫定パッチを生成する（ステップＤ２）。
復元部７３０は、入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する（ステップＤ３）。
以上説明したように、第４実施形態に係る画像処理装置７００は、劣化パッチの類似度に加え、復元パッチの隣接類似性を考慮した場合と同様の効果を得ることができるため、計算コストを抑えながら精度の良い復元画像を生成できる。
次に、本発明に係る画像処理装置のハードウェア単位の構成要素について説明する。
図２５は、第１実施形態における画像処理装置３００とその周辺装置のハードウェア構成の一例を示すブロック図である。
ここでは、画像処理装置３００を例に説明するが、学習装置１００及び４００並びに画像処理装置５００、６００及び７００も、図２５に示すハードウェア構成を用いて実現されても良い。
図２５に示すように、画像処理装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１、記憶部２、記憶装置３及び通信部４を含む。また、画像処理装置３００は、入力部５及び出力部６に接続している。
ＣＰＵ１は、オペレーティングシステム（不図示）を動作させて、画像処理装置３００の全体の動作を制御する。また、ＣＰＵ１は、例えば、記憶装置３に装着された不揮発性の記録媒体（不図示）から、プログラム（例えば、図１０に示すフローチャートの動作をコンピュータに実行させるプログラム）及びデータを読み込み、読み込んだプログラム及びデータを記憶部２に書き込む。そして、ＣＰＵ１は、読み込んだプログラム及びデータに基づいて、図６に示す暫定復元画像生成部３１０、暫定パッチ生成部３２０及び復元部３３０として各種の処理を実行する。
尚、ＣＰＵ１は、通信網（不図示）に接続されている外部コンピュータ（不図示）から、記憶部２にプログラムやデータをダウンロードしても良い。
記憶部２は、プログラムやデータを記憶する。
記憶装置３は、例えば、光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク及び半導体メモリであって、不揮発性の記憶媒体を含む。記憶装置３は、プログラムをコンピュータ読み取り可能に記録する。また、記憶装置３は、データをコンピュータ読み取り可能に記録しても良い。
通信部４は、ネットワークと画像処理装置３００とのインタフェースを実現する。画像処理装置３００は、例えば、通信部４を介して辞書２００と接続しても良い。
入力部５は、例えば、マウスやキーボード、内蔵のキーボタンで実現され、入力操作に用いられる。入力部５は、マウスやキーボード、内蔵のキーボタンに限らず、例えば、タッチパネル、加速度計、ジャイロセンサ、カメラでも良い。
出力部６は、例えば、ディスプレイで実現され、出力を確認するために用いられる。
以上が、画像処理装置３００のハードウェア単位の各構成要素についての説明である。
以上説明したように、図６に示す機能単位のブロックは、図２５に示すハードウェア構成を用いて実現される。但し、画像処理装置３００が備える各部の実現は、上記に限定されない。すなわち、画像処理装置３００は、物理的に結合した１つの装置を用いて実現されても良い。また、画像処理装置３００は、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置を用いて実現されても良い。
また、前述のプログラムを記録した記録媒体（又は記憶媒体）が画像処理装置３００に供給されても良い。そして、画像処理装置３００は、記録媒体に格納されたプログラムを読み込み、実行しても良い。すなわち、本発明の実施形態は、画像処理装置３００が実行するプログラムを、一時的に又は非一時的に、記憶する記録媒体の実施形態を含む。
本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年１２月１２日に出願された日本出願特願２０１１−２７１５３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ ＣＰＵ
２ 記憶部
３ 記憶装置
４ 通信部
５ 入力部
６ 出力部
１０ 学習画像
２０ 劣化画像
３０ 入力画像
３１ 入力パッチ
４２ 暫定復元画像
４３ 暫定パッチ
５０ パッチ
５１ 画素群
５２ 画素
６０ 低信頼領域
１００、４００ 学習装置
１１０ 受付部
１２０、４２０ 劣化画像生成部
１３０、４３０ パッチペア生成部
１４０、４４０ 登録部
２００、２５０、８００ 辞書
２０１ 復元パッチ
２０２ 劣化パッチ
２０３、２０５ パッチペア
２０４ 劣化パラメタ
３００、５００、６００、７００ 画像処理装置
３１０、５１０、７１０ 暫定復元画像生成部
３１１ 受付部
３１２ パッチ生成部
３１３、５１３ 選択部
３１４、５１４ 合成部
３２０、５２０、７２０ 暫定パッチ生成部
３３０、５３０、６３０、７３０ 復元部
６４０ 表示区別部
１０００、２０００ 画像処理システム
Ｗ 重なり領域
Ｘ 画像
Ｙ パッチ
Ｚ 画素

Claims (8)

1. 所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納する辞書を利用し、
   入力された入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて選択した復元パッチから暫定復元画像を生成する暫定復元画像生成手段と、
   前記暫定復元画像を分割して暫定パッチを生成する暫定パッチ生成手段と、
   入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する復元手段と、
   を含む画像処理装置。
2. 前記暫定復元画像生成手段は、
   外部から画像を受け付ける受付手段と、
   前記受け付けた入力画像をブロックに分割して複数の入力パッチを生成するパッチ生成手段と、
   前記辞書に格納される組のデータの中から、前記複数の入力パッチと劣化パッチとの画像の類似度を示す値に基づいて入力パッチ毎に復元パッチを選択する選択手段と、
   前記選択した入力パッチ毎の復元パッチを合成して暫定復元画像を生成する合成手段と、
   を含む請求項１に記載の画像処理装置。
3. 前記類似度を示す値は、パッチ間の各画素の輝度値の差に基づいて算出される値である、
   請求項１又は２に記載の画像処理装置。
4. 前記辞書は劣化パッチの劣化パラメタを、劣化パッチ及び復元パッチと併せて格納し、
   前記復元手段は、入力パッチと劣化パッチとの類似度を示す値、暫定パッチと復元パッチとの類似度を示す値及び暫定パッチと劣化パッチとの劣化パラメタの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する、
   請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記復元手段は、
   前記暫定パッチと復元パッチとの類似度を示す値が、暫定パッチと復元パッチの類似度が低いことを示す値である領域に関して、復元パッチを選択して復元画像を生成する、
   請求項１〜４のいずれか一項に記載の画像処理装置。
6. 暫定パッチと復元パッチとの類似度を示す値が、暫定パッチと復元パッチの類似度が低いことを示す値である領域を、当該領域以外の領域と区別して表示する表示区別手段と、
   をさらに含む請求項５に記載の画像処理装置。
7. 所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納し、
   入力された入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて選択した復元パッチから暫定復元画像を生成し、
   前記暫定復元画像を分割して暫定パッチを生成し、
   入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する、
   画像処理方法。
8. 所定の画像を劣化させた劣化画像のパッチである劣化パッチと、前記所定の画像のパッチである復元パッチとを対応付けた二以上の組のデータを格納し、
   入力された入力画像を分割して生成した複数の入力パッチと劣化パッチとの類似度を示す値に基づいて選択した復元パッチから暫定復元画像を生成し、
   前記暫定復元画像を分割して暫定パッチを生成し、
   入力パッチと劣化パッチとの類似度を示す値及び暫定パッチと復元パッチとの類似度を示す値の合計値に基づいて選択した復元パッチから復元画像を生成する、
   処理をコンピュータに実行させるプログラム。

Images