JP5105286B2 - 画像復元装置、画像復元方法及び画像復元プログラム - Google Patents

Description

本発明は、画像処理技術に関し、特に、劣化画像から真の画像を復元するための画像復元装置、画像復元方法及び画像復元プログラムに関する。

撮像装置で被写体を撮影する際の手ぶれ（camera shake）や、被写体が動物体である場合の撮影などにより、撮影した画像に、ぶれ、即ち、ブラー（blur）と呼ばれる劣化現象が生じる場合がよくある。

画像処理技術において、ブラーのある画像（ブラーにより劣化してしまった画像）、即ち、ブラー画像（blurred image）は、ブラーのない原画像（以下、「真の画像」とも言う。）と、ブラーを表す点拡がり関数（Point Spread Function: ＰＳＦ）との畳み込み積分として定式化されるため、ブラー画像（以下、「劣化画像」とも言う。）から真の画像を復元する場合に、ＰＳＦの推定処理と、推定されたＰＳＦを利用した画像復元処理を行う必要がある（非特許文献１を参照）。

ＰＳＦ推定処理はそれ単独で困難な問題である。そのため、多くの手法では、直線的なぶれ（ブラー）を仮定し、ＰＳＦ推定処理を行っている（非特許文献２及び非特許文献３を参照）。しかし、現実に発生するブラーのＰＳＦは、これらの仮定では表現できない複雑な形状をしていることも多く（非特許文献４を参照）、十分な推定結果を得られない場合もある。近年、複雑な形状のＰＳＦを推定する手法も提案されており、小さいＰＳＦであれば良好な推定結果が得られることが報告されている（非特許文献４及び非特許文献５を参照）。

ＰＳＦが既知であるとしても、画像復元処理は、依然として困難な問題である。劣化画像には、高周波成分や特定の周波数成分が欠如しており、劣化画像から復元された画像（以下、「復元画像」とも言う。）には、リンギング（Ringing）などのアーティファクト（Artifact）が発生してしまうことが多い。つまり、復元画像のエッジ強度に対応して、リンギングが発生するという問題がある。また、劣化した周波数成分を復元する過程で、ノイズの成分も同時に増大されてしまう問題が発生してしまう。
特開２００６−２２１３４７号公報 特開２００７−１８３８４２号公報 ディー.クンドル(D.Kundur)・ディー.ハジナコス(D.Hatzinakos)共著,「ブラインド イメージ デコンボリューション（Blind image deconvolution）」,シグナル プロセッシング マガジン（Signal Processing Magazine）,IEEE,第13巻,第3号,p.43-64,1996年 ワイ.イズハキ(Y.Yitzhaky)・アイ.モル（I.Mor）・エイ.ランズマン（A.Lantzman）・エヌ.エス.コペイカ（N.S.Kopeika）共著,「ダイレクト メソッド フォー レストレイション オフ モーション ブラーレド イメージズ（Direct method for restoration of motion-blurred images）」,ジャーナル オフ ザ オプティカル ソサイエティ オフ アメリカ エイ（Journal of the Optical Society of America A）,第15巻,p.1512-1519,1998年 米司・田中・奥富共著,「直線的手ぶれ画像復元のためのpsfパラメータ推定手法」,情報処理学会研究報告,第2005巻,第38号,p.47-52,2005年 アール.ファーガス（R.Fergus）・ビー.シング（B.Singh）・エイ.ヘルツマン（A.Hertzmann）・エス.ティー.ロウイス（S.T.Roweis）・ダブリュー.ティー.フチーマン（W.T.Freeman）共著,「リムービング カメラ シェイク フロム ア シングル フォトグラフ（Removing camera shake from a single photograph）」,ＡＣＭ トランス. グラフ.（ACM Trans. Graph.）,第25巻,第3号,p.787-794,2006年 ジェー.ジア（J.Jia）著,「シングル イメージ モーション デブラーリング ユジング トランスペアレンシー（Single image motion deblurring using transparency）」,コンピュータ ビジョン アンド パターン リコグニション, ２００７ ＣＶＰＲ’０７. ＩＥＥＥ カンファレンス オン(Computer Vision and Pattern Recognition, 2007 CVPR’07. IEEE Conference on）,p.1-8,2007年 ダブリュー.エイチ.リチャードソン(W.H.Richardson)著,「ベイジアン ベーセッド イテラティブ メソッド オフ イメージ レストレイション（Bayesian-based iterative method of image restoration）」,ジャーナル オフ ザ オプティカル ソサイエティ オフ アメリカ（Journal of the Optical Society of America (1917-1983)）,第62巻,p.55-59,1972年 エル.ビー.ルーシー(L.B.Lucy)著,「アン イテラティブ テクニック フォー ザ レクテフィケーション オフ オブザーブド ディストリビューションズ（An iterative technique for the rectification of observed distributions）」,アストロノミカル ジャーナル（Astronomical Journal）,第79巻,p.745-754,1974年 エヌ.ウィーナー（N.Wiener）著,「エキストラポレション, インターポレション, アンド スムージング オフ ステイショナリ タイム シリーズ（Extrapolation, Interpolation, and Smoothing of Stationary Time Series）」,ザ ＭＩＴ プレス（The MIT Press）,1964年 米司・田中・奥富共著,「ヒューマンフレンドリーな復元フィルタの提案」,電子情報通信学会論文誌,第J90-D巻,第10号,p.2830-2839,2007年 ビー.バスクル（B.Bascle）・エイ.ブレーク（A.Blake）・エイ.ジサーマン（A.Zisserman）共著,「モーション デブラーリング アンド スーパーレゾルーション フロム アン イメージ シーケンス（Motion deblurring and super-resolution from an image sequence）」,ＥＣＣＶ’９６： プロスィーデイングズ オフ ザ ４ｔｈ ヨーロッピアン カンファレンス オン コンピュータ ビジョン ボリューム ＩＩ， ロンドン ＵＫ， スプリンガー ナラグ（ECCV’96: Proceedings of the 4th European Conference on Computer Vision-Volume II, London, UK, Springer-Verlag）,p.573-582,1996年 エイ.ラバーアチャ（A.Rav-Acha）・エス.ペレグ（S.Peleg）共著,「ツー モーション ブラーレド イメージズ アー ベター ザン ワン（Two motion-blurred images are better than one）」,パターン レコグナ. レタ.（Pattern Recogn. Lett.）,第26巻,第3号,p.311-317,2005年 エム.ベンーエズラ（M.Ben-Ezra）・エス.ケイ.ナイヤル（S.K.Nayar）共著,「モーション デブラーリング ユジング ハイブリッド イメージング（Motion deblurring using hybrid imaging）」,cvpr,第01巻,p.657,2003年 エル.ユアン（L.Yuan）・ジェー.サン（J.Sun）・エル.クアン（L.Quan）・エイチ.ワイ.シュム（H.-Y.Shum）共著,「イメージ デブラーリング ウィズ ブラーレド／ノイジー イメージ ペアズ（Image deblurring with blurred/noisy image pairs）」,SIGGRAPH’07:ACM SIGGRAPH 2007 papers, New York,NY,USA,ACM,p.1,2007年 ジー.ペツチニグ（G.Petschnigg）・アール.スゼリスキ（R.Szeliski）・エム.アグラワラ（M.Agrawala）・エム.コヘン（M.Cohen）・エイチ.ホッペ（H.Hoppe）・ケイ.トヤマ（K.Toyama）共著,「デジタル フォトグラフィー ウィズ フラッシュ アンド ノーフラッシュ イメージ ペアズ（Digital photography with flash and no-flash image pairs）」,ＡＣＭ トランス. グラフ.（ACM Trans. Graph.）,第23巻,第3号,p.664-672,2004年 ワイ.ワイス（Y.Weiss）・ダブリュー.フリーマン（W.Freeman）共著,「ホワット メイクス ア グッド モデル オフ ナチュラル イメージズ？（What makes a good model of natural images?）」,コンピュータ ビジョン アンド パターン リコグニション, ２００７ ＣＶＰＲ’０７． ＩＥＥＥ カンファレンス オン（Computer Vision and Pattern Recognition, 2007 CVPR’07. IEEE Conference on）,p.1-8,2007年 奥富・他共著,「ディジタル画像処理」,ＣＧ−ＡＲＴＳ協会

従来、ＰＳＦが既知であり、撮影された劣化画像から真の画像を復元する画像復元方法として、リチャードソン・ルーシー法（Richardson-Lucy法：ＲＬ法）（非特許文献６及び非特許文献７を参照）やウィーナーフィルタ（非特許文献８を参照）がよく知られている。ＲＬ法もウィーナーフィルタも、撮影された劣化画像を直接利用して、画像復元処理を行っている。

そのため、ＲＬ法又はウィーナーフィルタによって復元された復元画像のエッジ強度も大きく、結果として、ＲＬ法又はウィーナーフィルタによって復元された復元画像に大きなリンギングが発生してしまう問題がある。

つまり、ＲＬ法又はウィーナーフィルタを利用して、先鋭な結果が得られるように復元パラメータを調節すると、その復元結果（復元画像）には大きなノイズやリンギングが含まれてしまう問題が発生する。その問題を解決するため、復元パラメータの調整が容易な手法も報告されている（非特許文献９を参照）。

また、ＲＬ法もウィーナーフィルタも、画像全体に均質な処理を行っているため、特に、復元画像のテクスチャレス領域において、ノイズやリンギングの影響がより目立ってしまうという問題点がある。

更に、複数の劣化画像を利用して、真の画像を復元する画像復元方法も提案されている（非特許文献１０、非特許文献１１及び非特許文献１２を参照）。また、ユアンらは、ノイズが大きく含まれるがぶれの小さい画像と、ノイズは小さいもののぶれの大きい画像を組み合わせて利用することにより、リンギングを抑えた復元画像が得られる画像復元方法を提案している（非特許文献１３を参照）。

また、劣化画像から真の画像を復元する画像復元処理の問題に限らず、複数の画像を利用した画質改善方法も提案されており、例えば、フラッシュ有りとフラッシュ無しの画像ペアを用いてノイズを抑える画質改善方法（非特許文献１４を参照）などが挙げられる。画像ペアを用いる画像処理方法では、一枚の劣化画像のみを利用した画像復元方法よりも、画像処理結果の向上が期待されるものの、異なる性質を持つ画像間の位置合わせを行う必要がある。更に、そもそも、一つの被写体に対して複数の画像を撮影する必要があるという問題もある。

本発明は、上述のような事情からなされたものであり、本発明の目的は、既知のＰＳＦ及び１枚の劣化画像に基づき、真の画像を復元することにより、リンギングやノイズを抑えた復元画像を生成するようにした、画像復元装置、画像復元方法及び画像復元プログラムを提供することにある。

本発明は、既知のＰＳＦ及び１枚の劣化画像に基づき、真の画像を復元することにより、リンギングやノイズを抑えた復元画像を生成するようにした画像復元装置に関し、本発明の上記目的は、ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることにより、或いは、前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表すことにより、或いは、前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表すことによって効果的に達成される。

また、本発明の上記目的は、ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることにより、或いは、前記画像復元処理部では、生成された劣化残差画像に対して、ウィーナーフィルタによる画像復元処理、又は、リチャードソン・ルーシー法による画像復元処理を行い、復元残差画像を生成することによって効果的に達成される。

また、本発明の上記目的は、ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、前記劣化画像に対して、前記ベース画像生成処理部からの生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する、画像復元処理部とを備えることにより、或いは、前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ(ｕ,ｖ)は前記劣化画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表すことにより、或いは、前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表すことによって効果的に達成される。

また、本発明の上記目的は、前記ベース画像生成処理部は、前記劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する、画像復元第１処理部と、生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、前記ベース画像を生成する、フィルタ処理部とを備えることにより、或いは、前記画像復元第１処理部では、前記劣化画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元画像を生成することによって効果的に達成される。

また、本発明の上記目的は、前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、前記ベース画像生成処理部は、前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部とを備え、前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理であることにより、或いは、前記画像復元第１処理部では、生成された第１劣化残差画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元残差画像を生成することによって効果的に達成される。

また、本発明の上記目的は、前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、前記ベース画像生成処理部は、前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部とを備え、前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理であることにより、或いは、前記画像復元第１処理部では、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ_０(ｕ,ｖ)を生成し、
ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ_０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表すことにより、或いは、前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
ただし、ｒ_０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ_０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表すことによって効果的に達成される。

本発明は、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する画像復元処理を行い、リンギングやノイズ等を抑えた復元画像を生成できるようにした画像復元装置、画像復元方法、及び画像復元プログラムに関するものである。

本発明が有する「劣化残差画像を利用した画像復元」との特徴によれば、劣化画像をベース画像と劣化残差画像に分けるようにし、劣化残差画像に対して画像復元処理を行うことにより、復元された残差画像（復元残差画像）の振幅（分散）が小さくなり、結果としてリンギングを低減できるという効果を奏する。

また、本発明が有する「繰り返し処理によるベース画像生成」との特徴によれば、１枚の劣化画像からベース画像を漸進的に生成する過程において、復元された残差画像（復元残差画像）に基づき、ベース画像を更新し、更に、更新されたベース画像に基づき、劣化残差画像も更新され、更新された劣化残差画像に対して画像復元処理を繰り返すことにより、ベース画像が漸進的に真の画像に近づくことができ、そして、真の画像に近づいたベース画像と、当該ベース画像に基づいて復元された復元残差画像とによって、より先鋭な復元画像を生成することができるという効果を奏する。

更に、本発明が有する「適応的な拘束パラメータによる画像復元」との特徴によれば、劣化残差画像に対する画像復元を行う際に、ベース画像と劣化残差画像との関係に基づき、拘束パラメータを適応的に（空間的に）変化させることにより、つまり、ベース画像の勾配が大きいところでは拘束を弱く、ベース画像の勾配が小さいところでは拘束を強くするように、拘束パラメータを適応的に設定することにより、エッジを保存しながらも、リンギングやノイズを抑えた復元画像を生成することができるという優れた効果を奏する。

つまり、本発明の「適応的な拘束パラメータによる画像復元」との特徴によれば、エッジ部分は先鋭化され、テクスチャレス領域ではノイズ低減の効果がある。また、リンギングが目立つテクスチャレス領域において、リンギングを効果的に低減することができる。

このように、本発明によれば、劣化画像１枚のみを利用するだけで、ユアンらが提案した複数の劣化画像を利用した画像復元方法によって達成できた効果を実現することができる。

換言すれば、本発明によれば、ユアンらのように複数の劣化画像を利用することもなく、１枚の劣化画像のみを利用して、リンギングやノイズを抑えた復元画像を生成することができるという顕著な効果を奏する。

最初に、本発明の着眼点について述べる。

背景技術にも述べたように、劣化画像から真の画像を復元する画像復元技術において、復元画像のエッジ強度に対応して、リンギングが発生するという問題点がある。本発明の発明者らは、この点に着眼し、劣化画像から復元された画像（復元画像）のエッジ強度を小さくすることにより、復元画像におけるリンギングの影響を減らすことを実現し、つまり、リンギングを抑えた復元画像が得られる画像復元技術を発明した。

本発明は、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対して、リンギングやノイズを抑えた復元画像を生成するようにした画像復元装置、画像復元方法及び画像復元プログラムに関するものである。

本発明では、劣化画像におけるブラーは均一であることを前提とする。また、本発明を適用する際に、ＰＳＦは既知であることも１つの前提である。ＰＳＦが未知であっても、ＰＳＦを推定するために、例えば、ジャイロセンサなどの計測センサを利用してＰＳＦを計測するようにしてもよく、また、劣化画像からＰＳＦを推定する方法を利用することも可能である。劣化画像からＰＳＦを推定する方法としては、例えば、特許文献１に開示された「ぶれ情報検出方法」や、非特許文献４に記載された方法を利用することが勿論可能である。

本発明では、劣化画像を「ベース画像」と「劣化残差画像」に分解するという斬新な技術思想を提案し、換言すれば、真の画像を「ベース画像」と「残差画像」に分解するという斬新な技術思想を提案し、そして、その技術思想に基づいて構築された、「劣化残差画像を利用した画像復元」という技術、「繰り返し処理によるベース画像生成」という技術、及び「劣化画像におけるリンギングの目立ち具合に応じて設定された適応的な拘束パラメータによる画像復元」という技術を大きな特徴とする。

＜１＞劣化残差画像を利用した画像復元
まず、「劣化残差画像を利用した画像復元」について説明する。

画像処理技術分野において、劣化画像から真の画像を復元する画像復元では、復元画像に発生してしまうリンギングと呼ばれるアーティファクトが問題となる。

図１に、一次元画像における劣化画像（ブラー画像）と、復元画像に発生するリンギングの例を示す。図１から分かるように、復元画像のエッジ周辺にリンギングと呼ばれる波状のアーティファクトが発生している。リンギングは、エッジなどの不連続点で顕著に表れるアーティファクトであり、一種のギブス現象であると考えられている。このリンギングの大きさは、エッジなどの不連続点のギャップの大きさに比例するという特徴がある。

このため、本発明の発明者らは、図２のように、何らかの方法で復元すべき画像の不連続点でのギャップを小さくすることができれば、リンギングの影響もまた小さくすることができることを考え出した。

つまり、復元すべき画像の振幅を小さくすることができれば、リンギングを小さくすることができるということに着眼して、本発明がなされた訳である。本発明で言う「劣化残差画像」は、その定義からも分かるように、原画像（真の画像）に比べて、振幅が小さいため、結果として、劣化残差画像を利用した画像復元を行うことにより、リンギングの影響を抑えた復元画像を得ることが可能になる。

ここで、劣化残差画像を利用した画像復元問題の定式化を行う。
を画像上の座標を表すベクトルとして、真の画像（原画像）を
とし、劣化画像（ブラー画像）を
としたとき、劣化画像から原画像を復元する画像復元問題は、下記数１によって定式化することができる。

ここで、
はブラーを表すＰＳＦを、
はノイズを、＊は畳み込み積分をそれぞれ表す。

なんらかのベース画像
が得られているとすると、原画像
は、ベース画像
と残差画像
の和として、下記数２のように表される。

上記数２を利用し、上記数１で定式化された「原画像を復元する画像復元問題」を、「残差画像を復元する画像復元問題」として、下記数３のように、定式化することができる。

ここで、
は劣化残差画像を表し、下記数４のように定義される。

ベース画像
が既知であれば、即ち、劣化画像からベース画像を生成すれば、上記数３に基づき、劣化残差画像から残差画像を復元することが可能になり、よって原画像を復元することができる。

つまり、数１で定式化された「劣化画像から原画像を復元する画像復元問題」を、ベース画像を介して、数３で定式化された「劣化残差画像から残差画像を復元する画像復元問題」として再定義したことは、本発明の大きな特徴の１つである。

本発明では、劣化残差画像に対する画像復元を行うことにより、ベース画像を介して、劣化画像に対する画像復元を実現しており、その劣化残差画像の振幅が原画像の振幅よりも小さいため、リンギングを抑えた復元画像を生成することが可能になる。

また、数１と数３を比較して分かるように、原画像と残差画像の相違、そして、劣化画像と劣化残差画像の相違はあるものの、数１と数３は形式的には全く同じである。

換言すれば、本発明では、劣化残差画像から残差画像を復元する画像復元処理に対しても、従来から提案された通常の劣化画像から真の画像を復元する画像復元方法をそのまま適用することが勿論可能である。

＜２＞繰り返し処理によるベース画像生成
次に、１枚の劣化画像のみを利用して、ベース画像を繰り返し処理により漸進的に生成することについて説明する。つまり、本発明では、１枚の劣化画像から、「ベース画像」と呼ばれる真の画像に近い画像を繰り返し更新しながら漸進的に生成することを大きな特徴としている。

換言すれば、本発明で言う「ベース画像」は、リンギングやノイズが含まれていない画像であることが望ましい。また、ベース画像は、真の画像（原画像）のおおよその形状を表していることが好ましい。ベース画像と原画像は近いほうが望ましいが、一致する必要はなく、大まかな構造やエッジが似通っていればよい。

本発明では、１枚の劣化画像からベース画像を漸進的に生成する場合にも、＜１＞で述べた「劣化残差画像を利用した画像復元」という技術思想を利用する。

つまり、劣化画像から何らかの方法で最初のベース画像を生成し、劣化画像と生成されたベース画像との差分を計算することで、劣化残差画像を生成し、そして、生成された劣化残差画像から残差画像を復元する。復元された残差画像（以下、「復元残差画像」と言う）は、多少のノイズやリンギングを含んでいるが、シャープなエッジを保持しており、劣化画像よりも原画像に近い画像である。

本発明では、この復元残差画像に基づき、ベース画像を更新し、更新されたベース画像と劣化画像とを利用して劣化残差画像を生成し、生成された劣化残差画像に対して再び画像復元を行う、という繰り返し方法を利用して、ベース画像を漸進的に生成するようにしている。

まず、最初のベース画像の生成方法について述べる。最初のベース画像においては、リンギングやノイズを含まず、原画像のおおよその形状、つまり、低周波数成分が表されていればよい。本発明では、劣化画像に対してバイラテラルフィルタを適用することにより、最初のベース画像を生成することが望ましい。

次に、ｎ回目の繰り返しのベース画像、即ち、ｎ回目のベース画像
を、（ｎ＋１）回目のベース画像
に更新することについて、具体的に説明する。

復元残差画像に基づき、ベース画像を更新するものの、復元残差画像にノイズやリンギングが含まれるため、復元残差画像をそのまま（ｎ＋１）回目のベース画像とすることは望ましくない。

劣化残差画像を利用した画像復元において、復元画像は、ｎ回目のベース画像
と、劣化残差画像から残差画像を復元した結果である、ｎ回目の復元残差画像
の和となる。このｎ回目の復元残差画像
には、振幅が比較的小さいとはいえ、リンギングやノイズの影響が含まれている。

本発明では、復元残差画像に含まれるリンギングやノイズの影響を除去または低減した上で、リンギングやノイズの影響を除去または低減された復元残差画像をベース画像に加えるようにして、ベース画像を更新する。

本発明では、復元残差画像に含まれるリンギングやノイズの影響を低減する方法として、様々な手法を利用することが可能であり、その好適例として、ベース画像を利用したジョイントバイラテラルフィルタを利用する（非特許文献１４を参照）。

ジョイントバイラテラルフィルタは、画像ペアの画質改善に効果的であると知られており、下記数５で定義される。

ここで、
はジョイントバイラテラルフィルタを表す関数である。Ｇ_ｄ,Ｇ_ｒはそれぞれ分散がσ_ｄ,σ_ｒのガウス関数である。また、
の近傍ウィンドウを表し、
は正規化項を表す。

通常のバイラテラルフィルタでは、復元残差画像の画素値の差に基づく重みを利用している。一方、ジョイントバイラテラルフィルタでは、ベース画像の画素値の差
に基づく重みを利用する。

本発明では、ベース画像は原画像のおおよその形状を表しており、リンギングやノイズの影響が少ないとの性質を有しているので、ジョイントバイラテラルフィルタを利用することにより、効果的に復元残差画像に含まれるリンギングやノイズの影響を減らすことができる。

ジョイントバイラテラルフィルタを利用して、（ｎ＋１）回目のベース画像
は、下記数６のように更新される。

ここで、
はｎ回目に復元された残差画像（ｎ回目の復元残差画像）である。

更新されたベース画像
を利用して、（ｎ＋１）回目に復元された残差画像
が得られる。このように、本発明では、ベース画像は漸進的に更新されながら生成される。

＜３＞適応的な拘束パラメータによる画像復元
＜２＞では、繰り返し処理によるベース画像生成について詳細に説明した。本発明では、漸進的繰り返し処理によりベース画像を生成する過程中において、劣化残差画像に対する画像復元を繰り返し行うことにより、ベース画像を漸進的に生成するようにしている。

ところで、劣化残差画像に対する画像復元処理は、通常の劣化画像に対する画像復元と同様に行うことができる。そこで、本発明では、ＭＡＰ（Maximum A Posteriori）法に基づき、劣化残差画像に対する画像復元を行うことにした。

画像復元におけるＭＡＰ法は、尤度分布や事前確率分布の定義などによって様々であるが、最も典型的なＭＡＰ法は、下記数７で表す評価関数Ｅの最適化問題として定式化され、つまり、誤差項と拘束項からなる評価関数の最適化問題として定式化される。

ここで、αは拘束の強さを表す、事前確率に対応する拘束項のパラメータ（定数の拘束パラメータ）である。上記数７の評価関数に基づく画像復元処理は、結果として、ノイズのパワースペクトルと原画像のパワースペクトルの比を一定と仮定したときのウィーナーフィルタによる画像復元処理であると考えることもできる（非特許文献８を参照）。また、残差画像
の事前確率分布をガウス関数でモデル化したという解釈も可能である。一方、自然画像の事前確率分布は、ガウス関数とは異なるため、ガウス関数で事前確率分布をモデル化すると、復元画像が過度に滑らかになってしまうという問題点があることが知られている（非特許文献１５を参照）。

本発明の発明者らは、ＭＡＰ法に基づいて、劣化残差画像に対する画像復元を行う際に、拘束パラメータを定数で固定するのではなく、ベース画像の勾配に基づき、拘束パラメータを適応的に（空間的に）変化させることを発明した。

つまり、本発明では、劣化残差画像の分散が小さいと予想されるところでは拘束パラメータを大きく、劣化残差画像の分散が大きいと予想されるところでは拘束パラメータを小さく設定するようにする。

さらに、本発明では、ベース画像は原画像のおおよその形状、つまり、低周波成分に対応しており、また、劣化残差画像は高周波成分に対応しているため、ベース画像の勾配の大きいところでは劣化残差画像の分散は大きく、また、ベース画像の勾配の小さいところでは劣化残差画像の分散も小さいことが予想される。

従って、本発明では、ベース画像の勾配に基づき、即ち、ベース画像の勾配が大きいところでは拘束を弱く、ベース画像の勾配が小さいところでは拘束を強くするように、拘束パラメータを適応的に設定する。

本発明で言う「適応的に設定できる拘束パラメータ」を持つ評価関数は、下記数８で表される。

ここで、
はベース画像の勾配を表す。
は適応的に設定できる拘束パラメータである。また、γ、λはその適応的に設定できる拘束パラメータ
を設計（設定）するための調節パラメータである。

上記数８の評価関数をベクトル表現し、解析的に復元残差画像を求めることも理論的には可能であるが、未知数が画素数と同じ大規模な問題となるため、本発明では、共益勾配法により復元残差画像を求めることにする。

また、人間の視覚として、テクスチャの豊富な領域においては、リンギングを知覚しにくいが、テクスチャのない領域では、リンギングは顕著に知覚されるとの現象がある。上記数８の評価関数によれば、結果として、テクスチャのない領域におけるリンギングを抑える効果もあり、よって、本発明に係る画像復元方法は、視覚的にも合理的な方法と言える。

以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。

図３は本発明に係る画像復元装置の第１実施形態を示すブロック構成図である。

図３に示すように、本発明の第１実施形態に係る画像復元装置（以下、単に「画像復元装置１」とも言う。）は、ベース画像生成処理部１０と、ぼかし画像生成処理部２０と、劣化残差画像生成処理部３０と、画像復元処理部４０と、復元画像生成処理部５０とから構成され、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する復元画像を生成するものである。

本発明の画像復元装置１では、まず、ベース画像生成処理部１０が、劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する。ベース画像生成処理部１０により生成された、生成済みベース画像は、真の画像におおよその形状が似ており、リンギングやノイズを含まない画像である。また、その生成済みベース画像は、真の画像に近いほど理想的ではあるが、それほど近くない場合にも、本発明に利用することが可能である。

次に、ぼかし画像生成処理部２０が、ベース画像生成処理部１０から出力された生成済みベース画像と、ＰＳＦとの畳み込み積分を行うことにより、つまり、生成済みベース画像を、ブラーを表すＰＳＦによりぼかすことにより、ぼかし画像を生成する。

そして、劣化残差画像生成処理部３０が、ぼかし画像生成処理部２０により生成されたぼかし画像と、劣化画像との差分画像を計算することにより、劣化残差画像を生成する。

次に、画像復元処理部４０が、劣化残差画像生成処理部３０により生成された劣化残差画像に対して、生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する。

最後に、復元画像生成処理部５０が、画像復元処理部４０により生成された復元残差画像に、生成済みベース画像を加えることにより、復元画像を生成する。

図４は本発明に係る画像復元装置の第２実施形態を示すブロック構成図である。

図４に示すように、本発明の第２実施形態に係る画像復元装置（以下、単に「画像復元装置２」とも言う。）は、ベース画像生成処理部１０と、ぼかし画像生成処理部２０と、劣化残差画像生成処理部３０と、画像復元処理部４１と、復元画像生成処理部５０とから構成され、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する復元画像を生成するものである。

本発明の画像復元装置２では、まず、ベース画像生成処理部１０が、劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する。ベース画像生成処理部１０により生成された、生成済みベース画像は、真の画像におおよその形状が似ており、リンギングやノイズを含まない画像である。また、その生成済みベース画像は、真の画像に近いほど理想的ではあるが、それほど近くない場合にも、本発明に利用することが可能である。

次に、ぼかし画像生成処理部２０が、ベース画像生成処理部１０から出力された生成済みベース画像と、ＰＳＦとの畳み込み積分を行うことにより、つまり、生成済みベース画像を、ブラーを表すＰＳＦによりぼかすことにより、ぼかし画像を生成する。

そして、劣化残差画像生成処理部３０が、ぼかし画像生成処理部２０により生成されたぼかし画像と、劣化画像との差分画像を計算することにより、劣化残差画像を生成する。

次に、画像復元処理部４１が、劣化残差画像生成処理部３０により生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する。また、画像復元処理部４１では、既存の画像復元方法、例えば、ウィーナーフィルタ、ＲＬ法、特許文献２に記載の画像復元方法を用いて、画像復元処理を行う。

最後に、復元画像生成処理部５０が、画像復元処理部４０により生成された復元残差画像に、生成済みベース画像を加えることにより、復元画像を生成する。

図５は本発明に係る画像復元装置におけるベース画像生成処理部の第１実施形態を示すブロック構成図である。

図５に示すように、本発明の第１実施形態に係るベース画像生成処理部１０（以下、単に「ベース画像生成処理装置１」とも言う。）は、画像復元第１処理部１０１と、フィルタ処理部１０２とから構成される。

本発明のベース画像生成処理装置１（即ち、図５に示すベース画像生成処理部１０）では、まず、画像復元第１処理部１０１が劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する。また、画像復元第１処理部１０１が行う画像復元第１処理とは、既存の画像復元方法による画像復元処理である。既存の画像復元方法とは、例えば、ウィーナーフィルタ、ＲＬ法、特許文献２に記載の画像復元方法などである。

次に、フィルタ処理部１０２が、画像復元第１処理部１０１により生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、ベース画像を生成する。また、フィルタ処理部１０２が行うフィルタ処理とは、例えば、ローパスフィルタ、メディアンフィルタ、バイラテラルフィルタによるフィルタ処理である。

本発明では、ベース画像生成処理装置１（即ち、図５に示すベース画像生成処理部１０）は、画像復元装置１におけるベース画像生成処理部１０としても、また、画像復元装置２におけるベース画像生成処理部１０としても、利用することができる。

図６は本発明に係る画像復元装置におけるベース画像生成処理部の第２実施形態を示すブロック構成図である。

図６に示すように、本発明の第２実施形態に係るベース画像生成処理部１０（以下、単に「ベース画像生成処理装置２」とも言う。）は、第１フィルタ処理部１１１と、第１ぼかし画像生成処理部１１２と、第１劣化残差画像生成処理部１１３と、画像復元第１処理部１１４と、第２フィルタ処理部１１５と、ベース画像更新処理部１１６と、繰り返し処理終了判断部１１８とから構成される。

本発明のベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）において行われるベース画像生成処理が、繰り返し処理であり、当該繰り返し処理により、ベース画像が漸進的に生成される。

本発明のベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）では、まず、第１フィルタ処理部１１１が劣化画像に対して、第１フィルタ処理を行うことにより、ベース画像の初期値を生成する。また、第１フィルタ処理部１１１が行う第１フィルタ処理とは、例えば、ローパスフィルタ、メディアンフィルタ、バイラテラルフィルタによるフィルタ処理である。なお、第１フィルタ処理部１１１が、劣化画像に対して第１フィルタ処理を行わずに、劣化画像そのものをそのままベース画像の初期値とするようにしても良い。

次に、第１ぼかし画像生成処理部１１２がベース画像とＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する。

そして、第１劣化残差画像生成処理部１１３が、第１ぼかし画像生成処理部１１２により生成された第１ぼかし画像と、劣化画像との差分画像を計算することにより、第１劣化残差画像を生成する。

次に、画像復元第１処理部１１４が、第１劣化残差画像生成処理部１１３により生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する。

そして、第２フィルタ処理部１１５が、画像復元第１処理部１１４により生成された第１復元残差画像とベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する。また、第２フィルタ処理部１１５が行う第２フィルタ処理とは、例えば、ジョイントバイラテラルフィルタ、バイラテラルフィルタ、ローパスフィルタによるフィルタ処理である。なお、ジョイントバイラテラルフィルタの詳細については、非特許文献１４に開示されている。

次に、ベース画像更新処理部１１６が、第２フィルタ処理部１１５により生成された更新画像をベース画像に加えることにより、ベース画像を更新する。

最後に、繰り返し処理終了判断部１１８が、所定の繰り返し処理終了条件を満たすか否かを判断し、繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を生成済みベース画像とし、また、繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像をベース画像とし、繰り返し処理を続ける。また、所定の繰り返し処理終了条件は、ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は更新画像の画素値の二乗和が所定の値以下になるという条件３である。

また、本発明のベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）において行われる繰り返し処理とは、第１ぼかし画像生成処理部１１２にて行われる処理、第１劣化残差画像生成処理部１１３にて行われる処理、画像復元第１処理部１１４にて行われる処理、第２フィルタ処理部１１５にて行われる処理、ベース画像更新処理部１１６にて行われる処理、及び繰り返し処理終了判断部１１８にて行われる処理である。

本発明では、ベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）は、画像復元装置１におけるベース画像生成処理部１０としても、また、画像復元装置２におけるベース画像生成処理部１０としても、利用することができる。

図７は本発明に係る画像復元装置におけるベース画像生成処理部の第３実施形態を示すブロック構成図である。

図７に示すように、本発明の第３実施形態に係るベース画像生成処理部１０（以下、単に「ベース画像生成処理装置３」とも言う。）は、第１フィルタ処理部１１１と、第１ぼかし画像生成処理部１１２と、第１劣化残差画像生成処理部１１３と、画像復元第１処理部１１７と、第２フィルタ処理部１１５と、ベース画像更新処理部１１６と、繰り返し処理終了判断部１１８とから構成される。

本発明のベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）において行われるベース画像生成処理が、繰り返し処理であり、当該繰り返し処理により、ベース画像が漸進的に生成される。

本発明のベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）では、まず、第１フィルタ処理部１１１が劣化画像に対して、第１フィルタ処理を行うことにより、ベース画像の初期値を生成する。また、第１フィルタ処理部１１１が行う第１フィルタ処理とは、例えば、ローパスフィルタ、メディアンフィルタ、バイラテラルフィルタによるフィルタ処理である。なお、第１フィルタ処理部１１１が、劣化画像に対して第１フィルタ処理を行わずに、劣化画像そのものをそのままベース画像の初期値とするようにしても良い。

次に、第１ぼかし画像生成処理部１１２がベース画像とＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する。

そして、第１劣化残差画像生成処理部１１３が、第１ぼかし画像生成処理部１１２により生成された第１ぼかし画像と、劣化画像との差分画像を計算することにより、第１劣化残差画像を生成する。

次に、画像復元第１処理部１１７が、第１劣化残差画像生成処理部１１３により生成された第１劣化残差画像に対して、ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する。

そして、第２フィルタ処理部１１５が、画像復元第１処理部１１４により生成された第１復元残差画像とベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する。また、第２フィルタ処理部１１５が行う第２フィルタ処理とは、例えば、ジョイントバイラテラルフィルタ、バイラテラルフィルタ、ローパスフィルタによるフィルタ処理である。なお、ジョイントバイラテラルフィルタの詳細については、非特許文献１４に開示されている。

次に、ベース画像更新処理部１１６が、第２フィルタ処理部１１５により生成された更新画像をベース画像に加えることにより、ベース画像を更新する。

最後に、繰り返し処理終了判断部１１８が、所定の繰り返し処理終了条件を満たすか否かを判断し、繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を生成済みベース画像とし、また、繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像をベース画像とし、繰り返し処理を続ける。また、所定の繰り返し処理終了条件は、ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は更新画像の画素値の二乗和が所定の値以下になるという条件３である。

また、本発明のベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）において行われる繰り返し処理とは、第１ぼかし画像生成処理部１１２にて行われる処理、第１劣化残差画像生成処理部１１３にて行われる処理、画像復元第１処理部１１７にて行われる処理、第２フィルタ処理部１１５にて行われる処理、ベース画像更新処理部１１６にて行われる処理、及び繰り返し処理終了判断部１１８にて行われる処理である。

本発明では、ベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）は、画像復元装置１におけるベース画像生成処理部１０としても、また、画像復元装置２におけるベース画像生成処理部１０としても、利用することができる。

図８は本発明に係る画像復元装置の第３実施形態を示すブロック構成図である。

図８に示すように、本発明の第３実施形態に係る画像復元装置（以下、単に「画像復元装置３」とも言う。）は、ベース画像生成処理部１０と、画像復元処理部４２とから構成され、ブラーにより劣化してしまった１枚の劣化画像と、ブラーを表す既知のＰＳＦに基づき、劣化画像に対する復元画像を生成するものである。

本発明の画像復元装置３では、まず、ベース画像生成処理部１０が、劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する。ベース画像生成処理部１０により生成された、生成済みベース画像は、真の画像におおよその形状が似ており、リンギングやノイズを含まない画像である。また、その生成済みベース画像は、真の画像に近いほど理想的ではあるが、それほど近くない場合にも、本発明に利用することが可能である。

次に、画像復元処理部４２が、劣化画像に対して、ベース画像生成処理部１０から出力された生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元画像を生成する。

本発明では、画像復元装置３におけるベース画像生成処理部１０として、ベース画像生成処理装置１（即ち、図５に示すベース画像生成処理部１０）、ベース画像生成処理装置２（即ち、図６に示すベース画像生成処理部１０）、又はベース画像生成処理装置３（即ち、図７に示すベース画像生成処理部１０）の何れかを利用することができる。

本発明の画像復元装置３における画像復元処理部４２では、生成済みベース画像を利用して、生成済みベース画像の勾配が大きいところでは拘束を弱く、生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元画像を生成する。

具体的に、下記数１０で表す評価関数Ｉを最小化することにより、復元画像Ｚ(ｕ,ｖ)を生成する。

ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表す。Ｇ(ｕ,ｖ)は劣化画像を表す。Ｂ(ｕ,ｖ)はＰＳＦを表す。α(ｕ,ｖ)は適応的な拘束パラメータを表し、下記数１１のように設定される。

ただし、Ｒ(ｕ,ｖ)は生成済みベース画像を表す。▽Ｒ(ｕ,ｖ)は生成済みベース画像の勾配を表す。また、γとλは、適応的に設定できる拘束パラメータα(ｕ,ｖ)を設計（設定）するための調節パラメータを表す。

本発明に係る画像復元装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。

次に、本発明に係る画像復元装置の好適な実施例について、詳細に説明する。
＜実施例１＞
本発明の実施例１に係る画像復元装置は、図３に示す画像復元装置１と、図７に示すベース画像生成処理部１０との構成を有する。

本発明の実施例１に係る画像復元装置において行われる画像復元処理の流れは、次の通りである。

まず、図７に示すベース画像生成処理部１０が行う処理により、劣化画像から生成済みベース画像が生成される。なお、画像の画素値は０から２５５の値をとるものとし、ＲＧＢのフルカラー画像の場合は、ＹＣｒＣｂ色空間に変換した後に、各色チャネル毎に以下に述べる処理を行い、最後にＲＧＢ色空間に変換し直し、画像復元を行った。また、ＰＳＦは、シミュレーション画像の場合は、劣化画像を生成するために使用したＰＳＦを利用し、実画像の場合は、特許文献１に開示された「ぶれ情報検出方法」で推定されたＰＳＦを利用した。

（ａ１）
まず、第１フィルタ処理を行う。実施例１では、第１フィルタ処理において、下記数１２で定義されるバイラテラルフィルタを利用した。

ただし、(ｕ,ｖ)は画像上の座標を表す。ｒ_０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成されたベース画像の初期値である。ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()は１次元ガウス関数を表す。Ｇ(ｕ,ｖ)は劣化画像を表す。このとき、２次元ガウス関数の標準偏差を３.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。

第１フィルタ処理により得られた画像は、ベース画像の初期値、即ち、初期ベース画像として利用される。

（ａ２）
次に、初期ベース画像に対応する第１劣化残差画像ｘ_０(ｕ,ｖ)は、初期ベース画像とＰＳＦの畳み込み積分の結果（第１ぼかし画像）と、劣化画像の差として、下記数１３のように計算される。

ここで、Ｂ(ｕ,ｖ)はＰＳＦを表す。また、＊は畳み込み積分を表す。

（ａ３）
次に、ベース画像を利用して第１劣化残差画像に対して画像復元処理を行う。つまり、ベース画像の勾配が大きいところでは拘束を弱く、ベース画像の勾配の小さいところでは拘束を強く、設定し、第１劣化残差画像を復元する。

具体的には、下記数１４で表す評価関数Ｉを最小化することにより、第１復元残差画像ｙ_０(ｕ,ｖ)を生成する。

ここで、‖・‖_２はＬ２ノルムを、α(ｕ,ｖ)は拘束の強さを表す、適応的な拘束パラメータである。拘束パラメータα(ｕ,ｖ)は、ベース画像の勾配が大きいところでは小さく、ベース画像の勾配が小さいところでは大きく、設定する。実施例１では、下記数１５のように設定された。

ここで、ｒ_０(ｕ,ｖ)はベース画像を表し、▽ｒ_０(ｕ,ｖ)はベース画像の勾配を表す。また、γとλは適応的に設定できる拘束パラメータα(ｕ,ｖ)を設計（設定）するための調節パラメータを表す。実施例１では、γ＝0.006、λ＝2.5と設定した。

（ａ４）
このように得られた第１復元残差画像ｙ_０(ｕ,ｖ)と対応するベース画像ｒ_０(ｕ,ｖ)を利用して、図７の第２フィルタ処理を行う。実施例１では、下記数１６で定義されるジョイントバイラテラルフィルタを利用した。

ここで、ｚ_０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()は１次元ガウス関数を
表す。このとき、２次元ガウス関数の標準偏差を５.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。

（ａ５）
第２フィルタ処理の出力結果ｚ_０(ｕ,ｖ)をベース画像ｒ_０(ｕ,ｖ)に加えることで、下記数１７のように、ベース画像を更新する。

ここで、ｒ_１(ｕ,ｖ)は更新後のベース画像（更新されたベース画像）である。

（ａ２）から（ａ５）の処理を所定の回数繰り返して得られたベース画像を、ベース画像生成処理部１０の出力（生成済みベース画像）として出力する。なお、実施例１において、所定の回数を７回に設定している。また、Ｒ(ｕ,ｖ)はベース画像生成処理部１０から出力された、生成済みベース画像を表す。

次に、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)を利用して、図３に示す画像復元装置１にて行われる処理に基づき、画像復元処理を行う。対応する劣化残差画像Ｘ(ｕ,ｖ)は、生成済みベース画像Ｒ(ｕ,ｖ)とＰＳＦの畳み込み積分の結果（ぼかし画像）と、劣化画像Ｇ(ｕ,ｖ)の差分画像として、下記数１８のように計算される。

次に、生成済みベース画像Ｒ(ｕ,ｖ)を利用して、劣化残差画像を復元する。つまり、生成済みベース画像の勾配が大きいところでは拘束を弱く、生成済みベース画像の勾配の小さいところでは拘束を強く、設定し、劣化残差画像を復元する。

具体的には、下記数１９で表す評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成する。

ここで、‖・‖_２はＬ２ノルムを、α(ｕ,ｖ)は拘束の強さを表す、適応的な拘束パラメータである。拘束パラメータα(ｕ,ｖ)は、生成済みベース画像Ｒ(ｕ,ｖ)の勾配が大きいところでは小さく、生成済みベース画像Ｒ(ｕ,ｖ)の勾配が小さいところでは大きく、設定する。実施例１では、下記数２０のように設定した。

ここで、Ｒ(ｕ,ｖ)は生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は生成済みベース画像の勾配を表す。γとλは適応的に設定できる拘束パラメータα(ｕ,ｖ)を設計（設定）するための調節パラメータを表す。実施例１では、γ＝0.06、λ＝2.5と設定した。

最後に、画像復元装置１の出力結果で、画像復元装置１によって生成された最終的な復元画像Ｚ(ｕ,ｖ)は、復元された残差画像（復元残差画像）Ｙ(ｕ,ｖ)と、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)の和として、下記数２１のように計算される。

＜実施例２＞
本発明の実施例２に係る画像復元装置は、図４に示す画像復元装置２と、図６に示すベース画像生成処理部１０との構成を有する。

本発明の実施例２に係る画像復元装置において行われる画像復元処理の流れは、次の通りである。

まず、図６に示すベース画像生成処理部１０が行う処理により、劣化画像から生成済みベース画像が生成される。なお、画像の画素値は０から２５５の値をとるものとし、ＲＧＢのフルカラー画像の場合は、ＹＣｒＣｂ色空間に変換した後に、各色チャネル毎に以下に述べる処理を行い、最後にＲＧＢ色空間に変換し直し、画像復元を行った。また、ＰＳＦは、シミュレーション画像の場合は、劣化画像を生成するために使用したＰＳＦを利用し、実画像の場合は、特許文献１に開示された「ぶれ情報検出方法」で推定されたＰＳＦを利用した。

（ｂ１）
まず、第１フィルタ処理を行う。実施例２では、第１フィルタ処理１において、下記数２２で定義されるバイラテラルフィルタを利用した。

ただし、(ｕ,ｖ)は画像上の座標を表す。ｒ_０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成されたベース画像の初期値である。ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()は１次元ガウス関数を表す。Ｇ(ｕ,ｖ)は劣化画像を表す。このとき、２次元ガウス関数の標準偏差を３.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。

第１フィルタ処理により得られた画像は、ベース画像の初期値、即ち、初期ベース画像として利用される。

（ｂ２）
次に、初期ベース画像に対応する第１劣化残差画像ｘ_０(ｕ,ｖ)は、初期ベース画像とＰＳＦの畳み込み積分の結果（第１ぼかし画像）と、劣化画像の差として、下記数２３のように計算される。

ここで、Ｂ(ｕ,ｖ)はＰＳＦを表す。また、＊は畳み込み積分を表す。

（ｂ３）
次に、第１劣化残差画像に対して、ウィーナーフィルタによる画像復元処理を行う。第１劣化残差画像の復元結果である、第１復元残差画像ｙ_０(ｕ,ｖ)は、下記数２４のように生成される。

ただし、Ｆ^−１は逆フーリエ変換を表す。Ｂ(ｕ,ｖ)はＰＳＦを表し、
はＢ(ｕ,ｖ)のフーリエ変換を表す。
の複素共役を表し、
の大きさを表す。また、
は第１劣化残差画像ｘ_０(ｕ,ｖ)のフーリエ変換を表し、Γは調整パラメータを表す。

なお、ウィーナーフィルタの詳細については、非特許文献１６の8-1-3章に記載されている。調整パラメータΓの値は0.01,0.02,0.006の値を画像によって使い分けた。

（ｂ４）
このように得られた第１復元残差画像ｙ_０(ｕ,ｖ)と対応するベース画像ｒ_０(ｕ,ｖ)を利用して、図６の第２フィルタ処理を行う。実施例２では、下記数２５で定義されるジョイントバイラテラルフィルタを利用した。

ここで、ｚ_０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()は１次元ガウス関数を表す。このとき、２次元ガウス関数の標準偏差を５.０に、１次元ガウス関数の標準偏差を２５.０に、それぞれ設定している。

（ｂ５）
第２フィルタ処理の出力結果ｚ_０(ｕ,ｖ)をベース画像ｒ_０(ｕ,ｖ)に加えることで、下記数２６のように、ベース画像を更新する。

ここで、ｒ_１(ｕ,ｖ)は更新後のベース画像（更新されたベース画像）である。

（ｂ２）から（ｂ５）の処理を所定の回数繰り返して得られたベース画像を、ベース画像生成処理部１０の出力（生成済みベース画像）として出力する。なお、実施例２において、所定の回数を７回に設定している。また、Ｒ(ｕ,ｖ)はベース画像生成処理部１０から出力された、生成済みベース画像を表す。

次に、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)を利用して、図４に示す画像復元装置２にて行われる処理に基づき、画像復元処理を行う。対応する劣化残差画像Ｘ(ｕ,ｖ)は、生成済みベース画像Ｒ(ｕ,ｖ)とＰＳＦの畳み込み積分の結果（ぼかし画像）と、劣化画像Ｇ(ｕ,ｖ)の差分画像として、下記数２７のように計算される。

次に、劣化残差画像Ｘ(ｕ,ｖ)に対して、ウィーナーフィルタによる画像復元処理を行う。劣化残差画像の復元結果である、復元残差画像Ｙ(ｕ,ｖ)は、下記数２８のように生成される。

ただし、Ｆ^−１は逆フーリエ変換を表す。Ｂ(ｕ,ｖ)はＰＳＦを表し、
はＢ(ｕ,ｖ)のフーリエ変換を表す。
の複素共役を表し、
の大きさを表す。また、
は劣化残差画像Ｘ(ｕ,ｖ)のフーリエ変換を表す。Γは調整パラメータを表す。

なお、ウィーナーフィルタの詳細については、非特許文献１６の8-1-3章に記載されている。調整パラメータΓの値は0.01,0.02,0.006の値を画像によって使い分けた。

最後に、画像復元装置２の出力結果で、画像復元装置２によって生成された最終的な復元画像Ｚ(ｕ,ｖ)は、復元された残差画像（復元残差画像）Ｙ(ｕ,ｖ)と、ベース画像生成処理部１０から出力された生成済みベース画像Ｒ(ｕ,ｖ)の和として、下記数２９のように計算される。

図９に本発明に係る画像復元装置におけるベース画像生成処理部において、ベース画像生成過程における画像の一例を示す。図９(Ａ)に劣化画像を示す。図９(Ａ)の劣化画像に対して、バイラテラルフィルタによる第１フィルタ処理を行うことにより、最初のベース画像を生成することができる。

最初のベース画像が生成された後に、繰り返し処理により、ベース画像と第１復元残差画像を更新していき、所定の繰り返し処理終了条件を満たした場合に、繰り返し処理が終了し、ベース画像（生成済みベース画像）が生成される。

ｎ回目の繰り返し処理において、劣化画像とｎ回目のベース画像から、ｎ回目の第１劣化残差画像を求めることができる。

図９(Ｂ)に示すｎ回目のベース画像が与えられるとき、図９(Ｃ)に示すｎ回目の第１劣化残差画像は生成される。ｎ回目の第１劣化残差画像に対して画像復元処理を行い、図９(Ｄ)に示すｎ回目の第１復元残差画像が得られる。

ｎ回目のベース画像とｎ回目の第１復元残差画像に、ジョイントバイラテラルフィルタによる第２フィルタ処理を行うことにより、図９(Ｆ)に示すベース画像の更新成分である更新画像が生成される。

ｎ回目のベース画像に、図９(Ｆ)の更新画像を足したことにより、図９(Ｅ)に示す（ｎ＋１）回目のベース画像、即ち、更新されたベース画像が生成される。

以下では、シミュレーション実験と実画像実験により、本発明の有効性を実証する。
＜１＞シミュレーション実験
まず、画像復元効果を定量的に確認するために、既知の原画像を利用してぶれ画像（劣化画像）を作成し、作成した劣化画像から原画像を復元するシミュレーション実験を行った。

既知の原画像には、図１０に示す既知の原画像（真の画像）を利用した。ぶれのＰＳＦとして角度３０[ｄｅｇ]、長さ２０[画素]の直線ぶれを、またノイズとして標準偏差３のガウシアンノイズをＲ、Ｇ、Ｂ独立に加えた。

本発明の画像復元方法として、実施例１及び実施例２に係る画像復元方法を利用した。また、比較のため、既存の画像復元方法として、ＲＬ法とウィーナーフィルタを利用した。なお、画像復元結果の評価手法としては、原画像とのＲＭＳＥ(Root Mean Square Error)を用い、パラメータや繰り返し回数を設定する必要がある手法では、復元結果が最良となるように値を調整して設定した。

表１に画像復元結果と正解画像のＲＭＳＥを示す。

表１の行は用いた既知の原画像の種類を示し、表の列は画像復元に用いた画像復元方法の種類を示す。本発明の画像復元方法と既存の画像復元方法のＲＭＳＥを比較すると、全ての画像において、本発明の画像復元方法が２つの既存の画像復元方法よりも良い結果を示している。

また、本発明の画像復元方法どうしを比較すると、拘束パラメータを適応的に設定する実施例１の画像復元方法が、定数の拘束パラメータを用いる実施例２の画像復元方法よりも、良い結果を示している。特に、既知の原画像「Lena」や既知の原画像「Peppers」など、テクスチャの少ない領域を広めに持つ画像において、適応的な拘束パラメータによるＲＭＳＥの向上が大きい。

表１より、従来の画像復元方法に比べて、復元画像と真の画像との差を評価したＲＭＳＥが、本発明の画像復元方法が小さくなっていることは明らかである。

図１１に既知の原画像「Lena」の画像復元結果の拡大図を示す。エッジの周辺に発生しているリンギングを比較すると、本発明を用いた結果画像（復元画像）は、既存手法のものに比べて、リンギングを格段に抑えられていることがよく分かる。特に、拘束パラメータを適応的に用いた実施例１に係る画像復元方法による復元画像(図１１(Ａ))では、ほぼ完全にリンギングの発生を抑えている。

以上の結果から、本発明の画像復元方法を用いることにより、リンギングを抑えつつＲＭＳＥの良好な復元画像を得ることができる。また、本発明では、画像復元において拘束パラメータを適応的に設計することで、テクスチャの少ない領域を中心として復元結果の向上が確認できる。

＜２＞実画像実験
手持ちカメラにより撮影された実画像に対して、本発明を適用し、本発明の有効性を検証した。本発明として、拘束パラメータを適応的に設計する実施例１に係る画像復元方法を用いた。ＰＳＦは、米司ら（非特許文献３を参照）の手法により推定したものを用いた。

図１２〜図１４に、３種類の実画像（劣化画像）とその復元結果（復元画像）をそれぞれ示す。また、比較のため、四角で囲った領域の拡大図もあわせて示す。復元されたエッジの先鋭さは同程度ながら、本発明では、既存手法の復元結果に発生しているリンギングを抑えていることがわかる。

また、本発明による復元画像において、既存手法で増大されている画像全体のノイズ成分も小さく抑えられている。いずれの画像においても、特にテクスチャの少ない領域において、これらの効果が顕著に確認できる。

上記のように、シミュレーション画像と実画像の画像復元実験を通して、本発明の有効性を実証した。特に、リンギングの抑制について本発明は効果があることを確認した。

一次元画像における劣化画像と、復元画像に発生するリンギングの例を示す図である。 振幅の小さい画像におけるリンギングを説明するための一次元画像における劣化画像と復元画像を示す図である。 本発明に係る画像復元装置の第１実施形態を示すブロック構成図である。 本発明に係る画像復元装置の第２実施形態を示すブロック構成図である。 本発明に係る画像復元装置におけるベース画像生成処理部の第１実施形態を示すブロック構成図である。 本発明に係る画像復元装置におけるベース画像生成処理部の第２実施形態を示すブロック構成図である。 本発明に係る画像復元装置におけるベース画像生成処理部の第３実施形態を示すブロック構成図である。 本発明に係る画像復元装置の第３実施形態を示すブロック構成図である。 本発明に係る画像復元装置におけるベース画像生成処理部において、ベース画像生成過程における画像の例を示す図である。 画像復元実験に用いた既知の原画像（真の画像）を示す図である。 既知の原画像「Lena」を用い、本発明の実施例１、実施例２、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。 劣化画像である実画像１と、その実画像１を用い、本発明の実施例１、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。 劣化画像である実画像２と、その実画像２を用い、本発明の実施例１、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。 劣化画像である実画像３と、その実画像３を用い、本発明の実施例１、従来のＲＬ法、及び従来のウィーナーフィルタによる復元画像を示す図である。

符号の説明

１,２,３ 画像復元装置
１０ ベース画像生成処理部
２０ ぼかし画像生成処理部
３０ 劣化残差画像生成処理部
４０,４１,４２ 画像復元処理部
５０ 復元画像生成処理部
１０１,１１４,１１７ 画像復元第１処理部
１０２ フィルタ処理部
１１１ 第１フィルタ処理部
１１２ ぼかし画像第１生成処理部
１１３ 劣化残差画像第１生成処理部
１１５ 第２フィルタ処理部
１１６ ベース画像更新処理部
１１８ 繰り返し処理終了判断部

Claims (43)

1. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、
   前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、
   前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、
   生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、
   生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、
   生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることを特徴とする画像復元装置。
2. 前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、
   具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
   ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項１に記載の画像復元装置。
3. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
   ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項２に記載の画像復元装置。
4. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、
   前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、
   前記ベース画像生成処理部からの生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理部と、
   生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理部と、
   生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理部と、
   生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理部とを備えることを特徴とする画像復元装置。
5. 前記画像復元処理部では、生成された劣化残差画像に対して、ウィーナーフィルタによる画像復元処理、又は、リチャードソン・ルーシー法による画像復元処理を行い、復元残差画像を生成する請求項４に記載の画像復元装置。
6. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元装置であって、
   前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理部と、
   前記劣化画像に対して、前記ベース画像生成処理部からの生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する、画像復元処理部とを備えることを特徴とする画像復元装置。
7. 前記画像復元処理部では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、
   具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
   ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ（ｕ,ｖ）は前記劣化画像を表し、Ｂ（ｕ,ｖ）は前記ＰＳＦを表し、α（ｕ,ｖ）は前記拘束パラメータを表す請求項６に記載の画像復元装置。
8. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
   ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項７に記載の画像復元装置。
9. 前記ベース画像生成処理部は、
   前記劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する、画像復元第１処理部と、
   生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、前記ベース画像を生成する、フィルタ処理部とを備える請求項１乃至請求項８のいずれかに記載の画像復元装置。
10. 前記画像復元第１処理部では、前記劣化画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元画像を生成する請求項９に記載の画像復元装置。
11. 前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
    前記ベース画像生成処理部は、
    前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、
    前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、
    生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、
    生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、
    生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、
    生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、
    所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部と、
    を備え、
    前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理である請求項１乃至請求項８のいずれかに記載の画像復元装置。
12. 前記画像復元第１処理部では、生成された第１劣化残差画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元残差画像を生成する請求項１１に記載の画像復元装置。
13. 前記ベース画像生成処理部では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
    前記ベース画像生成処理部は、
    前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理部と、
    前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理部と、
    生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理部と、
    生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理部と、
    生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理部と、
    生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理部と、
    所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断部と、
    を備え、
    前記繰り返し処理とは、前記第１ぼかし画像生成処理部にて行われる処理、前記第１劣化残差画像生成処理部にて行われる処理、前記画像復元第１処理部にて行われる処理、前記第２フィルタ処理部にて行われる処理、前記ベース画像更新処理部にて行われる処理、及び前記繰り返し処理終了判断部にて行われる処理である請求項１乃至請求項８のいずれかに記載の画像復元装置。
14. 前記画像復元第１処理部では、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、
    具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ_０(ｕ,ｖ)を生成し、
    ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ_０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項１３に記載の画像復元装置。
15. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
    ただし、ｒ_０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ_０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表す請求項１４に記載の画像復元装置。
16. 前記所定の繰り返し処理終了条件は、前記ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は前記更新画像の画素値の二乗和が所定の値以下になるという条件３である請求項１１乃至請求項１５のいずれかに記載の画像復元装置。
17. 前記第１フィルタ処理では、バイラテラルフィルタ又はローパスフィルタを利用し、
    バイラテラルフィルタを前記第１フィルタ処理に利用した場合に、前記劣化画像Ｇ(ｕ,ｖ)に対して、バイラテラルフィルタは次の式で定義され、
    ただし、(ｕ,ｖ)は画像上の座標を表し、ｒ_０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成された前記ベース画像の初期値であり、ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()は１次元ガウス関数を表し、
    前記第２フィルタ処理では、ジョイントバイラテラルフィルタ、バイラテラルフィルタ又はローパスフィルタを利用し、
    ジョイントバイラテラルフィルタを前記第２フィルタ処理に利用した場合に、前記第１復元残差画像ｙ_０(ｕ,ｖ)と、それに対応する前記ベース画像ｒ_０(ｕ,ｖ)に対して、ジョイントバイラテラルフィルタは次の式で定義され、
    ただし、ｚ_０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()はは１次元ガウス関数を表す請求項１１乃至請求項１６のいずれかに記載の画像復元装置。
18. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元方法であって、
    前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理ステップと、
    前記ベース画像生成処理ステップで生成された、生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理ステップと、
    生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理ステップと、
    生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理ステップと、
    生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理ステップとを有することを特徴とする画像復元方法。
19. 前記画像復元処理ステップでは、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、
    具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
    ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項１８に記載の画像復元方法。
20. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
    ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項１９に記載の画像復元方法。
21. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元方法であって、
    前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理ステップと、
    前記ベース画像生成処理ステップで生成された、生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する、ぼかし画像生成処理ステップと、
    生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する、劣化残差画像生成処理ステップと、
    生成された劣化残差画像に対して、画像復元処理を行うことにより、復元残差画像を生成する、画像復元処理ステップと、
    生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する、復元画像生成処理ステップとを有することを特徴とする画像復元方法。
22. 前記画像復元処理ステップでは、生成された劣化残差画像に対して、ウィーナーフィルタによる画像復元処理、又は、リチャードソン・ルーシー法による画像復元処理を行い、復元残差画像を生成する請求項２１に記載の画像復元方法。
23. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成する画像復元方法であって、
    前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する、ベース画像生成処理ステップと、
    前記劣化画像に対して、前記ベース画像生成処理ステップで生成された、生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する、画像復元処理部とを備えることを特徴とする画像復元方法。
24. 前記画像復元処理ステップでは、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、
    具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
    ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ(ｕ,ｖ)は前記劣化画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項２３に記載の画像復元装置。
25. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
    ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項２４に記載の画像復元方法。
26. 前記ベース画像生成処理ステップは、
    前記劣化画像に対して、画像復元第１処理を行うことにより、第１復元画像を生成する、画像復元第１処理ステップと、
    生成された第１復元画像に対して、デノイジングのためのフィルタ処理を行うことにより、前記ベース画像を生成する、フィルタ処理ステップとを有する請求項１８乃至請求項２５のいずれかに記載の画像復元方法。
27. 前記画像復元第１処理ステップでは、前記劣化画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元画像を生成する請求項２６に記載の画像復元方法。
28. 前記ベース画像生成処理ステップでは、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
    前記ベース画像生成処理ステップは、
    前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理ステップと、
    前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理ステップと、
    生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理ステップと、
    生成された第１劣化残差画像に対して、画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理ステップと、
    生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理ステップと、
    生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理ステップと、
    所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断ステップと、
    を有し、
    前記繰り返し処理とは、前記第１ぼかし画像生成処理ステップにて行われる処理、前記第１劣化残差画像生成処理ステップにて行われる処理、前記画像復元第１処理ステップにて行われる処理、前記第２フィルタ処理ステップにて行われる処理、前記ベース画像更新処理ステップにて行われる処理、及び前記繰り返し処理終了判断ステップにて行われる処理である請求項１８乃至請求項２５のいずれかに記載の画像復元方法。
29. 前記画像復元第１処理ステップでは、生成された第１劣化残差画像に対して、ウィーナーフィルタによる画像復元第１処理、又は、リチャードソン・ルーシー法による画像復元第１処理を行い、第１復元残差画像を生成する請求項２８に記載の画像復元方法。
30. 前記ベース画像生成処理ステップでは、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
    前記ベース画像生成処理ステップは、
    前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する、第１フィルタ処理ステップと、
    前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する、第１ぼかし画像生成処理ステップと、
    生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する、第１劣化残差画像生成処理ステップと、
    生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する、画像復元第１処理ステップと、
    生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する、第２フィルタ処理ステップと、
    生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する、ベース画像更新処理ステップと、
    所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける、繰り返し処理終了判断ステップと、
    を有し、
    前記繰り返し処理とは、前記第１ぼかし画像生成処理ステップにて行われる処理、前記第１劣化残差画像生成処理ステップにて行われる処理、前記画像復元第１処理ステップにて行われる処理、前記第２フィルタ処理ステップにて行われる処理、前記ベース画像更新処理ステップにて行われる処理、及び前記繰り返し処理終了判断ステップにて行われる処理である請求項１８乃至請求項２５のいずれかに記載の画像復元方法。
31. 前記画像復元第１処理ステップでは、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、
    具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ_０(ｕ,ｖ)を生成し、
    ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ_０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項３０に記載の画像復元方法。
32. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
    ただし、ｒ_０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ_０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表す請求項３１に記載の画像復元方法。
33. 前記所定の繰り返し処理終了条件は、前記ベース画像に更新前後の変化がなくなるという条件１、所定の繰り返し処理回数に達するという条件２、又は前記更新画像の画素値の二乗和が所定の値以下になるという条件３である請求項２８乃至請求項３２のいずれかに記載の画像復元方法。
34. 前記第１フィルタ処理では、バイラテラルフィルタ又はローパスフィルタを利用し、
    バイラテラルフィルタを前記第１フィルタ処理に利用した場合に、前記劣化画像Ｇ(ｕ,ｖ)に対して、バイラテラルフィルタは次の式で定義され、
    ただし、(ｕ,ｖ)は画像上の座標を表し、ｒ_０(ｕ,ｖ)はバイラテラルフィルタの出力結果で、即ち、生成された前記ベース画像の初期値であり、ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()は１次元ガウス関数を表し、
    前記第２フィルタ処理では、ジョイントバイラテラルフィルタ、バイラテラルフィルタ又はローパスフィルタを利用し、
    ジョイントバイラテラルフィルタを前記第２フィルタ処理に利用した場合に、前記第１復元残差画像ｙ_０(ｕ,ｖ)と、それに対応する前記ベース画像ｒ_０(ｕ,ｖ)に対して、ジョイントバイラテラルフィルタは次の式で定義され、
    ただし、ｚ_０(ｕ,ｖ)はジョイントバイラテラルフィルタの出力結果で、即ち、生成された更新画像であり、ｗ_２(ｉ,ｊ)は２次元ガウス関数を表し、ｗ_１()はは１次元ガウス関数を表す請求項２８乃至請求項３３のいずれかに記載の画像復元方法。
35. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成するための画像復元プログラムであって、
    Ａ１．前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する手順と、
    Ａ２．手順Ａ１で生成された、生成済みベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、ぼかし画像を生成する手順と、
    Ａ３．生成されたぼかし画像と、前記劣化画像との差分を計算することにより、劣化残差画像を生成する手順と、
    Ａ４．生成された劣化残差画像に対して、前記生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、復元残差画像を生成する手順と、
    Ａ５．生成された復元残差画像に前記生成済みベース画像を加えることにより、前記復元画像を生成する手順と、
    をコンピュータに実行させるためのプログラム。
36. 手順Ａ４では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、復元残差画像を生成し、
    具体的に、次の評価関数Ｉを最小化することにより、復元残差画像Ｙ(ｕ,ｖ)を生成し、
    ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｘ(ｕ,ｖ)は前記劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項３５に記載の画像復元プログラム。
37. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
    ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項３６に記載の画像復元プログラム。
38. ブラーにより劣化してしまった１枚の劣化画像と、前記ブラーを表す既知のＰＳＦに基づき、前記劣化画像に対する復元画像を生成するための画像復元プログラムであって、
    Ｂ１．前記劣化画像に基づき、ベース画像生成処理を行うことにより、ベース画像を生成する手順と、
    Ｂ２．前記劣化画像に対して、手順Ｂ１で生成された、生成済みベース画像に基づき、拘束の強さを変化させるように画像復元処理を行うことにより、前記復元画像を生成する手順と、
    をコンピュータに実行させるためのプログラム。
39. 手順Ｂ２では、前記生成済みベース画像を利用して、前記生成済みベース画像の勾配が大きいところでは拘束を弱く、前記生成済みベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、前記劣化画像に対して、設定された適応的な拘束パラメータによる画像復元処理を行い、前記復元画像を生成し、
    具体的に、次の評価関数Ｉを最小化することにより、前記復元画像Ｚ(ｕ,ｖ)を生成し、
    ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、Ｇ(ｕ,ｖ)は前記劣化画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項３８に記載の画像復元プログラム。
40. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
    ただし、Ｒ(ｕ,ｖ)は前記生成済みベース画像を表し、▽Ｒ(ｕ,ｖ)は前記生成済みベース画像の勾配を表し、γとλは調節パラメータを表す請求項３９に記載の画像復元プログラム。
41. 手順Ａ１又は手順Ｂ１では、前記ベース画像生成処理が繰り返し処理であり、当該繰り返し処理により、前記ベース画像が漸進的に生成され、
    手順Ａ１又は手順Ｂ１は、
    Ｃ１．前記劣化画像に対して、第１フィルタ処理を行うことにより、前記ベース画像の初期値を生成する手順と、
    Ｃ２．前記ベース画像と前記ＰＳＦとの畳み込み積分を行うことにより、第１ぼかし画像を生成する手順と、
    Ｃ３．生成された第１ぼかし画像と、前記劣化画像との差分を計算することにより、第１劣化残差画像を生成する手順と、
    Ｃ４．生成された第１劣化残差画像に対して、前記ベース画像に基づき、拘束の強さを変化させるように画像復元第１処理を行うことにより、第１復元残差画像を生成する手順と、
    Ｃ５．生成された第１復元残差画像と前記ベース画像を利用して、第２フィルタ処理を行うことにより、更新画像を生成する手順と、
    Ｃ６．生成された更新画像を前記ベース画像に加えることにより、前記ベース画像を更新する手順と、
    Ｃ７．所定の繰り返し処理終了条件を満たすか否かを判断し、前記繰り返し処理終了条件を満たしたと判断された場合に、更新されたベース画像を前記生成済みベース画像とし、また、前記繰り返し処理終了条件を満たしていないと判断された場合に、更新されたベース画像を前記ベース画像とし、前記繰り返し処理を続ける手順と、
    を含み、
    前記繰り返し処理とは、手順Ｃ２にて行われる処理、手順Ｃ３にて行われる処理、手順Ｃ４にて行われる処理、手順Ｃ５にて行われる処理、手順Ｃ６にて行われる処理、及び手順Ｃ７にて行われる処理である請求項３５乃至請求項４０のいずれかに記載の画像復元プログラム。
42. 手順Ｃ４では、前記ベース画像を利用して、前記ベース画像の勾配が大きいところでは拘束を弱く、前記ベース画像の勾配の小さいところでは拘束を強くするように、拘束の強さを表す拘束パラメータを適応的に設定し、そして、生成された第１劣化残差画像に対して、設定された適応的な拘束パラメータによる画像復元第１処理を行い、第１復元残差画像を生成し、
    具体的に、次の評価関数Ｉを最小化することにより、第１復元残差画像ｙ_０(ｕ,ｖ)を生成し、
    ただし、‖・‖_２はＬ２ノルムを表し、＊は畳み込み積分を表し、ｘ_０(ｕ,ｖ)は前記第１劣化残差画像を表し、Ｂ(ｕ,ｖ)は前記ＰＳＦを表し、α(ｕ,ｖ)は前記拘束パラメータを表す請求項４１に記載の画像復元プログラム。
43. 前記拘束パラメータα(ｕ,ｖ)は、次のように設定され、
    ただし、ｒ_０(ｕ,ｖ)は前記ベース画像を表し、▽ｒ_０(ｕ,ｖ)は前記ベース画像の勾配を表し、γとλは調節パラメータを表す請求項４２に記載の画像復元プログラム。