JP6652052B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関し、特に、点広がり関数を高精度で推定することができるようにした画像処理装置および画像処理方法に関する。

近年、撮影装置において収差等のレンズの特性によって劣化した劣化画像から、劣化前の画像(以下、復元画像という)を復元する手法が考案されている。この手法としては、レンズ固有の劣化情報を予め蓄積しておき、その劣化情報に基づいて撮影距離や焦点距離に応じた補正データを作成し、補正データに基づいて劣化画像から復元画像を生成する手法がある（例えば、特許文献１参照）。

しかしながら、レンズ固有の劣化情報、撮影距離や焦点距離等が未知である場合、このような手法を用いることはできない。また、この手法では、劣化画像において、レンズの製造誤差等により、予め計測して蓄積しておいた劣化情報とは異なる劣化が発生している場合、復元精度が低下する。また、レンズ交換式撮影装置により撮影された劣化画像から復元画像を生成する場合、想定されるレンズの数が多いため、予め蓄積しておく劣化情報の情報量が多くなる。

そこで、予め劣化情報を計測し、蓄積しておくのではなく、劣化画像から劣化情報を算出して復元を行うブラインドデコンボリューション(blind deconvolution)と呼ばれる手法が考案されている。このブラインドデコンボリューションは、劣化画像から劣化情報として点広がり関数(PSF（Point Spread Function)）を推定し、劣化画像に対して点広がり関数を逆畳み込みすることにより復元画像を生成する手法である(例えば、特許文献２および非特許文献１参照)。

特開2013-243763号公報 国際公開第2011/099244号

"High-quality Motion Deblurring from a Single Image", Qi Shan, Jiaya Jia and Aseem Agarwala, SIGGRAPH 2008

しかしながら、劣化画像が繰り返しパターンを含む場合、ブラインドデコンボリューションにより点広がり関数を高精度で推定することはできない。その結果、復元画像の画質が劣化する。

本開示は、このような状況に鑑みてなされたものであり、点広がり関数を高精度で推定することができるようにするものである。

本開示の一側面の画像処理装置は、画像から繰り返しパターンを検出する検出部と、前記画像から前記検出部により検出された繰り返しパターンを除外する除外部と、前記除外部により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定部とを備える画像処理装置である。

本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、画像から繰り返しパターンが検出され、検出された繰り返しパターンが前記画像から除外され、前記繰り返しパターンが除外された前記画像を用いて点広がり関数が推定される。

なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の一側面によれば、画像を処理することができる。また、本開示の一側面によれば、点広がり関数を高精度で推定することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 ブラインドデコンボリューションを説明する図である。 図１の推定部による点広がり関数の推定を説明する図である。 図１の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 図５の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 図７の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。 図９の画像処理装置の画像処理を説明するフローチャートである。 点広がり関数の推定の他の例を説明する図である。 点広がり関数の推定のさらに他の例を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図４）
２．第２実施の形態：画像処理装置（図５および図６）
３．第３実施の形態：画像処理装置（図７および図８）
４．第４実施の形態：画像処理装置（図９および図１０）
５．第１実施の形態乃至第４実施の形態の他の例（図１１および図１２）
６．第５実施の形態：コンピュータ（図１３）

＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図１の画像処理装置１０は、分割部１１、変換部１２、検出部１３、除外部１４、推定部１５、および復元部１６により構成される。画像処理装置１０は、ブラインドデコンボリューションにより、劣化画像から復元画像を生成する。

具体的には、画像処理装置１０の分割部１１は、外部から入力される劣化画像を所定のサイズの変換用領域に分割する。分割部１１は、分割された各変換用領域の劣化画像を変換部１２に供給する。

変換部１２は、変換用領域ごとに、分割部１１から供給される劣化画像に対して離散コサイン変換（DCT（Discrete Cosine Transform））を行う。変換部１２は、離散コサイン変換の結果得られる係数行列を検出部１３に供給する。

検出部１３は、変換部１２から供給される各変換用領域の係数行列に基づいて、劣化画像から、係数行列の１次の成分の割合が閾値以下である変換用領域を、繰り返しパターンとして検出する。

具体的には、検出部１３は、変換用領域ごとに、以下の式（１）により、係数行列に基づいて評価値を算出する。

式（１）において、Scoreは評価値を表し、Ｘ_i,jは、係数行列のうちのi行j列の係数を表す。式(１)によれば、評価値として、直流成分を除いた係数行列のうちの１次の成分の割合が計算される。

ここで、離散コサイン変換は、１次の基底が１つのエッジを含む領域に対応し、２次以上の基底が少なくとも２つのエッジを含む領域に対応する行列である。即ち、離散コサイン変換の２次以上の基底は、繰り返しパターンを含む領域に対応する。従って、評価値が小さいほど、即ち１次の成分の割合が小さいほど、変換用領域は、繰り返しパターンを含む領域である可能性が高い。よって、検出部１３は、評価値が閾値以下である変換用領域を、繰り返しパターンとして検出する。検出部１３は、繰り返しパターンとして検出された変換用領域の位置を表す繰り返しパターン情報を除外部１４に供給する。

除外部１４は、検出部１３から供給される繰り返しパターン情報に基づいて、外部から入力される劣化画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。なお、除外部１４は、マスキングではなく、劣化画像内の繰り返しパターンを所定の色（例えば黒色）にすることにより、繰り返しパターンを除外するようにしてもよい。除外部１４は、繰り返しパターンが除外された劣化画像を推定部１５に供給する。

推定部１５は、除外部１４から供給される繰り返しパターンが除外された劣化画像を、変換用領域と同一のサイズの推定用領域に分割する。推定部１５は、繰り返しパターンが除外された劣化画像を用いて、推定用領域ごとに変換用領域と同一のサイズの点広がり関数の推定を行う。点広がり関数の推定方法としては、非特許文献１に記載されているブラインドデコンボリューションにおける手法などを採用することができる。また、点広がり関数のサイズは、例えば、外部から予め入力される。推定部１５は、推定された点広がり関数を復元部１６に供給する。

復元部１６は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、外部から入力される劣化画像から復元画像を生成する。復元画像の生成方法としては、ウィーナーフィルタ法やリチャードソン・ルーシー法などのノンブラインドデコンボリューション(non-blind deconvolution)における手法を採用することができる。この場合、復元部１６は、推定部１５から供給される点広がり関数をそのまま用いて復元画像を生成する。

また、復元画像の生成方法としては、ブラインドデコンボリューションにおける手法を用いることもできる。この場合、復元部１６は、点広がり関数を初期値として点広がり関数を求め、その点広がり関数を用いて復元画像を生成する。復元部１６は、復元画像を出力する。

（ブラインドデコンボリューションの説明）
図２は、ブラインドデコンボリューションを説明する図である。

なお、図２において、波形は、輝度信号の１次元の断面を表している。

ブラインドデコンボリューションでは、劣化画像における劣化が線形性を持つと仮定され、劣化画像と劣化のない理想的な画像の関係が、以下の式（２）で定義される。

式（２）において、ｂは劣化画像、lは理想的な画像、kは劣化を表す点広がり関数、＊は畳み込み積分を表す。Ｂはフーリエ変換後の劣化画像、Ｌはフーリエ変換後の理想的な画像、Ｋはフーリエ変換後の劣化を表す点広がり関数を表す。

式（２）によれば、劣化画像は、理想的な画像と劣化を表す点広がり関数の畳み込み積分によって求められる。なお、式（２）では、ノイズの影響は無視されている。

ブラインドデコンボリューションでは、劣化画像のみが既知であり、点広がり関数と理想的な画像は未知である。従って、点広がり関数と理想的な画像を同時に求めることは悪条件問題に相当する。よって、式（２）の条件下では、解の不定性により点広がり関数と理想的な画像を同時に求めることは難しい。特に劣化画像に繰り返しパターンが含まれる場合、右辺における乗算の展開の仕方によって点広がり関数に重大な誤差が生じる場合がある。

例えば、図２に示すように、劣化画像が繰り返しパターンを含み、劣化画像の輝度信号の波形が図２の左辺で示す波形である場合、理想的な画像および点広がり関数の組み合わせとしては、図２の右辺で示す２つの組み合わせのいずれかが求められ得る。

しかしながら、劣化画像に含まれる繰り返しパターンが、理想的な画像においても存在するものである場合、図２の右辺の上段の組み合わせが正解であり、下段の組み合わせは失敗である。従って、この場合、図２の右辺の下段の組み合わせが求められると、点広がり関数に重大な誤差が生じる。その結果、点広がり関数を用いて生成された復元画像の画質が劣化する。

そこで、画像処理装置１０は、劣化画像の繰り返しパターンを除外し、繰り返しパターンが除外された劣化画像を用いて点広がり関数を推定することにより、点広がり関数を高精度で推定する。

（点広がり関数の推定の説明）
図３は、図１の推定部１５による点広がり関数の推定を説明する図である。

図３のＡおよび図３のＢの左側に示すように、推定部１５は、繰り返しパターンが除外された劣化画像２０の推定用領域２１ごとに点広がり関数の推定を行う。しかしながら、推定用領域２１のサイズが変換用領域のサイズと同一であるため、繰り返しパターンとして除外された変換用領域(以下、除外領域という)２２を推定用領域２１として点広がり関数は推定することができない。

従って、図３のＡおよび図３のＢの中央に示すように、推定部１５により推定される点広がり関数に対応する推定用領域２１は、除外領域２２以外の領域となる。よって、推定部１５は、例えば、図３のＡの右側に示すように、周囲（例えば上下左右）の除外領域２２以外の推定用領域２１の点広がり関数から線形補間(バイリニア法)などを用いて、除外領域２２の点広がり関数を求める。この場合、画像内の位置によって点広がり関数が異なる（点広がり関数がSpace_Variantである）場合であっても、正確に点広がり関数を推定することができる。

なお、推定部１５は、例えば、図３のＢの右側に示すように、除外領域２２以外の推定用領域２１の点広がり関数の平均値を、全ての推定用領域２１の点広がり関数に決定するようにすることもできる。

（画像処理装置の処理の説明）
図４は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置１０に劣化画像が入力されたとき、開始される。

図４のステップＳ１１において、画像処理装置１０の分割部１１は、外部から入力された劣化画像を変換用領域に分割する。分割部１１は、分割された各変換用領域の劣化画像を変換部１２に供給する。

ステップＳ１２において、変換部１２は、変換用領域ごとに、分割部１１から供給される劣化画像に対して離散コサイン変換を行う。変換部１２は、離散コサイン変換の結果得られる係数行列を検出部１３に供給する。

ステップＳ１３において、検出部１３は、変換用領域ごとに、上述した式（１）により、係数行列に基づいて評価値を算出する。ステップＳ１４において、検出部１３は、算出された評価値が閾値以下である変換用領域を、繰り返しパターンとして検出する。検出部１３は、繰り返しパターンとして検出された変換用領域の位置を表す繰り返しパターン情報を除外部１４に供給する。

ステップＳ１５において、除外部１４は、検出部１３から供給される繰り返しパターン情報に基づいて、外部から入力された劣化画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。除外部１４は、繰り返しパターンが除外された劣化画像を推定部１５に供給する。

ステップＳ１６において、推定部１５は、除外部１４から供給される繰り返しパターンが除外された劣化画像を、推定用領域に分割する。ステップＳ１７において、推定部１５は、繰り返しパターンが除外された劣化画像を用いて、推定用領域ごとに点広がり関数の推定を行う。推定部１５は、推定された点広がり関数を復元部１６に供給する。

ステップＳ１８において、復元部１６は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、劣化画像から復元画像を生成し、出力する。そして、処理は終了する。

以上のように、画像処理装置１０は、劣化画像から繰り返しパターンを除外し、繰り返しパターンが除外された劣化画像を用いて点広がり関数を推定する。従って、点広がり関数を高精度で推定することができる。その結果、点広がり関数を用いて生成される復元画像の画質を向上させることができる。また、劣化画像に繰り返しパターンが含まれるかどうかによらず点広がり関数を高精度で推定することができるため、点広がり関数推定結果の安定性が向上する。

また、推定用領域のサイズが変換用領域のサイズと同一であるので、繰り返しパターンを除外することにより、点広がり関数を推定する領域が削減され、推定処理の速度が向上する。

また、画像処理装置１０は、上述した式（１）により求められる評価値が閾値以下である変換用領域を繰り返しパターンとして検出する。従って、画像処理装置１０は、ブラインドデコンボリューションにおける点広がり関数の推定方法で最も精度良く点広がり関数を推定可能な単一（一直線）のエッジのみを含む領域を、繰り返しパターン以外の領域として残すことができる。その結果、点広がり関数の精度が向上する。

さらに、画像処理装置１０では、変換用領域と点広がり関数のサイズが同一であるため、係数行列の１次の成分の割合に基づいて、点広がり関数より小さい周期の繰り返しパターンを検出することができる。従って、点広がり関数の推定に影響しない、点広がり関数より大きい周期の繰り返しパターンが無駄に除外されることを防止することができる。

＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図５は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

図５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図５の画像処理装置３０の構成は、新たに仮復元部３１が設けられる点、および、除外部１４、復元部１６の代わりに、除外部３２、復元部３３が設けられる点が、図１の構成と異なる。画像処理装置３０は、劣化画像から仮の復元画像を生成し、仮の復元画像から最終的な復元画像を生成する。

具体的には、画像処理装置３０の仮復元部３１は、ショックフィルタ等のフィルタ処理やブラインドデコンボリューションにより、外部から入力される劣化画像から仮の復元画像を生成する。仮復元部３１は、生成された仮の復元画像を、分割部１１、除外部３２、および復元部３３に供給する。

除外部３２は、検出部１３から供給される繰り返しパターン情報に基づいて、仮復元部３１から供給される仮の復元画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。なお、除外部３２は、マスキングではなく、仮の復元画像内の繰り返しパターンを所定の色（例えば黒色）にすることにより、繰り返しパターンを除外するようにしてもよい。除外部３２は、繰り返しパターンが除外された仮の復元画像を推定部１５に供給する。

復元部３３は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、仮復元部３１から供給される仮の復元画像から復元画像を生成する。復元画像の生成方法としては、復元部１６における手法と同様の手法を採用することができる。復元部３３は、復元画像を出力する。

（画像処理装置の処理の説明）
図６は、図５の画像処理装置３０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置３０に劣化画像が入力されたとき、開始される。

図６のステップＳ３０において、画像処理装置３０の仮復元部３１は、ショックフィルタ等のフィルタ処理やブラインドデコンボリューションにより、外部から入力された劣化画像から仮の復元画像を生成する。仮復元部３１は、生成された仮の復元画像を、分割部１１、除外部３２、および復元部３３に供給する。

ステップＳ３１において、分割部１１は、仮復元部３１から供給される仮の復元画像を変換用領域に分割する。分割部１１は、分割された各変換用領域の仮の復元画像を変換部１２に供給する。

ステップＳ３２において、変換部１２は、変換用領域ごとに、分割部１１から供給される仮の復元画像に対して離散コサイン変換を行う。変換部１２は、離散コサイン変換の結果得られる係数行列を検出部１３に供給する。

ステップＳ３３およびＳ３４の処理は、図４のステップＳ１３およびＳ１４の処理と同様であるので、説明は省略する。

ステップＳ３５において、除外部３２は、検出部１３から供給される繰り返しパターン情報に基づいて、仮復元部３１から供給される仮の復元画像内の繰り返しパターン情報が表す位置の領域を、繰り返しパターンとしてマスキングにより除外する。除外部３２は、繰り返しパターンが除外された仮の復元画像を推定部１５に供給する。

ステップＳ３６において、推定部１５は、除外部３２から供給される繰り返しパターンが除外された仮の復元画像を、推定用領域に分割する。ステップＳ３７において、推定部１５は、繰り返しパターンが除外された仮の復元画像を用いて、推定用領域ごとに点広がり関数の推定を行う。推定部１５は、推定された点広がり関数を復元部３３に供給する。

ステップＳ３８において、復元部３３は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、仮復元部３１から供給される仮の復元画像から復元画像を生成し、出力する。そして、処理は終了する。

＜第３実施の形態＞
（画像処理装置の第３実施の形態の構成例）
図７は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。

図７に示す構成のうち、図１や図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図７の画像処理装置５０の構成は、仮復元部３１が新たに設けられる点が図１の構成と異なる。画像処理装置５０は、仮の復元画像から繰り返しパターンを検出し、劣化画像から繰り返しパターンを除外する。

（画像処理装置の処理の説明）
図８は、図７の画像処理装置５０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置５０に劣化画像が入力されたとき、開始される。

図８のステップＳ５０乃至Ｓ５４の処理は、図６のステップＳ３０乃至Ｓ３４の処理と同様であるので、説明は省略する。

ステップＳ５５乃至Ｓ５８の処理は、図４のステップＳ１５乃至Ｓ１８の処理と同様であるので、説明は省略する。

＜第４実施の形態＞
（画像処理装置の第４実施の形態の構成例）
図９は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。

図９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図９の画像処理装置７０の構成は、分割部１１の代わりに分割部７１が設けられる点、および、新たに判定部７２が備えられる点が図１の構成と異なる。画像処理装置７０は、劣化画像から生成された復元画像を新たな劣化画像として復元を繰り返すことにより、最終的な復元画像を生成する。

画像処理装置７０の分割部７１は、外部から入力される劣化画像または判定部７２から供給される劣化画像を、変換用領域に分割する。分割部１１は、分割された各変換用領域の劣化画像を変換部１２に供給する。

判定部７２は、復元部１６により生成された復元画像が収束したかどうかを判定する。例えば、判定部７２は、現在の復元により生成された復元画像と、１つ前の復元により生成された復元画像との差分が閾値以下である場合、復元画像が収束したと判定し、閾値より大きい場合、復元画像が収束していないと判定する。

判定部７２は、復元画像が収束していないと判定された場合、その復元画像を劣化画像として分割部７１に供給する。これにより、復元が繰り返される。一方、復元画像が収束したと判定された場合、判定部７２は、その復元画像を最終的な復元画像として出力する。

（画像処理装置の処理の説明）
図１０は、図９の画像処理装置７０の画像処理を説明するフローチャートである。この画像処理は、例えば、外部から画像処理装置７０に劣化画像が入力されたとき、開始される。

図１０のステップＳ７１において、画像処理装置７０の分割部７１は、外部から入力される劣化画像または判定部７２から供給される劣化画像を変換用領域に分割する。分割部７１は、分割された各変換用領域の劣化画像を変換部１２に供給する。

ステップＳ７２乃至Ｓ７７の処理は、図４のステップＳ１２乃至Ｓ１７の処理と同様であるので、説明は省略する。

ステップＳ７８において、復元部１６は、推定用領域ごとに、推定部１５から供給される点広がり関数に基づいて、劣化画像から復元画像を生成し、判定部７２に供給する。

ステップＳ７９において、判定部７２は、復元部１６から供給される復元画像が収束したかどうかを判定する。ステップＳ７９で復元画像が収束していないと判定された場合、ステップＳ８０において、判定部７２は、その復元画像を劣化画像として分割部７１に供給する。そして、処理はステップＳ７１に戻り、復元画像が収束したと判定されるまで、ステップＳ７１乃至Ｓ８０の処理が繰り返される。

一方、ステップＳ７９で復元画像が収束したと判定された場合、ステップＳ８１において、判定部７２は、その復元画像を最終的な復元画像として出力し、処理を終了する。

以上のように、画像処理装置７０は、復元画像を用いて繰り返しパターンを検出するので、正確に繰り返しパターンを検出することができる。

なお、除外および復元に用いられる画像は、判定部７２から供給される復元画像であってもよい。この場合、劣化画像に対して繰り返し復元が行われるため、復元の精度が高まり、復元画像の画質が向上する。また、第４実施の形態では、復元画像が収束するまで復元が繰り返されたが、所定の回数だけ復元が繰り返されるようにしてもよい。

また、第１乃至第４実施の形態では、推定用領域ごとに点広がり関数の推定が行われるようにしたが、劣化画像全体に対して点広がり関数の推定が行われるようにしてもよい。この場合、図１１のＡおよび図１１のＢの左側に示すように、推定部１５は、繰り返しパターンが除外された劣化画像２０ごとに点広がり関数の推定を行う。

このとき、推定部１５は、例えば、図１１のＡに示すように、劣化画像２０内の除外領域２２以外の領域を用いて推定を行う。または、推定部１５は、図１１のＢに示すように、劣化画像２０内の除外領域２２の境界に対してぼかし等の境界処理を行い、その結果得られるマスキング境界の目立たない画像を用いて推定を行う。以上のように、劣化画像全体に対して点広がり関数の推定が行われる場合、劣化画像全体に対する推定の回数が少ないため、高速で復元画像を生成することができる。

また、第１乃至第４実施の形態では、推定用領域のサイズが変換用領域のサイズと同一であるようにしたが、推定用領域のサイズは、点広がり関数のサイズ以上であれば、これに限定されない。推定用領域のサイズが変換用領域のサイズと異なる場合、図１２のＡ乃至図１２のＤの左側に示すように、推定部１５は、繰り返しパターンが除外された劣化画像２０の推定用領域１０１ごとに点広がり関数の推定を行う。

このとき、推定部１５は、図１２のＡおよび図１２のＢに示すように、劣化画像２０内の除外領域２２以外の領域を用いて推定を行う。または、図１２のＣおよび図１２のＤに示すように、劣化画像２０内の除外領域２２の境界に対して境界処理を行い、その結果得られるマスキング境界の目立たない画像を用いて推定を行う。

推定部１５は、例えば、図１２のＡおよび図１２のＣに示すように、推定用領域１０１ごとの点広がり関数を最終的な点広がり関数として出力する。この場合、画像内の位置によって点広がり関数が異なる（点広がり関数がSpace_Variantである）場合であっても、正確な点広がり関数を出力することができる。

なお、推定部１５は、図１２のＢおよび図１２のＤに示すように、各推定用領域１０１の点広がり関数の平均値を最終的な点広がり関数として出力することもできる。

また、第１乃至第４実施の形態では、変換用領域のサイズが点広がり関数のサイズと同一であるようにしたが、変換用領域のサイズは、点広がり関数のサイズ以上であれば、点広がり関数のサイズと同一でなくてもよい。

変換用領域のサイズが点広がり関数のサイズより大きい場合には、評価値は、例えば、以下の式（３）により求められる。

式（３）において、Scoreは評価値を表し、Ｘ_i,jは、係数行列のうちのi行j列の係数を表す。また、thは、２×変換用領域のサイズｌ_patch÷点広がり関数のサイズl_psfである。式（３）によれば、評価値として、直流成分を除いた係数行列のうちの次数が所定値以下の成分の割合が計算される。そして、評価値が閾値以下である変換用領域が、繰り返しパターンとして検出される。

＜第５実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、点広がり関数の推定方法は、繰り返しパターンによって推定誤差が生じる方法であれば、非特許文献１に記載されているブラインドデコンボリューションにおける手法に限定されない。

本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
画像から繰り返しパターンを除外する除外部と、
前記除外部により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定部と
を備える画像処置装置。
（２）
前記画像から前記繰り返しパターンを検出する検出部
をさらに備える
前記（１）に記載の画像処理装置。
（３）
前記画像に対して、１次の基底が１つのエッジを含む領域に対応する変換を行う変換部
をさらに備え、
前記検出部は、前記変換部による変換の結果に基づいて、前記繰り返しパターンを検出する
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記変換部は、前記画像を分割した変換用領域ごとに、前記画像に対して前記変換を行い、
前記検出部は、前記変換部による変換の結果得られる変換行列の１次の成分の割合が閾値以下である変換用領域を、前記繰り返しパターンとして検出する
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記推定部は、前記画像を分割した推定用領域ごとに前記点広がり関数を推定し、
前記変換用領域のサイズは、前記点広がり関数のサイズと同一である
ように構成された
前記（４）に記載の画像処理装置。
（６）
前記変換は、離散コサイン変換である
ように構成された
前記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記画像は、劣化後の画像から劣化前の画像を復元した復元画像である
ように構成された
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記画像から劣化前の前記画像を復元した復元画像から前記繰り返しパターンを検出する検出部
をさらに備える
前記（１）に記載の画像処理装置。
（９）
前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
をさらに備え、
前記除外部は、前記復元画像から前記繰り返しパターンを除外する
前記（８）に記載の画像処理装置。
（１０）
前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
ように構成された
前記（９）に記載の画像処理装置。
（１１）
前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
ように構成された
前記（９）に記載の画像処理装置。
（１２）
前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
をさらに備える
ように構成された
前記（８）に記載の画像処理装置。
（１３）
前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
ように構成された
前記（１２）に記載の画像処理装置。
（１４）
前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
ように構成された
前記（１２）に記載の画像処理装置。
（１５）
画像処理装置が、
画像から繰り返しパターンを除外する除外ステップと、
前記除外ステップの処理により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定ステップと
含む画像処理方法。

１０ 画像処理装置， １２ 変換部， １３ 検出部， １４ 除外部， １５ 推定部， １６ 復元部， ３０ 画像処理装置， ５０ 画像処理装置， ７０ 画像処理装置

Claims (14)

1. 画像から繰り返しパターンを検出する検出部と、
   前記画像から前記検出部により検出された繰り返しパターンを除外する除外部と、
   前記除外部により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定部と
   を備える画像処理装置。
2. 前記画像に対して、１次の基底が１つのエッジを含む領域に対応する変換を行う変換部
   をさらに備え、
   前記検出部は、前記変換部による変換の結果に基づいて、前記繰り返しパターンを検出する
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記変換部は、前記画像を分割した変換用領域ごとに、前記画像に対して前記変換を行い、
   前記検出部は、前記変換部による変換の結果得られる変換行列の１次の成分の割合が閾値以下である変換用領域を、前記繰り返しパターンとして検出する
   ように構成された
   請求項２に記載の画像処理装置。
4. 前記推定部は、前記画像を分割した推定用領域ごとに前記点広がり関数を推定し、
   前記変換用領域のサイズは、前記点広がり関数のサイズと同一である
   ように構成された
   請求項３に記載の画像処理装置。
5. 前記変換は、離散コサイン変換である
   ように構成された
   請求項２に記載の画像処理装置。
6. 前記画像は、劣化後の画像から劣化前の画像を復元した復元画像である
   ように構成された
   請求項１に記載の画像処理装置。
7. 前記画像から劣化前の前記画像を復元した復元画像から前記繰り返しパターンを検出する検出部
   をさらに備える
   請求項１に記載の画像処理装置。
8. 前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
   をさらに備え、
   前記除外部は、前記復元画像から前記繰り返しパターンを除外する
   請求項７に記載の画像処理装置。
9. 前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
   ように構成された
   請求項８に記載の画像処理装置。
10. 前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
    ように構成された
    請求項８に記載の画像処理装置。
11. 前記推定部により推定された前記点広がり関数を用いて、前記画像から前記復元画像を生成する復元部
    をさらに備える
    ように構成された
    請求項７に記載の画像処理装置。
12. 前記復元部は、前記復元画像が収束した場合、前記復元画像を出力する
    ように構成された
    請求項１１に記載の画像処理装置。
13. 前記復元部は、所定の回数だけ前記復元画像の生成を繰り返す
    ように構成された
    請求項１１に記載の画像処理装置。
14. 画像処理装置が、
    画像から繰り返しパターンを検出する検出ステップと、
    前記画像から前記検出ステップの処理により検出された繰り返しパターンを除外する除外ステップと、
    前記除外ステップの処理により前記繰り返しパターンが除外された前記画像を用いて点広がり関数を推定する推定ステップと
    含む画像処理方法。

Images