JP5968073B2 - 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明はデジタル画像処理に関し、特に画像にぼけ付加を行う画像処理技術に関する。

近年、イメージセンサのサイズを大きくすることで良好なぼけ味を得ることができるコンパクトデジタルカメラが提案されている。しかし、イメージセンサのサイズが大きくなると結像光学系も大きくなるため、カメラの小型化が困難となる。そこで特許文献１には、パンフォーカス（全ての領域にピントが合った状態）に近い画像を撮影するとともに被写体との距離情報を取得し、撮影画像に所定の画像処理を施すことにより、ぼけ味を付加するカメラが開示されている。

しかし、パンフォーカス画像を撮影しようとしても、実際には開口による回折や像面収差の影響、被写体距離の違いにより、全ての領域で完全結像した画像は得られない。特にコンパクトデジタルカメラでは回折や収差の影響が大きくなってしまう傾向にある。そこで特許文献２には、回折や収差の影響により劣化した画像をデジタル処理によって回復する発明が開示されている。

特開２０００−２０７５４９号公報 特開２０１１−２１１６６３号公報

撮影した画像のフォーカス位置を変化させるようなぼけ付加処理を行おうとした場合、撮影した画像が厳密なパンフォーカス画像でないと、ぼけ付加後の画質が劣化してしまう、すなわちピントが合っているべき部分がぼけてしまうという問題が発生する。また、ピントが合っている部分であっても、回折や収差の影響のために画像が劣化してしまい、高画質なぼけ付加画像を得られないという問題がある。

本発明は、上記課題を解決するために、回折や収差の影響を除去した高品質なぼけ付加画像を生成することができる画像処理装置、撮像装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

上記課題を解決するための、本発明に係る画像処理装置は、
被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置であって、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得部と、画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得部と、前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得部と、前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加する画像処理部と、前記撮影画像上の複数の処理対象領域のうち、前記合成カーネルが類似している二つ以上の処理対象領域を一つの拡張領域とする拡張領域決定部と、を有し、前記画像処理部は、前記拡張領域について、同一の前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加することを特徴とする。

また、本発明に係る画像処理方法は、
被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置が行う画像処理方法であって、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、を含み、前記ぼけ付加ステップでは、前記撮影画像上の複数の処理対象領域のうち前記合成カーネルが類似している二つ以上の処理対象領域について、同一の前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加することを特徴とする。

また、本発明に係る画像処理プログラムは、
被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置に、画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、を実行させ、前記ぼけ付加ステップでは、前記撮影画像上の複数の処理対象領域のうち前記合成カーネルが類似している二つ以上の処理対象領域について、同一の前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加することを特徴とする。

本発明によれば、回折や収差の影響を除去した高品質なぼけ付加画像を生成することができる画像処理装置、撮像装置、画像処理方法、および画像処理プログラムを提供することができる。

第一の実施形態に係る画像処理装置の構成を示すブロック図。 第一の実施形態に係る画像処理装置の動作を示すフローチャート。 第一の実施形態における領域生成処理の動作を示すフローチャート。 第一の実施形態において生成されるマップを説明する図。 第一の実施形態における計算カーネルの合成を説明する図。 第一の実施形態における領域生成処理を説明する図。 第二の実施形態に係る撮像装置の構成を示すブロック図。

（第一の実施形態）
以下、図面を参照しながら、本発明の一側面としての画像処理装置について説明する。各図面における同一の参照符号は同一手段を示している。なお、発明の範囲は実施形態の説明で示した例に限定されるものではない。

<システム構成>
図１は、第一の実施形態に係る画像処理装置のシステム構成図である。
画像処理装置１は、パラメータ入力部１０１、パラメータメモリ部１０２、画像データ入力部１０３、画像メモリ部１０４、ＰＳＦメモリ部１０５、領域生成部１０６を有している。また、ぼけカーネル生成部１０７、回復カーネル生成部１０８、画像処理演算部１０９、処理画像メモリ部１１０を有している。
本実施形態に係る画像処理装置は、専用の回路を用いて実現されてもよいし、コンピュータによって実現されてもよい。コンピュータによって実現される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって図１に図示した各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）

パラメータ入力部１０１は、フォーカス位置や露出といった撮影条件のパラメータ、後述する領域生成処理で用いる画質劣化量の閾値、ぼけの形状やサイズを決定するために必要なパラメータを画像処理装置に入力するための入力部である。また、パラメータメモリ部１０２は、パラメータ入力部１０１から入力されたパラメータを記憶するメモリである。
画像データ入力部１０３は、不図示の撮像手段で撮影した画像データ、すなわち撮影画像を二次元の輝度値で表現したデータと、当該画像データに対応した距離情報を画像処理装置に入力するための入力部である。距離情報についての詳しい説明は後述する。また、画像メモリ部１０４は、画像データ入力部１０３に入力された画像データを記憶するメモリである。

ＰＳＦメモリ部１０５は、画像回復用のＰＳＦ、もしくは当該ＰＳＦと代替可能なデータを記憶するメモリである。ＰＳＦ（Point Spread Function）とは、理想的な点像が対
象光学系を通過した場合の光線の広がりを示す関数である。本実施形態では、収差や回折に起因する劣化画像をデコンボリューション処理によって回復するためのＰＳＦを記憶する。被写体との距離および画角については、さまざまな条件があるため、ＰＳＦメモリ部１０５は、それぞれの条件に対応する複数のＰＳＦを記憶している。

領域生成部１０６は、パラメータメモリ部１０２、画像メモリ部１０４、ＰＳＦメモリ部１０５に記憶された情報を基に、画像回復およびぼけ付加処理を行う際の処理領域を生成する手段である。より具体的には、撮影画像に対して、同一のぼけカーネル及び回復カーネルを用いて処理を行うことができる画像領域（本発明における拡張領域）を決定する。領域生成部１０６が、本発明における画像領域拡張部である。
ぼけカーネル生成部１０７は、領域生成部１０６が決定した画像領域に対応するぼけカーネルを生成する手段である。ぼけカーネルとは、画像にぼけを付加するフィルタ処理を行うためのカーネルである。ぼけカーネル生成部１０７は、被写体距離や画角、Ｆ値や焦点距離、ぼけに関するパラメータなどの条件に応じたぼけカーネルを生成することができる。
また、回復カーネル生成部１０８は、ＰＳＦメモリ部１０５に記憶された複数のＰＳＦを基に、領域生成部１０６が生成した画像領域に対応するＰＳＦを決定し、画像回復処理を行うためのカーネルである回復カーネルを生成する手段である。

画像処理演算部１０９は、領域生成部１０６、ぼけカーネル生成部１０７、回復カーネル生成部１０８から得られた情報を基に、画像メモリ部１０４に記憶されている画像に対して画像回復及びぼけ付加の効果を与える演算処理を行う手段である。
また、処理画像メモリ部１１０は、画像処理演算部１０９で生成された、ぼけが付加された画像を記憶するメモリである。

<処理フローチャート>
次に、画像処理装置１の動作について、処理フローチャートを参照しながら詳細に説明する。図２は、画像処理装置１が行う処理を示したフローチャートである。

ステップＳ２０１では、撮影条件のパラメータや、後述する領域生成処理で用いる画質劣化量の閾値、ぼけの付加に必要なパラメータを、パラメータ入力部１０１が取得する。パラメータは利用者が入力してもよいし、撮像手段から取得してもよい。また、あらかじめ記憶されているものを取得してもよい。入力されたパラメータは、パラメータメモリ部１０２に記憶される。これらのパラメータを用いて、後述する領域生成処理やぼけカーネル生成処理、回復カーネル生成処理が実行される。

ステップＳ２０２では、撮像手段により撮影された画像データと、当該画像データに対応した距離情報、または距離情報に換算可能なデータを画像データ入力部１０３が取得し、画像メモリ部１０４に記憶させる。距離情報に換算可能なデータとは、入力された画像データの視点位置からの相対距離や、あるグローバル座標における位置等の直接的な距離情報、複数の撮像手段からの画像情報を用いて生成された視差情報等などである。
また、距離情報に換算可能なデータは、デジタル処理を用いた画像形成方法である、Computational Photographyの技術を用いて距離を取得するためのデータであってもよい。
例えば、ＤＦＤ（Depth From Defocus）法と呼ばれる技術では、フォーカス画像とデフォーカス画像を取得し、ぼけ量を解析することで被写体距離を求めることができる。その他、被写体距離を取得するためのデータであれば、どのようなものであってもよい。たとえば、距離情報と、ステップＳ２０１で入力される撮影条件のパラメータの一つであるフ
ォーカス位置とで算出されるデフォーカス量を入力データとしてもよい。

ステップＳ２０３では、画像回復処理及びぼけ付加画像処理を行った際に、シフトインバリアントとなる新たな領域を生成する処理を行う。シフトインバリアントな領域とは、後述する画像処理演算（画像回復処理及びぼけ付加画像処理）において、同一のカーネルを適用できる領域を指す。
換言すると、同一のカーネルを用いて処理を行っても、画質の劣化が許容範囲内となる領域である。本ステップを実行しない場合、処理対象の領域ごと（例えば画像が有する画素ごと）に画像処理演算を行う必要があるが、本ステップを実行することで、画質の劣化を最小限にしつつ、処理対象の領域数を減らすことができる。

ここで、ステップＳ２０３において領域生成部１０６が行う領域生成処理の内容を詳細に説明する。図３は、ステップＳ２０３の処理をより詳細に示したフローチャートである。
まず、ステップＳ３０１でマップの生成を行う。マップとは、画像上の異なる領域ごとに割り当てられた複数の回復カーネル及びぼけカーネルからなるデータ群である。
図４は、マップの例を二次元の形式で示した図である。撮影画像上にあらかじめ割り当てられた処理対象領域ごとに、使用する回復カーネル及びぼけカーネルを割り当てる。符号４０１は、処理対象領域ごとに割り当てられたカーネルを表している。処理対象領域は、たとえば一画素のみを含む領域としてもよいし、複数の画素を含んだ任意の形状の領域であってもよい。このマップは、領域生成部１０６が領域生成処理を行う前の状態のマップである。

処理対象領域ごとに割り当てられる回復カーネル及びぼけカーネルは、実際の撮影条件や光学配置、すなわち被写体距離や画角に応じて異なるカーネルである。カーネルは、処理を行う都度、演算によって生成してもよいし、あらかじめ算出し、記憶しておいたものを利用してもよい。
また、ぼけカーネルは、ぼけの付加条件（被写体距離、画角、ぼけの強さ等）にそれぞれ対応する複数のＰＳＦを用いて生成することができる。ぼけカーネルの生成に使用するＰＳＦは、ぼけの付加条件からその都度演算によって生成してもよいし、事前に算出され、記憶されたものから適切なものを選択してもよい。このようにすることで、実際の光学系に即したぼけを付加することができる。
また、ぼけカーネルは必ずしも実際の光学系に即したＰＳＦによって生成されなくてもよい。例えば、共通のぼけカーネルを記憶しておき、被写体距離や画角をパラメータとして変換を行うことで目的のぼけカーネルを取得してもよい。このように、使用されるぼけカーネルは、所望の形で如何様に決定しても構わない。

なお、ぼけカーネルを回復カーネルによってデコンボリューションし、一つのカーネルとしたものを各処理対象領域に割り当ててもよい（以降、当該カーネルを計算カーネルと称する）。図５は、ぼけカーネルを回復カーネルによってデコンボリューションした計算カーネルを二次元の図形で表した図である。換言すると、図５（ｃ）の図形は、計算カーネルに対応するフィルタ行列が形成する領域を表す。なお、計算カーネルが本発明における合成カーネルである。
計算カーネルも、処理対象領域ごとに、距離や画角等に応じて異なるものが割り当てられる。この計算カーネルもその都度生成してもよいし、事前に複数生成して記憶しておいてもよい。計算カーネルを生成する場合、画像処理演算部１０９が本発明における合成カーネル生成部として動作する。以降、ぼけカーネル及び回復カーネル、または計算カーネルのことを単にカーネルと称する。

次に、ステップＳ３０２では、処理対象領域ごとに、カーネル類似度の算出を行う。カ
ーネル類似度とは、処理対象領域に割り当てられたカーネルの類似度を表すパラメータである。ステップＳ３０３で新たな領域を生成する際に、この類似度を用いて画質の劣化量を判断する。

カーネル類似度の第一の例を挙げる。第一の例は、カーネルの大きさや形状から類似度を算出する例である。カーネルの大きさの類似度は、カーネルの面積や中心点からの距離、半径などによって求めることができる。例えば、カーネルの仮想的な重心を計算し、当該重心を中心点として縁までの平均距離を算出して、当該平均距離によってカーネル同士の類似度を判定してもよい。この他にも、カーネルの形状のマッチングを行い、形状がどの程度相似しているかを示すパラメータを算出してもよい。

次に、カーネル類似度の第二の例を挙げる。第二の例は、カーネルの周波数特性を利用する例である。例えば、カーネルをフーリエ変換し、ＭＴＦ（Modulation Transfer Function）を用いて類似度を算出する。ＭＴＦとは、被写体の持つコントラストを像面上でどれだけ忠実に再現できるかを空間周波数特性として表したものである（以降、ＭＴＦとは撮像系におけるＭＴＦを意味する）。第二の例では、カーネル類似度Ｉを数式１のように算出する。

ここで、μは空間周波数を意味し、μ₁およびμ₂はそれぞれ空間周波数の下限と上限を設定する定数であり、ＩはＭＴＦを空間周波数で積分したものである。またこの際、画像データをフーリエ変換し、画像データの周波数特性を利用してもよい。
以上に挙げたカーネル類似度Ｉは、様々な距離や画角に対応する複数のカーネル同士の類似度を比較する際の基準として用いることができる。なお、上記第一の例および第二の例は組み合わせて用いてもよい。例えば、算出した類似度を重み付けして加算するなどしてもよい。

ステップＳ３０３では、ステップＳ３０２で算出されたカーネル類似度Ｉを利用して新たな領域を決定する。ここで決定される新たな領域とは、カーネル類似度Ｉが類似している処理対象領域同士をまとめた領域である。
より具体的には、画質劣化量の閾値Ｔを用意し、領域内のＩの変化量がＴ以下となるような複数の新たな領域を決定する。当該領域は、カーネル類似度の変化量がＴ以下となる範囲であれば、どのように決定されてもよい。この新たに決定された領域が、同一のカーネルを使用して画像処理が行われる領域となる。領域内でのカーネル類似度の変化を一定値に抑えることで、ぼけ付加処理の前後における画質の劣化を一定量に抑えることができる。なお、画質劣化量の閾値Ｔは、ステップＳ２０２で入力されるパラメータに含まれていてもよく、内部で保持している値を利用してもよい。

簡単な具体例を挙げて説明する。図６は、ステップＳ２０３による処理の結果を表した図である。図６（ａ）が、ステップＳ２０３の処理を行う前の状態のマップである。図６（ａ）で示した各正方領域には、それぞれ異なるカーネルが割り当たっていることを意味する。
また、図６（ｂ）がステップＳ２０３の処理を行った後のマップである。例えば、領域６０１に含まれる各カーネルについて、カーネル類似度Ｉの変化量が閾値以下であると判断した場合、新たな領域である領域６０２を生成する。この領域６０２が、同一のカーネルを用いて画像処理を行う領域となる。ステップＳ２０３の処理を行うことによって、画質の劣化を一定量に抑えたままで、画像処理に用いるカーネルの数を減らすことができる
。

ステップＳ２０４では、ステップＳ２０３で生成された、新たな領域に対応するぼけカーネルを生成する。具体的には、ステップＳ３０１と同様に、撮影条件やその際の光学配置によって被写体距離や画角、パラメータに応じたぼけカーネルを領域毎に生成する。ぼけカーネルは、事前に算出され記憶されているものがある場合、それを用いてもよい。
また、ぼけカーネルを生成するためのＰＳＦは、パラメータごとに異なるものがあらかじめ記憶されていてもよい。また、領域との対応関係、すなわち距離や画角といったＰＳＦを決定する要素のみを記憶しておき、ＰＳＦを都度生成することでぼけカーネルを生成しても構わない。本ステップの処理により、生成された新たな領域に対応するぼけカーネルが決定する。

ステップＳ２０５では、回復カーネル生成部１０８が、ステップＳ２０４におけるぼけカーネルと同様に、ステップＳ２０３で生成された、新たな領域に対応する回復カーネルを生成する。具体的には、ステップＳ３０１と同様に、撮影条件やその際の光学配置によって決定される回復カーネル、もしくはその代替となるものを領域毎に生成する。回復カーネルは、事前に算出され記憶されている場合、それを用いてもよい。
本実施形態では、事前に記憶されているＰＳＦを使用して回復カーネルを生成するが、領域との対応関係、すなわち距離や画角といったＰＳＦを決定するための要素のみを記憶しておき、ＰＳＦを都度生成することで回復カーネルを生成しても構わない。本ステップの処理により、生成された新たな領域に対応する回復カーネルが決定する。

ステップＳ２０６では、画像メモリ１０４に記憶されている画像データと、ステップＳ２０３で新たに生成した画像領域、ステップＳ２０４で生成したぼけカーネル、およびステップＳ２０５で生成した回復カーネルを用いて画像処理演算部１０９が画像処理を行う。本ステップで行う画像処理は、画像回復と同時に対象画像にぼけを付加する処理である。
具体的には、画像データとぼけカーネルとのコンボリューション計算を行い、さらに回復カーネルとのデコンボリューション計算を行う。デコンボリューション計算には様々な方法があるが、ここでは最も簡単な例を挙げる。まず、コンボリューション計算は数式２のように定義される。なお、Ｐはある画像領域における画像データ、Ｂは対応するぼけカーネル、Ｓは対応する回復カーネルを表す。

これは、画像領域中の一画素についての計算である。すなわち、これを画像領域内の全画素で繰り返すことで画像に対するぼけ付加処理を行える。ここで、ステップＳ２０４において生成された新たな領域内では同一のカーネルを用いて処理が行えるため、数式３のようにコンボリューション定理を用いて演算を行うことができる。

ここで、ＦＴは二次元のフーリエ変換を表し、ＩＦＴは二次元の逆フーリエ変換を表す。画像回復と同時にぼけ付加された画像を生成するには、数式４のように計算すればよい。

これを、領域生成部１０６で生成された全ての画像領域で行うことによって、入力された画像データに画像回復とぼけ付加の効果を与えることができる。なお、デコンボリューション計算の他の手法を利用するため、画像データとぼけカーネルのコンボリューション計算によるぼけ付加効果が与えられた後の画像データを用いてもよい。また、前述しように、計算カーネルを用いて画像データとのコンボリューション計算を行ってもよい。
そして、ステップＳ２０７で画像出力を行い、処理画像メモリ部１１０に、画像回復とぼけ付加の効果が与えられた画像を記憶する。

このように、本実施形態に係る画像処理装置に依れば、入力された画像が完全結像した画像でなくても、高画質なぼけ付加画像を得ることができる。また、任意の画像に対してシフトインバリアントとなる領域を算出することができる。これにより、画質を必要十分に維持したままで、画像回復のために使用するカーネルの数を削減し、コンボリューション定理を適用することができる。そのため、高画質なぼけ付加効果が加えられると共に、計算量を大幅に削減することができる。

（第二の実施形態）
第二の実施形態に係る撮像装置は、第一の実施形態に係る画像処理装置１を含む撮像装置である。図７に、本実施形態に係る撮像装置の構成を示す。撮像装置４は、典型的にはデジタルスチルカメラやデジタルビデオカメラ等である。

図７において、符号４００は撮影レンズであり、撮像素子４０２に被写体光を導く。４０１は絞りやシャッタ等を含む露光制御部材である。撮影レンズ４００を介して入射された被写体光は、露光制御部材４０１を介して撮像素子４０２に入射される。撮像素子４０２は被写体光を電気信号に変換して出力する撮像素子であり、ＣＣＤやＣＭＯＳ等のイメージセンサで構成される。
また、画像形成回路４０３は、撮像素子４０２からのアナログ出力信号をデジタル化して画像化するための回路であり、デジタル画像を出力する。画像形成回路４０３は、不図示のアナログ／デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換処理回路、および第一の実施形態に係る画像処理装置１から構成される。

露光制御部４０４は、露光制御部材４０１を制御する手段である。また、測距制御部４０５は撮影レンズ４００のフォーカシングを制御する手段である。露光制御部４０４および測距制御部４０５は、例えばＴＴＬ方式（Through the Lens，撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式）を用いて制御される。
システム制御回路４０６は、撮像装置４全体の動作を司る回路である。また、メモリ４０７は、システム制御回路４０６での動作制御用のデータおよび処理プログラムなどを記録するフラッシュＲＯＭ等を用いたメモリである。また、不揮発性メモリ４０８は、各種調整値などの情報を記憶する電気的に消去および記録可能なＥＥＰＲＯＭ等の不揮発性メモリである。
フレームメモリ４０９は、画像形成回路４０３で生成された画像を数フレーム分記憶するメモリである。また、メモリ制御回路４１０は、フレームメモリ４０９に入出力される画像信号を制御する回路である。また、画像出力部４１１は画像形成回路４０３で生成された画像を不図示の画像出力装置に表示するための手段である。

第二の実施形態においては、撮像素子４０２によって得られた画像が、第一の実施形態に係る画像処理装置を含む画像形成回路４０３へ入力される。すなわち、撮像素子４０２が取得した画像データ、すなわち二次元の輝度値を表現するデータが、第一の実施形態における画像データ入力部１０３に対する入力となる。また、画像データ入力部１０３に入力する距離情報は、たとえば既知のＤＦＤ法による処理を画像形成回路４０３が実行することによって取得することができる。また、パラメータ入力部１０１に入力する撮影条件のパラメータは、システム制御回路４０６から取得することができる。
画像形成回路４０３が行う画像回復およびぼけ付加処理の内容は、第一の実施形態に係る画像処理装置１と同様である。

第二の実施形態に依れば、第一の実施形態に係る画像処理装置を用いて、撮影した画像に対して高品質なぼけ付加を実施することができる撮像装置を提供することができる。

（第三の実施形態）
第三の実施形態は、第一の実施形態におけるカーネル類似度Ｉを、カーネルの周波数特性に加えて視覚の空間周波数特性を加味して決定する形態である。

本実施形態は、第一の実施形態と比較して、ステップＳ３０１及びステップＳ３０２におけるカーネル類似度の算出方法のみが異なるものである。その他の構成および処理方法は、第一の実施形態と同様である。
本実施形態では、ぼけカーネル及び回復カーネルのＭＴＦに加えて、視覚の空間周波数特性を利用してカーネル類似度を算出する。その一例として、ＣＭＴＡ（Cascaded Modulation Transfer Acutance）という値を利用する。ＣＭＴＡについては、「高木幹雄，下
田陽久，“新編 画像解析ハンドブック”，東京大学出版会，p.77-78」に詳しく記載さ
れている。

シフトインバリアントとなる領域は、第一の実施形態で述べた手法を用いて判定することができる。しかしながら、人の視覚には特徴的な空間周波数特性があることが知られており、空間周波数の変化に対して反応が大きい空間周波数と、変化に対して反応が小さい空間周波数とが存在する。そのため、視覚の空間周波数特性を用いてカーネルのＭＴＦを重み付けすることで、人が変化を知覚することができない領域の中でより正確にカーネル類似度を決定することが可能となる。

視覚の空間周波数に対するＭＴＦは、ＣＳＦ（Contrast Sensitivity Function，コン
トラスト感度関数）として知られている。ＣＳＦは、眼球における結像系でのローパスフィルタの特性と、網膜から脳に至る信号処理系でのバンドパスフィルタの特性を考慮して視覚系のコントラスト感度をモデル化したものである。ＣＳＦの一例は、数式５で表わされる。

ここで、fは空間周波数であり、人の視角１度の中でコントラスト縞が見える数を表す
単位［ｃｙｃｌｅ／ｄｅｇ］で表わされる。通常ａは７５、ｂは０．２とされる事が多いが、固定ではなく、評価環境の様々な条件によって変化する。

ある空間周波数範囲におけるぼけカーネル及び回復カーネルの、ＭＴＦとＣＳＦとの積の積分値を正規化したものを、ＳＱＦ（Subjective Quality Factor，主観的画質係数）
と言う。ここで、本実施形態における、ぼけカーネルのＭＴＦをＭＴＦｂ、回復カーネルのＭＴＦをＭＴＦｓとする。すると、ＳＱＦは、カーネルの空間周波数特性と視覚の空間周波数との乗算の積分値（積算値）を、視覚の空間周波数の積分値（積算値）で除したも
の（数式６）で表される。なお、fは空間周波数を表し、f₁及びf₂はそれぞれ空間周波数
の上下限を設定する定数を表す。

ＣＭＴＡは、ＳＱＦをヴェーバー・フェヒナーの法則（Weber-Fechner’s law）を用いて人の感覚に対して線形になるようにし、１００に規格化したものである。ヴェーバー・フェヒナーの法則とは、人の感覚は刺激の対数に比例するという法則であり、ＣＭＴＡは数式７のように定式化することができる。このＣＭＴＡをカーネル類似度Ｉとすることで、視覚の空間周波数特性を反映したシフトインバリアント領域を決定することができる。

このように、本実施形態に係る画像処理装置に依れば、ＣＭＴＡを利用した評価値を用いることにより、人間が知覚できない画質変化の範囲を特定することができ、シフトインバリアント領域の決定をより正確に行うことができる。すなわち、人の視覚に合わせて画質を必要十分に維持したまま、画像回復のためのカーネルの数を削減し、コンボリューション定理を適用することができる。そのため、第一の実施形態と比較すると、計算量の削減を実現したまま、より高画質なぼけ付加効果を得ることができる。

なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。本発明は、上記処理の少なくとも一部を含む画像処理方法として実施することもできるし、これらの方法を画像処理装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

１ 画像処理装置、１０７ ぼけカーネル生成部、１０８ 回復カーネル生成部、１０９ 画像処理演算部

Claims (11)

1. 被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置であって、
   画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得部と、
   画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得部と、
   前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得部と、
   前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加する画像処理部と、
   前記撮影画像上の複数の処理対象領域のうち、前記合成カーネルが類似している二つ以上の処理対象領域を一つの拡張領域とする拡張領域決定部と、
   を有し、
   前記画像処理部は、前記拡張領域について、同一の前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加する
   ことを特徴とする画像処理装置。
2. 前記回復カーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角に応じた回復カーネルを取得する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 前記ぼけカーネル取得部は、撮影画像上の処理対象領域に対応する距離及び画角のうち、いずれか一方に応じたぼけカーネルを取得する
   ことを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記拡張領域決定部は、前記処理対象領域に割り当てられた前記合成カーネルの大きさ又は形状に基づいて前記合成カーネルの類似度を判定する
   ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記拡張領域決定部は、前記処理対象領域に割り当てられた前記合成カーネルの空間周
   波数特性に基づいて前記合成カーネルの類似度を判定する
   ことを特徴とする、請求項１から３のいずれか１項に記載の画像処理装置。
6. 前記拡張領域決定部は、視覚の空間周波数特性にさらに基づいて前記合成カーネルの類似度を判定する
   ことを特徴とする、請求項５に記載の画像処理装置。
7. 前記拡張領域決定部は、前記処理対象領域に割り当てられた前記合成カーネルの空間周波数特性と前記視覚の空間周波数特性との乗算の積算値と、該視覚の空間周波数の積算値との比に基づいて前記合成カーネルの類似度を判定する
   ことを特徴とする、請求項６に記載の画像処理装置。
8. 前記回復カーネル取得部は、前記回復カーネルを演算によって生成する、又は、あらかじめ算出しておいた回復カーネルを利用する
   ことを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。
9. 撮像手段と、請求項１から請求項８のいずれか１項に記載の画像処理装置を有する
   ことを特徴とする撮像装置。
10. 被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置が行う画像処理方法であって、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、
    画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、
    前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、
    前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、
    を含み、
    前記ぼけ付加ステップでは、前記撮影画像上の複数の処理対象領域のうち前記合成カーネルが類似している二つ以上の処理対象領域について、同一の前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加する
    ことを特徴とする画像処理方法。
11. 被写体の距離情報を基に、撮影画像にぼけを付加する画像処理装置に、
    画像の劣化を回復するためのカーネルである回復カーネルを取得する回復カーネル取得ステップと、
    画像にぼけを付加するためのカーネルであるぼけカーネルを取得するぼけカーネル取得ステップと、
    前記回復カーネルと前記ぼけカーネルとを合成した合成カーネルを取得する合成カーネル取得ステップと、
    前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加するぼけ付加ステップと、
    を実行させ、
    前記ぼけ付加ステップでは、前記撮影画像上の複数の処理対象領域のうち前記合成カーネルが類似している二つ以上の処理対象領域について、同一の前記合成カーネルを用いて、前記撮影画像の劣化を回復し、かつ、該撮影画像にぼけを付加する
    ことを特徴とする画像処理プログラム。