JP5979553B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Description

本発明は、入力画像のＰＳＦを推定する技術に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなどに含まれる撮像素子の多画素化が進み、撮影画像の解像度が向上している。しかし、多画素化の影響で１画素当たりの受光量が減り、撮影画像においてノイズが多くなっている。

このようなノイズを抑えるためには、露光時間を長くすることが有効である。しかし、露光時間が長くなれば、手ブレ（ｃａｍｅｒａ ｓｈａｋｅ ｂｌｕｒ）や被写体ブレ（ｍｏｔｉｏｎ ｂｌｕｒ）が生じやすくなるため撮影画像の画質が劣化してしまう。

そこで、このように画質が劣化した撮影画像から、手ブレや被写体ブレを除去する方法が提案されている（特許文献１および非特許文献１を参照）。特許文献１および非特許文献１の方法では、撮影画像の点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いて撮影画像の復元処理を行うことにより、手ブレや被写体ブレが除去された画像を生成する。

ＰＳＦとは、手ブレ、被写体ブレおよびボケ（ｏｕｔ−ｏｆ−ｆｏｃｕｓ ｂｌｕｒ）の状態を表す関数である。なお、以下において、手ブレ、被写体ブレおよびボケを総称してぼやけ（ｂｌｕｒ）と呼ぶ。

また、ＰＳＦを用いて、撮影画像の距離を推定する場合もある。例えば、距離によって変化するＰＳＦに基づいて距離を計測するＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）と呼ばれる手法がある。具体的には、例えば、焦点が合っている全焦点画像と焦点が合っていないボケ画像との２枚の画像を用いて、ボケ画像のＰＳＦを推定し、推定されたＰＳＦと、予め被写体距離毎に測定されたＰＳＦとを比較することで距離を推定する。

このような画像復元あるいは距離推定に用いられるＰＳＦは、離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）によって周波数領域に変換された撮影画像を用いて、推定されることが多い。ＤＦＤの場合、焦点があっている全焦点画像とボケ画像とが得られる。このボケ画像は、全焦点画像にＰＳＦを畳み込んで得られる画像と一致する。つまり、ボケ画像の各周波数成分は、全焦点画像の各周波数成分とＰＳＦの各周波数成分の積と一致する。したがって、ＰＳＦの各周波数成分は、例えば全焦点画像の各周波数成分をボケ画像の各周波数成分で除算することで求められる。

特開２００７−１１６３３２号公報

R.Fergus, B.Singh, A.Hertzmann, S.T.Roweis, W.T.Freeman, "Removing Camera Shake from a Single Photograph", ACM Trans. on Graphics, Vol.25, Issue 3, pp.787-794 (2006)

しかしながら、上記のＰＳＦの推定方法では、ＰＳＦを正確に推定できない場合がある。

そこで、本発明は、ＰＳＦの推定精度を向上させることができる画像処理装置を提供する。

本発明の一態様に係る画像処理装置は、少なくとも１つの入力画像のＰＳＦを推定する画像処理装置であって、各空間周波数における前記入力画像のＳＮ比を推定するＳＮ比推定部と、前記ＳＮ比が低い空間周波数ほど制限領域に含まれるように、前記入力画像の周波数成分を制限する空間周波数の領域である制限領域を算出する制限領域算出部と、前記制限領域内の前記入力画像の周波数成分を制限することにより制限画像を生成する周波数制限部と、前記制限画像を用いて、前記入力画像のＰＳＦを推定するＰＳＦ推定部と、を備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る画像処理装置によれば、ＰＳＦの推定精度を向上させることができる。

図１は、実施の形態１における撮像装置の構成を示す図である。 図２は、ＳＦＲを算出する方法を説明するための図である。 図３は、撮影対象の被写体の周波数特性を算出する方法を説明するための図である。 図４は、撮像素子のノイズの周波数特性を算出する方法を説明するための図である。 図５は、各周波数成分のＳＮ比を推定する方法を説明するための図である。 図６Ａは、制限領域の一例を示す図である。 図６Ｂは、制限領域の他の一例を示す図である。 図７は、実施の形態１における撮像装置の処理を示すフローチャートである。 図８は、実施の形態２における撮像装置の構成を示す図である。 図９は、実施の形態３における撮像装置の構成を示す図である。 図１０は、撮像装置と距離ごとのＰＳＦとの関係を示す図である。 図１１は、ＰＳＦの各周波数成分における差分を示す図である。 図１２は、各周波数成分の距離判別値を示す図である。 図１３は、距離区間によってＰＳＦの各周波数成分の差分が異なることを説明するための図である。 図１４は、他の実施の形態における画像処理装置の構成を示す図である。 図１５は、他の実施の形態における画像処理装置の処理を示すフローチャートである。

（本発明の基礎となった知見）
本発明者らは、「背景技術」の欄において記載したＰＳＦの推定に関し、以下の問題が生じることを見出した。

ＰＳＦを推定する場合、推定に使用するぼやけた画像の信号対雑音比（ＳＮ比：Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）によってＰＳＦ推定精度が大きく変化することが考えられる。

ＤＦＤにおいてＰＳＦを推定する場合を考える。被写体が撮影された画像において信号成分が少ない場合（エッジがなく平坦な画像の場合）、ＰＳＦが推定しにくくなる。なぜなら、信号成分が少ないため、全焦点画像の各周波数成分の振幅が小さくなってしまい、ボケ画像の各周波数成分との差分が小さくなるためである。

また、光量が少ない場合は、撮影された画像においてノイズ成分が支配的になり、ＰＳＦが推定しにくくなる。なぜなら、全焦点画像の周波数成分とボケ画像の周波数成分とがノイズ成分に埋もれるため、各周波数成分の差分が不正確になるためである。

以上のことから、撮影する被写体において信号成分が多く（エッジが多く）、ノイズが少ない場合において、ＰＳＦの各周波数成分を正確に推定することができると考えられる。

一般的に、撮影画像の信号成分は、低周波数ほど振幅が大きく、高周波数ほど振幅が小さくなる。理由としては、カメラで撮影する際、レンズの周波数特性（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）やレンズのＦ値によって決まる回折限界によって、高周波数成分が減衰するためである。また、自然画像には、高周波数成分があまり含まれていないという特性があるためでもある。

一方、撮影画像のノイズ成分は、ホワイトノイズの特性を持つ光ショットノイズが支配的になる。そのため、直流成分以外の周波数成分において、ノイズ成分の振幅の大きさは均一になると考えられる。

以上のことから、信号成分とノイズ成分とを比較した際に、低周波数成分ほど信号成分の比率が大きくなり、ＳＮ比が高くなる特性がある。一方で、信号成分とノイズ成分とを比較した際に、高周波数成分ほどノイズ成分の比率が大きくなり、ＳＮ比が低くなる特性がある。

以上のように、一般的な撮影画像における信号成分とノイズ成分との関係から各空間周波数におけるＰＳＦの推定は、ＳＮ比が高い低周波数領域ほど容易であり、ＳＮ比が低い高周波数領域ほど困難であると考えられる。特にノイズ成分の量が多い場合、高周波数成分では、信号成分が完全にノイズ成分に埋もれるため、ＰＳＦを推定することが難しい。このような場合、高周波数までＰＳＦの周波数成分を推定することは計算時間の無駄であり、ＰＳＦの推定精度を悪化させる原因にもなる。

そこで、本発明の一態様に係る画像処理装置は、少なくとも１つの入力画像のＰＳＦを推定する画像処理装置であって、各空間周波数における前記入力画像のＳＮ比を推定するＳＮ比推定部と、前記ＳＮ比が低い空間周波数ほど制限領域に含まれるように、前記入力画像の周波数成分を制限する空間周波数の領域である制限領域を算出する制限領域算出部と、前記制限領域内の前記入力画像の周波数成分を制限することにより制限画像を生成する周波数制限部と、前記制限画像を用いて、前記入力画像のＰＳＦを推定するＰＳＦ推定部と、を備える。

この構成によれば、ＳＮ比が低い空間周波数ほど制限領域に含まれるように算出された制限領域内の入力画像の周波数成分を制限することができる。さらに、そのように制限された制限画像を用いて、ＰＳＦを推定することができる。したがって、ノイズが多い周波数成分によって、ＰＳＦの推定精度が低下することを抑制することができる。さらに、ＰＳＦの推定に利用される周波数成分が減少するので、ＰＳＦを推定するための処理負荷を軽減または処理時間を短縮することができる。

例えば、前記制限領域算出部は、前記ＳＮ比が閾値と一致する空間周波数より高周波数の領域を前記制限領域として算出してもよい。

この構成によれば、ＳＮ比が閾値と一致する空間周波数より高周波数の領域を制限領域として算出することができる。一般的に、高周波数領域ほどＳＮ比が高いので、このように制限領域を算出することで、適切な制限領域を簡易に算出することが可能となる。

例えば、前記制限領域算出部は、前記ＳＮ比が閾値未満となる空間周波数の領域を前記制限領域として算出してもよい。

この構成によれば、ＳＮ比が閾値未満となる空間周波数の領域を制限領域として算出することができる。したがって、より適切な制限領域を算出することができる。

例えば、前記ＰＳＦ推定部は、前記入力画像の領域ごとに前記ＰＳＦを推定し、前記画像処理装置は、さらに、領域ごとに推定された前記ＰＳＦを用いて、前記入力画像の撮影シーンにおける距離を推定する距離推定部を備えてもよい。

この構成によれば、推定されたＰＳＦを用いて、入力画像の撮影シーンにおける距離を推定することができる。

例えば、前記画像処理装置は、さらに、複数の距離にそれぞれ対応する複数のＰＳＦの周波数特性を保持している距離情報データベースを備え、前記制限領域算出部は、前記ＳＮ比が低い空間周波数ほど前記制限領域に含まれるように、かつ、前記距離情報データベースに保持されている前記複数のＰＳＦの周波数特性において周波数成分の差分が小さい空間周波数ほど前記制限領域に含まれるように、前記制限領域を算出してもよい。

この構成によれば、距離情報データベースに保持されている複数のＰＳＦの周波数特性において周波数成分の差分が小さい空間周波数ほど制限領域に含まれるように、制限領域を算出することができる。この周波数成分の差分が大きいほど、その空間周波数において距離の推定精度は高くなる。したがって、距離の推定に効果的な空間周波数が制限領域に含まれないように制限領域を算出できるので、距離の推定精度を向上させることができる。

例えば、前記画像処理装置は、さらに、複数の距離にそれぞれ対応付けて複数のＰＳＦの周波数特性を保持している距離情報データベースを備え、前記少なくとも１つの入力画像は、第１入力画像と、前記第１入力画像よりもぼやけが小さい第２入力画像とを含み、前記ＰＳＦ推定部は、前記第１入力画像の制限画像と、前記第２入力画像の制限画像に対して、前記距離情報データベースに保持されているＰＳＦを畳み込み演算して得られる畳み込み画像との差分を算出し、算出された前記差分に基づいて前記距離情報データベースに保持されている複数のＰＳＦの中から１つのＰＳＦを選択することにより、前記第１入力画像のＰＳＦを推定してもよい。

この構成によれば、第１入力画像の制限画像と、第２入力画像の制限画像に対してＰＳＦを畳み込み演算して得られる畳み込み画像との差分に基づいて、複数のＰＳＦの中から適切なＰＳＦを選択することができる。

例えば、前記ＳＮ比推定部は、前記入力画像の撮影に用いられたレンズの周波数特性と前記入力画像に含まれる被写体の周波数特性とのうちの少なくとも一方に基づいて、各空間周波数における前記入力画像の信号成分を推定し、前記入力画像の撮影に用いられた撮像素子におけるノイズの周波数特性に基づいて、各空間周波数における前記入力画像のノイズ成分を推定し、前記ノイズ成分に対する前記信号成分の比を空間周波数ごとに算出することにより、各空間周波数における前記入力画像のＳＮ比を推定してもよい。

この構成によれば、信号成分およびノイズ成分を適切に推定することができるので、ＳＮ比の推定精度を向上させることができる。

例えば、前記画像処理装置は、さらに、複数の輝度値にそれぞれ対応する複数のノイズの周波数特性を保持している撮影情報データベースを備え、前記ＳＮ比推定部は、前記入力画像の輝度値に対応する前記ノイズの周波数特性を前記撮影情報データベースから取得し、取得された前記ノイズの周波数特性に基づいて、各空間周波数における前記入力画像のノイズ成分を推定してもよい。

この構成によれば、入力画像の輝度値に依存するノイズ成分を適切に推定することができる。

例えば、前記少なくとも１つの入力画像は、複数の入力画像を含み、前記ＳＮ比推定部は、前記複数の画像のうちのぼやけが小さい入力画像から、各空間周波数における信号成分を推定してもよい。

この構成によれば、ぼやけが小さい入力画像から、各空間周波数における信号成分を推定することができる。

例えば、前記周波数制限部は、前記入力画像を縮小することで前記制限領域内の前記入力画像の周波数成分を制限してもよい。

この構成によれば、入力画像を縮小することで制限領域内の入力画像の周波数成分を制限することができる。

例えば、前記周波数制限部は、前記入力画像の周波数変換において前記制限領域外の空間周波数のみ周波数成分を算出することで、前記制限領域内の前記入力画像の周波数成分を制限してもよい。

この構成によれば、入力画像の周波数変換において制限領域外の空間周波数のみ周波数成分を算出することで、制限領域内の入力画像の周波数成分を制限する。つまり、入力画像の周波数変換において制限領域内の空間周波数の周波数成分を算出する必要がないので、周波数変換のための処理負荷を軽減または処理時間を短縮することができる。

例えば、前記少なくとも１つの入力画像は、複数の入力画像を含み、前記制限領域算出部は、前記入力画像ごとに前記制限領域を算出し、算出された複数の前記制限領域を１つの制限領域に統合し、前記周波数制限部は、統合された１つの制限領域を用いて、複数の前記入力画像の各々の周波数成分を制限してもよい。

この構成によれば、複数の入力画像から算出された複数の制限領域を１つの制限領域に統合することができる。したがって、ＳＮ比が低い空間周波数が制限領域に含まれることをさらに抑制することができ、ＰＳＦの推定精度を向上させることが可能となる。

例えば、前記距離推定部は、前記制限領域が大きいほど、距離を推定するためのＰＳＦが少なくなるように、前記距離情報データベースに保持されている複数のＰＳＦを統合し、統合されたＰＳＦを用いて距離を推定してもよい。

この構成によれば、制限領域が大きいほど距離の判別精度が低くなることを考慮して、距離情報データベースに保持されている距離推定のための複数のＰＳＦを統合することができる。したがって、距離の推定精度を向上させることが可能となる。

例えば、前記距離推定部は、距離が合焦距離に近いほど、当該距離の近傍に対応するＰＳＦが少なくなるように、前記距離情報データベースに保持されている複数のＰＳＦを統合し、統合されたＰＳＦを用いて距離を推定してもよい。

この構成によれば、距離が合焦距離に近いほど距離の判別精度が低くなることを考慮して、距離情報データベースに保持されている距離推定のための複数のＰＳＦを統合することができる。したがって、距離の推定精度を向上させることが可能となる。

本発明の一態様に係る撮像装置は、入力画像を撮影する撮像装置であって、上記画像処理装置を備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
以下、実施の形態１における撮像装置について、図面を参照しながら具体的に説明する。

図１は、実施の形態１における撮像装置１００の構成図である。図１に示すように、撮像装置１００は、撮像部１０１と、撮影情報データベース１０２と、ＳＮ比推定部１０３と、制限領域算出部１０４と、周波数制限部１０５と、ＰＳＦ推定部１０６とを有する。本実施の形態では、撮像装置１００は、撮像部１０１によって撮影された入力画像のＰＳＦを推定する。以下、図１を用いて本実施の形態における撮像装置１００の各構成要素について説明する。

撮像部１０１は、被写体の光学像をデジタル信号に変換することにより画像データ（入力画像）を生成する。そして、撮像部１０１は、入力画像をＳＮ比推定部１０３と周波数制限部１０５とに出力する。

撮像部１０１は、主に、被写体からの光を屈折させて集束させるためのレンズ（図示せず）と、通過する光の量や被写界深度を調整する絞り（図示せず）と、光の受光時間を調整するシャッター（図示せず）と、光学像をデジタル信号に変換する撮像素子（図示せず）とを有する。

撮像部１０１は、被写体を撮影する際、被写体の光量や動き量に応じて、カメラパラメータ（例えば、シャッター速度、絞り値、ＩＳＯ感度など）を調整することで適切な入力画像を撮影することができる。これらのカメラパラメータは、ＳＮ比推定部１０３に出力され、入力画像のＳＮ比を推定するために用いられる。

撮像部１０１は、１枚の入力画像だけでなく、複数枚の入力画像を連続して撮影してもよい。その際、撮像部１０１は、入力画像ごとにカメラパラメータを変化させて、各入力画像を撮影してもよい。例えば、２枚の入力画像を連続で撮影する場合、１枚目の入力画像を撮影する際の絞り値を大きくし、２枚目の入力画像を撮影する際の絞り値を小さくしてもよい。これにより、同一シーンにおいて被写界深度が互いに異なる２枚の入力画像が撮影される。

撮影情報データベース１０２は、例えば、ＨＤＤ、半導体メモリなどである。撮影情報データベース１０２は、事前に計測された各種の周波数特性を保持している。具体的には、撮影情報データベース１０２は、例えば、撮像部１０１に含まれるレンズの周波数特性、撮影対象の被写体の周波数特性、および撮像部１０１に含まれる撮像素子のノイズの周波数特性を保持している。

本実施の形態では、撮影情報データベース１０２は、レンズの周波数特性として、撮像部１０１に含まれるレンズのＭＴＦ値、あるいはＦ値に対応する回折限界値等を像高および周波数成分ごとに保持している。より具体的には、撮影情報データベース１０２は、レンズの周波数特性として、例えばＩＳＯ１２２３３の解像度チャートを用いて計測された空間周波数応答（ＳＦＲ：Ｓｐａｔｉａｌ Ｆｒｅｑｕｅｎｃｙ Ｒｅｓｐｏｎｓｅ）を保持している。ＳＦＲは、図２の（ａ）のような白黒の斜めエッジを撮影して得られた画像において、白から黒への輝度値の変化量の微分値を離散フーリエ変換（ＤＦＴ：Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）することで、図２の（ｂ）のような周波数特性として算出できる。入力画像において、画素値が急激に変化するほど、微分値が大きくなり、ＳＦＲの高周波数成分の振幅が大きくなる。

なお、レンズの周波数特性は、絞り値などの各種カメラパラメータに応じて変化する。そのため、カメラパラメータごとにレンズの周波数特性を計測することで、更にレンズの周波数特性の精度を向上できる。ここでは、レンズの周波数特性は、直流成分の振幅を１．０として正規化されている。

また本実施の形態では、撮影情報データベース１０２は、撮影対象の被写体の周波数特性として、被写体を予め撮影した画像から計測された周波数特性を保持している。例えば、撮像装置１００が監視カメラであり、撮影対象の被写体が人物である場合を仮定する。図３の（ａ）のような光量が十分ありノイズが少ない人物の画像が予め複数枚取得される。そして、複数枚の画像を平均化して、離散フーリエ変換することで、図３の（ｂ）のような被写体のおおよその周波数成分が求められる。また、手ブレ画像を予め複数枚取得して同様の処理をすることで、手ブレのおおよその周波数成分が求められる。

なお、撮影対象の被写体の周波数特性は、シャッター速度などの各種カメラパラメータによって異なる。そのため、カメラパラメータごとに撮影対象の被写体の周波数特性を計測することで更に精度が向上できる。また特に被写体の対象が決まっていない場合は、自然画像の性質（周波数成分の振幅は空間周波数に反比例するという性質）を利用してもよい。ここでは、撮影対象の被写体の周波数特性は、直流成分の振幅を１．０として正規化されている。

また本実施の形態では、撮影情報データベース１０２は、撮像素子のノイズの周波数特性として、予め計測された、複数の輝度値にそれぞれ対応する複数のノイズの周波数特性を保持している。例えば、図４の（ａ）のようなエッジがなく輝度が平坦な被写体を撮影して得られた画像を離散フーリエ変換することで、図４の（ｂ）のようなノイズの周波数特性が得られる。この際、各周波数成分は、直流成分の振幅を１．０として正規化される。

ホワイトノイズの特性を持つ光ショットノイズが支配的になる。したがって、ノイズの周波数成分の振幅は、直流成分以外において、均一な大きさになると考えられる。そのため、直流成分以外の周波数成分の振幅の平均値を、直流成分以外のノイズの周波数成分の振幅として扱うことができる。

光ショットノイズは、輝度値が高いほどノイズ量が増えるという特性を有する。しかし、直流成分の増加量のほうがノイズ成分の増加量よりも大きいため、正規化された場合に、直流成分以外の周波数成分の振幅は小さくなる。また、暗電流などの影響で、輝度値が低いほど直流成分以外の周波数成分において振幅が大きくなる。

ＳＮ比推定部１０３は、各空間周波数における入力画像のＳＮ比を推定する。そして、ＳＮ比推定部１０３は、推定されたＳＮ比を制限領域算出部１０４に出力する。

本実施の形態では、ＳＮ比推定部１０３は、各空間周波数における入力画像の信号成分およびノイズ成分の各々を推定する。そして、ＳＮ比推定部１０３は、ノイズ成分に対する信号成分の比を空間周波数ごとに算出することにより、各空間周波数における入力画像のＳＮ比を推定する。

ここで、まず、各空間周波数における入力画像の信号成分を推定する方法の例を説明する。信号成分とは、入力画像に含まれる成分の中で、被写体の光学像に対応する成分である。つまり、信号成分とは、入力画像に含まれる成分のうちノイズ成分を除く成分である。

したがって、１枚の入力画像から正確な信号成分を求めることは困難である。しかし、入力画像に含まれる信号成分にはいくらかの拘束条件が存在する。そこで、その拘束条件に基づいて、おおよその信号成分を推定することは可能である。

例えば、入力画像に含まれる信号成分は、レンズの周波数特性に依存する。そこで、ＳＮ比推定部１０３は、このレンズの周波数特性に基づいて、各空間周波数における入力画像の信号成分を推定してもよい。例えば、ＳＮ比推定部１０３は、レンズの周波数特性を、各空間周波数における入力画像の信号成分として決定してもよい。

また例えば、入力画像に含まれる信号成分は、撮影対象の被写体の周波数特性に依存する。そこで、ＳＮ比推定部１０３は、この撮影対象の被写体の周波数特性に基づいて、各空間周波数における入力画像の信号成分を推定してもよい。例えば、ＳＮ比推定部１０３は、撮影対象の被写体の周波数特性を、各空間周波数における入力画像の信号成分として決定してもよい。

さらに、ＳＮ比推定部１０３は、これらの２つの周波数特性（レンズの周波数特性および撮影対象の被写体の周波数特性）に基づいて、各空間周波数における入力画像の信号成分を推定してもよい。例えば、ＳＮ比推定部１０３は、これらの２つの周波数特性の各空間周波数における代表値（例えば、平均値、最小値あるいは最大値など）を、各空間周波数における入力画像の信号成分として決定してもよい。これにより、ＳＮ比推定部１０３は、更に高精度に入力画像の信号成分を推定することができる。

なお、撮像部１０１において設定されるカメラパラメータによって信号成分の周波数特性は変化する。そこで、ＳＮ比推定部１０３は、撮影情報データベース１０２からカメラパラメータに対応するレンズの周波数特性または撮影対象の被写体の周波数特性を取得してもよい。これにより、ＳＮ比推定部１０３は、更に高精度に入力画像の信号成分を推定することができる。

また、撮像部１０１が複数枚の入力画像を撮影する場合、ＳＮ比推定部１０３は、それらの複数枚の入力画像のうちのぼやけが小さい入力画像から、各空間周波数における信号成分を推定してもよい。この場合、ＳＮ比推定部１０３は、例えば、各入力画像が撮影された際に撮像部１０１において設定されていたカメラパラメータを用いて、他の入力画像よりも小さいぼやけを有する入力画像を判定すればよい。

具体的には、ＳＮ比推定部１０３は、例えば、各入力画像が撮影された際に撮像部１０１において設定されていた絞り値を用いて、他の入力画像よりも小さいボケを有する入力画像を判定してもよい。例えば、絞り値が大きい第１入力画像と絞り値が小さい第２入力画像との２枚の入力画像が撮影された場合、ＳＮ比推定部１０３は、第１入力画像が第２入力画像より小さいボケを有すると判定してもよい。

また同様に、ＳＮ比推定部１０３は、例えば、各入力画像が撮影された際に撮像部１０１において設定されていたシャッター速度を用いて、他の入力画像よりも小さい手ブレおよび被写体ブレを有する入力画像を判定してもよい。

そして、ＳＮ比推定部１０３は、そのように判定されたぼやけが小さい入力画像を離散フーリエ変換することで、各空間周波数における入力画像の信号成分を推定する。

次に、各空間周波数における入力画像のノイズ成分を推定する方法の例を説明する。ノイズ成分とは、入力画像に含まれる成分の中で、被写体の光学像に対応しない成分である。つまり、ノイズ成分とは、入力画像に含まれる成分のうち信号成分を除く成分である。

ＳＮ比推定部１０３は、入力画像の輝度値に対応するノイズの周波数特性を撮影情報データベース１０２から取得する。そして、ＳＮ比推定部１０３は、取得されたノイズの周波数特性に基づいて、各空間周波数における入力画像のノイズ成分を推定する。

具体的には、ＳＮ比推定部１０３は、まず、撮像部１０１によって撮影された入力画像の代表輝度値を算出する。そして、ＳＮ比推定部１０３は、代表輝度値に対応するノイズの周波数特性を入力画像のノイズ成分として撮影情報データベース１０２から取得する。

より具体的には、ＳＮ比推定部１０３は、例えば、入力画像の全体領域の輝度値の平均値あるいは入力画像のスポット領域の輝度値の平均値を、入力画像の代表輝度値として算出する。なお、平均値は、統計的な平均値であればどのような平均値であってもよい。例えば、平均値は、算術平均値、幾何平均値、調和平均値、または加重平均値である。また、代表輝度値は、必ずしも輝度値の平均値である必要はなく、例えば中央値あるいは最頻値であってもよい。つまり、代表輝度値は、入力画像の輝度の統計的な代表値であればよい。

なお、入力画像にゲインがかかっている場合、ＳＮ比推定部１０３は、撮像部１０１から得られるＩＳＯ感度の情報に基づいて、特定のＩＳＯ感度（例えばＩＳＯ１００）の輝度値になるように、入力画像の輝度値を正規化してもよい。

次に、各空間周波数におけるＳＮ比を推定する方法について説明する。ＳＮ比推定部１０３は、図５に示すように、信号成分とノイズ成分とに基づいて、空間周波数ごとにＳＮ比を推定する。具体的には、ＳＮ比推定部１０３は、例えば、各空間周波数において、信号成分の振幅をノイズ成分の振幅で除算することでＳＮ比を求める。

図５の場合、低周波数領域では、信号成分の振幅がノイズ成分の振幅よりも大きいので、ＳＮ比は１．０以上の値になる。しかし、高周波数領域では、信号成分の振幅がノイズ成分の振幅よりも小さいので、ＳＮ比は１．０未満の値になる。このように各空間周波数におけるＳＮ比は、信号成分とノイズ成分とに依存して動的に変化する。

制限領域算出部１０４は、ＳＮ比推定部１０３によって推定されたＳＮ比が低い空間周波数ほど制限領域に含まれるように、入力画像の周波数成分を制限する空間周波数の領域である制限領域を算出する。そして、制限領域算出部１０４は、算出された制限領域を周波数制限部１０５とＰＳＦ推定部１０６とに出力する。

例えば、制限領域算出部１０４は、ＳＮ比が閾値と一致する空間周波数より高周波数の領域を制限領域として算出する。つまり、制限領域算出部１０４は、ＳＮ比が閾値と一致する空間周波数を、制限領域の下限の空間周波数として算出する。

具体的には、制限領域算出部１０４は、例えば図６の（ａ）に示すように、ＳＮ比が「１．０」と一致する空間周波数のうち最も大きい周波数Ａを、制限領域の下限の空間周波数として算出する。

また例えば、制限領域算出部１０４は、ＳＮ比が閾値未満となる空間周波数の領域を制限領域として算出してもよい。つまり、制限領域算出部１０４は、ＳＮ比が閾値未満となる領域の始点および終点の空間周波数を、制限領域を表す空間周波数として算出してもよい。

具体的には、制限領域算出部１０４は、例えば図６の（ｂ）に示すように、ＳＮ比が「１．０」未満となる領域の始点および終点の空間周波数の組合せ（Ａｓ、Ａｅ）および（Ｂｓ、Ｂｅ）をそれぞれ算出する。

なお、制限領域を算出するための閾値は、例えば、ユーザーによって自由に設定された値である。この閾値が大きいほど、制限領域が大きくなる。したがって、閾値が大きいほど、制限される周波数成分が多くなり、計算量削減の効果が大きくなる。

撮像部１０１によって複数枚の入力画像が連続して撮影された場合、制限領域算出部１０４は、入力画像ごとに制限領域を算出する。そして、制限領域算出部１０４は、算出された複数の制限領域を１つの制限領域に統合する。

例えば、撮像部１０１が２枚の入力画像（第１入力画像および第２入力画像）を撮影した場合に、第１入力画像に対して、下限が周波数Ａである制限領域が算出され、第２入力画像に対して、下限が周波数Ｂである制限領域が算出されたと仮定する。ここで、周波数Ａよりも周波数Ｂのほうが低周波数である。ここで、２枚の入力画像からＰＳＦを推定する場合、両方の入力画像においてＳＮ比が高い周波数成分を用いなければ正確なＰＳＦを推定することが難しい。そのため、このような場合は、制限領域算出部１０４は、２つの制限領域を統合して、下限が周波数Ｂである制限領域を算出する。

周波数制限部１０５は、制限領域算出部１０４によって算出された制限領域内の入力画像の周波数成分を制限することにより、制限画像を生成する。そして、周波数制限部１０５は、制限画像をＰＳＦ推定部１０６に出力する。なお、制限領域内の入力画像の周波数成分を制限するとは、制限領域内の周波数成分が入力画像に含まれないように、入力画像を処理することを意味する。制限領域内の入力画像の周波数成分を制限するとは、例えば、制限領域内の周波数成分を入力画像から除去することを意味する。

具体的には、周波数制限部１０５は、例えば、入力画像を縮小することで制限領域内の入力画像の周波数成分を制限する。より具体的には、例えば、入力画像の周波数成分が存在する周波数範囲の半分が制限領域である場合、周波数制限部１０５は、入力画像を半分のサイズに縮小する。例えば、周波数制限部１０５は、バイリニア補間等の既存の方式を用いて入力画像を縮小する。

また、周波数制限部１０５は、入力画像の周波数変換において制限領域外の空間周波数のみ周波数成分を算出することで、制限領域内の入力画像の周波数成分を制限してもよい。つまり、周波数制限部１０５は、制限領域内の入力画像の周波数成分を計算せずに「０」と決定してもよい。

例えば、ｎ個の信号ｘ（ｘ０、．．．、ｘｎ−１）をｎ個の周波数成分ｆ（ｆ０、．．．、ｆｎ−１）に変換する離散フーリエ変換の式１において周波数成分を制限する方法を説明する。

例えば、制限領域の始点および終点が周波数Ａｓ、Ａｅである場合、周波数制限部１０５は、数１においてｆ_Asからｆ_Aeまでの計算は行わず、ｆ_Asからｆ_Aeの計算結果を示す値に「０」を代入する。これにより、周波数制限部１０５は、周波数変換に要する計算時間を削減することが可能である。

撮像部１０１が同じ被写体を撮影する場合、光量が変化すると制限領域が変化する。例えば、光量が少ない場合、入力画像において輝度値が小さくなり、ノイズ成分の振幅が大きくなり、高周波数成分のＳＮ比が小さくなる。そのため、制限領域が低周波数よりに設定され、入力画像の高周波数成分が制限される。一方、光量が多い場合、入力画像において輝度値が大きくなり、ノイズ成分の振幅が小さくなり、高周波数成分のＳＮ比が大きくなる。そのため、制限領域が高周波数よりに設定され、入力画像の高周波数成分が制限されにくくなる。このように制限される周波数成分は、入力画像の輝度値によって動的に変化する。

撮像部１０１によって複数枚の入力画像が撮影された場合、制限領域算出部１０４は、統合された１つの制限領域を用いて、複数枚の入力画像の周波数成分を制限する。

ＰＳＦ推定部１０６は、周波数制限部１０５よって生成された制限画像を用いて入力画像のＰＳＦを推定する。

ＰＳＦを推定する方法としては、様々な方法が提案されている。例えば１枚の画像からＰＳＦを推定する場合、ＰＳＦ推定部１０６は、非特許文献１のような手法でＰＳＦを推定してもよい。また、ＤＦＤのように複数枚の画像からＰＳＦを推定する場合、ＰＳＦ推定部１０６は、焦点が合っている画像（ｉｎｆｏｃｕｓ ｉｍａｇｅ）の各周波数成分をボケ画像（ｄｅｆｏｃｕｓ ｉｍａｇｅ）の各周波数成分で除算することでＰＳＦを推定してもよい。

なお、制限画像は、制限領域内の入力画像の周波数成分が制限された画像である。したがって、ＰＳＦ推定部１０６は、制限領域内のＰＳＦの周波数成分を推定できない。例えば周波数Ａ以上の領域が制限領域である場合、制限画像は、周波数Ａより高い周波数成分を有しない。そのため、ＰＳＦ推定部１０６は、ＰＳＦの周波数成分のうち、周波数Ａより高い周波数成分を推定することができない。つまり、制限画像から推定されるＰＳＦの周波数成分の範囲は制限領域算出部１０４で算出される制限領域に依存する。

撮像部１０１において、複数枚の入力画像を取得している場合は各画像においてＰＳＦをそれぞれ推定する。ＤＦＤの場合であれば、焦点が合っている画像のＰＳＦをボケがない点のＰＳＦとし、ボケ画像のＰＳＦは、焦点が合っている画像に対してどれだけボケているかを表す関数として用いることができる。

次に、以上のように構成された撮像装置１００の処理動作について説明する。

図７は、実施の形態１における撮像装置１００の処理を示すフローチャートである。以下、図７を用いて実施の形態１における処理の流れについて説明する。

ステップＳ１０１では、撮像部１０１は、少なくとも１枚の入力画像を撮影する。このとき、撮像部１０１は、１枚だけでなく複数枚の入力画像を撮影してもよい。

ステップＳ１０２では、ＳＮ比推定部１０３は、各空間周波数における入力画像のＳＮ比を算出する。なお、ステップＳ１０１において、複数枚の入力画像が撮影されている場合、ＳＮ比推定部１０３は、入力画像ごとにＳＮ比を推定する。

ステップＳ１０３では、制限領域算出部１０４は、ステップＳ１０２において推定された各空間周波数におけるＳＮ比を用いて、制限領域を算出する。なお、ステップＳ１０１において、複数枚の入力画像が撮影されている場合、制限領域算出部１０４は、入力画像ごとに制限領域を算出し、算出された複数の制限領域を統合する。

ステップＳ１０４では、周波数制限部１０５は、ステップＳ１０３において算出された制限領域内の入力画像の周波数成分を制限することにより、制限画像を生成する。なお、ステップＳ１０１において、複数枚の入力画像が撮影されている場合、ステップＳ１０３において統合された１つの制限領域を用いて、各入力画像の周波数成分を制限することにより、複数の制限画像を生成する。

ステップＳ１０５では、ＰＳＦ推定部１０６は、ステップＳ１０４において生成された制限画像を用いて、入力画像のＰＳＦを推定する。

以上のような処理を経て推定されたＰＳＦを用いて、入力画像の復元処理を行うことによって、入力画像よりもぼやけが減少した画像を得ることができる。また、推定されたＰＳＦは、以降で説明する実施の形態２および実施の形態３において、距離情報を算出するために使用されてもよい。

以上の構成によって、本実施の形態における撮像装置１００は、ノイズが多くてＰＳＦ推定が困難な高周波数成分を用いてＰＳＦを推定しないので、ＰＳＦ推定における計算時間が短縮することができる。その際に、撮像装置１００は、ＰＳＦ推定を行わない周波数成分を制限するための適切な制限領域を算出することができる。これにより、撮像装置１００は、高精度なＰＳＦ推定が可能となる。

なお、本実施の形態では、撮像装置１００は、入力画像の全体領域に対して各種処理を行っていたが、入力画像の一部の領域ごとに各種処理を行ってもよい。具体的には、ＳＮ比推定部１０３は、入力画像の領域ごとにＳＮ比を推定してもよい。また、制限領域算出部１０４は、入力画像の領域ごとに制限領域を算出してもよい。また、周波数制限部１０５は、入力画像の領域ごとに、制限領域内の周波数成分を制限することにより制限画像を生成してもよい。また、ＰＳＦ推定部１０６は、入力画像の領域ごとに、ＰＳＦを推定してもよい。

（実施の形態２）
以下、実施の形態２について、図面を参照しながら具体的に説明する。

図８は、実施の形態２における撮像装置２００の構成図である。なお、実施の形態１と同じ構成には同様の符号を付して、適宜詳細な説明を省略する。実施の形態２における撮像装置２００は、実施の形態１の構成要素に加えて距離推定部２０７を有する。本実施の形態における撮像装置２００は、撮像部１０１によって撮影された複数枚の入力画像から推定されるＰＳＦを用いて、撮影シーンの距離情報を推定する。以下、図８を用いて本実施の形態における撮像装置２００の各構成要素について説明する。

撮像部１０１と、撮影情報データベース１０２と、ＳＮ比推定部１０３と、制限領域算出部１０４と、周波数制限部１０５と、ＰＳＦ推定部１０６とは、実施の形態１と同様の処理を行う。ただし、撮像部１０１は、焦点が異なる複数枚の入力画像を撮影する。

また、ＰＳＦ推定部１０６は、入力画像の領域ごとにＰＳＦを推定する。例えば、ＰＳＦ推定部１０６は、入力画像を分割して得られる矩形領域ごとにＰＳＦを推定する。

距離推定部２０７は、ＰＳＦ推定部１０６によって領域ごとに推定された入力画像のＰＳＦを用いて、入力画像の撮影シーンの距離を推定する。

ここで、焦点が異なる２枚の画像（第１画像、第２画像）から距離を推定する方法について説明する。絞り値を大きくした全焦点画像を第１画像とし、絞り値を小さくし手前側に焦点を合わせた画像を第２画像とする。また、ＰＳＦ推定部１０６は、第１画像を用いて推定した第２画像の領域ごとのＰＳＦを推定しているとする。

まず、距離推定部２０７は、第２画像の領域ごとに、ＰＳＦからボケ半径を算出する。ボケ半径が小さい領域にある被写体は、第２画像において焦点が合っているため手前に存在することが分かる。一方、ボケ半径が大きい領域にある被写体は、第２画像において焦点が合っていないため奥に存在することが分かる。このように、距離推定部２０７は、領域ごとのＰＳＦの形状から領域ごとの距離を推定することができる。

距離推定部２０７において判別できる距離の個数は、ボケ半径の閾値の個数によって決まる。例えば、１つの閾値Ｘのみを用いて距離を判別する場合を仮定する。この場合、距離推定部２０７は、ある領域のボケ半径が閾値Ｘ未満であれば、当該領域の距離を距離Ａと推定する。また、ある領域のボケ半径が閾値Ｘ以上であれば、当該領域の距離を距離Ｂと推定する。このように、ボケ半径の閾値が１つの場合、距離推定部２０７が判別できる距離の個数は２つになる。距離を判別するための閾値の個数を増やすほど、判別できる距離の個数は増加するが、１つ当たりの距離の判別精度は低下する。

なお、距離推定部２０７は、ボケ半径ではなく、ＰＳＦそのものを用いて、距離を推定してもよい。これにより、更に距離の推定精度が向上する。例えば、距離推定部２０７は、ＰＳＦ推定部１０６で推定されたある領域のＰＳＦと、予め距離ごとに計測されたＰＳＦ群との差分の絶対値の合計を計算する。そして、距離推定部２０７は、最も差分が小さいＰＳＦに対応する距離を当該領域の距離として採用する。この場合、距離推定部２０７において判別できる距離の個数は、予め距離ごとに計測されたＰＳＦの個数と同じになる。

（実施の形態３）
次に、実施の形態３について、図面を参照しながら具体的に説明する。

図９は、実施の形態３における撮像装置３００の構成図である。なお、実施の形態１および実施の形態２と同じ構成には同様の符号を付して、適宜詳細な説明を省略する。実施の形態３における撮像装置３００は、実施の形態２の構成要素に加えて距離情報データベース３０８を有する。本実施の形態における撮像装置３００は、撮像部１０１によって撮影された複数枚の入力画像から推定されるＰＳＦを用いて、撮影シーンの距離情報を推定する。以下、図９を用いて本実施の形態における撮像装置３００の各構成要素について説明する。

撮像部１０１と、撮影情報データベース１０２と、ＳＮ比推定部１０３と、周波数制限部１０５と、距離推定部２０７とは、実施の形態２と同様の処理を行う。本実施の形態における処理の流れも実施の形態２と同様である。本実施の形態における制限領域算出部１０４およびＰＳＦ推定部１０６は、実施の形態１および実施の形態２と処理の内容が異なる。

距離情報データベース３０８は、例えば、ＨＤＤ、半導体メモリなどである。距離情報データベース３０８は、事前に距離ごとに計測された、ボケを表すＰＳＦの周波数特性を保持している。つまり、距離情報データベース３０８は、複数の距離にそれぞれ対応する複数のＰＳＦの周波数特性を保持している。

ＰＳＦの周波数特性は、図２の（ａ）のような白黒の斜めエッジを複数の距離から撮影して得られた画像を用いて、距離ごとのＳＦＲを算出することで求めることができる。図１０のように撮像装置３００のレンズ主点位置を距離０とする。そして、被写体側の合焦位置を距離Ｋに合うように焦点位置を調整する。それから、被写体を距離Ｋから距離Ｎまで移動させて撮影した各画像からＳＦＲを算出する。具体的には、まず、距離Ｋから距離Ｎの区間において、図２の（ａ）のような白黒の斜めエッジを計測したい距離に配置して各距離のＳＦＲを計測する。そして、計測されたＳＦＲを各距離のＰＳＦの周波数特性と決定する。合焦位置と同じ距離Ｋの場合、ボケ半径が小さくなり、合焦位置から離れた距離Ｎの場合、ボケ半径が大きくなる。

制限領域算出部１０４は、ＳＮ比推定部１０３によって推定された空間周波数ごとのＳＮ比と、距離情報データベース３０８から取得するＰＳＦの周波数特性とを用いて、制限領域を算出する。そして、制限領域算出部１０４は、算出された制限領域を周波数制限部１０５とＰＳＦ推定部１０６とに出力する。

なお、制限領域算出部１０４は、ユーザーが設定する距離区間に応じて、距離情報データベース３０８に保持された複数のＰＳＦの周波数特性から少なくとも１つのＰＳＦの周波数特性を取得すればよい。例えば、監視カメラのように撮影シーンが固定されている場合、撮影シーンにおける距離区間が制限される。そのような場合、制限領域算出部１０４は、距離情報データベース３０８から、制限される距離区間内のＰＳＦの周波数特性だけを取得すればよい。

図１０の距離Ｋから距離Ｎをユーザーが設定する距離区間とする。この場合、判別可能な距離の個数は、距離Ｋから距離Ｎまでの区間内で予め測定されたＰＳＦの個数と同じになる。距離Ｋでは、ボケ半径が小さいため、図１１の（ａ）のようにＰＳＦの高周波数成分の振幅が大きくなる。距離が遠くなるにつれてボケ半径が大きくなり、ＰＳＦの高周波数成分の振幅が小さくなる。最も遠い距離Ｎでは、ボケ半径が大きいため、図１１の（ｂ）のように高周波数成分の振幅が小さくなる。

距離Ｋから距離Ｎまでの距離を判別する場合、距離推定部２０７は、各距離のＰＳＦの周波数成分において差分が大きければ大きいほど、距離を判別がしやすくなる。例えば、直流成分に近い低周波数成分では、各距離のＰＳＦの周波数成分の差分が小さくなる。そのため、距離推定部２０７は、低周波数成分を用いて距離を判別することが難しい。また、距離Ｋにおいて振幅が小さくなる高周波数成分においても、各距離のＰＳＦの周波数成分の差分が小さくなる。そのため、距離推定部２０７は、高周波数成分を用いて距離を判別することが難しい。

そこで、本実施の形態では、制限領域算出部１０４は、例えば、上記のような低周波数成分と高周波数成分とを除いた中周波数成分の空間周波数が制限領域に含まれないように、制限領域を算出する。

図１１の（ｃ）は、距離Ｋから距離Ｎまでの各距離のＰＳＦの各空間周波数において、最大の振幅値から最小の振幅値を減算した差分値を示す。制限領域算出部１０４は、この差分値がより大きい空間周波数ほど制限領域に含まれないように、制限領域を算出する。これにより、距離推定部２０７は、距離の判別がしやすくなる。

距離の判別精度を決定する別の項目として、入力画像の空間周波数ごとのＳＮ比も考慮するべきである。例えば、距離を判別しやすい中周波数成分であっても、入力画像のＳＮ比が低い空間周波数であれば、その空間周波数における距離の判別は不正確になる。

そこで、本実施の形態では、制限領域算出部１０４は、これら２つの項目から距離判別の精度を示す尺度として距離判別値を算出する。例えば、距離推定部２０７は、図１２の（ａ）のようなある距離区間内のＰＳＦの周波数成分の差分値と、図１２の（ｂ）のような周波数成分ごとのＳＮ比とから、図１２の（ｃ）のような周波数成分ごとの距離判別値を算出する。具体的には、制限領域算出部１０４は、例えば、２つの周波数成分の積を、距離判別値として算出する。この距離判別値は、値が大きいほど距離判別の精度が高くなることを表している。

制限領域算出部１０４は、この距離判別値を用いて、制限領域を算出する。つまり、制限領域算出部１０４は、ＳＮ比が低い空間周波数ほど制限領域に含まれるように、かつ、距離情報データベース３０８に保持されている複数のＰＳＦの周波数特性において周波数成分の差異が小さい空間周波数ほど制限領域に含まれるように、制限領域を算出する。

例えば、制限領域算出部１０４は、図１２の（ｃ）においてユーザーが設定した閾値Ｂに距離判別値が一致するときの周波数Ａを下限とする周波数領域を制限領域として設定する。また例えば、制限領域算出部１０４は、距離判別値が閾値未満となる周波数領域を制限領域として設定してもよい。また、本実施の形態において、撮像部１０１は、複数枚の入力画像を撮影しているため、制限領域算出部１０４は、複数枚の入力画像の各々に対して算出された制限領域を統合する。

ＰＳＦの周波数成分の差分値が小さいほど距離判別値が小さくなる。そのため、制限領域の下限は、ＳＮ比のみを用いて算出される場合よりも低周波よりになる。その結果、周波数制限部１０５によって制限される周波数成分は増加する。

ＰＳＦ推定部１０６は、周波数制限部１０５によって生成された制限画像と、距離情報データベース３０８から取得する周波数特性とを用いて、入力画像の領域ごとにＰＳＦを推定する。

具体的には、ＰＳＦ推定部１０６は、焦点が異なる複数の入力画像から得られる複数の制限画像に基づいて、少なくとも１枚の入力画像の領域ごとのＰＳＦを推定する。例えば、ＰＳＦ推定部１０６は、焦点が合っている全焦点画像に基づいて、焦点が合っていないボケ画像の領域ごとのＰＳＦを推定する。また、本実施の形態では、ＰＳＦ推定部１０６は、実施の形態１および２と異なり、予め定められた形状のＰＳＦ群（複数のＰＳＦ）からいずれか１つのＰＳＦを選択する。予め定められた形状のＰＳＦ群は、距離情報データベース３０８に保持されているＰＳＦと同じである。例えば、図１０の距離Ｋから距離Ｎをユーザーが設定する距離区間とした場合、ＰＳＦ推定部１０６は、距離Ｋから距離Ｎまでの区間内で測定された距離ごとのＰＳＦのいずれかを選択することにより、ＰＳＦを推定する。

ここで、ＰＳＦ推定部１０６は、第１入力画像の制限画像と、第１入力画像よりもぼやけが小さい第２入力画像の制限画像に対して、距離情報データベース３０８に保持されているＰＳＦを畳み込み演算して得られる畳み込み画像との差分を算出する。そして、ＰＳＦ推定部１０６は、算出された差分に基づいて、距離情報データベース３０８に保持されている複数のＰＳＦの中から１つのＰＳＦを選択することにより、第１入力画像のＰＳＦを推定する。

具体的には、ＰＳＦ推定部１０６は、まず、焦点が合っている全焦点画像（第２入力画像）の制限画像に対して、距離情報データベース３０８に保持されているＰＳＦを畳み込み演算して得られる畳み込み画像と、焦点の合っていないボケ画像（第１入力画像）の制限画像との絶対値差分の総和をそれぞれ計算する。そして、ＰＳＦ推定部１０６は、絶対値差分の総和が最も小さくなる畳み込み画像に対応するＰＳＦをボケ画像のＰＳＦとして選択する。

ところで、ＰＳＦの推定精度は距離によって変化することが考えられる。図１０の距離Ｋから距離Ｌがユーザーによって設定された距離区間である場合に、距離によって推定精度が変化することについて説明する。

図１３の（ａ）は、距離Ｋから距離ＬまでのＰＳＦの周波数成分の差分を示す。距離Ｋから距離Ｌは合焦位置に近いため、ボケの半径が小さくなり、周波数成分の差分は高周波数に集中する。ここで、制限領域の下限の周波数Ａが低周波数側に設定された場合、各入力画像の周波数Ａより高い周波数成分が制限される。その結果、距離Ｋから距離ＬにおいてＰＳＦの周波数成分の差分が集中する高周波数成分が制限画像に含まれなくなる。このような場合、距離Ｋから距離Ｌの区間におけるＰＳＦの推定精度が悪くなる。

図１３の（ｂ）は、距離Ｍから距離ＮまでのＰＳＦの周波数成分の差分を示す。距離Ｍから距離Ｎは合焦位置から遠いため、ボケの半径が大きくなり、周波数成分の差分は低周波数に集中する。この場合、周波数Ａより高い周波数成分が制限されても、距離Ｍから距離ＮにおいてＰＳＦの周波数成分の差分が集中する低周波数成分が制限画像に含まれる。そのため、距離Ｍから距離Ｎの区間におけるＰＳＦの推定精度は悪くならない。

以上のことから、近距離区間と遠距離区間とではＰＳＦの推定精度が異なると考えられる。そこで、本実施の形態では、近距離区間と遠距離区間においてＰＳＦの推定精度を同程度にするために、ＰＳＦ推定部１０６は、近距離区間が設定された場合に、距離情報データベース３０８に保持されている複数のＰＳＦを統合して、選択可能なＰＳＦの数を減少させる。例えば、距離Ｋから距離Ｌまでの判別精度が悪い場合、距離Ｋから距離Ｌの区間においてＰＳＦを細かく推定しようとすると誤推定が増加する。この場合、距離Ｋから距離Ｌまでの区間のＰＳＦ群を、１つの代表のＰＳＦ（例えば距離ＬのＰＳＦ）として扱うことで、細かくＰＳＦを推定できないが誤ったＰＳＦを推定することを低減できる。

図１３のように周波数Ａより高い周波数成分が制限される場合、近距離区間が設定されれば細かくＰＳＦを推定できないため、ＰＳＦ推定部１０６は、１つのＰＳＦに統合される複数のＰＳＦに対応する距離の区間を長くする。逆に遠距離区間が設定された場合、細かくＰＳＦを推定できるため、ＰＳＦ推定部１０６は、１つのＰＳＦに統合される複数のＰＳＦに対応する距離の区間を長くする必要がない。

ここでＰＳＦを統合する区間を設定する方法について説明する。ＰＳＦ推定部１０６は、例えば、直流成分の周波数から下限の周波数Ａまでにおいて周波数成分の差分の総和を求め、総和が一定値を超えるまで区間を拡張する方法が考えられる。設定した区間内のＰＳＦ群は１つの代表のＰＳＦに統合される。例えば、ＰＳＦ推定部１０６は、区間内のＰＳＦ群の中から１つの代表ＰＳＦを選出することにより、複数のＰＳＦを統合する。

距離推定部２０７では、ＰＳＦ推定部１０６において形状が限定されたＰＳＦが推定されるため、判別できる距離の個数も限定される。距離推定部２０７において判別できる距離の個数は、ユーザーが設定する距離区間内において予め計測されたＰＳＦの個数と同じである。またＰＳＦ推定部１０６は、ある区間内のＰＳＦ群が１つの代表のＰＳＦに統合されていた場合、判別できる距離の個数は減少する。

つまり、ＰＳＦ推定部１０６は、制限領域が大きいほど、距離を推定するためのＰＳＦが少なくなるように、距離情報データベース３０８に保持されている複数のＰＳＦを統合する。その結果、制限領域が大きいほど、ＰＳＦ群の統合が起こり、判別できる距離の個数は減少する。例えば、制限領域がない場合は、ＰＳＦ群の統合が起こらないため、判別できる距離の個数は距離区間内において予め計測されたＰＳＦの個数と同じになる。しかし、ノイズ量が非常に多くなり制限領域が大きい場合、ＰＳＦ推定部１０６は、ＰＳＦ群を統合し、判別できる距離の個数は制限しない場合に比べて減少する。

また、ＰＳＦ推定部１０６は、距離が合焦距離に近いほど、当該距離の近傍に対応するＰＳＦが少なくなるように、距離情報データベース３０８に保持されている複数のＰＳＦを統合する。その結果、ＰＳＦ群の統合は、ノイズに埋もれやすい高周波数成分を多く含む近距離にある被写体ほど起きやすい。そのため近距離にある被写体ほど判別できる距離の個数が減少しやすくなる。なお、合焦距離とは、入力画像が撮影された時の、被写体側の合焦位置と撮像装置１００との距離である。

以上、１つまたは複数の態様に係る撮像装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つまたは複数の態様の範囲内に含まれてもよい。

例えば、本発明の一態様に係る画像処理装置は、上記各実施の形態に係る撮像装置に含まれる複数の構成要素のうちの一部を備えてもよい。このような画像処理装置について、以下に説明する。

図１４は、他の実施の形態における画像処理装置の構成図である。また、図１５は、他の実施の形態における画像処理装置の処理を示すフローチャートである。

画像処理装置１０は、ＳＮ比推定部１１と、制限領域算出部１２と、周波数制限部１３と、ＰＳＦ推定部１４とを備える。

まず、ＳＮ比推定部１１は、各空間周波数における入力画像のＳＮ比を推定する（Ｓ１１）。続いて、制限領域算出部１２は、ＳＮ比が低い空間周波数ほど制限領域に含まれるように、入力画像の周波数成分を制限する空間周波数の領域である制限領域を算出する（Ｓ１２）。そして、周波数制限部１３は、制限領域内の入力画像の周波数成分を制限することにより、制限画像を生成する（Ｓ１３）。最後に、ＰＳＦ推定部１４は、制限画像を用いて入力画像のＰＳＦを推定する（Ｓ１４）。

このような画像処理装置１０も、上記各実施の形態における撮像装置と同様に、ＳＮ比が低い空間周波数ほど制限領域に含まれるように算出された制限領域内の入力画像の周波数成分を制限することができる。さらに、画像処理装置１０は、そのように制限された制限画像を用いて、ＰＳＦを推定することができる。したがって、画像処理装置１０は、ノイズが多い周波数成分によって、ＰＳＦの推定精度が低下することを抑制することができる。さらに、画像処理装置１０は、ＰＳＦの推定に利用される周波数成分が減少するので、ＰＳＦを推定するための処理負荷を軽減または処理時間を短縮することができる。

なお、上記各実施の形態において、ＳＮ比推定部は、入力画像に含まれる信号成分とノイズ成分とをそれぞれ推定することにより、ＳＮ比を推定していたが必ずしもこのようにＳＮ比を推定する必要はない。例えば、ＳＮ比推定部は、複数の輝度にそれぞれ対応づけて予め保持された複数のＳＮ比の中から、入力画像の輝度に対応するＳＮ比を選択することにより、入力画像のＳＮ比を推定してもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、少なくとも１つの入力画像のＰＳＦを推定する画像処理方法であって、各空間周波数における前記入力画像のＳＮ比を推定するＳＮ比推定ステップと、前記ＳＮ比が低い空間周波数ほど制限領域に含まれるように、前記入力画像の周波数成分を制限する空間周波数の領域である制限領域を算出する制限領域算出ステップと、前記制限領域内の前記入力画像の周波数成分を制限することにより制限画像を生成する周波数制限ステップと、前記制限画像を用いて、前記入力画像のＰＳＦを推定するＰＳＦ推定ステップとを含む画像処理方法を実行させる。

本発明の一態様に係る画像処理装置は、防犯カメラや監視カメラ等のセキュリティカメラ、あるいはデジタルスチルカメラ、デジタルビデオカメラなどに利用可能である。

１０ 画像処理装置
１１、１０３ ＳＮ比推定部
１２、１０４ 制限領域算出部
１３、１０５ 周波数制限部
１４、１０６ ＰＳＦ推定部
１００、２００、３００ 撮像装置
１０１ 撮像部
１０２ 撮影情報データベース
２０７ 距離推定部
３０８ 距離情報データベース

Claims (18)

1. 少なくとも１つの入力画像のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を推定する画像処理装置であって、
   各空間周波数における前記入力画像のＳＮ比を推定するＳＮ比推定部と、
   前記ＳＮ比が低い空間周波数ほど制限領域に含まれるように、前記入力画像の周波数成分を制限する空間周波数の領域である制限領域を算出する制限領域算出部と、
   前記制限領域内の前記入力画像の周波数成分を制限することにより制限画像を生成する周波数制限部と、
   前記制限画像を用いて、前記入力画像のＰＳＦを推定するＰＳＦ推定部と、を備える
   画像処理装置。
2. 前記制限領域算出部は、前記ＳＮ比が閾値と一致する空間周波数より高周波数の領域を前記制限領域として算出する、
   請求項１に記載の画像処理装置。
3. 前記制限領域算出部は、前記ＳＮ比が閾値未満となる空間周波数の領域を前記制限領域として算出する、
   請求項１に記載の画像処理装置。
4. 前記ＰＳＦ推定部は、前記入力画像の領域ごとに前記ＰＳＦを推定し、
   前記画像処理装置は、さらに、
   領域ごとに推定された前記ＰＳＦを用いて、前記入力画像の撮影シーンにおける距離を推定する距離推定部を備える
   請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記画像処理装置は、さらに、
   複数の距離にそれぞれ対応する複数のＰＳＦの周波数特性を保持している距離情報データベースを備え、
   前記制限領域算出部は、前記ＳＮ比が低い空間周波数ほど前記制限領域に含まれるように、かつ、前記距離情報データベースに保持されている前記複数のＰＳＦの周波数特性において周波数成分の差分が小さい空間周波数ほど前記制限領域に含まれるように、前記制限領域を算出する、
   請求項４に記載の画像処理装置。
6. 前記画像処理装置は、さらに、
   複数の距離にそれぞれ対応付けて複数のＰＳＦの周波数特性を保持している距離情報データベースを備え、
   前記少なくとも１つの入力画像は、第１入力画像と、前記第１入力画像よりもぼやけが小さい第２入力画像とを含み、
   前記ＰＳＦ推定部は、
   前記第１入力画像の制限画像と、前記第２入力画像の制限画像に対して、前記距離情報データベースに保持されているＰＳＦを畳み込み演算して得られる畳み込み画像との差分を算出し、
   算出された前記差分に基づいて前記距離情報データベースに保持されている複数のＰＳＦの中から１つのＰＳＦを選択することにより、前記第１入力画像のＰＳＦを推定する、
   請求項４に記載の画像処理装置。
7. 前記ＳＮ比推定部は、
   前記入力画像の撮影に用いられたレンズの周波数特性と前記入力画像に含まれる被写体の周波数特性とのうちの少なくとも一方に基づいて、各空間周波数における前記入力画像の信号成分を推定し、
   前記入力画像の撮影に用いられた撮像素子におけるノイズの周波数特性に基づいて、各空間周波数における前記入力画像のノイズ成分を推定し、
   前記ノイズ成分に対する前記信号成分の比を空間周波数ごとに算出することにより、各空間周波数における前記入力画像のＳＮ比を推定する、
   請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   複数の輝度値にそれぞれ対応する複数のノイズの周波数特性を保持している撮影情報データベースを備え、
   前記ＳＮ比推定部は、前記入力画像の輝度値に対応する前記ノイズの周波数特性を前記撮影情報データベースから取得し、取得された前記ノイズの周波数特性に基づいて、各空間周波数における前記入力画像のノイズ成分を推定する、
   請求項７に記載の画像処理装置。
9. 前記少なくとも１つの入力画像は、複数の入力画像を含み、
   前記ＳＮ比推定部は、前記複数の画像のうちのぼやけが小さい入力画像から、各空間周波数における信号成分を推定する、
   請求項７または８に記載の画像処理装置。
10. 前記周波数制限部は、前記入力画像を縮小することで前記制限領域内の前記入力画像の周波数成分を制限する、
    請求項２に記載の画像処理装置。
11. 前記周波数制限部は、前記入力画像の周波数変換において前記制限領域外の空間周波数のみ周波数成分を算出することで、前記制限領域内の前記入力画像の周波数成分を制限する、
    請求項１〜９のいずれか１項に記載の画像処理装置。
12. 前記少なくとも１つの入力画像は、複数の入力画像を含み、
    前記制限領域算出部は、前記入力画像ごとに前記制限領域を算出し、算出された複数の前記制限領域を１つの制限領域に統合し、
    前記周波数制限部は、統合された１つの制限領域を用いて、複数の前記入力画像の各々の周波数成分を制限する、
    請求項１に記載の画像処理装置。
13. 前記距離推定部は、前記制限領域が大きいほど、距離を推定するためのＰＳＦが少なくなるように、前記距離情報データベースに保持されている複数のＰＳＦを統合し、統合されたＰＳＦを用いて距離を推定する、
    請求項５または６に記載の画像処理装置。
14. 前記距離推定部は、距離が合焦距離に近いほど、当該距離の近傍に対応するＰＳＦが少なくなるように、前記距離情報データベースに保持されている複数のＰＳＦを統合し、統合されたＰＳＦを用いて距離を推定する、
    請求項５または６に記載の画像処理装置。
15. 前記画像処理装置は、集積回路として構成されている、
    請求項１に記載の画像処理装置。
16. 入力画像を撮影する撮像装置であって、
    請求項１に記載の画像処理装置を備える
    撮像装置。
17. 少なくとも１つの入力画像のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を推定する画像処理方法であって、
    各空間周波数における前記入力画像のＳＮ比を推定するＳＮ比推定ステップと、
    前記ＳＮ比が低い空間周波数ほど制限領域に含まれるように、前記入力画像の周波数成分を制限する空間周波数の領域である制限領域を算出する制限領域算出ステップと、
    前記制限領域内の前記入力画像の周波数成分を制限することにより制限画像を生成する周波数制限ステップと、
    前記制限画像を用いて、前記入力画像のＰＳＦを推定するＰＳＦ推定ステップと、を含む
    画像処理方法。
18. 請求項１７に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images