JP5093083B2 - 画像処理装置および方法、並びに、プログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びに、プログラムに関し、特に、画像のボケ具合を検出する画像処理装置および方法、並びに、プログラムに関する。

従来、ウェーブレット変換を用いて、画像内のエッジを構成する画素（以下、エッジポイントと称する）を抽出し、抽出したエッジポイントのタイプを分析することにより、画像のボケ具合を示す指標であるボケ度を検出する手法が提案されている（例えば、非特許文献１参照）。

Hanghang Tong, Mingjing Li, Hongjiang Zhang, Changshui Zhang, "Blur Detection for Digital Images Using Wavelet Transform", Multimedia and Expo, 2004. ICME '04. 2004 IEEE International Conference on , 27-30 June 2004, page(s) 17-20

ところで、風景、人の顔など被写体の種類により、画像内に含まれるエッジの量（以下、エッジ量とも称する）は大きく変化する。例えば、テクスチャが多く含まれる人工的な模様や建築物などの画像ではエッジ量が多くなり、テクスチャがあまり含まれない自然の風景や人の顔などの画像ではエッジ量が少なくなる。

しかしながら、非特許文献１に記載の発明では、常に一定のパラメータを用いてエッジポイントを抽出し、抽出したエッジポイントを分析することによりボケ度を検出するため、画像に含まれるエッジ量によって、ボケ度の検出精度にバラツキが生じてしまう。例えば、テクスチャがあまり含まれないエッジ量が少ない画像については、十分な量のエッジポイントを抽出できず、その結果、ボケ度の検出精度が低下してしまう傾向にあった。

本発明は、このような状況を鑑みてなされたものであり、より高い精度で画像のボケ具合を検出できるようにするものである。

本発明の一側面の画像処理装置は、画像内のエッジを構成する画素であるエッジポイントを抽出し、抽出したエッジポイントにおいてボケが発生しているか否かを分析し、分析結果に基づいて、前記画像のボケ具合を検出する画像処理装置において、所定の大きさのブロック単位で前記画像のエッジの強度を検出するエッジ強度検出手段と、前記エッジポイントであるか否かの判定に用いるエッジ基準値、および、前記エッジポイントの抽出量が適切であるか否かの判定に用いる抽出基準値を調整するとともに、前記画像のエッジの強度の最大値と最小値の差であるダイナミックレンジが大きいほど、前記エッジ基準値および前記抽出基準値の初期値をより大きい値に設定するパラメータ調整手段と、検出されたエッジの強度が前記エッジ基準値以上のブロックであるエッジブロックに含まれる画素を前記エッジポイントとして抽出するエッジポイント抽出手段と、前記抽出基準値と比較することにより前記エッジポイントの抽出量が適切であるか否かを判定する抽出量判定手段とを含み、前記エッジポイントの抽出量が適切であると判定されるまで、前記パラメータ調整手段は、前記エッジポイントの抽出量が適切な量になる方向に前記エッジ基準値を調整し、前記エッジポイント抽出手段は、前記パラメータ調整手段により調整された前記エッジ基準値に基づいて、前記画像のボケ具合の検出に用いる前記エッジポイントを抽出する処理を繰り返す。

前記エッジ強度検出手段には、ブロック内の画素間の画素値の差分値に基づいて、前記画像のエッジの強度を検出させることができる。

前記エッジ強度検出手段には、大きさが異なる複数のブロック単位で前記画像のエッジの強度を検出させ、前記エッジポイント抽出手段には、少なくとも１つの前記エッジブロックに含まれる画素を前記エッジポイントとして抽出させることができる。

前記エッジ強度検出手段には、第１の大きさのブロック単位で前記画像のエッジの強度を検出させ、さらに、前記画像を第１の大きさのブロックに分割した各ブロック内の画素の平均値からなる第１の平均化画像のエッジの強度を前記第１の大きさのブロック単位で検出することにより、前記第１の大きさとは異なる第２の大きさのブロック単位で前記画像のエッジの強度を検出させ、さらに、前記第１の平均化画像を第１の大きさのブロックに分割した各ブロック内の画素の平均値からなる第２の平均化画像のエッジの強度を前記第１の大きさのブロック単位で検出することにより、前記第１の大きさおよび前記第２の大きさとは異なる第３の大きさのブロック単位で前記画像のエッジの強度を検出させることができる。

本発明の一側面の画像処理方法は、画像内のエッジを構成する画素であるエッジポイントを抽出し、抽出したエッジポイントにおいてボケが発生しているか否かを分析し、分析結果に基づいて、前記画像のボケ具合を検出する画像処理装置の画像処理方法において、所定の大きさのブロック単位で前記画像のエッジの強度を検出し、検出された前記画像のエッジの強度の最大値と最小値の差であるダイナミックレンジが大きいほど、前記エッジポイントであるか否かの判定に用いるエッジ基準値、および、前記エッジポイントの抽出量が適切であるか否かの判定に用いる抽出基準値の初期値を大きい値に設定し、検出されたエッジの強度が前記エッジ基準値以上のブロックであるエッジブロックに含まれる画素を前記エッジポイントとして抽出し、前記抽出基準値と比較することにより前記エッジポイントの抽出量が適切であるか否かを判定し、前記エッジポイントの抽出量が適切であると判定されるまで、前記エッジポイントの抽出量が適切な量になる方向に前記エッジ基準値を調整し、調整された前記エッジ基準値に基づいて、前記画像のボケ具合の検出に用いる前記エッジポイントを抽出する処理を繰り返すステップを含む。

本発明の一側面のプログラムは、画像内のエッジを構成する画素であるエッジポイントを抽出し、抽出したエッジポイントにおいてボケが発生しているか否かを分析し、分析結果に基づいて、前記画像のボケ具合を検出する処理を、コンピュータに実行させるプログラムにおいて、所定の大きさのブロック単位で前記画像のエッジの強度を検出し、検出された前記画像のエッジの強度の最大値と最小値の差であるダイナミックレンジが大きいほど、前記エッジポイントであるか否かの判定に用いるエッジ基準値、および、抽出された前記エッジポイントの量であるエッジポイントの抽出量が適切であるか否かの判定に用いる抽出基準値の初期値を大きい値に設定し、検出されたエッジの強度が前記エッジ基準値以上のブロックであるエッジブロックに含まれる画素を前記エッジポイントとして抽出し、前記抽出基準値と比較することにより前記エッジポイントの抽出量が適切であるか否かを判定し、前記エッジポイントの抽出量が適切であると判定されるまで、前記エッジポイントの抽出量が適切な量になる方向に前記エッジ基準値を調整し、調整された前記エッジ基準値に基づいて、前記画像のボケ具合の検出に用いる前記エッジポイントを抽出する処理を繰り返すステップを含む処理をコンピュータに実行させる。

本発明の一側面においては、所定の大きさのブロック単位で画像のエッジの強度が検出され、検出された前記画像のエッジの強度の最大値と最小値の差であるダイナミックレンジが大きいほど、エッジポイントであるか否かの判定に用いるエッジ基準値、および、抽出された前記エッジポイントの量であるエッジポイントの抽出量が適切であるか否かの判定に用いる抽出基準値の初期値が大きい値に設定され、検出されたエッジの強度が前記エッジ基準値以上のブロックであるエッジブロックに含まれる画素が前記エッジポイントとして抽出され、前記抽出基準値と比較することにより前記エッジポイントの抽出量が適切であるか否かが判定され、前記エッジポイントの抽出量が適切であると判定されるまで、前記エッジポイントの抽出量が適切な量になる方向に前記エッジ基準値が調整され、調整された前記エッジ基準値に基づいて、前記画像のボケ具合の検出に用いる前記エッジポイントが抽出される処理が繰り返される。

本発明の一側面によれば、画像のボケ具合を検出することができる。特に、本発明の一側面によれば、より高い精度で画像のボケ具合を検出することができる。

以下、図面を参照して本発明を適用した実施の形態について説明する。

図１は、本発明を適用した画像処理装置の一実施の形態を示すブロック図である。図１の画像処理装置１は、入力された画像（以下、入力画像と称する）内のエッジポイントにおいてボケが発生しているか否かを分析し、分析結果に基づいて、入力画像のボケ具合を検出する。画像処理装置１は、エッジマップ作成部１１、ダイナミックレンジ検出部１２、演算パラメータ調整部１３、ローカルマックス作成部１４、エッジポイント抽出部１５、抽出量判定部１６、エッジ分析部１７、および、ボケ度検出部１８を含むように構成される。

エッジマップ作成部１１は、図２を参照して後述するように、スケール１乃至３の大きさが異なる３種類のブロック単位で入力画像のエッジの強度（以下、エッジ強度と称する）を検出し、検出したエッジ強度を画素値とするスケール１乃至３のエッジマップ（以下、エッジマップ１乃至３と称する）を作成する。エッジマップ作成部１１は、作成したエッジマップ１乃至３を、ダイナミックレンジ検出部１２およびローカルマックス作成部１４に供給する。

ダイナミックレンジ検出部１２は、図２を参照して後述するように、入力画像のエッジ強度の最大値と最小値の差であるダイナミックレンジを検出し、検出したダイナミックレンジを示す情報を演算パラメータ調整部１３に供給する。

演算パラメータ調整部１３は、図２を参照して後述するように、検出されたダイナミックレンジに基づいて、入力画像のボケ具合の検出に用いるエッジポイントの抽出量（以下、エッジポイント抽出量とも称する）が適切な値になるように、エッジポイントの抽出に用いる演算パラメータを調整する。演算パラメータは、エッジポイントであるか否かの判定に用いるエッジ基準値、および、エッジポイント抽出量が適切であるか否かの判定に用いる抽出基準値を含む。演算パラメータ調整部１３は、設定したエッジ基準値を示す情報をエッジポイント抽出部１５および抽出量判定部１６に供給し、設定した抽出基準値を示す情報を抽出量判定部１６に供給する。

ローカルマックス作成部１４は、図２を参照して後述するように、エッジマップ１乃至３をそれぞれ所定の大きさのブロックに分割し、各ブロックの画素値の最大値を抽出することにより、スケール１乃至３のローカルマックス（以下、ローカルマックス１乃至３と称する）を作成する。ローカルマックス作成部１４は、作成したローカルマックス１乃至３をエッジポイント抽出部１５およびエッジ分析部１７に供給する。

エッジポイント抽出部１５は、図２を参照して後述するように、エッジ基準値、および、ローカルマックス１乃至３に基づいて、入力画像からエッジポイントを抽出し、抽出したエッジポイントの情報を示すスケール１乃至３のエッジポイントテーブル（以下、エッジポイントテーブル１乃至３と称する）を作成し、抽出量判定部１６に供給する。

抽出量判定部１６は、図２を参照して後述するように、エッジポイントテーブル１乃至３および抽出基準値に基づいて、エッジポイント抽出量が適切であるか否かを判定する。
抽出量判定部１６は、エッジポイント抽出量が適切でないと判定した場合、エッジポイント抽出量が適切でないことを演算パラメータ調整部１３に通知し、エッジポイント抽出量が適切であると判定した場合、そのときのエッジ基準値およびエッジポイントテーブル１乃至３をエッジ分析部１７に供給する。

エッジ分析部１７は、図２を参照して後述するように、抽出されたエッジポイントの分析を行い、分析結果を示す情報をボケ度検出部１８に供給する。

ボケ度検出部１８は、図２を参照して後述するように、エッジポイントの分析結果に基づいて、入力画像のボケ具合を示す指標であるボケ度を検出する。ボケ度検出部１８は、検出したボケ度を示す情報を外部に出力する。

次に、図２のフローチャートを参照して、画像処理装置１により実行されるボケ度検出処理について説明する。なお、この処理は、例えば、検出対象となる入力画像がエッジマップ作成部１１に入力されたとき開始される。

ステップＳ１において、エッジマップ作成部１１は、エッジマップを作成する。具体的には、エッジマップ作成部１１は、入力画像を２×２画素の大きさのブロックに分割し、以下の式（１）乃至（６）に基づいて、各ブロック内の画素間の画素値の差分の絶対値M_{TL_TR}乃至M_{BL_BR}を算出する。

なお、式（１）乃至（６）において、図３に示されるように、画素値ａはブロック内の左上の画素の画素値、画素値ｂはブロック内の右上の画素の画素値、画素値ｃはブロック内の左下の画素の画素値、および、画素値ｄはブロック内の右下の画素の画素値を示している。

次に、エッジマップ作成部１１は、以下の式（７）に基づいて、差分絶対値M_{TL_TR}乃至M_{BL_BR}の平均値M_Aveを算出する。

すなわち、平均値M_Aveは、ブロック内の上下、左右および斜め方向のエッジ強度の平均値を示している。

エッジマップ作成部１１は、算出した平均値M_Aveを対応するブロックと同じ順序に並べることにより、エッジマップ１を作成する。

さらに、エッジマップ作成部１１は、エッジマップ２およびエッジマップ３を作成するために、以下の式（８）に基づいて、スケール２および３の平均化画像を作成する。

なお、式（８）において、Pⁱ(x,y)は、スケールｉの平均化画像の座標(x,y)の画素値を示し、Pⁱ⁺¹(x,y)は、スケールi+1の平均化画像の座標(x,y)の画素値を示している。なお、スケール１の平均化画像は入力画像とする。すなわち、スケール２の平均化画像は、入力画像を２×２画素の大きさのブロックに分割した各ブロックの画素値の平均値からなる画像であり、スケール３の平均化画像は、スケール２の平均化画像を２×２画素の大きさのブロックに分割した各ブロックの画素値の平均値からなる画像である。

エッジマップ作成部１１は、スケール２およびスケール３の平均化画像に対して、それぞれ式（１）乃至（７）を用いて入力画像に対して行ったのと同様の処理を行い、エッジマップ２およびエッジマップ３を作成する。

従って、エッジマップ１乃至３は、スケール１乃至３のそれぞれ異なる周波数帯域のエッジ成分を入力画像から抽出した画像となる。なお、エッジマップ１の画素数は入力画像の1/4（縦1/2×横1/2）となり、エッジマップ２の画素数は入力画像の1/16（縦1/4×横1/4）となり、エッジマップ３の画素数は入力画像の1/64（縦1/8×横1/8）となる。

エッジマップ作成部１１は、作成したエッジマップ１乃至３をダイナミックレンジ検出部１２およびローカルマックス作成部１４に供給する。

ステップＳ２において、ダイナミックレンジ検出部１２は、ダイナミックレンジを検出する。具体的には、ダイナミックレンジ検出部１２は、エッジマップ１乃至３の中から画素値の最大値と最小値を検出し、検出した画素値の最大値から最小値を引いた値、すなわち、入力画像のエッジ強度の最大値と最小値の差をダイナミックレンジとして検出する。
ダイナミックレンジ検出部１２は、検出したダイナミックレンジを示す情報を演算パラメータ調整部１３に供給する。

なお、上述した方法以外にも、例えば、各エッジマップごとにダイナミックレンジを検出し、検出したダイナミックレンジの最大値や平均値などを実際に使用するダイナミックレンジとして採用することも考えられる。

ステップＳ３において、演算パラメータ調整部１３は、ダイナミックレンジが所定の閾値未満であるかを判定する。ダイナミックレンジが所定の閾値未満である、すなわち、ローダイナミックレンジであると判定された場合、処理はステップＳ４に進む。

ステップＳ４において、演算パラメータ調整部１３は、演算パラメータをローダイナミックレンジの画像用の初期値に設定する。具体的には、ローダイナミックレンジの画像は、ハイダイナミックレンジの画像と比較してエッジが少なく、抽出されるエッジポイントの量が少ないと推定される。従って、入力画像のボケ度の検出精度を一定のレベル以上とするのに十分な量のエッジポイントを抽出できるように、ローダイナミックレンジの画像用のエッジ基準値の初期値は、ハイダイナミックレンジの画像用のエッジ基準値の初期値と比較して小さい値に設定される。また、ローダイナミックレンジの画像用の抽出基準値の初期値は、ハイダイナミックレンジの画像用の抽出基準値の初期値と比較して小さい値に設定される。演算パラメータ調整部１３は、設定したエッジ基準値を示す情報をエッジポイント抽出部１５および抽出量判定部１６に供給し、設定した抽出基準値を示す情報を抽出量判定部１６に供給する。

ステップＳ５において、ローカルマックス作成部１４は、ローカルマックスを作成する。具体的には、ローカルマックス作成部１４は、図４の左側に示されるように、エッジマップ１を２×２画素のブロックに分割し、各ブロックの最大値を抽出し、抽出した最大値を対応するブロックと同じ順序に並べることにより、ローカルマックス１を作成する。また、ローカルマックス作成部１４は、図４の中央に示されるように、エッジマップ２を４×４画素のブロックに分割し、各ブロックの最大値を抽出し、抽出した最大値を対応するブロックと同じ順序に並べることにより、ローカルマックス２を作成する。さらに、ローカルマックス作成部１４は、図４の右側に示されるように、エッジマップ３を８×８画素のブロックに分割し、各ブロックの最大値を抽出し、抽出した最大値を対応するブロックと同じ順序に並べることにより、ローカルマックス３を作成する。ローカルマックス作成部１４は、作成したローカルマックス１乃至３をエッジポイント抽出部１５およびエッジ分析部１７に供給する。

ステップＳ６において、エッジポイント抽出部１５は、エッジポイントを抽出する。具体的には、エッジポイント抽出部１５は、入力画像において注目画素を１つ選択し、選択した注目画素の座標を(x,y)とした場合、以下の式（９）に基づいて、注目画素に対応するローカルマックス１の画素の座標(x₁,y₁)を求める。

(x₁,y₁)＝(x/4,y/4) ・・・（９）
ただし、小数点以下は切り捨て。

すなわち、ローカルマックス１の１画素は、入力画像の４×４画素のブロックから生成されるため、入力画像の注目画素に対応するローカルマックス１の画素の座標は、注目画素のｘ座標およびｙ座標をそれぞれ1/4にした値となる。

同様に、エッジポイント抽出部１５は、以下の式（１０）および式（１１）に基づいて、注目画素に対応するローカルマックス２の画素の座標(x₂,y₂)、および、注目画素に対応するローカルマックス３の画素の座標(x₃,y₃)を求める。

(x₂,y₂)＝(x/16,y/16) ・・・（１０）
(x₃,y₃)＝(x/64,y/64) ・・・（１１）
ただし、小数点以下は切り捨て。

エッジポイント抽出部１５は、ローカルマックス１の座標(x₁,y₁)の画素値がエッジ基準値以上である場合、注目画素をローカルマックス１におけるエッジポイントとして抽出し、注目画素の座標(x,y)とローカルマックス１の座標(x₁,y₁)の画素値を対応づけて記憶する。同様に、エッジポイント抽出部１５は、ローカルマックス２の座標(x₂,y₂)の画素値がエッジ基準値以上である場合、注目画素をローカルマックス２におけるエッジポイントとして抽出し、注目画素の座標(x,y)とローカルマックス２の座標(x₂,y₂)の画素値を対応づけて記憶し、ローカルマックス３の座標(x₃,y₃)の画素値がエッジ基準値以上である場合、注目画素をローカルマックス３におけるエッジポイントとして抽出し、注目画素の座標(x,y)とローカルマックス３の座標(x₃,y₃)の画素値を対応づけて記憶する。

エッジポイント抽出部１５は、入力画像の全ての画素が注目画素となるまで以上の処理を繰り返し、ローカルマックス１に基づいて、入力画像の４×４画素のブロックのうちエッジ強度がエッジ基準値以上となるブロックに含まれる画素をエッジポイントとして抽出し、ローカルマックス２に基づいて、入力画像の１６×１６画素のブロックのうちブロック内のエッジ強度がエッジ基準値以上となるブロックに含まれる画素をエッジポイントとして抽出し、ローカルマックス３に基づいて、入力画像の６４×６４画素のブロックのうちブロック内のエッジ強度がエッジ基準値以上となるブロックに含まれる画素をエッジポイントとして抽出する。従って、エッジ強度がエッジ基準値以上となる入力画像の４×４画素、１６×１６画素、または、６４×６４画素のブロックの少なくとも１つに含まれる画素がエッジポイントとして抽出される。

エッジポイント抽出部１５は、ローカルマックス１に基づいて抽出したエッジポイントの座標(x,y)とそのエッジポイントに対応するローカルマックス１の画素の画素値とが対応づけられたテーブルであるエッジポイントテーブル１、ローカルマックス２に基づいて抽出したエッジポイントの座標(x,y)とそのエッジポイントに対応するローカルマックス２の画素の画素値とが対応づけられたテーブルであるエッジポイントテーブル２、および、ローカルマックス３に基づいて抽出したエッジポイントの座標(x,y)とそのエッジポイントに対応するローカルマックス３の画素の画素値とが対応づけられたテーブルであるエッジポイントテーブル３を作成し、抽出量判定部１６に供給する。

ステップＳ７において、抽出量判定部１６は、エッジポイント抽出量が適切であるかを判定する。抽出量判定部１６は、抽出されたエッジポイントの合計数、すなわち、エッジポイントテーブル１乃至３のデータ数の合計を抽出基準値と比較し、抽出基準値未満である場合、エッジポイント抽出量が適切でないと判定し、処理はステップＳ８に進む。

ステップＳ８において、演算パラメータ調整部１３は、演算パラメータを調整する。具体的には、抽出量判定部１６は、エッジポイント抽出量が適切でないことを演算パラメータ調整部１３に通知する。演算パラメータ調整部１３は、いまより多くのエッジポイントが抽出されるように、エッジ基準値を所定の値だけ小さくする。演算パラメータ調整部１３は、調整したエッジ基準値を示す情報をエッジポイント抽出部１５および抽出量判定部１６に供給する。

その後、処理はステップＳ６に戻り、ステップＳ７において、エッジポイント抽出量が適切であると判定されるまで、ステップＳ６乃至Ｓ８の処理が繰り返し実行される。すなわち、エッジポイント抽出量が適切な値になるまで、エッジ基準値を調整しながら、エッジポイントを抽出し、エッジポイントテーブル１乃至３を作成する処理が繰り返される。

一方、ステップＳ７において、抽出量判定部１６は、抽出されたエッジポイントの合計数が抽出基準値以上である場合、エッジポイント抽出量が適切であると判定し、処理はステップＳ１４に進む。

また、ステップＳ３において、ダイナミックレンジが所定の閾値以上である、すなわち、ハイダイナミックレンジであると判定された場合、処理はステップＳ９に進む。

ステップＳ９において、演算パラメータ調整部１３は、演算パラメータをハイダイナミックレンジの画像用の初期値に設定する。具体的には、ハイダイナミックレンジの画像は、ローダイナミックレンジの画像と比較してエッジが多く、抽出されるエッジポイントの量が多いと推定される。従って、入力画像のボケ度の検出精度をできるだけ向上させるため、よりエッジ強度の強いブロックに含まれる画素をエッジポイントとして抽出できるように、ハイダイナミックレンジの画像用のエッジ基準値の初期値は、ローダイナミックレンジの画像用のエッジ基準値の初期値と比較して大きい値に設定される。また、ハイダイナミックレンジの画像用の抽出基準値の初期値は、ローダイナミックレンジの画像用の抽出基準値の初期値と比較して大きい値に設定される。演算パラメータ調整部１３は、設定したエッジ基準値を示す情報をエッジポイント抽出部１５および抽出量判定部１６に供給し、設定した抽出基準値を示す情報を抽出量判定部１６に供給する。

ステップＳ１０において、ステップＳ５の処理と同様に、ローカルマックス１乃至３が作成され、作成されたローカルマックス１乃至３がエッジポイント抽出部１５およびエッジ分析部１７に供給される。

ステップＳ１１において、ステップＳ６の処理と同様に、エッジポイントテーブル１乃至３が作成され、作成されたエッジポイントテーブル１乃至３が抽出量判定部１６に供給される。

ステップＳ１２において、ステップＳ７の処理と同様に、エッジポイント抽出量が適切であるかが判定され、エッジポイント抽出量が適切でないと判定された場合、処理はステップＳ１３に進む。

ステップＳ１３において、ステップＳ８の処理と同様に、演算パラメータが調整され、その後、処理はステップＳ１１に戻り、ステップＳ１２において、エッジポイント抽出量が適切であると判定されるまで、ステップＳ１１乃至Ｓ１３の処理が繰り返し実行される。

一方、ステップＳ１２において、エッジポイント抽出量が適切であると判定された場合、処理はステップＳ１４に進む。

以上の処理により、ボケ度の検出精度を向上させるために、ローダイナミックレンジの入力画像については、入力画像のボケ度の検出精度を一定のレベル以上とするのに十分な量のエッジポイントを確保できるよう、エッジ強度の弱いブロックからもエッジポイントが抽出され、ハイダイナミックレンジの入力画像については、より強いエッジを構成するエッジポイントが抽出されるように、できるだけエッジ強度の強いブロックからエッジポイントが抽出されるようになる。

ステップＳ１４において、エッジ分析部１７は、エッジ分析を行う。具体的には、抽出量判定部１６は、エッジポイント抽出量が適切であると判定した時点のエッジ基準値、および、エッジポイントテーブル１乃至３をエッジ分析部１７に供給する。

エッジ分析部１７は、エッジポイントテーブル１乃至３に基づいて、入力画像から抽出されたエッジポイントのうちの１つを注目画素に選択する。エッジ分析部１７は、選択した注目画素の座標を(x,y)とした場合、上述した式（９）乃至（１１）に基づいて、注目画素に対応するローカルマックス１乃至３の画素の座標(x₁,y₁)乃至座標(x₃,y₃)を求める。エッジ分析部１７は、ローカルマックス１の座標(x₁,y₁)の画素を左上隅の画素とするm×m画素（例えば、４×４画素）のブロック内の画素値の最大値をLocal Max₁(x₁,y₁)に設定し、ローカルマックス２の座標(x₂,y₂)の画素を左上隅の画素とするn×n画素（例えば、２×２画素）のブロック内の画素値の最大値をLocal Max₂(x₂,y₂)に設定し、ローカルマックス３の座標(x₃,y₃)の画素値をLocal Max₃(x₃,y₃)に設定する。

なお、Local Max₁(x₁,y₁)の設定に用いるm×m、および、Local Max₂(x₂,y₂)の設定に用いるn×nのパラメータは、ローカルマックス１乃至３の１画素に対応する入力画像のブロックの大きさの差を調整するためのパラメータである。

エッジ分析部１７は、Local Max₁(x₁,y₁)、Local Max₂(x₂,y₂)およびLocal Max₃(x₃,y₃)が以下の条件式（１２）を満足するか否かを判定する。Local Max₁(x₁,y₁)、Local Max₂(x₂,y₂)およびLocal Max₃(x₃,y₃)が条件式（１２）を満足する場合、エッジ分析部１７は、変数N_edgeの値を１つインクリメントする。

なお、条件式（１２）を満足するエッジポイントは、図５に示される急峻なインパルス状のエッジ、図５のエッジよりは傾きが緩やかな図６に示されるパルス状のエッジ、図７に示される傾きがほぼ垂直な階段状のエッジ、および、図７のエッジよりは傾きが緩やかな図８に示される階段状のエッジなど、その構造に関わらず、一定以上の強度を有するエッジを構成するエッジポイントであると推定される。

また、エッジ分析部１７は、Local Max₁(x₁,y₁)、Local Max₂(x₂,y₂)およびLocal Max₃(x₃,y₃)が条件式（１２）を満足する場合、さらに、以下の条件式（１３）または条件式（１４）を満足するか否かを判定する。Local Max₁(x₁,y₁)、Local Max₂(x₂,y₂)およびLocal Max₃(x₃,y₃)が条件式（１３）または条件式（１４）を満足する場合、エッジ分析部１７は、変数N_smallblurの値を１つインクリメントする。

なお、条件式（１２）を満足し、かつ、条件式（１３）または条件式（１４）を満足するエッジポイントは、一定以上の強度を有するが、図５または図７のエッジと比較して強度の弱い図６または図８の構造を有するエッジを構成するエッジポイントであると推定される。

さらに、エッジ分析部１７は、Local Max₁(x₁,y₁)、Local Max₂(x₂,y₂)およびLocal Max₃(x₃,y₃)が条件式（１２）を満足し、かつ、条件式（１３）または条件式（１４）を満足する場合、Local Max₁(x₁,y₁)が、以下の条件式（１５）を満足するか否かを判定する。Local Max₁(x₁,y₁)が条件式（１５）を満足する場合、エッジ分析部１７は、変数N_largelblurの値を１つインクリメントする。

なお、条件式（１２）を満足し、かつ、条件式（１３）または条件式（１４）を満足し、かつ、条件式（１５）を満足するエッジポイントは、一定以上の強度の図６または図８の構造を有するエッジのうち、ボケが発生し鮮明さを失ったエッジを構成するエッジポイントであると推定される。換言すれば、そのエッジポイントにおいてボケが発生していると推定される。

エッジ分析部１７は、入力画像から抽出された全てのエッジポイントが注目画素となるまで、以上の処理を繰り返す。これにより、抽出されたエッジポイントのうち、条件式（１３）を満足するエッジポイントの数N_edge、条件式（１２）を満足し、かつ、条件式（１３）または条件式（１４）を満足するエッジポイントの数N_smallblur、条件式（１２）を満足し、かつ、条件式（１３）または条件式（１４）を満足し、かつ、条件式（１５）を満足するエッジポイントの数N_largelblurが求められる。エッジ分析部１７は、算出したN_smallblurおよびN_largelblurを示す情報をボケ度検出部１８に供給する。

ステップＳ１５において、ボケ度検出部１８は、以下の式（１６）に基づいて、入力画像のボケ具合の指標となるボケ度BlurEstimationを検出する。

すなわち、ボケ度BlurEstimationは、一定以上の強度の図６または図８の構造を有するエッジを構成すると推定されるエッジポイントのうち、ボケが発生しているエッジを構成すると推定されるエッジポイントが占める比率である。従って、ボケ度BlurEstimationが大きいほど、入力画像のボケ具合は大きく、ボケ度BlurEstimationが小さいほど、入力画像のボケ具合は小さいと推定される。

ボケ度検出部１８は、検出したボケ度BlurEstimationを外部に出力し、ボケ度検出処理は終了する。例えば、外部の装置は、ボケ度BlurEstimationを所定の閾値と比較することにより、入力画像がぼけているか否かを判定する。

なお、ステップＳ１４およびＳ１５の処理の詳細については、上述した非特許文献１に記載されている。

以上のようにして、入力画像に応じて、エッジポイントを抽出する条件、および、エッジポイントの抽出量が適切に制御されるので、より高い精度で入力画像のボケ具合を検出することができる。

また、ウェーブレット変換などの複雑な演算を行わずに、エッジ強度を検出するので、非特許文献１に記載の発明と比較して、エッジ強度の検出に要する時間を短縮することができる。

次に、図９および図１０を参照して、本発明を適用した画像処理装置の第２の実施の形態について説明する。図９の画像処理装置１０１は、エッジマップ作成部１１１、ダイナミックレンジ検出部１１２、演算パラメータ調整部１１３、ローカルマックス作成部１１４、エッジポイント抽出部１１５、抽出量判定部１１６、エッジ分析部１１７、ボケ度検出部１１８、および、画像サイズ検出部１１９を含むように構成される。なお、図中、図１と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。

画像サイズ検出部１１９は、入力画像の画像サイズ（画素数）を検出し、検出した入力画像の画像サイズを示す情報を演算パラメータ調整部１１３に供給する。

演算パラメータ調整部１１３は、図１０を参照して後述するように、検出された入力画像の画像サイズおよびダイナミックレンジに基づいて、エッジ基準値および抽出基準値を含む演算パラメータを調整する。演算パラメータ調整部１１３は、設定したエッジ基準値を示す情報をエッジポイント抽出部１１５および抽出量判定部１１６に供給し、設定した抽出基準値を示す情報を抽出量判定部１１６に供給する。

次に、図１０のフローチャートを参照して、画像処理装置１０１により実行されるボケ度検出処理について説明する。なお、この処理は、例えば、検出対象となる入力画像がエッジマップ作成部１１１および画像サイズ検出部１１９に入力されたとき開始される。

ステップＳ１０１およびＳ１０２の処理は、図２のステップＳ１およびＳ２の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、入力画像のエッジマップが作成され、入力画像のダイナミックレンジが検出される。

ステップＳ１０３において、画像サイズ検出部１１９は、画像サイズを検出する。例えば、画像サイズ検出部１１９は、入力画像の縦方向および横方向の画素数を画像サイズとして検出する。画像サイズ検出部１１９は、検出した画像サイズを示す情報を演算パラメータ調整部１１３に供給する。

ステップＳ１０４において、演算パラメータ調整部１１３は、画像サイズが所定の閾値以上であるかを判定する。演算パラメータ調整部１１３は、入力画像の画素数が所定の閾値未満（例えば、256×256画素）である場合、画像サイズが所定の閾値以上でないと判定し、処理はステップＳ１０５に進む。

ステップＳ１０５乃至Ｓ１１５の処理は、図２のステップＳ３乃至Ｓ１３の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、エッジ基準値および抽出基準値を調整しながら、画像サイズが所定の閾値未満の入力画像からエッジポイントが抽出される。その後、処理はステップＳ１２７に進む。

一方、ステップＳ１０４において、画像サイズが所定の閾値以上であると判定された場合、処理はステップＳ１１６に進む。

ステップＳ１１６乃至Ｓ１２６の処理は、図２のステップＳ３乃至Ｓ１３の処理と同様であり、その説明は繰り返しになるので省略する。なお、これらの処理により、エッジ基準値および抽出基準値を調整しながら、画像サイズが所定の閾値以上の入力画像からエッジポイントが抽出される。その後、処理はステップＳ１２７に進む。

なお、ステップＳ１０６、Ｓ１１１、Ｓ１１７およびＳ１２２において設定されるエッジ基準値および抽出基準値の初期値は、それぞれ異なる。すなわち、入力画像の画像サイズおよびダイナミックレンジに基づいて、４種類のエッジ基準値および抽出基準値の初期値の組み合わせの中から１つが選択され、設定される。

例えば、上述したように、入力画像のダイナミックレンジが大きいほど、エッジ基準値および抽出基準値の初期値がより大きい値に設定されるのに加えて、画像サイズが大きいほど、抽出基準値の初期値がより大きい値に設定される。従って、同じローダイナミックレンジの画像の場合、画像サイズが所定の閾値未満のとき、画像サイズが所定の閾値以上のときと比べて、抽出基準値の初期値が小さな値に設定される。ハイダイナミックレンジの画像の場合も同様である。

これは、同じダイナミックレンジの画像の場合、画像サイズが小さいほど、画像内のエッジが少なく、抽出されるエッジポイントの量が少なくなると推定される。従って、画像サイズが小さい画像に対して、画像サイズが大きい画像と同様の数だけエッジポイントを抽出しようとした場合、エッジポイントの抽出精度が低下する恐れがある。それを避けるために、画像サイズが所定の閾値未満のとき、画像サイズが所定の閾値以上のときと比べて、抽出基準値の初期値が小さい値に設定される。

ステップＳ１２７およびＳ１２８の処理は、図２のステップＳ１４およびＳ１５の処理と同様であり、その説明は繰り返しになるので省略する。なお、この処理により、入力画像の各画素のエッジ分析が行われ、エッジ分析の結果に基づいて、入力画像のボケ度BlurEstimationが検出される。その後、ボケ検出処理は終了する。

以上のようにして、入力画像のダイナミックレンジだけでなく、画像サイズも考慮して、エッジ基準値および抽出基準値の初期値が設定されるので、より高い精度で入力画像のボケ具合を検出することができる。

なお、以上の説明では、エッジマップを作成する場合に、ブロック内の上下、左右および斜めの３方向のエッジ強度の平均値を求める例を示したが、例えば、１方向または２方向のエッジ強度の平均値を求めるようにしてもよい。

また、以上の説明では、入力画像をローダイナミックレンジとハイダイナミックレンジの２種類に分類して処理を行う例を示したが、ダイナミックレンジの範囲により３種類以上に分類して、ダイナミックレンジが大きいほど、エッジ基準値および抽出基準値の初期値をより大きい値に設定し、ダイナミックレンジが小さいほど、エッジ基準値および抽出基準値の初期値をより小さい値に設定するようにしてもよい。これにより、より高い精度で入力画像のボケ具合を検出できるようになる。

さらに、以上の説明では、抽出されたエッジポイントの量が少なすぎる場合に、より多くのエッジポイントが抽出されるように、エッジ基準値を小さくする例を示したが、さらに、抽出されたエッジポイントの量が多すぎる場合に、抽出されるエッジポイントの量を減らすように、エッジ基準値を大きくするようにしてもよい。すなわち、エッジポイントの抽出量が適切な量になる方向にエッジ基準値を調整するようにしてもよい。

また、例えば、ローダイナミックレンジの入力画像であると判定した場合に、抽出されたエッジポイントの量が多すぎるとき、ハイダイナミックレンジの入力画像として処理するようにしてもよい。

また、上述したエッジマップおよびローカルマックスを作成する場合のブロックのサイズは、その一例であり、上述したサイズと異なるサイズに設定することも可能である。

さらに、本発明の第２の実施の形態において、入力画像の画像サイズを２種類に分類して処理を行う例を示したが、３種類以上に分類して、画像サイズが大きいほど、抽出基準値の初期値をより大きい値に設定し、画像サイズが小さいほど、抽出基準値の初期値をより小さい値に設定するようにしてもよい。これにより、より高い精度で入力画像のボケ具合を検出できるようになる。

また、本発明の第２の実施の形態において、入力画像の画像サイズに応じて、エッジ基準値の初期値を変更するようにしてもよい。

さらに、本発明の第２の実施の形態において、入力画像の画像サイズに応じて、入力画像のダイナミックレンジの分類に用いる閾値を変更するようにしてもよい。

また、本発明の第２の実施の形態において、入力画像の画像サイズを分類してから、入力画像のダイナミックレンジを分類する例を示したが、処理の順序を逆にすることも可能である。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の一実施の形態を示すブロック図である。 画像処理装置により実行されるボケ度検出処理を説明するためのフローチャートである。 エッジマップの作成処理を説明するための図である。 ローカルマックスの作成処理を説明するための図である。 エッジの構造の例を示す図である。 エッジの構造の他の例を示す図である。 エッジの構造のさらに他の例を示す図である。 エッジの構造のさらに他の例を示す図である。 本発明を適用した画像処理装置の第２の実施の形態を示すブロック図である。 本発明の第２の実施の形態の画像処理装置により実行されるボケ度検出処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。

符号の説明

１ 画像処理装置， １１ エッジマップ作成部， １２ ダイナミックレンジ検出部， １３ 演算パラメータ調整部， １４ ローカルマックス作成部， １５ エッジポイント抽出部， １６ 抽出量判定部， １７ エッジ分析部， １８ ボケ度検出部, １０１ 画像処理装置， １１１ エッジマップ作成部， １１２ ダイナミックレンジ検出部， １１３ 演算パラメータ調整部， １１４ ローカルマックス作成部， １１５ エッジポイント抽出部， １１６ 抽出量判定部， １１７ エッジ分析部， １１８ ボケ度検出部, １１９ 画像サイズ検出部

Claims (6)

1. 画像内のエッジを構成する画素であるエッジポイントを抽出し、抽出したエッジポイントにおいてボケが発生しているか否かを分析し、分析結果に基づいて、前記画像のボケ具合を検出する画像処理装置において、
   所定の大きさのブロック単位で前記画像のエッジの強度を検出するエッジ強度検出手段と、
   前記エッジポイントであるか否かの判定に用いるエッジ基準値、および、前記エッジポイントの抽出量が適切であるか否かの判定に用いる抽出基準値を調整するとともに、前記画像のエッジの強度の最大値と最小値の差であるダイナミックレンジが大きいほど、前記エッジ基準値および前記抽出基準値の初期値をより大きい値に設定するパラメータ調整手段と、
   検出されたエッジの強度が前記エッジ基準値以上のブロックであるエッジブロックに含まれる画素を前記エッジポイントとして抽出するエッジポイント抽出手段と、
   前記抽出基準値と比較することにより前記エッジポイントの抽出量が適切であるか否かを判定する抽出量判定手段と
   を含み、
   前記エッジポイントの抽出量が適切であると判定されるまで、
   前記パラメータ調整手段は、前記エッジポイントの抽出量が適切な量になる方向に前記エッジ基準値を調整し、
   前記エッジポイント抽出手段は、前記パラメータ調整手段により調整された前記エッジ基準値に基づいて、前記画像のボケ具合の検出に用いる前記エッジポイントを抽出する
   処理を繰り返す
   画像処理装置。
2. 前記エッジ強度検出手段は、ブロック内の画素間の画素値の差分値に基づいて、前記画像のエッジの強度を検出する
   請求項１に記載の画像処理装置。
3. 前記エッジ強度検出手段は、大きさが異なる複数のブロック単位で前記画像のエッジの強度を検出し、
   前記エッジポイント抽出手段は、少なくとも１つの前記エッジブロックに含まれる画素を前記エッジポイントとして抽出する
   請求項１に記載の画像処理装置。
4. 前記エッジ強度検出手段は、第１の大きさのブロック単位で前記画像のエッジの強度を検出し、さらに、前記画像を第１の大きさのブロックに分割した各ブロック内の画素の平均値からなる第１の平均化画像のエッジの強度を前記第１の大きさのブロック単位で検出することにより、前記第１の大きさとは異なる第２の大きさのブロック単位で前記画像のエッジの強度を検出し、さらに、前記第１の平均化画像を第１の大きさのブロックに分割した各ブロック内の画素の平均値からなる第２の平均化画像のエッジの強度を前記第１の大きさのブロック単位で検出することにより、前記第１の大きさおよび前記第２の大きさとは異なる第３の大きさのブロック単位で前記画像のエッジの強度を検出する
   請求項３に記載の画像処理装置。
5. 画像内のエッジを構成する画素であるエッジポイントを抽出し、抽出したエッジポイントにおいてボケが発生しているか否かを分析し、分析結果に基づいて、前記画像のボケ具合を検出する画像処理装置の画像処理方法において、
   所定の大きさのブロック単位で前記画像のエッジの強度を検出し、
   検出された前記画像のエッジの強度の最大値と最小値の差であるダイナミックレンジが大きいほど、前記エッジポイントであるか否かの判定に用いるエッジ基準値、および、前記エッジポイントの抽出量が適切であるか否かの判定に用いる抽出基準値の初期値を大きい値に設定し、
   検出されたエッジの強度が前記エッジ基準値以上のブロックであるエッジブロックに含まれる画素を前記エッジポイントとして抽出し、
   前記抽出基準値と比較することにより前記エッジポイントの抽出量が適切であるか否かを判定し、
   前記エッジポイントの抽出量が適切であると判定されるまで、
   前記エッジポイントの抽出量が適切な量になる方向に前記エッジ基準値を調整し、
   調整された前記エッジ基準値に基づいて、前記画像のボケ具合の検出に用いる前記エッジポイントを抽出する
   処理を繰り返す
   ステップを含む画像処理方法。
6. 画像内のエッジを構成する画素であるエッジポイントを抽出し、抽出したエッジポイントにおいてボケが発生しているか否かを分析し、分析結果に基づいて、前記画像のボケ具合を検出する処理を、コンピュータに実行させるプログラムにおいて、
   所定の大きさのブロック単位で前記画像のエッジの強度を検出し、
   検出された前記画像のエッジの強度の最大値と最小値の差であるダイナミックレンジが大きいほど、前記エッジポイントであるか否かの判定に用いるエッジ基準値、および、前記エッジポイントの抽出量が適切であるか否かの判定に用いる抽出基準値の初期値を大きい値に設定し、
   検出されたエッジの強度が前記エッジ基準値以上のブロックであるエッジブロックに含まれる画素を前記エッジポイントとして抽出し、
   前記抽出基準値と比較することにより前記エッジポイントの抽出量が適切であるか否かを判定し、
   前記エッジポイントの抽出量が適切であると判定されるまで、
   前記エッジポイントの抽出量が適切な量になる方向に前記エッジ基準値を調整し、
   調整された前記エッジ基準値に基づいて、前記画像のボケ具合の検出に用いる前記エッジポイントを抽出する
   処理を繰り返す
   ステップを含む処理をコンピュータに実行させるプログラム。

Images