JP6352150B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関する。

例えば、スマートフォン等の携帯通信端末が有するカメラあるいはデジタルカメラは、コントラスト検出法を用いて、レンズを被写体に合焦する自動焦点（ＡＦ：Auto Focus）処理を実行する。すなわち、コントラスト検出法では、デジタルカメラおよび携帯通信端末のカメラは、レンズの位置を光軸方向に沿って変化させながら被写体を撮影し、各位置で撮影された画像に含まれる被写体のコントラストを示すＡＦ評価値を算出する。そして、カメラは、算出したＡＦ評価値のうち、最も大きなＡＦ評価値が算出されたレンズの位置で合焦し、被写体を撮影する。

例えば、画像中の被写体が人物の場合に、人物の顔とともに人物の体等の複数箇所におけるＡＦ評価値を算出することで、コントラスト検出法による合焦の精度を上げるカメラが提案されている（特許文献１、２参照）。

また、検出される人物の顔の大きさに応じて、人物までの距離を測定することで、コントラスト検出法による合焦の精度を上げるカメラが提案されている（特許文献３参照）。

特開２００７−３０４２８０号公報 特開２００８−７６７８６号公報 特開２００４−３１７６９９号公報

例えば、スマートフォン等の携帯通信端末が薄くなるに伴い、レンズユニットも薄くなる傾向にある。レンズユニットが薄くなると、カメラに搭載される撮像素子の解像度は、レンズの光軸の中心である撮像素子の中心から周辺部に行くに従い低下する場合がある。

解像度が周辺部で低下する撮像素子を用いて、光軸の中心から外れた被写体が撮影される場合、レンズの位置を変化させて撮影された複数の画像のそれぞれにおいて算出されるＡＦ評価値の変化量は小さくなる。ＡＦ評価値の変化量が小さくなると、被写体に合焦したレンズの位置を検出する精度は低下し、光軸の中心から外れた被写体への合焦の精度が低下する。

１つの側面では、本件開示の画像処理装置および画像処理方法は、被写体の位置に依らず、被写体への合焦の精度を向上させることを目的とする。

一の観点によれば、画像処理装置は、画像から被写体の顔を検出する検出部と、検出された被写体の顔を示す顔領域から被写体の体を通る第１線が、画像の中心を含む第１領域を通る場合に、第１領域内の第１線上に中心が位置する第２領域のコントラストと顔領域のコントラストとをそれぞれ算出する演算部と、顔領域および第２領域のうち、コントラストが大きい領域を選択する選択部と、被写体を撮影する際に、選択部により選択された顔領域または第２領域のいずれかを用いて、被写体に合焦したか否かを評価する評価部とを有する。

別の観点によれば、画像処理装置は、画像から被写体の顔を検出する検出部と、検出された被写体の顔を示す顔領域から被写体の体を通る第１線と画像の中心との距離が最小となる第１線上の画素を含む第１領域のコントラストと顔領域のコントラストとをそれぞれ算出する演算部と、顔領域および第１領域のうち、コントラストが大きい領域を選択する選択部と、被写体を撮影する際に、選択部により選択された顔領域または第１領域のいずれかを用いて、被写体に合焦したか否かを評価する評価部とを有する。

別の観点によれば、画像処理方法では、画像から被写体の顔を検出し、検出された被写体の顔を示す顔領域から被写体の体を通る第１線が、画像の中心を含む第１領域を通る場合に、第１領域内の第１線上に中心が位置する第２領域のコントラストと顔領域のコントラストとをそれぞれ算出し、顔領域および第２領域のうち、コントラストが大きい領域を選択し、被写体を撮影する際に、コントラストが大きい領域として選択された顔領域または第２領域のいずれかを用いて、被写体に合焦したか否かを評価する。

別の観点によれば、画像処理方法では、画像から被写体の顔を検出し、検出された被写体の顔を示す顔領域から被写体の体を通る第１線と画像の中心との距離が最小となる第１線上の画素を含む第１領域のコントラストと顔領域のコントラストとをそれぞれ算出し、顔領域および第１領域のうち、コントラストが大きい領域を選択し、被写体を撮影する際に、コントラストが大きい領域として選択された顔領域または第１領域のいずれかを用いて、被写体に合焦したか否かを評価する。

本件開示の画像処理装置および画像処理方法によれば、被写体の位置に依らず、被写体への合焦の精度を向上させることができる。

画像処理装置および画像処理方法の一実施形態を示す図である。 画像処理装置および画像処理方法の別の実施形態を示す図である。 画像処理装置および画像処理方法の別の実施形態を示す図である。 図３に示したデジタルカメラにより撮影された撮影画像の一例を示す図である。 図３に示した判定テーブルの一例を示す図である。 傾き角と顔領域の中心の位置との関係を模式的に示す図である。 図３に示した画像処理装置における画像処理の一例を示す図である。 図７に示した画像処理の続きを示す図である。 画像処理装置および画像処理方法の別の実施形態を示す図である。 図９に示したデジタルカメラにより撮影された撮影画像の一例を示す図である。 図９に示した判定テーブルの一例を示す図である。 図９に示した画像処理装置における画像処理の一例を示す図である。 図１、図２、図３および図９に示した画像処理装置のハードウェアの一例を示す図である。

以下、図面を用いて実施形態を説明する。

図１は、画像処理装置および画像処理方法の一実施形態を示す。

図１に示した画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）等の演算処理装置である。画像処理装置１００は、携帯通信端末あるいはデジタルカメラ等に搭載されてもよい。画像処理装置１００は、検出部１０、演算部２０、選択部３０および評価部４０を有する。検出部１０、演算部２０、選択部３０および評価部４０の機能は、ＣＰＵが実行するプログラムにより実現されてもよく、ハードウェアにより実現されてもよい。また、図１に示した括弧内は、画像処理装置１００の処理対象である画像の一例を示す。

検出部１０は、被写体を含む画像５０から、被写体である人物６０の顔を検出する。被写体を含む画像５０は、画像処理装置１００の外部から検出部１０に供給されてもよく、画像処理装置１００が有する記憶装置に格納されてもよい。

演算部２０は、例えば、検出部１０により検出された被写体の顔を示す顔領域７０から人物６０の体方向に向かう直線である第１線ＬＮを求める。演算部２０は、求めた第１線ＬＮが、画像５０の中心を含む第１領域ＡＲ１を通る場合に、第１領域ＡＲ１内の第１線ＬＮ上に中心が位置する第２領域ＡＲ２のコントラストを示すＡＦ評価値と、顔領域７０のコントラストを示すＡＦ評価値とをそれぞれ算出する。

なお、コントラストは、顔領域７０または第２領域ＡＲ２内における画素が有する輝度の分布幅を示す。ＡＦ評価値は、輝度のうちの高周波成分を顔領域７０または第２領域ＡＲ２内に含まれる画素で積算した値である。また、画像５０に設定される第１領域ＡＲ１は、例えば、画像処理装置１００が搭載されるカメラによるＡＦ処理性能が所定の精度以上を満たす解像度を有する範囲である。また、第２領域ＡＲ２は、第１領域ＡＲ１内に含まれる第１線ＬＮ上に複数設定されてもよい。複数の第２領域ＡＲ２が第１線ＬＮ上に設定される場合、演算部２０は、複数の第２領域ＡＲ２それぞれにおけるＡＦ評価値を求めてもよい。

選択部３０は、顔領域７０のＡＦ評価値と第２領域ＡＲ２のＡＦ評価値とを比較し、顔領域７０および第２領域ＡＲ２のうち、算出されたＡＦ評価値が大きい領域を選択する。

評価部４０は、人物６０を撮影する際に、選択部３０により選択された顔領域７０または第２領域ＡＲ２のいずれかを用いて、人物６０に合焦したか否かを評価する。すなわち、評価部４０は、コントラスト検出法に基づくＡＦ処理を、選択部３０により選択された顔領域７０または第２領域ＡＲ２で実行する。画像処理装置１００が搭載されるスマートフォン等の携帯通信端末のカメラあるいはデジタルカメラは、評価部４０によるＡＦ処理の結果に基づいて、人物６０に合焦する。

なお、画像処理装置１００の動作は、搭載される携帯通信端末あるいはデジタルカメラが有するシャッタ釦がユーザにより押される度に、繰り返し実行されるのが好ましい。

以上、図１に示した実施形態では、顔領域７０および第１領域ＡＲ１内の第１線ＬＮ上に中心が位置する第２領域ＡＲ２のうち、算出されたＡＦ評価値が大きい領域を選択する。これにより、画像処理装置１００は、合焦用に撮影された画像５０の中心の位置から被写体が外れている場合でも、被写体においてコントラストが他よりも高い領域を検出することができる。この結果、画像処理装置１００は、画像５０上での被写体の位置に依らず、被写体への合焦の精度を向上させることができる。これにより、画像処理装置１００が搭載されるデジタルカメラあるいはスマートフォン等の携帯通信端末は、従来と比べて精度良く合焦させて被写体を撮影することができる。

図２は、画像処理装置および画像処理方法の別の実施形態を示す。図１で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図２に示した画像処理装置１００ａは、例えば、ＣＰＵ等の演算処理装置である。画像処理装置１００ａは、携帯通信端末あるいはデジタルカメラ等に搭載されてもよい。画像処理装置１００ａは、検出部１０、演算部２０ａ、選択部３０ａおよび評価部４０を有する。検出部１０、演算部２０ａ、選択部３０ａおよび評価部４０の機能は、ＣＰＵが実行するプログラムにより実現されてもよく、ハードウェアにより実現されてもよい。また、図２に示した括弧内は、画像処理装置１００ａの処理対象である画像の一例を示す。

演算部２０ａは、例えば、検出部１０により検出された被写体の顔を示す顔領域７０から人物６０の体方向に向かう直線である第１線ＬＮを求める。演算部２０ａは、求めた第１線ＬＮと画像５０の中心との距離が最小となる第１線ＬＮ上の画素を含む第１領域ＡＲ３のコントラストを示すＡＦ評価値と、顔領域７０内のＡＦ評価値とをそれぞれ算出する。

選択部３０ａは、顔領域７０のＡＦ評価値と第１領域ＡＲ３のＡＦ評価値とを比較し、顔領域７０および第１領域ＡＲ３のうち、算出されたＡＦ評価値が大きい領域を選択する。

なお、画像処理装置１００の動作は、搭載される携帯通信端末あるいはデジタルカメラが有するシャッタ釦がユーザにより押される度に、繰り返し実行されるのが好ましい。

以上、図２に示した実施形態では、顔領域７０および画像５０の中心からの距離が最小となる第１線ＬＮ上の画素を含む第１領域ＡＲ３のうち、算出されたＡＦ評価値が大きい領域を選択する。これにより、画像処理装置１００ａは、合焦用に撮影された画像５０の中心の位置から被写体が外れている場合でも、被写体においてコントラストが他よりも高い領域を検出することができる。この結果、画像処理装置１００ａは、画像５０上での被写体の位置に依らず、被写体への合焦の精度を向上させることができる。これにより、画像処理装置１００ａが搭載されるデジタルカメラあるいはスマートフォン等の携帯通信端末は、従来と比べて精度良く合焦させて被写体を撮影することができる。

図３は、画像処理装置および画像処理方法の別の実施形態を示す。図３に示した画像処理装置１００ｂは、例えば、デジタルカメラ２００に搭載される。デジタルカメラ２００は、画像処理装置１００ｂとして動作する制御部２４０、レンズ２１０、撮像素子２２０、ＡＤ（Analog-to-Digital）変換部２３０、レンズ駆動部２５０、撮像駆動部２６０、記憶部２７０およびセンサ部２８０を有する。なお、画像処理装置１００ｂは、スマートフォン等の携帯通信端末に搭載されてもよい。

レンズ２１０は、例えば、ズームレンズおよびフォーカシングレンズを含む複数のレンズ群である。なお、図３に示したレンズ２１０はレンズ群を１枚のレンズとして示す。

撮像素子２２０は、例えば、レンズ２１０を透過した光束で結像される被写体を撮像するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary metal-oxide-semiconductor）等である。撮像素子２２０の受光面には、複数のフォトダイオードがマトリックス状に配列される。撮像素子２２０の各フォトダイオードには、赤色（Ｒ：Red）、緑色（Ｇ：Green）および青色（Ｂ：Blue）成分のカラーフィルタがベイヤ配列等に従って配置される。これにより、撮像素子２２０の各フォトダイオードは、カラーフィルタでの色分解によってそれぞれの色成分に対応するアナログ信号をＡＤ変換部２３０に出力する。例えば、デジタルカメラ２００に含まれるＣＰＵ等の制御部２４０がデジタルカメラ２００に含まれるシャッタ釦等の操作部材から撮像の指示を示す信号を受ける場合、撮像素子２２０は、被写体を撮影しＲＧＢ成分のアナログ信号を出力する。

ＡＤ変換部２３０は、例えば、撮像素子２２０から出力されたＲＧＢ成分のアナログ信号を、１２ビット等のデジタル信号に変換する。ＡＤ変換部２３０は、変換したデジタル信号を制御部２４０に出力する。

制御部２４０は、ＣＰＵ等の演算処理装置である。制御部２４０は、記憶部２７０に格納されたプログラムを実行することで、デジタルカメラ２００の各要素の動作を制御する。また、制御部２４０は、記憶部２７０に格納された画像処理プログラムを実行することで、画像処理装置１００ｂとして動作する。

レンズ駆動部２５０は、モータあるいはアクチュエータ等である。レンズ駆動部２５０は、制御部２４０からの制御信号に基づいて、レンズ２１０の位置を光軸方向に移動させる。

撮像駆動部２６０は、タイミングジェネレータ等である。撮像駆動部２６０は、制御部２４０からの制御信号に基づいて、撮像素子２２０による被写体の撮影および撮像素子２２０のフォトダイオードからアナログ信号を出力させるタイミングを制御する。また、撮像駆動部２６０は、ＡＤ変換部２３０による撮像素子２２０から出力されたアナログ信号をデジタル信号に変換するタイミングも制御する。

記憶部２７０は、制御部２４０が実行する画像処理プログラム等のプログラム、および制御部２４０が画像処理プログラム等を実行することで参照される判定テーブル１６０等のデータを格納する。判定テーブル１６０については、図５および図６で説明する。また、記憶部２７０は、デジタルカメラ２００により撮影された画像のファイルを格納する領域を有する。さらに、記憶部２７０は、撮像素子２２０により撮影された画像において、解像度が所定値以上の画像領域を示す情報を格納する。解像度が所定値以上の画像領域を示す情報については、図４で説明する。

センサ部２８０は、電子ジャイロ等であり、重力の方向（すなわちデジタルカメラ２００の姿勢）を検出する。

画像処理装置１００ｂは、検出部１１０、演算部１２０、判定部１３０、選択部１４０および評価部１５０を有する。検出部１１０、演算部１２０、判定部１３０、選択部１４０および評価部１５０の機能は、制御部２４０が画像処理プログラムを実行することで実現される。

検出部１１０は、デジタルカメラ２００により撮影された画像（以下、撮影画像とも称される）から、被写体である人物の顔を検出する。例えば、検出部１１０は、撮影画像において、輝度の不連続な変化を示すエッジ等の特徴点を抽出し、抽出した特徴点の分布に基づいて目および鼻等の各端点を特定する。そして、検出部１１０は、特定した各端点の位置に基づいて顔領域を検出する。あるいは、記憶部２７０が顔画像のテンプレートを予め格納するとき、検出部１１０は、顔画像のテンプレートと、撮影画像との相関を求める。検出部１１０は、求めた相関係数が所定の値以上となる画像領域を顔領域として検出してもよい。なお、撮影画像は、例えば、デジタルカメラ２００に含まれるシャッタ釦がユーザに押された時のレンズ２１０の位置で、撮像素子２２０により撮影された画像である。

演算部１２０は、検出部１１０により検出された被写体の顔を示す顔領域から人物の体方向に向かう直線である第１線を求める。演算部１２０は、求めた第１線が、撮影画像の中心を含む第１領域を通る場合に、第１領域内の第１線上に中心が位置する第２領域のコントラストを示すＡＦ評価値と、顔領域のコントラストを示すＡＦ評価値とをそれぞれ算出する。演算部１２０の動作については、図４で説明する。

判定部１３０は、顔領域の位置と第１線の向きとに基づいて、人物の体が撮影画像に含まれるか否かを判定する。なお、顔領域の位置と第１線の向きとの関係を示す情報は、判定テーブル１６０として記憶部２７０に予め格納される。判定テーブル１６０および判定部１３０の動作については、図５および図６で説明する。

選択部１４０は、顔領域のＡＦ評価値と第２領域のＡＦ評価値とを比較し、比較結果と判定部１３０による判定結果とに基づいて、顔領域および第２領域のうち、ＡＦ評価値が大きい領域を選択する。

評価部１５０は、人物を撮影する際に、選択部１４０により選択された顔領域または第２領域のいずれかを用いて、人物に合焦したか否かを評価する。すなわち、評価部１５０は、レンズ駆動部２５０および撮像駆動部２６０を駆動させて、コントラスト検出法に基づくＡＦ処理を、選択部１４０により選択された顔領域または第２領域で実行する。制御部２４０は、評価部１５０によるＡＦ処理の結果に基づいて、レンズ２１０を人物６０に合焦させる。

図４は、図３に示したデジタルカメラ２００により撮影された撮影画像の一例を示す。図４では、例えば、レンズ２１０の光軸の中心、すなわち撮影画像５０（または撮像素子２２０）の中心を原点とし、撮影画像５０の水平走査方向をＸ軸、および撮影画像５０の垂直走査方向をＹ軸とする。また、一点破線で示す半径Ｒの円の第１領域ＡＲ１は、例えば、デジタルカメラ２００によるＡＦ処理性能が所定の精度以上を満たす解像度を有する範囲である。第１領域ＡＲ１の半径Ｒの値は、記憶部２７０に予め格納される。なお、第１領域ＡＲ１は、円形としたが、撮影画像５０の中心を含む矩形等の領域でもよい。また、半径Ｒは、レンズ２１０に含まれるレンズ枚数およびレンズ２１０を含むレンズユニットの薄さ等に基づいて決定される。

また、デジタルカメラ２００による解像度は、デジタルカメラ２００に含まれる有機ＥＬ（Electro-Luminescence）パネル等のディスプレイで、水平方向における画像の表示性能を示す。解像度には、例えばＴＶ本と呼ばれる単位が用いられ、水平方向に垂直方向と同じ幅を有する範囲に、ディスプレイに表示される黒白の垂直線の見分けられる本数（ＴＶ本）に基づいて、解像度が決定される。

図４に示した撮影画像５０は、被写体である人物６０が、撮影画像５０の中心から外れた位置に立ち、デジタルカメラ２００を斜めに傾けた構図で撮影されたものである。

検出部１１０は、撮影画像５０から人物６０の顔の顔領域７０を検出する。図４では、顔領域７０を点線の矩形の領域で示す。

演算部１２０は、検出部１１０により検出された顔領域７０の中心Ａを通り、人物６０の体の方向に平行な直線ＬＮ１を求める。例えば、演算部１２０は、センサ部２８０により検出された重力の方向を示す情報を取得する。演算部１２０は、取得した情報から、図４に示すように、重力の方向としてＹ軸の負の側から時計回りに測定される傾き角αを求める。演算部１２０は、重力の方向を人物６０の体の方向として、求めた傾き角αと式（１）とを用い直線ＬＮ１を求める。直線ＬＮ１は、第１線の一例である。
ｙ＝ｘ／（ｔａｎ（α））＋Ａｙ−Ａｘ／（ｔａｎ（α）） …（１）
ここで、（Ａｘ，Ａｙ）は、顔領域７０の中心Ａの座標を示す。なお、傾き角αは、Ｙ軸の負の側から時計回りに測定されたが、Ｙ軸の正の側から時計回りに測定された角度でもよい。

また、演算部１２０は、センサ部２８０から取得した重力の方向を示す情報の代わりに、検出部１１０による顔の検出結果を用いて傾き角αおよび直線ＬＮ１を求めてもよい。例えば、演算部１２０は、検出部１１０により検出された人物６０における左右の目の位置を取得する。演算部１２０は、取得した左右の目を結ぶ線分に対して垂直の方向で、かつ検出部１１０により検出された鼻がある側の方向を人物６０の体の方向とし、体の方向を示す傾き角αを求める。そして、演算部１２０は、求めた傾き角αと式（１）とを用い直線ＬＮ１を求める。このように、検出部１１０による顔の検出結果を用いることで、演算部１２０は、人物６０が寝転がっている場合等でも、傾き角αおよび直線ＬＮ１を求めることができる。

演算部１２０は、直線ＬＮ１と第１領域ＡＲ１との交点Ｂ１、Ｂ２を求める。演算部１２０は、求めた交点Ｂ１と交点Ｂ２と結ぶ線分上に、例えば、Ｎ個の点Ｃ（Ｃ（１）−Ｃ（Ｎ））および各点Ｃを中心とするＮ個の第２領域ＡＲ２（ＡＲ２（１）−ＡＲ２（Ｎ））を設定する。図４では、点Ｃおよび第２領域ＡＲ２の一例として、ｋ番目の点Ｃ（ｋ）および第２領域ＡＲ２（ｋ）を点線の矩形で示す（ｋは１以上でＮ以下の整数）。なお、交点Ｂ１、Ｂ２は、点Ｃ（１）、Ｃ（Ｎ）としてもよい。また、第２領域ＡＲ２は、例えば、顔領域７０と同一または同様の大きさを有してもよく、顔領域７０と異なる大きさを有してもよい。そして、演算部１２０は、顔領域７０と各第２領域ＡＲ２とにおける撮影画像５０のＡＦ評価値を算出する。例えば、演算部１２０は、複数の第２領域ＡＲ２（１）−ＡＲ２（Ｎ）のＡＦ評価値のうち、最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）のＡＦ評価値を、顔領域７０のＡＦ評価値とともに判定部１３０および選択部１４０に出力する。

図５は、図３に示した判定テーブル１６０の一例を示す。判定テーブル１６０は、例えば、傾き角および顔領域の中心位置の格納領域を有する。傾き角の格納領域には、重力の方向を示す傾き角αの範囲が格納される。顔領域の中心位置の格納領域には、傾き角αが傾き角の格納領域に格納されるいずれかの角度の範囲に含まれる場合に、人物６０の体が撮影画像５０に含まれるための顔領域の中心Ａの位置の条件が格納される。

図６は、傾き角αと顔領域７０の中心Ａの位置との関係を模式的に示す。図４で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図６（ａ）は、デジタルカメラ２００を横位置（例えば、傾き角αが０度）にして人物６０が撮影された撮影画像５０を示す。図６（ｂ）は、デジタルカメラ２００を、例えば反時計回りに９０度傾けた縦位置（傾き角αが９０度）にして人物６０が撮影された撮影画像５０を示す。図６（ｃ）は、デジタルカメラ２００を、例えば逆さの横位置（傾き角αが１８０度）にして人物６０が撮影された撮影画像５０を示す。図６（ｄ）は、デジタルカメラ２００を、例えば時計回りに９０度傾けた縦位置（傾き角αが２７０度）にして人物６０が撮影された撮影画像５０を示す。

例えば、図６（ａ）に示すように、演算部１２０により求められた傾き角αが４５度以下あるいは３１５度より大きく、人物６０の顔領域７０の中心ＡがＹ座標の正の側に含まれる場合、人物６０の体は撮影画像５０に写っている可能性がある。換言すれば、求められた傾き角αが４５度以下あるいは３１５度より大きい角度でも、顔領域７０の中心ＡがＹ座標の負の側に含まれる場合、人物６０の体が写っている可能性が、顔領域７０の中心ＡがＹ座標の正の側の場合より低い。すなわち、演算部１２０により求められた傾き角αが４５度以下あるいは３１５度より大きく、顔領域７０の中心ＡのＹ座標が正の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれると判定する。そして、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置すると判定する。また、演算部１２０により求められた傾き角αが４５度以下あるいは３１５度より大きく、人物６０の顔領域７０の中心ＡがＹ座標の負の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれていないと判定する。すなわち、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置しないと判定する。

また、図６（ｂ）に示すように、演算部１２０により求められた傾き角αが４５度より大きく１３５度以下の角度で、人物６０の顔領域７０の中心ＡがＸ座標の正の側に含まれる場合、人物６０の体は撮影画像５０に写っている可能性がある。換言すれば、求められた傾き角αが４５度より大きく１３５度以下の角度でも、顔領域７０の中心ＡがＸ座標の負の側に含まれる場合、人物６０の体が写っている可能性が、顔領域７０の中心ＡがＸ座標の正の側の場合より低い。すなわち、演算部１２０により求められた傾き角αが４５度より大きく１３５度以下の角度で、人物６０の顔領域７０の中心ＡのＸ座標が正の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれると判定する。そして、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置すると判定する。また、求められた傾き角αが４５度より大きく１３５度以下の角度で、顔領域７０の中心ＡのＸ座標が負の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれていないと判定する。すなわち、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置しないと判定する。

また、図６（ｃ）に示すように、演算部１２０により求められた傾き角αが１３５度より大きく２２５度以下の角度で、人物６０の顔領域７０の中心ＡがＹ座標の負の側に含まれる場合、人物６０の体は撮影画像５０に写っている可能性がある。換言すれば、求められた傾き角αが１３５度より大きく２２５度以下の角度でも、顔領域７０の中心ＡがＹ座標の正の側に含まれる場合、人物６０の体が写っている可能性が、顔領域７０の中心ＡがＹ座標の負の側の場合より低い。すなわち、演算部１２０により求められた傾き角αが１３５度より大きく２２５度以下の角度で、人物６０の顔領域７０の中心ＡのＹ座標が負の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれると判定する。そして、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置すると判定する。また、求められた傾き角αが１３５度より大きく２２５度以下の角度で、顔領域７０の中心ＡのＹ座標が正の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれていないと判定する。すなわち、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置しないと判定する。

また、図６（ｄ）に示すように、演算部１２０により求められた傾き角αが２２５度より大きく３１５度以下の角度で、人物６０の顔領域７０の中心ＡがＸ座標の負の側に含まれる場合、人物６０の体は撮影画像５０に写っている可能性がある。換言すれば、求められた傾き角αが２２５度より大きく３１５度以下の角度でも、顔領域７０の中心ＡがＸ座標の正の側に含まれる場合、人物６０の体が写っている可能性が、顔領域７０の中心ＡがＸ座標の負の側の場合より低い。すなわち、演算部１２０により求められた傾き角αが２２５度より大きく３１５度以下の角度で、人物６０の顔領域７０の中心ＡのＸ座標が負の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれると判定する。そして、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置すると判定する。また、求められた傾き角αが２２５度より大きく３１５度以下の角度で、顔領域７０の中心ＡのＸ座標が正の値の場合、判定部１３０は、人物６０の体が撮影画像５０に含まれていないと判定する。すなわち、判定部１３０は、演算部１２０により受信した最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置しないと判定する。

選択部１４０は、判定部１３０により最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置すると判定された場合、顔領域７０のＡＦ評価値と第２領域ＡＲ２（ｋ）のＡＦ評価値とのうち、最も大きなＡＦ評価値を示す領域を選択する。例えば、選択部１４０は、最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）のＡＦ評価値から閾値Ｔｈを減算した差分値と、顔領域７０のＡＦ評価値とを比較する。すなわち、選択部１４０は、第２領域ＡＲ２（ｋ）のＡＦ評価値に対して閾値Ｔｈを減算することで、顔領域７０を優先的に選択するようにする。そして、第２領域ＡＲ２（ｋ）のＡＦ評価値と閾値Ｔｈとの差分値が顔領域７０のＡＦ評価値以下の場合、選択部１４０は、顔領域７０を選択する。一方、第２領域ＡＲ２（ｋ）のＡＦ評価値と閾値Ｔｈとの差分値が顔領域７０のＡＦ評価値より大きい場合、選択部１４０は、第２領域ＡＲ２（ｋ）を選択する。

なお、判定部１３０により最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置しないと判定された場合、選択部１４０は、顔領域７０を選択する。また、選択部１４０は、検出部１１０により顔領域７０が検出されなかった場合、撮影画像５０の中心を含む領域を選択する。

また、選択部１４０は、最も大きなＡＦ評価値を示す領域を選択するために、最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）のＡＦ評価値と、顔領域７０のＡＦ評価値とを直接比較してもよい。あるいは、選択部１４０は、例えば、顔領域７０を優先的に選択するために、顔領域７０のＡＦ評価値に１より大きな値を乗算する重み付け処理を実行し、第２領域ＡＲ２（ｋ）のＡＦ評価値と重み付けした顔領域７０のＡＦ評価値とを比較してもよい。なお、選択部１４０は、第２領域ＡＲ２（ｋ）のＡＦ評価値に１より小さな値を乗算する重み付け処理を実行し、顔領域７０のＡＦ評価値と重み付けした第２領域ＡＲ２（ｋ）のＡＦ評価値とを比較してもよい。

図７および図８は、図３に示した画像処理装置１００ｂにおける画像処理の一例を示す。図７および図８に示したステップＳ１００からステップＳ２３０の処理は、制御部２４０が画像処理プログラムを実行することにより実現される。すなわち、図７および図８は、画像処理方法の別の実施形態を示す。なお、図７および図８に示す処理は、デジタルカメラ２００に搭載されるハードウェアにより実行されてもよい。この場合、図３に示した検出部１１０、演算部１２０、判定部１３０、選択部１４０および評価部１５０は、デジタルカメラ２００内に配置される回路により実現される。

ステップＳ１００では、検出部１１０は、図３で説明したように、撮影画像５０から被写体である人物６０の顔を検出する。

ステップＳ１１０では、検出部１１０は、撮影画像５０に人物６０の顔が含まれるか否かを判定する。検出部１１０は、人物６０の顔を検出した場合、撮影画像５０に人物６０の顔が含まれると判定する。この場合、画像処理装置１００ｂの処理は、ステップＳ１２０に移る。一方、検出部１１０は、人物６０の顔を検出できなかった場合、撮影画像５０に人物６０の顔が含まれないと判定する。この場合、画像処理装置１００ｂの処理は、図８に示したステップＳ２００に移る。

ステップＳ１２０では、演算部１２０は、図４で説明したように、センサ部２８０により検出された重力の方向を示す情報を用いて、ステップＳ１００で検出部１１０により検出された顔領域７０を通り、かつ人物６０の体方向に向かう直線ＬＮ１を求める。

ステップＳ１３０では、演算部１２０は、ステップＳ１２０で求めた直線ＬＮ１が第１領域ＡＲ１を通るか否かを判定する。例えば、演算部１２０は、撮影画像５０の中心から直線ＬＮ１までの距離が最小となる直線ＬＮ１上の画素の位置を求める。演算部１２０は、求めた距離が最小となる直線ＬＮ１上の画素の位置が第１領域ＡＲ１に含まれるか否かを判定する。すなわち、距離が最小となる直線ＬＮ１上の画素の位置が第１領域ＡＲ１に含まれる場合、演算部１２０は、直線ＬＮ１が第１領域ＡＲ１を通ると判定する。この場合、画像処理装置１００ｂの処理は、ステップＳ１４０に移る。一方、距離が最小となる直線ＬＮ１上の画素の位置が第１領域ＡＲ１に含まれない場合、演算部１２０は、直線ＬＮ１が第１領域ＡＲ１を通らないと判定する。この場合、画像処理装置１００ｂの処理は、図８に示したステップＳ２２０に移る。

ステップＳ１４０では、演算部１２０は、図４で説明したように、直線ＬＮ１と第１領域ＡＲ１との交点Ｂ１、Ｂ２を求める。例えば、演算部１２０は、直線ＬＮ１の式（１）と、ＸＹ座標を原点とする半径Ｒの円の式との連立方程式から、交点Ｂ１、Ｂ２を求める。

ステップＳ１５０では、演算部１２０は、図４で説明したように、ステップＳ１４０で求めた交点Ｂ１と交点Ｂ２との間の直線ＬＮ１上に、例えば、Ｃ（１）−Ｃ（Ｎ）および各点Ｃを中心とするＮ個の第２領域ＡＲ２（１）−ＡＲ２（Ｎ）を設定する。

ステップＳ１６０では、演算部１２０は、図４で説明したように、顔領域７０のＡＦ評価値と、複数の第２領域ＡＲ２（１）−ＡＲ２（Ｎ）のＡＦ評価値とをそれぞれ算出する。

ステップＳ１７０では、演算部１２０は、図４で説明したように、複数の第２領域ＡＲ２のＡＦ評価値のうち、最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）のＡＦ評価値を、顔領域７０のＡＦ評価値とともに判定部１３０および選択部１４０に出力する。

ステップＳ１８０では、判定部１３０は、図５および図６で説明したように、顔領域７０の中心Ａの位置と判定テーブル１６０とに基づいて、ステップＳ１７０で演算部１２０から受信した第２領域ＡＲ２（ｋ）が人物６０の体上に位置するか否かを判定する。最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置すると判定部１３０が判定した場合、画像処理装置１００ｂの処理は、ステップＳ１９０に移る。一方、最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）が人物６０の体上に位置しないと判定部１３０が判定した場合、画像処理装置１００ｂの処理は、図８に示したステップＳ２２０に移る。

ステップＳ１９０では、選択部１４０は、ステップＳ１７０で演算部１２０から受信した第２領域ＡＲ２（ｋ）のＡＦ評価値が、顔領域７０のＡＦ評価値より大きいか否かを判定する。例えば、選択部１４０は、受信した第２領域ＡＲ２（ｋ）のＡＦ評価値から閾値Ｔｈを減算した差分値と、顔領域７０のＡＦ評価値とを比較する。第２領域ＡＲ２（ｋ）のＡＦ評価値と閾値Ｔｈとの差分値が顔領域７０のＡＦ評価値より大きいと選択部１４０が判定した場合、画像処理装置１００ｂの処理は、図８に示したステップＳ２１０に移る。一方、第２領域ＡＲ２（ｋ）のＡＦ評価値と閾値Ｔｈとの差分値が顔領域７０のＡＦ評価値以下と選択部１４０が判定した場合、画像処理装置１００ｂの処理は、図８に示したステップＳ２２０に移る。

ステップＳ２００では、選択部１４０は、ステップＳ１００で顔領域７０が検出されなかったため、撮影画像５０の中心を含む領域を選択する。そして、画像処理装置１００ｂの処理は、ステップＳ２３０に移る。

ステップＳ２１０では、選択部１４０は、最大のＡＦ評価値を有する第２領域ＡＲ２（ｋ）のＡＦ評価値と閾値Ｔｈとの差分値が、顔領域７０のＡＦ評価値より大きいと、ステップＳ１９０で判定されたため、第２領域ＡＲ２（ｋ）を選択する。そして、画像処理装置１００ｂの処理は、ステップＳ２３０に移る。

ステップＳ２２０では、選択部１４０は、顔領域７０を選択し、画像処理装置１００ｂの処理は、ステップＳ２３０に移る。

ステップＳ２３０では、評価部１５０は、図３で説明したように、選択部１４０により選択された領域（ステップＳ２００からステップＳ２２０のいずれかで選択された領域）を用いて、被写体に合焦したか否かを評価する。

そして、画像処理装置１００ｂは、処理を終了する。デジタルカメラ２００は、評価部１５０によるＡＦ処理の結果に基づいてレンズ２１０を被写体に合焦し、被写体を撮影する。なお、図７および図８に示した処理は、デジタルカメラ２００が有するシャッタ釦がユーザにより押される度に、繰り返し実行されることが好ましい。

以上、図３から図８に示した実施形態では、顔領域７０および第１領域ＡＲ１内の直線ＬＮ１上に中心が位置する複数の第２領域ＡＲ２のうち、算出されたＡＦ評価値が大きい領域を選択する。これにより、画像処理装置１００ｂは、合焦用に撮影された撮影画像５０の中心の位置から被写体が外れている場合でも、被写体においてコントラストが他よりも高い領域を検出することができる。この結果、画像処理装置１００ｂは、撮影画像５０上での被写体の位置に依らず、被写体への合焦の精度を向上させることができる。これにより、デジタルカメラ２００は、従来と比べて精度良く被写体に合焦させて被写体を撮影することができる。

図９は、画像処理装置および画像処理方法の別の実施形態を示す。図３で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。図９に示した画像処理装置１００ｃは、例えば、デジタルカメラ２００に搭載される。なお、画像処理装置１００ｃは、スマートフォン等の携帯通信端末等に搭載されてもよい。

画像処理装置１００ｃは、検出部１１０、演算部１２０ａ、判定部１３０ａ、選択部１４０ａおよび評価部１５０を有する。検出部１１０、演算部１２０ａ、判定部１３０ａ、選択部１４０ａおよび評価部１５０の機能は、制御部２４０が画像処理プログラムを実行することで実現される。

演算部１２０ａは、例えば、検出部１１０により検出された被写体の顔を示す顔領域から人物の体方向に向かう直線である第１線を求める。演算部１２０ａは、求めた第１線と撮影画像の中心との距離が最小となる第１線上の画素を含む第１領域のコントラストを示すＡＦ評価値と、顔領域のコントラストを示すＡＦ評価値とをそれぞれ算出する。演算部１２０ａの動作については、図１０で説明する。

判定部１３０ａは、顔領域の位置と第１線の向きとに基づいて、人物の体が撮影画像に含まれるか否かを判定する。なお、顔領域の位置と第１線の向きとの関係を示す情報は、判定テーブル１６０ａとして記憶部２７０に予め格納される。判定テーブル１６０ａおよび判定部１３０ａの動作については、図１１で説明する。

選択部１４０ａは、顔領域のＡＦ評価値と第１領域のＡＦ評価値とを比較し、比較結果と判定部１３０による判定結果とに基づいて、顔領域および第１領域のうち、ＡＦ評価値が大きい領域を選択する。

図１０は、図９に示したデジタルカメラ２００により撮影された撮影画像の一例を示す。図４で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

演算部１２０ａは、検出部１１０により検出された顔領域７０の中心Ａを通り、かつ人物６０の体の方向に平行な直線ＬＮ２を求める。例えば、演算部１２０ａは、センサ部２８０により検出された重力の方向を示す情報を取得する。演算部１２０ａは、取得した情報から、図１０に示すように、重力の方向としてＹ軸の正の側から時計回りに測定される傾き角βを求める。演算部１２０ａは、重力の方向を人物６０の体の方向として、求めた傾き角βと式（２）とを用い直線ＬＮ２を求める。直線ＬＮ２は、第１線の一例である。
ｙ＝ｘ／（ｔａｎ（β））＋Ａｙ−Ａｘ／（ｔａｎ（β）） …（２）
なお、傾き角βは、Ｙ軸の正の側から時計回りに測定されたが、Ｙ軸の負の側から時計回りに測定された角度でもよい。

また、演算部１２０ａは、センサ部２８０から取得した重力の方向を示す情報の代わりに、検出部１１０による顔の検出結果を用いて傾き角βおよび直線ＬＮ２を求めてもよい。例えば、演算部１２０ａは、検出部１１０により検出された人物６０における左右の目を取得する。演算部１２０ａは、取得した左右の目を結ぶ線分に対して垂直の方向で、かつ検出部１１０により検出された鼻がある側の方向を人物６０の体の方向とし、体の方向を示す傾き角βを求める。そして、演算部１２０ａは、求めた傾き角βと式（２）とを用い直線ＬＮ２を求める。このように、検出部１１０による顔の検出結果を用いることで、演算部１２０ａは、人物６０が寝転がっている場合等でも、傾き角βおよび直線ＬＮ２を求めることができる。

演算部１２０ａは、求めた直線ＬＮ２と撮影画像５０の中心との距離が最小となる直線ＬＮ２上の画素Ｄの位置を求める。例えば、演算部１２０ａは、直線ＬＮ２の傾きに対して垂直な傾き“−ｔａｎβ”で、ＸＹ座標の原点（撮影画像５０の中心）を通る直線ＬＮ３を示す式と、直線ＬＮ２の式（２）との連立方程式から、画素Ｄの座標を求める。演算部１２０ａは、求めた画素Ｄを中心とする第１領域ＡＲ３を設定する。なお、第１領域ＡＲ３は、例えば、顔領域７０と同一または同様の大きさを有してもよく、顔領域７０と異なる大きさを有してもよい。そして、演算部１２０ａは、顔領域７０と第１領域ＡＲ３とにおける撮影画像５０のＡＦ評価値を算出する。

図１１は、図９に示した判定テーブル１６０ａの一例を示す。判定テーブル１６０ａは、図５に示した判定テーブル１６０の傾き角αの代わりに、傾き角βにしたものである。したがって、判定テーブル１６０ａの詳細な説明は省略する。

図１２は、図９に示した画像処理装置１００ｃにおける画像処理の一例を示す。図１２に示したステップＳ３００からステップＳ４１０の処理は、制御部２４０が画像処理プログラムを実行することにより実現される。すなわち、図１２は、画像処理方法の別の実施形態を示す。なお、図１２に示す処理は、デジタルカメラ２００に搭載されるハードウェアにより実行されてもよい。この場合、図９に示した検出部１１０、演算部１２０ａ、判定部１３０ａ、選択部１４０ａおよび評価部１５０は、デジタルカメラ２００内に配置される回路により実現される。

ステップＳ３００では、検出部１１０は、図３で説明したように、撮影画像５０から被写体である人物６０の顔を検出する。

ステップＳ３１０では、検出部１１０は、撮影画像５０に人物６０の顔が含まれるか否かを判定する。検出部１１０は、人物６０の顔を検出した場合、撮影画像５０に人物６０の顔が含まれると判定する。この場合、画像処理装置１００ｃの処理は、ステップＳ３２０に移る。一方、検出部１１０は、人物６０の顔を検出できなかった場合、撮影画像５０に人物６０の顔が含まれないと判定する。この場合、画像処理装置１００ｃの処理は、ステップＳ３８０に移る。

ステップＳ３２０では、演算部１２０ａは、図１０で説明したように、センサ部２８０により検出された重力の方向を示す情報を用いて、ステップＳ３００で検出部１１０により検出された顔領域７０を通り、かつ人物６０の体方向に向かう直線ＬＮ２を求める。

ステップＳ３３０では、演算部１２０ａは、図１０で説明したように、撮影画像５０の中心からの距離が最小となる直線ＬＮ２上の画素Ｄの位置を求める。

ステップＳ３４０では、演算部１２０ａは、図１０で説明したように、ステップＳ３３０で求めた画素Ｄの位置を中心とする第１領域ＡＲ３を設定する。

ステップＳ３５０では、判定部１３０ａは、図５、図６、図９および図１１で説明したように、顔領域７０の中心Ａの位置と判定テーブル１６０ａとに基づいて、ステップＳ３４０で設定された第１領域ＡＲ３が人物６０の体上に位置するか否かを判定する。第１領域ＡＲ３が人物６０の体上に位置すると判定部１３０ａが判定した場合、画像処理装置１００ｃの処理は、ステップＳ３６０に移る。一方、第１領域ＡＲ３が人物６０の体上に位置しないと判定部１３０ａが判定した場合、画像処理装置１００ｃの処理は、ステップＳ４００に移る。

ステップＳ３６０では、演算部１２０ａは、図９で説明したように、顔領域７０のＡＦ評価値と、第１領域ＡＲ３のＡＦ評価値とをそれぞれ算出する。

ステップＳ３７０では、選択部１４０ａは、図９で説明したように、ステップＳ３６０で算出された第１領域ＡＲ３のＡＦ評価値が、顔領域７０のＡＦ評価値より大きいか否かを判定する。例えば、選択部１４０ａは、第１領域ＡＲ３のＡＦ評価値から閾値Ｔｈを減算した差分値と、顔領域７０のＡＦ評価値とを比較する。すなわち、選択部１４０ａは、第１領域ＡＲ３のＡＦ評価値に対して閾値Ｔｈを減算することで、顔領域７０を優先的に選択するようにする。そして、第１領域ＡＲ３のＡＦ評価値と閾値Ｔｈとの差分値が顔領域７０のＡＦ評価値より大きいと選択部１４０ａが判定した場合、画像処理装置１００ｃの処理は、ステップＳ３９０に移る。

一方、第１領域ＡＲ３のＡＦ評価値と閾値Ｔｈとの差分値が顔領域７０のＡＦ評価値以下と選択部１４０ａが判定した場合、画像処理装置１００ｃの処理は、ステップＳ４００に移る。

ステップＳ３８０では、選択部１４０ａは、ステップＳ３００で顔領域７０が検出されなかったため、撮影画像５０の中心を含む領域を選択する。そして、画像処理装置１００ｃの処理は、ステップＳ４１０に移る。

ステップＳ３９０では、選択部１４０ａは、第１領域ＡＲ３のＡＦ評価値と閾値Ｔｈとの差分値が、顔領域７０のＡＦ評価値より大きいと、ステップＳ３７０で判定されたため、第１領域ＡＲ３を選択する。そして、画像処理装置１００ｃの処理は、ステップＳ４１０に移る。

ステップＳ４００では、選択部１４０ａは、顔領域７０を選択し、画像処理装置１００ｃの処理は、ステップＳ４１０に移る。

ステップＳ４１０では、評価部１５０は、図３で説明したように、選択部１４０ａにより選択された領域（ステップＳ３８０からステップＳ４００のいずれかで選択された領域）を用いて、被写体に合焦したか否かを評価する。

そして、画像処理装置１００ｃは、処理を終了する。デジタルカメラ２００は、評価部１５０によるＡＦ処理の結果に基づいてレンズ２１０を被写体に合焦し、被写体を撮影する。なお、図１２に示した処理は、デジタルカメラ２００が有するシャッタ釦がユーザにより押される度に、繰り返し実行されることが好ましい。

以上、図９から図１２に示した実施形態では、顔領域７０および撮影画像５０の中心からの距離が最小となる直線ＬＮ２上の画素Ｄを含む第１領域ＡＲ３のうち、算出されたＡＦ評価値が大きい領域を選択する。これにより、画像処理装置１００ｃは、合焦用に撮影された撮影画像５０の中心の位置から被写体が外れている場合でも、被写体においてコントラストが他よりも高い領域を検出することができる。この結果、画像処理装置１００ｃは、撮影画像５０上での被写体の位置に依らず、被写体への合焦の精度を向上させることができる。これにより、デジタルカメラ２００は、従来と比べて精度良く被写体に合焦させて被写体を撮影することができる。

図１３は、図１、図２、図３および図９に示した画像処理装置１００（１００ａ、１００ｂ、１００ｃ）のハードウェアの一例を示す。図１から図９で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

デジタルカメラ２００は、レンズ２１０、撮像素子２２０、ＡＤ変換部２３０、センサ部２８０、レンズ駆動部２５０、撮像駆動部２６０、ＣＰＵ３００、メモリ３１０、入力装置３２０および出力装置３３０を有する。ＣＰＵ３００、メモリ３１０、入力装置３２０および出力装置３３０は、バスを介し互いに接続される。

ＣＰＵ３００は、例えば、撮像された画像の信号を、撮像素子２２０からＡＤ変換部２３０を介して受信する。

メモリ３１０は、デジタルカメラ２００のオペレーティングシステムとともに、ＣＰＵ３００が画像処理を実行するためのアプリケーションプログラムを格納する。また、メモリ３１０は、図５に示した判定テーブル１６０あるいは図１１に示した判定テーブル１６０ａを予め格納する。

入力装置３２０は、例えば、シャッタ釦あるいはタッチパネル等である。デジタルカメラ２００を使用するユーザは、入力装置３２０を操作し、例えば、撮影の実行の指示とともに、画像処理の設定等を行う。

出力装置３３０は、有機ＥＬ等のディスプレイである。出力装置３３０は、画像処理装置１００により画像処理された画像を表示する。また、出力装置３３０は、デジタルカメラ２００の設定を行う画面等を表示する。

なお、画像処理を実行するためのアプリケーションプログラムは、例えば、ＣＤ（Compact Disc）あるいはＤＶＤ（Digital Versatile Disc）等のリムーバブルディスクに記録して頒布することができる。また、デジタルカメラ２００は、画像処理を実行するためのアプリケーションプログラムを、デジタルカメラ２００に含まれるネットワークインタフェースを介してネットワークからダウンロードし、メモリ３１０に格納してもよい。

また、ＣＰＵ３００は、画像処理のアプリケーションプログラムを実行することで、図１に示した検出部１０、演算部２０、選択部３０および評価部４０として機能する。また、ＣＰＵ３００は、画像処理のアプリケーションプログラムを実行することで、図２に示した検出部１０、演算部２０ａ、選択部３０ａおよび評価部４０として機能する。また、ＣＰＵ３００は、画像処理のアプリケーションプログラムを実行することで、図３に示した検出部１１０、演算部１２０、判定部１３０、選択部１４０および評価部１５０として機能する。また、ＣＰＵ３００は、画像処理のアプリケーションプログラムを実行することで、図９に示した検出部１１０、演算部１２０ａ、判定部１３０ａ、選択部１４０ａおよび評価部１５０として機能する。

すなわち、画像処理装置１００は、ＣＰＵ３００およびメモリ３１０の協働によって実現する。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
画像から被写体の顔を検出する検出部と、
検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線が、前記画像の中心を含む第１領域を通る場合に、前記第１領域内の前記第１線上に中心が位置する第２領域のコントラストと前記顔領域のコントラストとをそれぞれ算出する演算部と、
前記顔領域および前記第２領域のうち、前記コントラストが大きい領域を選択する選択部と、
前記被写体を撮影する際に、前記選択部により選択された前記顔領域または前記第２領域のいずれかを用いて、前記被写体に合焦したか否かを評価する評価部と
を備えることを特徴とする画像処理装置。
（付記２）
画像から被写体の顔を検出する検出部と、
検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線と前記画像の中心との距離が最小となる前記第１線上の画素を含む第１領域のコントラストと前記顔領域のコントラストとをそれぞれ算出する演算部と、
前記顔領域および前記第１領域のうち、前記コントラストが大きい領域を選択する選択部と、
前記被写体を撮影する際に、前記選択部により選択された前記顔領域または前記第１領域のいずれかを用いて、前記被写体に合焦したか否かを評価する評価部と
を備えることを特徴とする画像処理装置。
（付記３）
付記１または付記２に記載の画像処理装置において、
前記演算部は、前記第１線の向きを、外部のセンサ部により検出された重力の方向とする
ことを特徴とする画像処理装置。
（付記４）
付記３に記載の画像処理装置において、
前記被写体の体が前記画像に含まれるか否かを前記顔領域の位置と前記重力の方向とに基づいて判定する判定部を備え、
前記選択部は、前記判定部により前記被写体の体が前記画像に含まれないと判定された場合、前記顔領域を選択する
ことを特徴とする画像処理装置。
（付記５）
画像から被写体の顔を検出し、
検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線が、前記画像の中心を含む第１領域を通る場合に、前記第１領域内の前記第１線上に中心が位置する第２領域のコントラストと前記顔領域のコントラストとをそれぞれ算出し、
前記顔領域および前記第２領域のうち、前記コントラストが大きい領域を選択し、
前記被写体を撮影する際に、前記コントラストが大きい領域として選択された前記顔領域または前記第２領域のいずれかを用いて、前記被写体に合焦したか否かを評価する
ことを特徴とする画像処理方法。
（付記６）
画像から被写体の顔を検出し、
検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線と前記画像の中心との距離が最小となる前記第１線上の画素を含む第１領域のコントラストと前記顔領域のコントラストとをそれぞれ算出し、
前記顔領域および前記第１領域のうち、前記コントラストが大きい領域を選択し、
前記被写体を撮影する際に、前記コントラストが大きい領域として選択された前記顔領域または前記第１領域のいずれかを用いて、前記被写体に合焦したか否かを評価する
ことを特徴とする画像処理方法。
（付記７）
付記５または付記６に記載の画像処理方法において、
前記演算の処理は、前記第１線の向きを、外部のセンサ部により検出された重力の方向とする
ことを特徴とする画像処理方法。
（付記８）
付記７に記載の画像処理方法において、
前記被写体の体が前記画像に含まれるか否かを前記顔領域の位置と前記重力の方向とに基づいて判定し、
前記選択の処理は、前記判定の処理により前記被写体の体が前記画像に含まれないと判定された場合、前記顔領域を選択する
ことを特徴とする画像処理方法。

１０、１１０…検出部；２０、２０ａ、１２０、１２０ａ…演算部；３０、３０ａ、１４０、１４０ａ…選択部；４０、１５０…評価部；５０…撮影画像；６０…人物；７０…顔領域；１００，１００ａ，１００ｂ，１００ｃ…画像処理装置；１３０…判定部；１６０、１６０ａ…判定テーブル；２００…デジタルカメラ；２１０…レンズ；２２０…撮像素子；２３０…ＡＤ変換部；２４０…制御部；２５０…レンズ駆動部；２６０…撮像駆動部；２７０…記憶部；２８０…センサ部；３００…ＣＰＵ；３１０…メモリ；３２０…入力装置；３３０…出力装置；ＡＲ１、ＡＲ３…第１領域；ＡＲ２、ＡＲ２（１）−ＡＲ２（Ｎ）…第２領域；ＬＮ…第１線；ＬＮ１、ＬＮ２…直線

Claims (6)

1. 画像から被写体の顔を検出する検出部と、
   検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線が、前記画像の中心を含む第１領域を通る場合に、前記第１領域内の前記第１線上に中心が位置する第２領域のコントラストと前記顔領域のコントラストとをそれぞれ算出する演算部と、
   前記顔領域および前記第２領域のうち、前記コントラストが大きい領域を選択する選択部と、
   前記被写体を撮影する際に、前記選択部により選択された前記顔領域または前記第２領域のいずれかを用いて、前記被写体に合焦したか否かを評価する評価部と
   を備えることを特徴とする画像処理装置。
2. 画像から被写体の顔を検出する検出部と、
   検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線と前記画像の中心との距離が最小となる前記第１線上の画素を含む第１領域のコントラストと前記顔領域のコントラストとをそれぞれ算出する演算部と、
   前記顔領域および前記第１領域のうち、前記コントラストが大きい領域を選択する選択部と、
   前記被写体を撮影する際に、前記選択部により選択された前記顔領域または前記第１領域のいずれかを用いて、前記被写体に合焦したか否かを評価する評価部と
   を備えることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記演算部は、前記第１線の向きを、外部のセンサ部により検出された重力の方向とする
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記被写体の体が前記画像に含まれるか否かを前記顔領域の位置と前記重力の方向とに基づいて判定する判定部を備え、
   前記選択部は、前記判定部により前記被写体の体が前記画像に含まれないと判定された場合、前記顔領域を選択する
   ことを特徴とする画像処理装置。
5. 画像から被写体の顔を検出し、
   検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線が、前記画像の中心を含む第１領域を通る場合に、前記第１領域内の前記第１線上に中心が位置する第２領域のコントラストと前記顔領域のコントラストとをそれぞれ算出し、
   前記顔領域および前記第２領域のうち、前記コントラストが大きい領域を選択し、
   前記被写体を撮影する際に、前記コントラストが大きい領域として選択された前記顔領域または前記第２領域のいずれかを用いて、前記被写体に合焦したか否かを評価する
   ことを特徴とする画像処理方法。
6. 画像から被写体の顔を検出し、
   検出された前記被写体の顔を示す顔領域から前記被写体の体を通る第１線と前記画像の中心との距離が最小となる前記第１線上の画素を含む第１領域のコントラストと前記顔領域のコントラストとをそれぞれ算出し、
   前記顔領域および前記第１領域のうち、前記コントラストが大きい領域を選択し、
   前記被写体を撮影する際に、前記コントラストが大きい領域として選択された前記顔領域または前記第１領域のいずれかを用いて、前記被写体に合焦したか否かを評価する
   ことを特徴とする画像処理方法。

Images