JP3985005B2 - 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム - Google Patents

Description

本発明は、被写体から特定領域を検出する機能を有するデジタルカメラ、デジタルビデオカメラ等の撮像装置や画像処理装置、あるいはこの撮像装置の制御方法に関するものである。

従来の撮像装置において、撮影画像の中から被写体の特定領域を自動で検出し、検出した被写体の特定領域に対して様々な処理を行う技術が提案されている。

検出した被写体の顔領域に対して自動合焦制御（これよりＡＦという）を行って、撮影する技術が開示されている。

また、検出した顔領域の輝度に基づき自動露出制御（これよりＡＥという）を行って、顔領域が適正な状態になるように撮影する技術が開示されている（特許文献１参照）。

図９は顔検出モジュールを備えた、従来のデジタルカメラの撮像動作フローである。

なお、このデジタルカメラは顔検出モジュールにて検出された顔領域に対して、最適なＡＦ及びＡＥを行うものである。

同図において、ステップＳ２２１にて、デジタルカメラのＣＰＵが撮影者によってシャッターボタンが半押し（ＳＷ１がオン）されたことを検知する。ステップＳ２２２にてＣＰＵは、電子ビューファインダー（これよりＥＶＦという）表示がオンに設定されているかオフに設定されているかを判定する。このステップＳ２２２にて、ＣＰＵはＥＶＦ表示がオンであると判定するとステップＳ２２３に処理を進め、ＥＶＦ表示がオフであると判定するとステップＳ２２４に処理を進める。

ＥＶＦ表示がオンであると、ステップＳ２２３にて、ＡＥ制御回路は顔検出用の画像を得るための、絞り値（以下、Ａｖという）、シャッタースピード（以下、Ｔｖという）、アナログゲイン（以下、Ｓｖという）を設定する。これらの値はＳＷ１がオンされる直前にＥＶＦ表示用の画像を得る際に用いられていた値を用いる。

ＥＶＦ表示がオフであると、ステップＳ２２４にて、ＡＥ制御回路はＳＷ１後に予め設定されたＡｖ、Ｔｖ、Ｓｖからなる露出条件でプレ撮影を行う。

ステップＳ２２５では、ＡＥ制御回路は、ステップＳ２２４でのプレ撮影により得られた画像信号より顔検出用の画像撮影のための、Ａｖ、Ｔｖ、Ｓｖを新たに設定する。

ステップＳ２２６では、ＡＥ制御回路はステップＳ２２３で設定されたＡｖ、Ｔｖ、Ｓｖ、あるいは、ステップＳ２２５で設定されたＡｖ、Ｔｖ、Ｓｖを用いて第１の画像信号を撮影する。

ステップＳ２２７にて、ＣＰＵは、ステップＳ２２６で得られた第１の画像信号を顔検出回路に入力し、顔領域の座標や顔検出の信頼度等の顔情報を取得する。ここで顔領域が検出された場合には、ＣＰＵは、ステップＳ２２９にて、ステップＳ２２７で検出された顔領域に対して測光枠及び焦点検出枠を設定する。また、ステップＳ２２７にて、顔領域が検出されない場合は、ＣＰＵは、ステップＳ２３０にて、顔検出に失敗した旨を表示し、予め設定しておいた領域に測光枠及び焦点検出枠を設定する。

ステップＳ２３１では、ＡＦ制御回路はステップＳ２２９又はステップＳ２３０において設定された焦点検出枠における画像信号に基づきＡＦを行う。

ステップＳ２３２にて、ＣＰＵはＡＦが完了した状態での本撮影用の露出条件を得るために第２の画像信号を撮影させる。

ステップＳ２３３にて、ＡＥ制御回路は、第２の画像信号を用いて、測光枠内の輝度値の重み付けを大きくして演算することによって本撮影用のＡｖ、Ｔｖ、Ｓｖを設定する。そして、ＥＶＦ上に測光枠を表示することで、撮影者にＡＥが完了した旨を伝える。

ステップＳ２３４にて、撮影者によりシャッターボタンが全押し（ＳＷ２がオン）されると、ステップＳ２３５においてＣＰＵは、ステップＳ２３３で設定されたＡｖ、Ｔｖ、Ｓｖを用いて本撮影を行う。

ステップＳ２３６において、ＣＰＵは、本撮影後の画像信号から、輝度信号、色信号等の抽出を行う。これを基に画像変換回路１１にて、ＪＰＥＧ圧縮方式にて圧縮された画像信号等汎用の画像信号に変換される。

ステップＳ２３７において、ＣＰＵは、ステップＳ２３６で変換された画像信号を記録媒体に記録する。

次に、汎用の顔検出モジュールにおける代表的な顔検出アルゴリズムを簡単に説明する。

まず、顔検出の対象となる画像信号に対して、図１１Ａのように垂直方向、または図１１Ｂのように水平方向に、特定周波数帯域の信号を通すバンドパスフィルタをかけ、画像信号からエッジ成分を検出する。

そして、検出されたエッジ成分に対してパターンマッチングを行い、目及び鼻、口、耳等の顔の特徴的な部位の抽出を行う。

抽出された目の候補群の中から、予め設定された条件（２つの目の距離、傾き等）を満たすものを、正しい目の組み合わせと判断し、目の組み合わせが存在するもののみ目の候補群として絞り込む。

絞り込まれた目の候補群と、それに対応する顔を形成する他の部位（鼻、口、耳等）を対応付け、予め設定した非顔条件フィルタを通すことで、顔領域を検出する。

なお、ここでいう非顔条件フィルタとは、顔領域の候補と非顔条件フィルタとを比較し所定の評価値を満たさなければ顔ではないと判断するためのフィルタである。
特開２００３−１０７３３５号公報

しかしながら、従来の顔検出機能を備えた撮像装置において、特に図１０で示す逆光シーンのような場合には、顔領域が検出できない場合がある。なぜなら画像信号全体で見たときには適正露出であっても、被写体の顔の大きさや場所によっては、本来の主被写体である顔領域の露出がアンダーもしくはオーバーとなることがあるからである。

また、検出する顔の大きさが予め設定したパターンマッチングに用いるパターンと比較して極端に大きい、もしくは小さい場合には、顔領域の検出精度が低くなり顔が検出できないということがある。

更に、顔検出の対象となる画像信号に対して目の対を検出するような、顔検出モジュールでは、水平、および垂直のバンドパスフィルタをかけている。しかしながら、一方向のバンドパスフィルタに対する顔の傾きが±１５度以上になると、著しく検出精度が落ちることがある。

上述のフローにおいては、ステップＳ２２７にて顔検出に失敗した場合は、ステップＳ２３０にその旨が表示されるため、その表示を見ることでユーザーは顔検出をやり直すことを選択することができる。具体的にはＳＷ１をいったんオフにしてから、被写体の輝度、大きさ、あるいは傾きを考慮して構図を変化させ、再びＳＷ１をオンする必要がある。

実際の撮影においては、撮像装置のシャッターを押してから画像が撮れるまでの時間（以後シャッタータイムラグという）は、短い程好ましい。しかしながら、上述のような理由によって主被写体の自動検出を誤ると、再度、主被写体検出をやり直すことになってしまうために、シャッタータイムラグが長くなってしまう。

よって、主被写体のおかれている状況や、主被写体の大きさや傾きによらず、主被写体の自動検出の精度を高めることが要望される。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮像素子からの出力信号を第１の画像信号に変換する画像変換部と、前記第１の画像信号を基にして、前記第１の画像信号とは輝度レベルが異なる第２の画像信号を生成する画像信号生成部と、前記第１の画像信号と前記第２の画像信号に対して被写体の特定の対象領域の検出処理を行う対象領域検出部と、前記第１の画像信号及び前記第２の画像信号の両方から前記対象領域が検出された場合は、検出された前記対象領域の面積に応じて、前記第１の画像信号と前記第２の画像信号のいずれかの前記対象領域の検出結果を選択するように制御する制御部と、を有することを特徴とする。

上記課題を解決し、目的を達成するために、本発明の撮像装置の制御方法は、撮像素子からの出力信号を第１の画像信号に変換する画像変換工程と、前記第１の画像信号を基にして、前記第１の画像信号とは輝度レベルが異なる第２の画像信号を生成する画像信号生成工程と、前記第１の画像信号と前記第２の画像信号に対して被写体の特定の対象領域の検出処理を行う対象領域検出工程と、前記第１の画像信号及び前記第２の画像信号の両方から前記対象領域が検出された場合は、検出された前記対象領域の面積に応じて、前記第１の画像信号と前記第２の画像信号のいずれかの前記対象領域の検出結果を選択するように制御する制御工程と、を有することを特徴とする。

上記課題を解決し、目的を達成するために、本発明の画像処理装置の制御方法は、前記第１の画像信号を基にして、前記第１の画像信号とは輝度レベルが異なる第２の画像信号を生成する画像信号生成工程と、前記第１の画像信号と前記第２の画像信号に対して被写体の特定の対象領域の検出処理を行う対象領域検出工程と、前記第１の画像信号及び前記第２の画像信号の両方から前記対象領域が検出された場合は、検出された前記対象領域の面積に応じて、前記第１の画像信号と前記第２の画像信号のいずれかの前記対象領域の検出結果を選択するように制御する制御工程と、を有することを特徴とする。

本発明によれば、顔検出の対象となる画像信号に対して画像処理を施して複数の異なる画像信号を得て、得られた画像信号に対して顔検出を行うことで、顔検出の精度を高めることが可能になる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
本実施形態における撮像装置の構成を図１に示す。

同図において、１は光電変換機能を有する固体撮像素子であるＣＣＤである。２はＣＤＤ１の出力に対するアナログゲインをコントロールするＡＧＣ（オート ゲイン コントロール）回路である。１４はＡＧＣ回路の出力信号をデジタル信号の画像信号に変換するＡ／Ｄコンバータである。２３はＣＣＤ１に被写体像を結像させるための光学素子である。なお、固体撮像素子はＣＣＤに限られるものではなく、ＣＭＯＳ等の光電変換機能を有する固体撮像素子であっても構わない。

３はＡ／Ｄコンバータ１４の出力を記録するバッファメモリ、４はバッファメモリ３に記録された画像信号に所定のデジタルゲインをかけて（輝度レベル補正、ガンマ調整処理を行う処理を行って）、バッファメモリ３に記録されている画像信号とは異なる画像信号を生成する画像信号生成回路である。

５はバッファメモリ３に記録された信号よりＵＶ信号（色差信号）を得るための色変換回路、６は色変換回路５の出力信号の帯域を制限するローパスフィルタである。

７はローパスフィルタ６でフィルタリングした信号に対して、色飽和領域の色差ゲインを抑圧するクロマ抑圧回路である。

１２はバッファメモリ３に記録された信号よりＹ信号（輝度信号）を得るための輝度信号作成回路、１３は輝度信号作成回路１２の出力からエッジを検出するエッジ検出回路である。

８はクロマ抑圧回路７の出力信号であるＵＶ信号と、エッジ検出回路１３の出力信号であるＹ信号をＲＧＢ信号に変換するＲＧＢ変換回路である。９はＲＧＢ変換回路８の出力信号に対してγ補正を行うγ補正回路である。

１０はγ補正回路９の出力信号をＹＵＶ信号に変換する色輝度変換回路、１１は色輝度変換回路１０の出力信号をＪＰＥＧ圧縮方式で圧縮された画像信号等の汎用の画像信号に変換する画像変換回路である。

１５は画像信号の周波数特性から各テクスチャーを検出するバンドパスフィルタ、１６はバンドパスフィルタ１５によって検出されたテクスチャー群から被写体の所定の形状を検出する特徴部位検出回路である。本実施形態では特徴部位検出回路１６は目、鼻、口、耳等の顔の特徴的な部位の候補群を検出する。１７は検出された目領域の候補群とそれに対応する顔を形成するその他の主要部位を対応付けるパターン認識回路である。

本実施形態ではバンドパスフィルタ１５、特徴部位検出回路１６、および、パターン認識回路１７にて顔検出ブロックを構成し、人物の顔を検出するための処理を行っているが、検出の対象は必ずしも人間の顔である必要はない。形状にて特定できる対象であれば、顔に代えて、動物や植物、乗り物や建造物を検出することも可能である。

１８はパターン認識回路１７の出力からカメラ制御に必要なパラメータを算出するＣＰＵである。

なお、パターン認識回路１７は、目の大きさや、目の間の距離、肌の色等を基準に顔ではないとみなされる要素をもつものを排除するフィルタである非顔条件フィルタを用いても良い。

１９はＣＰＵ１８の出力を基にＡＥ制御を行うためのＡＥ制御回路であり、画像信号の出力に応じてＴｖ、Ａｖ、Ｓｖを決定し、不図示の絞り装置、ＣＣＤ１の駆動装置、およびＡＧＣ回路２を制御する。２０はＣＰＵ１８の出力を基にＡＦ制御を行うためのＡＦ制御回路であり、光学素子２３に含まれるフォーカスレンズの停止位置を決定する。

２４はシャッターボタンが半分程度押されることでオンするＳＷ１と、シャッターボタンが最後まで押されることでオンするＳＷ２とからなる操作部材である。

次に本実施形態における撮像装置の撮像動作について、図２に示すフローチャートを用いて説明を行う。

ステップＳ１０１で、撮影者によってシャッターボタンが半押し（ＳＷ１がオン）されると、ステップＳ１０２にてＡＥ制御回路１９は、ＳＷ１直前のＥＶＦ画像撮影時の露出条件を基に算出したＡｖ、Ｔｖ、Ｓｖを設定する。

ステップＳ１０３では、ＡＥ制御回路１９は、不図示の絞り装置、ＣＣＤ１の駆動装置、およびＡＧＣ回路２を、設定されたＡｖ、Ｔｖ、Ｓｖに応じて制御して第１の画像の撮影を行わせ、第１の画像信号をバッファメモリ４に一時記録させる。

ステップＳ１０４では、画像信号生成回路４は後述するデジタルゲインの設定を行う。

ステップＳ１０５では、画像信号生成回路４は、ステップＳ１０３にて得られた第１の画像信号に対して、ステップＳ１０４にて設定されたデジタルゲインをかけ、第１の画像信号とは輝度レベルの異なる第２の画像信号と第３の画像信号を得る。

ステップＳ１０６では、バンドパスフィルタ１５、特徴的部位検出回路１６、パターン認識回路１７からなる顔検出ブロックが、第１〜第３の各画像信号に対して顔領域の検出を行う。

ここで、顔領域の検出方法の一例としては、特徴点抽出により目、鼻、口、耳等の特徴部位の候補群を検出してから、その結果を基に、パターンマッチング及び非顔条件フィルタにて顔領域を抽出する、といった従来例と同様の手法が挙げられる。顔領域の検出方法は、上記の手法に限られておらず、特開平１１−２８３０３６号公報や特開２００３−２７１９５８号公報に開示されているような手法も適用できる。

ステップＳ１０６にて顔領域が検出できれば、ステップＳ１０７で、ＣＰＵ１８は検出された顔領域に対してＡＥ、ＡＦ処理の対象となる測光枠及び焦点検出枠を設定する。

ここで、第１〜３の画像信号において、いずれか一つの画像信号からしか顔領域が検出されなかった場合は、その一つの画像信号から得られた顔領域の検出結果に基づき測光枠及び焦点検出枠を設定する。

また、第１〜第３の画像信号において、複数の画像信号から顔領域が検出された場合は、ＣＰＵ１８は複数の画像信号における顔領域のうち、面積が最も大きく検出された画像信号における顔領域に対して測光枠及び焦点検出枠を設定する。

また、顔領域の検出結果の信頼度が最も高い領域を測光枠及び焦点検出枠として設定してもよい。

ステップＳ１０８では、ＡＦ制御回路２０は、ステップＳ１０７にて設定された焦点検出枠の画像信号が合焦するよう光学素子２３を駆動してＡＦ動作を行う。

ステップＳ１０９では、ステップＳ１０８にて光学素子２３の位置が定まってから本撮影用の詳細な露出値を求めるために、第４の画像を撮影する。

ステップＳ１１０では、ＡＥ制御回路１９はステップＳ１０９で撮影された第４の画像信号の測光枠内の輝度値の重み付けを大きくした演算をすることにより、本撮影のためのＡｖ、Ｔｖ、Ｓｖを決定する。

また、ステップＳ１０６にて顔領域が検出できなかった場合、もしくは検出した顔領域の顔信頼度値が予め設定した閾値より低い場合は、ステップＳ１１５に進む。ステップＳ１１５では、ＣＰＵ１８は顔領域の検出に失敗した旨を表示し、ＡＥ制御回路１９は第２の画像信号に対して通常の評価測光を行う。ここで通常の評価測光とは、顔領域を考慮しない測光動作のことである。その一例として、中央領域の重み付けを大きくして画面全体の輝度値を求める方法や、至近の被写体にかかる領域の重み付けを大きくして画面全体の輝度値を求める方法などがあげられる。なお、測光方式は評価測光だけに限られるものではない。

ステップＳ１１６では、ＡＥ制御回路１９は、ステップＳ１１５の評価測光で得られた値を基に、本撮影のためのＡｖ、Ｔｖ、Ｓｖを決定してステップＳ１１１に進む。

ステップＳ１１１において、撮影者によってシャッターボタンが全押し（ＳＷ２がオン）されると、ＡＥ制御回路１９は、ステップＳ１１６で設定されたＡｖ、Ｔｖ、Ｓｖに応じて絞り装置、ＣＣＤ１の駆動回路、およびＡＧＣ回路２を制御して本撮影を行う。

ステップＳ１１３にて得られた信号はＡ／Ｄコンバータ１４にて画像信号に変換されてから色変換回路５等の信号処理回路に送られ、最終的に画像フォーマット変換回路１１によってＪＰＥＧ圧縮方式で圧縮された画像信号等の汎用の画像信号に変換される。

ステップＳ１１４では、ＣＰＵ１８は、ステップ１１３で得られた圧縮済みの画像信号を記録媒体に記録させる。

ここで、ステップＳ１０３とＳ１０５での処理について詳しく説明する。図３は、ＣＣＤ１の光入力に対する信号出力特性の様子を示す。

本実施形態における撮像装置では、顔検出を行う前の下処理として、対象画像信号をバンドパスフィルタに通すことにより目、鼻、口、耳等の特徴部位の候補群を検出する。

しかしながら、顔領域が極端に暗かったり、明るかったりする場合は、バンドパスフィルタによる特徴部位の検出率が大幅に下がり、顔領域自体の検出精度も下がることになる。

そこで、ステップＳ１０３で、第１の画像信号を得るときに、ＡＥ制御回路１９は例えば適正輝度レベル（目標輝度レベル）よりも１段低めの輝度レベル（−１Ｅｖ）となるように制御を行って第１の画像信号を撮影させる。

ステップＳ１０５で、画像信号生成回路４は、第１の画像信号に２倍のデジタルゲインをかけて適正な輝度レベル（±０Ｅｖ）となる第２の画像信号を生成する。これとともに、画像信号生成回路４は、第１の画像信号に４倍のデジタルゲインをかけて１段オーバーな輝度レベル（＋１Ｅｖ）となる第３の画像信号を生成する。

上記のように、異なるデジタルゲインをかけて同一フレームから輝度レベルの異なる画像信号を複数枚得ることで、輝度レベルの異なる複数の画像信号に対して顔領域検出を行うことが可能になる。

以上のように本実施形態では１枚の画像信号に対して２つの輝度レベルの異なる画像信号を複製しているので、顔領域の検出に適した輝度レベルの画像を得られる確率が高くなる。よって、逆光等の撮影シーンの影響による顔検出の精度の低下を軽減する効果を有している。

なお、本実施例では輝度レベルを−１Ｅｖ、±０Ｅｖ、＋１Ｅｖと３段階変化させた画像信号を生成したが、−２Ｅｖ、±０Ｅｖ、＋２Ｅｖの様に輝度レベルを変化させた画像信号を生成してもよいし、５段階、７段階変化させた画像信号を生成しても構わない。

また、本実施形態において、最初に撮影する画像の輝度レベルを前回撮影時より１段階下げて撮影しているのは、デジタルカメラの特性として、輝度レベルのアンダーな画像信号に比べ、輝度レベルのオーバーな画像信号からは形状認識が難しくなるといった傾向があるためである。

また、第１の画像信号を適正な輝度レベルとし、この第１の画像信号を基準にアンダーな輝度レベルの画像信号とオーバーな輝度レベルの画像信号を生成してもかまわない。

また、顔領域の検出結果をＡＥ処理、ＡＦ処理の両方に反映させたが、いずれか一方にのみ反映させても構わない。

（第２の実施形態）
本実施形態の動作を図４のフローチャート図を用いて説明する。第１の実施形態と同じ処理を行うステップには、図２と同じ番号が割り当てられる。

第１の実施形態が一度に複数の輝度レベルの異なる画像信号を生成して、その画像信号全てに対して顔領域検出を行うのに対して、本実施形態では、いずれかの画像信号から顔領域が検出された時点で処理を終える点が異なる。

図４のフローチャートにおいては、図２におけるステップＳ１０３までの処理と、ステップＳ１０７以降の処理は同じであるが、その間の処理が図２における処理と異なっておりこの処理についての説明を行う。

ステップＳ１２１では、第１の画像信号に対して図２のステップＳ１０６と同様の方法にて顔領域の検出を行う。

ステップＳ１２１にて、顔領域が検出できた場合は、ステップＳ１０７へ進む。

ステップＳ１２１にて、顔領域の検出ができなかった場合、もしくは顔信頼度値が予め設定している閾値より低い場合は、ステップＳ１２２へ進む。

ステップＳ１２２にて、画像信号生成回路４はデジタルゲインの設定を行う。

ステップＳ１２３にて、画像信号生成回路４は第１の画像信号に対してデジタルゲインをかけて、第１の画像信号よりも輝度レベルが１段高い第２の画像信号を得る。

ステップＳ１２４では、第２の画像信号に対して図２のステップＳ１０６と同様の方法にて顔領域の検出を行い、顔領域の検出ができた場合は、ステップＳ１０７へ進む。

ステップＳ１２４にて、顔領域が検出できなかった場合、もしくは顔信頼度値が予め設定している閾値より低い場合は、ステップＳ１２５へ進む。

ステップＳ１２５にて、画像信号生成回路４はデジタルゲインの設定を行う。

ステップＳ１２６にて、画像信号生成回路４は第１の画像信号に対して図２のステップＳ１０６と同様の方法にてデジタルゲインをかけて、第１の画像信号よりも輝度レベルが２段高い第３の画像信号を得る。

ステップＳ１２７にて、第３の画像信号に対して顔領域の検出を行い、顔領域の検出ができた場合は、ステップＳ１０７へ進む。

ステップＳ１２７にて、顔領域が検出できなかった場合、もしくは顔信頼度値が予め設定している閾値より低い場合は、ステップＳ１２８へ進む。

ステップＳ１２８にて、ＣＰＵ１８は顔領域の検出に失敗した旨を表示し、ＡＥ制御回路１９は第２の画像信号に対して図２のステップＳ１１５と同様に通常の評価測光を行い、ステップＳ１２９に進む。ステップＳ１２９にて、本撮影のためのＡｖ、Ｔｖ、Ｓｖを決定してステップＳ１１１へ進む。

以上のように、本実施形態では１枚目の画像信号から顔領域が検出できた場合は、第１の実施形態に比べ３分の１程度の処理時間で顔領域の検出が可能となる。

同様に、２枚目の画像信号から顔領域が検出できた場合も、３枚の画像信号に対してそれぞれ顔領域の検出を行うよりも短い処理時間にて顔領域の検出が可能となる。

（第３の実施形態）
本実施形態の動作を図６のフローチャートを用いて説明する。

第２の実施形態と同じ処理を行うステップには図２と同じ番号が割り当てられる。

本実施形態における撮像装置の構成を図５に示す。撮像装置の構成に関しては、画像生成回路４の代わりに画素補間回路２１を有している点が図１に示す撮像装置と異なる。

２１は検出された顔領域を拡大するための画素補間回路である。

本実施形態が第１、２の実施形態と異なる点は、予め設定している露出で撮影された画像信号を用いて、画素補間回路２１にて拡大させた画像信号から、顔領域を検出することで顔検出精度を上げる点である。

本実施形態では、図２におけるステップＳ１０３までの処理と、ステップＳ１０７以降の処理は同じであるが、その間の処理が図２と異なっておりこの処理についての説明を行う。

ステップＳ１０３にて第１の画像信号が得られたら、ステップＳ１３１にて、第１の画像信号に対して図２のステップＳ１０６と同様の方法にて顔領域の検出を行う。

ステップＳ１３１にて、顔領域が検出できた場合は、ステップＳ１０７へ進む。

ステップＳ１３１にて、顔領域が検出できなかった場合、もしくは顔信頼度値が予め設定している閾値より低い場合は、ステップＳ１３２に進む。

ステップＳ１３２にて、画像補間回路２１が画像信号を拡大処理する。

ステップＳ１３３では、ステップＳ１３２にて拡大された画像信号に対して、図２のステップＳ１０６と同様の方法にて顔領域の検出を行う。

ステップＳ１３３にて、顔領域が検出できた場合は、ステップＳ１０７へ進む。

ステップＳ１３３にて、顔領域が検出できなかった場合、もしくは顔信頼度値が予め設定している閾値より低い場合は、ステップＳ１３４へ進む。

ステップＳ１３４では、ＣＰＵ１８は顔領域の検出に失敗した旨を表示し、ＡＥ制御回路１９は、補間前の画像信号に対して図２のステップＳ１１５と同様に通常の評価測光を行い、ステップＳ１３５に進む。ステップＳ１３５にて、本撮影のためのＡｖ、Ｔｖ、Ｓｖを決定してステップＳ１１１に進む。

ここで、ステップＳ１３２で行われる画像補間回路２１による画像信号の拡大処理について説明する。

本実施形態において顔検出自体は、撮像装置に設けられたＥＶＦに表示するために、もとの画像信号を間引いて生成した画像信号（例えば、３２０Ｐｉｘｅｌ×２４０Ｐｉｘｅｌ程度）に対して行う。

しかし、顔領域検出用の検出枠のサイズが小さい（例えば、１０Ｐｉｘｅｌ×１０Ｐｉｘｅｌ程度）と、検出対象が指数関数的に増えてしまい、処理時間が膨大になってしまう。

また、検出枠を大きくし過ぎる（例えば、１２０Ｐｉｘｅｌ×１２０Ｐｉｘｅｌ程度）と、検出枠より小さな顔領域を検出し損ねてしまう。

そこで、本実施形態では、検出枠のサイズをＥＶＦ表示用の画像信号のサイズに対して比較的大きく（８０Ｐｉｘｅｌ×８０Ｐｉｘｅｌ程度）設定し、カメラがデータとして保持している、間引く前の解像度の大きな画像信号の中から直接検出を行う。

この際、処理を高速化するために、検出対象となる画像信号を分割して、測光結果に基づき分割エリア毎の優先度を決め、優先度の高い順に顔検出を行う。このようにすることで、顔領域の検出時間の短縮を図ることができる。

以上のように本実施形態では、顔領域が小さく検出できないような場合でも、検出対象となる画像信号の拡大処理を行うことで、顔領域の検出率を高める効果がある。なお、画像信号の拡大倍率によって、顔検出の対象となる画像の数を増やしてもよい。

また、顔検出ブロックによる第１の画像信号に対する顔検出の処理が行われる前に、画像補間回路２１が拡大処理した画像信号を生成し、両方の画像信号に対して行われた顔検出結果を比較してもよい。第１の実施形態と同様に、複数の画像信号から顔領域が検出された場合は、ＣＰＵ１８は、複数の画像信号における顔領域のうち、顔領域の検出結果の信頼度が最も高い画像信号における顔領域に対して測光枠及び焦点検出枠を設定する。

（第４の実施形態）
本実施形態の動作を図８のフローチャートを用いて説明する。

第２の実施形態と同じ処理を行うステップには図２と同じ番号が割り当てられる。

本実施形態における撮像装置の構成を図７に示す。

撮像装置の構成に関して、画像生成回路４の代わりに画像回転回路２２を有している点で図１に示す撮像装置と異なる。

２２は検出された顔領域を回転するための画像回転回路である。

本実施形態が第２の実施形態と異なる点は、予め設定している露出で撮影された画像信号を用いて、画像回転回路２２にて回転させた画像信号から、顔領域を検出することで顔検出精度を上げる点である。

本実施形態では、図２におけるステップＳ１０３までの処理と、ステップＳ１０７以降の処理は同じであるが、その間の処理が図２と異なっておりこの処理についての説明を行う。

ステップＳ１０３にて第１の画像信号が得られたら、ステップＳ１４１にて第１の画像信号に対して図２のステップＳ１０６と同様の方法にて顔領域の検出を行う。

ステップＳ１４１にて、顔領域が検出できた場合は、ステップＳ１０７へ進む。

ステップＳ１４１にて、顔領域が検出できなかった場合、もしくは顔信頼度値が予め設定している閾値より低い場合は、ステップＳ１４２へ進む。

ステップＳ１４２にて、画像回転回路２２は画像信号に対して、＋４５度、−４５度回転させた画像信号を生成し、それぞれを第２、第３の画像信号とする。

ステップＳ１４３では、ステップＳ１４２にて回転された第２、第３の画像信号に対して顔領域の検出を行う。

ステップＳ１４３にて、顔領域が検出できた場合は、ステップＳ１０７へ進む。

ステップＳ１４３にて、顔領域が検出できなかった場合、もしくは顔信頼度値が予め設定している閾値より低い場合は、ステップＳ１４４へ進む。

ステップＳ１４４では、ＣＰＵ１８は顔領域の検出に失敗した旨を表示し、ＡＥ制御回路１９は、回転前の画像信号に対して図２のステップＳ１１５と同様に通常の評価測光を行い、ステップＳ１４５に進む。ステップＳ１４５にて、本撮影のためのＡｖ、Ｔｖ、ゲインを決定してステップＳ１１１に進む。

ここで、ステップＳ１４２で行われる画像回転回路２２による画像信号の回転処理について説明する。

本実施形態において、目、鼻、口、耳等の顔の主要部位の検出には、垂直方向、もしくは水平方向のバンドパスフィルタを用いている。そのため、例えば、検出対象となる画像信号が４５度傾いているとすると、検出精度が落ちてしまう。そこで、対象画像信号と同じ４５度傾いたバンドパスフィルタを使用することで画像信号の傾きに影響されない領域の検出を可能にしている。

なお、本実施形態においては、３枚の画像信号を、＋４５度、０度、−４５度としているが、画像信号の枚数及び、角度は任意に変更可能である。

また、顔検出ブロックによる第１の画像信号に対する顔検出の処理が行われる前に、画像回転回路２２が回転処理した画像信号を生成し、両方の画像信号に対して行われた顔検出結果を比較してもよい。第１の実施形態と同様に、複数の画像信号から顔領域が検出された場合は、ＣＰＵ１８は、複数の画像信号における顔領域のうち、顔領域の検出結果の信頼度が最も高い画像信号における顔領域に対して測光枠及び焦点検出枠を設定する。

上記の各実施形態では被写体の顔を対象領域として検出する例をあげて説明を行ったが、被写体の体の他の部位を対象としても構わないし、人以外を対象領域としても構わない。画像信号の中から形状にて特定できる対象であれば、動物や植物、乗り物や建造物であっても構わない。

本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態における撮像装置のブロック図である。 第１の実施形態における処理のフローチャートを示す図である。 ダイナミックレンジ拡大の概念図である。 第２の実施形態における処理のフローチャートを示す図である。 第３の実施形態における撮像装置のブロック図である。 第３の実施形態における処理のフローチャートを示す図である。 第４の実施形態における撮像装置のブロック図である。 第４の実施形態における処理のフローチャートを示す図である。 従来例における処理のフローチャートを示す図である。 逆光シーンを示す図である。 バンドパスフィルタを示す図である。

符号の説明

１ ＣＣＤ
２ ＡＧＣ回路
３ バッファメモリ
４ 画像信号生成回路
５ 色変換回路
６ ローパスフィルタ
７ クロマ抑圧回路
８ ＲＧＢ変換回路
９ γ補正回路
１０ 色輝度変換回路
１１ 画像変換回路
１２ 輝度信号作成回路
１３ エッジ検出回路
１４ Ａ／Ｄコンバータ
１５ バンドパスフィルタ
１６ 特徴部位検出回路
１７ パターン認識回路
１８ ＣＰＵ
１９ ＡＥ制御回路
２０ ＡＦ制御回路
２１ 画素補間回路
２２ 画像回転回路
２３ 光学素子
２４ 操作部材（ＳＷ１、ＳＷ２）

Claims (10)

1. 撮像素子からの出力信号を第１の画像信号に変換する画像変換部と、
   前記第１の画像信号を基にして、前記第１の画像信号とは輝度レベルが異なる第２の画像信号を生成する画像信号生成部と、
   前記第１の画像信号と前記第２の画像信号に対して被写体の特定の対象領域の検出処理を行う対象領域検出部と、
   前記第１の画像信号及び前記第２の画像信号の両方から前記対象領域が検出された場合は、検出された前記対象領域の面積に応じて、前記第１の画像信号と前記第２の画像信号のいずれかの前記対象領域の検出結果を選択するように制御する制御部と、を有することを特徴とする撮像装置。
2. 前記画像信号生成部は、前記対象領域検出部が前記第１の画像信号から前記対象領域の検出に失敗した場合に、前記第２の画像信号を生成し、前記対象領域検出部は、該第２の画像信号に対して被写体の特定の対象領域の検出処理を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記対象領域検出部は、被写体の顔領域を検出することを特徴とする請求項１に記載の撮像装置。
4. 前記制御部は、選択した前記対象領域の検出結果に応じて、少なくとも自動露出制御と自動合焦制御の何れかを行うことを特徴とする請求項１に記載の撮像装置。
5. 前記第１の画像信号の輝度レベルは、前記撮像装置が適正輝度レベルとして設定している値よりも低いことを特徴とする請求項１に記載の撮像装置。
6. 前記第１の画像信号を基にして、前記第１の画像信号とは輝度レベルが異なる第２の画像信号を生成する画像信号生成部と、
   前記第１の画像信号と前記第２の画像信号に対して被写体の特定の対象領域の検出処理を行う対象領域検出部と、
   前記第１の画像信号及び前記第２の画像信号の両方から前記対象領域が検出された場合は、検出された前記対象領域の面積に応じて、前記第１の画像信号と前記第２の画像信号のいずれかの前記対象領域の検出結果を選択するように制御する制御部と、を有することを特徴とする画像処理装置。
7. 撮像素子からの出力信号を第１の画像信号に変換する画像変換工程と、
   前記第１の画像信号を基にして、前記第１の画像信号とは輝度レベルが異なる第２の画像信号を生成する画像信号生成工程と、
   前記第１の画像信号と前記第２の画像信号に対して被写体の特定の対象領域の検出処理を行う対象領域検出工程と、
   前記第１の画像信号及び前記第２の画像信号の両方から前記対象領域が検出された場合は、検出された前記対象領域の面積に応じて、前記第１の画像信号と前記第２の画像信号のいずれかの前記対象領域の検出結果を選択するように制御する制御工程と、を有することを特徴とする撮像装置の制御方法。
8. 前記第１の画像信号を基にして、前記第１の画像信号とは輝度レベルが異なる第２の画像信号を生成する画像信号生成工程と、
   前記第１の画像信号と前記第２の画像信号に対して被写体の特定の対象領域の検出処理を行う対象領域検出工程と、
   前記第１の画像信号及び前記第２の画像信号の両方から前記対象領域が検出された場合は、検出された前記対象領域の面積に応じて、前記第１の画像信号と前記第２の画像信号のいずれかの前記対象領域の検出結果を選択するように制御する制御工程と、を有することを特徴とする画像処理装置の制御方法。
9. 請求項７に記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。
10. 請求項８に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラム。

Images