JP5113213B2 - 撮像方法および装置 - Google Patents

Description

本発明は、撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像方法および装置に関するものである。

従来より、撮像された画像中から人の顔を表す画像を検出し、その被写体となった顔に対して自動的にピントを合わせたり、あるいは上記検出された画像中の顔を表す領域が拡大されるように自動的にズーム倍率を変更させるデジタルカメラが知られている（特許文献１参照）。

このような、デジタルカメラには、シャッタボタンを半押し状態にしたときに撮像された撮像条件設定用の画像中から顔を表す画像を検出し、その被写体となった顔に対して自動的にピントを合わせる方式が知られている。

上記シャッタボタンの操作等を行なうことなく撮像されたモニタ用の画像中から顔を表す画像を検出する顔検出を常時行い、顔が検出されたときにその顔に対して自動的にピントを合わせるコンティニュアス顔検出方式のデジタルカメラも知られている。この方式によれば、シャッタボタンの押し状態にかかわらず、常に顔検出を行って検出された被写体となった顔にピントを合わせるようにデジタルカメラを動作させることができる。したがって、表示モニタ上には、常に被写体となった顔にピントを合わせた状態で撮像された画像を表示させることができ、記録に残すための撮像（以後、本撮像ともいう）を待たされることなく行なうことができる。

また、上記顔にピントを合わせる機構としては、コントラスト検出方式のＡＦ（オートフォーカス）機構が知られている。このコントラスト検出方式のＡＦ機構は、フォーカス用レンズ群を動作範囲内で移動させながら撮像して得られた複数の画像のうちでコントラストが最大、すなわち合焦評価値が最大となる画像が得られたときのフォーカス用レンズ群の位置にこのフォーカス用レンズ群を位置させるものである（特許文献１参照）。

特開２００４−３２０２８６号公報

ところで、上記顔検出で実行される画像処理の処理量は大きく、その処理に比例して電力消費量も大きくなる。そして、上記顔検出を多用するとデジタルカメラ駆動用の電池の消耗を早めることになるため、顔検出での消費電力を低減したいという要請がある。

上記顔検出によって検出した顔は、本撮像してメモリ等に記録されるが、記録に残した画像の中には、例えば、手ブレ等のために、顔にブレが生じた不要な画像が含まれることがある。このように顔検出の機能を使用しても不要な画像が撮像されるような場合、すなわち顔検出の機能が有効利用されない場合には顔検出の実行を控えたいという要請もある。

本発明は、上記事情に鑑みてなされたものであり、不要な顔検出の実行を抑制し顔検出に伴う消費電力を低減することができる撮像方法および装置を提供することを目的とするものである。

本発明の撮像装置は、撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像装置において、顔であるか否かを判別するための判別情報を記憶させた判別情報記憶手段と、撮像レンズを通して撮像された画像中から顔を表す画像を前記判別情報に基づいて検出する検出手段と、検出手段による前記検出の結果を有効利用するための前提条件を記憶させた前提条件記憶手段と、撮像装置による撮像状態が、前記前提条件を満たしているか否かを判定する判定手段と、この判定手段により撮像装置による撮像状態が前記前提条件を満たしていると判定された場合には検出手段による検出を実行させ、撮像装置による撮像状態が前記前提条件を満たしていないと判定された場合には検出手段による検出を実行させないように制御する制御手段とを備えたことを特徴とするものである。

前記顔は人の顔とすることができる。

前記前提条件は、前記撮像面上の中央部での受光光量に比して周辺部での受光光量が大きい逆光状態とすることができる。前記撮像面上の中央部での受光光量とは、撮像面上の受光領域の重心位置を含みこの撮像面の全面積の３０％以下の面積を有する領域での単位面積当たりの平均受光光量を意味するものであり、前記撮像面上の周辺部での受光光量は、撮像面上の領域から前記中央部を除いたこの撮像面の全面積の７０％未満の領域での単位面積当たりの平均受光光量を意味するものである。

前記前提条件は、撮像レンズの画角が固定された状態とすることができる。なお、画角が固定された状態とは、完全に画角が固定された場合に限らず、上記撮像によって得られる顔を表す画像にブレが認められない程度に画角が固定された状態を意味するものである。

前記前提条件は、撮像装置が静止状態とすることができる。なお、前記静止状態とは、撮像装置が完全に静止している場合に限らず、上記撮像によって得られる顔を表す画像にブレが認められない程度に静止している状態を意味するものである。

前記前提条件は、撮像面上での受光光量が一定とすることができる。なお、前記受光光量は、撮像面上での単位面積当たりの受光光量を意味するものであり、撮像面上での受光光量が一定とは、撮像面上の一部の領域あるいは全部の領域で受光される受光光量の変動が±５％以下であることを意味するものである。

上記受光光量を取得する領域は、例えば、撮像面全体、撮像面中の一部をなす注目領域、あるいは撮像面を分割してなる複数の領域とすることができる。

前記撮像装置を、撮像レンズのピント位置を常に被写体の位置に合わせるコンティニュアスＡＦを実行するオートフォーカス手段を備えたものとし、前記前提条件は、前記コンティニュアスＡＦを実行しているオートフォーカス手段が撮像レンズのピント位置を一定にしている状態とすることができる。

なお、上記コンティニュアスＡＦは、シャッタボタンの操作等を行なうことなく被写体に対してピントを合わせる動作を常に実行させる方式である。

前記前提条件は、撮像された画像の色を示す値が一定であることとすることができる。なお、画像の色を示す値が一定とは、完全に一定の場合に限らず、上記撮像に支障が認められない程度に一定であればよい。また、例えば、画像の色を示す値は撮像された画像の色を示すＲ信号、Ｇ信号、Ｂ信号の積算値とすることができる。また、画像の色を示す値はホワイトバランスの値とすることもできる。さらに、画像の色を示す値を取得する領域は、撮像された画像全体、撮像された画像中の一部をなす注目領域、あるいは撮像された画像を分割してなる複数の領域とすることができる。

前記撮像装置は被写体の移動を検出し検出結果を出力する被写体移動検出手段を備えたものとすることができ、前記前提条件は、被写体移動検出手段からの出力が被写体の位置が一定であることを示す状態とすることができる。

前記前提条件は、前記撮像装置の撮像モードを、顔検出モード、人物撮像モード、セルフタイマー撮像モード、または自分撮像モードに設定した状態とすることができる。なお、人物撮像モードは、人物を被写体として撮像することを前提とした撮像モードである。

前記前提条件は、前記オートフォーカス手段を駆動するための電池に蓄積されたエネルギの残量が予め定められた閾値以下とすることができる。前記閾値は、電池に蓄積可能なエネルギ量の１０％とすることができる。

前記前提条件は、前記撮像面上での受光光量が変動している状態とすることができる。

前記撮像装置を、撮像レンズのピント位置を常に被写体の位置に合わせるコンティニュアスＡＦを実行するオートフォーカス手段を備えたものとし、前記前提条件は、前記コンティニュアスＡＦを実行しているオートフォーカス手段が撮像レンズのピント位置を変動させている状態とすることができる。

前記前提条件は、前記撮像された画像の色を示す値が変動している状態とすることができる。

前記撮像装置を、被写体の移動を検出し検出結果を出力する被写体移動検出手段を備えたものとし、前記前提条件は、被写体移動検出手段からの出力が被写体の位置の変動を示している状態とすることができる。

前記前提条件記憶手段は、前記前提条件の候補となる互いに異なる複数の前提条件を記憶させたものとすることができ、前記撮像装置は、前記複数の前提条件のうちから前記判定に用いる前提条件を選択する選択手段を備えたものとすることができる。また、前記判定に用いる前提条件は、１つに限らず、２つ以上の前提条件を組み合わせたものとしてもよい。

前記前提条件記憶手段に記憶させる前提条件は、上記「撮像面上の中央部での受光光量に比して周辺部での受光光量が大きい逆光状態」、「撮像レンズの画角が固定された状態」、「撮像装置が静止状態」、「撮像面上での受光光量が一定」等とすることができる。

本発明の撮像方法は、撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像方法において、撮像を行うときの撮像状態が、撮像レンズを通して撮像された画像中から顔を表す画像を検出するこの検出の結果を有効利用するための前提条件を満たしているか否かを判定し、その判定により撮像を行うときの撮像状態が前記前提条件を満たしていると判定された場合には前記検出を実行させ、撮像を行うときの撮像状態が前記前提条件を満たしていないと判定された場合には前記検出を実行させないようにすることを特徴とするものである。

本発明の撮像方法および装置は、撮像状態が、撮像レンズを通して撮像された画像中から顔を表す画像を検出する際の前提条件、すなわち、顔検出がその後の処理において有効に利用されるための前提条件を満たしているか否かを判定し、撮像状態が前提条件を満たしていると判定された場合には顔の検出を実行し、撮像状態が前提条件を満たしていないと判定された場合には顔の検出を実行しないようにしたので、顔検出がその後の処理において有効に利用される可能性が少ないときには顔の検出を行なわないようにすることができ、不要な顔検出の実行を抑制し顔検出に伴う消費電力を低減することができる。

また、前提条件を、撮像面上の中央部での平均受光光量に比して周辺部での受光光量が大きい逆光状態とすれば、顔検出を行なうことなく撮像しても良好に顔を撮像可能な状態、いわゆる順光状態での不要な顔検出を実行させないようにすることができるので、不要な顔検出の実施をより確実に抑制することができ、顔検出に伴う消費電力をより確実に低減することができる。

また、前提条件を、撮像レンズの画角が固定された状態とすれば、撮像レンズが焦点距離を可変させる機能（ズーム倍率を変更させる機能）を有するものである場合には、撮像レンズのズーム倍率変更中であって所望の画像が得られないことが予想される状態での、無駄な顔検出を実行させないようにすることができるので、不要な顔検出の実施をより確実に抑制することができ、顔検出に伴う消費電力をより確実に低減することができる。

また、前提条件を、撮像装置が静止状態とすれば、例えば、手ぶれ等により所望の画像が得られないことが予想される場合の、無駄な顔検出を実行させないようにすることができるので、不要な顔検出の実施をより確実に抑制することができ、顔検出に伴う消費電力をより確実に低減することができる。

また、前提条件を、撮像面上での受光光量が一定とすれば、例えば、撮像レンズを通して撮像面上に結像された像が変動していて所望の画像が得られないことが予想される状態での、無駄な顔検出を実行させないようにすることができるので、不要な顔検出の実施をより確実に抑制することができ、顔検出に伴う消費電力をより確実に低減することができる。

また、撮像装置を、被写体の移動を検出し検出結果を出力する被写体移動検出手段を備えたものとし、前提条件を、被写体移動検出手段からの出力が被写体の位置が一定であることを示す状態とすれば、被写体移動検出手段の情報処理量は上記顔を表す画像を検出する検出手段の情報処理量より少なくその分だけ消費電力も少ないので、撮像装置の消費電力をより少なく抑えることができる。

さらに、前記前提条件を、撮像面上での受光光量が変動している状態、オートフォーカス手段が撮像レンズのピント位置を変動させている状態、撮像された画像の色を示す値が変動している状態、あるいは被写体移動検出手段からの出力が被写体の位置の変動を示している状態とすれば、顔を撮像する条件が整った状態が継続しており顔検出を行なう必要がないときには、顔検出手段による検出を実行させないようにすることができ、不要な顔検出の実施を抑制することができるので、顔検出に伴う消費電力をより確実に低減することができる。

本発明の実施形態による撮像装置であるデジタルカメラの外観を前面側から見た図 本発明の実施形態による撮像装置であるデジタルカメラの外観を背面側から見た図 デジタルカメラの電気的な構成を示すブロック図 図３のブロック図中の顔検出処理部の構成を詳しく示すブロック図 デジタルカメラによる撮像処理の全体の流れを示すフロー図 顔検出処理の各工程を示すフロー図 合焦処理の各工程を示すフロー図 合焦評価値曲線を示す図

以下、図面を参照して本発明の実施形態を詳細に説明する。図１および図２は、本発明の実施形態による撮像方法を実施する撮像装置の１例であるデジタルスチルカメラ（以下、単にデジタルカメラという）を示すものであり、図１は上記デジタルスチルカメラを前面側から見た図、図２は上記デジタルスチルカメラを背面側から見た図である。図３は上記デジタルカメラの主に電気的な構成を示すブロック図、図４は上記ブロック図中の顔検出処理部の構成を詳しく示すブロック図、図５は上記デジタルカメラによる処理の全体の流れを示すフロー図である。

上記デジタルカメラ１は、撮像レンズ２０を備え、その撮像レンズ２０を通してＣＣＤ５８の光電変換面である撮像面５８ａ上に結像させた被写体の像を撮像するものである。上記デジタルカメラ１は、上記図４等に示すように、顔であるか否かを判別するための判別情報Ｈｊを記憶させた判別情報記憶部８１と、撮像レンズ２０を通して撮像された画像中から顔を表す画像を前記判別情報Ｈｊに基づいて検出する検出部８２と、検出部８２による検出を有効利用するための前提条件を記憶させた前提条件記憶部８４と、デジタルカメラ１による撮像状態が、上記前提条件を満たしているか否かを判定する判定部８３と、判定部８３によりデジタルカメラ１による撮像状態が上記前提条件を満たしていると判定された場合には検出部８２による検出を実行させ、デジタルカメラ１による撮像状態が上記前提条件を満たしていないと判定された場合には検出部８２による検出を実行させないように制御する制御部８６を備えている。

上記前提条件記憶部８４は、上記前提条件の候補となる互いに異なる複数の前提条件を記憶させたものであり、選択部８５が、上記候補となる複数の前提条件のうちから上記判定に用いる前提条件を選択する。

なお、上記判別情報記憶部８１、検出部８２、判定部８３、前提条件記憶部８４、選択部８５、および制御部８６等が、顔検出処理部６５を構成している。

以下、上記デジタルカメラ１について、さらに詳しく説明する。

図２に示す通りこのデジタルカメラ１のボディ本体１０の背面には、ユーザによる操作のためのインターフェースとして、動作モードスイッチ１１Ｄ、撮像モードスイッチ１１Ｓ、メニュー切替操作ボタン１２、ズームレバー１３が設けられている。また、上記インターフェースとして、表示カーソル移動ボタン、表示戻しボタン、表示切替ボタン等（図示は省略）も設けられている。

さらに、上記背面には、被写体を確認するためのファインダ１７および、撮像および再生された画像を表示させるための液晶モニタ１８等が設けられている。またボディ本体１０の上面には、シャッタボタン１９が設けられている。

また図１に示すようにボディ本体１０の前面には、撮像レンズ２０、電源スイッチを兼ねた横方向にスライドするレンズカバー２１、ファインダ窓２３、フラッシュ２４、およびセルフタイマーランプ２５が設けられている。

動作モードスイッチ１１Ｄは、撮像モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。メニュー切替操作ボタン１２は、押下したり回転させたりすることによって、撮像モードの詳細設定、フラッシュ発光モードの詳細設定、および記録画素数や感度等の設定を行うための各種メニューを液晶モニタ１８に表示させ、液晶モニタ１８に表示されたメニューに基づく選択・設定等を行なうためのボタンである。

ズームレバー１３は、上下方向に移動させることによって、撮像レンズの焦点距離を望遠側／広角側に調節するためのレバーである。

なお、上記表示カーソル移動ボタンは、各種設定時に液晶モニタ１８に表示されるメニュー画面中のカーソルを左右に移動させるためのボタン、表示戻しボタンは、各種設定操作を中止させてメニュー画面を１つ前の画面に戻すためのボタンである。また、表示切替ボタンは、液晶モニタ１８の表示のＯＮ／ＯＦＦ、各種ガイド表示、文字表示のＯＮ／ＯＦＦ等を切り替えるためのボタンである。

以上説明した各ボタンおよびレバーの操作による設定内容等は、液晶モニタ１８中の表示や、ファインダ内のランプ、スライドレバーの位置等によって確認可能となっている。また液晶モニタ１８は、撮像の際に被写体確認用の後述するスルー画を表示させることにより、電子ビューファインダとして機能する他、撮像後の静止画や動画の再生表示、各種設定メニューの表示を行う。

上記スルー画は、上記撮像モードが選択されている間、シャッタボタンを押すことなく所定時間間隔で撮像され液晶モニタ１８に表示される画像である。スルー画として撮像された画像を構成する画素数は、本画像を構成する画素数の１／１６程度である。上記本画像は、記録に残すための画像であり、シャッタボタンを全押し状態にして本撮像したときに得られる画像である。上記本画像を示す画像データは外部記録メディア７０へ記録される。なお、スルー画および後述するプレ画像として撮像され取得された画像は記録されない。

図２および図３に示される通りこのデジタルカメラ１は、撮像した画像の画像データを、例えばＥｘｉｆ形式の画像ファイルに変換して、本体に着脱可能な外部記録メディア７０へ記録する。画像ファイルには、画像データの他に付帯情報が格納される。

このデジタルカメラ１には、前述の動作モードスイッチ１１Ｄ、撮像モードスイッチ１１Ｓ、メニュー切替操作ボタン１２、ズームレバー１３、シャッタボタン１９、電源スイッチを兼ねるレンズカバー２１等のスイッチ類、および、その他の表示カーソル移動ボタン、表示戻しボタン、表示切替ボタン等のスイッチ類の操作内容をＣＰＵ（中央演算装置）７５に伝えるためのインターフェース部である操作系制御部７４が設けられている。

また、撮像レンズ２０の構成要素として、フォーカス用レンズ群２０ａおよびズーム用レンズ群２０ｂが設けられている。それらのレンズ群は各々、モータとモータドライバからなるフォーカスレンズ駆動部５１、同様のズームレンズ駆動部５２によって駆動され、光軸方向に移動可能である。フォーカスレンズ駆動部５１はＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカス用レンズ群２０ａを移動させ、そしてズームレンズ駆動部５２はズームレバー１３の操作量データに基づいてズーム用レンズ群２０ｂを移動させる。

上記デジタルカメラ１は、被写体に対して撮像レンズ２０のピント位置を合わせるオートフォーカス部を有し、このオートフォーカス部は、上記フォーカス用レンズ群２０ａ、フォーカスレンズ駆動部５１、ＡＦ処理部６２、ＣＰＵ７５等から構成されている。

なお、上記ピント位置は、撮像面上に正しく結像される像（像点）に対応する被写体（物点）の位置であり、撮像レンズのピント位置に位置する被写体の像は撮像面上にピントが合った状態で結像される。

また絞り５４は、モータとモータドライバとからなる絞り駆動部５５によって駆動される。この絞り駆動部５５は、ＡＥ（自動露出）／ＡＷＢ（オートホワイトバランス）処理部６３から出力される絞り値データに基づいて絞り径の調整を行う。

シャッター５６はメカニカルシャッタであり、モータとモータドライバとからなるシャッター駆動部５７によって駆動される。シャッター駆動部５７は、シャッタボタン１９の押下により発生する信号と、ＡＥ／ＡＷＢ処理部６３から出力されるシャッター速度データとに応じて、シャッター５６の開閉の制御を行う。

上記フォーカス用レンズ群２０ａ、ズーム用レンズ群２０ｂ、絞り５４、およびシャッター５６等からなる光学系の後方には、撮像素子であるＣＣＤ５８が備えられている。ＣＣＤ５８は、多数の受光素子が２次元的に配列されてなる撮像面５８ａを有しており、光学系を通過した被写体光がこの撮像面５８ａに結像され光電変換される。撮像面５８ａの前方には、撮像面５８ａ上の各画素に光を集光させるためのマイクロレンズアレイ（図示せず）と、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されてなるカラーフィルタレイ（図示せず）とが配置されている。ＣＣＤ５８は、ＣＣＤ制御部５９から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルのアナログ画像信号として出力する。各画素において電荷を蓄積する時間、すなわち露出時間は、ＣＣＤ制御部５９から与えられる電子シャッター駆動信号によって決定される。

ＣＣＤ５８が出力するアナログ画像信号は、アナログ信号処理部６０に入力される。このアナログ信号処理部６０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ７２はタイミング信号を発生させるものであり、このタイミング信号がシャッター駆動部５７、ＣＣＤ制御部５９、アナログ信号処理部６０に入力されて、シャッタボタン１９の操作と、シャッター５６の開閉、ＣＣＤ５８の電荷の取込み、アナログ信号処理部６０の処理の同期が取られる。フラッシュ制御部７３は、フラッシュ２４の発光動作を制御する。

画像入力コントローラ６１は、上記アナログ信号処理部６０から入力された画像データ（ＣＣＤ−ＲＡＷデータ）をフレームメモリ６８に書き込む。このフレームメモリ６８は、画像データに対して後述の各種デジタル画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)から構成されている。

表示制御部７１は、例えばフレームメモリ６８に格納された画像データをスルー画として液晶モニタ１８に表示させるためのものであり、輝度（Y）信号と色（C）信号を一緒にして1つの信号としたコンポジット信号に変換して、液晶モニタ１８に出力する。

ＡＦ処理部６２及びＡＥ／ＡＷＢ処理部６３は、プレ画像に基づいて撮像条件を決定する。このプレ画像とは、撮像条件を設定するために取得される画像であり、例えば、シャッタボタン１９が半押し状態にされることによって発生した半押し信号を検出したＣＰＵ７５がＣＣＤ５８に被写体の撮像を実行させた結果、フレームメモリ６８に格納された画像データによる画像である。なお、このプレ画像を構成する画素数はスルー画を構成する画素数と同等である。

上記ＡＦ処理部６２は、上記プレ画像あるいは上記スルー画に基づいて被写体の位置を検出し、フォーカス駆動量データを出力する。

本実施形態においては、被写体の位置の検出方式として、撮像された画像中のピントが合った被写体についてはコントラストが高くなるという特徴を利用して被写体の位置を検出するパッシブ方式が適用されている。なおこの点については、後にさらに詳しく説明する。

ＡＥ／ＡＷＢ処理部６３は、上記プレ画像に基づいて被写体の明るさを測定し、絞り値やシャッター速度等を決定し、絞り値データやシャッター速度データを出力するとともに（ＡＥ）、撮像時のホワイトバランスを自動調整する（ＡＷＢ）。

画像処理部６４は、上記本撮像で得られた本画像の画像データに対してガンマ補正，シャープネス補正，コントラスト補正などの画質補正処理を施すとともに、ＣＣＤ−ＲＡＷデータを、輝度信号であるＹデータと、青色色差信号であるＣｂデータ及び赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。

上記本画像は、シャッタボタン１９が全押し状態にされることによって実行される本撮像によってＣＣＤ５８から取り込まれる画像であり、アナログ信号処理部６０、画像入力コントローラ６１経由でフレームメモリに格納される画像データによって示される画像である。本画像の画素数の上限はＣＣＤ５８の画素数によって決定されるが、例えば、ファイン、ノーマルなどの設定により、記録画素数を変更することができる。一方、スルー画やプレ画像を構成する画素数は、本画像を構成する画素数よりも少なく、例えば、スルー画やプレ画像を構成する画素数は、本画像を構成する画素数の１／１６程度の画素数である。

圧縮／伸長処理部６７は、画像処理部６４によって補正・変換処理が行われた本画像のデータに対して、例えばＪＰＥＧなどの圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて付帯情報が格納されたタグが付加される。また、この圧縮／伸長処理部６７は、再生モードにおいて、外部記録メディア７０から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは液晶モニタ１８に出力される。

メディア制御部６９は、外部記録メディア７０にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

ＣＰＵ７５は、動作モードスイッチ１１Ｄ等の操作系やＡＦ処理部６２等の各種処理部からの信号に応じて、デジタルカメラ１の本体各部を制御する。またデータバス７６は、画像入力コントローラ６１、各種処理部６２〜６７、フレームメモリ６８、各種制御部６９、７１、およびＣＰＵ７５に接続されており、このデータバス７６を介してデジタル画像データ等のやり取り、および撮像条件を設定するための情報伝達や制御等が行われる。

以下、上記構成のデジタルカメラ１によって撮像がなされるとき、ＣＰＵ７５によって制御される処理について、図５に示すフローチャートを参照して説明する。なお、この撮像がなされるときＡＦ処理部６２やＡＥ／ＡＷＢ処理部６３等が行う基本的な処理は上に説明した通りであり、ここでは、特に各部の処理については必要の無い限り省略して、ＣＰＵ７５によって制御される処理の流れを中心に説明する。

まず、図５に示すようにステップＰ１から処理がスタートすると、ステップＰ２において動作モードが撮像モードであるか再生モードであるかが判別される。ここで、動作モードスイッチ１１Ｄで指定された動作モードが再生モードであると判別された場合、ステップＰ１２に移行し再生処理がなされる。この再生処理は、前述のように外部記録メディア７０から画像ファイルを読み出し、それが示す画像を液晶モニタ１８に出力させる処理である。この再生処理が終了するとステップＰ１１の処理に移行する。

一方、上記ステップＰ２において動作モードが撮像モードであると判別された場合、次のステップＰ３において撮像モードの種類が判別される。

ここで、撮像モードスイッチ１１Ａで指定された撮像モードが自動顔検出撮像モードである場合にはステップＰ４の顔検出処理が実行され、撮像モードが通常モードである場合には顔検出処理を実行することなく撮像を行なう通常の撮像処理に移行する。

以下、顔検出処理部の詳細を示すブロック図である図４、顔検出処理の詳細を示すフローチャートである図５等を参照して顔検出について説明する。

この顔検出処理は、撮像によって取得される画像が顔検出処理を行うに値するものである場合にのみ顔検出を実行することにより、顔検出処理の実施回数を抑制して顔検出における画像処理等伴うＣＰＵの負担、消費電力の増大を抑制しようとするものである。そして前提条件記憶部８４には、検出部８２による顔検出が有効に利用されるための複数の前提条件が記憶されている。

ステップＰ４０１から顔検出処理をスタートすると、ステップＰ４０２に移行し、前提条件記憶部８４に記憶させた上記前提条件の候補となる複数の前提条件Ｊ１，Ｊ２・・・のうちから実際に判定部８３での判定に用いる前提条件を設定する。

上記前提条件を設定する際には、選択部８５の一部を構成しているメニュー切替操作ボタン１２の操作により、前提条件記憶部８４に記憶させた上記前提条件Ｊ１，Ｊ２・・・のうちから上記判定に用いる前提条件Ｊ１を指定する。そして、選択部８５が、記憶部８４から上記前提条件Ｊ１を選択し判定部８３へ入力する。ここで選択された前提条件Ｊ１は「逆光状態」、すなわち「撮像面５８ａの中央部での受光光量に比して周辺部での受光光量が大きい逆光状態」である。ここで、上記前記撮像面上の中央部での受光光量は、撮像面上の受光領域の重心位置を含みこの撮像面の全面積の３０％以下の面積を有する領域での単位面積当たりの平均受光光量である。また、上記前記撮像面上の周辺部での受光光量は、撮像面上の領域から前記中央部を除いたこの撮像面の全面積の７０％未満の領域での単位面積当たりの平均受光光量である。

したがって前提条件Ｊ１は、ＣＣＤ５８の撮像面５８ａ上の重心位置を含みこの撮像面５８ａの全面積の３０％以下の面積を有する領域での単位面積当たりの平均受光光量に比して、撮像面５８ａ上の領域から上記中央部を除いたこの撮像面の全面積の７０％未満の領域での単位面積当たりの平均受光光量が大きい状態を意味する。

次に、ステップ４０３の処理に移行し、前提条件Ｊ１が入力された判定部８３が、デジタルカメラ１の撮像状態が前提条件Ｊ１を満たしているか否かを判定する。上記判定部は、ＣＰＵ７５を経由して、ＣＣＤ５８の撮像面５８ａ上の上記中央部における単位面積当たりの平均受光光量と、上記周辺部における単位面積当たりの平均受光光量とを得、両者を比較し上記前提条件Ｊ１を満たしているか否かを判定する。

制御部８６は、判定部８３が、デジタルカメラ１の撮像状態が前提条件Ｊ１を満たしていると判定したときには検出部８２による検出を実行させ、判定部８３が、デジタルカメラ１の撮像状態が前提条件Ｊ１を満たしていないと判定したときには検出部８２による顔の検出を実行させないように制御する。

すなわち、撮像状態が前提条件Ｊ１を満たしていると判定された場合にはステップＰ４０４から始まる顔検出処理に移行し、撮像状態が前提条件Ｊ１を満たしていないと判定された場合にはステップＰ４０８のリターン処理に移行する。

以下、撮像状態が前提条件Ｊ１を満たしている場合に実行されるステップＰ４０４から始まる顔検出処理について説明する。

上記ステップ４０４において顔の検出を行なう場合には、検出部８２は、撮像レンズ２０を通して撮像されたスルー画を入力するとともに、判別情報記憶部８１から顔であるか否かを判別するための判別情報Ｈｊを入力し、この検出部８２がスルー画中から上記判別情報Ｈｊに基づいて顔を表す画像を検出する。なお、判別情報Ｈｊは、例えば目、鼻、口、耳等の位置関係や顔の輪郭等を示すものであり、検出部８２による顔検出は、上記スルー画中から上記位置関係や輪郭を抽出する画像処理等によって実行される。上記顔検出処理には、例えば前述の特許文献１や特開２００５−２４２６４０号公報等に記載されている従来公知の手法を適用することができる。

そして、ステップ４０５の処理に移行し、顔が検出された場合には、撮像面５８ａ上の上記顔の結像領域を示す顔領域情報を記憶させるステップ４０６の処理に移行し、顔が検出されなかった場合には、既に顔領域記憶部８７に記憶されている顔領域情報を消去するステップ４０７の処理に移行する。

すなわち、顔が検出された場合には、検出部８２は、この検出部８２が検出した撮像面５８ａ上における顔の結像領域を示す顔領域情報を顔領域記憶部８７に記憶させる。一方、顔が検出されなかった場合には、検出部８２は、既に顔領域記憶部８７に記憶されている顔領域情報を消去する。

その後、いずれの場合においてもステップＰ４０８のリターン処理に移行する。

ステップＰ４０８のリターン処理により、シャッタボタン１９が全押しまたは半押しされている状態か否かを判定するステップＰ５の処理に移行する。

ステップＰ５において、シャッタボタン１９が全押しまたは半押しの状態であると判定された場合には、ピント合わせが実行されるステップＰ６の合焦処理へ移行する。一方、シャッタボタン１９が押されていない状態の場合、すなわちシャッタボタン１９の全押しまたは半押し状態が解除された状態の場合には、再度、顔検出処理を行うステップＰ４の処理に移行する。

上記ステップＰ６では、ＡＦ処理部６２にＡＦ処理の指示が出され、合焦処理がなされる。なおこの合焦処理については後に詳しく説明する。

合焦処理がなされると、次にステップＰ７の処理において、ＡＥ／ＡＷＢ処理部６３による露出決定の指示が出され、露出決定がなされる。

露出決定がなされると、次にステップＰ８において、シャッタボタン１９が全押し状態か、半押し状態か、押されていない解除状態かが判別される。

シャッタボタン１９が押されていない解除状態の場合には、再度、顔検出処理を行うステップＰ４に戻る。

また、シャッタボタン１９が半押し状態と判別された場合には、再度、ステップＰ７の露出合わせ処理が実行される。

ここで、シャッタボタン１９が全押しされたと判別された場合には、被写体の本撮像を行うステップＰ９の処理に移行する。

ステップＰ９における本撮像が実行されると、次にステップＰ１０において、本撮像で撮像された画像を液晶モニタ１８に表示し、その画像を外部記録メディア７０に記録する処理がなされる。次にステップＰ１１において、レンズカバー２１が閉められて電源がオフにされたか否かが判別される。電源オフになっていない場合には、処理はステップＰ２に戻り、次の被写体を撮像するための処理が開始される。電源オフになっている場合は、ステップＰ１３に移行し全ての処理が終了する。

上記のような本発明によれば、顔検出がその後の処理において有効に利用される可能性が少ないときには顔の検出を実行しないようにしたので、不要な顔検出の実施を抑制することができ、顔検出による消費電力を低減することもできる。

ここで、ステップＰ６でのＡＦ処理部６２による合焦処理について、このステップＰ６の処理を詳しく示す図７を参照して説明する。

ステップＰ６０１において合焦処理をスタートすると、ステップＰ６０２に移行し顔の有無が判定される。ここでは、上記説明済のステップ４０４において顔が検出されている場合には顔有りと判定され、上記ステップＰ４０４において顔が検出されなかった場合には顔無しと判定される。

上記ステップＰ６０２において顔有りと判定された場合には、被写体距離を算出して被写体に対して合焦させるステップＰ６０３〜Ｐ６０４の処理に移行する。以下、この処理について詳しく説明する。

ステップＰ６０３の処理では、ＡＦ処理部６２によって撮像レンズから上記検出した被写体である顔までの距離が算出される。この被写体距離の算出は、シャッタボタンの半押しあるいは全押しによってフレームメモリ６８に格納されたプレ画像を示す画像データを利用してなされるものであり、例えばそこに撮像されている被写体の特徴量（顔のサイズや、両目の間の距離等）がＣＣＤ５８上で何画素分に相当しているかを求め、その画素数に基づいて上記被写体距離が算出される。なおこのような被写体距離の算出については上述の特許文献１等に詳しい記載があり、本実施形態でも、そこに記載されている方法を適用することができる。

そして、ステップＰ６０４の処理において撮像レンズから被写体距離だけ離れた位置を撮像レンズ２０のピント位置とするようにフォーカス用レンズ群２０ａの位置を設定する。すなわち、フォーカスレンズ駆動部５１がＡＦ処理部６２から出力されるフォーカス駆動量データに基づいてフォーカス用レンズ群２０ａを上記位置まで移動させ、その位置で停止させる。

上記のようにして合焦処理が終了すると、処理をリターンさせるステップＰ６０７の処理を経由してステップＰ７の処理に移行する。

一方、上記ステップＰ６０２において顔無しと判定された場合には、互に異なる複数のピント位置において求めた合焦評価値に基づく合焦評価値分布を得、この合焦評価値分布中における合焦評価値の最大値に対応するピント位置にフォーカス用レンズ群２０ａを移動させるステップＰ６０５〜Ｐ６０６の処理に移行する。以下、この処理について図８を参照して詳しく説明する。

ステップＰ６０５の処理ではまず、フォーカスレンズ駆動部５１が、ＡＦ処理部６２から出力される駆動データに基づいてフォーカス用レンズ群２０ａを動作範囲内の全域で光軸方向に移動させる。本実施形態においては、この合焦動作範囲（サーチ範囲）は、一例として最至近側で６０ｃｍ、最遠方側で無限遠に有る物体にそれぞれ合焦させる範囲である。このようにフォーカス用レンズ群２０ａを移動させるときに前述のプレ撮像が複数回実行され撮像された画像データがフレームメモリ６８に格納される。このプレ撮像はフォーカス用レンズ群２０ａを１方向へ段階的に移動させつつ実施され、ＡＦ処理部６２は上記各位置毎に撮像された画像のコントラストに対応する合焦評価値を求める。そのためにＡＦ処理部６２は、上記プレ画像を示す画像データをフィルタリング処理してその高周波成分を求め、その高周波成分の絶対値を積分した値を合焦評価値とする。上記のように、撮像レンズ２０のピント位置を１方向に移動させて（フォーカス用レンズ群２０ａを１方向へ移動させて）連続的に求められた合焦評価値を、フォーカス用レンズ群２０ａの位置に応じて示した合焦評価値分布Ｈを図８に示す。

次にステップＰ６０６において、本撮像に適したピント位置の決定がなされる。ここでは、図８に示すように、ＡＦ処理部６２が、上記フォーカス用レンズ群２０ａを移動させながら求めた合焦評価値が最大となるときのフォーカス用レンズ群２０ａの位置Ｌｐを補間処理等によって求め、その位置Ｌｐを本撮像において設定するフォーカス用レンズ群２０ａの位置とする。

なお上述の補間処理等によってフォーカス用レンズ群２０ａの位置Ｌｐを決定する他、実際に求められた合焦評価値のうちの最大値に対応するフォーカス用レンズ群２０ａの位置（図８の例ならば位置Ｌo）を採用したり、そのような最大値が２つ存在した場合はそれらの中でより至近側にある位置を採用する等の手法を採用してもよい。

また、フォーカス用レンズ群２０ａを動作範囲内全域に移動させることは必ずしも必要ではなく、例えば特開２００４−４８４４６号公報に示されるような「山登り合焦動作」を採用すれば、フォーカス用レンズ群２０ａを動作範囲中の一部の範囲内に移動させれば済む。そのようにすれば、合焦動作の高速化が実現される。

上記のようにして合焦処理が終了すると、処理をリターンさせるステップＰ６０７の処理を経由して、上記説明済みのステップ７の露出合わせ処理に移行する。

上記自動顔検出撮像モードにおいては、上記ステップ５においてシャッターを半押し、あるいは全押しにしたときに、合焦処理および露出合せ処理に移行する場合について説明したが、このような場合に限らない。例えば、上記ステップ５を省いて、シャッターを半押しにすることなく顔検出処理が完了した後に自動的に取得したプレ画像に基づいてＡＦ処理部６２がピント位置を検出する自動顔検出ＡＦ撮像モードを採用することもできる。

なお、上記前提条件記憶部８４に記憶され判定に用いられる前提条件は、上記逆光状態の他に、以下に示すような前提条件を適用することができ、さらに、２つ以上の前提条件の組み合わせを上記判定に用いる前提条件とするときには、判定に用いる全ての前提条件を満たした場合、あるいは判定に用いるいずれか１つの前提条件を満たした場合に上記判定部が前提条件を満たしていると判定することもできる。以下、顔検出の結果が有効に利用されるための上記前提条件の例について説明する。

前提条件として、「撮像レンズの画角が固定された状態」であることを採用することができる。そのような場合、判定部８３には、撮像レンズ２０を構成するズーム用レンズ群２０ｂの移動情報がＣＰＵ７５を経由して入力される。この判定部８３は、上記移動情報に基づいて、上記ズーム用レンズ群２０ｂが過去３秒以内に移動させられていないと認められる場合に上記前提条件を満足していると判定する。

また、前提条件として、「撮像装置が静止状態」であることを採用することができる。そのような場合、判定部８３には、デジタルカメラ１内に配置された加速度センサ８９で測定された加速度を示す加速度情報がＣＰＵ７５を経由して入力される。この判定部８３は、入力された上記加速度情報に基づいて、デジタルカメラ１の位置変動によって撮像される画像にブレが生じないと認められる状態が３秒以上継続中である場合に上記前提条件を満足していると判定する。

また、前提条件として、「撮像面５８ａ上での受光光量が一定」であることを採用することができる。そのような場合、判定部８３には、ＣＣＤ５８によって取得されたこのＣＣＤ５８の撮像面の全面積の３０％を占める中心領域における全受光光量を示す光量情報がＣＰＵ７５を経由して逐次入力される。この判定部８３は、入力された上記光量情報の示す上記受光光量の変動が５％以下であると認められる状態が３秒以上継続中である場合に上記前提条件を満足していると判定する。

また、前提条件として、「撮像レンズのピント位置を移動させながら撮像された各画像についての合焦評価値に基づく合焦評価値分布が複数の極大値を有する状態」を採用することができる。そのような場合、判定部８３には、上記ＡＦ処理部６２で取得された合焦評価値分布を示す合焦評価値情報がＣＰＵ７５を経由して入力される。この判定部８３は、入力された上記合焦評価値情報の示す合焦評価値分布が複数の極大値を有すると認められる場合に上記前提条件を満足していると判定する。

上記複数の極大値（ピーク）を有する合焦評価値分布の１例として、上述の図８に示す合焦評価値分布Ｈ、を挙げることができる。

なお、上記合焦評価値は、撮像レンズを通して撮像された画像のコントラストを示す値である。また、上記合焦評価値分布は、撮像レンズ２０のピント位置を１方向に移動させながら、すなわちフォーカス用レンズ群２０ａを１方向に移動させながら撮像して得られた各画像について求めた合焦評価値を、上記各ピント位置に対応させて示したときの分布である。

また、上記オートフォーカス部に撮像レンズ２０のピント位置を常に被写体の位置に合わせるコンティニュアスＡＦを実行させているときには、前提条件として、「オートフォーカス部が撮像レンズのピント位置を一定にしている状態」を採用することができる。

すなわち、上記オートフォーカス部によりコンティニュアスＡＦを実行させておき、このオートフォーカス部が撮像レンズ２０のピント位置を一定にしている状態であることを上記前提条件とすることができる。

具体的には、オートフォーカス部のＡＦ処理部６２から出力される、フォーカス用レンズ群２０ａを光軸上に移動させるためのフォーカス駆動量データ値の積分値が一定である時間が３秒以継続したときに、判定部８３が、前提条件を満たしていると判定する。

上記コンティニュアスＡＦは、シャッタボタンの操作等を行なうことなく撮像された被写体のスルー画に基づいて、上記被写体に対して常にピントを合わせるものである。

また、撮像装置を、被写体の移動を検出しその検出結果を出力する被写体移動検出部６６（図３参照）を備えたものとした場合には、適正撮像条件として、「被写体移動検出部からの出力が被写体の位置が一定であることを示す状態であること」を採用することができる。なお、被写体移動検出部６６には、例えば防犯用に使用される赤外線センサー等を採用することができる。

また、前提条件として、「撮像された画像の色を示す値が一定であること」、「撮像装置の撮像モードを、顔検出モード、人物撮像モード、セルフタイマー撮像モード、または自分撮像モードに設定した状態であること」、「オートフォーカス手段を駆動するための電池に蓄積されているエネルギの残量が予め定められた閾値以下であること」等を採用することができる。

なお、上記顔検出モード、人物撮像モード、セルフタイマー撮像モード、自分撮像モードは排他的な関係にあってもよいし、そうでなくてもよい。例えば、顔検出モードと人物撮像モードとを同時に設定し動作させることができるようにしてもよいし、同時に設定し動作させることができないようにしてもよい。

また、例えば、人物撮像モードとセルフタイマー撮像モードとを同時に設定し動作させることができるようにしてもよいし、同時に設定し動作させることができないようにしてもよい。

なお、上記顔検出モードは顔検出用の（顔を検出するための）撮影モードではなく、上記顔検出モードに設定した状態とは、例えば、顔の検出を実行可能にする動作、あるいは操作がなされた状態を意味する。

また、人物撮像モードは、人物を被写体として撮像することを可能にするモードである。

さらに、検出部８２に顔検出を実行させて顔を検出した後に顔を撮像する条件が整った状態が継続しており、検出部８２による顔検出を行なう必要がないときに、検出部８２による検出を実行させないようにすることもでき、そのような場合には、上記前提条件として、「撮像面上での受光光量が変動している状態であること」、「オートフォーカス部が撮像レンズのピント位置を変動させている状態であること」、「撮像された画像の色を示す値が変動している状態であること」、「被写体移動検出部からの出力が被写体の移動を示している状態であること」等を採用することができる。これにより、不要な顔検出の実施を抑制することができる。

以上のように、上記実施形態は本発明をデジタルスチルカメラに適用したものであるが、本発明は静止画を撮像し記録するデジタルスチルカメラに限らず、動画を撮像し記録するビデオカメラ、あるいは長時間に亘って予め定められた場所の動画あるいは静止画を撮像し記録する監視用カメラ等の撮像装置全般に適用可能である。

１ デジタルカメラ
２０ 撮像レンズ
２０ａ フォーカ用スレンズ
２０ｂ ズーム用スレンズ
５１ フォーカス用レンズ駆動部
５２ ズーム用スレンズ駆動部
５８ ＣＣＤ
５８ａ 撮像面
６５ 顔検出処理部
７５ ＣＰＵ
８１ 判別情報記憶部
８２ 検出部
８３ 判定部
８４ 前提条件記憶部
８５ 選択部
８６ 制御部
Ｈｊ 判別情報
Ｊ１，Ｊ２・・・ 前提条件

Claims (3)

1. 撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像装置において、
   顔であるか否かを判別するための判別情報を記憶させた判別情報記憶手段と、
   前記撮像レンズを通して撮像された画像中から顔を表す画像を前記判別情報に基づいて検出する検出手段と、
   前記検出手段による前記検出の結果を有効利用するための前提条件を記憶させた前提条件記憶手段と、
   前記撮像装置による撮像状態が、前記前提条件を満たしているか否かを判定する判定手段と、
   前記判定手段により前記撮像装置による撮像状態が前記前提条件を満たしていると判定された場合には前記検出手段による検出を実行させ、前記撮像装置による撮像状態が前記前提条件を満たしていないと判定された場合には前記検出手段による検出を実行させないように制御する制御手段とを備え、
   前記前提条件が、前記撮像面上の中央部での受光光量に比して周辺部での受光光量が大きい逆光状態であることを特徴とする撮像装置。
2. 前記撮像面上の中央部での受光光量は、前記撮像面上の受光領域の重心位置を含みこの撮像面の全面積の３０％以下の面積を有する領域での単位面積当たりの平均受光光量であり、前記撮像面上の周辺部での受光光量は、前記撮像面上の受光領域から前記中央部を除いたこの撮像面の全面積の７０％未満の領域での単位面積当たりの平均受光光量であることを特徴とする請求項１記載の撮像装置。
3. 撮像レンズを通して撮像面上に結像させた被写体の像を撮像する撮像方法において、
   前記撮像レンズを通して撮像された画像中から顔を表す画像を検出する該検出の結果を有効利用するための前提条件を、前記撮像面上の中央部での受光光量に比して周辺部での受光光量が大きい逆光状態とし、
   前記撮像を行うときの撮像状態が、前記前提条件を満たしているか否かを判定し、
   前記前提条件が、前記撮像面上の中央部での受光光量に比して周辺部での受光光量が大きい逆光状態であり、前記判定により前記撮像を行うときの撮像状態が前記前提条件を満たしていると判定された場合には前記検出を実行させ、前記撮像を行うときの撮像状態が前記前提条件を満たしていないと判定された場合には前記検出を実行させないようにすることを特徴とする撮像方法。

Images