JP4879127B2 - デジタルカメラ、及びデジタルカメラのフォーカスエリア選択方法 - Google Patents

Description

本発明は、スルー画表示中の画像から複数の人物の顔を検出し、その中から選択された主顔をフォーカスエリアとして撮影レンズのピントを合せるデジタルカメラと、このデジタルカメラのフォーカスエリア選択方法に関する。

撮影レンズを透過した被写体像を撮像素子で撮像し、この撮像素子から出力された画像をモニタにスルー画表示させる際に、画像から人物の顔を自動検出し、検出した顔領域に対して焦点調整、露出調整等を行う顔検出機能を備えたデジタルカメラが知られている。この顔検出は、画像中から部分画像を順次に切り出し、切り出した部分画像を目の配置等の特徴を表す特徴量と照合して、人物の顔であるか否かを判定している（例えば、特許文献１参照）。

特許文献１記載の発明では、顔検出により複数の顔が検出されたときに、撮影画角の中央から近い顔が、オートフォーカス制御を行う際のフォーカスエリアに設定されている。また、特許文献１〜３記載の発明では、専用の操作部材、またはメニュー操作用の十字キーを使用して、検出された複数の顔の中から、フォーカスエリアに用いる顔を選択することができる。
特開２００３−１０７３３５号公報 特開２００５−１２８１５６号公報 特開２００６−１４５６２９号公報

顔検出により検出された複数の顔の中から特定の顔を選択するには、デジタルカメラを被写体に向けて構えた状態で専用の操作部材、または十字キー等を操作しなければならない。しかし、デジタルカメラを撮影のために構えるときには、レリーズボタンを半押し操作してフォーカスロックすることが多い。レリーズボタンを半押し操作した状態で、他の操作部を操作するのは非常に難しいので、フレーミングがずれてしまうことがある。フレーミングがずれると、スルー画中の顔の位置、更には顔の数も変化することがあり、顔を選択する操作を行ってもユーザーが望んでいた顔が選択されない可能性がある。

本発明は、上記問題を解決するために、顔選択の操作性を向上させることを目的とする。

上記課題を解決するために、本発明のデジタルカメラは、半押し操作と、半押し操作よりも深く押し込まれる全押し操作とが可能なレリーズボタンと、撮像手段から出力された画像を表示手段に表示させるスルー画表示中に、画像から人物の顔を検出する顔検出手段と、顔の検出数が複数であるときに、所定の基準に基づいて複数の顔の顔選択順位を決定し、顔選択順位が最も高い顔を初期顔として設定する顔選択順位決定手段と、顔の検出数が、１つであるときにはその顔を、複数であるときには初期顔をフォーカスエリアとなる主顔として選択し、レリーズボタンが２回以上連続して半押し操作されたときには、半押し操作の回数と同じ顔選択順位の顔を主顔として選択する主顔選択手段とを備えたものである。

また、レリーズボタンの連続した半押し操作が、主顔の変更を意図したものであるか否かを判定し、主顔の変更を意図していると判定したときに主顔選択部に主顔変更指示を行う主顔変更判定手段を設けたものである。

主顔変更判定手段は、レリーズボタンの半押し操作時に顔検出手段によって画像から複数の顔が検出されたときに、その後の半押し操作の解除に応じてタイマを作動させ、タイマの作動から所定時間内にレリーズボタンが再び半押し操作されたときに、主顔の変更を意図していると判定する。

主顔選択部は、主顔変更判定手段から主顔変更指示を受けたときに、現在の主顔の次に顔選択順位が高い顔を新たな主顔として選択する。

更に、レリーズボタンの再半押し操作が所定時間内になされたときに、画像のシーンが、の半押し操作時に対して変更されているか否かを検出するシーン変更検出手段を設けたものである。主顔選択手段は、シーンの変更が検出されたときに、再半押し操作時に設定された初期顔を主顔として選択するようにしている。

シーン変更検出手段は、レリーズボタンの再半押し操作時とその直前になされた半押し操作時に検出された顔の数及び顔選択順位を比較し、顔検出数または顔選択順位が異なるときにシーンが変更されているものと判定している。

別のシーン変更検出手段は、画像から検出された顔の領域の測光値を算出する測光値算出部と、レリーズボタンの再半押し操作時とその直前になされた半押し操作時の測光値の差分を求める差分演算部と、差分と予め設定されている閾値とを比較し、前分が閾値以上であるときにシーンが変更されているものと判定するシーン判定部とから構成したものである。

更に別のシーン変更検出手段は、顔検出手段で検出された複数の顔の位置等を含む顔検出情報を取得する顔検出情報取得部と、レリーズボタンの再半押し操作時とその直前になされた半押し操作時の顔検出情報に基づいて、各顔同士の位置の差分を求める差分演算部と、差分と予め設定されている閾値とを比較し、差分が閾値以下であるときに同一の顔であると判定する同一顔判定部とを有し、同一ではない顔があったときにシーンが変更されているものと判定している。

また、差分演算部により、各顔同士の顔サイズの差分を求め、同一顔判定部は、顔サイズの差分と予め設定されている閾値とを比較し、差分が閾値以下であるときに同一の顔であると判定している。

顔選択順位決定手段は、画像の画角中央から、各顔の位置までの距離、もしくは顔の大きさ、あるいはこれらの組み合わせに基づいて顔選択順序を決定している。

また、表示手段に主顔とこの主顔の次に選択される顔とが他の顔と区別できるように画像をスルー画表示させる表示制御手段を設けたものである。更に、画像の上に顔の周囲に配置される顔選択枠を重畳させて表示手段に表示させるオンスクリーン制御部を設け、主顔と、この主顔の次に選択される顔と、その他の顔の周囲に表示される各顔選択枠を異なる形態または異なる色で表示させるようにしている。

また、本発明のフォーカスエリア選択方法は、スルー画表示に用いられる画像から、人物の顔が検出されるステップと、顔の検出数が複数であるときに、所定の基準に基づいて複数の顔の顔選択順位を決定し、選択順位が最も高い顔を初期顔として設定するステップと、顔の検出数が１つであるときにはその顔を、複数であるときには初期顔をフォーカスエリアとなる主顔として選択するステップと、レリーズボタンの半押し操作を検出するステップと、レリーズボタンが２回以上連続して半押し操作されたときに、半押し操作の回数と同じ顔選択順位の顔を主顔として選択するステップとを含むものである。

本発明のデジタルカメラ及びフォーカスエリア選択方法によれば、レリーズボタンの半押し操作でフォーカスエリアとして用いられる主顔を変更することができるので、操作性が向上し、顔選択操作時のデジタルカメラのぶれを防止することができる。

また、撮影時に通常発生するレリーズボタンの半押し操作と、主顔の変更を意図した半押し操作とを識別できるようにしたので、ユーザが意図しないにも関わらずフォーカスエリアが変更されるような誤動作は発生しない。

更に、レリーズボタンの半押し操作時のシーンの変化を検出し、シーンが変化していないときにのみ主顔を変更するようにしたので、シーンの変化により顔の無い領域や、ユーザが意図しない顔が主顔に設定される等の誤動作は発生しない。

また、シーンの変化は、顔検出数及び顔選択順位、測光値、各顔の位置及びサイズなどを比較して検出するので、光や陰の変化によるシーン変化、被写体やデジタルカメラのわずかなぶれによるシーン変化も確実に検出することができる。

更に、スルー画表示される画像に対し、主顔と、この主顔の次に選択される顔と、その他の顔とが識別可能な顔選択枠を表示するので、ユーザが所望する主顔を容易に選択させることができる。

図１に示すように、本実施形態のデジタルカメラ２は、長方体のカメラ本体３を有している。カメラ本体３の前面には、撮影レンズ４が組み込まれたレンズ鏡筒５と、被写体に向けてフラッシュ光を照射するフラッシュ発光部６が設けられている。カメラ本体３の上面には、動作モードを静止画撮影モード、動画撮影モード等の間で切り替えるモードダイヤル７と、撮影操作に用いられるレリーズボタン８が設けられている。

レリーズボタン８は、半押し操作と、この半押し操作よりも深く押下される全押し操作の２段階の押圧操作が可能な押しボタンである。レリーズボタン８が半押し操作されると、撮影レンズ４のピントをフォーカスエリアに合せるＡＦ制御と、被写体輝度に合せて露出を自動調整するＡＥ制御とが実施される。また、レリーズボタン８が全押し操作されたときには撮影が行われる。

図２に示すように、カメラ本体３の側面には、メモリカード１１が挿脱されるカードスロット１２が設けられている。メモリカード１１には、静止画、または動画の画像ファイルが記憶される。カメラ本体３の背面には、デジタルカメラ２の電源のオン／オフを切り替える際にスライド操作される電源操作部１３が設けられている。

電源操作部１３の下方には、液晶ディスプレイパネル（ＬＣＤ）からなるモニタ１６が設けられている。モニタ１６には、静止画撮影モード及び動画撮影モードにおいてスルー画が表示され、再生モードでは撮影済みの画像が再生表示される。更に、モニタ１６には、各種設定メニューが表示され、デジタルカメラ２の設定変更にも利用される。なお、スルー画表示とは、カメラ本体３に内蔵された撮像素子が所定のフレームレートで撮像を行ない、この撮像された画像がモニタ１６に表示される処理であり、モニタ１６をビューファインダとして機能させる。

モニタ１６の側方には、撮影レンズ４の焦点距離を変更する一対のズームボタン１９、上下左右に配された４個のボタンからなり、各種操作に汎用的に用いられる十字ボタン２０、メニュー呼び出しや各種設定時の確定操作に用いられる決定ボタン２１等が設けられている。また、十字ボタン２０の周囲には、感度、記録画素数、色調等の設定が可能な画質設定ボタン２２、顔検出モードのオン／オフを切り替える顔検出ボタン２３、撮影モードと再生モードとを切り替える再生ボタン２４、モニタ１６の表示内容を切り替える表示切替ボタン２５等が設けられている。

顔検出ボタン２３は、デジタルカメラ２が静止画撮影モードにセットされたときに操作可能となる。顔検出モードがオンされると、スルー画表示のために撮像された画像から人物の顔が検出され、検出された顔の領域がフォーカスエリアとして設定される。また、モニタ１６に表示されるスルー画には、検出された顔の周囲に顔検出枠が表示される。本実施形態のデジタルカメラ２は、この顔検出により複数の顔が検出されたときに、レリーズボタン８の半押し操作でフォーカスエリアとして用いる顔を選択することができる。

図３に示すように、デジタルカメラ２は、データバスＤＢに接続されたＣＰＵ２８が各部を統括的に制御する。システムメモリ２９は、ＣＰＵ２８に制御プログラム等を提供するＲＯＭと、ＲＯＭから読み出されたプログラムがＣＰＵ２８によって実行される実行エリアとなるＲＡＭとを備えている。

また、データバスＤＢには、入出力インターフェース（以下、Ｉ／Ｏと呼ぶ）３２が接続されている。Ｉ／Ｏ３２は、レリーズスイッチ３３等の各操作部材の操作を検出するスイッチから入力された操作信号をデータバスＤＢを介してＣＰＵ２８に入力する。レリーズスイッチ３３は、レリーズボタン８の半押し操作を検出してＲ１信号を出力し、全押し操作を検出してＲ２信号を出力する。

また、データバスＤＢには、カードインターフェース（以下、カードＩ／Ｆと呼ぶ）３６が接続されてる。カードＩ／Ｆ３６には、カードスロット１２の奥に組み込まれ、挿入されたメモリカード１１と電気的に接続されるカードコネクタ３７が接続されている。カードＩ／Ｆ３６は、メモリカード１１に対して画像ファイルの書き込み／読み出しを行う。

撮影レンズ４は、焦点距離を変更するズームレンズ４０と、被写体像を撮像素子の受光面に結像させるフォーカスレンズ４１とから構成されている。また、詳しくは図示しないが、撮影レンズ４は、ズームレンズ及びフォーカスレンズの他に、モータ及びモータドライバと、モータにより駆動されてズームレンズ４０及びフォーカスレンズ４１を撮影光軸方向で移動させる機構部等を含んでいる。モータドライバは、データバスＤＢを介してＣＰＵ２８に制御されている。

ズームレンズ４０とフォーカスレンズ４１の間には、撮像素子への入射光量を調節する絞り機構４４が配置されている。この絞り機構４４は、撮影光路を開閉する絞り板、モータ及びモータドライバ、モータにより駆動されて絞り板を移動させる機構部等を含み、モータドライバはデータバスＤＢを介してＣＰＵ２８に制御されている。

撮影光軸方向においてフォーカスレンズ４１の背後に配置される撮像素子には、例えばＣＣＤイメージセンサ（以下、ＣＣＤと省略する）４７が用いられている。ＣＣＤ４７は、撮影レンズ４及び絞り機構４４を介して入射した被写体像を光電変換し、電気的な画像信号に変換する。ＣＣＤ４７は、画素ごとに所定の分光特性を持つカラーフィルタ（例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）の原色カラーフィルタ）が配された単板式のカラーイメージセンサであり、画像信号は、各画素に対応した色の画素信号からなる。

ＣＣＤ４７は、電子的に露光時間（電荷蓄積時間）を調節する電子シャッタ機能を備えており、絞り機構４４と協働して露出を変更する。なお、ＣＣＤ４７は、ＣＣＤドライバ５０により駆動され、ＣＣＤドライバ５０は、データバスＤＢを介してＣＰＵ２８に制御されている。また、ＣＣＤ４７に代えて、ＣＭＯＳタイプのイメージセンサを用いてもよい。

アナログ信号処理部５３は、ＣＣＤ４７から入力されたアナログの画像信号に対して相関二重サンプリング（ＣＤＳ）処理を施して、ＣＣＤ４７のアンプ雑音とリセット雑音とを除去し、これらの雑音を除去した撮像信号を増幅する。この信号増幅率は、ＩＳＯ感度の設定値に応じて変更される。

アナログ信号処理部５３から出力された画像信号は、Ａ／Ｄ変換器５６に入力され、デジタル信号からなる画像データに変換される。デジタル信号処理部５７は、Ａ／Ｄ変換器５６から出力された画像データに色補間、輝度信号と色差信号とに変換するＹＣ変換、ガンマ補正などの各種信号処理を施し、フレームメモリ５８に記憶する。

ＬＣＤドライバ６１は、モニタ１６を駆動してフレームメモリ５８から読み出した画像データをスルー画表示させる。オンスクリーン制御部６２は、モニタ１６に表示される画像に重畳させて各種文字情報やキャラクタ情報等を表示させる。また、顔検出モード下では、検出された顔の周囲に顔選択枠を表示させる。

圧縮／伸張部６５は、撮影後にフレームメモリ５８に記憶された画像データを圧縮処理してＪＰＥＧ等の画像ファイルに変換し、カードＩ／Ｆ３６、カードコネクタ３７を介してメモリカード１１に記憶させる。また、再生モード時にメモリカード１１に記憶されている画像ファイルを再生表示する際には、画像ファイルを伸張処理して画像データに変換し、ＬＣＤドライバ６１によりモニタ１６に画像を表示させる。

積算部６８は、ＡＥ制御時にフレームメモリ５８に記録された画像データの輝度信号を積算し、この積算により得られた輝度積算値に基づいて測光値を算出する。この測光値は画像全体の平均測光値であり、例えば、顔検出回路７１により検出された顔の領域と、背景の領域について別々に測光値を算出し、各測光値に重み付けをして加算した後、画像の面積に基づいて算出される。

積算部６８で算出された測光値は、ＣＰＵ２８に入力される。ＣＰＵ２８は、測光値と撮影感度から露出値を算出し、この露出値と予め設定されているプログラム線図とに基づいて絞り値及びシャッタ速度を決定する。絞り機構４４及びＣＣＤ４７は、ＣＰＵ２８により決定された絞り値及びシャッタ速度で撮影を行う。

また、積算部６８は、ＡＦ制御時に輝度信号の高周波成分を積算してＡＦ評価値を算出し、これをＣＰＵ２８に入力する。なお、顔検出モード下では、フォーカスエリアとして設定された顔の領域からＡＦ評価値を算出する。ＣＰＵ２８は、フォーカスレンズ４１を撮影光軸に沿って移動させながら、その都度ＡＦ評価値を確認し、ＡＦ評価値が最大となる位置にフォーカスレンズ４１を移動させる。

顔検出回路７１は、フレームメモリ５８に記憶された画像データから人物の顔を検出する。図４に示すように、顔検出回路７１は、顔検出部７４、特徴辞書７５、顔検出情報取得部７６、顔選択順位決定部７７、顔情報メモリ７８、シーン変更検出部７９等から構成されている。また、ＣＰＵ２８は、顔検出回路７１により検出された顔からフォーカスエリアとして用いられる主顔を選択する主顔選択部８０と、主顔選択部８０に主顔の変更を指示する主顔変更判定部８１として機能する。

顔検出部７４は、フレームメモリ５８に記憶されている画像データから部分画像を順次に切り出し、切り出した部分画像を特徴量と照合して、人物の顔を検出している。特徴量は、目の配色、配置等、人物の顔の特徴を表す情報であり、特徴辞書７５に記憶されている。

顔検出部７４は、画像データから複数の顔が検出されたときに、例えば、画像の左上から順に各顔に対して顔検出番号が付与する。図５に示す画像８４のように、例えば２つの顔８５，８６が検出された場合には、顔検出番号「１」、「２」がそれぞれ付与される。

顔検出情報取得部７６は、顔検出部７４による顔の検出結果を受けて画像データを解析し、検出された顔に関する顔検出情報を取得する。この顔検出情報には、顔の位置を表す顔位置情報と、顔の大きさを表す顔サイズ情報等が含まれる。

顔位置情報は、画像データにより表される画像の画角中央から顔の中心位置までの水平画素数Ｘ及び垂直画素数Ｙと、画角中央と顔中心との直線距離Ｄからなる。なお、直線距離Ｄは、水平画素数Ｘ及び垂直画素数Ｙをそれぞれ乗算して加算（Ｄ＝Ｘ^２＋Ｙ^２）することにより、簡易的に取得される。また、顔サイズ情報は、検出された顔を矩形の枠で仮想的に囲んだときの１辺の画素数Ｔである。図５に示す画像８４の画角中央をＥ、顔８５，８６の中心位置それぞれＦ，Ｇとしたとき、顔位置情報及び顔サイズ情報は、Ｘ１，Ｙ１，Ｄ１，Ｔ１及びＸ２，Ｙ２，Ｄ２，Ｔ２となる。

顔選択順位決定部７７は、顔検出情報に基づいて、画像の画角中央に近い順、すなわち直線距離Ｄの短い順に顔選択順位を付与する。また、同じ直線距離Ｄを有する顔が複数存在するときには、顔サイズ情報が参照され、顔サイズの大きな顔に上位の顔選択順位が与えられる。

例えば、図５に示す画像８４では、顔８６の直線距離Ｄ２が顔８５の直線距離Ｄ１よりも短いため、顔検出番号「２」の顔８６が顔選択順位「１」となり、顔検出番号「１」の顔８５は顔選択順位「２」となる。なお、顔選択順位から最初に選択される顔を容易に識別するため、顔選択順位「１」の顔には、初期顔という識別名が付与される。

顔情報メモリ７８は、顔選択順位決定部７７から入力された顔位置情報、顔サイズ情報、顔選択順位からなる顔情報を顔検出番号に関連づけて記憶している。顔情報メモリ７８は、例えば、第１記憶領域７８ａ、第２機構領域７８ｂに分けられており、顔情報は最初に第１記憶領域７８ａに記憶される。そして、新たな顔情報が入力される際に、古い顔情報は第２記憶領域７８ｂに移動され、第１記憶領域７８ａに記憶可能となる。これにより、スルー画表示中に前後する２画像分の顔情報が一時的に記憶可能となる。

主顔選択部８０は、顔検出情報及び顔選択情報に基づいて、フォーカスエリアとして用いられる主顔を選択する。主顔選択部８０は、顔検出情報取得部７６から入力された顔検出情報を解析し、顔が検出されなかったときには主顔を選択しない。また、顔が１つしか検出されていないときには、その顔を主顔として選択する。更に、複数の顔が検出されていたときには、顔情報メモリ７８の第１記憶領域７８ａ内の顔選択順位を参照して、初期顔を主顔として選択する。

ＣＰＵ２８は、主顔選択部８０により選択された主顔の位置を顔情報メモリ７８から取得し、主顔の領域をフォーカスエリアとして用いてＡＦ制御及びＡＥ制御を行う。なお、ＣＰＵ２８は、顔が検出されなかった場合には、例えば画角中央などの通常設定領域をフォーカスエリアに設定し、ＡＦ制御及びＡＥ制御を行う。

主顔選択部８０は、レリーズボタン８の半押し操作の回数、すなわちレリーズスイッチ３３から入力されるＲ１信号の数に応じて主顔を変更する。例えば、１回目のＲ１信号入力時に複数の顔が検出され、このときに選択された主顔を変更したい場合には、１回目のレリーズボタン８の半押し操作を解除して、すぐに２回目、または３回目の半押し操作を行えばよい。主顔選択部８０は、連続したレリーズボタン８の半押し操作に応じて、主顔を顔選択順位の順にシフトさせる。すなわち、１回目の半押し操作では顔選択順位が１の初期顔が主顔となるが、２回目の半押し操作では顔選択順位が２の顔が主顔となる。

なお、撮影時には、レリーズボタン８の半押し操作が複数回なされる場合が多々あるので、このような半押し操作と、主顔の変更操作とを識別する必要がある。主顔変更判定部８１は、レリーズスイッチのＲ１信号が連続して入力されたときに、その半押し操作が主顔の変更を意図したものか否かを判定する。

主顔変更判定部８１は、Ｒ１信号の入力時に主顔選択部８０の顔選択結果を参照する。複数の顔が検出されていた場合には、その後のＲ１信号の入力終了に応じてタイマ９０を作動させる。主顔変更判定部８１は、タイマ９０の作動から所定時間内にＲ１信号が再び入力されたときに、主顔の変更を意図した操作であると判定し、主顔変更指示を主顔選択部８０に送信する。主顔選択部８０は、現在の主顔の次に顔選択順位が高い顔を新たな主顔として選択する。

また、レリーズボタン８の１回目の半押し操作と２回目の半押し操作で、スルー画のシーンが変化することがある。シーンの変化は、被写体の移動、デジタルカメラ２の移動、光や陰による撮影条件の変化等、様々な要因によって生じる。そのため、２回目または複数回目の半押し操作時にシーンが変化していると、顔が存在しない位置がフォーカスエリアに設定されたり、ユーザーの意図と異なる顔が主顔として選択されるという問題がある。

シーン変更検出部７９は、レリーズボタン８の半押し操作時に、スルー画のシーンがその直前の半押し操作時に対して変更されているか否かを検出する。具体的には、レリーズボタン８の２回目以降の半押し操作時に顔情報メモリ７８を参照し、第１記憶領域７８ａと第２記憶領域７８ｂとに記憶されている顔検出数、顔選択順位を比較する。そして、顔検出数と顔選択順位の少なくとも一方が一致しないときにスルー画のシーンが変更されていると判定する。

シーン変更検出部７９のシーン判定結果は、主顔選択部８０に入力される。主顔選択部８０は、シーンが変更されていないときには、現在の主顔の次の顔選択順位の顔を新たな主顔に選択する。また、シーンが変更されている場合には、最後になされたレリーズボタン８の半押し操作により設定された初期顔、すなわち顔情報メモリ７８の第１記憶領域７８ａに記憶されている初期顔を主顔として選択する。

主顔選択部８０は、顔検出回路７１による顔検出結果を４つのステートとして識別し、デジタルカメラ２の制御に利用している。図６のステート表９３示すように、ステート「１」は、顔が検出されていない状態を表している。ステート「２」は、顔が１つだけ検出され、主顔選択の余地がない状態を表している。ステート「３」は、顔が複数検出されているとともに、前回の顔検出時の画像に対しシーンが変更されている状態を表している。ステート「４」は、顔が複数検出されているとともに、前回の顔検出時の画像に対しシーンが変更されていない状態を表している。

次に、上記実施形態の作用について、図７，８のフローチャートを参照して説明する。デジタルカメラ２は、電源操作部１３の操作により電源がオンする。ＣＰＵ２８は、モードダイヤル７により静止画撮影モードに設定されると、スルー画表示を開始させる（Ｓ１）。

スルー画表示中のＣＣＤ４７は、所定のフレームレート（例えば、３０ｆｐｓ）で撮像を行ない、画像信号を出力する。この画像信号は、アナログ信号処理部５３、Ａ／Ｄ変換器５６、デジタル信号処理部５７を経て画像データに変換され、フレームメモリ５８に記憶される。ＬＣＤドライバ６１は、モニタ１６にフレームメモリ５８から読み出した画像データをスルー画表示させる。

スルー画表示中には、一定時間間隔でＡＦ制御、ＡＥ制御が実施されるので、表示されるスルー画は、ピント及び露出が適正な画像となる。なお、スルー画表示中のＡＥ制御では、シャッタ速度を変えることができないので、絞り機構４４により絞りが調整される。また、絞りの調整で適切な露出が得られない場合には、アナログ信号処理部５３による画像信号の増幅率が変更される。

スルー画表示中に顔検出ボタン２３が操作されると、顔検出モードに移行し、ＣＰＵ２８は顔検出回路７１にスルー画からの顔検出を開始させる。顔検出部７４は、特徴辞書７５の特徴量に基づいて、フレームメモリ５８内の画像データから人物の顔を検出する（Ｓ２）。なお、顔検出モードの開始直後は、ステートが「１」にセットされる。

顔検出情報取得部７６は、スルー画の画像データを解析して、検出された顔の顔検出情報を取得する（Ｓ３）。主顔選択部８０は、顔検出情報から顔の検出数を取得し（Ｓ４）、顔が検出されなかったときにステートを「１」に設定し（Ｓ５）、顔情報メモリ７８をクリアする（Ｓ６）。ＣＰＵ２８は、フォーカスエリアを画角中央等の通常設定領域に設定する（Ｓ７）。顔は検出されていないため、顔選択枠は表示されない（Ｓ８）。

また、顔が１つだけ検出されていた場合には（Ｓ９）、主顔選択部８０は、ステートを「２」に設定し（Ｓ１０）、顔情報メモリ７８をクリアする（Ｓ１１）。そして、検出された顔を主顔として選択する。（Ｓ１２）。ＣＰＵ２８は、主顔をフォーカスエリアとして設定（Ｓ１３）し、オンスクリーン制御部６２により、スルー画の顔の周囲に顔選択枠を表示させる（Ｓ１４）。

図９に示すように、例えばスルー画表示用の画像９５から７つの顔９６ａ〜９６ｇが検出されたときには、顔検出部７４は、画像９５の左上から順に顔検出番号「１」〜「７」を付与する。なお、顔の中央に顔検出番号を図示しているが、モニタ１６に表示されるスルー画には顔検出番号は表示されない。

顔検出情報取得部７６は、画像９５の画像データを解析して、各顔９６ａ〜９６ｇの顔検出情報を取得する（Ｓ３）。顔選択順位決定部７７は、顔検出情報に含まれる顔位置情報及び顔サイズ情報に基づいて顔選択順位、及び初期顔を決定する（Ｓ１５）。

図１０は、顔検出番号「１」〜「７」に、顔検出情報と顔選択順位とが関連づけられた顔情報９８を示している。顔選択順位は、画角中央に対する直線距離Ｄが短い順となる。この例では、顔検出番号「３」の顔９６ｃと、顔検出番号「６」の顔９６ｆの直線距離Ｄが最短となるが、同一値なので、顔サイズ情報が参照される。その結果、顔の大きさで勝る顔検出番号「６」が初期顔として設定される。

顔情報メモリ７８は、第１記憶領域７８ａの内容を第２記憶領域７８ｂに移動し（Ｓ１６）、新たに生成された顔情報を第１記憶領域７８ａに記憶させる（Ｓ１７）。

主顔選択部８０は、現在のステートを確認し（Ｓ１８）、「１」または「２」の場合には、「３」に設定し（Ｓ１９）、初期顔を主顔に選択する（Ｓ２０）。ＣＰＵ２８は、主顔をフォーカスエリアとして設定（Ｓ１３）し、オンスクリーン制御部６２により、スルー画の顔の周囲に顔選択枠を表示させる（Ｓ１４）。

図１１（Ａ）に示すように、オンスクリーン制御部６２は、２つ以上の顔が検出されたときには、全ての顔の周囲に顔選択枠を表示する。この顔選択枠は、主顔である顔検出番号「６」の主顔選択枠１００と、この主顔の次に顔選択順位の高い顔検出番号「３」の次選択枠１０１と、その他の顔の顔選択枠１０２とで形状及び色が変えられている。これにより、現在選択されている主顔と、主顔の変更操作により次に選択される顔をユーザーに知らせることができる。

レリーズボタン８が半押し操作、または全押し操作されるまで、以上の処理によるスルー画表示及び顔検出が繰り返される。Ｓ１８でのステート確認時に、現在のステートが「３」または「４」である場合には、シーン変更検出部７９によるシーン判定が実施される（Ｓ２１）。シーン変更検出部７９は、顔情報メモリ７８を参照して第１記憶領域７８ａと第２記憶領域７８ｂに記憶されている顔検出数及び顔選択順位を比較し、同じ場合にはシーンの変更がないと判定し、少なくとも一方が異なる場合にはシーン変更ありと判定する。

主顔選択部８０は、シーン変更されていない場合にステートを「４」に設定する（Ｓ２２）。このときには、主顔は変更されない（Ｓ２３）。また、シーンが変更されている場合には、ステートを「３」に設定し（Ｓ１９）、シーン変更後の画像から選択された初期顔を主顔に選択する（Ｓ２０）。

レリーズボタン８が半押し操作されると（Ｓ２４）、主顔選択部８０により再び現在のステートが確認される（Ｓ２５）。ステートが「１」、「２」、「３」の場合には、撮影用のＡＥ制御及びＡＦ制御が実行される（Ｓ２６）、撮影レンズ４をピント位置で固定するフォーカスロックが実行される。

レリーズボタン８の半押し操作が解除されると（Ｓ２７）、再度現在のステートが確認され（Ｓ２８）、ステートが「３」、「４」のときにタイマ９０が作動される（Ｓ２９）。

タイマ９０の作動後、再びレリーズボタン８が半押し操作されると（Ｓ２４）、主顔変更判定部８１により、レリーズボタン８の連続操作が主顔の変更を意図したものか否かが判定される。主顔変更判定部８１は、レリーズボタン８の２回目の半押し操作がタイマ９０の作動から所定時間以内であるか否かを確認し（Ｓ３０）、所定時間以内であるときに、主顔変更を意図した操作であると判定し、主顔選択部８０に主顔変更指示を送信する。

主顔選択部８０は、顔情報メモリ７８を参照して現在の主顔の次に顔選択順位の高い顔を新たな主顔として選択する（Ｓ３１）。ＣＰＵ２８は、新たな主顔をフォーカスエリアとして設定（Ｓ３２）し、オンスクリーン制御部６２により、スルー画の顔の周囲に顔選択枠を表示させる（Ｓ３３）。

図１１（Ｂ）に示すように、オンスクリーン制御部６２は、新しい主顔である顔選択順位「３」の顔９６ｃの周囲に主顔用の主顔選択枠１００を表示させ、次点の顔９６ｄの周囲に次選択枠１０１を表示させる。また、前回の主顔であった顔９６ｆを含む他の顔の周囲に、通常の顔選択枠１０２を表示させる。

レリーズボタン８が全押し操作されると（Ｓ３４）、ＣＣＤ４７により撮影が実行される（Ｓ３５）。撮影によりＣＣＤ４７から出力された画像信号は、アナログ信号処理部５３、Ａ／Ｄ変換器５６、デジタル信号処理部５７を経て画像データに変換され、フレームメモリ５８に記憶される。圧縮／伸張部６５は、フレームメモリ５８内の画像データを圧縮処理してＪＰＥＧ等の画像ファイルに変換し、カードＩ／Ｆ３６は画像ファイルをメモリカード１１に記憶させる。

以上説明したように、レリーズボタン８の連続した半押し操作によりフォーカスエリアとなる主顔を変更できるので非常に操作性がよく、変更操作によりデジタルカメラがぶれることはない。また、レリーズボタン８が半押し操作される時間間隔により、主顔の変更を意図した操作か否かを判定できるので、ユーザの意図しない操作により主顔が変更されることはない。

なお、上記実施形態では、シーンが変更されているか否かを顔検出数及び顔選択順位の変化で判定していたが、光や陰による撮影条件の変化等に起因するシーンの変化は検出することができない。そこで、画像から検出された顔の測光値の変化からシーンの変化を判定してもよい。

測光値によるシーン判定を行うには、図１２に示すように、シーン変更検出部７９に、測光値メモリ１１０、差分演算部１１１、シーン判定部１１２を設ける。また、図７に示すフローチャートのＳ１９、Ｓ２１、Ｓ２２の間に、図１３に示すステップを挿入する。

測光値メモリ１１０には、ＣＰＵ２８が積算部６８から入力された積算輝度値から顔領域の平均測光値を算出するごとに記憶される。この測光値メモリ１１０は、顔情報メモリ７８と同様に２つの記憶領域を有し、スルー画表示中に前後する２画像分の測光値が一時的に記憶可能である。差分演算部１１１は、測光値メモリ１１０の２つの領域から測光値を読み出し（Ｓ４０）、これらの測光値の差分を演算する（Ｓ４１）。シーン判定部１１２は、この差分と予め設定されている閾値とを比較し、差分が閾値以上であるときにシーンが変更されていると判定する（Ｓ４２）。

このシーン判定により、光や陰による撮影条件の変化等に起因するシーンの変化も確実に検出することができ、より高画質な撮影を行うことができる。

また、上述した顔検出数及び顔選択順位の比較、測光値の比較では、顔の検出数が変わらない程度の被写体やデジタルカメラの移動を検出することができない。そこで、各顔の位置及び顔サイズを比較してシーンの変化を判定してもよい。

測光値によるシーン判定を行うため、図１４に示すように、シーン変更検出部７９に、差分演算部１１５、同一判定部１１６を設ける。また、図１５に示すフローチャートのＳ１９、Ｓ２１、Ｓ２２の間に、図１５に示すステップを挿入する。

差分演算部１１５は、顔情報メモリ７８の第１記憶領域７８ａ及び第２記憶領域７８ｂから、顔選択順位「１」の顔位置情報及び顔サイズ情報を読み出す（Ｓ４５）。そして、第１記憶領域７８ａと第２記憶領域７８ｂの水平画素数Ｘの差分Ｋ１を演算する。同様に、垂直画素数Ｙの差分Ｋ２、顔サイズＴの差分Ｋ３をそれぞれ演算する（Ｓ４６）。

同一判定部１１６は、差分Ｋ３と予め設定されている閾値Ｎ３を比較し、差分Ｋ３が閾値Ｎ３以下であるときに、同一の顔であると判定する（Ｓ４７）。また、差分Ｋ１と閾値Ｎ１、差分Ｋ２と閾値Ｎ２をそれぞれ比較し、ともに閾値以下であるときに同一の顔であると判定する（Ｓ４８）。第１記憶領域７８ａに次の顔選択順位の顔があるときには（Ｓ４９）、第１記憶領域７８ａから次の顔検出情報が読み出され（Ｓ５０）、再び差分Ｋ１〜Ｋ３が演算されて（Ｓ４６）閾値Ｎ１〜Ｎ３と比較される（Ｓ４７，Ｓ４８）。

また、閾値との比較により同一の顔ではないと判定された場合には、第２記憶領域４８ｂの次の顔選択順位の顔の有無が確認される（Ｓ５１）。次の顔選択順位の顔があるときには、第２記憶領域７８ｂから次の顔検出情報が読み出され（Ｓ５２、）再び差分Ｋ１〜Ｋ３が演算されて（Ｓ４６）閾値Ｎ１〜Ｎ３と比較される（Ｓ４７，Ｓ４８）。

以上の手順を繰り返すことにより、第１記憶領域７８ａと第２記憶領域７８ｂの各顔同士の位置及びサイズを比較することができ、全ての顔同士の比較が終了したときに、シーンに変更が判定される。これによれば、わずかなシーンの変化も確実に検出することができ、より高画質な撮影を行うことができる。なお、顔位置情報と顔サイズ情報の両方を比較したが、いずれか一方のみの比較でもよい。

なお、上記実施形態では、シーンの変更検出に、顔検出数及び顔選択順位、測光値、顔位置情報及び顔サイズ情報のいずれかを用いるようにしたが、これらを適宜組み合わせてシーン変更を検出してもよい。また、静止画撮影時に主顔の変更を行えるようにしたが、動画撮影時に行うことも本発明に含まれる。更に、デジタルカメラを例に説明したが、ビデオカメラ、カメラ付き携帯電話機等、撮影機能を有する各種機器にも適用可能である。

本発明のデジタルカメラを正面側から見た外観斜視図である。 デジタルカメラを正面側から見た外観斜視図である。 デジタルカメラの電気的構成を示すブロック図である。 顔検出回路の構成を示すブロック図である。 画像から得られる顔位置情報及び顔サイズ情報を示す説明図である。 顔検出結果により遷移する顔検出状態を示す表である。 顔検出モードの制御手順を示すフローチャートである。 顔検出モード時にレリーズボタンが半押し操作された後の制御手順を示すフローチャートである。 顔検出された画像の１例を示す説明図である。 顔検出情報及び顔選択順位からなる顔情報を示す表である。 顔検出時のモニタの表示状態を示す説明図である。 別の実施形態のシーン変更検出部の構成を示すブロック図である。 別の実施形態のシーン変更検出手順を示すフローチャートである。 更に別の実施形態のシーン変更検出部の構成を示すブロック図である。 更に別の実施形態のシーン変更検出手順を示すフローチャートである。

符号の説明

２ デジタルカメラ
８ レリーズボタン
１６ モニタ
２３ 顔検出ボタン
２８ ＣＰＵ
３３ レリーズスイッチ
４７ ＣＣＤ
６２ オンスクリーン制御部
６８ 積算部
７１ 顔検出回路
７４ 顔検出部
７５ 特徴辞書
７６ 顔検出情報取得部
７７ 顔選択順位決定部
７８ 顔情報メモリ
７９ シーン変更検出部
８０ 主顔選択部
８１ 主顔変更判定部
９０ タイマ
８４，９５ 画像
８５，８６，９６ 顔
９３ ステート表
９８ 顔情報
１００ 主顔選択枠
１０１ 次選択枠
１０２ 顔選択枠
１１０ 測光値メモリ
１１１，１１５ 差分演算部
１１２ シーン判定部
１１６ 同一判定部

Claims (11)

1. 半押し操作と、半押し操作よりも深く押し込まれる全押し操作とが可能なレリーズボタンと、
   撮像手段から出力された画像を表示手段に表示させるスルー画表示中に、前記画像から人物の顔を検出する顔検出手段と、
   前記顔の検出数が複数であるときに、所定の基準に基づいて前記複数の顔の顔選択順位を決定し、前記顔選択順位が最も高い顔を初期顔として設定する顔選択順位決定手段と、
   前記顔の検出数が１つであるときにはその顔を、前記顔の検出数が複数であるときには前記初期顔をフォーカスエリアとなる主顔として選択する主顔選択手段と、
   前記レリーズボタンが２回以上連続して半押し操作されたときに、当該操作が前記主顔の変更を意図したものであるか否かを判定し、前記主顔の変更を意図していると判定したときには、前記主顔選択部に前記主顔を変更させる主顔変更指示を行い、前記主顔選択部に前記半押し操作の回数と同じ顔選択順位の顔を前記主顔として選択させる主顔変更判定手段とを備えており、
   前記主顔変更判定手段は、前記レリーズボタンの半押し操作時に前記顔検出手段によって前記画像から複数の顔が検出されたときに、その後の半押し操作の解除に応じてタイマを作動させ、前記タイマの作動から所定時間内に前記レリーズボタンが再び半押し操作されたときに、前記レリーズボタンの連続した半押し操作が前記主顔の変更を意図していると判定することを特徴とするデジタルカメラ。
2. 前記主顔選択部は、前記主顔変更判定手段から主顔変更指示を受けたときに、現在の主顔の次に前記顔選択順位が高い顔を新たな主顔として選択することを特徴とする請求項１記載のデジタルカメラ。
3. 前記レリーズボタンの再半押し操作が前記所定時間内になされたときに、前記画像のシーンが、前回の半押し操作時に対して変更されているか否かを検出するシーン変更検出手段を設け、前記主顔選択手段は、前記シーンの変更が検出されたときに、前記再半押し操作時に設定された前記初期顔を前記主顔として選択することを特徴とする請求項１記載のデジタルカメラ。
4. 前記シーン変更検出手段は、前記レリーズボタンの再半押し操作時とその直前になされた半押し操作時に検出された顔検出数及び顔選択順位を比較し、前記顔検出数または顔選択順位が異なるときに前記シーンが変更されていると判定することを特徴とする請求項３記載のデジタルカメラ。
5. 前記シーン変更検出手段は、前記画像から検出された顔の領域の測光値を算出する測光値算出部と、前記レリーズボタンの再半押し操作時とその直前になされた半押し操作時の測光値の差分を求める差分演算部と、前記差分と予め設定されている閾値とを比較し、前記差分が前記閾値以上であるときに前記シーンが変更されていると判定するシーン判定部とを有することを特徴とする請求項３記載のデジタルカメラ。
6. 前記シーン変更検出手段は、前記顔検出手段で検出された複数の顔の位置を含む顔検出情報を取得する顔検出情報取得部と、前記レリーズボタンの再半押し操作時とその直前になされた半押し操作時の顔検出情報に基づいて、各顔同士の位置の差分を求める差分演算部と、前記差分と予め設定されている閾値とを比較し、前記差分が前記閾値以下であるときに同一の顔であると判定する同一顔判定部とを有し、同一ではない顔があったときに前記シーンが変更されていると判定することを特徴とする請求項３記載のデジタルカメラ。
7. 前記顔検出情報は、顔の大きさを表す顔サイズ情報を含み、前記差分演算部は、前記顔検出情報に基づいて対応する顔同士の顔サイズの差分を求め、前記同一顔判定部は、前記顔サイズの差分と予め設定されている閾値とを比較し、前記差分が前記閾値以下であるときに同一の顔であると判定することを特徴とする請求項６記載のデジタルカメラ。
8. 前記顔選択順位決定手段は、前記画像の画角中央から、前記各顔の位置までの距離、もしくは顔の大きさ、あるいはこれらの組み合わせに基づいて、前記顔選択順序を決定することを特徴とする請求項１〜７いずれか記載のデジタルカメラ。
9. 前記表示手段に前記主顔とこの主顔の次に選択される顔とが他の顔と区別できるように前記画像をスルー画表示させる表示制御手段を設けたことを特徴とする請求項１〜８いずれか記載のデジタルカメラ。
10. 前記表示制御手段は、前記画像の上に前記顔の周囲に配置される顔選択枠を重畳させて前記表示手段に表示させるオンスクリーン制御部を有し、前記オンスクリーン制御部は、前記主顔と、この主顔の次に選択される顔と、その他の顔の周囲に表示される各顔選択枠を異なる形態または異なる色で表示させることを特徴とする請求項９記載のデジタルカメラ。
11. スルー画表示に用いられる画像から、人物の顔が検出されるステップと、
    前記顔の検出数が複数であるときに、所定の基準に基づいて前記複数の顔の顔選択順位を決定し、前記選択順位が最も高い顔を初期顔として設定するステップと、
    前記顔の検出数が１つであるときにはその顔を、複数であるときには前記初期顔をフォーカスエリアとなる主顔として選択するステップと、
    レリーズボタンの半押し操作を検出するステップと、
    前記レリーズボタンが２回以上連続して半押し操作されたときに、当該操作が前記主顔の変更を意図したものであるか否かを判定するステップであって、前記レリーズボタンの半押し操作時に前記画像から複数の顔が検出されたときに、その後の半押し操作の解除に応じてタイマを作動させ、前記タイマの作動から所定時間内に前記レリーズボタンが再び半押し操作されたときに、前記レリーズボタンの連続した半押し操作が前記主顔の変更を意図していると判定するステップと、
    前記レリーズボタンの半押し操作が前記主顔の変更を意図していると判定したときには、前記半押し操作の回数と同じ顔選択順位の顔を前記主顔として選択するステップとを含むことを特徴とするデジタルカメラのフォーカスエリア選択方法。

Images