JP5093178B2 - 電子カメラ - Google Patents

Description

本発明は、人物の顔認識機能を備えた電子カメラに関する。

従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている（特許文献１参照）。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。

特開平６−２５９５３４号公報

ところで、顔認識データを生成するための登録撮影では、顔の特徴点が抽出し易いように被写体の顔を撮影する必要がある。そのため、上記の登録撮影を簡易に行うことができる撮影モードを備えた電子カメラが要望されている。

本発明は上記従来技術の課題を解決するためのものであって、その目的は、顔認識データを生成する際の登録撮影を容易に行うことのできる電子カメラを提供することである。

本発明の一例である電子カメラは、撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、前記撮像素子からの前記画像信号に基づいて撮影画面内の顔領域を検出する顔検出部と、前記顔領域の部分から撮影人物の顔の特徴点を抽出し、前記特徴点に基づいて顔認識データを生成する顔認識データ生成部と、前記顔領域の検出状態に基づいて、撮影人物の顔の向きを推定し、該顔の向きが所定方向と一致しないときには、前記顔認識データを生成するための前記撮像素子のレリーズ動作を不能化する制御部と、を備え、前記顔検出部は、設定されたモードに応じて、前記顔領域の検出精度を変更することを特徴とする。

本発明の電子カメラでは、顔認識データを生成する際の登録撮影を容易に行うことが可能となる。

第１実施形態の電子カメラの構成を示すブロック図 第１実施形態の「顔登録モード」での動作を示す流れ図 モード選択画面の一例を示す図 登録人物の選択画面の一例を示す図 登録人物の詳細情報画面の一例を示す図 顔検出時におけるプレビュー画像の表示例を示す図 第１実施形態の「顔認識撮影モード」の動作を示す流れ図 第２実施形態の「顔登録モード」での動作を示す流れ図 第３実施形態の「顔登録モード」での動作を示す流れ図 第４実施形態の「顔登録モード」での動作を示す流れ図 第４実施形態におけるプレビュー画像の表示例を示す図

＜第１実施形態の説明＞
図１は第１実施形態の電子カメラの構成を示すブロック図である。

電子カメラは、撮影光学系１１と、第１レンズ駆動部１２と、揺動センサ部１３と、像ぶれ補正レンズ１４と、第２レンズ駆動部１５と、撮像素子１６と、アナログ信号処理部１７と、Ａ／Ｄ変換部１８と、内蔵メモリ１９と、画像処理部２０と、カードＩ／Ｆ２１と、入出力Ｉ／Ｆ２２と、操作部材２３および液晶モニタ２４と、閃光発光部２５と、ＣＰＵ２６と、顔登録メモリ２７およびデータバス２８とを有している。なお、内蔵メモリ１９、画像処理部２０、カードＩ／Ｆ２１、入出力Ｉ／Ｆ２２およびＣＰＵ２６は、データバス２８を介して接続されている。

撮影光学系１１は、ズームレンズ１１ａと、合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影光学系１１を構成する各レンズは、第１レンズ駆動部１２によって光軸方向に駆動調整される。

揺動センサ部１３は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部１３は電子カメラの揺れを示すカメラ揺動データをＣＰＵ２６に出力する。このカメラ揺動データは、像ぶれ補正レンズ１４の移動量の演算に使用される。

像ぶれ補正レンズ１４は光軸直角方向に揺動可能に構成されている。第２レンズ駆動部１５は、像ぶれ補正レンズ１４を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ１４を横方向に揺動させる横揺動手段とで構成される。この第２レンズ駆動部１５は、ＣＰＵ２６が演算した像ぶれ補正レンズ１４の移動量に基づいて、像ぶれ補正レンズ１４を揺動させてぶれ補正を実行する。

撮像素子１６は、撮影光学系１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子１６は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号（スルー画像信号）を出力する。スルー画像信号は、後述のＡＦ演算、ＡＥ演算および顔検出動作や、ファインダ用画像の生成などに使用される。

アナログ信号処理部１７は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１８は撮像素子１６のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ１９は、画像処理部２０での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ１９には後述の撮影画像データを記録可能な記録領域を設けることもできる。

画像処理部２０はデジタル画像信号に所定の画像処理を施す。この画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部２０はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、ＣＰＵ２６による顔認識処理に使用されるとともに、液晶モニタ２４の表示画像（プレビュー画像）としても使用される。さらに、画像処理部２０は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部２０は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。

また、画像処理部２０は、ＣＰＵ２６の指示により各種表示（顔認識時の枠表示など）のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ２４に出力する。これによって、プレビュー画像には上記の各種表示が合成される。

カードＩ／Ｆ２１には、記録媒体２９を接続するためのコネクタが形成されている。記録媒体２９は公知の半導体メモリなどで構成される。そして、カードＩ／Ｆ２１は、記録媒体２９に対する撮影画像データの書き込み／読み込みを制御する。

入出力Ｉ／Ｆ２２には、操作部材２３および液晶モニタ２４が接続されている。操作部材２３は入力釦やレリーズ釦などを備えている。操作部材２３の入力釦は、例えば、電子カメラの撮影モード（通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等）の切り換え入力などを受け付ける。また、操作部材２３のレリーズ釦は、半押しによるＡＦ動作の指示入力と、全押しによるレリーズ入力とを受け付ける。

一方、液晶モニタ２４は主として電子カメラの背面部分に配置される。この液晶モニタ２４には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ２４には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ２４のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。

さらに、入出力Ｉ／Ｆ２２には外部接続端子が形成されている。そして、入出力Ｉ／Ｆ２２は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。また、入出力Ｉ／Ｆ２２の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット３０を接続することも可能である。

閃光発光部２５は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。

ＣＰＵ２６は、不図示のＲＯＭに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、ＣＰＵ２６はスルー画像信号に基づいて公知のコントラスト方式のＡＦ（オートフォーカス）演算や、公知のＡＥ（自動露出）演算などを実行する。また、ＣＰＵ２６は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ１４の移動量を演算する。

さらに、ＣＰＵ２６は顔検出部３１、顔認識部３２として機能する。顔検出部３１は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

顔認識部３２は、「顔登録モード」では、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部３２は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。

また、顔認識部３２は、「顔認識撮影モード」では、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３２は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３２は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３２は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。

なお、ＣＰＵ２６は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子１６へのレリーズ指示などを実行することが可能である。

顔登録メモリ２７には、ＣＰＵ２６の顔認識部３２が生成した顔認識データが記録される。この顔登録メモリ２７には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ２７の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、ＣＰＵ２６はグループフォルダ内の顔認識データを顔登録メモリ２７から一括して読み出すことが可能となっている。

また、顔登録メモリ２７には、「登録人物の名称」および「顔認識時の処理設定」のデータが記録されている。上記の「登録人物の名称」および「顔認識時の処理設定」は、各登録人物のグループフォルダにそれぞれ対応付けされている。

ここで、「顔認識時の処理設定」には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、「顔認識時の処理設定」には、（１）撮影時の撮影条件の設定、（２）撮影画像データの画像処理の設定、（３）撮影画像データの記録先の設定、（４）撮影画像データの印刷指定の設定、（５）撮影画像データの送信設定、などが含まれる。

上記（１）の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定（浅め、標準の選択）などが含まれる。また、登録人物の検出の際にＣＰＵ２６が自動的に撮影を行う設定も可能である。上記（２）の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。

上記（３）の記録先の設定では、撮影画像データの記録先となる記録媒体２９内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、ＣＰＵ２６は顔登録メモリ２７のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。

上記（４）の印刷指定の設定では、例えば、ＤＰＯＦ（Digital Print Order Format）などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記（５）の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報（電子メールアドレス）とを指定できる。

また、顔登録メモリ２７には、「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータが記録されている。上記の「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。

上記の「顔登録画像」は顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、「顔登録画像」は上記の編集画面で液晶モニタ２４に表示される。すなわち、「顔登録画像」は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、「顔登録画像」によって、ユーザーは誰のどのような画像（顔正面、横向きなど）から顔認識データが生成されたかを編集画面で確認することも可能となる。

「顔認識データの登録時期」は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、「顔認識データの取得時の撮影条件」は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系１１の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、ＣＰＵ２６が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。

以下、第１実施形態の電子カメラの動作を「顔登録モード」と「顔認識撮影モード」とに分けて説明する。

（顔登録モードでの動作）
図２は第１実施形態の「顔登録モード」の動作を示す流れ図である。この「顔登録モード」は撮影モードの一種であって、ユーザーが登録人物の顔を撮影して顔認識データを生成するためのモードである。

ステップ１０１：まず、ユーザーは操作部材２３により電子カメラの撮影モードを「顔登録モード」に設定する。

例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図３（ａ）参照）を液晶モニタ２４に表示する。そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に「顔登録モード」の起動を指示する。これにより、ＣＰＵ２６は「顔登録モード」の一連の動作を開始する。

ステップ１０２：ＣＰＵ２６は、液晶モニタ２４に「顔登録モード」のメニューを表示する（図３（ｂ）参照）。このメニューでは、ユーザーは操作部材２３で選択枠を操作して「新規」または「追加」をＣＰＵ２６に選択入力する。新たな人物の顔を登録する場合には、ユーザーは「新規」を選択入力する。一方、既に登録されている人物の顔をさらに撮影する場合には、ユーザーは「追加」を選択入力する。

ステップ１０３：ＣＰＵ２６は、メニュー（Ｓ１０２）で「新規」が選択されたか否かを判定する。「新規」の場合（ＹＥＳ側）にはＳ１０４に移行する。一方、「追加」の場合（ＮＯ側）にはＳ１０５に移行する。

ステップ１０４：Ｓ１０２で「新規」が選択された場合、ＣＰＵ２６は顔登録メモリ２７に新規登録人物（今回撮影する登録人物）のグループフォルダを生成する。そして、ＣＰＵ２６は「登録人物の詳細情報画面」（図５参照）を液晶モニタ２４に表示するとともに、ユーザーに「登録人物の名称」および「顔認識時の処理設定」の情報の入力を促す。図５の「登録人物の詳細情報画面」で入力された情報は、グループフォルダに対応付けされた状態で顔登録メモリ２７に記録される。その後、Ｓ１０６に移行する。

なお、ユーザーは「登録人物の名称」および「顔認識時の処理設定」の入力を省略することもできる。この場合には、ユーザーは、図３（ｂ）の編集の項目から図５の「登録人物の詳細情報画面」を立ち上げて、これらの情報を後で改めて顔登録メモリ２７に入力することができる。

ステップ１０５：一方、Ｓ１０２で「追加」が選択された場合、ＣＰＵ２６は登録人物の選択画面（図４参照）を液晶モニタ２４に表示し、今回撮影する登録人物をユーザーに選択入力させる。

ステップ１０６：ＣＰＵ２６は、電子カメラの撮影時の設定を顔登録撮影に適した設定に変更する。具体的にはＣＰＵ２６は以下の（１）〜（７）の設定を行う。

（１）ＣＰＵ２６は、「顔登録モード」においてＡＦ方式を顔検出モードに設定する。この場合には、ＣＰＵ２６はレリーズ釦の操作に関係なく、スルー画像データによって検出した顔領域に合わせてピント合わせを自動的に繰り返す。これにより、検出した顔にピントを合わせることが可能となる。なお、ユーザーがレリーズ釦を半押しした場合にＣＰＵ２６がＡＦロックを行うようにしてもよい。

（２）ＣＰＵ２６は、「顔登録モード」においてＡＥ方式を顔検出領域を基準とするスポットＡＥモードに設定する。この場合には、ＣＰＵ２６はスルー画像データによって検出した顔領域に合わせてＡＥ演算を実行する。これにより、検出した顔の露出が最適化される。

（３）ＣＰＵ２６は、「顔登録モード」において画像処理部２０の電子ズーム処理を不能化する。または、ＣＰＵ２６は、電子ズームの倍率を例えば２倍程度に制限する等の手段で、電子ズームの最大倍率を通常時よりも小さくなるように制限する。電子ズームを行った場合には撮影した顔登録画像の情報量が少なくなって、顔の特徴点の抽出精度が低下するからである。

（４）ＣＰＵ２６は、「顔登録モード」においてズームレンズ１１ａの倍率調整範囲を通常撮影時よりも広角側に狭めて最大倍率を小さくする。顔検出時には、ズームレンズを広角側に設定して被写界深度を深くする方が顔検出できる可能性が増加するからである。また、ズームレンズを広角側に設定すれば、撮影画像が手ぶれする可能性も低下するからである。なお、この場合において、ズームレンズ１１ａの位置を広角端に固定すると被写界深度がより深くなるので特に好ましい。

ところで、撮影光学系の絞り（不図示）を絞っても被写界深度は深くなるが、この場合にはシャッタ秒時に相当する撮影時間が長くなって顔登録画像が手ぶれする可能性が増加する。そのため、手ぶれを回避する観点から、ＣＰＵ２６は絞りをできるだけ開放側に設定することがより好ましい。なお、ＣＰＵ２６は、顔検出ができない場合に被写界深度を徐々に深くする制御を行ってもよい。

（５）ＣＰＵ２６は、「顔登録モード」において、揺動センサ部１３の出力に基づいて像ぶれ補正レンズ１４を移動させて光学的なぶれ補正を行う。手ぶれによる顔登録画像の撮影失敗を回避するためである。

（６）ＣＰＵ２６は、「顔登録モード」において、アナログ信号処理部１７における画像信号のゲイン設定（撮像感度の設定）を通常撮影時の設定よりも高くする。撮像感度が高くなると上記の撮影時間は短くなるので、顔登録画像が手ぶれする可能性も低下するからである。

（７）ＣＰＵ２６は、「顔登録モード」において、閃光発光部２５の閃光発光を不能化する。撮影時に閃光発光を行うと撮影人物の顔に影ができて顔検出の精度が低下するからである。なお、被写界が暗く十分な露出が確保できない状態で強制的に撮影する場合や、閃光発光時の顔認識データを意図的に取得しようとする場合には、ＣＰＵ２６は閃光発光部２５を例外的に発光させるようにしてもよい。

ステップ１０７：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。

ステップ１０８：一方、ＣＰＵ２６の顔検出部３１は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。

また、Ｓ１０８では、顔検出部３１は顔領域の検出精度（顔の検出正解率）を規定する閾値を低くして、顔候補の検出率を通常よりも高めにするのがより好ましい。顔検出がしにくい顔の向き（例えば横向きなど）で顔登録画像を撮影しようとする場合もあるからである。

なお、顔検出部３１が撮影画面内で人物の顔を検出した場合、画像処理部２０はプレビュー画像の顔領域の位置に矩形の枠を合成表示する（図６参照）。これにより、ユーザーはプレビュー画像で顔検出の有無を確認することができる。

ステップ１０９：ＣＰＵ２６はＳ１０８で撮影画面から顔検出されたか否かを判定する。顔検出された場合（ＹＥＳ側）にはＳ１１０に移行する。一方、顔検出されていない場合（ＮＯ側）にはＳ１０７に戻る。

ステップ１１０：ＣＰＵ２６は、顔領域における顔の特徴点の検出状態に基づいて顔の向きを推定する。そして、ＣＰＵ２６は推定した顔の向きが、予め指定された顔の向き（正面向き、横向きなど）と一致するか否かを判定する。顔の向きが所定方向である場合（ＹＥＳ側）にはＳ１１１に移行する。一方、顔の向きが所定方向以外である場合（ＮＯ側）にはＳ１０７に戻る。このとき、ＣＰＵ２６は「被写体の顔の向きを変えて撮影しなおして下さい」などの警告表示を液晶モニタ２４等に表示させるようにしてもよい。

ここで、Ｓ１１０での顔の向きの検出は公知の手段によって行われる。例えば、特開平９−１６３２１２号公報のように、ＣＰＵ２６が顔画像から顔の輪郭と鼻の座標とを検出して顔の向きを計算してもよい。あるいは特開２００５−２０９１３７号公報のように、顔方向毎に顔画像を分類登録した画像データベースに基づいてＣＰＵ２６が顔の向きを識別するようにしてもよい。

Ｓ１１０でのＮＯ側の場合にはＣＰＵ２６はレリーズを行わず、被写体の顔の向きが変わるまで撮影が行われることはない。したがって、所定の顔の向きの顔登録画像から顔認識データを生成することが可能となる。

ステップ１１１：ＣＰＵ２６は、顔領域における顔の特徴点の検出状態に基づいて顔の表情を推定する。そして、ＣＰＵ２６は推定した顔の表情がニュートラルな状態（目つぶりなどをしていない標準状態）であるか否かを判定する。顔の表情がニュートラルである場合（ＹＥＳ側）にはＳ１１２に移行する。一方、顔の表情がニュートラルでない場合（ＮＯ側）にはＳ１０７に戻る。このとき、ＣＰＵ２６は「被写体の表情を変えて撮影しなおして下さい」などの警告表示を液晶モニタ２４等に表示させるようにしてもよい。

ここで、Ｓ１１１での顔の表情の検出は公知の手段によって行われる。例えば、特開２００４−２７２９３３号公報のように、普通の表情 、目をつぶった顔 、口を開いた顔、笑顔などのクラスに分類された学習用顔画像を予め用意し、ＣＰＵ２６が正準判別分析による識別を行なった上で各クラスごとに設定された評価値で顔の表情を判別してもよい。あるいは、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを予め用意し、ＣＰＵ２６が各パターンと顔領域とのマッチングをとり、パターンの組合せから表情を推定してもよい。

Ｓ１１１でのＮＯ側の場合にはＣＰＵ２６はレリーズを行わず、被写体の顔の表情が変わるまで撮影が行われることはない。したがって、顔の表情がニュートラルな状態の顔登録画像をより確実に取得できる。笑顔や目をつぶった状態の画像から顔認識データを生成すると顔認識の精度が大きく低下する可能性もあるため、表情がニュートラルな顔登録画像は顔認識に最も適した画像であると考えられるからである。

なお、ＣＰＵ２６は、上記のＳ１１０およびＳ１１１の処理をユーザーの設定に応じて省略することも可能である。

ステップ１１２：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算およびＡＥ演算を実行する。

ステップ１１３：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ１１４に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＣＰＵ２６はレリーズ釦の全押し操作を待機する。

ステップ１１４：ＣＰＵ２６は撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データ（顔登録画像データ）を生成する。

ステップ１１５：ＣＰＵ２６の顔認識部３２は、顔登録画像データ（Ｓ１１４）から登録人物の顔認識データを生成する。また、画像処理部２０は、顔登録画像データの顔領域をトリミングするとともに、解像度変換で所定のサイズにリサイズしてインデックス画像データを生成する。

ステップ１１６：ＣＰＵ２６は、顔認識データ、インデックス画像データ、顔登録画像データの撮影条件および撮影日時を顔登録メモリ２７に記録する。上記の各データはそれぞれ対応付けされた状態で、Ｓ１０４またはＳ１０５で指定された登録人物のグループフォルダに記録される。上記の各データのうち、インデックス画像データは「顔登録画像」に対応する。また、撮影条件は「顔認識データの登録時期」に対応し、撮影条件は「顔認識データの取得時の撮影条件」に対応する。

以上で、「顔登録モード」での一連の動作が終了する。なお、ＣＰＵ２６は、Ｓ１１６の後にＳ１０７に戻って登録人物の顔認識データの登録をさらに続行するようにしてもよい。

以下、第１実施形態の「顔登録モード」の効果を説明する。上記の顔登録撮影では、撮影時の設定が顔登録に適した設定が変更されるとともに、顔領域の検出位置を基準としてＡＦ演算およびＡＥ演算が行われる（Ｓ１０６、Ｓ１１２）。そして、人物の顔を撮影した顔登録画像データに基づいて顔認識データが生成される（Ｓ１１４、Ｓ１１５）。そのため、ユーザーは登録したい人物に電子カメラを向けてレリーズするだけで、適正に撮影された顔登録画像に基づく顔認識データを容易に取得できる。

（顔認識撮影モードでの動作）
図７は第１実施形態の「顔認識撮影モード」の動作を示す流れ図である。この「顔認識撮影モード」は、指定した登録人物が撮影画面に存在する場合に、電子カメラが所定の制御を行って撮影画像データを取得する撮影モードである。

ステップ２０１：まず、ユーザーは操作部材２３により電子カメラの撮影モードを「顔認識撮影モード」に設定する。

例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図３（ａ）参照）を液晶モニタ２４に表示する。そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に「顔認識撮影モード」の起動を指示する。これにより、ＣＰＵ２６は「顔認識撮影モード」の一連の動作を開始する。

ステップ２０２：ＣＰＵ２６は、登録人物の選択画面（図４参照）を液晶モニタ２４に表示する。そして、ＣＰＵ２６は、顔認識対象の登録人物（撮影時に顔認識を行う登録人物）の指定入力を受け付ける。なお、顔認識対象の登録人物を撮影前に予めユーザーがＣＰＵ２６に指定入力しておくことも可能である。

ここで、「登録人物の選択画面」では、ＣＰＵ２６は１または２以上の登録人物の指定を受け付けることができる。例えば、ＣＰＵ２６は顔登録メモリ２７の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ（例えば、家族、サークルなど）で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、ＣＰＵ２６にリンクされた登録人物の一括指定を入力することもできる。

ステップ２０３：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。

ステップ２０４：一方、ＣＰＵ２６の顔検出部３１は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。

ステップ２０５：ＣＰＵ２６はＳ２０４で撮影画面から顔検出されたか否かを判定する。顔検出された場合（ＹＥＳ側）にはＳ２０６に移行する。一方、顔検出されていない場合（ＮＯ側）にはＳ２０９に移行する。

ステップ２０６：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算を実行する。なお、顔領域を複数検出した場合には、ＣＰＵ２６は、撮影画面の中央に位置する顔領域または最も至近側に位置する顔領域を優先してＡＦ演算を実行する。

ステップ２０７：ＣＰＵ２６の顔認識部３２は、検出した顔領域（Ｓ２０４）に対して顔認識処理を実行する。そして、顔認識部３２は、認識対象の顔（Ｓ２０２）が含まれているか否かを判定する。認識対象の顔が含まれている場合（ＹＥＳ側）にはＳ２０８に移行する。一方、認識対象の顔が含まれない場合（ＮＯ側）にはＳ２１０に移行する。

ステップ２０８：ＣＰＵ２６は、検出された登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、Ｓ２１０に移行する。

ここで、認識対象の顔が撮影画面内に複数検出されている場合には、ＣＰＵ２６は所定のアルゴリズムで登録人物の優先順位を決定する。そして、ＣＰＵ２６は、優先順位が最も高い登録人物に対応する「顔認識時の処理設定」に基づいて電子カメラの各種設定を変更する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、ＣＰＵ２６はＳ２１１に移行して登録人物を自動的に撮影する。

ステップ２０９：一方、この場合には、ＣＰＵ２６はユーザーによるレリーズ釦の半押し操作に応じて、通常撮影時のアルゴリズムでＡＦエリアを選択してＡＦ演算を実行する。

ステップ２１０：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ２１１に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＣＰＵ２６はレリーズ釦の全押し操作を待機する。

ステップ２１１：ＣＰＵ２６は撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。なお、認識対象の顔が撮影されている場合には、画像処理部２０はＳ２０８で設定された画像処理を撮影画像データに施す。

ステップ２１２：ＣＰＵ２６は撮影画像データを記録媒体２９に記録する。なお、認識対象の顔が撮影されている場合、ＣＰＵ２６は顔登録メモリ２７で指定されているディレクトリパスに基づいて、所定の記録フォルダに撮影画像データを分類して記録することもできる。以上で、「顔認識撮影モード」での一連の動作が終了する。

以下、本実施形態の「顔認識撮影モード」の効果を説明する。上記の顔認識撮影モードでは、顔認識データに基づいて撮影人物の顔認識が行われる（Ｓ２０７）。そして、認識対象の顔が検出された場合には、その登録人物に対応する設定で撮影時の各種処理などが行われる（Ｓ２０８、Ｓ２１１、Ｓ２１２）。そのため、登録人物の撮影時にユーザーの意図を反映させた処理を自動的に行うことができ、電子カメラを操作するユーザーの利便性が著しく向上する。

＜第２実施形態の説明＞
図８は第２実施形態の「顔登録モード」での動作を示す流れ図である。なお、図８のＳ３０１〜Ｓ３１２は図２のＳ１０１〜Ｓ１１２にそれぞれ対応し、図８のＳ３１５は図２のＳ１１６に対応するので重複説明を省略する。

ステップ３１３：ＣＰＵ２６はＡＦ終了後に自動的にレリーズを行って、撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データ（顔登録画像データ）を生成する。

ステップ３１４：ＣＰＵ２６の顔認識部３２は、顔登録画像データ（Ｓ３１３）から登録人物の顔認識データを生成する。また、画像処理部２０は、顔登録画像データからインデックス画像データを生成する。

以下、第２実施形態の「顔登録モード」の効果を説明する。第２実施形態では、顔検出時には人物の顔を自動的に撮影して顔認識データが生成される（Ｓ３１３、Ｓ３１４）。そのため、ユーザーは登録したい人物に電子カメラを向けるだけで、適正な顔登録画像に基づく顔認識データを容易に取得することが可能となる。特に、第２実施形態ではピント合わせおよびレリーズが自動化されるので、撮影光学系をユーザー自身に向けてユーザーの顔登録撮影を１人のみで行うことも可能となる。

＜第３実施形態の説明＞
図９は第３実施形態の「顔登録モード」での動作を示す流れ図である。なお、図９のＳ４０１〜Ｓ４０９は図２のＳ１０１〜Ｓ１０９にそれぞれ対応し、図９のＳ４１４は図２のＳ１１６に対応するので重複説明を省略する。

ステップ４１０：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算およびＡＥ演算を実行する。

ステップ４１１：ＣＰＵ２６は自動的に所定回数のレリーズを連続して行ない、複数の撮影画像データ（顔登録画像データ）を取得する。ここで、Ｓ４１１ではＣＰＵ２６は撮影条件をすべて同じにして複数の顔登録画像データを撮影する。例えば、被写体が静止していない場合や手ぶれが発生する場合には、同じ撮影条件でも異なる画像が撮影されるためである。なお、ＣＰＵ２６は露出条件やホワイトバランスなどのパラメータを段階的に変化させてブラケティング撮影を行ってもよい。

ステップ４１２：ＣＰＵ２６の顔検出部３１は、Ｓ４１１で取得した複数の顔登録画像データに対してそれぞれ顔検出処理を施して特徴点を抽出する。そして、ＣＰＵ２６は、顔の特徴点の検出状態が良好な順（例えば、抽出された特徴点の数が多い順）に各顔登録画像データに優先順位を設定する。なお、第１実施形態のＳ１１０やＳ１１１で示したように、ＣＰＵ２６は顔登録画像データの顔の向きや表情も考慮して上記の優先順位を設定してもよい。

ステップ４１３：ＣＰＵ２６は、Ｓ４１１で取得した複数の顔登録画像データのうちで最も優先順位の高い顔登録画像データを選択する。そして、ＣＰＵ２６の顔認識部３２は、この選択された顔登録画像データから顔認識データを生成する。また、画像処理部２０は、選択された顔登録画像データからインデックス画像データを生成する。

以下、第３実施形態の「顔登録モード」の効果を説明する。第３実施形態では、複数の顔登録画像データから最適な画像を選択して顔認識データを生成する。そのため、第３実施形態によれば、顔認識撮影時における顔認識の精度をより向上させやすくなる。

＜第４実施形態の説明＞
図１０は第４実施形態の「顔登録モード」での動作を示す流れ図である。なお、図１０のＳ５０１〜Ｓ５０５は図２のＳ１０１〜Ｓ１０５ににそれぞれ対応し、図１０のＳ５１３、Ｓ５１４は図２のＳ１１５、Ｓ１１６にそれぞれ対応するので重複説明を省略する。

ステップ５０６：ＣＰＵ２６は、電子カメラの撮影時の設定を顔登録撮影に適した設定に変更する。具体的には、ＣＰＵ２６はＳ１０６の（３）〜（７）と同様の設定を行うとともに、以下の（ａ）および（ｂ）の設定を行う。

（ａ）ＣＰＵ２６は、「顔登録モード」において撮影画面中央のＡＦエリアを選択してＡＦ演算を行う。この場合には、ＣＰＵ２６はレリーズ釦が半押し操作に応じていわゆる中央重点ＡＦでピント合わせを行うとともに、ピントが合った時点でＡＦロックする制御を実行する。撮影画面中央で顔登録画像を取得することで、撮影光学系の収差の影響をより小さくして精度の高い顔認識データを生成するためである。

（ｂ）ＣＰＵ２６は、「顔登録モード」においてＡＥ方式を撮影画面中央を基準とするスポットＡＥモードに設定する。これにより、撮影画面中央で撮影される顔の露出が最適化される。

ステップ５０７：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。

ここで、Ｓ５０７での画像処理部２０は、プレビュー画像の撮影画面の中央に構図補助表示を合成する（図１１参照）。図１１の構図補助表示は撮影画面内における顔を収める位置を矩形状の枠で示したものである。この構図補助表示により、ユーザーはフレーミングの際に顔の位置決めを容易に行うことができる。そのため、ユーザーは状態のよい顔登録画像を簡単に撮影することが可能となる。なお、構図補助表示の他の例として、矩形状の枠の四隅のみをプレビュー画像に合成してもよい。あるいは、構図補助表示の他の例として、例えば、顔を収める範囲以外をモノクロ表示するなどの手段で、顔を収める範囲の内外で画像の表示色を変化させるようにしてもよい（いずれも図示を省略する）。

また、Ｓ５０７での画像処理部２０は、プレビュー画像の中央以外の周辺領域に撮影見本表示を合成する（図１１参照）。図１１の撮影見本表示は所定方向を向いた人物の顔の写真やイラストを表示したものである。例えば、正面向きの顔登録画像を撮影する場合、撮影見本表示には正面向きの顔画像が表示されることとなる。この撮影見本表示により、今回の撮影に適した顔の状態（顔の向きなど）をユーザーは視覚的に理解できる。そのため、ユーザーは状態のよい顔登録画像を簡単に撮影することが可能となる。なお、画像処理部２０は、「正面の顔を撮影して下さい」などのメッセージ表示をプレビュー画像に合成してもよい。

ステップ５０８：ＣＰＵ２６はレリーズ釦が半押しされたか否かを判定する。レリーズ釦が半押しされた場合（ＹＥＳ側）にはＳ５０９に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＳ５０７に戻る。

ステップ５０９：ＣＰＵ２６は、ユーザーによるレリーズ釦半押し操作に応じて撮影画面中央を基準とするＡＦ演算およびＡＥ演算を実行する。

ステップ５１０：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ５１１に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＣＰＵ２６はレリーズ釦の全押し操作を待機する。

ステップ５１１：ＣＰＵ２６は、ユーザーによるレリーズ釦全押し操作に応じて撮影画像データ（顔登録画像データ）を取得する。

ステップ５１２：ＣＰＵ２６の顔検出部３１は、顔登録画像データ（Ｓ５１１）の撮影画面中央の部分に公知の顔検出処理を施して撮影画面内の顔領域を検出する。

以下、第４実施形態の「顔登録モード」の効果を説明する。第４実施形態では、ユーザーがマニュアル撮影した顔登録画像データに基づいて顔認識データが生成される。そのため、ユーザーの意図に即した顔認識データを作成することが可能となる。また、撮影光学系の収差の影響が少ない撮影画面中央で顔登録画像を取得するので、より精度の高い顔認識データを生成することが可能となる。

（第１実施形態から第４実施形態における顔登録モードの変形例）
上記の実施形態では撮影時に顔登録画像から顔認識データを生成する例を説明した。しかし、顔登録画像から顔認識データを生成する代わりに、ＣＰＵが顔登録画像から顔領域の部分を切り出して顔画像データを生成し、この顔画像データをメモリや記録媒体に記録するようにしてもよい。そして、コンピュータによる後処理で顔画像データから顔認識データを生成するようにすることもできる。

ここで、顔画像データは、顔登録画像の顔領域を例えば８０×８０画素程度のサイズで切り出して生成される。かかる顔画像データの画像に対しては、解像度変換による変倍処理を施さないようにするのが好ましい。また、顔登録画像データの場合と同様に、ＣＰＵは、上記の顔画像データに、インデックス画像データ、顔登録画像データの撮影条件および撮影日時を対応付けして記録しておくことが好ましい。さらに、上記の顔画像データについても、ＣＰＵは、同一の撮影人物から生成した複数の顔画像データを同一のフォルダ等にグループ化して記録するのが好ましい。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。

（１）第１実施形態から第３実施形態までの「顔登録モード」でも、第４実施形態のようにプレビュー画像に構図補助表示や撮影見本表示を合成表示するようにしてもよい。また、第４実施形態の「顔登録モード」でも、レリーズ前にスルー画像データで顔検出処理を行うようにしてもよい。

（２）上記実施形態において、ＣＰＵ２６はレリーズ釦の半押しをトリガとして顔検出によるＡＦ演算を行うようにしてもよい。

（３）上記実施形態において、「顔登録モード」および「顔検出撮影モード」を、「通常撮影モード」、「ポートレート撮影モード」、「再生モード」などと同様にモードダイヤル等で直接指定して立ち上げられるようにしてもよい。

（４）第３実施形態の「顔登録モード」において、ＣＰＵ２６は優先順位の高い順に二以上の顔認識データを生成するようにしてもよい。

（５）第４実施形態の「顔登録モード」において、ＣＰＵ２６は顔登録画像データを記録媒体２９などに撮りだめし、複数の顔登録画像データをバッチ処理して顔認識データを一括生成するようにしてもよい。このとき、第３実施形態のように、顔登録画像データに優先順位を設定して、優先順位の高い順に顔認識データを生成するようにしてもよい。

（６）顔登録メモリの「顔認識データの登録時期」のデータは、元となる顔登録画像データが概ねいつ頃撮影されたかを示すものでも足りる。したがって、「顔認識データの登録時期」については撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。

（７）「顔認識撮影モード」の顔認識処理（Ｓ２０７）では、顔認識部３２はグループ化された顔認識データのうちから判定に使用する顔認識データを所定条件で絞り込むようにしてもよい。例えば、顔認識部３２は、「顔認識データの登録時期」に基づいて撮影日時よりも一定期間以上古い顔認識データを除外してもよい。同様に、顔認識部３２は「顔認識データの取得時の撮影条件」に基づいて今回の撮影条件と大きく異なる撮影条件で生成された顔認識データを除外してもよい。

（８）「顔認識撮影モード」の顔認識処理（Ｓ２０７）では、顔認識部３２は撮影光学系１１の焦点距離のデータから演算したディストーションの度合いに応じて、顔認識データを補正するようにしてもよい。

（９）「顔登録モード」において、ＣＰＵ２６は顔認識データの顔の向きに関する識別情報を生成し、顔登録メモリ２７に上記識別情報も記録するようにしてもよい。顔の向きに関する識別情報は、第１実施形態のＳ１１０に示す処理の結果に基づいてＣＰＵ２６が生成してもよい。あるいは、撮影時または編集時におけるユーザーの入力に基づいてＣＰＵ２６が上記識別情報を生成してもよい。

（１０）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ１９と顔登録メモリ２７とが共通のメモリで構成されていてもよい。顔登録メモリ２７がデータバス２８を介してＣＰＵ２６に接続されていてもよい。また、揺動センサ部１３、像ぶれ補正レンズ１４および第２レンズ駆動部１５からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット３０が内蔵されていてもよい。

（１１）ＣＰＵ２６は顔登録メモリ２７内のデータを記録媒体２９に記録して、顔登録メモリ２７のバックアップを可能としてもよい。また、ＣＰＵ２６は、予め他の電子カメラで生成された顔認識データ等を記録媒体２９から取得し、電子カメラ間で顔登録メモリ２７のデータを共用できるようにしてもよい。

１１…撮影光学系、１１ａ…ズームレンズ、１１ｂ…フォーカシングレンズ、１２…第１レンズ駆動部、１３…揺動センサ部、１４…像ぶれ補正レンズ、１５…第２レンズ駆動部、１６…撮像素子、１７…アナログ信号処理部、２０…画像処理部、２４…液晶モニタ、２５…閃光発光部、２６…ＣＰＵ、２７…顔登録メモリ、３１…顔検出部、３２…顔認識部

Claims (5)

1. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
   前記撮像素子からの前記画像信号に基づいて撮影画面内の顔領域を検出する顔検出部と、
   前記顔領域の部分から撮影人物の顔の特徴点を抽出し、前記特徴点に基づいて顔認識データを生成する顔認識データ生成部と、
   前記顔領域の検出状態に基づいて、撮影人物の顔の向きを推定し、該顔の向きが所定方向と一致しないときには、前記顔認識データを生成するための前記撮像素子のレリーズ動作を不能化する制御部と、
   を備え、
   前記顔検出部は、設定されたモードに応じて、前記顔領域の検出精度を変更することを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記制御部は、顔認識データを生成するときに、複数回のレリーズにより撮影画像のデータを複数取得することを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記制御部は、撮影条件を段階的に変更して前記撮影画像のデータを複数取得することを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラにおいて、
   前記制御部は、露出条件またはホワイトバランスのパラメータを段階的に変更して前記撮影画像のデータを複数取得することを特徴とする電子カメラ。
5. 請求項２から請求項４のいずれか１項に記載の電子カメラにおいて、
   前記顔認識データ生成部は、複数の前記撮影画像のデータからそれぞれ前記特徴点を抽出し、抽出された特徴点の数に応じて、前記撮影画像のデータから生成された前記顔認識データに優先順位を付与することを特徴とする電子カメラ。

Images