JP4432886B2 - 電子カメラ - Google Patents

Description

本発明は、人物の顔認識機能を備えた電子カメラに関する。

従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている（特許文献１参照）。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。
特開平６−２５９５３４号公報

ところで、顔認識機能を有する電子カメラでは顔認識の結果に応じて撮影条件や画像処理等をカスタマイズすることが可能であるが、複数の認識対象が一度に撮影された状況でもユーザーの意図を適切に反映した制御を行なう電子カメラが要望されている。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、複数の認識対象が一度に撮影された状況でも、顔認識の結果に応じてユーザーの意図を適切に反映した制御を行なう電子カメラを提供することである。

第１の発明に係る電子カメラは、撮像素子と、顔検出部と、記録部と、顔認識部と、制御部と、入力部と、表示部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、登録人物の顔の特徴点に基づいて予め生成された顔認識データと、登録人物の撮影時に適用される撮影設定とを対応付けて記録する。顔認識部は、顔検出部の抽出した特徴点および顔認識データに基づいて、撮影人物が登録人物であるか否かを判定する。制御部は、登録人物の優先順位を設定するとともに、登録人物の撮影時には撮影設定に基づいて撮影画像データを生成し、登録人物が複数検出された場合には登録人物のうちで最も優先順位の高い人物に対応する撮影設定を適用する。入力部は、ユーザーの入力を受け付ける。表示部は、登録人物の指定を行うための編集画面を表示する。記録部は、登録人物ごとの撮影回数を示す撮影回数データをさらに記録する。また、制御部は、撮影回数データに基づいて優先順位の設定を変更可能であり、撮影回数が多い登録人物の優先順位を高く設定し、編集画面上における登録人物の表示項目の表示位置または表示順を優先順位に応じて変化させ、入力部に入力された表示項目の指定入力に基づいて、登録人物に対応する表示内容を変化させる。

第２の発明に係る電子カメラは、撮像素子と、顔検出部と、記録部と、顔認識部と、制御部と、入力部と、表示部とを備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、登録人物の顔の特徴点に基づいて予め生成された顔認識データと、登録人物の撮影時に適用される撮影設定とを対応付けて記録する。顔認識部は、顔検出部の抽出した特徴点および顔認識データに基づいて、撮影人物が登録人物であるか否かを判定する。制御部は、登録人物の優先順位を設定するとともに、登録人物の撮影時には撮影設定に基づいて撮影画像データを生成し、登録人物が複数検出された場合には登録人物のうちで最も優先順位の高い人物に対応する撮影設定を適用する。入力部は、ユーザーの入力を受け付ける。表示部は、登録人物の指定を行うための編集画面を表示する。記録部は、同一の登録人物に関する複数の顔認識データをグループ化して記録可能である。また、制御部は、グループ化された顔認識データ群について、該顔認識データ群に含まれる顔認識データの数によって優先順位の設定を変更可能であり、編集画面上における登録人物の表示項目の表示位置または表示順を優先順位に応じて変化させ、入力部に入力された表示項目の指定入力に基づいて、登録人物に対応する表示内容を変化させる。
第３の発明は、第１または第２の発明において、制御部は、入力部からの入力に基づいて登録人物を指定して優先順位を個別的に設定することを特徴とする。

ここで、上記発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。

本発明の電子カメラでは、複数の認識対象が一度に撮影された状況でも、顔認識の結果に応じてユーザーの意図を適切に反映した制御を行なうことができる。

図１は本実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影光学系１１と、第１レンズ駆動部１２と、揺動センサ部１３と、像ぶれ補正レンズ１４と、第２レンズ駆動部１５と、撮像素子１６と、アナログ信号処理部１７と、Ａ／Ｄ変換部１８と、内蔵メモリ１９と、画像処理部２０と、カードＩ／Ｆ２１と、入出力Ｉ／Ｆ２２と、操作部材２３および液晶モニタ２４と、閃光発光部２５と、ＣＰＵ２６と、顔登録メモリ２７およびデータバス２８とを有している。なお、内蔵メモリ１９、画像処理部２０、カードＩ／Ｆ２１、入出力Ｉ／Ｆ２２およびＣＰＵ２６は、データバス２８を介して接続されている。

撮影光学系１１は、ズームレンズ１１ａと、合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影光学系１１を構成する各レンズは、第１レンズ駆動部１２によって光軸方向に駆動調整される。
揺動センサ部１３は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部１３は電子カメラの揺れを示すカメラ揺動データをＣＰＵ２６に出力する。このカメラ揺動データは、像ぶれ補正レンズ１４の移動量の演算に使用される。

像ぶれ補正レンズ１４は光軸直角方向に揺動可能に構成されている。第２レンズ駆動部１５は、像ぶれ補正レンズ１４を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ１４を横方向に揺動させる横揺動手段とで構成される。この第２レンズ駆動部１５は、ＣＰＵ２６が演算した像ぶれ補正レンズ１４の移動量に基づいて、像ぶれ補正レンズ１４を揺動させてぶれ補正を実行する。

撮像素子１６は、撮影光学系１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子１６は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号（スルー画像信号）を出力する。スルー画像信号は、後述のＡＦ演算、ＡＥ演算および顔検出動作や、ファインダ用画像の生成などに使用される。

アナログ信号処理部１７は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１８は撮像素子１６のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ１９は、画像処理部２０での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ１９には後述の撮影画像データを記録可能な記録領域を設けることもできる。

画像処理部２０はデジタル画像信号に所定の画像処理を施す。この画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部２０はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、ＣＰＵ２６による顔認識処理に使用されるとともに、液晶モニタ２４の表示画像（プレビュー画像）としても使用される。さらに、画像処理部２０は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部２０は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。

また、画像処理部２０は、ＣＰＵ２６の指示により各種表示（顔認識時の枠表示など）のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ２４に出力する。これによって、プレビュー画像には上記の各種表示が合成される。
カードＩ／Ｆ２１には、記録媒体２９を接続するためのコネクタが形成されている。記録媒体２９は公知の半導体メモリなどで構成される。そして、カードＩ／Ｆ２１は、記録媒体２９に対する撮影画像データの書き込み／読み込みを制御する。

入出力Ｉ／Ｆ２２には、操作部材２３および液晶モニタ２４が接続されている。操作部材２３は入力釦やレリーズ釦などを備えている。操作部材２３の入力釦は、例えば、電子カメラの撮影モード（通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等）の切り換え入力などを受け付ける。また、操作部材２３のレリーズ釦は、半押しによるＡＦ動作の指示入力と、全押しによるレリーズ入力とを受け付ける。

一方、液晶モニタ２４は主として電子カメラの背面部分に配置される。この液晶モニタ２４には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ２４には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ２４のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。

さらに、入出力Ｉ／Ｆ２２には外部接続端子が形成されている。そして、入出力Ｉ／Ｆ２２は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。また、入出力Ｉ／Ｆ２２の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット３０を接続することも可能である。

閃光発光部２５は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。
ＣＰＵ２６は、不図示のＲＯＭに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、ＣＰＵ２６はスルー画像信号に基づいて公知のコントラスト方式のＡＦ（オートフォーカス）演算や、公知のＡＥ（自動露出）演算などを実行する。また、ＣＰＵ２６は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ１４の移動量を演算する。

さらに、ＣＰＵ２６は顔検出部３１、顔認識部３２として機能する。顔検出部３１は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

顔認識部３２は、「顔登録モード」では、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部３２は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。
また、顔認識部３２は、「顔認識撮影モード」では、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３２は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３２は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３２は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。

なお、ＣＰＵ２６は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子１６へのレリーズ指示などを実行することが可能である。
顔登録メモリ２７には、ＣＰＵ２６の顔認識部３２が生成した顔認識データが記録される。この顔登録メモリ２７には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ２７の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、ＣＰＵ２６はグループフォルダ内の顔認識データを顔登録メモリ２７から一括して読み出すことが可能となっている。

また、顔登録メモリ２７には、「登録人物の名称」および「顔認識時の処理設定」のデータが記録されている。上記の「登録人物の名称」および「顔認識時の処理設定」は、各登録人物のグループフォルダにそれぞれ対応付けされている。
ここで、「顔認識時の処理設定」には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、「顔認識時の処理設定」には、（１）撮影時の撮影条件の設定、（２）撮影画像データの画像処理の設定、（３）撮影画像データの記録先の設定、（４）撮影画像データの印刷指定の設定、（５）撮影画像データの送信設定、などが含まれる。

上記（１）の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定（浅め、標準の選択）などが含まれる。また、登録人物の検出の際にＣＰＵ２６が自動的に撮影を行う設定も可能である。上記（２）の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。
上記（３）の記録先の設定では、撮影画像データの記録先となる記録媒体２９内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、ＣＰＵ２６は顔登録メモリ２７のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。

上記（４）の印刷指定の設定では、例えば、ＤＰＯＦ（Digital Print Order Format）などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記（５）の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報（電子メールアドレス）とを指定できる。
また、顔登録メモリ２７には、「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータが記録されている。上記の「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。

上記の「顔登録画像」は顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、「顔登録画像」は上記の編集画面で液晶モニタ２４に表示される。すなわち、「顔登録画像」は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、「顔登録画像」によって、ユーザーは誰のどのような画像（顔正面、横向きなど）から顔認識データが生成されたかを編集画面で確認することも可能となる。

「顔認識データの登録時期」は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、「顔認識データの取得時の撮影条件」は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系１１の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、ＣＰＵ２６が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。

また、顔登録メモリ２７には、各登録人物ごとの撮影回数を示す撮影回数データも記録される。この撮影回数データの撮影回数は、ＣＰＵ２６が顔認識撮影モードでの顔認識の結果に応じてインクリメントする。なお、上記の撮影回数は、ユーザーが編集画面などで手動で入力するようにしてもよい。
（編集画面の説明）
次に、本実施形態の電子カメラの編集画面について説明する。顔登録メモリ２７の各種データを編集または確認する場合、ユーザー（操作者）は操作部材２３によって編集画面を立ち上げる。

図２および図３は編集画面の表示の一例を示す図である。編集画面は、ＧＵＩ(Graphical User Interface)形式の「登録人物の選択画面（図２参照）」および「登録人物の詳細情報画面（図３参照）」で構成されている。なお、以下に示す編集画面での表示処理・動作は、いずれもＣＰＵ２６が所定のシーケンスプログラムに基づいて実行する。
図２の「登録人物の選択画面」は編集画面の初期表示画面である。「登録人物の選択画面」では、顔登録メモリ２７の登録人物に対応する人物選択用表示項目が表示される。この人物選択用表示項目の数は顔登録メモリ２７の登録人物の数（グループフォルダの数）に一致する。そして、「登録人物の選択画面」では人物選択用表示項目が一覧可能に表示される。なお、「登録人物の選択画面」には人物選択用表示項目の一部のみを表示し、スクロール形式または頁形式の画面切り替えで一覧可能としてもよい。

上記の人物選択用表示項目にはそれぞれ「登録人物の名称」が表示される。この「登録人物の名称」には、顔登録メモリ２７で登録人物のグループフォルダに対応付けされている「登録人物の名称」のデータが使用される。また、人物選択用表示項目での識別性、検索性を高めるために、人物選択用表示項目には、対応する登録人物を示すインデックス画像が表示される。例えば、ＣＰＵ２６は以下の手法で人物選択用表示項目のインデックス画像を設定する。

第１に、ＣＰＵ２６は、所定のイラスト画像群からユーザーが選択したイラスト画像をインデックス画像に設定する。かかるイラスト画像もユーザーの意図によって登録人物の特定や分類に役立てることができる。上記のイラスト画像は、不図示のＲＯＭ等に予め記録されたものであって、例えばＧＩＦ形式、ＢＭＰ形式等のデータ形式で構成される。なお、上記のイラスト画像には、例えばハートマークや星などの図記号や「家族」、「友達」などの文字なども含まれる。

第２に、ＣＰＵ２６は、顔登録メモリ２７の各グループフォルダに記録されている登録人物の「顔登録画像」をインデックス画像に設定する。この場合には顔登録画像によって、人物選択用表示項目と登録人物との関係性が視覚的に明確になるので特に好ましい。
また、グループフォルダ内に複数の「顔登録画像」が記録されている場合には、ＣＰＵ２６は以下の（１）〜（４）のいずれかの手法でインデックス画像を選択する。

（１）ＣＰＵ２６は、複数の顔登録画像からユーザーが選択した顔登録画像をインデックス画像に設定する。この場合には、ユーザーが最適であると判断した顔登録画像がインデックス画像となるので、ユーザーの意図を反映させた表示画面にすることができる。
（２）ＣＰＵ２６は、顔登録メモリ２７の「顔認識データの登録時期」を参照し、複数の顔登録画像から最も撮影日時が新しい画像をインデックス画像に設定する。この場合には、登録人物に関する最新の顔登録画像が自動的にインデックス画像となるので、現在の登録人物に一番近い状態と考えられる顔を表示させることができる。

（３）ＣＰＵ２６は、複数の顔登録画像のうちで、顔正面を撮影した顔登録画像を選択してインデックス画像に設定する。この場合には、正面を向いた顔画像が自動的にインデックス画像となるので、人物選択用表示項目での識別性、検索性をより向上させることができる。なお、顔正面を撮影した顔登録画像が複数存在する場合には、ＣＰＵ２６は上記（２）に示すように撮影日時の新しい画像をインデックス画像に設定する。

ここで、顔登録画像の顔向きの検出は以下のようにして行われる。例えば、顔認識データに予め顔の向きに関する識別情報を記録し、ＣＰＵ２６が上記識別情報を参照して顔登録画像の顔の向きを判断してもよい。また、顔登録画像に対応する顔認識データに着目し、ＣＰＵ２６は顔認識データでの目、鼻、口等の特徴点の抽出状態から顔の向きを類推するようにしてもよい。

（４）ＣＰＵ２６は、複数の顔登録画像を所定間隔ごとに順次切り替えて、スライドショー形式でインデックス画像の表示設定を行う。この場合には、ユーザーは「登録人物の選択画面」で登録人物の顔登録画像の登録数（すなわち、顔認識データの登録数）を把握することが可能となる。また、インデックス画像の切り替えにより、視覚的変化に富んでエンタテイメント性の高い「登録人物の選択画面」の表示を実現できる。

次に、「登録人物の選択画面」での操作を説明する。「登録人物の選択画面」では、ユーザーは図２において太線で示す選択枠（あるいはカーソル等）を操作部材２３で操作し、ＣＰＵ２６に人物選択用表示項目の指定入力を行うことができる。なお、ユーザーが表示項目を指定した上でさらに決定入力を行うと、液晶モニタ２４の表示画面が指定した登録人物に対応する「登録人物の詳細情報画面」に切り替わるようになっている。また、「登録人物の選択画面」では、表示項目に対応する登録人物のデータの一括削除を行うこともできる。

また、「登録人物の選択画面」では、上記した表示項目の指定操作によって、ユーザーは顔認識対象の登録人物（撮影時に顔認識を行う登録人物）をＣＰＵ２６に指定入力できる。このとき、ＣＰＵ２６は１または２以上の登録人物の指定を受け付けることができる。例えば、ＣＰＵ２６は顔登録メモリ２７の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ（例えば、家族、サークルなど）で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、ＣＰＵ２６にリンクされた登録人物の一括指定を入力することもできる。

さらに、「登録人物の選択画面」では、ユーザーは登録人物の優先順位（「顔認識時の処理設定」が競合する場合の優先順位）をＣＰＵ２６に設定入力できる。この優先順位は、表示項目の指定操作によって個別的に入れ替えることが可能である。また、ＣＰＵ２６は、所定条件で登録人物の優先順位を変更することも可能である。
例えば、ＣＰＵ２６は、（１）登録人物の登録順、（２）登録人物の名称の文字列、（３）グループフォルダ内の顔認識データの数、（４）顔認識の指定回数、などを基準として登録人物を昇順・降順にソートし、ソート後の順番に従って優先順位を自動設定できる。また、ＣＰＵ２６は、撮影回数データに基づいて撮影回数がより多い登録人物の優先順位を高く設定することもできる。なお、「登録人物の選択画面」では、人物選択用表示項目の表示位置または表示順は優先順位と対応しており、優先順位の高い順に人物選択用表示項目が表示されるようになっている。

一方、図３に示す「登録人物の詳細情報画面」は、上下に二分された画面構成となっている。「登録人物の詳細情報画面」の上部領域には、指定された登録人物に関する「登録人物の名称」および「顔認識時の処理設定」のデータが顔登録メモリ２７から読み出されてそれぞれ表示される。そして、「登録人物の詳細情報画面」では、「登録人物の名称」および「顔認識時の処理設定」の任意の項目を指定し、上記の各データの内容をそれぞれ変更できるように設定されている。なお、「登録人物の詳細情報画面」での変更内容は、顔登録メモリ２７の「登録人物の名称」および「顔認識時の処理設定」にそれぞれ上書きされて反映されることとなる。

また、「登録人物の詳細情報画面」の下部領域には、顔認識データに対応する顔認識データ用表示項目が表示される。顔認識データ用表示項目の総数は登録人物のグループフォルダ内にある顔認識データの数と一致する。そして、「登録人物の詳細情報画面」の下部領域には、顔認識データ用表示項目が一覧可能に表示される。なお、「登録人物の詳細情報画面」の下部領域には顔認識データ用表示項目の一部のみを表示し、スクロール形式または頁形式の画面切り替えで一覧可能としてもよい。

ここで、顔認識データ用表示項目には、個々の顔認識データに対応付けされているデータが表示される。具体的には、顔認識データ用表示項目には、インデックス画像としての「顔登録画像」と、「顔認識データの登録時期」と、「顔認識データの取得時の撮影条件」とがそれぞれ表示される。これらの情報により、各顔認識データの詳細をユーザーが把握することができ、顔認識データの取捨選択を容易に行うことが可能となる。なお、「顔認識データの取得時の撮影条件」については、顔認識データ用表示項目に直接表示することなく、プルダウン表示や別画面表示などで別途詳細に表示してもよい。

そして、「登録人物の詳細情報画面」では、図３において太線で示される選択枠（あるいはカーソル等）を操作部材２３で操作して、顔認識データ用表示項目をユーザーが指定できるようになっている。そして、「登録人物の詳細情報画面」では、指定した表示項目の表示順の入れ替えや、指定した表示項目に対応する顔認識データの削除、などを行うことが可能である。

以上のように、「登録人物の選択画面」では人物選択用表示項目にインデックス画像が表示されるので、ユーザーは所定の登録人物の表示項目を容易に識別することできる。また、「登録人物の詳細情報画面」では顔認識データ用表示項目に顔登録画像が表示されるので、ユーザーは表示項目に対応する顔認識データの概要を視覚的に把握することができる。

（顔認識撮影モードでの動作）
以下、本実施形態の電子カメラの「顔認識撮影モード」での動作を説明する。
図４は本実施形態の「顔認識撮影モード」の動作を示す流れ図である。この「顔認識撮影モード」は、指定した登録人物が撮影画面に存在する場合に、電子カメラが所定の制御を行って撮影画像データを取得する撮影モードである。

ステップ１０１：まず、ユーザーは操作部材２３により電子カメラの撮影モードを「顔認識撮影モード」に設定する。
例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図５参照）を液晶モニタ２４に表示する。そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に「顔認識撮影モード」の起動を指示する。これにより、ＣＰＵ２６は「顔認識撮影モード」の一連の動作を開始する。

ステップ１０２：ＣＰＵ２６は、登録人物の選択画面（図２参照）を液晶モニタ２４に表示する。そして、ＣＰＵ２６は、顔認識対象の登録人物（撮影時に顔認識を行う登録人物）の指定入力を受け付ける。ここで、Ｓ１０２ではユーザーにより複数の登録人物が指定されるものとする。なお、顔認識対象の登録人物を撮影前に予めユーザーがＣＰＵ２６に指定入力しておくことも可能である。

ステップ１０３：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ１０４：一方、ＣＰＵ２６の顔検出部３１は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。

ステップ１０５：ＣＰＵ２６はＳ１０４で撮影画面から顔検出されたか否かを判定する。顔検出された場合（ＹＥＳ側）にはＳ１０６に移行する。一方、顔検出されていない場合（ＮＯ側）にはＳ１１１に移行する。
ステップ１０６：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算を実行する。なお、顔領域を複数検出した場合には、ＣＰＵ２６は、撮影画面の中央に位置する顔領域または最も至近側に位置する顔領域を優先してＡＦ演算を実行する。

ステップ１０７：ＣＰＵ２６の顔認識部３２は、検出した顔領域（Ｓ１０４）に対して顔認識処理を実行する。そして、顔認識部３２は、認識対象の顔（Ｓ１０２）が含まれているか否かを判定する。認識対象の顔が含まれている場合（ＹＥＳ側）にはＳ１０８に移行する。一方、認識対象の顔が含まれない場合（ＮＯ側）にはＳ１１１に移行する。
ステップ１０８：ＣＰＵ２６は認識対象の顔が複数検出されているか否かを判定する。認識対象の顔が複数の場合（ＹＥＳ側）にはＳ１０９に移行する。一方、認識対象の顔が１つのみの場合（ＮＯ側）にはＳ１１０に移行する。

ステップ１０９：ＣＰＵ２６は、編集画面で設定された登録人物の優先順位を参照し、顔認識された登録人物の優先順位をそれぞれ比較する。そして、ＣＰＵ２６は、最も優先順位の高い登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、Ｓ１１２に移行する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、ＣＰＵ２６はＳ１１３に移行して登録人物を自動的に撮影する。

ステップ１１０：ＣＰＵ２６は、検出された登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、Ｓ１１２に移行する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、ＣＰＵ２６はＳ１１３に移行して登録人物を自動的に撮影する。
ステップ１１１：一方、この場合には、ＣＰＵ２６はユーザーによるレリーズ釦の半押し操作に応じて、通常撮影時のアルゴリズムでＡＦエリアを選択してＡＦ演算を実行する。

ステップ１１２：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ１１３に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＣＰＵ２６はレリーズ釦の全押し操作を待機する。
ステップ１１３：ＣＰＵ２６は撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。なお、認識対象の顔が撮影されている場合には、画像処理部２０はＳ１０９、Ｓ１１０で設定された画像処理を撮影画像データに施す。

ステップ１１４：ＣＰＵ２６は撮影画像データを記録媒体２９に記録する。また、認識対象の顔が撮影されている場合、ＣＰＵ２６は顔登録メモリ２７で指定されているディレクトリパスに基づいて、所定の記録フォルダに撮影画像データを分類して記録することもできる。
さらに、ＣＰＵ２６は、Ｓ１０９またはＳ１１０での顔認識の結果に基づいて顔登録メモリ２７の撮影回数データの撮影回数をインクリメントする。このとき、ＣＰＵ２６は認識された全ての登録人物の撮影回数をインクリメントしてもよく、優先順位に応じて選択された登録人物のみ撮影回数をインクリメントするようにしてもよい。以上で、「顔認識撮影モード」での一連の動作が終了する。

以下、本実施形態の「顔認識撮影モード」の効果を説明する。上記の顔認識撮影モードでは、顔認識データに基づいて撮影人物の顔認識が行われる（Ｓ１０７）。そして、認識対象の顔が検出された場合には、その登録人物に対応する設定で撮影時の各種処理などが行われる（Ｓ１０９、Ｓ１１０、Ｓ１１３、Ｓ１１４）。そのため、登録人物の撮影時にユーザーの意図を反映させた処理を自動的に行うことができ、電子カメラを操作するユーザーの利便性が著しく向上する。

また、上記の顔認識撮影モードでは、複数の認識対象が一度に撮影された場合には、ユーザーの設定した優先順位が最も高い登録人物の設定が適用される（Ｓ１０９）。そのため、集合写真などの撮影においても撮影画像にユーザーの意図を適切に反映させることが可能となる。特に、上記の優先順位は編集画面でユーザーが自由に変更できるので、撮影シーン等に応じてきめ細かい制御を行うことも容易となる。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。
（１）上記実施形態の編集画面の構成はあくまで一例にすぎない。例えば、「登録人物の選択画面」を設けることなく、編集画面の初期表示画面で顔認識データ用表示項目が顔登録画像とともに一覧表示される構成であってもよい。

（２）上記実施形態において、「登録人物の選択画面」で表示されるインデックス画像には登録人物の任意の撮影画像を用いることもできる。例えば、ＣＰＵ２６はインデックス画像用に特別に撮影した画像を「登録人物の選択画面」で表示してもよい。また、ＣＰＵ２６は、既に削除した顔認識データに対応する顔登録画像を「登録人物の選択画面」で表示できるようにしてもよい。

（３）顔登録メモリの「顔認識データの登録時期」のデータは、元となる顔登録画像データが概ねいつ頃撮影されたかを示すものでも足りる。したがって、「顔認識データの登録時期」については撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。
（４）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ１９と顔登録メモリ２７とが共通のメモリで構成されていてもよい。顔登録メモリ２７がデータバス２８を介してＣＰＵ２６に接続されていてもよい。また、揺動センサ部１３、像ぶれ補正レンズ１４および第２レンズ駆動部１５からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット３０が内蔵されていてもよい。

（５）ＣＰＵ２６は顔登録メモリ２７内のデータを記録媒体２９に記録して、顔登録メモリ２７のバックアップを可能としてもよい。また、ＣＰＵ２６は、予め他の電子カメラで生成された顔認識データ等を記録媒体２９から取得し、電子カメラ間で顔登録メモリ２７のデータを共用できるようにしてもよい。

本実施形態の電子カメラの構成を示すブロック図 登録人物の選択画面の一例を示す図 登録人物の詳細情報画面の一例を示す図 本実施形態の「顔認識撮影モード」の動作を示す流れ図 モード選択画面の一例を示す図

符号の説明

１１…撮影光学系、１６…撮像素子、２３…操作部材、２４…液晶モニタ、２６…ＣＰＵ、２７…顔登録メモリ、３１…顔検出部、３２…顔認識部

Claims (3)

1. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
   前記画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔検出部と、
   登録人物の顔の特徴点に基づいて予め生成された顔認識データと、前記登録人物の撮影時に適用される撮影設定とを対応付けて記録する記録部と、
   前記顔検出部の抽出した特徴点および前記顔認識データに基づいて、前記撮影人物が前記登録人物であるか否かを判定する顔認識部と、
   前記登録人物の優先順位を設定するとともに、前記登録人物の撮影時には前記撮影設定に基づいて撮影画像データを生成し、前記登録人物が複数検出された場合には前記登録人物のうちで最も優先順位の高い人物に対応する前記撮影設定を適用する制御部と、
   ユーザーの入力を受け付ける入力部と、
   前記登録人物の指定を行うための編集画面を表示する表示部とを備え、
   前記記録部は、前記登録人物ごとの撮影回数を示す撮影回数データをさらに記録し、
   前記制御部は、前記撮影回数データに基づいて前記優先順位の設定を変更可能であり、前記撮影回数が多い登録人物の前記優先順位を高く設定し、前記編集画面上における前記登録人物の表示項目の表示位置または表示順を前記優先順位に応じて変化させ、前記入力部に入力された前記表示項目の指定入力に基づいて、前記登録人物に対応する表示内容を変化させる
   ことを特徴とする電子カメラ。
2. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
   前記画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔検出部と、
   登録人物の顔の特徴点に基づいて予め生成された顔認識データと、前記登録人物の撮影時に適用される撮影設定とを対応付けて記録する記録部と、
   前記顔検出部の抽出した特徴点および前記顔認識データに基づいて、前記撮影人物が前記登録人物であるか否かを判定する顔認識部と、
   前記登録人物の優先順位を設定するとともに、前記登録人物の撮影時には前記撮影設定に基づいて撮影画像データを生成し、前記登録人物が複数検出された場合には前記登録人物のうちで最も優先順位の高い人物に対応する前記撮影設定を適用する制御部と、
   ユーザーの入力を受け付ける入力部と、
   前記登録人物の指定を行うための編集画面を表示する表示部とを備え、
   前記記録部は、同一の登録人物に関する複数の前記顔認識データをグループ化して記録可能であって、
   前記制御部は、前記グループ化された顔認識データ群について、該顔認識データ群に含まれる前記顔認識データの数によって前記優先順位の設定を変更可能であり、前記編集画面上における前記登録人物の表示項目の表示位置または表示順を前記優先順位に応じて変化させ、前記入力部に入力された前記表示項目の指定入力に基づいて、前記登録人物に対応する表示内容を変化させる
   ことを特徴とする電子カメラ。
3. 前記制御部は、前記入力部からの入力に基づいて前記登録人物を指定して前記優先順位を個別的に設定することを特徴とする請求項１または請求項２に記載の電子カメラ。

Images