JP6598593B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、個人認証を行うことのできる撮像装置に関する。

近年、デジタルカメラなどの撮像装置において、連続的な撮像によって得られた画像データについて所定のフレームを抽出して、当該フレームに人物などの顔が存在する領域（顔領域）を検出するようにしたものがある。そして、この種の撮像装置においては、検出によって得られた顔領域についてＡＦ処理およびＡＥ処理を行うようにしている。さらには、顔領域を検出して個人の特定（個人認証）を行うようにした撮像装置がある。

例えば、１つ又は複数の撮像部で得られた画像データにおいて、顔領域を検出して当該顔領域において目および鼻などの顔の特徴量を検出し、この特徴量と辞書データとを照合して個人を識別する撮像装置がある（特許文献１又は２参照）。

特開２００４−１９２３７８号公報 特開２００７−３３４８０２号公報

ところで、個人認証を行う際には、予め撮像装置に登録した画像から特徴量データを抽出して辞書データとして記録する必要がある。この際、辞書データに登録されている登録画像（つまり、特徴量データ）の数が多いと、個人認証を行う際の処理量が極めて大きくなって、個人の認証に時間が掛かってしまう。

特に、ライブビューを用いて静止画の撮影を行う場合には、ライブビュー動作の間に認証された被写体であっても、静止画の撮影後にライブビュー動作を再開すると再度認証動作が行われる。この結果、登録画像の数が増大すると不可避的に個人認証に要する処理時間が増加してしまう。

このように、被写体の認証に時間を要すると、ＡＥ処理およびＡＦ処理に時間が掛かってしまい、ユーザの快適な撮影が妨げられるばかりでなく、シャッターチャンスを逃す恐れが増大する。

そこで、本発明の目的は、高速かつ高精度にライブビュー動作再開後の個人認証を行うことができる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、被写体を撮影して画像データを得る撮像装置であって、複数の被写体の各々についてその特徴量が特徴情報として予め格納された第１のデータベースと、前記画像データに応じてライブビュー表示が行われている際に、前記画像データにおいて被写体を検出する検出手段と、前記被写体の画像から前記被写体の特徴量を示す特徴情報を抽出する抽出手段と、前記抽出手段で抽出された特徴情報と前記第１のデータベースに格納された特徴情報とを照合して個人認証処理を行う認証手段と、前記ライブビュー表示が行われている際に、前記認証手段で個人認証処理に成功し、前記抽出手段によって抽出された特徴情報に応じて第２のデータベースを生成する生成手段と、を有し、前記ライブビュー表示を停止した後に、前記ライブビュー表示を再開するイベントが生じると、前記認証手段は前記抽出手段で抽出された特徴情報と前記第２のデータベースに格納された特徴情報とを照合して前記個人認証処理を行うことを特徴とする。

本発明による制御方法は、複数の被写体の各々についてその特徴量が特徴情報として予め格納された第１のデータベースを備え、被写体を撮影して得られた画像データを前記第１のデータベースと照合して個人認証を行う撮像装置の制御方法であって、前記画像データに応じてライブビュー表示が行われている際に、前記画像データにおいて被写体を検出する検出ステップと、前記被写体の画像から前記被写体の特徴量を示す特徴情報を抽出する抽出ステップと、前記抽出ステップで抽出された特徴情報と前記第１のデータベースに格納された特徴情報とを照合して個人認証処理を行う認証ステップと、前記ライブビュー表示が行われている際に、前記認証ステップで個人認証処理に成功し、前記抽出ステップで抽出された特徴情報に応じて第２のデータベースを生成する生成ステップと、を有し、前記ライブビュー表示を停止した後に、前記ライブビュー表示を再開するイベントが生じると、前記認証ステップでは前記抽出ステップで抽出された特徴情報と前記第２のデータベースに格納された特徴情報とを照合して前記個人認証処理を行うことを特徴とする。

本発明による制御プログラムは、複数の被写体の各々についてその特徴量が特徴情報として予め格納された第１のデータベースを備え、被写体を撮影して得られた画像データを前記第１のデータベースと照合して個人認証を行う撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記画像データに応じてライブビュー表示が行われている際に、前記画像データにおいて被写体を検出する検出ステップと、前記被写体の画像から前記被写体の特徴量を示す特徴情報を抽出する抽出ステップと、前記抽出ステップで抽出された特徴情報と前記第１のデータベースに格納された特徴情報とを照合して個人認証処理を行う認証ステップと、前記ライブビュー表示が行われている際に、前記認証ステップで個人認証処理に成功し、前記抽出ステップで抽出された特徴情報に応じて第２のデータベースを生成する生成ステップと、を実行させ、前記ライブビュー表示を停止した後に、前記ライブビュー表示を再開するイベントが生じると、前記認証ステップでは前記抽出ステップで抽出された特徴情報と前記第２のデータベースに格納された特徴情報とを照合して前記個人認証処理を行うことを特徴とする。

本発明によれば、ライブビュー動作を再開した後に、高速かつ高精度に個人認証を行うことができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラにおける認証処理の一例を説明するためのフローチャートである。 図１に示すカメラにおいてライブビュー状態の個人認証処理を説明するためのイミングチャートであり、（Ａ）は辞書データの登録数が少ない場合の個人認証処理を示すタイミングチャート、（Ｂ）は辞書データの登録数が多い場合の個人認証処理を示すタイミングチャートである。 図１に示すカメラで用いられる本辞書データの構成の一例を示す図である。 図１に示すカメラにおける認証処理の他の例を説明するためのフローチャートである。 図１に示すカメラにおいてライブビュー状態で表示部に表示される１フレームの画像データを示す図である。 図１に示すカメラで生成された仮辞書データの構成についてその一例を示す図である。 図１に示すカメラにおいてライブビューを再開した際に表示部に表示される１フレームの画像データを示す図である。 図１に示すカメラにおいてその他の処理が行われてライブビュー動作を再開した際の動作を説明するためのフローチャートである。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００であり、カメラ１００は撮影レンズユニット（以下単に撮影レンズと呼ぶ）１０３を備えている。そして、撮影レンズ１０３には、少なくともフォーカスレンズが備えられている。

撮影レンズ１０３の後段には絞り機能を備えるシャッター１０１が配置されている。そして、シャッター１０１の後側には、光学像（被写体像）を電気信号（アナログ信号）に変換するＣＣＤ又はＣＭＯＳ素子などの撮像素子を有する撮像部１２２が配置されている。撮像部１２２の出力であるアナログ信号はＡ／Ｄ変換器１２３によってデジタル信号（画像データ）に変換される。

なお、撮影レンズ１０３の前面側にはバリア１０２が配置されており、このバリア１０２は撮影レンズ１０３、シャッター１０１、および撮像部１２２などの撮像系を覆って、その汚れおよび破損を防止するためのものである。

画像処理部１２４は、Ａ／Ｄ変換器１２３の出力である画像データ、又はメモリ制御部１１５から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。また、画像処理部１２４は撮像の結果得られた画像データを用いて所定の演算処理を行う。

システム制御部１５０は、画像処理部１２４による所定の演算処理によって得られた演算結果に基づいて露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。

さらに、画像処理部１２４は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器１２３からの出力である画像データは、画像処理部１２４およびメモリ制御部１１５を介して、或いは直接メモリ制御部１１５を介して、メモリ１３２に書き込まれる。このメモリ１３２は、所定枚数の静止画像又は所定時間の動画像および音声を格納するための十分な記憶容量を備えている。

図示のメモリ１３２は画像表示用のメモリ（ビデオメモリ）を兼ねており、メモリ１３２に書き込まれた表示用の画像データはＤ／Ａ変換器１１３を介して表示部１２８に与えられて、画像として表示される。

なお、表示部１２８は、例えば、ＬＣＤである。また、メモリ１３２に蓄積された画像データをＤ／Ａ変換器１１３においてＤ／Ａ変換して表示部１２８に逐次転送して表示すれば、表示部１２８は電子ビューファインダとして機能しスルー画像表示（ライブビュー表示）を行うことができる。

システム制御部１５０はカメラ１００全体の制御を司る。不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであって、例えば、ＥＥＰＲＯＭが用いられる。不揮発性メモリ１５６にはシステム制御部１５０の動作用の定数、変数、およびプログラムなどが格納されている。このプログラムには、後述する各種フローチャートを実行するためのプログラムが含まれる。

システムメモリ１５２は、例えば、ＲＡＭであり、システム制御部１５０は不揮発性メモリ１５６から動作用の定数、変数、およびプログラムなどを読み出して、システムメモリ１５２に展開する。

なお、メモリ１３２に書き込まれた画像データは、システム制御部１５０においてファイル化されて、記録媒体インターフェース（Ｉ／Ｆ）１１８を介して記録媒体１０４に記録される。また、システム制御部１５０は、メモリ１３２、Ｄ／Ａ変換器１１３、および表示部１２８などを制御することによって表示制御を行う。

モード切り替えスイッチ１６０は、例えば、システム制御部１５０の動作モードを静止画記録モード、動画記録モード、および再生モードなどのいずれかに切り替えるためのスイッチである。

シャッターボタン１６１が操作途中（半押し：撮影準備指示）であると、第１のシャッタースイッチ（図示せず）がオンとなって、第１のシャッタースイッチ信号ＳＷ１がシステム制御部５０に与えられる。

これによって、システム制御部１５０はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、およびＥＦ（フラッシュプリ発光）処理などの撮影準備動作を開始する。

シャッターボタン１６１が操作完了（全押し）になると、第２のシャッタースイッチ（図示せず）がオンとなって、第２のシャッタースイッチ信号ＳＷ２がシステム制御部１５０に与えられる。これによって、システム制御部１５０は撮像部１２２の信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。

表示部１２８に表示される種々の機能アイコンを選択操作すると、場面（撮影シーン）毎に適宜機能が割り当てられて、操作部１７０は各種機能ボタンとして作用する。機能ボタンとして、例えば、メニューボタン、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタンがある。

操作部１７０においてメニューボタンが操作されると、システム制御部１５０は各種設定を行うためのメニュー画面を表示部１２８に表示する。ユーザは表示部１２８に表示されたメニュー画面を見て、上下左右の４方向キーおよびＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部１８０は電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などを備えている。そして、電源制御部１８０は電池の装着の有無、電池の種類、および電池残量の検出を行う。また、電源制御部１８０は上記の検出結果およびシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、所定の電圧を必要な期間の間、記録媒体１０４を含むカメラ１００の各部に供給する。

電源制御部１８０には電源部１３０が接続されている。電池部１３０はアルカリ電池又はリチウム電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を備えるとともに、ＡＣアダプターなどを有している。

記録媒体Ｉ／Ｆ１１８は、メモリカード又はハードディスクなどの記録媒体１０４とのインターフェースであり、記録媒体１０４には撮影の結果得られた画像データが記録される。この記録媒体１０４は、例えば、半導体メモリ又は磁気ディスクから構成される。なお、電源スイッチ１７２の操作によって、システム制御部１５０はカメラ１００の電源をオン又はオフに切り替える。

上述のカメラ１００では、所謂中央１点ＡＦ又は顔ＡＦを用いて撮影を行うことができる。中央１点ＡＦでは、撮影によって得られた画像（撮影画像）の中央位置の１点についてＡＦが行われる。また、顔ＡＦでは、カメラ１００に備えられた顔検出機能によって検出された顔領域についてＡＦが行われる。

図示のカメラ１００は顔登録モードおよび顔認証モードを備えており、顔登録モードにおいては、検出した顔領域の特徴量を示す特徴情報が辞書データベース（以下単に辞書データともいう）に登録される。一方、顔認証モードにおいては、撮影画像に存在する人物の顔が辞書データに登録された人物の顔であるか否かを判定して個人認証が行われる。

図１において、カメラ１００は、顔検出部１９０を有している。顔検出部１９０は、画像データに存在する被写体（例えば、人物）から目および口などのエッジを検出して人物の顔の特徴部分を検出する。つまり、顔検出部１９０は、顔が占める画像データの領域（顔の位置および顔の大きさ）と顔の確からしさ（顔信頼度）とに基づいて、顔が占める画像領域を顔画像データ（被写体画像）として検出する顔検出処理を行う。

特徴情報抽出処理部１９１は、顔検出部１９０で得られた顔画像データに応じて、個人認証の際に用いる特徴情報を抽出する。特徴情報を抽出する際には、例えば、顔領域（つまり、顔画像データ）から、目、鼻、および口の器官を中心とする小領域を設定する。そして、特徴情報抽出処理部１９１は当該小領域について、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）を行って特徴情報を得る。なお、ＬＢＰについては、例えば、特開２００９−０８６９２６号公報に記載されているので、ここでは説明を省略する。

図示のように、システムメモリ１５２には、辞書データとして、本辞書データ１９２、仮辞書データ１９４、および被写体特徴量データ１９５が格納される。顔登録モードのおいては、特徴量抽出処理部１９１は特徴情報を本辞書データ１９２又は仮辞書データ１９４に書き込む。一方、顔認証モードにおいては、特徴量抽出処理部１９１は特徴情報を被写体特徴量データ１９５に書き込む。

本辞書データ１９２に特徴情報を格納する際には、例えば、人物を特定するための個人名又はニックネームなどの情報が関連づけて格納される。なお、同一の人物に対して複数の特徴情報を登録するようにしてもよく、同一人物に対して家族又は友達などを複数人数登録するようにしてもよい。

カメラ１００の電源がオフであっても、本辞書データ１９２を保持する必要があるので、カメラの電源がシャットダウンとなる際には、システム制御部１５０はシステムメモリに記録された本辞書データ１９２を不揮発性メモリ１５６に格納する。そして、カメラ１００の電源がオンとされると、システム制御部１５０は不揮発性メモリ１５６から本辞書データ１９２を読み出して、システムメモリ１５２に展開する。なお、後述の類似度算の際には本辞書データ１９２が参照される。

類似度算出処理部１９３は、顔認証モードの際に、特徴情報抽出処理部１９１によって被写体特徴量データ１９５に書き込まれた特徴情報と本辞書データ１９２又は仮辞書データ１９４に記録された特徴情報とをパターンマッチングによって比較する。そして、類似度算出処理部１９３は、比較結果に応じてその類似度を算出する。

システム制御部１５０は、類似度算出処理部１９３で得られた類似度と予め設定した認証用の類似閾値とを比較する。そして、類似度が類似閾値以上であると、システム制御部１５０は顔検出部１９０で得られた顔画像データが本辞書データ１９２又は仮辞書データ１９４に記憶された人物であるとする。つまり、システム制御部１５０は個人認証成功と判定する。

仮辞書データ１９４には、本辞書データ１９２を用いた認証処理において、認証成功した被写体の顔画像データから抽出された特徴情報が格納される。そして、当該特徴情報には人物を特定するための個人名又はニックネームなどのＩＤ情報が関連付けられる。

図２は、図１に示すカメラにおける認証処理の一例を説明するためのフローチャートである。なお、ここでは、ライブビューにおいて得られた顔画像データから本辞書データを用いて個人認証を行うものとする。また、図示のフローチャートに係る処理は、システム制御部１５０の制御下で行われる。

認証処理を開始すると、システム制御部１５０はライブビュー動作を行う（ステップＳ２０１）。ライブビュー動作においては、例えば、システム制御部１５０は、撮像部１２２において３０フレーム／秒などの所定の一定周期で得られた画像データを表示部１２８に表示する。

続いて、システム制御部１５０の制御下で、顔検出部１９０はライブビュー動作で得られた１フレームの画像データにおいて人物の顔を検出する（ステップＳ２０２）。そして、システム制御部１５０は顔検出部１９０によって少なくとも１つの顔領域が検出されたか否かを判定する。つまり、システム制御部１５０は顔検出に成功したか否かを判定する（ステップＳ２０３）。

顔検出が不成功であると（ステップＳ２０３において、ＮＯ）、システム制御部１５０はステップＳ２０２の処理に戻って次のフレームの画像データについて顔検出部１９０による顔検出を行う。顔検出が成功すると（ステップＳ２０３において、ＹＥＳ）、システム制御部１５０は個人認証処理を実行する順番を決定する（ステップＳ２０４）。個人認証処理は主被写体と思われる顔画像データから行うことが望ましい。例えば、システム制御部５０は顔が占める領域が大きい顔画像データおよび顔信頼度が高い顔画像データの処理順番を高くする。

続いて、システム制御部１５０の制御下で、特徴情報抽出処理部１９１は、選択した顔画像データから個人認証に用いる特徴情報を抽出する（ステップＳ２０５）。次に、類似度算出処理部１９３は特徴情報と本辞書データ１９２とをパターンマッチングによって比較してその類似度を算出する（ステップＳ２０６）。

システム制御部１５０は個人認証に成功したか否かを判定する（ステップＳ２０７）。つまり、システム制御部１５０は、ステップＳ２０６で得られた類似度が類似閾値以上であるか否かを判定する。そして、類似度が類似閾値以上であると、システム制御部１５０は個人認証に成功したとする。

個人認証に成功すると（ステップＳ２０７において、ＹＥＳ）、システム制御部１５０は個人認証に成功した顔画像データをシステムメモリ１５２に記録する（ステップＳ２０８：顔図像更新）。その後、システム制御部１５０は全ての顔画像データに対して個人認証処理を行ったか否かを判定する（ステップＳ２０９）。

全ての顔画像データに対して個人認証処理を行っていないと（ステップＳ２０９において、ＮＯ）、システム制御部１５０はステップＳ２０５の処理に戻って次の顔画像データについて特徴情報の抽出を行う。一方、全ての顔画像データに対して個人認証処理を行うと（ステップＳ２０９において、ＹＥＳ）、システム制御部１５０はステップＳ２０２の処理に戻って次のフレームの画像データについて顔検出部１９０による顔検出を行う。

なお、個人認証に失敗すると（ステップＳ２０７において、ＮＯ）、システム制御部１５０はステップＳ２０９の処理に進む。

ところで、シャッターボタン１６１が半押しされて撮影準備が指示された場合又は操作部１７０の操作に応じてライブビュー動作を終了した場合には、システム制御部１５０は認証処理を終了する。

図３は、図１に示すカメラにおいてライブビュー状態の個人認証処理を説明するためのイミングチャートである。そして、図３（Ａ）は辞書データの登録数が少ない場合の個人認証処理を示すタイミングチャートであり、図３（Ｂ）は辞書データの登録数が多い場合の個人認証処理を示すタイミングチャートである。

個人認証処理においては、辞書データに登録されている特徴情報の数が多い場合には、１つの顔画像データに係る認証処理における処理量が非常に大きくなって、結果的に個人認証に時間が掛かる。図３に示す例では、図３（Ｂ）は図３（Ａ）に比べて辞書データに登録された特徴情報の数は４倍であるものとする。

ライブビュー状態において、１／３０秒ごとに撮像部１２２において画像信号の読み出しが行われて、画像処理部１２４による画像処理によって１フレームの画像データが生成される。期間ｔ０で生成された１フレームの画像データについて、期間ｔ１で顔検出処理が行われる。そして、期間ｔ２から一番目の顔画像データについて特徴情報抽出処理と類似度算出処理が行われる。同様にして、次の顔画像データについて特徴情報抽出処理および類似度算出処理が行われる。

図示の例では、特徴情報抽出処理には時間Ｔ０を要するものとする。また、辞書データの登録数が少ない図３（Ａ）の場合には類似度算出処理に時間Ｔ１を要し、辞書データの登録数が多い図３（Ｂ）の場合には類似度算出処理に時間Ｔ１’を要するものとする。なお、Ｔ１＜Ｔ１’である。

図３（Ａ）においては、期間ｔ２〜ｔ３で２人の人物について個人認証処理（特徴量抽出処理および類似度算出処理）が行われる。その後、期間ｔ３において生成された１フレームの画像データについて期間ｔ４で顔検知処理が行われる。以後、期間ｔ５〜ｔ６で個人認証処理が行われる。そして、期間ｔ７で顔検出処理が行われて、期間ｔ８〜ｔ９で個人認証処理が行われる。さらに、期間ｔ１０で顔検出処理が行われる。

一方、図３（Ｂ）においては、期間ｔ２〜ｔ５で２人の人物の個人認証処理が行われる。その後、期間ｔ５の期間において生成された１フレームの画像データについて期間ｔ６で顔検知処理が行われる。そして、期間ｔ８〜ｔ１０で個人認証処理が行われる。

ライブビュー状態においては、本辞書データを用いて個人認証を行うので、本辞書データにおける特徴情報の数が多い場合には、１フレームの画像データにおいて検出された全ての顔画像データについて個人認証処理を行うとその処理に時間が掛かる。

なお、顔検出処理は１フレーム時間内収まるので、ライブビュー状態では顔検出処理をフレーム毎に行って、一度認証成功した顔画像データの位置をフレーム毎に追尾すれば、実質的に個人認証結果を保持することができる。

図４は、図１に示すカメラで用いられる本辞書データの構成の一例を示す図である。

図示の本辞書データはシステム制御部１５０によって生成される。図４において、ＩＤ欄には本辞書データに登録された人物を識別するための識別子が記録される。名前欄には、登録された人物の氏名又はニックネームが記録される。この氏名又はニックネームはユーザによって入力される。

特徴情報欄には、顔登録モードにおいて特徴量抽出処理部１９１によって抽出された特徴情報が記録される。特徴情報は、登録された人物毎に少なくとも１つが記録される。ライブビュー認証状態欄は、ライブビュー動作中に有効なフィールドである。そして、ライブビュー認証状態欄には、システム情報部１５０がライブビュー動作中に個人認証に成功した場合に「○」が記録される。一方、個人認証に成功した顔画像データが存在しないと、ライブビュー認証状態欄には「×」が記録される。なお、ライブビュー認証状態はフレーム毎に更新される。

認証成功画像欄には、個人認証に成功した顔画像データが記録される。ライブビュー動作において取り込んだ１フレームの画像データにおいて得られた全ての顔画像データの個人認証処理の結果、認証に成功しなかったＩＤについてはこの欄は無効となる。位置情報欄には、個人認証に成功した顔画像データについて１フレームの画像データの位置に係る位置情報が記録される。

図５は、図１に示すカメラにおける認証処理の他の例を説明するためのフローチャートである。なお、ここでは、図２で説明した認証処理に続いて仮辞書データを用いて個人認証を行うものとする。また、図示のフローチャートに係る処理は、システム制御部１５０の制御下で行われる。

認証処理を開始すると、システム制御部１５０は、図２で説明した本辞書データを用いた個人認証処理を行う（ステップＳ５０１）。

図６は、図１に示すカメラにおいてライブビュー状態で表示部に表示される１フレームの画像データを示す図である。

システム制御部１５０は、顔検出部１９０によって顔が検出されると、人物の顔に顔枠６０１〜６０３を重ねて表示する。さらに、システム制御部１５０は個人認証に成功すると、人物の名前又はニックネーム６０４および６０５を、該当する人物の顔の近辺に表示する。

図示の例では、顔枠６０２が重ねて表示された顔が、図４に示す本辞書データのＩＤ＝Ｍ００２に登録された人物として認証されている。さらに、顔枠６０３が重ねて表示された顔が、本辞書データのＩＤ＝Ｍ００４に登録された人物と認証されている。そして、１フレームの画像データにおいて顔枠６０２および顔枠８０３の左上の座標値（図６において●で示す位置の座標値）が図４に示す位置情報欄に書き込まれる。

再び図５を参照して、システム制御部１５０がステップＳ５０１の処理を行っている状態で、シャッターボタン１６１の半押しによる撮影準備指示あった場合又は操作部１７０の操作によるライブビュー動作の終了があった場合には、システム制御部１５０はステップＳ５０１の処理を中止する。そして、システム制御部１５０はシャッターボタン１６１の半押し、つまり、第１のシャッタースイッチ信号ＳＷ１がオンとなったか否かを判定する（ステップＳ５０２）。

ＳＷ１がオフであると（ステップＳ５０２において、ＮＯ）、システム制御部１５０は、操作部１７０の操作に応じたその他の処理に進む（ステップＳ５１５）。一方、ＳＷ１がオン（ライブビュー動作を停止するイベント）となると（ステップＳ５０２において、ＹＥＳ）、システム制御部１５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理などの撮影準備動作を行う。さらに、システム制御部１５０は仮辞書データを生成する（ステップＳ５０３）。この仮辞書データ１９４には、ライブビュー状態で個人認証に成功した顔画像データから抽出した特徴情報が保持される。

図７は、図１に示すカメラで生成された仮辞書データの構成についてその一例を示す図である。

ＩＤ２欄には仮辞書データに登録された人物を識別するための識別子が記録される。名前欄には、本辞書ＩＤ欄にはライブビュー状態において個人認証に成功した本辞書データのＩＤが記録される。システム情報部１５０は本辞書データ１９２を解析して本辞書ＩＤ欄に本辞書データのＩＤを書き込む。特徴情報欄には、ライブビュー状態で個人認証に成功した顔画像データから抽出された特徴情報が記録される。

例えば、図４に示すＩＤ＝Ｍ００２について、認証成功画像であるＴＭＰ００．ＩＭＧから抽出した特徴情報が、図７に示すＩＤ２＝Ｔ００１に対応する特徴情報欄にＴＭＰ００として記録される。また、図４に示すＩＤ＝Ｍ００４について、認証成功画像であるＴＭＰ０１．ＩＭＧから抽出した特徴情報が、図７に示すＩＤ２＝Ｔ００２に対応する特徴情報欄にＴＭＰ０１として記録される。

図４に示す本辞書データでは特徴情報が８つ記録されているが、図７に示す仮辞書データでは特徴情報は２つのみである。つまり、仮辞書データではライブビュー状態において認証に成功した認証成功画像（認証成功顔画像データ）から抽出した特徴情報のみ記録される。この結果、仮辞書データを用いて個人認証処理を行うと、本辞書データを用いて個人認証処理を行った場合に比べて個人認証処理に要する時間を短くすることができる。

再び図５を参照して、システム制御部１５０はシャッターボタン１６１が全押しされたか否かを判定する。つまり、システム制御部１５０は第２のシャッタースイッチＳＷ２がオンとなったか否かを判定する（ステップＳ５０４）。ＳＷ２がオフであると（ステップＳ５０４において、ＮＯ）、システム制御部１５０はＳＷ１がオフとする操作があったか否かを判定する（ステップＳ５０５）。

ＳＷ１がオンであると（ステップＳ５０５において、ＮＯ）、システム制御部１５０はステップＳ５０４の処理に戻る。一方、ＳＷ１がオフであると（ステップＳ５０５において、ＹＥＳ）、システム制御部１５０はステップＳ５０１の処理に戻って、本辞書データを用いた個人認証処理を再開する。

ＳＷ２がオンであると（ステップＳ５０４において、ＹＥＳ）、システム制御部１５０は撮像部１２２から画像信号を読み出して、画像データを記録媒体２００に書き込むまでの一連の静止画撮影処理を開始する（ステップＳ５０６）。そして、静止画撮影処理が完了すると、システム制御部１５０はライブビュー表示を再開して（ステップＳ５０７）、仮辞書データを用いた個人認証処理を開始する。

ところで、静止画撮影処理において、画像処理および画像データを記録媒体に書き込む処理に要する時間を考慮すると、静止画撮影後にライブビュー再開した場合には、静止画撮影前と比べて被写体の位置が大きく移動していることがある。よって、ここでは、静止画撮影前の個人認証結果は用いることなく、仮辞書データを用いて新たに個人認証処理を開始する。

続いて、システム制御部１５０の制御下で、顔検出部１９０はライブビュー動作によって取り込まれた１フレームの画像データから人物の顔を検出する（ステップＳ５０８）。そして、システム制御部１５０は、顔検出部１９０によって少なくとも１つの顔が検出されたか否かを判定する。つまり、システム制御部１５０は顔検出に成功したか否かを判定する（ステップＳ５０９）。

図８は、図１に示すカメラにおいてライブビューを再開した際に表示部に表示される１フレームの画像データを示す図である。

図示のように、システム制御部１５０は、顔検出部１９０によって顔が検出されると、人物の顔に顔枠８０１〜８０３を重ねて表示する。

再び図５を参照して、顔検出に失敗すると（ステップＳ５０９において、ＮＯ）、システム制御部１５０はステップＳ５０１の処理に戻って、本辞書データを用いた個人認証処理を再開する。一方、顔検出に成功すると（ステップＳ５０９において、ＹＥＳ）、システム制御部１５０は仮辞書データを用いて個人認証処理を行う順番を決定する。

仮辞書データを用いて個人認証処理を行う際には、静止画撮影前のライブビュー状態で個人認証に成功していたと推定される顔画像データから認証処理を行うことが望ましい。よって、図８に示す顔枠８０１〜８０３の左上の座標値（図８において●で示す位置の座標値）のうち、図６に示す顔枠６０２又は顔枠６０３の左上の座標値に近い座標値の顔画像データについて個人認証処理の順番を高くする。

続いて、システム制御部１５０の制御下で、特徴情報抽出処理部１９１は選択された顔画像データから個人認証処理に用いる特徴情報を抽出する（ステップＳ５１１）。そして、類似度算出処理部１０３は、抽出された特徴情報と仮辞書データ１９４とをパターンマッチングによって比較して類似度を算出する（ステップＳ５１２）。

次に、システム制御部１５０が個人認証に成功したか否かを判定する（ステップＳ５１３）。個人認証に成功した場合には、システム制御部１５０は仮辞書データの本辞書ＩＤ欄を参照して、仮辞書データを用いて個人認証に成功した顔画像データの人物の氏名およびニックネームを特定することができる。

ここでは、顔枠８０２が重ねて表示された顔が仮辞書データのＩＤ２＝Ｔ００１に登録された人物と認証される。そして、本辞書ＩＤ欄から本辞書データのＩＤ＝Ｍ００２に登録されている人物であって、氏名が「△△△」であることを特定することができる。同様に、顔枠８０３が重ねて表示された顔が仮辞書データのＩＤ２＝Ｔ００２に登録された人物と認証される。そして、本辞書ＩＤ欄から本辞書データのＩＤ＝Ｍ００４に登録された人物であって、氏名が「■■■」であることを特定することができる。

次に、システム制御部１５０は全ての顔画像データについて個人認証処理を行ったか否か又は仮辞書データに登録された全ての特徴情報について個人認証が成功したか否かを判定する（ステップＳ５１４）。全ての顔画像データについて個人認証処理を行っておらず、かつ仮辞書データに登録された全ての特徴情報について個人認証が成功していないと（ステップＳ５１４において、ＮＯ）、システム制御部１５０はステップＳ５１１の処理に戻って、次に順番の高い顔画像データについて特徴情報の抽出を行う。

一方、全ての顔画像データについて個人認証処理を行ったか又は仮辞書データに登録された全ての特徴情報について個人認証が成功すると（ステップＳ５１４において、ＹＥＳ）、システム制御部１５０はステップＳ５０１の処理に戻って、本辞書データを用いて個人認証処理を行う。

ここで、図５に示すその他の処理の一例について説明する。その他の処理は、例えば。画像再生処理であり、システム制御部１５０は、画像再生処理などの静止画撮影以外の事由（ライブビュー動作を停止するイベント）によってもライブビュー表示が中断する。そして、その後ライブビュー表示を再開した場合には、システム制御部１５０は仮辞書データを用いて個人認証処理を行う。

図９は、図１に示すカメラにおいてその他の処理が行われてライブビュー動作を再開した際の動作を説明するためのフローチャートである。

前述のように、ＳＷ１がオフであると（ステップＳ５０２において、ＮＯ）、システム制御部１５０は、操作部１７０の操作に応じたその他の処理に進む（ステップＳ５１５）。ここで、操作部１７０を操作して、ユーザが画像再生を指示したものとする。

まず、システム制御部１５０は画像再生指示があったか否かを判定する（ステップＳ９０１）。画像再生指示がないと（ステップＳ９０１において、ＮＯ）、システム制御部１５０は待機する。一方、画像再生指示があると（ステップＳ９０１において、ＹＥＳ）、システム制御部１５０はライブビュー動作を停止する（ステップＳ９０２）。

続いて、システム制御部１５０は、図５に示すステップＳ５０３に関連して説明したようにして、仮辞書データを生成する（ステップＳ９０３）。そして、システム制御部１５０は操作部１７０の操作によってライブビュー動作の再開指示があったか否かを判定する（ステップＳ９０４）。

ライブビュー動作の再開指示がないと（ステップＳ９０４において、ＮＯ）、システム制御部１５０は待機する。一方、ライブビュー動作の再開指示があると（ステップＳ９０４において、ＹＥＳ）、システム制御部１５０は、図５に示すステップＳ５０７の処理に進んで、ライブビュー動作を再開する。

このように、本発明の実施の形態では、ライブビューを再開した際には仮辞書データを用いて個人認証処理を行う。仮辞書データはライブビュー状態で個人認証に成功した顔画像データに応じて生成されるので、登録された特徴情報の数は本辞書データに比べて少なくなる。これによって、ライブビュー再開の際の個人認証処理に要する時間を短くすることができる。このため、ＡＥ処理およびＡＦ処理を行うべき被写体を判定するために要する時間を短縮かることができ、ユーザよる撮影が妨げる恐れがないばかりか、シャッターチャンスを逃すという事態を防止することができる。

さらには、本発明の実施の形態では、本辞書データを用いて個人認証に成功した顔画像データから特徴情報を抽出して仮辞書データを生成する。このため、顔画像データにおける顔の大きさおよび顔の向きが個人認証に適した状態である可能性が高く、仮辞書データを用いて個人認証処理を行った際の認証率を向上させることができる。

また、本発明の実施の形態では、複数の顔画像データについて仮辞書データを用いて個人認証処理を行う際に、処理の順番を顔画像データに係る位置情報に応じて決定する。これによって、静止画撮影前のライブビュー状態において個人認証に成功していたと推定される顔画像データから優先的に個人認証処理が行われる。その結果、個人認証処理に要する時間を短くすることができる。

なお、仮辞書データに用いる顔画像データは、静止画撮影の際の画像データから生成するようにしてもよい。静止画撮影の際の画像データはライブビュー状態の画像データよりも解像度が高いので、一般的には個人認証に適している。

さらに、認証率を高くするためには、個人認証に成功した顔画像データについてはシステムメモリ１５２に保持する際の類似閾値を高くするようにしてもよい。また、複数の人物が並んで写っている場合には、位置情報として顔画像データ同士の相対的な位置を示す情報を用いるようにしてもよい。

上述の説明から明らかなように、図１に示す例では、システム制御部１５０および顔検出部１９０が検出手段として機能し、システム制御部１５０および特徴情報抽出処理部１９１が抽出手段として機能する。また、システム制御部１５０および類似度算出処理部１９３が認証手段として機能し、システム制御部１５０は生成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２８ 表示部
１５０ システム制御部
１６１ シャッターボタン
１７０ 操作部
１９０ 顔検出部
１９１ 特徴情報抽出処理部
１９２ 本辞書データ
１９３ 類似度算出処理部
１９４ 仮辞書データ
１９５ 被写体特徴量データ

Claims (6)

1. 被写体を撮影して画像データを得る撮像装置であって、
   複数の被写体の各々についてその特徴量が特徴情報として予め格納された第１のデータベースと、
   前記画像データに応じてライブビュー表示が行われている際に、前記画像データにおいて被写体を検出する検出手段と、
   前記被写体の画像から前記被写体の特徴量を示す特徴情報を抽出する抽出手段と、
   前記抽出手段で抽出された特徴情報と前記第１のデータベースに格納された特徴情報とを照合して個人認証処理を行う認証手段と、
   前記ライブビュー表示が行われている際に、前記認証手段で個人認証処理に成功し、前記抽出手段によって抽出された特徴情報に応じて第２のデータベースを生成する生成手段と、を有し、
   前記ライブビュー表示を停止した後に、前記ライブビュー表示を再開するイベントが生じると、前記認証手段は前記抽出手段で抽出された特徴情報と前記第２のデータベースに格納された特徴情報とを照合して前記個人認証処理を行うことを特徴とする撮像装置。
2. 前記検出手段は、被写体として人物の顔を検出し、前記特徴情報は人物の顔の特徴量を示すことを特徴とする請求項１に記載の撮像装置。
3. 前記画像データにおける前記被写体の各々の位置を示す位置情報に応じて、前記個人認証処理を行う順番を決定する決定手段を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記決定手段は、前記ライブビュー表示を停止する前の画像データにおける前記被写体の位置を示す位置情報に応じて、前記ライブビュー表示を再開した後の前記個人認証処理を行う順番を決定することを特徴とする請求項３に記載の撮像装置。
5. 複数の被写体の各々についてその特徴量が特徴情報として予め格納された第１のデータベースを備え、被写体を撮影して得られた画像データを前記第１のデータベースと照合して個人認証を行う撮像装置の制御方法であって、
   前記画像データに応じてライブビュー表示が行われている際に、前記画像データにおいて被写体を検出する検出ステップと、
   前記被写体の画像から前記被写体の特徴量を示す特徴情報を抽出する抽出ステップと、
   前記抽出ステップで抽出された特徴情報と前記第１のデータベースに格納された特徴情報とを照合して個人認証処理を行う認証ステップと、
   前記ライブビュー表示が行われている際に、前記認証ステップで個人認証処理に成功し、前記抽出ステップで抽出された特徴情報に応じて第２のデータベースを生成する生成ステップと、を有し、
   前記ライブビュー表示を停止した後に、前記ライブビュー表示を再開するイベントが生じると、前記認証ステップでは前記抽出ステップで抽出された特徴情報と前記第２のデータベースに格納された特徴情報とを照合して前記個人認証処理を行うことを特徴とする制御方法。
6. 複数の被写体の各々についてその特徴量が特徴情報として予め格納された第１のデータベースを備え、被写体を撮影して得られた画像データを前記第１のデータベースと照合して個人認証を行う撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   前記画像データに応じてライブビュー表示が行われている際に、前記画像データにおいて被写体を検出する検出ステップと、
   前記被写体の画像から前記被写体の特徴量を示す特徴情報を抽出する抽出ステップと、 前記抽出ステップで抽出された特徴情報と前記第１のデータベースに格納された特徴情報とを照合して個人認証処理を行う認証ステップと、
   前記ライブビュー表示が行われている際に、前記認証ステップで個人認証処理に成功し、前記抽出ステップで抽出された特徴情報に応じて第２のデータベースを生成する生成ステップと、を実行させ、
   前記ライブビュー表示を停止した後に、前記ライブビュー表示を再開するイベントが生じると、前記認証ステップでは前記抽出ステップで抽出された特徴情報と前記第２のデータベースに格納された特徴情報とを照合して前記個人認証処理を行うことを特徴とする制御プログラム。