以下、図面を参照して本発明の好適な実施形態を説明する。
図1に本発明の撮像装置の一例としてのデジタルカメラの外観図を示す。表示部28は画像や各種情報を表示する表示部である。シャッターボタン61は撮影指示を行うためのシャッター操作部である。モードダイアル60は各種モードを切り替えるための操作部である。コネクタ112は接続ケーブルとデジタルカメラ100とのコネクタである。操作部70はユーザからの各種操作を受け付ける各種スイッチ、ボタン等の操作部材より成る操作部である。コントローラーホイール73は操作部70に含まれる回転操作可能な操作部材である。電源スイッチ72は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体200はメモリカードやハードディスク等の着脱可能な記録媒体である。記録媒体スロット201は記録媒体200を格納するためのスロットである。記録媒体スロット201に格納(装着)された記録媒体200は、デジタルカメラ100との通信が可能となる。蓋202は記録媒体スロット201の蓋である。
図2は、本実施形態によるデジタルカメラ100の構成例を示すブロック図である。
図2において、撮影レンズ103はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター101は絞り機能を備えるシャッターである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア102は、デジタルカメラ100の、撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、シャッター101、撮像部22を含む撮像系の汚れや破損を防止する。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部24では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する一時記録媒体である。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。52はシステムメモリであり、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切り替えスイッチ60、第1シャッタースイッチ62、第2シャッタースイッチ64、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。
モード切り替えスイッチ60は、システム制御部50の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切り替えスイッチ60で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ60で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第1シャッタースイッチ62は、デジタルカメラ100に設けられたシャッターボタン61の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ64は、シャッターボタン61の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部50は、第2シャッタースイッチ信号SW2により、撮像部22からの信号読み出しから記録媒体200に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
コントローラーホイール73は、操作部70に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
上述したデジタルカメラ100では中央1点AFや顔AFを用いた撮影が可能である。中央1点AFとは撮影画面内の中央位置1点に対してAFを行うことである。顔AFとは顔検出機能によって検出された撮影画面内の顔に対してAFを行うことである。
顔検出機能について説明する。システム制御部50は顔検出対象の画像データを画像処理部24に送る。システム制御部50の制御下で画像処理部24は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部50の制御下で画像処理部24は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、システム制御部50は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部50は、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部50は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部50は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ52に記憶する。
以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、顔AFと同時に顔AE,顔FE、顔WBを行うことができる。顔AEとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔FEとは検出された顔を中心にフラッシュの調光をすることである。顔WBとは、検出された顔の色に合わせて画面全体のWBを最適化することである。
さらに、検出した顔と不揮発性メモリ56に記憶した個人認識用の特徴データとを比較することによって、検出した顔が予め登録された個人の顔であるか否かを識別(個人認証)することが可能である。個人認証を利用して、スルー画像から検出された複数の顔のうち、登録された個人の顔を優先して前述の顔AF、顔AE,顔FE、顔WBなどを行うことができる。また、登録されている個人の顔が検出されると、個人認証された人物の名前をスルー画像に重畳して表示することができる。個人認証のために不揮発性メモリ56に記録しているデータについて図3を用いて説明する。
図3は、デジタルカメラ100の内蔵メモリ(不揮発性メモリ56)に登録されている個人認証のための顔情報のデータベース(顔辞書)のデータ構造を示したものある。データの最上位の階層には人物IDが1〜x(xは最大登録可能人数、本実施の形態では12であるものとする)まで付けられている。それぞれのID下の階層は、プロフィール(本実施の形態では名前及び誕生日)、同一人物IDに登録されている顔情報の個数、各顔情報(顔画像および顔画像の特徴データ)が格納されている。名前は登録されている人物の名前を記憶する領域であり、ASCIIコード文字列が格納されている。また、人物が登録されている場合、その人物についての顔情報は少なくとも1つは格納され、本実施例では同一人物に対して顔情報を最大5個まで登録(記録)できる。個人認証を行う際には、システム制御部50は、撮像によって取得された顔画像と、不揮発性メモリ56に登録されている各顔情報の特徴データを一つずつ照合していき、合致した具合によって登録された人物であるか否かを判定する。このとき、暗い場所で撮影された際の特徴データ、斜めから撮影された際の特徴データ、正面から撮影された際の特徴データ等、同一の人物についてバリエーションのある複数の特徴データが記録されていれば、個人認証をより様々な場面で正確に行うことができる。
[全体フロー]
図4に、デジタルカメラ100の起動から終了までの全体的な流れを示したフローチャートを示す。この処理は、不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開してシステム制御部50が実行することで実現する。
デジタルカメラ100が起動するとまずS401へ進む。S401では、システム制御部50は現在の動作モードが撮影モードであるか否かを判定する。この判定は、モード切り替えスイッチ60の位置や、システムメモリ52に記録された現在の動作モードなどにより判定する。現在の動作モードが撮影モードであると判定された場合はS402に進み、撮影モード処理を行う。撮影モード処理の詳細は図5を用いて後述する。撮影モードではないと判定された場合はS403に進む。
S403では、システム制御部50は、現在の動作モードが再生モードであるか否かを判定する。再生モードであると判定された場合はS404へ進み、そうでない場合はS405へ進む。S404では、システム制御部50は、再生モード処理を行う。再生モード処理では、記録媒体200に記録された撮影画像の再生表示を行う。また、拡大再生表示、画像を消去する処理などが含まれる。
S405では、システム制御部50は、その他の処理を行う。その他の処理には、現在時刻を表示するだけの時計表示モードでの処理などがあげられる。
S406では、システム制御部50は、終了イベントがあったか否かを判定する。終了イベントには以下が含まれる。電源をOFFにする操作、電池蓋202を開ける操作、所定時間以上操作がなかった場合に自動的に電源をOFFにするオートパワーオフ。終了イベントがない場合はS401に戻って処理を継続し、終了イベントがあった場合はシャットダウン処理を行って処理を終了する。
[撮影モード処理]
図5に、図4のS402の撮影モード処理のフローチャートを示す。この処理は、システム制御部50が不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して実行することで実現する。
S501では、システム制御部50は、撮影待機状態処理を行う。より詳しくは、撮像部22でスルー画像の撮像を行い、スルー画像を表示部28にリアルタイム表示する。スルー画像の撮像の詳細は前述したとおりである。また、表示部28に各種設定状態、撮影条件を表示する。さらに、撮像されたスルー画像を用いて顔検出処理を行う。
S502では、システム制御部50は、顔検出の結果、顔が検出された場合には不揮発性メモリ56に記録された人物の特徴データと照合し、登録されている人物の顔であるか否かを識別する個人認証を行う。そして登録されている人物の顔であると識別できた場合に、スルー画像に重畳して登録されている顔の識別表示を行う。なお、後述する個人認証設定メニュー画面で個人認証が切に設定されていた場合はこのステップの処理は行わない。
図6に、S502の処理の結果、登録顔が識別表示されているときのスルー画像表示の例を示す。表示部28には、撮像されているスルー画像601が表示されている。この例ではスルー画像に3人の人物の顔が含まれており、それぞれ登録されている顔であり、個人認証されているものとする。認証されている顔の検出されたそれぞれの位置よりやや下に、それぞれの顔の人物に対して登録されている名前602〜604を表示する。また、認証されている顔の検出されたそれぞれの位置に対して顔枠605〜607を表示する。この例では顔枠605、名前602で示される顔が主顔(撮影条件を合わせるべき被写体)と判定されているため、顔枠605は他の顔枠606,607と区別して白色で表示されている。また、主顔の名前602は他の顔の名前603,604よりも上に重畳されて表示されている。設定情報608はデジタルカメラ100の現在の設定状況、撮影条件などを示しており、左から順に、電池残容量を示すアイコン、設定されている圧縮率と画像サイズを示すアイコン、残り撮影可能枚数、動画の画像サイズ、動画の残り撮影可能時間である。撮影モードアイコン609は、現在の撮影モードを示すアイコンである。マニュアルモード、オートモード、撮影シーンに合わせて好適な設定とするシーンモード(ポートレートモードや風景モードなど)の複数の撮影モードのうち、現在設定されている撮影モードがオートモードであることを示している。
S503では、システム制御部50は、個人認証に関する設定を行う画面(個人認証設定画面)を開く操作がされたか否かを判定する。個人認証設定画面は、撮影待機状態で操作部70に含まれるメニューボタンを押下して開かれるメニューの中から、個人認証設定のメニュー項目を選択してSETボタンを押下することで開くことができる。個人認証設定画面を開く操作があったと判定するとS504に進み、そうでない場合はS505に進む。S504では、個人認証設定処理を行う。個人認証設定処理の詳細は図7を用いて後述する。
S505では、システム制御部50は、シャッターボタン61が半押しされてSW1オンとなった否かを判定する。SW1がオンなった場合はS506へ進み、SW1がオンとなっていない場合はS512に進む。
S506では、システム制御部50は、スルー画像から不揮発性メモリ56に登録済みの人物の顔(登録顔)を検出しているか否か(個人認証しているか否か)を判定する。登録顔を検出している場合はS507に進み、そうでない場合はS508へ進む。
S507では、システム制御部50は、検出している登録顔(個人認証している顔)に合わせて撮影準備処理を行う。撮影準備処理には、AF、AE,AWBなどが含まれる。登録顔が1つ検出されている場合はその顔に合わせて撮影準備処理を行い、登録顔が複数検出されている場合は、登録顔に予め設定された優先度に基づいて撮影準備処理を行う(例えば最も優先度の高い登録顔に合わせて撮影準備処理を行う)。
S508では、システム制御部50は、登録顔が検出されていないので、その他の条件で撮影準備処理を行う。その他の条件では、例えば(登録顔ではない顔であっても)検出された顔にフォーカスを合わせる顔優先AF処理や、中央一点にAFを合わせる中央一点AF、撮影状況に応じてカメラが自動的にAF枠を選択してピントを合わせるAiAFなどがある。
S509では、システム制御部50は、SW1のONが継続しているか(シャッターボタン61が半押しされたままか)否かを判定する。SW1がONでない場合はS507またはS508で合わせた撮影準備処理の結果を解除してS513に進み、SW1のONが継続していた場合はS510へ進む。
S510では、システム制御部50は、SW2がONとなったか(シャッターボタン61が全押しされたか)否かを判定する。SW2がONとなっていない場合はS509に処理を戻し、SW2がONとなった場合はS511に進む。
S511では、システム制御部50は、撮像部22からの信号読み出しから記録媒体200に画像データを画像ファイルとして書き込むまでの一連の撮影処理を行う(スルー画像の撮影と区別するため本撮影と称する)。
S513では、システム制御部50は、撮影モード処理を終了させるイベントが発生したか否かを判定する。撮影モード処理を終了させるイベントには、前述の電源をOFFにする操作、電池蓋202を開ける操作、オートパワーオフに加え、再生モード処理などの他の動作モードに移行させる操作が含まれる。終了イベントがなかったと判定するとS501に戻って撮影待機状態を継続し、終了イベントがあった場合は撮影モード処理を終了する。
[個人認証設定処理]
図7に、図5のS504で前述した個人認証設定処理のフローチャートを示す。この処理は、システム制御部50が不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して実行することで実現される。
S701では、システム制御部50は、表示部28に、個人認証設定メニュー画面を表示する。
図9(a)に、個人認証設定メニュー画面の表示例を示す。個人認証設定メニュー画面は、メニュー項目901〜904の4つのメニュー項目からなる。メニュー項目901は、個人認証の入/切の設定を行うためのメニュー項目である。入にすると撮影待機状態で個人認証を行って名前などの表示を行い、登録された顔が検出されている場合には本撮影の際の撮影準備処理でS507で前述したように登録されている顔に合わせて撮影準備処理を行う。切にすることで、個人認証を行わず、撮影待機状態での名前表示や、S507での登録されている顔に合わせての撮影準備処理を行わないようにすることができる。メニュー項目902は不揮発性メモリ56に顔情報を登録するためのメニュー項目である。メニュー項目903は、不揮発性メモリ56に登録済み(記録済み)の顔情報やプロフィールを確認、編集するためのメニュー項目である。メニュー項目904は、不揮発性メモリ56に登録済み(記録済み)の顔辞書の情報を、人物毎にまとめて消去(ID別に消去)するためのメニュー項目である。操作部70に含まれる上下ボタンやコントローラーホイール73を操作してカーソル906を任意のメニュー項目に合わせ、SETボタンを押下することで選択したメニュー項目の処理を行える。戻るアイコン905は、操作部70に含まれるメニューボタンの押下で、前画面(1つ上のメニュー階層)に戻れることを示すアイコンである。
S701では、システム制御部50は、個人認証の入/切の操作がなされたか否かを判定する。個人認証の入/切の操作は、メニュー項目901(「個人認証 入/切」)にカーソルを合わせてSETボタンを押下する、あるいは左右キーを操作することによって行える。個人認証の入/切の操作がなされたと判定した場合はS703に進み、そうでない場合はS704に進む。
S703では、システム制御部50は、ユーザーの操作に応じて個人認証の入/切を設定し、設定した情報を不揮発性メモリ56に記録する。
S704では、システム制御部50は、メニュー項目902(「登録」)で決定操作(カーソルを合わせてSETボタンを押下する操作)があったか否かを判定する。メニュー項目902で決定操作があったと判定した場合はS705へ進み、そうでない場合はS706へ進む。S705では、システム制御部50は、顔登録モード処理を行う。顔登録モード処理の詳細は図8を用いて後述する。
S706では、システム制御部50は、メニュー項目903(「情報確認/編集」)で決定操作が行われたか否かを判定する。メニュー項目903で決定操作が行われたと判定した場合はS707に進み、そうでない場合はS708に進む。S707では、システム制御部50は、ユーザーの操作に応じて不揮発性メモリ56に登録済み(記録済み)の顔情報やプロフィールを取得し、表示部28に表示する。また、ユーザーの操作に応じて不揮発性メモリ56に登録済み(記録済み)の顔情報やプロフィールを編集して更新する。ここで、登録済みの顔情報を削除してから人物の顔を改めて撮影することによって、人物に登録された顔情報を新たな顔情報に入れ換えることができる。
S708では、システム制御部50は、メニュー項目904(「削除」)で決定操作が行われたか否かを判定する。メニュー項目904で決定操作が行われたと判定した場合はS709に進み、そうでない場合はS710に進む。S709では、システム制御部50は、登録されている人物の一覧を表示し、削除したい人物をユーザーに選択させ、選択された人物に関する登録情報を不揮発性メモリ56から一括して消去する。これによって、図3で説明したIDを一つ空けることができる。
S710では、システム制御部50は、戻る機能が割り当てられたボタン(以下、戻るボタンと称する。本実施の形態ではメニューボタンである。)が押下されたか否かを判定する。戻るボタンが押下されていない場合はS702に戻って処理を繰り返し、戻るボタンが押下された場合は個人認証設定処理を終了して前述の図5のS505に進む。
なお、図9(a)の個人認証設定メニュー画面を表示した状態で、いずれの選択肢でも決定操作がされずにシャッターボタン61が半押しされてSW1がオンとなった場合には、図5のS501に進み通常の撮影モードの撮影待機状態になる。
[顔登録モード処理]
図8に、図7のS705で前述した顔登録モード処理のフローチャートを示す。この処理は、システム制御部50が不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して実行することで実現する。
S801では、システム制御部50は、登録メニューを表示部28に表示する。
図9(b)に、登録メニューの表示例を示す。登録メニューはメニュー項目911(「新しい人物情報を登録」)と、メニュー項目912(「顔情報の追加登録」)よりなる。カーソル915を移動させていずれかのメニュー項目を選択した状態でSETボタンを押下することにより決定操作が行える。戻るアイコン913は操作部70に含まれるメニューボタンの押下で、前画面(1つ上のメニュー階層)に戻れることを示すアイコンである。登録済み人数914は、個人認証する人物として不揮発性メモリ56に登録可能な人数の上限と、現在登録されている人数を示している。図示の例では、現在8人が登録されており、最大で12人登録できることが表示されている。登録済みの人数が登録可能な人数の上限に達していると新しい人物情報は登録できないので、メニュー項目911はグレーアウトして表示され、メニュー項目911での決定操作は受け付けなくなる。
S802では、システム制御部50は、メニュー項目911(「新しい人物情報を登録」)で決定操作がされたか否かを判定する。メニュー項目911で決定操作がされた場合はS803へ進み、そうでない場合はS805に進む。なお、登録済みの人物の数が上限の12人に達している場合はメニュー項目911での決定操作は受け付けないので、S802の判定は行わない。
S803では、システム制御部50は、これから撮影して取得する顔情報の登録先を、新しい人物とすべく、図3で説明したIDとして新規のIDを新設して登録先として設定する(システムメモリ52に記憶しておく)。
S804では、システム制御部50は、顔登録処理を行う。顔登録処理については図12を用いて後述する。
S805では、システム制御部50は、メニュー項目912(「顔情報の追加登録」)で決定操作がされたか否かを判定する。メニュー項目912で決定操作がされた場合はS806へ進み、そうでない場合はS808へ進む。
S806では、システム制御部50は、追加登録設定を行う。追加登録設定については図10を用いて後述する。
S807では、システム制御部50は、顔登録処理を行う。顔登録処理はS804と同様であり、図12を用いて後述する。
S808では、システム制御部50は、戻るボタンが押下されたか否かを判定する。戻るボタンが押下されていない場合はS802に戻って処理を繰り返し、戻るボタンが押下されたと判定した場合には顔登録モード処理を終了し、個人認証設定メニューを表示して図7のS706へ進む。
なお、図9(b)の登録メニューを表示した状態で、いずれの選択肢でも決定操作がされずにシャッターボタン61が半押しされてSW1がオンとなった場合には、図5のS501に進み通常の撮影モードの撮影待機状態になる。
[追加登録設定]
図10に、図8のS806で前述した追加登録設定のフローチャートを示す。この処理は、システム制御部50が不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して実行することで実現する。
S1001では、システム制御部50は、顔情報を追加登録したい人物を選択させるための人物選択リストを表示部28に表示する。
図11(a)に、人物選択リストの表示例を示す。人物選択リストには、図示のように、不揮発性メモリ56に記録されている各人物の顔画像(各人物のいずれかの顔情報に記録されたもの)と名前とが対応付けて一覧表示される。ユーザーは、操作部70に含まれる方向ボタン(上下左右キー)またはコントローラーホイール73を操作して任意の人物にカーソルを移動させ、SETボタンを押下する(決定操作する)ことで顔情報を追加登録したい人物を選択することができる。
S1002では、システム制御部50は、表示された人物選択リストの中から、いずれかの人物が選択された(決定操作がされた)か否かを判定する。人物が選択された場合はS1004に進み、そうでない場合はS1003に進む。
S1003では、システム制御部50は、戻るボタンが押下されたか否かを判定する。戻るボタンが押下されていない場合はS1002に戻って人物の選択操作を待ち、戻るボタンが押下されたと判定した場合には追加登録設定の処理を終了し、図8のS801(顔登録モード処理)へ進む。
S1004では、システム制御部50は、不揮発性メモリ56を参照してS1002で選択された人物に5つの顔情報(上限数の顔情報)がすでに登録済みであるか否かを判定する。5つの顔情報が登録されていない場合は、顔情報を追加で登録することができるので、S1005に進み、これから撮影して取得する顔情報の登録先としてS1002で選択された人物のIDを設定する(システムメモリ52に記憶しておく)。一方、5つの顔情報がすでに登録済みである場合は、登録済みのいずれかの顔情報との入れ換えでなければ顔情報を登録することができないので、S1006へ進む。
S1006では、システム制御部50は、顔情報入れ換えガイドを表示部28に表示する。図11(b)に、顔情報入れ換えガイドの表示例を示す。顔情報入れ換えガイドでは、選択された人物についてはすでに上限数分の顔情報が登録されている旨の表示、および登録済みの顔情報を入れ換えるか否かを問う表示がされる。
S1007では、システム制御部50は、顔情報入れ換えガイドの表示画面において、顔情報の入れ換えが指示されたか否か(図11(b)の「OK」で決定操作がされたか否か)を判定する。顔情報の入れ換えが指示された場合(図11(b)の「OK」で決定操作がされた場合)はS1008に進む。一方、顔情報の入れ換えが指示されなかった場合(図11(b)の「キャンセル」で決定操作がされた場合)はS1001に進んで別の人物の選択を受け付ける。
S1008では、システム制御部50は、S1002で選択された人物の顔情報を参照し、新たな顔情報で置き換える顔情報を選択させる選択画面として、表示部28に登録済みの顔情報一覧を表示する。図11(c)に、登録済み顔情報一覧の表示例を示す。登録済み顔情報一覧には、S1002で選択された人物の顔情報として登録されている顔画像を一覧表示する。この場面では、1人に登録可能な顔情報の上限に達しているので、表示される顔画像は5つ(上限)である。ユーザーは、操作部70に含まれる方向ボタン(上下左右キー)またはコントローラーホイール73を操作して任意の顔画像にカーソル1101を移動させ、SETボタンを押下する(決定操作する)ことで入れ換えたい顔情報を選択することができる。なお、この登録済み顔情報一覧において、登録された日時が最も古い顔画像に対してカーソル1101を初期表示すると好適である。この場合、各顔情報に関連付けて登録日時も記録しておくものとする。あるいは、新たに顔情報が登録されるたびに顔情報に新しいIDを付与し、最も古いIDから最も古い顔情報を識別できるようにしておくものとする。このようにすることで、ユーザーはカーソルを移動することなく最も古い顔情報を入れ換え対象として選択することができる。実世界において、人物の顔は同一の人物の顔であっても時間の経過とともに(すなわち、歳をとるとともに)変化する。従って古い顔情報は、カメラで撮像しようとしている現在の人物の顔を認証する顔情報としては信頼度が下がっており、古い顔情報を新しい顔情報に入れ換えることで個人認証の精度の向上が期待できる。このことを鑑み、カーソル1101を初期表示させる顔情報を最も古い顔情報とすることで、古い顔情報を入れ換え易くし、個人認証の信頼度向上につながる顔の入れ換えの頻度が上がるようにしている。
S1009では、システム制御部50は、表示された登録済み顔情報一覧の中から、いずれかの顔情報が選択された(決定操作がされた)か否かを判定する。顔情報が選択された場合はS1011に進み、そうでない場合はS1010に進む。
S1010では、システム制御部50は、戻るボタンが押下されたか否かを判定する。戻るボタンが押下された場合(すなわち上限に達した顔情報の入れ換えをキャンセルされた場合)はS1001に進み、人物選択リストを表示して別の人物の選択ができるようにする。戻るボタンが押下されていない場合はS1009に戻り、入れ換える顔情報の選択を受け付ける。
S1011では、システム制御部50は、これから撮影して取得する顔情報の登録先の人物IDとしてS1002で選択された人物のIDを設定する(システムメモリ52に記憶しておく)。
S1012では、システム制御部50は、これから撮影して取得する顔情報を、S1009で選択された顔情報と入れ替えて登録(上書き登録)するものとして設定する(システムメモリ52に記憶しておく)。
S1005、S1012の処理を終えると、追加登録設定の処理を終了し、図12の顔登録処理へ進む。
なお、図10の追加登録設定の処理を終了する前に(S1005あるいはS1012の処理を終える前に)シャッターボタン61が半押しされてSW1がオンとなった場合には、図5のS501に進み通常の撮影モードの撮影待機状態になる。
このように、本実施形態の追加登録設定においては、登録済の顔情報の個数が上限に達している人物に更に顔情報を登録しようとする操作があった場合(S1004でYes)、登録操作を受け付けないのではなく、登録済の顔情報の入れ換えを促す。すなわち、古い顔情報を明示的に削除する操作(例えば上述の個人認証設定メニュー画面でメニュー項目903で決定操作を行って顔情報を削除する操作)を行わなくとも、古い顔情報をより信頼度の高い新しい顔情報に置き換えることができる。従って、顔辞書をより精度の高い個人認証を行える状態としておくことができる。
[顔登録処理]
図12に、図8のS804、S807で前述した顔登録処理のフローチャートを示す。この処理は、システム制御部50が不揮発性メモリ56に記録されたプログラムをシステムメモリ52に展開して実行することで実現する。
S1201では、システム制御部50は、撮像部22でスルー画像を撮像し、スルー画像を用いた登録画面を表示部28に表示する。この状態を登録待機状態と称する。図13(a)に登録待機状態での登録画面の表示例を示す。表示部28には、スルー画像1301が表示される。画面中央には、顔登録枠1302が表示され、スルー画像1301のうち、顔登録枠1302の外側は暗く表示されている。表示アイテム1303は登録待機状態における登録画面であることを示す表示アイテムである。登録待機状態において、ユーザーは登録したい顔を顔登録枠1302の内側に収めるようにフレーミングして、シャッターボタン61を全押しすることで、所望の顔の顔情報を登録できる。
S1202では、システム制御部50は、顔検出処理を行い、撮像しているスルー画像のうち、顔登録枠1302の内側部分で顔が検出されたか否かを判定する。顔登録枠1302の内側で顔が検出されたと判定するとS1203に進み、そうでない場合はS1204に進む。
S1203では、システム制御部50は、顔登録枠1302内に顔が在ることを示す表示を行う。具体的には、顔登録枠1302をグレーから白色に変更する。ユーザーはこの色の変化を見ることで、現時点でシャッターボタン61を全押しすると顔が登録できるのか否かを識別することができる。
S1204では、システム制御部50は、SW1がオンとなったか否かを判定する。SW1がオンとなるとS1208に進み、そうでない場合はS1205に進む。
S1205では、システム制御部50は、戻るボタンが押下されたか否かを判定する。戻るボタンが押下されたと判定するとS1206に進み、そうでない場合はS1202に戻り顔登録処理を継続する。
S1206では、顔登録処理を中止するか否かを確認するメッセージを表示部28に表示する。具体的には、「中止しますか?」というメッセージと、「はい」/「いいえ」の選択肢を表示する。これによって、操作ミスなどによって不用意に顔登録処理が中断してしまい、図8の顔登録モード処理からやり直さなければならなくなる事態を防止することができる。
S1207では、システム制御部50は、S1206で表示した選択肢のうち、「はい」が選択(決定操作)されたか、「いいえ」が選択されたかを判定する。「いいえ」が選択された場合はS1201に戻って再び登録画面を表示し、顔登録処理を継続する。「はい」が選択された場合は顔登録処理を終了し、図8のS801に進む。
一方S1204でSW1オンとなったと判定された場合、S1208では、システム制御部50は、SW1オン時の表示を行う。具体的には、表示アイテム1303(「登録」の文字列)とガイダンス(「顔を枠内に入れて撮影してください」の文字列)と顔登録枠1302とスルー画像以外は非表示とする。すなわち、戻るアイコンなどは非表示となる。また、顔登録枠1302の内側で顔が検出されている場合には顔登録枠1302の色を緑色にする。
S1209では、システム制御部50は、SW2がオンとなったか否かを判定する。SW2がオンとなったと判定した場合はS1211に進み、そうでない場合はS1210に進む。
S1210では、システム制御部50は、SW1のオン状態が継続しているか(シャッターボタン61が半押しされたままであるか)否かを判定する。SW1のオン状態が継続していると判定した場合はS1209に戻ってSW2信号を待ち、そうでない場合はS1205に進む。
SW2がオンとなった場合、S1211で、システム制御部50は、撮像部22でスルー画像よりも高解像度の画像の撮像を行って撮像画像をメモリ32に取得する。取得した画像のうち顔登録枠1302に対応する範囲内での顔検出を行う。顔検出の際には顔の特徴量を抽出する。顔が検出された場合、検出された顔から抽出された特徴量を特徴データとしてシステムメモリ52に記録する。
S1212では、システム制御部50は、S1211で撮像された画像のうち、顔登録枠1302の内側に対応する範囲内で登録基準を満たす顔が検出できているか否かを判定する。登録基準を満たす顔とは、顔登録枠1302の大きさに対して特定の大きさ以上の大きさであり、かつ合焦している顔である。顔登録枠1302の内側に対応する範囲が顔が検出されても、顔が特定の大きさよりも小さい場合や、合焦していない場合は登録基準を満たす顔が検出できていないと判定し、顔情報は登録されない。顔登録枠1302の内側で登録基準を満たす顔が検出できていないと判定するとS1213に進み、顔登録枠1302の内側で登録基準を満たす顔が検出できている場合はS1214に進む。
S1213では、システム制御部50は、顔情報の登録ができなかった旨のメッセージを表示部28に所定時間(数秒程度)表示する。具体的には、「登録できませんでした もう一度撮影して下さい」との文字列を所定時間表示し、その後S1201に戻って再度登録画面を表示する。
S1214では、システム制御部50は、S1209でのSW2信号に応じて撮影してメモリ32に保持している画像から顔情報を登録するか否かをユーザーに問い合わせるための登録確認画面を表示部28に表示する。登録確認画面の表示例を図13(b)に示す。登録確認画面には顔登録枠1302の内側で検出された顔に基づいた範囲を切り出した顔画像1311が表示される。顔情報を登録する場合、この顔画像1311と、この顔から抽出され、システムメモリ52に記録されている特徴データが登録される。すなわち、図11(c)の登録済み顔情報一覧や、図7のS707で表示される登録済み顔情報の確認画面などに表示されることになる顔画像をここで事前確認できる。顔情報の登録が、新しい人物の登録ではなく、既に登録されている人物の顔情報としての追加の登録で有る場合には、登録済みの人物の名前1312も表示する。新規人物の登録である場合には名前は表示されない。また、登録確認画面には、顔画像1311と,顔画像1311から得られた顔情報を登録するか否かの選択肢(「キャンセル」及び「OK」)を表示する。
S1215では、システム制御部50は、SW1がオンとなったか否かを判定する。SW1がオンとなった場合は、メモリ32に一時記憶していたS1211で撮像された画像とシステムメモリに記録していた特徴データとを廃棄し、S1201に戻って再度登録画面を表示する。そうでない場合はS1216に進む。再生モードやメニュー表示状態などの他の動作状態においてSW1がオンとなった場合は撮影モードにおける撮影待機状態(図5のS501の状態)となるが、ここでは撮影待機状態まで戻らずに、顔情報の登録画面に戻るようにしている。これは、このタイミングが、S1211での登録すべき顔を含む画像の取得後で、かつ後述するS1223での登録前であるからである。このタイミングでSW1をオンにした(シャッターボタン61を半押し)したユーザーの意図は、本撮影を行いたいのではなく、顔情報の取得をやり直したいと想定できる。顔情報の取得のやり直しを行いたいユーザーにとっては、シャッターボタン61の半押しで撮影モードの撮影待機状態までもどってしまうと、前述の個人認証設定処理、顔登録モード処理、追加登録設定などを再度行わなければならず煩わしい。これに対し、シャッターボタン61の半押しで顔登録処理での登録待機状態に戻れば、これまでに行った個人認証設定処理、顔登録モード処理、追加登録設定の結果などを維持したまま顔登録処理が行えるため、操作手数が減り、撮影者の使い勝手が向上する。また、S1215のタイミングでシャッターボタン61を半押しして顔情報の取得をやり直したい場合は、S1209でシャッターボタン61を全押しした指をシャッターボタン61から移動させることなく再度半押しして登録待機状態に戻れば良い。そして登録したい顔を含む画像の取得をやり直す場合はそのままシャッターボタン61から指を離すことなくフレーミングを行って顔登録枠1302内に登録したい人物の顔を収め、シャッターボタン61を全押しすればよい。このように、シャッターボタン61への操作のみで、登録確認画面で顔画像1311を見た後に登録をキャンセルして登録待機状態に戻り、再度顔画像を取得することができる。
S1216では、システム制御部50は、登録確認画面で登録が指示されたか否か、すなわち、登録確認画面で「キャンセル」が選択(実行操作)されたか、「OK」が選択(実行操作)されたかを判定する。登録が指示(「OK」が選択)されたと判定した場合はS1217に進み、「キャンセル」が選択された場合は、S1201に戻って再度登録画面を表示する。
S1217では、システム制御部50は、システムメモリ52に一時記憶した顔情報の登録先の情報を参照して、新しい人物(人物の新規登録)であるか否かを判定する。新しい人物で有る場合にはS1218へ進み、そうでない場合はS1223に進む。
S1218では、システム制御部50は、図13(c)に示すプロフィール入力画面を表示部28に表示し、ユーザーに、顔情報を登録する人物のプロフィール(名前、誕生日)の入力を促す。
S1219では、システム制御部50は、操作部70を用いたユーザーからのプロフィールの入力を受け付ける。入力されたプロフィールの情報はシステムメモリ52に一時記憶する。
S1220では、システム制御部50は、SW1がオンとなったか否かを判定する。SW1がオンとなった場合は、メモリ32に一時記憶していたS1211で撮像された画像、及びシステムメモリ52に一時記憶していた入力途中のプロフィールと特徴データを廃棄し、S1201に戻って再度登録画面を表示する。再生モードやメニュー表示状態などの他の動作状態においてSW1がオンとなった場合は撮影モードにおける撮影待機状態(図5のS501の状態)となるが、ここでは撮影待機状態まで戻らずに、顔情報の登録画面に戻るようにしている。これは、S1215での判定と同様、このタイミングでSW1をオンにした(シャッターボタン61を半押し)したユーザーの意図は、本撮影を行いたいのではなく、顔情報の登録をやり直したいのであろうという想定に基づく。
S1221では、システム制御部50は、戻るボタンが押下されたか否かを判定する。戻るボタンが押下されたと判定するとS1214に戻って登録確認画面を表示し、そうでない場合はS1222に進む。
S1222では、システム制御部50は、プロフィール入力画面に表示された保存ボタンで決定操作(カーソルを合わせてSETボタンを押下する操作)が行われたか否かを判定する。保存ボタンで決定操作がなされたと判定した場合はS1223に進み、そうでない場合はS1219に戻り、引き続きプロフィールの入力を受け付ける。
S1223では、メモリ32に一時記憶していたS1211で撮像された画像のうち、顔登録枠1302の内側で検出された顔に基づいた範囲を切り出した顔画像1311、及びこの顔から抽出した顔の特徴データを顔情報として不揮発性メモリ56に記録する。登録先のIDは、前述のS803,S1005,S1011でシステムメモリ52に記憶していた登録先である。また、S1012で顔情報の入れ替え対象が設定されていた場合は、S1012で記憶した入れ替え対象の顔情報と入れ替えて(置き換えて)記録する。また、S1219で入力され、システムメモリ52に一時記憶していたプロフィールを不揮発性メモリ56に記録する。こうして、顔情報が登録されると、メモリ32に一時記憶していたS1211で撮像された画像、及びシステムメモリ52に一時記憶していた顔の特徴データ、プロフィールを廃棄する。
S1224では、システム制御部50は、顔情報が登録されたことを示す登録完了表示を表示部28に所定時間(数秒程度)表示する。図13(d)に、登録完了表示の表示例を示す。なお、この画面を表示している際にSW1がオンとなった場合は、顔登録処理のS1201ではなく、撮影モードの撮影待機状態(図5のS501)に進む。これは、S1223ですでに少なくとも1つの顔情報の登録を完了しているため、シャッターボタン61を半押ししたユーザーの意図は顔登録処理のやり直しでは無いと想定できるためである。むしろ、顔情報の登録に続いて直ぐに通常撮影を行いたい場合に行われる操作であると想定でき、その場合に素早く通常撮影のための撮影待機状態に移行できるという効果を奏する。
S1225では、システム制御部50は、今回顔情報を登録したIDの人物に対して登録されている顔情報が上限値である5つ未満であるか否かを判定する。5つ未満であると判定するとS1226に進み、そうでない場合はS1229に進む。
S1226では、今回顔情報を登録したIDの人物に対してまだ登録できる顔情報が上限に達していないため、システム制御部50は、追加登録ガイドを表示部28に表示する。追加登録ガイドの表示例を図13(e)に示す。追加登録ガイドでは、同じ人物の顔情報を追加で登録するか否かを問うメッセージと、顔の向きや表情を変えて登録すると認証精度が向上する旨を表示し、追加の登録をユーザーに促す。また、「はい」/「いいえ」の選択肢を表示する。このように、登録できる顔情報が上限に達していない場合は、顔の向きや表情を変えた顔をさらに登録することをユーザーに促すことで、バリエーションのある顔情報を登録させ、個人認証の精度の向上を図る。
S1227では、システム制御部50は、SW1がオンとなったか否かを判定する。SW1がオンとなった場合は、通常の撮影モードの撮影待機状態である図5のS501に進み、そうでない場合はS1228に進む。このタイミングでSW1がオンとなって撮影待機状態に戻る理由は、S1224で前述した理由と同様であり、S1223ですでに少なくとも1つの顔情報の登録を完了しているためである。
S1228では、システム制御部50は、追加登録ガイド表示において追加登録が指示されたか(すなわち、選択肢「はい」で決定操作がされたか)否かを判定する。追加登録が指示された(「はい」で決定操作がされた)場合はS1201に進んで登録画面を表示し、さらなる顔情報の登録を受け付ける。この場合システムメモリ52に記録した顔情報登録先の情報は保持しておき、この後登録される顔情報は、S1223で登録される人物と同一の人物に対する顔情報として登録される。追加登録が指示されなかった(「いいえ」で決定操作がされた)場合は、S1229に進む。
S1229では、システム制御部50は、登録終了時ガイド(登録終了画面)を表示する。登録終了時ガイドの表示例を図13(f)に示す。このように、顔情報を定期的に更新することをユーザーに促す表示を行うことで、顔情報の更新を促進し、個人認証の精度の向上を図る。なお、この画面の表示中にSW1がオンとなった場合も、顔登録処理のS1201ではなく、撮影モードの撮影待機状態(図5のS501)に進む。このタイミングでSW1がオンとなって撮影待機状態に戻る理由は、S1224で前述した理由と同様であり、S1223ですでに少なくとも1つの顔情報の登録を完了しているためである。
S1230では、登録終了時ガイドに表示された「OK」ボタンで決定操作がされたか否かを判定する。「OK」ボタンで決定操作がされていない場合は「OK」ボタンで決定操作がされるのを待つ。「OK」ボタンで決定操作がされた場合は、システムメモリ52に一時記憶されていた登録先の人物のIDを廃棄して顔登録処理を終了し、図8で説明した顔登録モード処理のS801に進み、登録メニューを表示部28に表示する。
以上説明した本実施の形態の顔登録処理では、同一の人物に対して登録されている顔情報の数が上限に達するまでは(所定数未満では)、顔情報を登録する度にS1226で顔情報の追加の登録が促される。従って操作に不慣れなユーザーであっても、一連の登録作業の中で同一の被写体に対して複数の顔情報をスムーズに登録することができる。その結果、同一の被写体に対して1つあるいは少ない顔情報しか登録されていない場合に比べて認証精度を向上させることができる。
また、本実施の形態の顔登録処理では、S1211での登録したい顔を含む画像の取得後で、かつS1223での登録前にシャッターボタン61が半押しされると登録待機状態に移行するよう制御する。これにより、登録したい顔を含む画像の取得をやり直したい場合に、素早く取得のやり直しを行うことができる。一方で、S1223での登録後にシャッターボタン61が半押しされると撮影待機状態に移行するように制御している。これにより、顔情報の登録が終わった後には速やかに次の画像の撮影を行うことができる。
なお、図10のS1006において、登録済み顔情報一覧において、登録されたのが最も古い顔画像に対してカーソル1101を初期表示(初期選択)する例を説明した。しかしこれに限らず、登録済みの複数の顔情報のうち、他の顔情報と特徴データが類似する顔情報を初期選択するようにしてもよい。例えば図11(c)の例では、同一人物IDに登録済みの顔情報のうち、顔画像1102と顔画像1103はともに明るい背景、かつ、正面、かつ笑顔で撮影された画像であり、両者の特徴データは類似する。特徴データが互いに類似する2つの顔情報をそれぞれ登録しておいても個人認証の精度向上には寄与が少ないため、これら互いに類似する顔情報(顔画像1102の顔情報と顔画像1103の顔情報)のうちいずれかを初期選択して表示する。こうすることで初期選択された他の顔情報と類似する顔情報の入れ替えを促し、登録している顔情報にバリエーションを持たせて個人認証の精度を向上させることができる。類似する複数の顔情報のうち、より古い顔情報を初期選択するとなお良い。
また、図12のS1219のプロフィール入力受付状態で、ユーザーからの操作が所定時間無かったことによって省電力モード(ディスプレイオフ)になり、その後復帰操作があった場合にはS1201に進むようにしても良い。一度画面が暗くなるため、再度復帰した際に、ディスプレイオフの前にどの状態であったのかがユーザーに対して分かりやすいためである。
さらに、図12のS1225で、登録済みの顔情報が上限に達していた場合(所定数未満ではないと判定された場合)にS1229に進んで登録を終了する例を説明したが、これに限るものではない。S1226で表示した追加ガイドとは別のメッセージを含むガイドを表示した上で、追加登録が指示された場合は図10の追加登録設定のS1001に進むようにしてもよい。すなわち、この場合は登録済の顔情報のいずれかに入れ換えて(置き換えて)新たな顔情報を登録するように促す。ガイドに表示するメッセージとしては例えば、「上限に達していますが、まだ登録を継続しますか?」、あるいは「上限に達していますが、登録済の他の顔情報と入れ換えて新たな顔情報を登録しますか?」といったメッセージが挙げられる。これにより、今まで登録した顔情報とは異なる特徴的な顔情報を取得できそうな撮影状況(例えば屋外の明るい状態で撮影した顔情報しか登録していない状態で、たまたま暗い状況になった場合など)での登録の継続を阻害しないようにすることができる。S1226で表示した追加ガイドとはさらに別のメッセージとして、登録された時期が古い顔情報を入れ替えることを促すメッセージや、登録済みの特徴データにある程度類似したものがあった場合にそれらのいずれかを入れ替えるように促すメッセージでもよい。これらのメッセージを表示した上で追加登録が指示されると(顔情報の入れ換えが指示されると)図10の追加登録設定のS1001に進むようにする。このようにすることで、登録されている顔情報をバリエーションのあるものにすることができ、個人認証の精度向上が期待できる。
また、登録済みの顔情報が上限未満であっても、登録済みの顔情報に含まれる特徴データに個人認証を行うために十分なバリエーションがある場合には、S1226の追加登録ガイドの表示を行わないようにしてもよい。具体的には、S1225でYesと判断された後に、登録済みの顔情報の特徴データ同士で類似する特徴データがあるか否かを判定するステップを追加し、類似する特徴データがある場合にはS1226に進み、そうでない場合はS1229に進むように処理する。このようにすることで、登録された顔情報の数が上限に達していない場合であっても、既に個人認証しやすい特徴データ群が登録できている場合には、これ以上の追加登録はしないようにし、登録にかかる時間を省くことができる。
また、図12のS1227でSW1がオンとなった場合は図5のS501の撮影待機状態に移行する例を説明した。しかしこれに限らず、S1227でSW1がオンとなった場合にも、記録媒体200が装着されていない場合には撮影待機状態(図5のS501)ではなく、顔登録処理を継続するようにしてもよい。この場合、図10の追加登録設定のS1001に進む(登録済の顔情報が上限に達している場合)か、図12の1201に進む(登録済の顔情報が上限に達していない場合)ようにする。記録媒体200が装着されていない場合は、本撮影を行って記録媒体200に撮影画像を記録することができないため撮影待機状態に遷移するユーザーメリットは少なく、顔登録処理を継続させたほうが効果的であるためである。
さらに、図5のS502で登録顔が検出された場合は、S502に続いて、検出された登録顔の顔情報に古い(現在の日時より所定時間以上前に登録された)ものがあるか否かを判定し、古いものがあると判定された場合には顔情報の更新を促すようにしてもよい。より詳しくは、S502に続いて、検出された登録顔の人物IDに登録された各顔情報に関連付けて記録された更新日時を参照し、現在の日時より所定時間以上前に登録された顔情報があるか否かを判定する。現在の日時より所定時間以上前に登録された顔情報が無い場合にはS503に進み、現在の日時より所定時間以上前に登録された顔情報がある場合には、以下の方法で顔情報の追加登録を促す。まず、古い顔情報があるために顔情報を入れ換えたほうがいい旨のメッセージとともに、顔情報の入れ換えを行うか否かの選択肢を表示部28に表示する。例えば、「古い画像があります。顔情報を入れ替えますか?」というメッセージとともに、「はい」/「いいえ」の選択肢を表示する。「いいえ」が選択(決定操作)された場合にはS503に進み、以降、撮影モード処理を一度抜けるまでに再度この人物IDの登録顔を検出しても顔情報の入れ換えを促す表示は行わない。「はい」が選択(決定操作)された場合には、システムメモリ52に、これから取得する顔情報の登録先人物IDをS502で検出された登録顔のID、これから取得する顔情報で入れ替える顔情報をその人物IDで最も古い更新日時の人物IDとして一時記憶する。そして、図12で前述した顔登録処理のS1201に進み、前述した図12の顔登録処理を行う。なお、この場合は顔登録処理を終了した場合はS801ではなく、図5のS501に進んで撮影待機状態とし、撮影モード処理の続きを行えるようにする。このようにすることで、ユーザーが意図的に登録メニューに遷移する操作を行わなくても、顔の特徴データが古くなり信頼性が落ちてきた場合には顔情報の更新をするようことができる。従って、顔辞書に登録されている特徴データを信頼性のあるものに保つことができる。
なお上述の実施形態においては、人物の顔とプロフィールを登録して個人認証する例を説明したが、画像から検出される被写体が登録済の被写体であるか否かを識別できるものであれば、人物の顔とプロフィールに限らなくてもよい。例えば、動物の画像とその特徴データ(特徴量)、プロフィールを登録し、画像から検出された動物の画像が、飼っているペットなどの登録済の動物であるか否かを識別できるものに本発明を適用することも可能である。また、ランドマーク(その土地の目印や象徴になるような建造物)の画像とその特徴データ、名前や関連情報を登録しておき、画像から検出された建造物の画像が、登録されたランドマークであるか否かを識別できるものに本発明を適用することも可能である。
なお、システム制御部50の制御は1つのハードウェアが行うものとして説明したが、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず個人認証のための顔情報を登録可能である撮像装置であれば適用可能である。すなわち、本発明はカメラ付きのパーソナルコンピュータやPDA、カメラ付きの携帯電話端末、カメラ付きの音楽プレーヤー、カメラ付きゲーム機、カメラ付き電子ブックリーダー、カメラ付きのタブレット端末などに適用可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。