JP5918996B2 - 被写体認識装置および辞書データ登録方法 - Google Patents

Description

本発明は、被写体認識装置および辞書データ登録方法に関し、入力したデータと予め辞書データとして記憶しておいたデータとの照合により、被写体を認識する技術に関する。

予め被写体の画像の特徴情報を辞書データとして登録しておき、入力された画像中の被写体を認識する技術が知られている。たとえば、認識すべき複数の人物について、顔、声、指紋などの要素データを予め辞書データとして記憶しておき、この辞書データを用いて個人の認識を行なう個人認識手法が知られている。このような個人認識手法では、個人認識の対象となる個人の取り込まれた要素データと、辞書データとして記憶されている要素データとを比較することにより、認識対象の個人の要素データが誰の要素データであるかを識別することで、該個人を認識する。

この個人認識手法において、要素データとして顔画像を用いる場合、顔画像の顔の向きや、顔画像の表情、顔画像を撮像した光環境の変化（例えば順光、逆光、サイド光による明暗の違い）が個人認識の精度に大きな影響を与える。特許文献１では複数の異なる光環境下での顔画像を撮像し、辞書データに記憶しておくことにより、使用環境（条件）が異なっても正しく個人認証を行うことができる個人認証システムが記載されている。

特許第４０５７５０１号公報 特開２００９−０８６９２６号公報

しかし、特許文献１では、変化に富んだ複数枚の顔画像を予め辞書データに記憶しておく必要がある。上記条件は複合的に変化するため、それらに対応した顔画像を全て辞書データに記憶するのはユーザの負担になる。また、記憶される顔画像が増加することにより処理時間が増加してしまう。そこで、特許文献２に記載されているように、顔画像に対して小領域を設定し、設定された小領域に対して特徴情報を計算することにより、個人認識のために必要な特徴情報を得ることにより、少ない顔画像の登録数で認識精度を向上させる手法が用いられる。

たとえば、個人認識は以下の手順で行われる。まず、図６に示すように認識対象の顔画像である顔６１０を小領域６１１、小領域６１２、小領域６１３のように小領域ごとの特徴情報に分ける。そして、小領域６１１と、辞書データ６９０に記憶された３枚の同一人物の顔画像（顔６２０、顔６３０、顔６４０）の対応する小領域（小領域６２１、小領域６３１、小領域６４１）との各類似度を算出する。その後、小領域６１１と比較した各類似度の中で最も高い類似度を選択する。このような処理を、顔６１０の全ての小領域について行い、選択された類似度を統合することで、認識対象顔画像の顔６１０と辞書データに記憶された３枚の顔画像（顔６２０、顔６３０、顔６４０）の人物との類似度が算出される。このような方法により、辞書データに記憶しておく１人あたりの顔画像の枚数を減らして、上記条件による影響を低減した高精度な個人認識が可能となる。

しかしながら、上記の個人認識方法では、同一人物に対応した特徴情報の登録数が増加すると、他人を誤認識しやすくなる傾向がある。これは、辞書データに記憶された同一人物の複数の顔画像における小領域が顔画像間でずれてしまったり、同一人物の顔画像の特徴が大きく変化したりすることが原因としてあげられる。例えば、図７に示されるように、顔７０１〜７０４が同一人物の顔として登録されている場合、顔７０１の小領域７１１と比較して、顔７０２の小領域７１２は、顔の向きにより特徴が大きく変化している。また、顔７０３の小領域７１３は光の影響で小領域の位置を決定するための目や鼻など器官検出位置がずれてしまい、その結果、小領域７１３の位置がずれてしまっている。顔７０４の小領域７１４はマスクやメガネなどの装飾品によりその特徴が変化している。

図８は、図７で示した同一人物の顔画像間で小領域にずれがある顔画像を辞書データ８９０に記憶し、上述の個人認識方法で類似度を算出する場合の例を示す図である。なお、顔８１０、顔８２０、顔８３０、顔８４０は、それぞれ顔７０１、顔７０２、顔７０３、顔７０４に対応している。図８の顔８００の小領域８０１と、辞書データの顔画像間で、ずれが生じている小領域８１１、小領域８２１、小領域８３１、小領域８４１を比較すると、これら小領域のいずれかと小領域８０１との類似度が高くなってしまうことがある。同様のことが、もうひとつの小領域８０２と、小領域８１２，８２２，８３２，８４２との間でも起こった場合、誤認識が発生する可能性がある。すなわち、認識対象である顔８００と、顔８００と同一人物の顔８５０との類似度８９２より、顔８００と他人の顔８１０、８２０、８３０、８４０との類似度を統合して得られた類似度８９１の方が高くなり、誤認識が生じてしまう。

本発明は、上記の課題に鑑みてなされたものであり、辞意データにおいて同一の被写体に関する特徴情報が増加しても、認証精度の低下を防止することを目的とする。

上記の目的を達成するための本発明の一態様による被写体認識装置は以下の構成を備える。すなわち、
一つの被写体の複数の画像から得られた複数の特徴情報を、それらの類似性に基づいて分類して、該被写体に関連付けて登録した辞書データを記憶する記憶手段と、
画像から被写体を検出し、該被写体の画像から新たに登録される特徴情報を抽出する抽出手段と、
前記抽出手段により検出された被写体が前記辞書データに登録されている場合に、前記検出された被写体の各分類に属する特徴情報と前記抽出された特徴情報との類似度に基づいて、前記検出された被写体に対応する分類を選択する選択手段と、
前記選択手段で対応する分類が選択された場合は、前記辞書データの該対応する分類に前記抽出された特徴情報を登録し、前記選択手段で対応する分類が選択されなかった場合は、前記辞書データの前記検出された被写体に新たな分類を追加して該抽出された特徴情報を登録する登録手段と、を備え、
前記選択手段は、
前記検出された被写体の各分類に属する特徴情報と前記抽出された特徴情報との類似度に基づいて、前記検出された被写体に対応する分類候補を選択し、
前記検出された被写体の前記分類候補以外の分類から取得された特徴情報と該分類候補に属する特徴情報から得られる類似度の、前記抽出された特徴情報を該分類候補へ追加したことによる上昇値が、前記辞書データから選択された前記検出された被写体以外の他の被写体の特徴情報と該分類候補に属する特徴情報とから得られる類似度の、前記抽出された特徴情報を該分類候補へ追加したことによる上昇値よりも大きい場合に、前記分類候補を前記対応する分類に選択する。

本発明によれば、辞意データにおいて同一の被写体に関する特徴情報が増加しても、認証精度の低下を防止することができる。

実施形態における撮像装置のブロック図。 第１実施形態による辞書データの記憶処理を示すフローチャート。 、 、 、 第１実施形態による辞書データの記憶処理を説明する図。 第１実施形態による個人認識処理を示すフローチャート。 第１実施形態による個人認識処理を説明する図。 一般的な個人認識処理を説明する図。 一般的な個人認識処理が有する課題を説明する図。 一般的な個人認識処理を説明するための図。 第２実施形態による辞書データの記録処理を示すフローチャート。 第２実施形態による辞書データの登録処理を説明する図。 第３実施形態による辞書データの記憶処理を示すフローチャート。 、 、 、 第３実施形態による辞書データの記憶処理を説明する図。 第３実施形態による辞書データの記憶処理を説明する図。

以下、本発明の好ましい実施形態のいくつかを、添付の図面に基づいて詳細に説明する。以下の実施形態では、認識対象の被写体として人の顔を用いた例を説明する。すなわち、被写体認識装置としての顔認識装置を例に挙げて説明する。また、顔認識のための辞書データを記憶する機能と、該辞書データを用いて入力画像中の顔を認識する機能とを有する情報処理装置として、デジタルカメラ１００を例示して各実施形態を説明する。

［第１実施形態］
図１は、第１実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図１において、１０３はフォーカスレンズを含む撮影レンズ、１０１は絞り機能を備えるシャッター、１２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。１０２はバリアであり、デジタルカメラ１００の、撮影レンズ１０３を含む撮像部を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。

１２４は画像処理部であり、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からの画像データに対して画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部１２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器１２３からの出力データは、画像処理部１２４及びメモリ制御部１１５を介して、或いは、メモリ制御部１１５を介してメモリ１３２に直接書き込まれる。メモリ１３２は、撮像部１２２によって得られＡ／Ｄ変換器１２３によりデジタルデータに変換された画像データや、表示部１２８に表示するための画像データを格納する。メモリ１３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ１３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１１３はＤ／Ａ変換器であり、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。こうして、メモリ１３２に書き込まれた表示用の画像データはＤ／Ａ変換器１１３を介して表示部１２８により表示される。表示部１２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示を行う。

不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートで示される処理を実行するためのプログラムのことである。

１５０はシステム制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ１５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等が展開される。また、システム制御部１５０はメモリ１３２、Ｄ／Ａ変換器１１３、表示部１２８等を制御することにより表示制御も行う。

モード切替スイッチ１６０、シャッターボタン１６１、第１シャッタースイッチ１６２、第２シャッタースイッチ１６３、操作部１７０はシステム制御部１５０に各種の動作指示を入力するための操作手段である。
モード切替スイッチ１６０は、システム制御部１５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。

第１シャッタースイッチ１６２は、デジタルカメラ１００に設けられたシャッターボタン１６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ１６３は、シャッターボタン１６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部１２２からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。利用者は、表示部１２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

１８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０４を含む各部へ供給する。

１３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１１８はメモリカードやハードディスク等の外部の記録媒体１０４とのインターフェースである。記録媒体１０４は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。１７２は電源スイッチであり、電源オン、電源オフを切り替える。

上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置の１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

１９０は顔検出部である。顔検出部１９０においては、画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。すなわち、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する顔検出処理や識別処理を実行する。

１９１は特徴情報抽出部であり、顔検出部１９０で検出された顔画像データから、個人認識の際に用いる特徴情報を抽出する。個人認識のために必要な特徴情報とは、顔領域より、目、鼻、口の器官を中心とする小領域を設定し、設定された小領域に対して、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）を計算し、特徴情報としたものである。ＬＢＰに関する詳細な説明は、特許文献２を参照のこと。１９２は辞書データ記憶部であり、照合時に用いる辞書データを記憶している。ここで、辞書データとは、特徴情報抽出部１９１で算出される特徴情報である。

１９３は類似度算出部であり、顔検出部１９０で検出された顔画像データから特徴情報抽出部１９１にて抽出された特徴情報と、辞書データ記憶部１９２に記憶されている辞書データとをパターンマッチングにより比較する。この比較に基づいて、類似度算出部１９３は、検出された顔画像データと辞書データ記憶部１９２の顔画像データとの類似度を算出する。

１９４は認識判定部である。認識判定部１９４では、類似度算出部１９３で算出された類似度と、予め設定した認識用の閾値とを比較する。そして、類似度が閾値以上のときに、認識判定部１９４は、顔検出部１９０で検出された顔画像が辞書データ記憶部１９２に記憶された人物であると識別、すなわち個人認識成功との判定を行う。

１９５は分類情報設定部である。分類情報設定部１９５は、辞書データ記憶部１９２に新たな特徴情報を登録する際に、既存の分類に関連付けるか、新たに生成した分類に関連付けるかを制御する。類似度算出部１９３は、前もって辞書データ記憶部１９２に記憶された同一人物の特徴情報と新たな特徴情報との類似度を算出する。分類情報設定部１９５は、算出された類似度と予め設定した分類用の閾値とを比較する。そして、算出された類似度が閾値以上のときには、分類情報設定部１９５は、辞書データ記憶部１９２に登録する特徴情報に辞書データ記憶部１９２に記憶されている既存の分類情報を関連付ける。また、算出された類似度が閾値未満のときは、分類情報設定部１９５は、辞書データ記憶部１９２に登録する特徴情報に新規の分類情報を関連付ける。また、分類情報設定部１９５５は、新たな人物の顔が登録される場合には、その新たな人物を特定する情報と、新規の分類情報とを登録される特徴情報に関連付ける。

なお、図１に示して説明した撮像装置の構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る撮像装置の構成は、図１に示した構成に限定されるものではない。また、撮像装置に限られず、画像を処理する機能を有する情報処理装置であってもよい。

次に、第１実施形態のデジタルカメラ１００における辞書データの登録処理について、図２および図３Ａ〜３Ｄを参照して以下に詳細に説明する。図２は、第１実施形態による辞書データ登録処理を示すフローチャートである。図３Ａ〜３Ｄは、本実施形態における辞書データ登録処理を説明するための図である。

処理の開始後のステップＳ２０１において、システム制御部１５０はユーザにより静止画記録モードと再生モードのいずれが選択されているかを判定する。静止画記録モードが選択されている場合、処理はステップＳ２０２に進み、システム制御部１５０は顔画像登録モードを設定する。そして、ステップＳ２０３において、システム制御部１５０は、撮影のための制御を行う。他方、ステップＳ２０１において再生モードが選択されている場合、処理はステップＳ２０４に進み、システム制御部１５０は記録媒体１０４に記憶された画像データを再生する。

次にステップＳ２０５において、顔検出部１９０は、ステップＳ２０４で選択した画像データ、若しくはステップＳ２０３で撮影した画像データに対して顔検出処理を行なう。ステップＳ２０５で検出された顔が辞書データ記憶部１９２に登録される顔となる。以下では、図３Ａの顔３００が辞書データ３９０に登録する顔として検出されたものとして説明をする。なお、図３Ａに示すように、辞書データは３９０は、各被写体（人物）について、複数の画像から得られた特徴情報をそれらの類似性に基づいて分類して登録している。図３Ａでは、同一の人物３０５について、３つの分類情報３８１，３８２，３８３により、特徴情報３１１，３１２，３１３が３つに分類されて登録されている。

ステップＳ２０６において、特徴情報抽出部１９１は、ステップＳ２０５で検出した辞書データ記憶部１９２に記憶させる顔３００の画像データから辞書データに用いる特徴情報を抽出する。ここで、顔３００より抽出した特徴情報を特徴情報３０１と呼ぶ。なお、特徴情報３０１は、顔３００の複数の小領域の特徴情報を含むものとする。

次に、ステップＳ２０７において、システム制御部１５０は、辞書データ記憶部１９２に登録されている人物に顔３００と同一の人物が存在するか否かを選択するユーザ操作を受け付ける。受け付けたユーザ操作が、顔３００と同一人物の特徴情報が辞書データ記憶部１９２に登録されていないことを示す場合は、顔３００の人物は新規登録ということになる。新規登録の場合、ステップＳ２０８において、分類情報設定部１９５は、どの人物かを特定する情報とその人物の顔を分類する情報とを持った新規の分類情報を特徴情報３０１に関連付ける。その後、特徴情報３０１と、特徴情報に関連付けられた新規の分類情報を辞書データ記憶部１９２に登録し、本処理を終了する。新規の分類情報に関連付けした場合の処理終了後の辞書データを図３Ｂに示す。図３Ｂでは、新規の分類情報に関連付けしたため、人物３０７として新規の分類情報３８５が追加されて登録されている。なお、ステップＳ２０７のユーザ操作は、新規登録か追加登録かを指定するものであってもよい。

一方、ステップＳ２０７において受け付けたユーザ操作が、顔３００と同一人物の特徴情報が辞書データ記憶部１９２に登録されていることを示す場合、新規登録ではなく追加登録であることを意味し、処理はステップＳ２０９へ進む。ステップＳ２０９で、システム制御部１５０は、辞書データ記憶部１９２に記憶されている人物のうち、顔３００の人物と同一の人物を選択するユーザ操作を受け付ける。この際に、システム制御部１５０は、辞書データ記憶部１９２に登録されている人物の一覧を提示するようにしてもよい。例えば、人物の一覧には、登録されている各人物に関連付けられた名前が提示される。もちろん、各人物の代表的な顔画像を提示するようにしてもよい。ここでは、ユーザ操作により、顔３００の人物と同一人物である人物３０５が辞書データ記憶部１９２に記憶されている人物の中から選択されたものとする。

次に、ステップＳ２１０において、類似度算出部１９３は、選択された人物３０５の顔から抽出された特徴情報を１つ選択する。たとえば、図３Ａの辞書データ３９０に記憶されている人物３０５の特徴情報である特徴情報３１１、特徴情報３２１、特徴情報３３１の中から特徴情報３１１が選択されたとする。次にステップＳ２１１において、類似度算出部１９３は、ステップＳ２１０で選択された特徴情報と、ステップＳ２０６で特徴情報抽出部１９１が算出した顔３００の特徴情報３０１との類似度を算出する。図３Ａでは、特徴情報３１１と特徴情報３０１により類似度３９１が算出されている。

次にステップＳ２１２において、システム制御部１５０は、辞書データ記憶部１９２に記憶されている人物３０５の顔から抽出した全ての特徴情報について処理したか否かを判定し、未処理の特徴情報があれば処理をステップＳ２１０に戻す。こうして、選択された人物３０５に関連付けられた分類情報の全てについて顔３００の特徴情報３０１との類似度が算出される。図３Ａでは、顔３００の特徴情報３０１と人物３０５の特徴情報３１１、特徴情報３２１及び特徴情報３３１との各類似度（類似度３９２，３９３）が算出されるまで、上記処理が繰り返される。

選択された人物３０５に関連付けられている全ての特徴情報にいついて処理を終えると、処理はステップＳ２１２からステップＳ２１３に進む。ステップＳ２１３において、分類情報設定部１９５は、ステップＳ２１１で算出された各類似度の中から最も高い類似度と、最も高い類似度の算出に利用された特徴情報を選択する。

次にステップＳ２１４において、分類情報設定部１９５は、ステップＳ２１３で選択した最大の類似度と分類用の閾値とを比較する。最大の類似度が分類用の閾値より大きい場合には、処理はステップＳ２１５に進み、分類情報設定部１９５は、ステップＳ２１３で選択した特徴情報と同一の分類情報を特徴情報３０１に関連付けて、辞書データ記憶部１９２に登録する。一方、最大の類似度が分類用の閾値以下の場合には、処理はステップＳ２１６に進み、分類情報設定部１９５は、選択された人物３０５について新規の分類情報を生成し、特徴情報３０１にこれを関連付けて辞書データ記憶部１９２に記憶する。

たとえば、図３Ａにおける類似度３９１が最大の類似度として選択され、これが分類用の閾値を越えた場合は、分類情報設定部１９５は、分類情報３８１を特徴情報３０１に関連付け、辞書データ３９０に登録する。同様に、図２Ａの類似度３９２が最大の類似度として選択され、これが分類用の閾値を越えた場合、分類情報設定部１９５は、分類情報３８２を特徴情報３０１に関連付けて辞書データ３９０に登録する。また、類似度３９３が最大の類似度として選択され、これが分類用の閾値を超えた場合、分類情報設定部１９５は、分類情報３８３を特徴情報３０１に関連付け、辞書データ３９０に記憶する。

図３Ｃに類似度３９１が最大の類似度として選択され、これが分類用の閾値を越えた場合の、処理終了後の辞書データの内容を示す。類似度３９１が分類用の閾値を越えた場合、図３Ｃに示されるように、類似度３９１の算出に利用した特徴情報３１１に関連付けされた分類情報３８１が、特徴情報３０１に関連付けされて、記憶されている。図３Ｄは、類似度３９１が最大の類似度として選択されたが、これが分類用の閾値を超えなかった場合の処理終了後の辞書データの内容を示す。最大の類似度である類似度３９１が分類用の閾値を超えていないので、選択されなかった類似度３９２、類似度３９３も分類用の閾値以下である。このように全ての類似度が閾値を超えていないので、選択された同一人物である人物３０５について新規の分類情報３８６が生成され、この新規の分類情報３８６が特徴情報３０１に関連付けされて、記憶される。

以上のように、辞書データ記憶部１９２が記憶する辞書データには、各特徴情報が分類情報により特定される分類に分けて登録される。すなわち、各特徴情報は、分類情報によって特定される分類に属するように登録される。

次に、辞書データ記憶部１９２に記憶されている特徴情報と分類情報を利用した個人認識処理について、図４のフローチャートと図５を参照して以下詳細に説明する。図４は、第１実施形態による個人認識処理を示すフローチャートである。また、図５は、本実施形態における類似度算出処理を説明するための図である。

まずステップＳ４０１において、顔検出部１９０は、入力された画像データに関して顔検出処理を実行する。ここで、検出された顔が認識を行う顔となる。次にステップＳ４０２に進み、特徴情報抽出部１９１は、ステップＳ４０１で検出した顔５００の画像データから個人の認識を行う特徴情報を抽出する。

図５で示すように、認識画像である顔５００をいくつかの小領域（小領域５０１や小領域５０２）に分けて得られる各小領域の特徴情報が用いられる。また、辞書データ記憶部１９２においても、各小領域の特徴情報とそれに関連付けられた分類情報が登録されている。例えば、顔５１０、顔５２０、顔５３０の小領域５１１、小領域５２１、小領域５３１の特徴情報に、分類情報５８１が関連付けて登録されている。すなわち、小領域５１１、小領域５２１、小領域５３１の特徴情報は、分類情報５８１により特定される分類に属している。その後、ステップＳ４０３で、類似度算出部１９３は、類似度を算出する分類情報を辞書データ記憶部１９２に記憶された辞書データから選択する。図５では、まず分類情報５８１が選択されるものとする。

次にステップＳ４０４において、類似度算出部１９３は、まず、顔５００の小領域５０１を選択する。次に、ステップＳ４０５において、類似度算出部１９３は、小領域５０１に対応する特徴情報と、選択された分類情報が関連付けられている特徴情報のうちの小領域５０１に対応する特徴情報を用いて類似度を算出する。図５では、小領域５０１の特徴情報と、小領域５１１、小領域５２１、小領域５３１のそれぞれの特徴情報とを用いて類似度が算出される。すなわち、認識対象の小領域５０１と、辞書データ記憶部１９２に登録されている小領域５１１、小領域５２１、小領域５３１のそれぞれとの類似度が算出される。

次にステップＳ４０６において、類似度算出部１９３は、ステップＳ４０５で算出した小領域５１１、小領域５２１、小領域５３１のそれぞれと小領域５０１との各類似度の中から最も高い類似度を選択する。次に、ステップＳ４０７において、類似度算出部１９３は、認識対象である顔５００の全ての小領域について、ステップＳ４０４〜Ｓ４０６の処理を終えたか否かを判定する。未処理の小領域があれば、処理はステップＳ４０４に戻る。全ての小領域について処理済みとなると、処理はステップＳ４０８へ進む。

ステップＳ４０８において、類似度算出部１９３は、顔５００の小領域ごとに選択した類似度（小領域ごとの最大の類似度）を統合することにより、ステップＳ４０３で選択された分類情報と顔５００との類似度５９１を算出する。次に、ステップＳ４０９において、類似度算出部１９３は、辞書データ記憶部１９２に登録されている全ての分類情報について、上記ステップＳ４０３〜Ｓ４０８の処理を終えているか否かを判定する。未処理の分類情報があれば、処理はステップＳ４０３に戻り、上記処理が繰り返される。こうして、分類情報５８１〜５８４の全てについて、顔５００との類似度が求まる。

ステップＳ４０９において全ての分類情報が処理されたと判定されると、処理はステップＳ４１０に進む。ステップＳ４１０において、認識判定部１９４は、ステップＳ４０８で算出した（統合）類似度の中から最大の類似度を選択する。次に、ステップＳ４１１において、認識判定部１９４は、ステップＳ４１０で選択した類似度と認識用の閾値とを比較する。ステップＳ４１０で選択した類似度が認識用の閾値より大きい場合には、処理はステップＳ４１２に進み、認識判定部１９４は、認識に成功したと判定する。すなわち、最も高い分類情報に関連付けられている人物を認識結果とする。認識に成功したとの判定を受けて、システム制御部１５０は、例えば、表示部１２８において個人認識に成功していることを示す顔枠を表示する。一方、ステップＳ４１０で選択した類似度が認識用の閾値以下の場合には処理はステップＳ４１３に進み、認識判定部１９４は、認識に失敗したと判定する。システム制御部１５０は、認識に失敗したことを受けて、個人認識に成功していることを示す顔枠は表示せずに、本処理を終了する。

以上のように、第１実施形態によれば、同一人物の複数の顔画像から特徴情報が辞書データとして登録される際に、同一人物の特徴情報が類似したもの同士へ分類されて登録される。そのため、顔認識の際に、同一人物の複数の特徴情報を用いた認識を可能としながら、環境の大きく異なる特徴情報が混在して用いられることが無くなり、誤認識の発生を低下させることができる。

［第２実施形態］
次に、第２実施形態に係る撮像装置による辞書データの記憶処理について、図９および図１０を参照して以下詳細に説明する。図９は第２実施形態による辞書データの記憶処理を説明するフローチャートである。図１０は、第２実施形態における辞書データ登録処理を説明するための図である。なお、第２実施形態の撮像装置の構成は第１実施形態（図１）で説明したとおりである。また、図９において、Ｓ２０１〜Ｓ２０８の処理は、第１実施形態（図２）で説明したとおりである。

ステップＳ２０７において、システム制御部１５０が受け付けたユーザ操作が追加登録を示す場合、処理はステップＳ９０９へ進む。この場合、顔３００（図３Ａ）と同一人物の特徴情報が辞書データ記憶部１９２に登録されている。ステップＳ９０９で、システム制御部１５０は、辞書データ記憶部１９２に記憶されている人物のうち、顔３００の人物と同一の人物を選択するユーザ操作を受け付ける。

次にステップＳ９１０において、類似度算出部１９３は、選択された人物３０５の顔から抽出された特徴情報を１つ選択する。たとえば、図３Ａの辞書データ３９０に記憶されている人物３０５の特徴情報である特徴情報３１１、特徴情報３２１、特徴情報３３１の中から特徴情報３１１が選択されたとする。

次にステップＳ９１１において、類似度算出部１９３は、ステップＳ９１０で選択された特徴情報と、特徴情報抽出部１９１がステップＳ２０６で算出した顔３００の特徴情報３０１との類似度を算出する。図３Ａでは、特徴情報３１１と特徴情報３０１により類似度３９１が算出されている。

次にステップＳ９１２において、分類情報設定部１９５は、ステップＳ９１１で算出された類似度３９１と分類用の閾値とを比較する。類似度３９１が分類用の閾値より大きい場合には、選択された特徴情報３１１が属する分類（分類情報３８１）に特徴情報３０１を所属させることができる。そのため、処理はステップＳ９１３に進み、分類情報設定部１９５は、選択された人物３０５の特徴情報のうちの選択された特徴情報に関連する分類情報を、特徴情報３０１に関連付ける。他方、類似度３９１が分類用の閾値以下の場合には、ステップＳ９１３はスキップされる。

ステップＳ９１４では、辞書データ記憶部１９２に記憶された人物３０５の顔から抽出可能な全ての特徴情報について、ステップＳ９１０〜Ｓ９１３の処理が終わっているかを判定する。全ての特徴情報について処理が終わっていない場合は、処理はステップＳ９１０に戻る。また、全ての特徴情報について処理が終わっている場合は、処理はステップＳ９１５に進む。

上述した処理により、図３Ａの類似度３９１が分類用の閾値を超えた場合、分類情報３８１が特徴情報３０１に関連付けられる。また、たとえば、類似度３９２が分類用の閾値を超えない場合、分類情報３８２を特徴情報３０１に関連付けることはしない。類似度３９１が分類用の閾値を超え、類似度３９２が分類用の閾値を超えなかった場合の辞書データの様子は図３Ｃに示すとおりとなる。さらに、類似度３９３が分類用の閾値を超えた場合、分類情報３８３も特徴情報３０１に関連付けられる。このように、類似度３９１および類似度３９３が分類用の閾値を超え、類似度３９２が分類用の閾値を超えなかった場合の辞書データの様子は、図１０に示されるようになる。

ステップＳ９１５において、選択された人物３０５の新規の分類情報が、既存の分類情報のいずれかに登録されたかどうかを判定する。既存の分類情報のいずれかに登録された場合は、特徴情報３０１が分類情報と関連付けられて辞書データ記憶部１９２に記憶されているので、そのまま処理を終了する。他方、既存の分類情報のいずれにも特徴情報３０１が登録されなかった場合は、処理はステップＳ９１６に進む。ステップｓ９１６において、分類情報設定部１９５は、選択された人物３０５に新規の分類情報を追加し、この新規の分類情報と特徴情報３０１を関連付ける。そして、特徴情報３０１と、特徴情報３０１に関連付けられた新規の分類情報を辞書データ記憶部１９２に記憶し、処理を終了する。

上述したように、図１０では、類似度３９１および類似度３９３が分類用の閾値を超えたため、分類情報３８１および分類情報３８３が特徴情報３０１に関連付けされている。そして、辞書データ記憶部１９２には、特徴情報３０１と特徴情報３０１に関連付けされた分類情報３８１および分類情報３８３が記憶される。こうして、第２実施形態では、一つの特徴情報（図１０では特徴情報３０１）が複数の分類に属するように登録されることを許容する。

また、類似度３９１、類似度３９２、類似度３９３のいずれも分類用の閾値を超えなかった場合の辞書データの状態は、図３Ｄのようになる。この場合、いずれの類似度も閾値を超えなかったため、選択された人物３０５の新規の分類情報として、分類情報３８６が特徴情報３０１に関連付けされる。そして特徴情報３０１と特徴情報３０１に関連付けされた分類情報３８６が辞書データ記憶部１９２に記憶される。

以上のような第２実施形態の辞書データ記憶処理により生成された辞書データを利用した個人認識処理は、第１実施形態と同様である。なお、ステップＳ９１２，Ｓ９１３では、検出された被写体について辞書データに登録されている特徴情報のうち、ステップＳ２０６で抽出された特徴情報との類似度が所定の閾値より大きい特徴情報が属している分類のすべてが、その特徴情報と関連付けられる。しかしながら、本発明はこれに限られるものではなく、特徴情報に関連付ける分類情報の数を制限してもよい。例えば、ステップＳ９１１で算出された類似度の大きいものから順に所定数の分類情報がステップＳ２０６で抽出された特徴情報に関連付けられるようにしてもよい。その際、類似度が最大のものから順に所定数の分類情報が関連付けられるようにしてもよい。

［第３実施形態］
次に、第３実施形態を説明する。第３実施形態による撮像装置（デジタルカメラ１００）の構成は第１実施形態（図１）と同様である。以下、第３実施形態に係る撮像装置による辞書データ登録処理について、図１１、図１２Ａ〜１２Ｄ、図１３を参照して以下詳細に説明する。図１１は、第３実施形態による辞書データの記憶処理を説明するフローチャートである。図１２Ａ〜１２Ｄは、第３実施形態における辞書データ記憶処理を説明するための図である。図１３は、第３実施形態における類似度上昇値算出方法を説明するための図である。なお、図１１では、図１のステップＳ２０７のＮＯ分岐以降の処理が示されており、ステップＳ２０１〜Ｓ２０８の処理は第１実施形態で説明したとおりである。

テップＳ２０７において、システム制御部１５０が受け付けたユーザ操作が追加登録を示す場合、処理はステップＳ１１０９へ進む。なお、第３実施形態では、ステップＳ２０５で入力画像から図１２Ａの顔１０００が検出され、ステップＳ２０６で特徴情報１００１が抽出されたものとする。また、辞書データ記憶部１９２には、図１２Ａに示される辞書データ１０９０が記憶されているものとする。

ステップＳ２０７において、ユーザ操作が新規登録である旨を示す場合、ステップＳ２０８で、どの人物かを特定する情報とその人物の顔を分類する新規の分類情報とを特徴情報１００１に関連付ける。そして、特徴情報１００１と、特徴情報に関連付けた新規の分類情報を辞書データ記憶部１９２に記憶し、処理を終了する。新規の分類情報を関連付けした場合の処理終了後の辞書データを図１２Ｂに示す。図１２Ｂでは、新規の分類情報を関連付けしたため、人物１００８として新しく分類情報１０８５が追加されて記憶されている。

さて、ステップＳ２０７で顔１０００と同一人物の特徴情報が記憶されている場合（追加登録の場合）は、ステップＳ１１０９でユーザにより顔１０００と同一の人物が選択される。図１２Ａでは、辞書データ１０９０に記憶されている人物１００５、人物１００６、人物１００７の中から人物１００５が選択されたとする。

次にステップＳ１１１０に進み、類似度算出部１９３は、選択された人物１００５の顔から抽出した特徴情報を１つ選択する。図１２Ａでは、辞書データ１０９０に記憶されている人物１００５の特徴情報１０１１、特徴情報１０２１の中から特徴情報１０１１が選択されたとする。

次にステップＳ１１１１に進み、類似度算出部１９３は、ステップＳ１１１０で選択した特徴情報と特徴情報抽出部１９１で算出した顔１０００の特徴情報１００１を用いて類似度を算出する。図１２Ａでは、特徴情報１０１１と特徴情報１００１により類似度１０９１が算出されている。

次にステップＳ１１１２に進み、類似度算出部１９３は、選択された人物１００５に関して辞書データ記憶部１９２に記憶されている全ての特徴情報について、顔１０００の特徴情報１００１との類似度が算出されたか否かを判定する。未処理の特徴情報があれば処理はステップＳ１１１０に戻り、ステップＳ９１０、ステップＳ９１１が繰り返される。上記の例の場合、顔１０００の特徴情報１００１と人物１００５の特徴情報１０１１及び特徴情報１０２１の各類似度が算出されるまで、ステップＳ１１１０〜Ｓ１１１２が繰り返される。

次にステップＳ１１１３に進み、分類情報設定部１９５は、ステップＳ１１１１で算出した各類似度の中から最も高い類似度と、その最も高い類似度の算出に利用された特徴情報を選択する。ここでは、図１２Ａにおける人物１００５の特徴情報１０１１、特徴情報１０２１の中から特徴情報１０１１が選択されたとする。

次にステップＳ１１１４に進み、分類情報設定部１９５は、ステップＳ１１１３で選択した類似度と分類用の閾値の比較を行う。ステップＳ１１１４において類似度が分類用の閾値以下の場合には処理はステップＳ１１２１に進み、選択された人物１００５の新規の分類情報を特徴情報１００１に関連付ける。図１２Ｄでは、類似度１０９１が最も高い類似度として選択され分類用の閾値を超えなかった場合の、本処理終了後の辞書データを示す。最も高い類似度である類似度１０９１が分類用の閾値を超えなかったので、選択されなかった類似度１０９２も分類用の閾値未満である。そのため、選択された同一人物である人物１００５の新規の分類情報として、分類情報１０８５を特徴情報１００１に関連付けて記憶している。

ステップＳ１１１４において類似度が分類用の閾値より大きい場合には処理はステップＳ１１１５に進み、類似度算出部１９３は、ステップＳ１１１３で選択した特徴情報に関連付けてられている分類情報を選択する。図１２Ａの例では、特徴情報１０１１に関連付けている分類情報１０８１が分類情報として選択される。次にステップＳ１１１６に進み、類似度算出部１９３は、ステップＳ１１１５で選択した分類情報とは別の分類情報が関連付けられた特徴情報を、選択された人物１００５の中から１つ以上選択する。図１２Ａでは特徴情報１０２１が選択されたものとする。次にステップＳ１１１７に進み、類似度算出部１９３は、辞書データ記憶部１９２に記憶された類似度を用いて、人物１００５とは別の人物の中から、最も人物１００５との類似度が高い特徴情報を選択する。図１２Ａの例では、人物１００６の特徴情報１０３１が選択されたとする。

なお、辞書データ記憶部１９２には、辞書データに登録されている人物間の類似度が記憶されているものとする。登録されている各人物間の類似度の計算は、辞書データが更新される毎に実行されるものとする。或いは、登録されている人物のそれぞれに、登録されている他の人物のうち最も類似度が高い人物が対応付けられているようにしてもよい。

次にステップＳ１１１８に進み、類似度算出部１９３は、ステップＳ２０６で抽出された特徴情報にステップＳ１１１５で選択された分類情報が関連付けられた場合の類似度の上昇値を２つのケースについて算出する。一つは、当該分類に属する特徴情報と同一人物の他の分類に属する特徴情報との類似度の上昇値であり、もう一つは、当該分類に属する特徴情報と他人の特徴情報との類似度の上昇値である。

まず、同一人物のうち、ステップＳ１１１５で選択した分類情報が関連付けられた特徴情報（ステップＳ２０６で抽出した特徴情報に分類情報を関連付ける前の状態）と、ステップＳ１１１６で選択した特徴情報との類似度を算出する。また、類似度算出部１９３は、ステップＳ１１１５で選択した分類情報をステップＳ２０６で抽出した特徴情報に関連付けた後の該分類情報が関連付けられた特徴情報とＳ１１１６で選択した特徴情報を用いて類似度を算出する。類似度算出部１９３は、こうして算出された２つの類似度から同一人物の類似度上昇値を算出する。

次に、類似度算出部１９３は、ステップＳ１１１５で選択した分類情報が関連付けられた特徴情報（ステップＳ２０６で抽出した特徴情報に分類情報を関連付ける前の状態）と、ステップ１０１７で選択した他人の特徴情報との類似度を算出する。また、類似度算出部１９３は、ステップＳ１１１５で選択した分類情報をステップＳ２０６で抽出した特徴情報に関連付けた後の該分類情報が関連付けられた特徴情報と、他人の特徴情報を用いて類似度を算出する。類似度算出部１９３は、こうして算出した２つの類似度をから他人の類似度上昇値を算出する。

類似度の上昇値の算出について、図１３を参照して更に説明する。図１３において、分類情報１１８１は、分類情報１０８１を特徴情報１００１に関連付けて登録した様子を示している。したがって、分類情報１０８１と分類情報１１８１は実質的に同じ分類情報である。類似度算出部１９３は、分類情報１０８１とステップＳ１１１６で選択した特徴情報１０２１を用いて類似度１１０１を算出する。また、類似度算出部１９３は、分類情報１１８１とステップＳ１１１６で選択した特徴情報１０２１を用いて類似度１１０２を算出する。更に類似度１１０１及び類似度１１０２を用いて同一人物の類似度上昇値１１１１を求める。同様にして、類似度算出部１９３は、分類情報１０８１とステップＳ１１１７で選択した特徴情報１０３１を用いて類似度１１０３を算出する。また、類似度算出部１９３は、分類情報１１８１とステップＳ１１１７で選択した特徴情報１０３１を用いて類似度１１０４を算出する。類似度算出部１９３は、類似度１１０３及び類似度１１０４を用いて他人の類似度上昇値１１１２を求める。

次にステップＳ１１１９に進み、分類情報設定部１９５は、ステップＳ１１１８で求めた同一人物の類似度上昇値１１１１と他人の類似度上昇値１１１２を比較する。同一人物の類似度上昇値１１１１と他人の類似度上昇値１１１２より大きい場合、処理はステップＳ１１２０に進む。ステップＳ１１２０において、分類情報設定部１９５は、ステップＳ１１１５で選択した分類情報１０８１を特徴情報１００１に関連付けて、辞書データ記憶部１９２に記憶し、処理を終了する。他方、同一人物の類似度上昇値１１１１と他人の類似度上昇値１１１２以下の場合、処理はステップＳ１１２１に進む。ステップＳ１１２１において、分類情報設定部１９５は、選択された人物１００５の新規の分類情報を特徴情報１００１に関連付ける。図１２Ｃに類似度上昇値１１１１が類似度上昇値１１１２より大きい場合の辞書データを示す。図１２Ｃでは分類情報１０８１が特徴情報１０１１と特徴情報１００１に関連付けられている。

以上のように、第３実施形態では、最大の類似度が得られた特徴情報に関連付けられた特徴情報を、分類候補として選択する（Ｓ１１１５）。そして、特定の被写体の特徴情報のうちの分類候補以外の分類から取得された特徴情報と、上記分類候補に属する特徴情報との類似度の、抽出された特徴情報を分類候補へ追加する前後の変化（上昇値）が同一人物の類似度上昇値として算出される。また、特定の被写体以外の別の被写体の特徴情報と上記分類候補に属する特徴情報との類似度の、抽出された特徴情報を上記分類候補へ追加する前後の変化（上昇値）が、他人の類似度上昇値として算出される。そして、同一人物の類似度上昇値が他人の類似度上昇値よりも大きい場合に、分類候補の分類情報がステップＳ２０６で抽出した特徴情報に関連付けられる。

なお、ステップＳ１１１６で特徴情報を選択できない場合には、そのままステップＳ１１２０が実行されるものとする。また、ステップＳ１１１６で一つ以上の特徴情報が選択された場合は、最も上昇値の大きいものが採用されるものとする。以上のような第３実施形態の辞書データ記憶処理により生成された辞書データを利用した個人認識処理は、第１実施形態と同様である。
すなわち、

以上のように、上記各実施形態によれば、本人に対する類似度の低下を抑えながら、他人の類似度を低下させることが可能となる。そのため、認識精度を向上する個人認識装置及び個人認識方法、ならびに辞書記憶方法を提供することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 一つの被写体の複数の画像から得られた複数の特徴情報を、それらの類似性に基づいて分類して、該被写体に関連付けて登録した辞書データを記憶する記憶手段と、
   画像から被写体を検出し、該被写体の画像から新たに登録される特徴情報を抽出する抽出手段と、
   前記抽出手段により検出された被写体が前記辞書データに登録されている場合に、前記検出された被写体の各分類に属する特徴情報と前記抽出された特徴情報との類似度に基づいて、前記検出された被写体に対応する分類を選択する選択手段と、
   前記選択手段で対応する分類が選択された場合は、前記辞書データの該対応する分類に前記抽出された特徴情報を登録し、前記選択手段で対応する分類が選択されなかった場合は、前記辞書データの前記検出された被写体に新たな分類を追加して該抽出された特徴情報を登録する登録手段と、を備え、
   前記選択手段は、
   前記検出された被写体の各分類に属する特徴情報と前記抽出された特徴情報との類似度に基づいて、前記検出された被写体に対応する分類候補を選択し、
   前記検出された被写体の前記分類候補以外の分類から取得された特徴情報と該分類候補に属する特徴情報から得られる類似度の、前記抽出された特徴情報を該分類候補へ追加したことによる上昇値が、前記辞書データから選択された前記検出された被写体以外の他の被写体の特徴情報と該分類候補に属する特徴情報とから得られる類似度の、前記抽出された特徴情報を該分類候補へ追加したことによる上昇値よりも大きい場合に、前記分類候補を前記対応する分類に選択することを特徴とする被写体認識装置。
2. 前記選択手段は、前記他の被写体の特徴情報として、前記辞書データに登録された前記検出された被写体以外の被写体のすべての特徴情報のうち、前記検出された被写体との類似度が最も大きい特徴情報を選択する、ことを特徴とする請求項１に記載の被写体認識装置。
3. 前記辞書データに登録された被写体の中から、前記検出された被写体に対応する被写体をユーザに選択させる手段を更に備える、ことを特徴とする請求項１または２に記載の被写体認識装置。
4. 入力された画像から特徴情報を取得する取得手段と、
   前記取得手段により取得された特徴情報と前記辞書データに登録された特徴情報との類似度を、分類ごとに算出する算出手段と、
   前記算出した類似度のうち最大の類似度が認識用の閾値より大きい場合に、該最大の類似度を有する分類に対応した被写体を認識の結果として判定する認識判定手段とを備える、ことを特徴とする請求項１乃至３のいずれか１項に記載の被写体認識装置。
5. 一つの被写体の複数の画像から得られた複数の特徴情報を、該被写体に関連付けるとともに、類似性に基づいて分類して登録した辞書データを記憶する記憶手段を備えた被写体認識装置による辞書データ登録方法であって、
   抽出手段が、画像から被写体を検出し、検出された被写体の画像から新たに登録される特徴情報を抽出する工程と、
   選択手段が、前記検出された被写体が前記辞書データに登録されている場合に、前記検出された被写体の各分類に属する特徴情報と前記抽出された特徴情報との類似度に基づいて、前記検出された被写体に対応する分類を選択する工程と、
   登録手段が、前記対応する分類が選択された場合は、前記辞書データの該対応する分類に前記抽出された特徴情報を登録し、前記対応する分類が選択されなかった場合は、前記辞書データの前記検出された被写体に新たな分類を追加して該抽出された特徴情報を登録する工程と、を有し、
   前記選択する工程では、
   前記検出された被写体の各分類に属する特徴情報と前記抽出された特徴情報との類似度に基づいて、前記検出された被写体に対応する分類候補を選択し、
   前記検出された被写体の前記分類候補以外の分類から取得された特徴情報と該分類候補に属する特徴情報から得られる類似度の、前記抽出された特徴情報を該分類候補へ追加したことによる上昇値が、前記辞書データから選択された前記検出された被写体以外の他の被写体の特徴情報と該分類候補に属する特徴情報とから得られる類似度の、前記抽出された特徴情報を該分類候補へ追加したことによる上昇値よりも大きい場合に、前記分類候補を前記対応する分類に選択することを特徴とする辞書データ登録方法。