JP6161271B2 - 情報処理装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、その制御方法、及びプログラムに関し、特に画像に含まれる顔画像を処理する技術に関する。

従来、撮像装置が撮影画像に対して顔認識処理を行い、撮影画像に含まれる顔画像について、人物を特定し、特定した人物を示す情報を該顔画像に関連付けた顔登録ファイルを生成し、外部装置に提供することが開示されている（特許文献１参照）。

また、顔認識機能を搭載したアプリケーションソフトウエアをインストールしたパーソナルコンピュータ（ＰＣ）でも、画像に含まれる特定の人物の顔画像を所定のデータベースに記憶し、それに基づいて、特定の人物を含む画像を検索することが行われている。

特開２００８−２７８３５０号公報

一般的に、撮像装置はＰＣに比べて記憶領域の容量が小さい。また、撮像装置の記憶領域は撮影処理を最優先して利用される。

また、一般的に、人物の顔は年齢等の時間的な要因に伴って変化するため、記憶している顔画像が古くなると、特定の人物を含む画像の検索の精度が低減することがある。そこで、新しい顔画像を追加して更新することで検索の精度を向上させている。

しかし、上述の通り撮像装置の記憶領域の容量は小さいため、新しい顔画像を記憶する容量を確保するためには、既存の顔画像を削除しなければならなかった。

一方、ユーザが撮像装置で撮影して作成した顔画像は、例えば、ユーザがインターネット等を介して取得した、第三者により作成された顔画像よりも、ユーザにとって重要度が高いと考えられる。即ち、新しい顔画像を記憶するためにユーザが撮像装置による撮影で得た顔画像が消失してしまった場合、不都合が発生する。例えば、ユーザが以前に撮影した顔画像を利用したくなった場合、ユーザは再度、同じ人物に対して撮影を行い、同様の顔画像を作成する必要があった。あるいは、例えば消失した顔画像が古い場合には、同じ人物を撮影することは困難であり、同様の顔画像を作成できない場合もあった。

本発明は、上述の問題点に鑑みてなされたものであり、撮像装置により作成された顔画像の消失を防ぐことのできる情報処理装置、その制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の情報処理装置は、以下の構成を備える。
人物ごとに、画像に含まれる人物の顔に関する顔データを記録した顔辞書を生成する生成手段と、撮像装置に保持されている顔辞書を撮像装置から受信する受信手段と、撮像装置に保持されていない人物の顔辞書が存在すれば、生成手段により生成された該人物の顔辞書を撮像装置へ送信する送信手段と、送信手段により送信される顔辞書に含まれる顔データすべての撮影時間が現在時刻から所定の期間内であるか否かを判定する判定手段と、を備え、送信手段は、送信する顔辞書に含まれる顔データすべての撮影時間が現在時刻から所定の期間内であるか否かの判定結果に応じて該顔辞書を撮像装置へ選択的に送信し、撮像装置は、撮像により得られる画像に対する顔認識処理を送信された顔辞書を用いて実行可能であることを特徴とする。

このような構成により本発明によれば、外部装置において顔辞書に登録された顔画像の、顔辞書の更新による消失を防ぐことが可能となる。

本発明の実施形態に係るＰＣ１００の機能構成を示すブロック図 本発明の実施形態に係る撮像装置２００の機能構成を示すブロック図 本発明の第１の実施形態に係る、顔辞書及び顔辞書管理ファイルのデータ構造を例示した図 本発明の第１の実施形態に係る顔辞書更新処理を例示したフローチャート 本発明の第１の実施形態に係る、顔辞書更新アプリケーションにおける顔辞書に含める顔画像を選択するウィンドウを例示した図 本発明の第１の実施形態に係る自動更新処理を例示したフローチャート 本発明の第１の実施形態に係る更新により消失する外部登録顔画像を説明するための図 本発明の第１の実施形態に係る手動更新処理を例示したフローチャート 本発明の第１の実施形態に係る、選択された顔画像を用いた顔認識処理の結果をシミュレーションする機能を説明するための図 本発明の第１の実施形態に係る消失する外部登録顔画像の記録確認を通知するＧＵＩを示した図 本発明の第１の実施形態に係る、複数の対象人物の顔辞書を撮像装置２００に設定する際に用いられるＧＵＩを示した図 本発明の変形例に係る自動更新処理を例示したフローチャート 本発明の第２の実施形態に係る顔辞書及び顔画像ファイルのデータ構造を例示した図 本発明の第２の実施形態に係る撮像装置の動作を例示したフローチャート 本発明の第２の実施形態に係るＰＣの動作を例示したフローチャート 本発明の第２の実施形態に係るＰＣの動作を例示したフローチャート 本発明の第２の実施形態に係るＰＣの動作を例示したフローチャート 本発明の第２の実施形態に係る撮像装置の動作を例示したフローチャート

［第１の実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、情報処理装置の一例としての、外部装置である撮像装置２００の顔認識処理で用いられる顔認識ライブラリ（顔辞書）を生成可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、顔辞書を生成することが可能な任意の機器に適用可能である。

また、本明細書においては、以下に定義した用語を用いて発明を説明する。
・顔辞書 ：１人の人物についての１以上の顔画像と各顔画像に含まれる顔
領域の特徴量のデータとを含む、顔認識処理におけるマッチン
グ処理に用いられる顔認識ライブラリ。なお、顔辞書は、含め
られる顔画像の数あるいは最大ファイルサイズが予め定められ
ているものとする。即ち、顔辞書には対象人物について管理さ
れている全ての顔画像が含まれない場合がある。また本実施形
態では顔画像を管理するＰＣ１００において、撮像装置２００
が保持する顔辞書が生成される。
・更新用顔辞書 ：顔辞書の更新用にＰＣ１００で作成される、更新対象人物につ
いての顔辞書。更新用顔辞書に含められた顔画像を示す情報は
、更新後は後述する顔辞書管理ファイルと共にＰＣ１００内に
保持される。
・自動更新 ：カメラで撮影されて顔辞書に登録された対象人物についての顔
画像を含む、ＰＣ１００で管理する対象人物についての全ての
顔画像から、予め定められた条件に従って選択された顔画像群
で構成される更新用顔辞書を生成し、撮像装置２００の保持す
る顔画像を更新する。
・手動更新 ：ユーザにより選択された顔画像群で構成される更新用顔辞書を
生成し、撮像装置２００の保持する顔画像を更新する。
・顔辞書管理ファイル：撮像装置２００が保持する全ての顔辞書、あるいは更新により
撮像装置２００に出力した全ての顔辞書の管理用に生成される
ファイル。顔辞書の更新時は、互いの機器が有する顔辞書管理
ファイルの比較を行うことにより、更新用顔辞書に含める顔画
像の選択、及び顔画像のＰＣ１００への記録の判断が行われる
。なお、本実施形態では顔辞書管理ファイルは管理する全ての
人物についての顔辞書の情報が含められるものとして説明する
が、顔辞書管理ファイルは各人物の顔辞書について１つずつ存
在するものであってもよい。

＜ＰＣ１００の構成＞
図１は、本発明の実施形態に係るＰＣ１００の機能構成を示すブロック図である。

ＣＰＵ１０１は、ＰＣ１００が有する各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、例えば記録媒体１０４に記憶されている顔辞書更新アプリケーションの動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、ＰＣ１００が有する各ブロックの動作において必要となるパラメータ等を記憶する。なお、本実施形態では顔辞書の更新処理に係る動作プログラムは記録媒体１０４に記録されているものとして説明するが、ＲＯＭ１０２に記憶されている構成であってもよい。

ＲＡＭ１０３は、揮発性メモリであり、顔辞書更新アプリケーションの動作プログラムや他の動作プログラムの展開領域としてだけでなく、ＰＣ１００が有する各ブロックの動作により出力された中間データを記憶する格納領域としても用いられる。

記録媒体１０４は、例えばＨＤＤやＳＳＤ等の、ＰＣ１００に着脱可能に接続される記録装置（記憶領域）である。本実施形態では記録媒体１０４には、顔辞書更新アプリケーションの動作プログラムに加え、顔辞書の生成に用いられる各人物について撮影された１以上の顔画像及び各顔画像に含まれる顔領域の特徴量が記録される。即ち、記録媒体１０４内の一部の領域には、人物ごとに関連付けられた顔画像及び各顔画像に含まれる顔領域の特徴量を記録する顔画像データベースとして機能する。また記録媒体１０４には、上述した顔辞書管理ファイル（ＰＣ側顔辞書管理ファイル）が記録される。記録媒体１０４に記録されるＰＣ側顔辞書管理ファイルは、ＰＣ１００に接続された撮像装置２００の顔辞書を更新した際の更新用顔辞書の情報が含まれる。

通信部１０５は、ＰＣ１００が有する外部装置とのデータの送受信を行う通信インタフェースである。外部装置である撮像装置２００とＰＣ１００とは、例えばＵＳＢ（Universal Serial Bus）ケーブルによる有線接続、あるいは無線ＬＡＮによる無線接続など、有線無線を問わず通信部１０５を介して接続される。ＰＣ１００及び撮像装置２００間のデータ通信のプロトコルとしては、例えば、ＰＴＰ（Picture Transfer Protocol）やＭＴＰ（Media Transfer Protocol）が用いられてよい。

表示部１０６は、例えばＬＣＤ等のＰＣ１００に接続された表示装置である。本実施形態では表示部１０６はＰＣ１００にその構成が含まれるものとして説明するが、表示部１０６はＰＣ１００に接続された外部表示装置であってもよいことは容易に想像されよう。本実施形態では、表示部１０６には顔辞書更新アプリケーションに係るＧＵＩデータを用いて生成された表示画面が表示される。

操作入力部１０７は、例えばマウスやキーボード等の入力装置を含む、ＰＣ１００が有するユーザインタフェースである。操作入力部１０７は、ユーザにより入力装置の操作がなされたことを検出すると、操作内容に対応する制御信号を生成してＣＰＵ１０１に伝送する。

＜撮像装置２００の構成＞
次に、本発明の実施形態に係る撮像装置２００の機能構成を、図２を用いて説明する。

カメラＣＰＵ２０１は、撮像装置２００が有する各ブロックの動作を制御する。具体的にはカメラＣＰＵ２０１は、カメラＲＯＭ２０２に記憶されている撮影処理等の動作プログラムを読み出し、不図示のカメラＲＡＭに展開して実行することにより、各ブロックの動作を制御する。

カメラＲＯＭ２０２は、例えば書き換え可能な不揮発性メモリであり、撮影処理等の動作プログラムに加え、撮像装置２００が有する各ブロックの動作に必要なパラメータ等を記憶する。

カメラ撮像部２０３は、撮影光学系、ＣＣＤやＣＭＯＳセンサ等の撮像素子、Ａ／Ｄ変換部等で構成される。カメラ撮像部２０３は、撮像素子上に結像された光学像を光電変換し、さらにＡ／Ｄ変換処理を含む種々の画像処理が適用された画像を出力する。

カメラ記録媒体２０４は、例えば撮像装置２００が有する内蔵メモリや、メモリカードやＨＤＤ等の撮像装置２００に着脱可能に接続される記録装置である。本実施形態ではカメラ記録媒体２０４には、撮影処理により撮影された画像や、撮像装置２００における顔認識処理で参照される顔辞書が記録される。カメラ記録媒体２０４に記録される顔辞書は、ＰＣ１００で実行される顔辞書管理アプリケーションにより生成されたものに限らず、撮像装置２００における撮影により得られた顔画像が登録されて生成されたものであってもよい。またカメラ記録媒体２０４には、カメラ記録媒体２０４に記録されている顔辞書を管理する顔辞書管理ファイル（カメラ側顔辞書管理ファイル）が記録される。なお、本実施形態では、顔辞書及び顔辞書管理ファイルがカメラ記録媒体２０４に記録されているものとして説明するが、本発明の実施はこれに限られるものではない。例えば顔辞書及び顔辞書管理ファイルはカメラＲＯＭ２０２等、ＰＣ１００における顔辞書管理アプリケーションによりアクセス可能、あるいはファイル書き込み要求を受けて書き込み可能な領域に格納されていればよい。また顔辞書及び顔辞書管理ファイルは、ＰＣ１００から送信された際に、カメラＣＰＵ２０１が所定の記録領域に格納する構成であってもよい。

カメラ通信部２０５は、撮像装置２００が有する外部装置とのデータの送受信を行う通信インタフェースである。なお、本実施形態では、カメラ通信部２０５の通信インタフェースは、ＰＣ１００の通信部１０５と同一のプロトコルでデータ通信が可能な通信インタフェースであるものとする。

カメラ表示部２０６は、例えば小型ＬＣＤ等の撮像装置２００が有する表示装置である。カメラ表示部２０６には、撮影によりカメラ撮像部２０３から出力された画像や、カメラ記録媒体２０４に記録された画像等が表示される。

カメラ操作入力部２０７は、例えば電源ボタンやシャッタボタン等の操作部材を含む、撮像装置２００が有するユーザインタフェースである。カメラ操作入力部２０７は、ユーザによる操作部材の操作がなされたことを検出すると、操作内容に対応する制御信号を生成してカメラＣＰＵ２０１に伝送する。

＜顔辞書及び顔辞書管理ファイルのデータ構造＞
ここで、記録媒体１０４及びカメラ記録媒体２０４に記録される、本実施形態の顔辞書及び顔辞書管理ファイル（ＰＣ側及びカメラ側）のデータ構造について、図３を用いて説明する。

上述したように、ＰＣ１００及び撮像装置２００の各々は、それぞれ異なる顔辞書管理ファイルを有している。ＰＣ側顔辞書管理ファイルは、自動更新あるいは手動更新時に生成した更新用顔辞書に含めた顔画像についての情報を管理する。またカメラ側顔辞書管理ファイルは、撮像装置２００のカメラ記録媒体２０４に記録されている顔辞書に含まれる顔画像についての情報を管理している。つまり、撮像装置２００が有するカメラ側顔辞書管理ファイルは、例えば撮像装置２００において撮影した顔画像の顔辞書への登録が行われた場合に変更が生じる。一方、ＰＣ１００が有するＰＣ側顔辞書管理ファイルは、ＰＣ１００と撮像装置２００とが接続された状態で、顔辞書更新アプリケーションにおける顔辞書更新処理が実行されるまでは、前回の更新時に生成した更新用顔辞書についての情報が保持される。即ち、ＰＣ１００及び撮像装置２００が有する顔辞書管理ファイルは、顔辞書更新処理が実行された直後は同一の情報を有する顔辞書管理ファイルである。しかしながらＰＣ１００及び撮像装置２００が有する顔辞書管理ファイルは、顔辞書更新処理の実行後には撮像装置２００における新たな顔画像の登録等がなされることにより、互いの情報に差が生じることになる。

（顔辞書のデータ構造）
まず１人の対象人物についての顔辞書のデータ構造を、図３（ａ）を用いて説明する。

１人の対象人物についての顔辞書は、該対象人物を識別する人物名３０１と、顔辞書に含められた該対象人物についての１以上の顔画像の各々についての詳細情報（顔画像情報（１）、顔画像情報（２）、・・・、顔画像情報（Ｎ））とで構成される。１つの顔画像についての詳細情報である顔画像情報（１）３０２は、
１．該顔画像に含まれる顔領域の特徴量データ（１）３０３（顔データ）
２．該顔画像が撮像装置２００において登録された顔画像（外部登録顔画像）であるか
否かを示すカメラ作成フラグ（１）３０４（論理型）
を含む。

なお、顔辞書に含まれる顔画像の選択方法については、後述する顔辞書更新処理の説明において詳細を述べる。

（顔辞書管理ファイルのデータ構造）
次に、顔辞書管理ファイルのデータ構造を、図３（ｂ）を用いて説明する。なお、顔辞書管理ファイルは、例えば顔辞書の生成あるいは顔辞書に変更が生じた際に、それぞれの機器においてＣＰＵ１０１あるいはカメラＣＰＵ２０１が生成するものとする。

本実施形態では顔辞書管理ファイル３１０は、撮像装置２００の保持する全ての顔辞書についての情報を管理するデータである。具体的には顔辞書管理ファイル３１０内の１つの顔辞書（１）３１１についての情報は、図３（ｂ）に示されるように、
１．該顔辞書を示す顔辞書ファイル名（１）３１２
２．該顔辞書の更新がなされた更新日時（１）３１３
３．該顔辞書に含められた各顔画像の詳細情報（顔画像詳細情報（１−１）３１４、顔
画像詳細情報（１−２）３２０、・・・、顔画像詳細情報（１−Ｎ）３３０）
を含む。

また、顔辞書に含められた顔画像詳細情報の各々は、１つの顔画像詳細情報（１−１）３１４を例にとると、
１．該顔画像の識別情報である、記録媒体１０４における顔画像ファイル名（１−１）
３１５
２．該顔画像が撮影された撮影日時（１−１）３１６
３．該顔画像が外部登録顔画像であるか否かを示すカメラ作成フラグ（１−１）３１７
（論理型）
４．該顔画像が顔辞書の代表画像として設定されているか否かを示す代表画像フラグ（
１−１）３１８（論理型）
を含む。

＜顔辞書更新処理＞
このような構成をもつ本実施形態のＰＣ１００の顔辞書更新処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えば記録媒体１０４に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本顔辞書更新処理は、例えばＰＣ１００において実行中の顔辞書更新アプリケーションにおいて、ユーザからの１人の対象人物についての顔辞書更新指示がなされたことをＣＰＵ１０１が判断した際に開始されるものとして説明する。

Ｓ４０１で、ＣＰＵ１０１は、対象人物の顔辞書に含める顔画像の自動選択設定がなされているか否かを判断する。具体的にはＣＰＵ１０１は、例えばＲＡＭ１０３に記憶されている顔辞書更新設定に含まれる顔画像の選択設定の情報を参照し、顔画像の選択設定が自動選択を示す設定となっているか否かを判断する。

（顔辞書更新アプリケーションのＧＵＩ例）
ここで、本実施形態の顔辞書更新アプリケーションで用いられるＧＵＩを参照して、アプリケーションの概要について説明する。本実施形態の顔辞書更新アプリケーションでは、１人の対象人物についての顔辞書に含める顔画像の選択に係るＧＵＩとして、図５に示されるようなウィンドウ５００を使用するものとする。

図５に示されるように、ユーザは「自動で最適化する」と記載された顔画像の自動選択設定の自動選択チェックボックス５０１の状態を変更することにより、顔辞書に含める顔画像を自動選択にするか、あるいは手動選択にするかを切り替えることができる。ＣＰＵ１０１は、ユーザにより自動選択チェックボックス５０１の状態変化がなされたことを操作入力部１０７からの制御信号により検出すると、ＲＡＭ１０３に記憶されている顔画像の自動選択設定の状態を変更する。

顔辞書に含める顔画像の自動選択を行わない場合、ユーザは記録媒体１０４の顔画像データベースに登録されている顔画像の中から任意の顔画像を選択して顔辞書に含めることができる。記録媒体１０４の顔画像データベースに登録されている顔画像は、ＰＣ登録顔画像リスト５０２及びカメラ登録顔画像リスト５０３に、例えば撮影日時の新しい順に一覧表示される。カメラ登録顔画像リスト５０３には、ＰＣ１００以外の外部装置（本実施形態では撮像装置２００）で顔辞書に登録された顔画像（外部登録顔画像）が一覧表示される。一方、ＰＣ登録顔画像リスト５０２には、記録媒体１０４の顔画像データベースに記録されている顔画像のうち、外部登録顔画像を除く顔画像が一覧表示される。ユーザは、各顔画像の左上に表示された選択チェックボックス５０４の状態をチェック状態に変更することで、該顔画像を顔辞書に含める顔画像として選択することができる。

なお、本実施形態では、１人の対象人物についての顔辞書には、５枚の顔画像が選択可能であるものとする。ＣＰＵ１０１は、１つの顔画像の選択チェックボックス５０４のチェック状態への変更指示を操作入力部１０７からの制御信号で検出すると、現在チェック状態にある顔画像の数が５枚未満である場合に、該選択チェックボックス５０４をチェック状態に変更する。

また、ユーザによる顔画像の選択がなされていない状態では、最後の更新時に対象人物の顔辞書に含めた顔画像に対応する選択チェックボックス５０４がチェック状態にされて表示される。具体的にはＣＰＵ１０１は、記録媒体１０４に記憶されているＰＣ側顔辞書管理ファイルを参照して、最後の更新時に対象人物の顔辞書に含めた顔画像を特定し、該顔画像に対応する選択チェックボックス５０４をチェック状態に変更して表示する。このとき、他の顔画像については、対応する選択チェックボックス５０４は非チェック状態に制御される。

そして、このように顔辞書に含める顔画像の選択方法、あるいは顔辞書に含める顔画像の選択が完了した後にユーザは更新ボタン５０５を操作することにより、ＣＰＵ１０１に顔辞書更新指示を行うことができる。

ＣＰＵ１０１は、Ｓ４０１において対象人物の顔辞書に含める顔画像の自動選択設定がなされていると判断した場合は処理をＳ４０２に移し、なされていないと判断した場合は処理をＳ４０３に移す。

Ｓ４０２で、ＣＰＵ１０１は、対象人物の顔辞書に含める顔画像を予め設定された条件に従って自動的に選択する自動更新処理を実行し、本顔辞書更新処理を完了する。

（自動更新処理）
ここで、本実施形態のＰＣ１００の自動更新処理について、図６を用いて詳細を説明する。

Ｓ６０１で、ＣＰＵ１０１は、撮像装置２００のカメラ記録媒体２０４から顔辞書（第２の顔辞書）及びカメラ側顔辞書管理ファイルを取得する。顔辞書及びカメラ側顔辞書管理ファイルの取得方法は、例えばＣＰＵ１０１が該ファイルの送信要求コマンドを通信部１０５を介して撮像装置２００に送信し、要求に対するレスポンスとして受信してもよい。また例えばＰＣ１００と撮像装置２００とがＵＳＢ接続されている場合、ＣＰＵ１０１は外部接続ストレージとして認識したカメラ記録媒体２０４から、直接カメラ側顔辞書管理ファイルを取得してもよい。そしてＣＰＵ１０１は、取得したＰＣ側顔辞書管理ファイルをＲＡＭ１０３に展開する。

Ｓ６０２で、ＣＰＵ１０１は、同様に記録媒体１０４に記録されているＰＣ側顔辞書管理ファイルを読み出してＲＡＭ１０３に展開する。

Ｓ６０３で、ＣＰＵ１０１は、予め設定された条件に従って対象人物についての更新用顔辞書（第１の顔辞書）に含める顔画像の選択（自動選択）を行う。本実施形態では更新用顔辞書に含める顔画像は、時間的要因による変化を考慮するため、対象人物の顔画像のうちの現在日時との撮影日時の差が少ない、即ち撮影日時が新しい順に所定数（５枚）の顔画像を選択する。即ち、本実施形態の顔画像更新アプリケーションでは予め設定された条件として、対象人物の顔画像のうち、撮影日時を新しい順に並べた上位５枚の顔画像を選択する条件が設定されているものとする。しかしながら、更新用顔辞書に含める顔画像の選択条件は撮影日時に限らず、例えば定量化した特徴量の分布におけるピーク値に対応する顔画像や、顔認識処理におけるマッチング回数が上位の顔画像等、他の条件が設定されてよい。

ＣＰＵ１０１は、ＲＡＭ１０３に展開されたカメラ側顔辞書管理ファイル及びＰＣ側顔辞書管理ファイルを参照する。そしてＣＰＵ１０１は、現在、撮像装置２００が保持する顔辞書（現在の顔辞書）及び最後の更新時にＰＣから撮像装置２００に出力した顔辞書（最後の更新用顔辞書）に含まれる顔画像のうち、撮影日時の新しい順に並べた場合の上位５枚の顔画像を、最新の更新用顔辞書に含める顔画像として選択する。最新の更新用顔辞書に含める顔画像として選択された顔画像を示す情報は、ＣＰＵ１０１により例えばＲＡＭ１０３に格納される。

例えばＲＡＭ１０３に展開されているカメラ側顔辞書管理ファイル及びＰＣ側顔辞書管理ファイルに含まれる顔画像が、図７に示されるような顔画像７０１ａ乃至ｅと顔画像７０２ａ乃至ｅである場合を考える。なお、図７では現在の顔辞書に含まれる顔画像のうち、外部登録顔画像７０１ａ、ｂ、及びｅを識別するために、左上にカメラアイコンを付して示している。外部登録顔画像であるか否かは、ＣＰＵ１０１が顔辞書管理ファイルに含まれる各顔画像のカメラ作成フラグを参照することにより判断可能である。

このとき、ＣＰＵ１０１は、顔画像７０１ａ乃至ｅおよび顔画像７０２ａ乃至ｅの全てについて、カメラ側顔辞書管理ファイルあるいはＰＣ側顔辞書管理ファイルに含まれる撮影日時の情報を参照し、撮影日時の新しい順に並べた場合の上位５枚の顔画像を選択する。なお、図７の例では顔画像７０１ｄと顔画像７０２ｄとは同一の顔画像である。ＣＰＵ１０１は、顔辞書管理ファイルに含まれる顔辞書ファイル名の情報を参照することで、現在の顔辞書及び最後の更新用顔辞書に同一の顔画像が含まれるか否かを判断することができる。ＣＰＵ１０１は、同一の顔画像の存在を判断した後、該同一の顔画像をマージした顔画像の中から更新用顔辞書に含める顔画像を選択する。図７の例では、ＣＰＵ１０１は９枚の顔画像の中から撮影日時の新しい順に並べた場合に上位となる顔画像７０１ａ、ｄ、及びｅと顔画像７０２ｃ及びｅを更新用顔辞書に含める顔画像として選択するものとする。

なお、本実施形態では現在の顔辞書及び最後の更新用顔辞書に含まれる顔画像から、最新の更新用顔辞書に含める顔画像を選択するものとして説明する。しかし、本発明の実施はこれに限られるものではない。例えばＰＣ１００が最後の更新用顔辞書を撮像装置２００に出力した後に、記録媒体１０４の顔画像データベースに新たな顔画像が登録される場合を考える。この場合、ＣＰＵ１０１は顔画像データベースの変更ごとに、該データベースに含まれる顔画像の中から上述のように撮影日時の新しい順に新たな所定数の顔画像を選択し、次の更新時の比較用のＰＣ側顔辞書管理ファイルを生成し、最後の更新用顔辞書の代わりに用いてもよい。

また、本実施形態では本ステップにおける処理負荷を軽減するために、ＰＣ側顔辞書管理ファイルとカメラ側顔辞書管理ファイルとを設けて比較する方法について説明するが、ＰＣ１００が顔画像データベースに保持する最新の顔画像を最新の更新用顔辞書に含めるために次のようにしてもよい。即ちＣＰＵ１０１は、本ステップにおいて現在の顔辞書に含まれる顔画像と記録媒体１０４の顔画像データベースに登録されている対象人物の全ての顔画像の中から、予め定められた条件に従って所定数の顔画像を選択する。

Ｓ６０４で、ＣＰＵ１０１は、Ｓ６０３で選択された顔画像について、顔画像データベース及びＳ６０１で撮像装置２００から取得した現在の顔辞書から情報を取得して最新の更新用顔辞書をＲＡＭ１０３に生成する。なお、このときＣＰＵ１０１は同様に、最新の更新用顔辞書に対応する、新たなＰＣ側顔辞書管理ファイルを現在、記録媒体１０４に記録されているＰＣ側顔辞書管理ファイルとは別に生成する。

Ｓ６０５で、ＣＰＵ１０１は、現在の顔辞書に含まれる外部登録顔画像のいずれかが、最新の更新用顔辞書による更新を行うことで消失するか否かを判断する。具体的にＣＰＵ１０１は、ＲＡＭ１０３に展開したカメラ側顔辞書管理ファイルとＳ６０４で生成した新たなＰＣ側顔辞書管理ファイルとを参照する。そしてＣＰＵ１０１は、現在の顔辞書に含まれる外部登録顔画像のうち、最新の更新用顔辞書に含まれない顔画像は消失すると判断する。ＣＰＵ１０１は、いずれかの外部登録顔画像が消失すると判断した場合は処理をＳ６０６に移し、消失しないと判断した場合は処理をＳ６０７に移す。

Ｓ６０６で、ＣＰＵ１０１は、現在の顔辞書に含まれる外部登録顔画像のうち消失すると判断した顔画像をコピーし、記録媒体１０４の顔画像データベースに記録する。具体的にはＣＰＵ１０１は、消失する顔画像について、Ｓ６０１で取得した顔辞書から該顔画像に含まれる顔領域の特徴量データ、及び該顔画像のカメラ作成フラグを取得する。そしてＣＰＵ１０１は、消失する顔画像についての特徴量データ及びカメラ作成フラグを該顔画像に関連付けて、対象人物の顔画像として記録媒体１０４の顔画像データベースに記録する。図７の例では、現在の顔辞書に含まれる外部登録顔画像７０１ａ、ｂ、及びｅのうち、更新用顔辞書に含まれない顔画像７０１ｂが顔画像データベースに記録される。

Ｓ６０７でＣＰＵ１０１は、最後の更新用顔辞書に含まれる顔画像のいずれかが、最新の更新用顔辞書による更新を行うことで消失するかを判断する。具体的にはＣＰＵ１０１は、ＲＡＭ１０３に展開したＰＣ側顔辞書管理ファイルとＳ６０４で生成した新たなＰＣ側顔辞書管理ファイルとを参照する。そしてＣＰＵ１０１は、まず最後の更新用顔辞書に含まれる顔画像のうち、最新の更新用顔辞書に含まれない顔画像を抽出する。さらにＣＰＵ１０１は、抽出した顔画像のうち、記録媒体１０４の顔画像データベースに記録されていない顔画像が存在するか否かを判断する。

抽出した顔画像の中に顔画像データベースに記録されていない顔画像が存在する場合、該顔画像は最後の更新用顔辞書に含められた外部登録顔画像である。本実施形態ではＳ６０６で説明したように、更新により消失すると判断された外部登録顔画像のみが顔画像データベースに記録される。即ち、前回の更新処理において、最新の更新用顔辞書に含まれていたため、消失せずに最後の更新用顔辞書に残った外部登録顔画像は、顔画像データベースに記録されていない。つまり、現在の顔辞書に含まれないが、最後の更新用顔辞書に含められた外部登録顔画像の消失を防ぐため、本ステップにおいて該当の顔画像が存在するか否かを判断する。なお、図７の例では、最後の更新用顔辞書に含まれる顔画像７０２ａ乃至ｅは全て顔画像データベースに記録されており、外部登録顔画像ではないため、本ステップで消失すると判断される顔画像は存在しないものとする。

なお、外部登録画像であるか否かは、顔画像に付与されたカメラ作成フラグを参照することでも判定可能である。よって、Ｓ６０７で、最後の更新用顔辞書に含まれる顔画像のうち、カメラ作成フラグが外部登録顔画像であることを示し、最新の更新用顔辞書に存在しない顔画像が存在するか否かを判定するようにしてもよい。

一方、上述の通り、最後の更新用顔辞書に含まれるが、最新の更新用顔辞書に含まれない顔画像のうち、顔画像データベースに記録されていない顔画像が存在するか否かを判定する場合、カメラ作成フラグを付与する機能のない撮像装置２００で作成された顔画像や、他のＰＣ１００で作成された顔画像の消失も防ぐことが可能となる。

ＣＰＵ１０１は、最後の更新用顔辞書に含まれる外部登録顔画像のうち、顔画像データベースに記録されていない顔画像が最新の更新用顔辞書による更新により消失すると判断した場合は処理をＳ６０８に移す。一方、消失しないと判断した場合は処理をＳ６０９に移す。

Ｓ６０８で、ＣＰＵ１０１は、最後の更新用顔辞書に含まれ、かつ顔画像データベースに記録されていない外部登録顔画像のうち、消失すると判断した顔画像を、Ｓ６０６と同様に記録媒体１０４の顔画像データベースに追加して登録する。

Ｓ６０９で、ＣＰＵ１０１は、通信部１０５を介して最新の更新用顔辞書を撮像装置２００に出力する。これにより、カメラ記録媒体２０４に記録されている現在の顔辞書は、最新の更新用顔辞書に変更される。以降、カメラ記録媒体２０４に記録された最新の更新用顔辞書が現在の顔辞書となり、撮像装置２００で撮影された顔画像により随時、更新される。

Ｓ６１０で、ＣＰＵ１０１は、記録媒体１０４から最後の更新用顔辞書及びそれと対応するＰＣ側顔辞書管理ファイルを削除し、Ｓ６０４で生成した最新の更新用顔辞書及びそれと対応する新たなＰＣ側顔辞書管理ファイルを記録媒体１０４に記録する。以降、記録媒体１０４に記録された最新の更新用顔辞書が最後の更新用顔辞書となる。

そして、本自動更新処理を完了する。

一方、Ｓ４０１において対象人物の顔辞書に含める顔画像の自動選択設定がなされていないと判断した場合、ＣＰＵ１０１は処理をＳ４０３に移す。Ｓ４０３で、ＣＰＵ１０１は、ユーザにより選択された対象人物の顔画像を含む最新の更新用顔辞書で撮像装置２００の顔辞書を更新する手動更新処理を実行し、本顔辞書更新処理を完了する。

（手動更新処理）
ここで、本実施形態のＰＣ１００の手動更新処理について、図８を用いて詳細を説明する。なお、本手動更新処理において、上述した自動更新処理と同様の処理を行うステップについては同一の参照符号を付して説明を省略し、本実施形態に特徴的な処理を行うステップの説明に留める。

Ｓ６０２においてＰＣ側顔辞書管理ファイルを読みだした後、ＣＰＵ１０１は処理をＳ８０１に移す。Ｓ８０１で、ＣＰＵ１０１は、ユーザにより選択された対象人物の顔画像の情報を取得し、最新の更新用顔辞書に含める顔画像としてＲＡＭ１０３に格納し、処理をＳ６０４に移す。

このように、ユーザにより選択された対象人物の顔画像を含めた最新の更新用顔辞書を生成することにより、撮像装置２００のカメラ記録媒体２０４に記録されている顔辞書を変更することができる。

＜顔辞書の評価＞
なお、対象人物について任意に選択した顔画像を含めた顔辞書を生成する場合、ユーザは顔辞書に含まれる顔画像の組み合わせを自由に設定することができる。しかしながら、任意に選択した顔画像について、各顔画像含まれる顔領域の特徴量データを用いて顔認識処理を行なった場合、ユーザの所望する結果が得られない、即ち対象人物の顔が正しく認識されない可能性がある。このため、本実施形態の顔辞書更新アプリケーションは、顔画像の組み合わせを用いて顔認識処理を行なった場合に、どのような認識結果が得られるかを事前にシミュレーションする機能を有していてもよい。

図９に示されるように、ユーザによりＰＣ登録顔画像リスト５０２及びカメラ登録顔画像リスト５０３から顔辞書に含める顔画像の選択が行われた場合、ＣＰＵ１０１は選択された顔画像の各々について対応する特徴量データを取得する。そしてＣＰＵ１０１は、記録媒体１０４の顔画像データベースに登録されている顔画像に対して、各顔画像の特徴量データを使用したマッチング処理を行い、同一人物の顔であると認識される顔画像を特定する。このように選択された全ての顔画像についてマッチング処理を行なった後、同一の人物の顔であると認識された顔画像を、ＣＰＵ１０１は結果リスト９０１に表示する。

このようにすることで、ユーザは顔辞書に含める顔画像を手動で選択する場合に、所望の顔認識結果が得られるか否かを判断した上で、顔辞書に含める顔画像を決定することができる。なお、事前に行うマッチング処理の結果は、同一人物の顔であると認識された顔画像を表示する形態でなくてもよい。例えば、同一人物の顔であると認識された顔画像に含まれる対象人物の顔画像の割り合いを示す数値を算出し、認識正解率として表示する形態であってもよい。

また本実施形態では、更新用顔辞書を用いた更新により、記録媒体１０４に記録されていない外部登録顔画像が消失すると判断した場合に、ＣＰＵ１０１は該顔画像を自動的に記録媒体１０４に記録するものとして説明した。しかしながら、本発明の実施はこれに限らず、例えば図１０に示すような、更新により撮像装置２００で顔辞書に登録した顔画像が消失されることを通知し、記録媒体１０４への記録の要否を選択するダイアログを表示してもよい。このときＣＰＵ１０１は、ユーザによりボタン１００１が選択されたと判断した場合には外部登録顔画像の記録媒体１０４への記録を行った後に顔辞書の更新を行えばよい。また、ボタン１００２が選択されたと判断した場合には外部登録顔画像の記録を行わずに顔辞書の更新を行えばよい。

また、上述した顔辞書更新処理において対象人物ごとに顔辞書に含める顔画像を選択して、撮像装置２００のカメラ記録媒体２０４に顔辞書を書き込むことについて説明した。しかしながら、顔辞書更新処理においてカメラ記録媒体２０４への顔辞書の書き込みを行わず、顔辞書に含める顔画像を決定した上で更新用顔辞書の作成、及び更新用顔辞書に含まれない外部登録顔画像の記録のみを行い、別処理で顔辞書の書き込みを行なってもよい。この場合、顔辞書のカメラ記録媒体２０４への書き込みは、対象人物ごとに行わなくてもよい。

例えば、撮像装置２００を用いてこれから撮影する複数の対象人物が事前に判明している場合、ユーザは図１１に示すようなリストを使用して、カメラ記録媒体２０４に記録される顔辞書を、人物を示す情報によって決定した上で書き込みを指示してもよい。図１１の例では、撮像装置２００のカメラ記録媒体２０４に書き込まれている顔辞書に対応する人物名が記載されたカメラ側リスト１１０１と、ＰＣ１００に記録されている顔辞書に対応する人物名が記載されたＰＣ側リスト１１０２とが示されている。ユーザは、ＰＣ側リスト１１０２から顔辞書を書き込みたい人物を選択してボタン１１０３を操作することで、該人物の顔辞書をカメラ記録媒体２０４に書き込む顔辞書として設定できる。またユーザは、カメラ側リスト１１０１から顔辞書を削除したい人物を選択してボタン１１０４を操作することで、該人物の顔辞書をカメラ記録媒体２０４から削除する顔辞書として設定できる。このような設定の後、ユーザは顔辞書更新指示を行うことで、ＣＰＵ１０１に対応する人物の顔辞書をカメラ記録媒体２０４に書き込む処理を実行させることができる。なお、顔辞書の登録時に顔辞書に含める顔画像のうちから代表画像に設定する顔画像を決定して代表画像フラグが設定されている場合、図１１に示されるように、各人物名の横に対応する顔辞書の代表画像の顔画像を表示してもよい。

以上説明したように、本実施形態の情報処理装置は外部装置において生成され、顔辞書に登録された顔画像が、顔辞書の更新により消失するのを防ぐことができる。具体的には情報処理装置は、人物ごとに、１以上の顔画像と各顔画像に含まれる顔領域の特徴量とを顔画像データベースに記録する。情報処理装置は、外部装置から、対象人物についての１以上の顔画像と各顔画像に含まれる顔領域の特徴量とを含む、対象人物についての顔認識ライブラリ（現在の顔辞書）を取得する。そして、取得された顔認識ライブラリに含まれる顔画像と記録している対象人物についての顔画像から、予め設定された条件に従って１以上の顔画像を選択し、該選択した顔画像と該顔画像に含まれる顔領域の特徴量とを含む、新たな顔認識ライブラリ（最新の顔辞書）を生成する。このとき情報処理装置は、対象人物についての顔認識ライブラリ（現在の顔辞書）に含まれる顔画像のうち、外部装置において生成され、対象人物についての顔認識ライブラリに登録された顔画像と、該顔画像に含まれる顔領域の特徴量とを顔画像データベースに記録する。

このようにすることで、情報処理装置と外部装置とで顔辞書の変更が行われた場合であっても、該顔辞書を統合した際に消失してしまう顔画像を情報処理装置内の顔画像データベースに記録することができる。これにより、例えば統合により生成された顔辞書を用いて顔認識処理を実行した場合に顔認識率が低く、顔辞書の再調整が必要な場合に、統合時に顔画像データベースに記録した顔画像を再度顔辞書に含めることが可能になる。

［変形例］
上述した実施形態では、顔辞書更新処理において現在の顔辞書に含まれる外部登録顔画像のうち、最新の更新用顔辞書に含まれない外部登録顔画像を、記録媒体１０４の顔画像データベースに登録するものとして説明した。しかしながら、顔辞書更新処理において顔辞書データベースに登録する外部登録顔画像は、最新の更新用顔辞書に含まれないものに限定せず、顔画像データベースに未登録の外部登録顔画像であってよい。即ち、現在撮像装置２００が保持する顔辞書に含まれる外部登録顔画像、及びその特徴量の全てが顔辞書更新処理において記録媒体１０４の顔画像データベースに登録されてもよい。

この場合、例えば自動更新処理においてＳ６０５乃至Ｓ６０８の処理を行わず、図１２に示すように現在撮像装置２００が保持する顔辞書に含まれる外部登録画像のうち、記録媒体１０４の顔画像データベースに未登録の顔画像をＳ１２０１で記録すればよい。このようにすることで、最後の更新時に撮像装置２００に出力された顔辞書に含まれる外部登録顔画像が消失するか否かの判断を行う必要もなくなる。

［第２の実施形態］
本実施形態におけるＰＣ１００および撮像装置２００の構成は、第１の実施形態において図１および図２を参照して説明したものと同様である。

まず、本実施形態における顔辞書ファイルおよび顔画像ファイルについて図１３Ａ及びＢを参照して説明する。

本実施形態の顔辞書ファイルの構成の一例を図１３（ａ）に示す。顔辞書ファイル１３００は、顔辞書ファイル名１３０１、更新日時１３０２、人名１３０３、顔画像詳細情報１３０４を格納する。また、顔画像詳細情報１３０４として、顔画像ファイル名１３４１、代表画像フラグ１３４２、カメラ作成フラグ、顔特徴量データ１３４４を含む。なお、本実施形態において、顔画像詳細情報１３０４に格納可能な顔画像ファイルの個数（Ｎ）には上限があり、例えば５個であるとする。これは、撮像装置２００のカメラ記録媒体２０４の記憶容量には上限があるので、顔辞書ファイル１３００や顔画像ファイル１３２０の記憶にかかる負荷を低減するためである。

本実施形態の顔画像ファイルの構成の一例を図１３（ｂ）に示す。顔画像ファイル１３２０は、顔画像ファイル名１３２１、撮影日時１３２２、バージョン情報１３２３、顔画像データ１３２４を格納する。

＜顔辞書ファイルの作成処理＞
次に、撮像装置２００のカメラＣＰＵ２０１が顔辞書ファイルを作成する動作を図１４のフローチャートを参照して説明する。事前に撮像装置２００の撮影者によるカメラ操作入力部２０７への操作を受けて、撮像装置２００のカメラＣＰＵ２０１は通常撮影モードとは異なる、顔辞書撮影モードに切り替わって動作を開始しているものとする。

カメラＣＰＵ２０１は、撮影者によるカメラ操作入力部２０７への操作に応答して、顔辞書ファイルの新規作成の指示を受け付けたか否かを検知する（Ｓ１４０１）。顔辞書ファイルの新規作成の指示を受け付ければ（ステップＳ１４０１でＹｅｓ）、新たに顔辞書ファイルを作成し、カメラ記録媒体２０４に記憶する（Ｓ１４０２）。ここで、カメラＣＰＵ２０１は、顔辞書ファイル１３００の名称を示す顔辞書ファイル名１３０１を発行し、顔辞書ファイル１３００に格納する。また、カメラＣＰＵ２０１は顔辞書ファイルを作成した日時を取得し、更新日時１３０２として顔辞書ファイル１３００に格納する。

カメラＣＰＵ２０１はカメラ撮像部２０３により被写体を撮影して画像を取得する（Ｓ１４０３）。カメラＣＰＵ２０１は撮影画像を解析して顔領域を抽出し、顔画像データ１３２４を生成し（Ｓ１４０４）、顔画像データ１３２４から顔特徴量データ１３４４を算出する（Ｓ１４０５）。

そして、カメラＣＰＵ２０１は、顔画像ファイル１３２０を作成する（Ｓ１４０６）。ここで、カメラＣＰＵ２０１は、顔画像ファイルの名称を示す顔画像ファイル名１３２１を発行し、顔画像ファイル１３２０に格納する。カメラＣＰＵ２０１はステップＳ１４０３で取得された画像の撮影日時を取得し、撮影日時１３２２として顔画像ファイル１３２０に格納する。カメラＣＰＵ２０１は画像から顔画像データを生成するのに用いた顔認識アルゴリズムを特定するためのバージョン情報１３２３を顔画像ファイル１３２０に格納する。カメラＣＰＵ２０１は、ステップＳ１４０３で生成された顔画像データ１３２４を顔画像ファイル１３２０に格納する。

また、カメラＣＰＵ２０１は、撮影者によるカメラ操作入力部２０７への操作に応答して、顔辞書ファイル１３００を選択し、選択された顔辞書ファイル１３００を更新する（Ｓ１４０７）。なお、顔辞書ファイル１３００の選択操作のタイミングは、これに限らず、例えば、撮影処理（Ｓ１４０３）より前に行われていてもよい。ここで、カメラＣＰＵ２０１は顔画像詳細情報１３０４に顔画像ファイルに関する情報を格納する。カメラＣＰＵ２０１はステップＳ１４０６で作成された顔画像ファイルの名称を示す顔画像ファイル名１３４１を顔辞書ファイル１３００に格納する。また、カメラＣＰＵ２０１はステップＳ１４０６で作成された顔画像ファイル１３２０が、顔辞書ファイル１３００に含まれる複数の顔画像ファイル１３２０の代表画像であるか否かを示す値をカメラ作成フラグとして格納する。どの顔画像ファイル１３２０を代表画像とするかは、撮影者によるカメラ操作入力部２０７への操作に応答して、カメラＣＰＵ２０１が決定する。あるいは、カメラＣＰＵ２０１が、顔画像ファイル１３２０の撮影日時１３２２に基づき、例えば、最新の撮影日時１３２２を持つ顔画像ファイルを代表画像として決定する。また、カメラＣＰＵ２０１は、顔画像ファイル１３２０が撮像装置２００で作成されたことを示す値をカメラ作成フラグ１３４３に格納する。カメラＣＰＵ２０１はステップＳ１４０５で算出された顔特徴量データ１３４４を顔辞書ファイル１３００に格納する。そして、カメラＣＰＵ２０１は顔辞書ファイル１３００を更新した日時を取得し、更新日時１３０２を上書きする。

カメラＣＰＵ２０１は、顔辞書撮影モードでの撮影処理を終了するか否かを判定し（Ｓ１４０８）、継続する場合はステップＳ１４０３へ進み、終了する場合は本処理を終了する。

次に、ＰＣ１００のＣＰＵ１０１が顔辞書ファイルを更新する動作を図１５のフローチャートを参照して説明する。事前にＰＣ１００の利用者による操作入力部１０７への操作を受けて、ＰＣ１００のＣＰＵ１０１は、顔辞書ファイルの更新指示を受け付け、顔辞書更新アプリケーションを起動しているものとする。また、ＣＰＵ１０１は、複数の撮像装置２００から画像ファイルを取り込んだり、インターネットを介してＷｅｂサーバから画像ファイルをダウンロードしたりして、複数の画像を所定のフォルダに関連付けて記録媒体１０４に記憶している。

まず、ＣＰＵ１０１は記録媒体１０４に所定のフォルダに関連付けて記憶されている全ての画像を読み出し（Ｓ１５０１）、解析して顔領域を抽出し、顔画像データ１３２４を生成する（Ｓ１５０２）。そして、ＣＰＵ１０１は顔画像ファイルを作成する（Ｓ１５０３）。

そして、顔画像データ１３２４から顔特徴量データ１３４４を算出する（Ｓ１５０４）。

ＰＣ１００のＣＰＵ１０１は、利用者による操作入力部１０７への操作に応答して、顔辞書ファイルの新規作成の指示を受け付けたか否かを検知する（Ｓ１５０５）。顔辞書ファイルの新規作成の指示を受け付ければ（Ｓ１５０５でＹｅｓ）、新たに顔辞書ファイルを作成し、記録媒体１０４に記憶する（Ｓ１５０６）。ここで、ＣＰＵ１０１は、顔辞書ファイル１３００の名称を示す顔辞書ファイル名１３０１を発行し、顔辞書ファイル１３００に格納する。また、ＣＰＵ１０１は、顔辞書ファイル１３００を作成した日時を取得し、更新日時１３０２として顔辞書ファイル１３００に格納する。

一方、顔辞書ファイルの新規作成の指示を受け付けていなければ（Ｓ１５０５でＮｏ）、記録媒体１０４に既に記憶されている顔辞書ファイルの更新とみなし、既存の顔辞書ファイルの中から更新対象を選択する（Ｓ１５１０）。

ＣＰＵ１０１は、記録媒体１０４に記憶された複数の顔画像ファイルの中からいずれか１つを代表画像として指定する（Ｓ１５０７）。ここで、ＣＰＵ１０１は、記録媒体１０４に記憶された複数の顔画像ファイルのうち、撮影日時が所定期間内の顔画像ファイルの一覧画面を表示部１０６に表示し、利用者による操作入力部１０７への操作に応答して、代表画像となる顔画像ファイルを指定する。本実施形態では、所定期間内を例えば現在から１年以内として説明する。

ＣＰＵ１０１は、顔辞書ファイル１３００に格納する顔画像ファイルを選択する（Ｓ１５０８）。例えば、ＣＰＵ１０１は、代表画像の顔画像ファイルの特徴量データに基づき、記録媒体１０４に記憶された顔画像ファイルの中から、特徴量データの差が小さい順に所定個数の顔画像ファイルを選択する。あるいは、ＣＰＵ１０１は、代表画像の顔画像ファイルの特徴量データに基づき、記録媒体１０４に記憶された顔画像ファイルのうち、特徴量データの差が所定値より小さい顔画像ファイルの中から、撮影日時が新しい順に所定個数の顔画像ファイルを選択する。あるいは、ＣＰＵ１０１は、記録媒体１０４に記憶された顔画像ファイルの中から、代表画像の顔画像ファイルを含んで、所定個数の顔画像ファイルを選んだ組み合わせについて、組み合わせに含まれる顔画像ファイル同士の特徴量データの差の総和を算出する。そして、算出結果が所定の上限値よりも小さく、所定の下限値よりも大きくなる組み合わせの顔画像ファイルを選択する。ここで、特徴量データの差が所定の上限値より小さくなる組み合わせを選択することにより、所望の人物とはことなる他人の顔画像ファイルが含まれないようにすることができる。また、特徴量データの差が所定の下限値よりも大きくなる組み合わせを選択することにより、同じ人物の異なる種類（表情、髪型、顔の向きなど）の顔画像ファイルを用いることによって、検索処理の検索精度を向上することができる。

そして、ＣＰＵ１０１は、顔辞書ファイルに既存の顔画像ファイルとステップＳ１５０８で選択された顔画像ファイルとに変更があるか否かを判定する（Ｓ１５０９）。変更があれば（Ｓ１５０９でＹｅｓ）、ＣＰＵ１０１は、ステップＳ１５０８で選択された顔画像ファイルに関する顔画像詳細情報１３０４によって顔辞書ファイル１３００を更新する（Ｓ１５１０）。ＣＰＵ１０１は、ステップＳ１５０８で選択された顔画像ファイルの顔画像ファイル名１３４１を顔画像ファイル１３２０に格納する。ＣＰＵ１０１は当該画像ファイルがステップＳ１５０７で代表画像として指定されれば、代表画像であることを示す値を代表画像フラグ１３４２に格納する。一方、当該画像ファイルがステップＳ１５０７で代表画像として指定されていなければ、代表画像でないことを示す値を代表画像フラグ１３４２に格納する。ＣＰＵ１０１は当該顔画像ファイルが撮像装置２００で作成されていないことを示す値をカメラ作成フラグ１３４３に格納する。ＣＰＵ１０１はステップＳ１５０４で算出された、当該画像ファイルの顔特徴量データ１３４４を記録媒体１０４から読み出し、顔辞書ファイル１３００に格納する。

一方、顔辞書ファイルに既存の顔画像ファイルとステップＳ１５０８で選択された顔画像ファイルとに変更がなければ（Ｓ１５０９でＮｏ）、顔辞書ファイルを更新することなく、本処理を終了する。

＜顔辞書ファイルの同期処理＞
ＰＣ１００に撮像装置２００が接続された時のＰＣ１００における動作を図１６のフローチャートを参照して説明する。

まず、ＰＣ１００のＣＰＵ１０１は所定の制御プログラムやＯＳにしたがって動作し、撮像装置２００が接続されたか否かを検知する（Ｓ１６０１）。撮像装置２００が接続されたことを検知すると（Ｓ１６０１でＹｅｓ）、ＣＰＵ１０１は顔辞書更新アプリケーションを起動する。そして、ＣＰＵ１０１は撮像装置２００から顔辞書ファイル１３００および顔画像ファイル１３２０を受信し、ＲＡＭ１０３に一時記憶する（Ｓ１６０２）。そして、ＣＰＵ１０１は、受信した顔画像ファイル１３２０の総数を変数Ｎに代入し、変数ｉに“１”を代入する（Ｓ１６０３）。

そして、ＣＰＵ１０１は、受信したｉ番目の顔画像ファイル１３２０が既に記録媒体１０４に記憶されているか否かを判定する（Ｓ１６０４）。ステップＳ１６０４において、ＣＰＵ１０１は、受信したｉ番目の顔画像ファイル１３２０の撮影日時１３２２と、記録媒体１０４に記憶されている顔画像ファイル１３２０の撮影日時１３２２とを比較する。ＣＰＵ１０１は、受信したｉ番目の顔画像ファイル１３２０の撮影日時１３２２と一致する撮影日時を持つ顔画像ファイルが記録媒体１０４に存在すれば、受信したｉ番目の顔画像ファイル１３２０が既に記録媒体１０４に記憶されていると判定する。受信したｉ番目の顔画像ファイル１３２０の撮影日時１３２２と一致する撮影日時を持つ顔画像ファイルが記録媒体１０４に存在しなければ、ＣＰＵ１０１は、受信したｉ番目の顔画像ファイル１３２０が未だ記録媒体１０４に記憶されていないと判定する。受信したｉ番目の顔画像ファイル１３２０が既に記録媒体１０４に記憶されていると判定されれば（Ｓ１６０４でＹｅｓ）、ＣＰＵ１０１はステップＳ１６０６の処理を実行する。

一方、受信したｉ番目の顔画像ファイル１３２０が未だ記録媒体１０４に記憶されていないと判定されれば（Ｓ１６０４でＮｏ）、ＣＰＵ１０１は受信したｉ番目の顔画像ファイル１３２０をコピーし、記録媒体１０４に記憶する（Ｓ１６０５）。これにより、撮像装置２００から受信されたｉ番目の顔画像ファイル１３２０は、図１５のＳ１５０８で選択対象となり、ＰＣ１００において作成される顔辞書ファイル１３００に利用することが可能となる。

そして、ＣＰＵ１０１は変数ｉに１を加算し（Ｓ１６０６）、変数ｉが変数Ｎより小さければ（Ｓ１６０７でＮｏ）、残りの顔画像ファイル１３２０についてステップＳ１６０４の処理を実行する。一方、変数ｉが変数Ｎより大きければ（Ｓ１６０７でＹｅｓ）、ステップＳ１６０８の同期処理を実行する。

以上のように、ＰＣ１００は撮像装置２００が接続されると、同期処理を実行する前に、必ず顔画像ファイルを記録媒体１０４に記憶する。よって、同期処理が実行されても、撮像装置２００で作成された顔画像ファイルを保持しておくことができ、消失してしまうのを防ぐことができる。

次に、ＰＣ１００における顔辞書ファイルの同期処理について図１７を参照して説明する。

まず、ＰＣ１００のＣＰＵ１０１は、ＰＣ側の顔辞書ファイルとカメラ側の顔辞書ファイルの同期処理の実行指示があるか否かを判定する（Ｓ１７０１）。同期処理の実行指示があれば（Ｓ１７０１でＹｅｓ）、ＣＰＵ１０１はＰＣ側の顔辞書ファイル１３００の人名１３０３とカメラ側の顔辞書ファイル１３００の人名１３０３を比較する（Ｓ１７０２）。ＣＰＵ１０１は、比較の結果、同一の人名を取得し（Ｓ１７０３）、同一の人名の数を変数Ｎに代入し、変数ｉに“１”を代入する（Ｓ１７０４）。そして、ＣＰＵ１０１は、ｉ番目の同一の人名１３０３を持つ、撮像装置２００とＰＣ１００の顔辞書ファイル１３００の更新日時１３０２を比較する（Ｓ１７０５）。

ＰＣ１００の顔辞書ファイルの更新日時が撮像装置２００のそれよりも後であれば（Ｓ１７０５でＹｅｓ）、ＣＰＵ１０１は、ＰＣ１００の顔辞書ファイルに属する全ての顔画像ファイルの撮影日時が１年以内であるか否かを判定する（Ｓ１７０６）。ＰＣ１００の顔辞書ファイルに属する全ての顔画像ファイルの撮影日時が１年以内であれば（Ｓ１７０６でＹｅｓ）、ＰＣ１００の顔辞書ファイルおよびそれに属する顔画像ファイルを撮像装置２００へ送信する（Ｓ１７０７）。一方、ＰＣ１００の顔辞書ファイルに属する全ての顔画像ファイルの撮影日時が１年以内でなければ（Ｓ１７０６でＮｏ）、ＰＣ１００の当該顔辞書ファイルを撮像装置２００へ送信せずに、ステップＳ１７０９へ進む。

ここで、本実施形態では、ステップＳ１７０６において、顔辞書ファイルに属する全ての顔画像ファイルの撮影日時が１年以内か否かによって、顔辞書ファイルの送信処理を選択的に実行する。撮像装置２００は、これから撮影される画像ファイルの顔認識処理に対して顔辞書ファイルを利用する。人物の顔は時間の経過によって変化するため、現在、撮影中の人物の顔を認識処理する場合には古い顔画像ファイルでは精度が低下し、新しい顔画像ファイルが必要となる。一方、ＰＣ１００は、過去に撮影された画像ファイルを蓄積し、昔に撮影された画像ファイルの顔認識処理に対しても顔辞書ファイルを利用するため、古い顔画像ファイルも必要な場合がある。

なお、本実施形態ではステップＳ１７０６において、顔辞書ファイルに属する全ての顔画像ファイルの撮影日時が１年以内である場合について説明した。しかし、顔認識処理において精度を高めるためには、撮影日時だけでなく、顔の表情や向きなども考慮する必要がある。よって、ステップＳ１７０６で少なくとも１つの顔画像ファイルの撮影日時が１年以内であるか否かを判定し、少なくとも１つの顔画像ファイルの撮影日時が１年以内であれば（Ｓ１７０６でＹｅｓ）、Ｓ１７０７の処理を実行するようにしてもよい。また、さらに、ＣＰＵ１０１が顔辞書ファイルに含まれる顔画像ファイルの顔の表情や顔の向きのばらつきを判定し、ばらつきが大きければ、Ｓ１７０７の処理を実行するようにしてもよい。

一方、ＰＣ１００の顔辞書ファイルの更新日時が撮像装置２００のそれよりも前であれば（Ｓ１７０５でＮｏ）、ＣＰＵ１０１は、記録媒体１０４のｉ番目の同一の人名の顔辞書ファイルを撮像装置２００の顔辞書ファイルで上書きする（Ｓ１７０８）。これにより、ＰＣ１００の顔辞書ファイルが新しいものに置き換わり、撮像装置２００の顔辞書ファイルと同期する。ただし、先にＰＣ１００の顔辞書ファイル１３００に属していた顔画像ファイル１３２０は上書きせず、記録媒体１０４から消去することなく保持しておく。これは、ＰＣ１００の記録媒体１０４の記憶容量は、撮像装置２００のカメラ記録媒体２０４の記憶容量よりも大きいため、残しておく余裕があるからである。これにより、この後、ユーザの操作に応答して、ＣＰＵ１０１が上述の顔辞書ファイル作成処理を実行し、顔辞書ファイル１３００を更新する際に、保持しておいた顔画像ファイル１３２０も、図１５のＳ１５０８で選択対象となり、再び利用することが可能となる。

さらに、ＣＰＵ１０１は撮像装置２００から取得したｉ番目の同一の人名の新しい顔辞書ファイルを、記録媒体１０４に記憶されている顔画像ファイルを用いて最適化する。具体的には、上述の図１５のステップＳ１５０７〜Ｓ１５１０と同様の処理を実行する。ここで、ＣＰＵ１０１は、ステップＳ１５０７において、新しい顔辞書ファイルの代表画像フラグに基づき、代表画像を指定する。その後、顔辞書ファイルが更新されていれば（Ｓ１７１８でＹｅｓ）、ＣＰＵ１０１はステップＳ１７０７の処理を実行し、顔辞書ファイルが更新されていなければ（Ｓ１７１８でＮｏ）、Ｓ１７０９の処理を実行する。

そして、ＣＰＵ１０１は変数ｉに１を加算し（Ｓ１７０９）、変数ｉが変数Ｎより小さければ（Ｓ１７１０でＮｏ）、ステップＳ１７０５の処理を実行する。一方、変数ｉが変数Ｎより大きければ（Ｓ１７１０でＹｅｓ）、ステップＳ１７１１の処理を実行する。

ＣＰＵ１０１は、ステップＳ１４０２で受信した撮像装置２００の顔辞書ファイル１３００のうち、ＰＣ１００に存在しない人名の顔辞書ファイル１３００が存在するか否かを判定する（Ｓ１７１１）。存在すれば（Ｓ１７１１でＹｅｓ）、該当する人名の顔辞書ファイル１３００を記録媒体１０４に追加して記憶する（Ｓ１７１２）。一方、存在しなければ（Ｓ１７１１でＮｏ）、ステップＳ１７１３へ進む。

ＣＰＵ１０１は、ＰＣ１００の顔辞書ファイルのうち、それに属する全ての顔画像ファイルの撮影日時が１年以内であり、かつ撮像装置２００の顔辞書ファイルに存在しない人名の顔辞書ファイルが、存在するか否かを判定する（Ｓ１７１３）。このような顔辞書ファイルが存在すれば（Ｓ１７１３でＹｅｓ）、ＣＰＵ１０１は、該当する人名の数を取得する（Ｓ１７１４）。ＣＰＵ１０１は、ステップＳ１７０９で取得した人名の数と受信した撮像装置２００の顔辞書ファイル１３００の数との合計が、所定個数を超えるか否かを判定する（Ｓ１７１５）。そして、超えなければ（Ｓ１７１５でＮｏ）、ＣＰＵ１０１は、撮像装置２００に存在しない人名の顔辞書ファイル１３００を撮像装置２００へ送信する（Ｓ１７１７）。

一方、超えれば（Ｓ１７１５でＹｅｓ）、ＣＰＵ１０１は受信した撮像装置２００の顔辞書ファイル１３００の数と所定個数との差の数だけ、該当する人名の顔辞書ファイル１３００を選択する（Ｓ１７１６）。ステップＳ１７１５において、ＣＰＵ１０１は、顔辞書ファイル１３００に含まれる全ての顔画像ファイル１３２０の撮影日時１３２２が１年以内で、顔辞書ファイル１３００に属する顔画像ファイル１３２０の数が多いものから順に選択する。そして、ＣＰＵ１０１は、選択された顔辞書ファイル１３００を撮像装置２００へ送信する（Ｓ１７１７）。

なお、ステップＳ１７０６やＳ１７１３において、顔辞書ファイルに属する全ての顔画像ファイルが１年以内に撮影されたものではないとき、エラーメッセージを表示するようにしてもよい。さらに、ＰＣ１００の顔辞書ファイル１３００に含まれる顔画像ファイルを１年以内に撮影されたものに変更するように通知する。そして、ユーザの操作に応答して、ＣＰＵ１０１は顔辞書ファイルに属する顔画像ファイルを変更した後、Ｓ１７０６やＳ１７０３の処理を実行し直すようにしてもよい。

また、本実施形態では、Ｓ１７０５において、ＰＣ１００と撮像装置２００の顔辞書ファイルの更新日時を比較し、その結果に従って、どちらの顔辞書ファイルで更新するかを決定し、ＰＣ１００の顔辞書ファイルの送信処理を選択的に実行するようにした。しかし、これに限らず、例えば、顔辞書ファイルに属する顔画像ファイルの個数を比較し、多い方の顔辞書ファイルで更新するなど、他の所定の条件にしたがって、ＰＣ１００と撮像装置２００のどちらの顔辞書ファイルにするかを決定するようにしてもよい。

次に、撮像装置２００における顔辞書ファイルの同期処理について図１８を参照して説明する。

まず、撮像装置２００のカメラＣＰＵ２０１は、ＰＣ１００に接続して、要求を受けると、カメラ記録媒体２０４に記憶されている顔辞書ファイル１３００およびそれに属する顔画像ファイルをＰＣ１００へ送信する（Ｓ１８０１）。

そして、図１７のＳ１７０７またはＳ１７１７でＰＣ１００から送信された顔辞書ファイルおよび顔画像ファイルを、カメラＣＰＵ２０１が受信したか否か検知する（Ｓ１８０２）。受信していれば（Ｓ１８０２でＹｅｓ）、カメラＣＰＵ２０１は、ＰＣ１００から受信した顔辞書ファイル１３００の総数を変数Ｎに代入し、変数ｉに“１”を代入する（Ｓ１８０３）。カメラＣＰＵ２０１は、受信されたｉ番目の顔辞書ファイル１３００と同じ人名の顔辞書ファイル１３００がカメラ記録媒体２０４に記憶されているか否かを判定する（Ｓ１８０４）。記憶されていると判定されれば（Ｓ１８０４でＹｅｓ）、カメラＣＰＵ２０１は、ｉ番目の顔辞書ファイルとその顔画像ファイルでカメラ記録媒体２０４のｉ番目の顔辞書ファイルと同じ人名の顔辞書ファイルおよびその顔画像ファイルを上書きする（Ｓ１８０５）。これにより、ｉ番目の顔辞書ファイル１３００と同じ人名の既存の顔画像ファイルはカメラ記録媒体２０４から消去される。ステップＳ１８０５の上書き処理により、カメラ記録媒体２０４の記憶容量が、記録媒体１０４に比べて非常に小さくても、新しい顔辞書ファイル１３００およびそれに属する顔画像ファイルをカメラ記録媒体２０４に記憶することができる。これにより、例えば、撮像装置２００の撮影処理時にＰＣ１００において作成された新しい顔辞書ファイル１３００を利用することができるようになる。

一方、記憶されていないと判定されれば（Ｓ１８０４でＮｏ）、カメラＣＰＵ２０１は、ステップＳ１８０７の記憶処理を実行する。

そして、カメラＣＰＵ２０１は変数ｉに１を加算し（Ｓ１８０７）、変数ｉが変数Ｎより小さければ（Ｓ１８０７でＮｏ）、ステップＳ１８０４の処理を実行する。一方、変数ｉが変数Ｎより大きければ（Ｓ１８０７でＹｅｓ）本処理を終了する。

なお、カメラＣＰＵ２０１は、顔辞書ファイルおよび顔画像ファイルをＰＣ１００から受信していなければ（Ｓ１８０２でＮｏ）、本処理を実行せずに終了する。この場合は、ＰＣ１００の顔辞書ファイルを撮像装置２００の顔辞書ファイルで上書きする処理が実行されている。これにより、撮像装置２００とＰＣ１００とで同じ顔辞書ファイルを保持している状態、すなわち、顔辞書ファイルが同期されている状態となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 人物ごとに、画像に含まれる前記人物の顔に関する顔データを記録した顔辞書を生成する生成手段と、
   撮像装置に保持されている顔辞書を前記撮像装置から受信する受信手段と、
   前記撮像装置に保持されていない人物の顔辞書が存在すれば、前記生成手段により生成された該人物の顔辞書を前記撮像装置へ送信する送信手段と、
   前記送信手段により送信される顔辞書に含まれる顔データすべての撮影時間が現在時刻から所定の期間内であるか否かを判定する判定手段と、を備え、
   前記送信手段は、前記送信する顔辞書に含まれる顔データすべての撮影時間が現在時刻から前記所定の期間内であるか否かの判定結果に応じて該顔辞書を前記撮像装置へ選択的に送信し、
   前記撮像装置は、撮像により得られる画像に対する顔認識処理を前記送信された顔辞書を用いて実行可能である
   ことを特徴とする情報処理装置。
2. 前記送信手段は、前記送信する顔辞書に含まれる顔データすべての撮影時間が現在時刻から前記所定の期間内であると判定された場合に、該顔辞書を前記撮像装置へ送信し、該顔辞書に含まれる顔データすべての撮影時間が現在時刻から前記所定の期間内でないと判定された場合に、該顔辞書を前記撮像装置へ送信しないことを特徴とする請求項１に記載の情報処理装置。
3. 所定の記憶領域に記憶された複数の画像に含まれる前記人物に係る顔データから所定数の顔データを選択する選択手段をさらに有し、
   前記生成手段は、前記選択された所定数の顔データを記録した顔辞書を生成する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 所定の記憶領域に記憶された複数の画像に対して、顔辞書の顔データに基づいて検索処理を実行した結果を画面に表示する表示手段をさらに有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記送信手段は、さらに、前記撮像装置に保持されている顔辞書の個数と前記生成手段により生成された顔辞書の個数の合計が所定数を超えなければ、前記生成手段により生成された顔辞書を前記撮像装置へ送信することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 人物の顔に関する顔データは、画像のうちの該人物の顔領域と対応する顔画像および該顔画像の特徴量の少なくともいずれかを含むことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 生成手段が、人物ごとに、画像に含まれる前記人物の顔に関する顔データを記録した顔辞書を生成する生成工程と、
   受信手段が、撮像装置に保持されている顔辞書を前記撮像装置から受信する受信工程と、
   送信手段が、前記撮像装置に保持されていない人物の顔辞書が存在すれば、前記生成工程において生成された該人物の顔辞書を前記撮像装置へ送信する送信工程と、
   判定手段が、前記送信手段により送信される顔辞書に含まれる顔データすべての撮影時間が現在時刻から所定の期間内であるか否かを判定する判定工程と、を備え、
   前記送信手段は、前記送信する顔辞書に含まれる顔データすべての撮影時間が現在時刻から前記所定の期間内であるか否かの判定結果に応じて該顔辞書を前記撮像装置へ選択的に送信し、
   前記撮像装置は、撮像により得られる画像に対する顔認識処理を前記送信された顔辞書を用いて実行可能である
   ことを特徴とする情報処理装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images