JP5163008B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、顔画像における画像処理を行う画像処理装置、画像処理方法および画像処理プログラムに関するものである。

デジタル画像処理技術を用いて画像や映像中から人の顔画像を検出する技術がデジタルスチルカメラやデジタルビデオカメラなどの映像機器に利用され始めている。最近では、組込機器向けプロセッサの機能向上や、半導体設計の進歩により、このような技術の普及が急速に進んでいる。
さらに、検出した顔画像の人物を顔識別処理によって特定し、特定した人物の顔画像に対し各種処理を行うことも可能となっている。このような技術は、すでに、携帯電話のセキュリティ用途に使用されているが、今後さらに広く応用される見込みである。

このような技術の応用として、監視機器において映像中の人物を操作者がマーキングし、マーキングした人物の顔特徴を算出した後、この顔特徴を記憶装置に登録する人物監視システムが開示されている（例えば、特許文献１参照）。
この技術を用いることによって、顔識別処理の結果が、記録した顔特徴と一致する顔を、他の顔と区別して表示することができる。ここで、図１５は、映像中にある１つあるいは複数の顔画像のうちの１つをポインティングデバイスなどで指定する画面例である。図１５に示すように、特許文献１におけるマーキングは、映像中にある１つあるいは複数の顔画像のうちの１つをポインティングデバイスなどで指定する操作である。

また、顔特徴の登録に際して、目を閉じている場合や、髪または帽子などで顔が覆われている場合は、警告を表示して登録のやり直しを促す画像処理装置およびプログラムが開示されている（例えば、特許文献２参照）。

図１６は、再生映像中の人物を識別するアプリケーションの画面例である。
図１６に示すように、デジタルビデオレコーダなどの家電製品において、マーキングにより採取された顔特徴を記憶装置に記憶し、再生中の映像から記憶した顔特徴を有する顔画像が登場するフレームのみを抽出するアプリケーションの試作も行われている。このような技術により、デジタルビデオレコーダにおいて、特定のタレントの出演シーンのみを抜き出して再生したり、家族の映っているシーンのみを抜き出したホームムービーを作成したりするなどの機能を実現することができる。

特開２００４−１２８６１５号公報 特開２００３−１５０６０３号公報

ところで、顔識別処理は、登録に用いる顔画像から顔特徴を算出して保存し、この保存した顔特徴を用いて顔画像と、照合対象の顔画像との類似度を算出し、比較することによって、同一人物であるか否かを判定している。
顔特徴の算出に用いる特徴量は、顔識別処理のアルゴリズムによって異なるが、一般的に、顔向きや表情、照明環境などに適切な制限を加えて得た特徴量の方が高い識別精度を得ることができる。例えば、横向きで笑顔より、正面で無表情の顔画像のほうが、高い識別精度を得ることができる。

特許文献１に記載の技術のように、ポインティングデバイスなどを用いて再生映像中の顔画像をマーキングする際、映像中の顔向きや照明などの各種条件は、フレーム毎に変化するため、顔特徴の算出に適する顔画像であるときと、不適な顔画像であるときとがある。
マーキングの操作者は、このように様々な顔画像から、適当な顔画像を有するフレームをマーキングする必要がある。
このとき、顔向きが適さない顔画像や、照明環境の悪いフレームを選んでマーキングしてしまうと、算出された顔画像が不安定となり、顔画像の識別精度が低下するといった問題が生じる。

映像中の顔画像が、顔特徴の算出に適する状態であるか否かは、顔識別処理のアルゴリズムに精通した人物であれば、目視によってある程度は判断できる。しかし、特許文献１に記載の技術を家電機器などへ搭載することを考慮すると、操作者には顔識別処理のアルゴリズムに対する知識がないことが前提となるため、顔特徴の算出に適した顔画像をマーキングせず、顔特徴の算出に適していない顔画像をマーキングしてしまうおそれがある。
特許文献１に記載の技術は、このような問題に対する考慮がなされていない。

また、特許文献２に記載の技術では、目の開閉状態、髪の状態、帽子の有無などをプログラムによる処理で認識しなければならない。しかしながら、一般に、このような認識のアルゴリズムは、十分な精度を得ているとはいえず、顔特徴の算出に適した画像であるか否かの判断を行うことは困難である。
また、特許文献２に記載の技術では、登録に用いる顔画像の表情変化や、斜光などの光源の状態や、画質や、解像度や、状態についての考慮がされておらず、顔特徴の算出に適さない顔画像の登録を防止するには不十分である。

前記課題に鑑みて、本発明は、顔識別処理のアルゴリズムに精通していない操作者であっても、容易に顔特徴の算出に適した顔画像を指定できる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

前記した課題を解決するため、本発明の一の手段は、映像中の顔画像を識別し、同一人
物であるか否かを認識する顔識別処理を行う際に、記憶部が、前記顔画像、および前記顔
画像に対応し、前記顔識別処理に適しているか否かの度合いを、最大値と最小値との間で段階的に示す適合度を保持しており、表示処理部が、前記顔画像、および前記顔画像に対応する前記適合度を前記記憶部から取得し、取得した前記顔画像および前記適合度を共に表示部へ表示させることを
特徴とする。

さらに、本発明の他の手段は、映像中の顔画像を識別し、同一人物であるか否かを認識
する顔識別処理を行う際に、記憶部が、前記映像における連続した複数のフレーム中の顔
画像と、それぞれの顔画像に対応し、前記顔識別処理に適しているか否かの度合いを、最大値と最小値との間で段階的に示す適合度とを保持しており、表示処理部が、前記連続した複数のフレームにおける顔画像の中から、前記適合度が最も高い顔画像を選択し、前記選択された顔画像を表示部に表示させることを特徴とする。

また、本発明の他の手段は、映像中の顔画像を識別し、同一人物であるか否かを認識する顔識別処理を行う際に、記憶部が、第１の顔画像および前記第１の顔画像の特徴量である第１の特徴量を保持しており、処理部が、新たに第２の顔画像が、映像再生装置から入力されると、当該第２の顔画像の特徴量である第２の特徴量を算出し、前記記憶部から前記第１の特徴量を取得し、前記第２の特徴量と、取得した前記第１の特徴量との類似度を算出し、前記類似度が所定の値以上である場合、前記第１の特徴量に対応する前記第１の顔画像を前記記憶部から取得し、表示処理部が、前記処理部が取得した前記第１の顔画像を、表示部に表示させることを特徴とする。

一の発明によれば、適合度を顔画像と共に表示することにより、顔識別処理のアルゴリズムに精通していない操作者であっても、容易に指定した顔画像が顔特徴の算出に適しているか否かを判定可能な画像処理装置、画像処理方法および画像処理プログラムを提供することができる。

さらに、他の発明によれば、映像が連続しているフレームを遡って、現在表示している顔画像より高い適合度を有する顔画像を検出することができる。これにより、操作者は、顔特徴の算出に適合した顔画像を容易に探索可能な画像処理装置、画像処理方法および画像処理プログラムを提供することができる。

また、他の発明によれば、操作者が、第２の顔特徴を登録しようとしたときに、記憶部に既に登録されている第１の顔画像があれば、この第１の顔画像を表示し、操作者に第２の顔特徴と類似するデータが存在することを示す画像処理装置、画像処理方法および画像処理プログラムを提供することができる。

以下に、図面を参照して本発明による画像処理装置、画像処理方法および画像処理プログラムの実施形態について説明する。

（第１実施形態：画像処理システムの構成）
図１は、第１実施形態に係る画像処理システムの構成例を示す図である。
画像処理システム１００は、画像処理装置１と、ディスプレイ２と、入力部６と、映像再生装置５とを有してなる。
画像処理装置１は、映像中の顔画像を識別し、同一人物であるか否かを認識する顔識別処理や、顔画像が顔認識処理に用いる顔特徴の算出に適しているか否かを判定するための処理を行うための装置であり、処理部１１と、記憶部１２とを有する。
処理部１１は、顔位置検出部１１１と、顔器官位置検出部１１２と、適合度算出部１１３と、表示処理部１１４とを有する。
顔位置検出部１１１は、人物の顔を含むデジタル画像中から、人物の顔の幾何位置を算出し、顔矩形（顔画像）を検出する機能を有する。顔矩形とは、顔位置検出部１１１によって、検出される目、眉、鼻、口などがすべて含まれた最小矩形である。また、目、眉、鼻などに加え、耳、顎などが含まれる最小矩形としてもよい。本明細書では、顔矩形のなかに含まれるすべての画像を含めて顔矩形と記載することとする。なお、顔矩形は、請求項における顔画像の一例である。
顔器官位置検出部１１２は、顔位置検出部１１１によって検出された顔矩形から顔器官を特定し、各顔器官の座標を特定する機能を有する。用いられる顔器官は、眉端、目尻、目頭、瞼、眼球、眉間、頬、鼻腔、上下唇端、左右唇端などである。この他に、顎、耳輪郭、髪生え際などの顔器官を用いてもよい。
適合度算出部１１３は、顔器官位置検出部１１２による処理の結果から、検出された顔矩形における顔特徴の算出への適合の度合いである適合度を算出する機能を有する。
表示処理部１１４は、各部１１１〜１１３によって処理された結果を、ディスプレイ２に表示させる機能を有する。

ディスプレイ２は、処理部１１によって算出された適合度と、該当する顔画像とを表示する機能などを有する。
キーボード３およびポインティングデバイス４である入力部６は、情報を画像処理装置１へ入力するための装置である。
映像再生装置５は、映像を再生し、再生している映像のフレームをデジタル画像データとして出力する機能を有する。映像再生装置５は、早送り、巻き戻しなどの機能を有し、画像処理装置１からの指示によって、映像中の任意のフレームをデジタル画像データとして、画像処理装置１へ出力するなどの機能を有する。

（画像処理方法）
図２は、第１実施形態に係る画像処理の流れを示すフローチャートである。
まず、映像再生装置５が、映像を再生する。再生された映像は、画像処理装置１を介して、ディスプレイ２に表示される。そして、画像処理装置１は、現在再生しているフレーム画像（画像）をデジタル画像データとして映像再生装置５から入力する（Ｓ１０１）。

次に、顔位置検出部１１１が、入力された画像から人物の顔位置を検出し、検出した顔位置の座標を算出した後、検出した顔位置の個数（検出顔個数）を変数ｎに代入する（Ｓ１０２）。顔位置検出部１１１は、ウェーブレット、Ｈａａｒ特徴検出などを用いて、顔位置の検出を行う。ここで、顔位置の座標とは、例えば、顎、耳、眉がすべて含まれた最小矩形（顔矩形）の座標である。なお、１つの画像中に複数の人物の顔が含まれる場合、顔位置検出部１１１は、すべての顔位置を検出する。そして、顔位置検出部１１１は、検出した各顔矩形に１〜ｎの番号を対応付けて、記憶部１２へ記憶させる。
次に、処理部１１は、ｎが「０」より大きいか否かを判定する（Ｓ１０３）。
ｎが「０」より大きい場合（Ｓ１０３→Ｙｅｓ）、処理部１１は、ｎ番に対応付けられた顔矩形を記憶部１２から取得する。そして、顔器官位置検出部１１２が、検出された顔矩形から顔器官を検出し（Ｓ１０４）、その顔器官の座標を算出する。顔器官位置検出部１１２は、パターンマッチング推定、フィルタ応答推定などを用いることによって、顔器官の検出を行う。
次に、適合度算出部１１３が、ステップＳ１０４で算出した各顔器官の座標を基に、適合度を算出し、算出した適合度を配列ａ［ｎ］に代入する（Ｓ１０５）。ステップＳ１０５の詳細は、図３を参照して後記する。

そして、表示処理部１１４が、ｎ番目の顔矩形をディスプレイ２に表示させ（Ｓ１０６）、さらに、ステップＳ１０５で算出した適合度ａ［ｎ］を、例えば棒グラフ（適合度バー）の形式で表示させる（Ｓ１０７）。このとき、算出した適合度が、予め定められた所定の値より低い場合は、該当する顔矩形が、顔特徴の算出に不適である旨をディスプレイ２に表示させてもよい。
次に、処理部１１が、ｎを１減算した値をｎに代入し（Ｓ１０８）、ステップＳ１０３の処理へ戻る。

一方、ステップＳ１０３において、ｎが「０」より大きくない場合（Ｓ１０３→Ｎｏ）、すなわち、ｎが「０」であった場合、表示処理部１１４は、顔矩形以外の背景などをディスプレイ２に表示させ（Ｓ１０９）、処理部１１は、ステップＳ１０１に戻り、次のフレーム画像について、ステップＳ１０１〜Ｓ１０９の処理を行う。

ステップＳ１０１からステップＳ１０９までの処理は、再生中の映像におけるフレーム毎に行ってもよい。この場合、適合度の表示は、再生中、停止中、巻き戻し再生中のいずれの場合においても表示可能である。

図３は、適合度の算出処理の流れを示すフローチャートである。
まず、適合度算出部１１３は、適合度を格納する変数ａに初期値としての「１」を代入する（Ｓ２０１）。
次に、適合度算出部１１３は、ステップＳ１０４で検出した顔器官の座標を基に、例えば、正面向きに対する顔向きの角度を算出する。そして、算出した顔向きに対し、顔特徴の算出に適した顔向きであるかの度合いとして顔器官類似度ａ１を算出し、算出した顔器官類似度ａ１と、ａとを乗算した値を、ａに代入する（Ｓ２０２）。
顔器官類似度ａ１は、例えば、以下の手順で算出される。
適合度算出部１１３が、まず、検出された各顔器官の座標と、予め記憶部１２に記憶されている平均的な正面顔（テンプレート）の顔器官の座標とを基に、弛緩法などを用いて類似度を算出する。そして、適合度算出部１１３は、算出した類似度を「０」〜「１」に正規化する。適合度算出部１１３は、この正規化した類似度を顔器官類似度ａ１とする。正規化は、類似度が高いほど、「１」に近い値となるよう算出される。

次に、適合度算出部１１３は、処理対象の顔矩形に対する輝度分布適合度ａ２を算出し、この輝度分布適合度ａ２に、ａを乗算した値を、ａに代入する（Ｓ２０３）。
輝度分布適合度ａ２は、例えば、以下の手順で算出される。
適合度算出部１１３は、ステップＳ１０２で取得した顔矩形を、例えばステップＳ１０４で検出した両目を基準にして、回転させ、正面向きにしたのち、顔矩形を所定のサイズにする正規化を行う。そして、正規化を施した顔矩形の輝度分布（画素の明るさの分布）を算出し、算出した輝度分布の値を、「０」〜「１」の値に正規化する。適合度算出部１１３は、この正規化された輝度分布の値を輝度分布適合度ａ２とする。画素の明るさの分布から、光が正面から当たっているか、斜めから当たっているかなどが分かる。輝度分布適合度ａ２が、「１」であれば、光が正面から当たっており、「０」であれば、光が横から当たっていることを示す。なお、顔矩形に対する輝度分布の算出は、特願２００６−０４４０３３に記載されているため、詳細な説明を省略する。

続いて、適合度算出部１１３は、処理対象の顔矩形に対する矩形面積適合度ａ３を算出し、この矩形面積適合度ａ３に、ａを乗算した値を、ａに代入する（Ｓ２０４）。
矩形面積適合度ａ３は、例えば、以下の手順で算出される。
適合度算出部１１３は、ステップＳ１０２で取得した顔矩形の面積を算出し、さらに顔矩形中の顔画像の解像度を算出し、この解像度を「０」〜「１」の値に正規化する。適合度算出部１１３は、この正規化された解像度を矩形面積適合度ａ３とする。矩形面積適合度ａ３が、「１」に近ければ、解像度が高く、「０」に近ければ、解像度が低い。

そして、適合度算出部１１３は、処理対象の顔矩形に対する画質適合度ａ４を算出し、この輝度分布適合度ａ４に、ａを乗算した値を、ａに代入する（Ｓ２０５）。
画質適合度ａ４は、例えば、以下の手順で算出される。
適合度算出部１１３は、処理対象の顔矩形に対し、空間周波数フィルタを適用することによって、顔矩形中の顔画像におけるノイズ量を算出する。そして、適合度算出部１１３は、算出したノイズ量を「０」〜「１」の値に正規化する。適合度算出部１１３は、この正規化されたノイズ量を画質適合度ａ４とする。画質適合度ａ４が、「１」に近ければ、ノイズが少なく、「０」に近ければ、ノイズが多い。
つまり、顔器官類似度ａ１と、輝度分布適合度ａ２と、矩形面積適合路ａ３と、画質適合度ａ４とを乗算した値を適合度ａとし、この適合度ａが、「１」に近ければ、検出された顔矩形における顔特徴の算出に適しており、「０」に近ければ、顔特徴の算出には適していないということになる。

（画面例）
次に、図１を参照しつつ、図４〜図６に沿って、第１実施形態に係る画面例について説明する。なお、図４から図６において、同様の要素に対しては同一の符号を付し、説明を省略することとする。
図４は、第１実施形態に係る顔矩形と、適合度との表示例を示す図である。
図４に示すように、表示処理部１１４は、図２のステップＳ１０２で検出された顔位置に基づく顔矩形２０１をディスプレイ２に表示させる。
そして、表示処理部１１４は、ステップＳ１０５で算出された適合度を、適合度バー２０２として顔矩形２０１の下に表示させる。
なお、適合度バー２０２は、黒い部分が、適合度を示し、黒い部分が多いほど、適合度が高いことを示す。
図４に示す例では、画面左側の男性は、画面右側の女性の髪などで顔が隠れているため、適合度が低く、右側の女性は、男性より適合度（特に、顔器官類似度）が高いことを示す。

図５は、第１実施形態に係る適合度の表示例であり、（ａ）は、マウスカーソル付近の顔矩形のみ詳細情報の表示を行う例であり、（ｂ）は、マウスカーソル付近の顔矩形を拡大表示する例である。
図５（ａ）に示すように、操作者がポインティングデバイス４を操作することによって、マウスカーソル３０３が任意の顔矩形３０１に重なると、表示処理部１１４は、該当する顔矩形３０１に対する詳細情報３０２を該当する適合度の適合度バー２０２と共にディスプレイ２に表示させる。ここで、詳細情報は、例えば、該当する適合度が所定の値より小さければ、「登録に不適です。無表情正面顔を選んでください。」といった警告などである。
このとき、表示処理部１１４は、詳細情報３０２が表示されている顔矩形３０１を、ディスプレイ２に強調表示させてもよい。また、図５（ａ）に示すように、表示処理部１１４は、詳細情報３０２が表示されている以外の顔矩形２０１に関しては、適合度バー２０２をディスプレイ２に表示させなくてもよい。

そして、図５（ｂ）に示すように、マウスカーソル３０３を任意の顔矩形３０４に近づけると、表示処理部１１４は、マウスカーソル３０３が重なった顔矩形３０４を、対応する適合度バー３０５と共に拡大表示させてもよい。

図６は、顔矩形と、適合度バーの位置関係の例を示す図であり、（ａ）は、横表示の例であり、（ｂ）は、上下表示の例であり、（ｃ）は、横・上下自動選択の例である。
図６（ａ）〜（ｃ）のいずれの形式で適合度バー２０２を表示するかは、操作者が自由に設定することができる。
例えば、図６（ａ）に示すように、表示処理部１１４が、顔矩形２０１の横に適合度バー２０２を表示させてもよいし、図６（ｂ）に示すように、表示処理部１１４が、顔矩形２０１の下（または、上）に適合度バー２０２を表示させてもよい。

さらに、図６（ｃ）に示すように、表示処理部１１４が、顔矩形２０１同士の距離を算出し、適合度バー２０２が顔矩形２０１と重ならないように、適合度バー２０２を顔矩形２０１の横または上下に表示させてもよい。
例えば、図６（ｃ）の領域４０１では、互いの顔矩形２０１が上下方向に近いため、適合度バー２０２を顔矩形２０１の上または下に表示すると、一方の適合度バー２０２で他方の顔矩形２０１の一部が隠れてしまう。このような場合、表示処理部１１４は、領域４０１で示すように適合度バー２０２を顔矩形２０１の横に表示させることで、適合度バー２０２が顔矩形２０１と重なることを防止する。
また、図６（ｃ）の領域４０２では、互いの顔矩形２０１が横方向に近いため、適合度バー２０２を顔矩形２０１の横に表示すると、一方の適合度バー２０２で、他方の顔矩形２０１の一部が隠れてしまう。このような場合、表示処理部１１４は、領域４０２で示すように適合度バー２０２を顔矩形２０１の下（または上）に表示させることで、適合度バー２０２が顔矩形２０１と重なることを防止する。

第１実施形態によれば、顔矩形と共に、適合度を表示することにより、該当する顔矩形における顔画像が、顔特徴の算出に適しているか否かの情報を、マーキングの作業者（操作者）に視覚的に示すことができる。これにより、表情変化や、帽子などの装飾品の有無など、画像処理装置１による自動判定が困難な部分に関しては、操作者が視認して判断することができる。
このように、適合度を顔矩形と共に表示することにより、顔識別処理に対する特別な知識を持っていない操作者が、容易に指定した顔矩形が顔特徴の算出に適しているか否かを判定することができる。
また、適合度を、再生中、停止中、巻き戻し再生中のいずれの場合においても常時表示することにより、作業者は、映像中のある人物の顔矩形をマーキングしたいとき、表示しているフレームにおける対象人物の顔矩形の適合度が低ければ、前後のフレームを検索することにより、適合度の高いフレームを検出することができる。すなわち、特に、動画において、操作者が、顔特徴の算出に適した顔矩形を検索することが容易となる。

さらに、マーキングの作業者（操作者）には分かりづらい解像度、画質、輝度分布などを考慮して適合度を算出することにより、高度なレベルでのマーキングを容易に行うことができる。

（第２実施形態：画像処理システムの構成）
図７は、第２実施形態に係る画像処理システムの構成例を示す図である。
なお、図７において、図１と同様の構成に対しては同一の符号を付して説明を省略する。
画像処理システム１００ａが、図１に示す画像処理システム１００と異なる点は、画像処理装置１ａにおける処理部１１ａが、顔特徴算出部１１５を有し、さらに、記憶部１２ａが、顔特徴ＤＢ１２１を有している点である。
顔特徴算出部１１５は、顔器官位置検出部１１２の検出結果と、顔位置検出部１１１の出力結果である顔矩形内の顔画像とを基に、人物を識別するための顔識別処理に必要な顔特徴の算出を行う機能を有する。
顔特徴ＤＢ１２１は、顔特徴算出部１１５によって、人物毎に算出された顔特徴を記憶するＤＢである。

（画像処理方法）
次に、図７を参照しつつ、図８に沿って第２実施形態に係る画像処理を説明する。
図８は、第２実施形態に係る画像処理の流れを示すフローチャートである。
まず、映像再生装置５が、映像を再生する。再生中の映像における任意のフレーム画像が、映像再生装置５から、画像処理装置１ａへ入力されることによって、画像処理装置１ａの処理部１１ａは、映像再生装置５から、任意のフレーム画像（画像）を取得する（Ｓ３０１）。取得されるフレーム画像は、例えば、入力部６を介して、操作者が任意のフレームを選択することによって決定する。
次に、顔位置検出部１１１が、取得したフレーム画像において、顔位置検出を行い（Ｓ３０２）、検出した顔矩形を、表示処理部１１４がディスプレイ２に表示させる。
そして、操作者が、取得した画像から顔矩形をマーキングする（Ｓ３０３）。マーキングは、操作者が、ポインティングデバイス４を用いて、ディスプレイ２に表示されている顔矩形を選択することによって行われる。

次に、処理部１１ａは、変数ｆｒａｍｅＣｏｕｎｔと、変数ｍａｘＦｒａｍｅＮｏと、変数ａＭａｘとへ、初期値として「０」を代入する（Ｓ３０４）。
次に、顔位置検出部１１１、顔器官位置検出部１１２および適合度算出部１１３が、マーキングされた顔矩形に対し、適合度の算出を行う（Ｓ３０５）。ステップＳ３０５では、図３において説明した処理を、顔位置検出部１１１、顔器官位置検出部１１２および適合度算出部１１３が、マーキングされた顔矩形に対して行う。
次に、処理部１１ａは、ステップＳ３０５の結果、算出された適合度が、ａＭａｘの値より大きいか否かを判定する（Ｓ３０６）。
適合度が、ａＭａｘの値より、大きい場合（Ｓ３０６→Ｙｅｓ）、処理部１１ａは、ｍａｘＦｒａｍｅＮｏへ、ｆｒａｍｅＣｏｕｎｔの値を代入し、ａＭａｘへ、ステップＳ３０５で算出した適合度の値を代入して（Ｓ３０７）、ｍａｘＦｒａｍｅＮｏの値を記憶部１２ａに保存した後、ステップＳ３０９へ処理を進める。
適合度が、ａＭａｘの値より、大きくない場合（Ｓ３０６→Ｎｏ）、処理部１１ａは、ｆｒａｍｅＣｏｕｎｔの値を１加算した値を、ｆｒａｍｅＣｏｕｎｔへ代入し（Ｓ３０８）、ステップＳ３０９へ処理を進める。

そして、処理部１１ａは、予め設定されている定数であるＦＲＡＭＥ ＭＡＸより、ｆｒａｍｅＣｏｕｎｔの値が大きいか否かを判定する（Ｓ３０９）。
ＦＲＡＭＥ ＭＡＸより、ｆｒａｍｅＣｏｕｎｔの値が大きい場合（Ｓ３０９→Ｙｅｓ）、処理部１１ａは、ステップＳ３１４へ処理を進める。
ＦＲＡＭＥ ＭＡＸより、ｆｒａｍｅＣｏｕｎｔの値が大きくない場合（Ｓ３０９→Ｎｏ）、処理部１１ａは、マーキング位置におけるｆｒａｍｅＣｏｕｎｔ前のフレーム画像（画像）を映像再生装置５から取得する（Ｓ３１０）。すなわち、処理部１１ａは、現時点で処理しているフレーム画像より１つ前のフレーム画像を映像再生装置５から取得する。
そして、顔位置検出部１１１が、ステップＳ３１０において取得したフレーム画像における顔位置の検出を行う（Ｓ３１１）。ステップＳ３１１の処理は、図２のステップＳ１０２の処理と同様であるので、ここでは説明を省略する。なお、ステップＳ３１１では、フレーム画像中の顔位置（顔矩形）をすべて検出する。

そして、処理部１１ａは、適合度の算出対象の顔矩形に対応する顔矩形を、ステップＳ３１０で取得したフレーム画像中において探索する（Ｓ３１２）。具体的には、現ループのステップＳ３１１で検出された各顔矩形の幾何座標と、ステップＳ３０２で検出された顔矩形または前ループのステップＳ３１２で探索された顔矩形の幾何座標とを、処理部１１ａが比較する。そして、処理部１１ａは、ステップＳ３０２で検出された顔矩形または前ループのステップＳ３１２で探索された顔矩形から、所定の距離以内に、現ループのステップＳ３１１で検出された各顔矩形が存在するか否かを探索する

次に、処理部１１ａは、ステップＳ３１２の結果、対応する顔矩形が検出されたか否か、すなわち対応する顔矩形があるか否かを判定する（Ｓ３１３）。
対応する顔矩形があった場合（Ｓ３１３→Ｙｅｓ）、処理部１１ａは、ステップＳ３０５の処理へ戻り、当該対応する顔矩形に対する適合度を算出する。

対応する顔矩形がない場合（Ｓ３１３→Ｎｏ）、すなわち、シーンなどが変わることによって、ステップＳ３０３でマーキングした顔矩形に相当する顔矩形がフレーム画像からなくなったとき、表示処理部１１４は、処理を行ったフレーム中において、ステップＳ３０７の後で記憶部に保存したｍａｘＦｒａｍｅＮｏ前のフレーム画像における顔矩形を映像再生装置５から取得し、表示処理部１１４は、取得した顔矩形をディスプレイ２に表示させる。すなわち、表示処理部１１４は、最大適合度を有している顔矩形をディスプレイに表示させる（Ｓ３１４）。
そして、表示処理部１１４は、表示している顔矩形が、ステップＳ３０３でマーキングした顔矩形に対応した顔矩形であるか否かを操作者に確認するメッセージや、ボタンをディスプレイ２に表示させる。
操作者が、メッセージに対する確認ボタンをポインティングデバイス４によって入力したか否かなどによって、処理部１１ａは、ステップＳ３１４で表示している顔矩形が、ステップＳ３０３でマーキングされた顔矩形に対応しているか否かを判定する（Ｓ３１５）。

対応していると判定された場合（Ｓ３１５→Ｙｅｓ）、すなわち、操作者が、例えば「対応している」旨の確認ボタンを押下した場合、顔特徴算出部１１５は、ｍａｘＦｒａｍｅＮｏ前のフレーム画像における顔矩形を用いて、顔特徴の算出を行い（Ｓ３１６）、処理部１１ａが、算出した顔特徴を記憶部１２ａの顔特徴ＤＢ１２１へ保存する（Ｓ３１８）。
対応していないと判定された場合（Ｓ３１５→Ｎｏ）、すなわち、操作者が、例えば「対応していない」旨のボタンを押下した場合、顔特徴算出部１１５は、ステップＳ３０３でマーキングされた顔矩形を用いて、顔特徴の算出を行い（Ｓ３１７）、処理部１１ａが、算出した顔特徴を記憶部１２ａの顔特徴ＤＢ１２１へ保存する（Ｓ３１８）。
なお、顔特徴の算出によって出力される特徴量は、顔器官などの特定部位でのフィルタ応答値や顔器官の幾何形状などである。応答値を得るためのフィルタの種類としては、四方向面特徴フィルタ、ガボールフィルタ、ウェーブレットなどがある。

（画面例）
次に、図７を参照しつつ、図９および図１０に沿って、第２実施形態における画面例を説明する。
図９は、図８のステップＳ３１４において表示される画面例を示す図である。
登録可否画面５００には、図８のステップＳ３１４で説明したとおり、処理を行ったフレーム中において、最大の適合度（最大適合度）であるａＭａｘに対応付けられた顔矩形５０１が、表示処理部１１４によって表示されている。また、登録可否画面５００には、この顔矩形５０１が、図８のステップＳ３０３でマーキングした顔矩形５０２に対応する顔矩形であるか否かを操作者に問いかける確認ボタン５０３，５０４も併せて表示されている。操作者が、確認ボタン５０３をポインティングデバイス４によって押下すると、図８のステップＳ３１６の処理が実行され、確認ボタン５０４を押下すると、図８のステップＳ３１７の処理が実行される。
なお、登録可否画面５００には、図８のステップＳ３０３でマーキングされた顔矩形５０２が、表示処理部１１４によって表示されてもよい。このようにすることで、顔矩形５０１が、図８のステップＳ３０３でマーキングされた顔矩形５０２に対応するか否かを、操作者が容易に確認することができる。

また、図１０のような適合度最大顔リストをディスプレイ２に表示してもよい。
図１０は、適合度最大顔リストの画面例を示す図である。
適合度最大顔リスト画面６００では、ステップＳ１０１において、取得したフレーム画像６０１が、表示処理部１１４によって表示される。
そして、エリア６０２では、フレーム画像６０１から検出された顔矩形のそれぞれについて、最大の適合度を有する顔矩形を表示処理部１１４が表示させる。
なお、最大の適合度を有するそれぞれの顔矩形は、図８のステップＳ３０１で取得され、ステップＳ３０２で検出されたフレーム画像に含まれる顔矩形のそれぞれについて、図８のステップＳ３０４〜ステップＳ３１３を実行することによって取得することができる。

なお、第２実施形態では、マーキングした顔矩形に対し、前のフレームから最大の適合度を有する顔矩形を検出しているが、これに限らず、後ろのフレームから検出してもよい。この場合、図８のステップＳ３１０の処理が、「マーキング位置におけるｆｒａｍｅＣｏｕｎｔ後の画像を取得」する処理となる。

第２実施形態によれば、マーキングの作業者（操作者）が、再生映像中から顔矩形をマーキングした際に、映像が連続しているフレームを遡ることにより、当該マーキングした顔矩形より高い適合度を有する顔矩形を検出する。これにより、操作者は、顔特徴の算出に適合した顔矩形を容易に探すことができる。
また、図９に示すように、フレームを遡って検出した顔矩形が、マーキングした顔矩形と人物が一致しているか（対応しているか）を、ディスプレイ２上で操作者に問い合わせることにより、誤った人物の顔特徴を算出してしまうことを防ぐことができる。
さらに、図１０に示すように、一連のフレームから、最大の適合度を有する顔矩形を、一覧表示することにより、操作者は、顔特徴の算出に適した顔矩形を１人１人探し出さなくてもすむことができる。

（第３実施形態：画像処理システムの構成）
図１１は、第３実施形態に係る画像処理システムの構成例を示す図である。
なお、図１１において、図７と同様の構成に対しては同一の符号を付して説明を省略する。
画像処理システム１００ｂが、図７に示す画像処理システム１００ａと異なる点は、画像処理装置１ｂにおける処理部１１ｂが、２組の顔特徴の類似度を算出する顔特徴照合部１１６を有している点である。

（画像処理方法）
図１２は、第３実施形態に係る画像処理の流れを示すフローチャートである。
なお、図１２において、複数の顔特徴が、予め算出され、該当する顔矩形と対の情報として顔特徴ＤＢ１２１に格納されているものとする。
まず、映像再生装置５が、映像を再生する。再生中の映像における任意のフレーム画像が、映像再生装置５から、画像処理装置１ｂへ入力されることによって、画像処理装置１ｂの処理部１１ｂは、映像再生装置５から、再生中のフレーム画像（画像）を取得する（Ｓ４０１）。取得されるフレーム画像は、例えば、入力部６を介して、操作者が任意のフレームを選択することによって決定する。
次に、顔位置検出部１１１が、取得したフレーム画像において、顔位置検出を行い（Ｓ４０２）、検出した顔矩形を、表示処理部１１４がディスプレイ２に表示させる。
そして、操作者が、取得した画像から顔矩形をマーキングする（Ｓ４０３）。マーキングは、操作者が、ポインティングデバイス４を用いて、ディスプレイ２に表示されている顔矩形を選択することによって行われる。

次に、顔特徴算出部１１５が、マーキングされた顔矩形に関し、顔特徴を算出する（Ｓ４０４）。顔特徴の算出は、図８のステップＳ３１６およびステップＳ３１７において説明した手順によって算出される。
次に、顔特徴照合部１１６が、記憶部１２ａの顔特徴ＤＢ１２１に格納されている各顔特徴と、ステップＳ４０４で算出された顔特徴とを照合する（Ｓ４０５）。具体的には、例えば、顔特徴照合部１１６が、ステップＳ４０４で算出された顔特徴の各特徴量と、顔特徴ＤＢ１２１に格納されている顔特徴の各特徴量との内積を算出し、この内積値を「０」〜「１００」の間で正規化した値を類似度とする。この場合、類似度が「１００」に近ければ、互いの顔特徴は類似していることになり、「０」に近ければ、類似していないことになる。

続いて、顔特徴照合部１１６は、顔特徴ＤＢ１２１に類似度が高い顔矩形である類似データがあるか否かを判定する（Ｓ４０６）。具体的には、ステップＳ４０５で算出した各類似度の中で、予め設定されている閾値を超えている類似度があるか否かを、顔特徴照合部１１６が判定する。
類似データなしと判定された場合（Ｓ４０６→Ｎｏ）、処理部１１ｂは、ステップＳ４１０へ処理を進める。
類似データありと判定された場合（Ｓ４０６→Ｙｅｓ）、表示処理部１１４は、顔特徴が類似していると判定された顔矩形を、追加登録するか、新規登録するかを問い合わせる追加登録ダイアログをディスプレイ２に表示させる（Ｓ４０７）。この場合、追加登録とは、ステップＳ４０３でマーキングされた顔矩形と、検出された類似データとが、同一人物のデータとして登録されることである。また、新規登録とは、テップＳ４０３でマーキングされた顔矩形と、検出された類似データとが、同一人物のデータとして登録されないことである
処理部１１ｂは、操作者が、追加登録ダイアログを介して、追加登録する旨の入力を行ったか、新規登録する旨の入力をおこなったかを判定することによって、追加登録を行うか否かを判定する（Ｓ４０８）。
追加登録を行う場合（Ｓ４０８→Ｙｅｓ）、処理部１１ｂは、ステップＳ４０２で検出された顔矩形と、ステップＳ４０４で算出した顔特徴とを対の情報として、例えば、検出された類似データと、ステップＳ４０２で検出された顔矩形とを、同じグループのデータとして、顔特徴ＤＢ１２１に追加登録する追加登録処理を行う（Ｓ４０９）。
追加登録を行わない場合（Ｓ４０８→Ｎｏ）、処理部１１ｂは、ステップＳ４０２で検出された顔矩形と、ステップＳ４０４で算出した顔特徴とを対の情報として、顔特徴ＤＢ１２１に新規登録する新規登録処理を行う（Ｓ４１０）。

なお、ステップＳ４０８において、処理部１１ｂが、追加登録も新規登録も行わない場合の判定を行ってもよい。追加登録も新規登録も行わない場合、処理部は、何も行わずに、つまり、追加登録も新規登録も行わずに処理を終了させる。この際、処理部１１ｂは、ステップＳ４０３でマーキングされた顔矩形を削除する。

（画面例）
次に、図１１を参照しつつ、図１３および図１４に沿って、第３実施形態における画面例を説明する。なお、図１３および図１４において、図４の要素と同様の要素には、同一の符号を付して説明を省略する。
図１３は、追加登録ダイアログの画面例を示す図である。
追加登録ダイアログ７００には、図１２のステップＳ４０３でマーキングされた顔矩形が、エリア７０１で表示処理部１１４によって表示されている。
また、図１２のステップＳ４０５およびステップＳ４０６で検出された類似データ（類似度が所定の閾値より大きい既登録の顔矩形）が、エリア７０２で表示処理部１１４によって表示されている。ここでは、２件の類似データが検出され、類似度（画面中のＳｃｏｒｅ）の高い順に表示されている（符号７０３，７０４）。このうち、類似データ７０３が、エリア７０１で表示されている顔矩形の人物に対応する場合、操作者が、ラジオボタン７０５をチェックすることによって、類似データ７０３を選択した後、「追加登録」ボタン７０７をポインティングデバイス４（図１１参照）によって押下することにより、図１２のステップＳ４０９の処理が行われる。
また、類似データ７０３を新規登録したいときは、ラジオボタン７０５をチェックすることによって、類似データ７０３を選択した後、操作者が、「新規登録」ボタン７０６をポインティングデバイス４によって押下することにより、図１２のステップＳ４１０の処理が行われる。
また、追加登録ダイアログ７００には、図示しない「登録を行わない」ボタンが表示されてもよい。この「登録を行わない」ボタンが、ポインティングデバイス４によって押下されることにより、処理部１１ｂは、ステップＳ４０２で検出された顔矩形の登録を行わずに、処理を終了する。

図１４は、マウスカーソル通過時に類似データを表示する画面例を示す図である。
なお、図１４において、図４と同様の要素については、同一の符号を付し、説明を省略する。
図１４に示すフレーム画像８００では、３人の顔矩形２０１が検出され、それぞれの顔矩形の横には、適合度バー２０２が表示されている（適合度バー２０２が横表示となっている以外は、図４と同様）。
そして、操作者が、マウスカーソル８０１を、例えば、中央の男性の顔矩形８０２上に重ねると、処理部１１ｂは、マウスカーソル８０１を重ねられた顔矩形８０２を図１２のステップＳ４０３におけるマーキングされた顔矩形として取得する。そして、処理１１ｂ部は、取得した顔矩形８０２に対して、図１２のステップＳ４０４〜Ｓ４０６の処理を行う。ステップＳ４０６の処理で、類似データなしの場合（Ｓ４０６→Ｎｏ）、表示処理部１１４は、何も表示しないが、類似データありの場合（Ｓ４０６→Ｙｅｓ）、処理部１１ｂが、該当する顔特徴と対応して記憶部１２ａの顔特徴ＤＢ１２１に記憶されている顔矩形を類似データとして取得し（すなわち、マウスカーソル８０１を重ねられた顔矩形（第２の顔画像）に対応する類似データ（第１の画像）を取得し）、表示処理部１１４が取得した類似データを類似データ画面８０３としてディスプレイ２に表示する。

第３実施形態によれば、マーキングの作業者（操作者）が、顔特徴を登録しようとしたときに、顔特徴ＤＢ１２１に既に登録されている類似データがあれば、この類似データを表示し、追加登録または新規登録を選択することを可能としたことで、顔特徴の重複登録を防ぐことができる。また、追加登録を行うことによって、同一人物の顔特徴を複数登録できるようにすることができる。これにより、複数の顔特徴を用いた照合を行うことができるため、顔識別の精度を向上させることができる。

図１、図７および図１１に示す処理部１１，１１ａ，１１ｂおよび各部１１１〜１１６は、ＲＯＭ（Read Only Memory）や、ＨＤ（Hard Disk）に格納された画像処理プログラムが、ＲＡＭ（Random Access Memory）に展開され、ＣＰＵ（Central Processing Unit）によって実行されることによって具現化する。また、処理部１１，１１ａ，１１ｂおよび各部１１１〜１１６は、処理を高速化させるための専用のデジタル回路を実装させることにより、具現化してもよい。
また、本明細書では、顔特徴ＤＢ１２１を記憶部１２ａに格納することによって、画像処理装置１ａ，１ｂ中に保持されているものとしたが、これに限らず、例えば、顔特徴ＤＢ１２１を、画像処理装置１ａ，１ｂとは異なる装置として独立させてもよい。

本実施形態では、適合度を棒グラフ（バー）の形で示したが、これに限らず、例えば、顔矩形の枠を適合度によって色分けしたり、適合度を数値で表示したりしてもよい。

第１実施形態に係る画像処理システムの構成例を示す図である。 第１実施形態に係る画像処理の流れを示すフローチャートである。 適合度の算出処理の流れを示すフローチャートである。 第１実施形態に係る顔矩形と、適合度との表示例を示す図である。 第１実施形態に係る適合度の表示例であり、（ａ）は、マウスカーソル付近の顔矩形のみ詳細情報の表示を行う例であり、（ｂ）は、マウスカーソル付近の顔矩形を拡大表示する例である。 顔矩形と、適合度バーの位置関係の例を示す図であり、（ａ）は、横表示の例であり、（ｂ）は、上下表示の例であり、（ｃ）は、横・上下自動選択の例である。 第２実施形態に係る画像処理システムの構成例を示す図である。 第２実施形態に係る画像処理の流れを示すフローチャートである。 図８のステップＳ３１４において表示される画面例を示す図である。 適合度最大顔リストの画面例を示す図である。 第３実施形態に係る画像処理システムの構成例を示す図である。 第３実施形態に係る画像処理の流れを示すフローチャートである。 追加登録ダイアログの画面例を示す図である。 マウスカーソル通過時に類似データを表示する画面例を示す図である。 映像中にある１つあるいは複数の顔画像のうちの１つをポインティングデバイスなどで指定する画面例である。 再生映像中の人物を識別するアプリケーションの画面例である。

符号の説明

１，１ａ，１ｂ 画像処理装置
２ ディスプレイ
３ キーボード
４ ポインティングデバイス
５ 映像再生装置
６ 入力部
１１，１１ａ，１１ｂ 処理部
１２，１２ａ 記憶部
１００，１００ａ，１００ｂ 画像処理システム
１１１ 顔位置検出部
１１２ 顔器官位置検出部
１１３ 適合度算出部
１１４ 表示処理部
１１５ 顔特徴算出部
１１６ 顔特徴照合部
１２１ 顔特徴ＤＢ
２０１，３０１，３０４，５０１，５０２，８０２ 顔矩形（顔画像）
２０２，３０５ 適合度バー
３０２ 詳細情報
３０３，８０１ マウスカーソル
５００ 登録可否画面
５０３，５０４ 確認ボタン
６００ 適合度最大顔リスト画面
６０１，８００ フレーム画像
７００ 追加登録ダイアログ
７０３ 類似データ
７０５ ラジオボタン
７０６ ボタン（新規登録）
７０７ ボタン（追加登録）
８０３ 類似データ画面

Claims (20)

1. 映像中の顔画像を識別し、同一人物であるか否かを認識する顔識別処理を行う画像処理装置であって、
   前記顔画像、および前記顔画像に対応し、前記顔識別処理に適しているか否かの度合いを、最大値と最小値との間で段階的に示す適合度を保持している記憶部と、
   前記顔画像、および前記顔画像に対応する前記適合度を前記記憶部から取得し、取得した前記顔画像および前記適合度を共に表示部へ表示させる表示処理部とを有することを特徴とする画像処理装置。
2. 前記表示処理部は、
   前記適合度を、当該適合度に対応する顔画像の横、上および下のいずれかに表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   ２つの前記顔画像間における横方向の距離を算出する処理部をさらに有し、
   前記表示処理部は、前記距離が所定の値以下である場合、前記適合度を、当該適合度に対応する顔画像の上または下に表示させることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理装置は、
   ２つの前記顔画像間における縦方向の距離を算出する処理部をさらに有し、
   前記表示処理部は、前記距離が所定の値以下である場合、前記適合度を、当該適合度に対応する顔画像の横に表示させることを特徴とする請求項１に記載の画像処理装置。
5. 前記表示処理部は、複数の前記顔画像が表示されているとき、マウスカーソルが重なった前記顔画像に対応する適合度を表示し、前記マウスカーソルが重なっていない顔画像に対応する適合度を非表示にすることを特徴とする請求項１に記載の画像処理装置。
6. 前記表示処理部は、マウスカーソルが重なった前記顔画像および当該顔画像に対応する適合度を強調表示させることを特徴とする請求項１に記載の画像処理装置。
7. 前記表示処理部は、
   表示されている前記顔画像のうちで、所定の値以下の適合度を有する顔画像に対し、警告画像を表示させることを特徴とする請求項１に記載の画像処理装置。
8. 前記適合度は、映像の順再生時、逆再生時および停止時のいずれの場合にも表示されることを特徴とする請求項１に記載の画像処理装置。
9. 前記適合度は、棒グラフの形式で表示されることを特徴とする請求項１に記載の画像処理装置。
10. 前記適合度とは、テンプレートとなる顔画像と、前記記憶部から取得した顔画像との顔器官の類似度である顔器官類似度、前記記憶部から取得した顔画像の画素における輝度分布を数値化した輝度分布適合度、前記記憶部から取得した顔画像の面積を所定の値へと拡大したときの解像度である矩形面積適合度、および前記記憶部から取得した顔画像におけるノイズの度合いである画質適合度のうち、すくなくとも１つとの組合せによって算出されることを特徴とする請求項１に記載の画像処理装置。
11. 映像中の顔画像を識別し、同一人物であるか否かを認識する顔識別処理を行う画像処理装置であって、
    前記映像における連続した複数のフレーム中の顔画像と、それぞれの顔画像に対応し、前記顔識別処理に適しているか否かの度合いを、最大値と最小値との間で段階的に示す適合度とを保持している記憶部と、
    前記連続した複数のフレームにおける顔画像の中から、前記適合度が最も高い顔画像を選択し、前記選択された顔画像を表示部に表示させる表示処理部とを有することを特徴とする画像処理装置。
12. 前記表示処理部は、
    表示している前記連続した複数のフレームにおける顔画像の中から、前記適合度が最も高い顔画像を、前記顔識別処理に用いるか否かを操作者へ問い合わせるメッセージを前記表示部に表示させる機能をさらに有し、
    入力部を介して、当該表示している顔画像を、前記顔識別処理に用いる指示が入力されると、当該表示している顔画像を前記顔識別処理に用いる顔画像として、前記記憶部に記憶する処理部をさらに有することを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示処理部は、
    前記連続した複数のフレーム中に、複数の顔画像が含まれているとき、それぞれの顔画像に関して、前記連続した複数のフレームにおける顔画像の中から、前記適合度が最も高い顔画像を選択し、それぞれ選択された顔画像を前記表示部に表示させることを特徴とする請求項１１に記載の画像処理装置。
14. 第１の顔画像および前記第１の顔画像の特徴量である第１の特徴量が前記記憶部に記憶されており、
    新たに第２の顔画像が、映像再生装置から入力されると、当該第２の顔画像の特徴量である第２の特徴量を算出し、前記記憶部から前記第１の特徴量を取得し、前記第２の特徴量と、取得した前記第１の特徴量との類似度を算出し、前記類似度が所定の値以上である場合、前記第１の特徴量に対応する前記第１の顔画像を前記記憶部から取得する処理部と、
    前記表示処理部が、前記処理部が取得した前記第１の顔画像を、前記表示部に表示させることを特徴とする請求項１１に記載の画像処理装置。
15. 前記表示処理部は、
    前記第２の顔画像を、前記取得された第１の顔画像と共に、前記表示部に表示させ、さらに、前記第２の顔画像の人物を、前記第１の顔画像の人物と同一人物として登録するか否かのメッセージを前記表示部に表示させ、
    前記処理部は、入力部を介して、前記第２の顔画像の人物と、前記第１の顔画像の人物とを同一人物として登録する旨の情報を入力されると、前記第２の顔画像を、前記第１の顔画像に対応付けて前記記憶部に記憶し、前記第２の顔画像の人物と、前記第１の顔画像の人物とを同一人物として登録しない旨の情報を入力されると、前記第２の顔画像を、前記第１の顔画像に対応付けることなく前記記憶部に記憶することを特徴とする請求項１４に記載の画像処理装置。
16. 第１の顔画像および前記第１の顔画像の特徴量である第１の特徴量が前記記憶部に記憶されており、
    新たに第２の顔画像が、映像再生装置から入力されると、当該第２の顔画像の特徴量である第２の特徴量を算出し、前記記憶部から前記第１の特徴量を取得し、前記第２の特徴量と、取得した前記第１の特徴量との類似度を算出し、前記類似度が所定の値以上である場合、前記第１の顔画像と前記第２の顔画像とを対応付けて前記記憶部に記憶し、前記第２の顔画像を前記表示部に表示させ、前記表示されている第２の顔画像に、マウスカーソルが重なると、前記記憶部から、前記第２の顔画像に対応付けられた第１の顔画像を取得する処理部を有し、
    前記表示処理部が、前記第１の顔画像を前記表示部に表示させることを特徴とする請求項１１に記載の画像処理装置。
17. 映像中の顔画像を識別し、同一人物であるか否かを認識する顔識別処理を行う画像処理装置における画像処理方法であって、
    記憶部が、前記顔画像、および前記顔画像に対応し、前記顔識別処理に適しているか否かの度合いを、最大値と最小値との間で段階的に示す適合度を保持しており、
    処理部が、前記顔画像、および前記顔画像に対応する前記適合度を前記記憶部から取得し、取得した前記顔画像および前記適合度を共に表示部へ表示させることを特徴とする画像処理方法。
18. 映像中の顔画像を識別し、同一人物であるか否かを認識する顔識別処理を行う画像処理装置における画像処理方法であって、
    記憶部が、前記映像における連続した複数のフレーム中の顔画像と、それぞれの顔画像に対応し、前記顔識別処理に適しているか否かの度合いを、最大値と最小値との間で段階的に示す適合度とを保持しており、
    処理部が、前記連続した複数のフレームにおける顔画像の中から、前記適合度が最も高い顔画像を選択し、前記選択された顔画像を表示部に表示させることを特徴とする画像処理方法。
19. 前記記憶部が、第１の顔画像および前記第１の顔画像の特徴量である第１の特徴量を保持しており、
    処理部が、新たに第２の顔画像が、映像再生装置から入力されると、当該第２の顔画像の特徴量である第２の特徴量を算出し、前記記憶部から前記第１の特徴量を取得し、前記第２の特徴量と、取得した前記第１の特徴量との類似度を算出し、前記類似度が所定の値以上である場合、前記第１の特徴量に対応する前記第１の顔画像を前記記憶部から取得し、
    前記取得された前記第１の顔画像を、前記表示部に表示させることを特徴とする請求項１８に記載の画像処理方法。
20. 請求項１７から請求項１９のうち、いずれか一項の画像処理方法を、コンピュータに実行させることを特徴とする画像処理プログラム。

Images