JP6215774B2 - 同一人物判定装置ならびにその方法およびその制御プログラム - Google Patents

Description

この発明は，同一人物判定装置ならびにその方法およびその制御プログラムに関する。

ディジタル・カメラ，スマートフォンの普及により，写真撮影が気軽となり，極めて多くの画像がメモリ・カード，パーソナル・コンピュータに保存されるようになってきている。多くの画像からアルバムを作成しようとする場合などには，主要人物を見つけるために人物ごとにグループ分けすることが必要となってくる。このために，複数の顔の識別（特許文献１），同一人物のグループの形成（特許文献２，３，４，５），人物照合（特許文献６），人間関係を類推するもの（特許文献７）などがある。

USP8379939 特開2006-343791 特開2007-102549 特開2010-211785 特開2012-64082 特開2011-34133 特開2009-59042

複数の人物像が含まれている複数の画像から主要人物を分類する場合に，顔検出，認証技術により識別分類することは一般的であるが，複数の画像には主要人物以外の他人（他人の顔）の存在，様々な顔の向き，表情，照明条件などにより，人物の分類に不利な状況がある。このため，常に高精度な主要人物識別は容易ではない。人物の自動抽出の場合には，主要人物の事前登録もできない。

特許文献１に記載のものは，複数の画像から複数の顔を識別するために顔同士の類似性の尺度としての距離を算出し，その距離にもとづいて顔を識別しているが，親子，兄弟，親戚などのように顔が類似している場合には，その距離が近くなるために，顔を区別できないことがある。特許文献２に記載のものは，時間的に異なるフレームから検出される顔領域に対応する領域を見つけ，同一人物のグループを形成するものであるから，動画が必要となる。特許文献３に記載のものは，顔の特徴量ごとにソートするものであり，類似している顔同士を区別することは難しい。特許文献４に記載のものは，類似性にしたがって複数の顔領域をグループ化しているが，類似している顔同士を区別することは難しい。特許文献５に記載のものは，表情ごとの顔特徴量を記憶し，検出された顔特徴量と比較することにより人物を識別しているが，類似している顔を識別することは難しい。特許文献６に記載のものは，タグ情報として，兄弟，親戚のＩＤが付加され，兄弟，親戚などの画像の類似度を求めて照合しているが，そのためにあらかじめデータベースに登録する必要がある。特許文献７に記載のものは，一緒に写っている人物を利用して人物が誰かを推定するが，その精度が高いとは言えない。

この発明は，親子，兄弟，親戚などのように類似している顔同士であっても，同一人物かどうかを判定できるようにすることを目的とする。

この発明による同一人物判定装置は，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出する第１の特徴量算出手段，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較する特徴量比較手段，および特徴量比較手段における比較によって，一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔の特徴量とが近似し，かつ一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定する人物判定手段を備えていることを特徴とする。

この発明は，同一人物判定方法も提供している。すなわち，この方法は，特徴量算出手段が，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出し，特徴量比較手段が，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較し，人物判定手段が，特徴量比較手段における比較によって，一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔の特徴量とが近似し，かつ一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定するものである。

この発明は，同一物判定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

人物判定手段は，たとえば，関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定し，かつ一の画像に含まれている一の顔と他の画像に含まれているすべての他の顔とが非同一人物と判定するものである。

人物判定手段は，関係が一の画像と他の画像とから一つだけ得られた場合には，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔であるとは判定しないものでもよい。

他の画像から，複数の顔のそれぞれの顔の特徴量を算出する第２の特徴量算出手段をさらに備えてもよい。この場合，特徴量比較手段は，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，第２の特徴量算出手段によって他の画像から算出されたそれぞれの顔の特徴量と，を比較するものとなろう。

他の画像に含まれる複数の顔のそれぞれの顔の特徴量を記憶する特徴量記憶手段をさらに備えてもよい。この場合，特徴量比較手段は，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，特徴量記憶手段に記憶されている，それぞれの顔の特徴量と，を比較するものとなろう。

他の画像が複数存在している場合には，複数の他の画像について，特徴量比較手段における処理および人物判定手段における処理を行わせる制御手段をさらに備えてもよい。

人物判定手段によって同一人物の顔と判定された顔ごとにグループ化するグループ化手段をさらに備えてもよい。

この発明によると，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量が算出される。算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量とが比較される（他の画像に含まれる複数の顔の特徴量は，あらかじめ算出されていてもよいし，比較される時に算出されてもよい）。一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量とが近似し（例えば，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量との差分がしきい値以内であれば近似すると判断される），かつ一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していない（例えば，一の画像から算出された一の顔の特徴量と他の画像から算出された位置の顔以外のすべての他の顔の特徴量との差分がしきい値を越えていれば近似しないと判断される）という関係が，一の画像と他の画像とから複数得られた場合には，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定される。

この発明によると，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量とが近似しているだけでなく，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していないという関係が，一の画像と他の画像とから複数得られた場合に，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定される。単に顔の特徴量が近似しているから，それらの顔の人物が同一人物と判定されるのではなく，顔の特徴量が近似していないということを考慮して，それらの顔の人物が同一人物と判定しているので，類似している顔同士であっても同一人物かどうかを判定できる。しかも，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していないという関係が，１つだけでなく複数得られた場合に，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定されるので，親子，兄弟，親戚など，より類似している顔同士の人物であっても同一人物かどうかを判定できるようになる。同一人物の判定精度を高くするためには同一人物かどうかを判定するための顔の類似度のしきい値を上げる必要があるが，このしきい値を上げると，同一人物であっても同一人物でないと判定されてしまうことがある。この発明によると，上述した関係が複数得られた場合に同一人物と判定されるので，同一人物かどうかを判定するための顔の類似度のしきい値を抑えることができる。より多くの同一人物の判定が可能となる。

同一人物判定装置の電気的構成を示すブロック図である。 同一人物判定装置の処理手順を示すフローチャートである。 同一人物判定装置の処理手順を示すフローチャートである。 同一人物判定装置の処理手順を示すフローチャートである。 画像の一例である。 画像の一例である。 画像の一例である。 画像の一例である。 画像から検出された顔を示している。 画像から検出された顔を示している。 画像から検出された顔を示している。 画像から検出された顔を示している。 特徴量テーブルの一例である。 同一人物テーブルの一例である。 非同一人物テーブルの一例である。

図１は，この発明の実施例を示すもので，同一人物判定装置の電気的構成を示すブロック図である。

同一人物判定装置１の全体の動作は，ＣＰＵ（中央処理装置）６によって統括される。

同一人物判定装置１には，インターネットなどのネットワークを介して他の装置と通信するための通信装置２，データ等を一時的に記憶するメモリ３，表示装置４および表示装４を制御する表示制御装置５が含まれている。また，同一人物判定装置１には，コマンド等を同一人物判定装置１に与えるためのキーボードなどの入力装置７が設けられている。入力装置７からの出力信号は，ＣＰＵ６に与えられる。

さらに，同一人物判定装置１には，画像データなどのデータを記憶するハードディスク９，ハードディスク９にアクセスするためのハードディスク・ドライブ８ならびにコンパクト・ディスク11にアクセスするためにコンパクト・ディスク・ドライブ10も含まれている。

コンパクト・ディスク11に，後述する動作を制御するプログラムが格納されている。そのプログラムがコンパクト・ディスク・ドライブ10によってコンパクト・ディスク11から読み取られる。読み取られたプログラムが同一人物判定装置１にインストールされることにより，後述する動作が行われる。プログラムは，コンパクト・ディスク11のような記録媒体に格納されていなくとも，通信装置２を利用してネットワークからダウンロードされるようにしてもよい。

図２から図４は，同一人物判定装置１の処理手順を示すフローチャート，図５から図８は，複数の顔が含まれている画像の一例である。これらの画像を表わす画像データは，ハードディスク９に格納されているが，ハードディスク９に格納させていなくとも，通信装置２を介してダウンロードされてもよいし，メモリ・カードなどの記録媒体に記録されている画像データが同一人物判定装置１において読み取られてもよい。

図５は第１の画像Ｉ１を示しており，人物像Ｈ11からＨ14が含まれている。第１の画像Ｉ１は家族が撮像された画像であり，人物像Ｈ11，Ｈ12，Ｈ13およびＨ14は，それぞれ母親の画像，長男の画像，次男の画像および父親の画像である。図６は第２の画像Ｉ２を示しており，人物像Ｈ21からＨ23が含まれている。第２の画像Ｉ２は，母親と父親との夫婦とその友人が撮像された画像であり，人物像Ｈ21，Ｈ22およびＨ23は，それぞれ母親の画像，父親の画像および友人の画像である。図７は第３の画像Ｉ３を示しており，人物像Ｈ31およびＨ32が含まれている。第３の画像Ｉ３は親子で撮像された画像であり，人物像Ｈ31およびＨ32は，長男の画像および母親の画像である。図８は第４の画像Ｉ４を示しており，人物像Ｈ41からＨ43が含まれている。第４の画像Ｉ４は親子と友人とで撮像された画像であり，人物像Ｈ41，Ｈ42およびＨ43は，母親の画像，友人の画像および長男の画像である。図５から図８においては，人物像が誰か分るように，それぞれの人物像に「母」，「長男」，「次男」，「父」または「友人」の文字が付されているが，同一人物判定装置１は，どの人物像が，母，長男，次男，父または友人かは認識しない（もっとも，それぞれの人物の特徴をあらかじめ同一人物判定装置１に登録しておき，それぞれの人物像がだれかが認識されるようにしてもよい）。

この実施例は，複数の顔が含まれている複数の画像から，同一人物の顔を判定するものである。この実施例では，４つの画像Ｉ１からＩ４の画像から，同一人物の顔を判定するが，複数の顔が含まれている複数の画像があれば，４つの画像に限らないのはいうまでもない。

複数の画像Ｉ１からＩ４の中から，一の画像がＣＰＵ６によって決定される（図２ステップ21）。同一人物判定装置１のユーザによって決定されてもよい。第１の画像Ｉ１が一の画像として決定されたものとする。つづいて，決定された一の画像Ｉ１についてＣＰＵ６によって顔検出処理が行われ，一の画像Ｉ１から顔が検出される（図２ステップ22）。

図９は，一の画像Ｉ１から顔Ｆ11からＦ14が検出された様子を示している。顔Ｆ11は，人物像Ｈ11から検出された顔であり，「母」の顔Ｆ11である。顔Ｆ12は，人物像Ｈ12から検出された顔であり，「長男」の顔Ｆ12である。顔Ｆ13は，人物像Ｈ13から検出された顔であり，「次男」の顔Ｆ13である。顔Ｆ14は，人物像Ｈ14から検出された顔であり，「父」の顔Ｆ14である。図９においても，誰の顔かが分るように，「母」，「長男」，「次男」または「父」の文字が付されているが，上述したように，同一人物判定装置１は，検出された顔が誰の顔かは認識していない。

つづいて，一の画像Ｉ１から検出された複数の顔Ｆ11，Ｆ12，Ｆ13およびＦ14のそれぞれの顔の特徴量がＣＰＵ６によって算出され（第１の特徴量算出手段），算出された顔の特徴量が特徴量テーブル（特徴量記憶手段）に記憶させられる（図２ステップ23）。特徴量テーブルはメモリ３（特徴量記憶手段）に記憶される。顔の特徴量は，顔全体に対する目，鼻，口，耳などの位置，大きさなどを数値化したものであり，公知の手法により得られる。

図13は，特徴量テーブルの一例である。

特徴量テーブルは，画像から検出された顔ごとに，算出された顔の特徴量を記憶するものである。特徴量テーブルは，メモリ３に格納される。一の画像Ｉ１から検出された顔Ｆ11，Ｆ12，Ｆ13およびＦ14のそれぞれの顔の特徴量は，Ｌ11，Ｌ12，Ｌ13およびＬ14である。

図２に戻って，ＣＰＵ６によって他の画像が決定される（ステップ24）。もっとも，同一人物判定装置１を操作するユーザによって，他の画像が決定されてもよい。ここでは，ＣＰＵ６によって，第２の画像Ｉ６が他の画像として決定されたものとする。つづいて，一の画像Ｉ１と同様に，ＣＰＵ６によって顔検出処理が行われ，他の画像として決定された第２の画像Ｉ２から顔が検出される（図２ステップ25）。

図10は，他の画像Ｉ２から顔Ｆ21からＦ23が検出された様子を示している。顔Ｆ21は，人物像Ｈ21から検出された顔であり，「母」の顔Ｆ21である。顔Ｆ22は，人物像Ｈ22から検出された顔であり，「父」の顔である。顔Ｆ23は，人物像Ｈ23から検出された顔であり，「友人」の顔である。図10においても，誰の顔かが分るように，「母」，「父」または「友人」の文字が付されている。

図２に戻って，上述したのと同様に，他の画像Ｉ２から検出された複数の顔Ｆ21，Ｆ22およびＦ23のそれぞれの顔の特徴量がＣＰＵ６によって算出され（第２の特徴量算出手段），算出された顔の特徴量が特徴量テーブルに記憶させられる（ステップ26）。これにより，図13の特徴量テーブルに，他の画像Ｉ２から検出された顔Ｆ21，Ｆ22およびＦ23のそれぞれの顔の特徴量としてＬ21，Ｌ22およびＬ23が記憶させられる。

つづいて，一の画像Ｉ１から算出されたそれぞれの顔の特徴量Ｌ11，Ｌ12，Ｌ13およびＬ14と，一の画像と異なる他の画像Ｉ２から算出されたそれぞれの顔の特徴量Ｌ21，Ｌ22およびＬ23と，がＣＰＵ６によって比較される［特徴量比較手段，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，第２の特徴量算出手段によって他の画像から算出されたそれぞれの顔の特徴量（特徴量記憶手段に記憶されている，それぞれの顔の特徴量）とが比較されることとなる］（図３ステップ27）。この比較によって，一の画像Ｉ１から算出された一の顔の特徴量と他の画像Ｉ２から得られた一の顔の特徴量とが近似し，かつ一の画像Ｉ１から算出された一の顔の特徴量と他の画像Ｉ２から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係（近似−非近似関係）が，一の画像Ｉ１と他の画像Ｉ２とから複数得られるかどうか判定される。そのような関係が複数得られると，一の画像Ｉ１に含まれている一の顔と他の画像Ｉ２に含まれている一の顔とが同一人物の顔と判定される。

まず，一の画像Ｉ１から算出された一の顔の特徴量と，他の画像Ｉ２から算出された一の顔の特徴量とが近似しているかどうかが判定される（図３ステップ28）。たとえば，一の画像Ｉ１に含まれる顔Ｆ11からＦ14のうち，一の顔として顔Ｆ11がＣＰＵ６によって決定され，他の画像Ｉ２に含まれる顔Ｆ21からＦ23のうち，一の顔として顔Ｆ21がＣＰＵ６によって決定される。一の画像Ｉ１に含まれる一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２に含まれる一の顔Ｆ21の特徴量Ｌ21とが近似しているかどうかが判定される。特徴量Ｌ11と特徴量Ｌ21との差分がしきい値未満（以下）であれば，これらの特徴量Ｌ11と特徴量Ｌ21とは近似しているものと判定される。特徴量Ｌ11と特徴量Ｌ21との差分がしきい値以上（しきい値より大きい）であれば，これらの特徴量Ｌ11と特徴量Ｌ21とは近似していないと判定される。しきい値は，同一人物の複数の顔について特徴量を算出し，得られる特徴量の変動量から決定できる。

さらに，一の画像Ｉ１の一の顔の特徴量と他の画像Ｉ２のすべての他の顔の特徴量とが近似していないかどうかが判定される（図３ステップ29）。たとえば，一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の他の顔Ｆ22の特徴量Ｌ22とが近似せず，かつ一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の他の顔Ｆ23の特徴量Ｌ23とが近似していないかどうかが判定される。特徴量Ｌ11と特徴量Ｌ22との差分がしきい値以上（しきい値より大きい）であれば，これらの特徴量Ｌ11と特徴量Ｌ22とは近似していないと判定され，そうでなければ，近似していると判定される。このしきい値は，親子，兄弟，親戚など，同一人物ではないが，似ている複数の顔について特徴量を算出し，得られる特徴量の差分から決定できる。

一の画像Ｉ１に含まれるすべての顔Ｆ11，Ｆ12，Ｆ13およびＦ14について，一の顔Ｆ11が，Ｆ12，Ｆ13およびＦ14に変更させられて，ステップ28および29の処理が行われる（図３ステップ30）。また，他の画像Ｉ２に含まれるすべての顔Ｆ21，Ｆ22およびＦ23について，一の顔Ｆ21が，Ｆ22およびＦ23に変更させられて，ステップ28および29の処理が行われる（図３ステップ30）。一の画像Ｉ１に含まれる顔Ｆ11からＦ14と他の画像Ｉ２に含まれる顔Ｆ21からＦ23とのすべての組み合わせについてステップ28および29の処理が行われることとなる。

ステップ28において近似しているとされた判定結果およびステップ29において近似していないとされた判定結果の関係（近似−非近似関係）が複数存在するかどうかが判定される（図３ステップ31）。

近似−非近似関係が複数存在すると判定されると（図３ステップ31でＹＥＳ），そのように判定された一の画像の一の顔と他の画像の一の顔とが同一人物の顔とＣＰＵ６によって判定される（人物判定手段）（図４ステップ32）。その判定結果が同一人物テーブルに格納される（図４ステップ32）。

図14は，同一人物テーブルの一例である。

同一人物テーブルには，人物ごとに，その人物と判定された人物像の識別データが格納される。図14においては，分りやすくするためにグループごとに人物像の符号が格納されている。たとえば，グループ１，２，３および４は，それぞれ母親，長男，次男および父親のグループである。それぞれのグループに対応した人物像の符号が格納される。同一人物と判定された顔ごとにＣＰＵ６によってグループ化されることとなる。このような同一人物テーブルは，ＣＰＵ６によって生成され（グループ化手段），メモリ３に格納される。

図４に戻って，一の画像の一の顔と他の画像の一の顔とが同一人物の顔と判定されると，一の画像の一の顔と他の画像の一の顔以外のすべての他の顔とは同一人物では無いと考えられる。このために，一の画像の一の顔と他の画像のすべての他の顔とが非同一人物であるとＣＰＵ６によって判定される（人物判定手段）（図４ステップ33）。このような判定結果は非同一人物テーブルに格納される（図４ステップ33）。

図15は，非同一人物テーブルの一例である。

非同一人物テーブルには，人物ごとに，その人物とは異なる人物と判定された人物像の識別データが格納される。図15においても，分りやすくするためにグループごとに人物像の符号が格納されている。たとえば，人物像Ｈ11の人物は，人物像Ｈ22，Ｈ23，Ｈ42，Ｈ43とは異なる人物となる。その他の人物像の人物についても同様である。非同一人物テーブルもＣＰＵ６によって生成され，メモリ３に格納される。

たとえば，上述のように，一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の一の顔Ｆ21の特徴量Ｌ21とが近似し，かつ一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２のすべての他の顔Ｆ22およびＦ23の特徴量Ｌ22およびＬ23とが近似していないという関係が成立し，かつ一の画像Ｉ１の一の顔Ｆ14の特徴量Ｌ14と他の画像Ｉ２の一の顔Ｆ22の特徴量Ｌ22とが近似し，かつ一の画像Ｉ１の一の顔Ｆ14の特徴量Ｌ14と他の画像Ｉ２のすべての他の顔Ｆ21およびＦ23の特徴量Ｌ21およびＬ23とが近似していないという関係が成立したとする。すると，上述した近似−非近似の関係が複数存在することとなるから，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ２の一の顔Ｆ21とが同一人物の顔と判定され，かつ一の画像Ｉ１の一の顔Ｆ14と他の画像Ｉ２の一の顔Ｆ23とが同一人物の顔と判定される。このように同一人物の顔と判定された人物ごとに図14に示すように同一人物テーブルにおいてグループ化される。さらに，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ２の一の顔Ｆ21以外のすべての他の顔Ｆ22およびＦ23とが異なる人物の顔と判定され，かつ一の画像Ｉ１の一の顔Ｆ14と他の画像Ｉ２の一の顔Ｆ23以外のすべての他の顔Ｆ21およびＦ23とが異なる人物の顔と判定される。このように非同一人物の顔と判定された人物を識別するデータが図15に示すように非同一人物テーブルに格納される。

図３に戻って，上述した近似−非近似の関係が複数存在しない場合には（ステップ31でＮＯ），近似−非近似の関係が一つだけ得られた場合であっても，一の画像に含まれている一の顔の特徴量と他の画像に含まれている一の顔の特徴量とが近似していたとしても，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物であるとはＣＰＵ６によって判定されない。このために，図４ステップ32およびステップ33の処理がスキップされる。

すべての画像について上述した処理が終了していなければ（図４ステップ34でＮＯ），図２ステップ21からの処理が繰り返される。一の画像が画像Ｉ１とされ，他の画像が画像Ｉ２とされた場合の上述の処理が終了すると，再び一の画像が画像Ｉ１とされ，他の画像が，図７に示す画像Ｉ３とされて，上述した処理が行われる。図７に示す他の画像Ｉ３に含まれている人物像Ｈ31およびＨ32から，図11に示すように顔画像Ｆ31およびＦ32が検出され，顔の特徴量Ｌ31およびＬ32が算出される。算出された顔の特徴量Ｌ31およびＬ32が図13に示す特徴量テーブルに格納され，上述したように，同一人物および非同一人物の検出処理が行われる。

図５に示す一の画像Ｉ１と図７に示す他の画像Ｉ３との間では，図５の一の画像Ｉ１に含まれる人物像Ｈ11の一の顔F11の特徴量Ｌ11と図７の他の画像Ｉ３に含まれる人物像Ｈ32の一の顔Ｆ32の特徴量Ｌ32とが近似し，かつその特徴量Ｌ11と他の画像Ｉ３に含まれるすべての他の顔Ｆ31の特徴量Ｌ31とが近似していないという近似−非近似関係が成立するが，そのような近似−非近似関係は一つだけなので，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ３の位置の顔Ｆ32とは同一人物であるとは判定されない。

また，図５に示す一の画像Ｉ１と図８に示す他の画像Ｉ４との間においても，上述したように，図８に示す他の画像Ｉ４から，図12に示すように顔Ｆ41，Ｆ42およびＦ43が検出され，それぞれの顔の特徴量Ｌ41，Ｌ42およびＬ43が算出される。算出された特徴量Ｌ41，Ｌ42およびＬ43は，図13に示す特徴量テーブルに格納される。

図５に示す一の画像Ｉ１と図８に示す他の画像Ｉ４との間では，図５の一の画像Ｉ１に含まれる人物像Ｈ11の一の顔Ｆ11の特徴量Ｌ11と，図８の他の画像Ｉ４に含まれる人物像Ｈ41の一の顔Ｆ41の特徴量Ｌ41と，が近似し，かつその特徴量Ｌ11と，他の画像Ｉ４に含まれるすべての他の顔Ｆ42およびＦ43の特徴量Ｌ42およびＬ43と，が近似していないという近似−非近似関係が成立し，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12の一の顔Ｆ12の特徴量Ｌ12と，図８の他の画像Ｉ４に含まれるすべての他の顔Ｆ41およびＦ42の特徴量Ｌ41およびＬ42と，が近似していないという近似−非近似関係も成立する。複数の近似−非近似関係が存在するので，図５の一の画像Ｉ１に含まれる人物像Ｈ11と図８の他の画像Ｉ４に含まれる人物像Ｈ41とは同一人物であり，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12と図８の他の画像Ｉ４に含まれる人物像Ｈ43とは同一人物であると判定される。さらに，図５の一の画像Ｉ１に含まれる人物像Ｈ11と，図８の他の画像Ｉ４に含まれる人物像Ｈ42およびＨ43とは非同一人物であり，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12と図８の他の画像Ｉ４に含まれる人物像Ｈ41およびＨ42とは非同一人物であると判定される。

図５に示す画像Ｉ１を一の画像とし，図６から図８に示す画像Ｉ２からＩ４のそれぞれを他の画像とした上述の処理が終了すると，次に図６に示す画像Ｉ２を一の画像とし，図７および図８に示す画像Ｉ３およびＩ４を他の画像とした上述の処理が行われる。さらに，図７に示す画像Ｉ３を一の画像とし，図８に示す画像Ｉ４を他の画像とした上述の処理が行われる。このように，複数の他の画像について，上述した特徴量比較処理，人物判定処理が行われるようにＣＰＵ６によって制御される（制御手段）。

家族，親子，兄弟，姉妹，親戚などで撮影された画像は，顔つきが似ている。このために，顔の類似度（特徴量）にもとづいて同一人物かどうかを判定する場合には，精度を高くするためには，同一人物かどうかを判別するしきい値を上げる必要がある。この実施例によると，上述したように近似−非近似関係が複数存在する場合に同一人物であると判定しているので，しきい値を上げる必要がない。顔の類似度があまり高くなくとも同一人物を見つけることができるようになる。たとえば，カメラに正面の顔を見せないような子供であっても，同一人物かどうかを判定できるようになる。

また，上述のようにして生成された同一人物テーブルから，同一人物と判定された顔ごとに一覧で表示装置４の表示画面に表示させるようにしてもよい。さらに，同一人物と判定された顔の画像が最も多い人物が必ず含まれているような複数の画像を用いてアルバムを生成することもできる。

１ 同一人物判定装置
３ メモリ（特徴量記憶手段）
６ ＣＰＵ（第１の特徴量算出手段，特徴量比較手段，人物判定手段，第２の特徴量算出手段，制御手段，グループ化手段）
11 コンパクト・ディスク（プログラムを格納した記録媒体）

Claims (9)

1. 複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出する第１の特徴量算出手段，
   上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較する特徴量比較手段，および
   上記特徴量比較手段における比較によって，上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定する人物判定手段，
   を備えた同一人物判定装置。
2. 上記人物判定手段は，
   上記関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定し，かつ上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記すべての他の顔とが非同一人物と判定するものである，
   請求項１に記載の同一人物判定装置。
3. 上記人物判定手段は，
   上記関係が上記一の画像と上記他の画像とから一つだけ得られた場合には，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔であるとは判定しないものである，
   請求項１または２に記載の同一人物判定装置。
4. 上記他の画像から，複数の顔のそれぞれの顔の特徴量を算出する第２の特徴量算出手段をさらに備え，
   上記特徴量比較手段は，
   上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記第２の特徴量算出手段によって上記他の画像から算出されたそれぞれの顔の特徴量と，を比較するものである，
   請求項１から３のうち，いずれか一項に記載の同一人物判定装置。
5. 上記他の画像に含まれる複数の顔のそれぞれの顔の特徴量を記憶する特徴量記憶手段をさらに備え，
   上記特徴量比較手段は，
   上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記特徴量記憶手段に記憶されている，それぞれの顔の特徴量と，を比較するものである，
   請求項１から３のうち，いずれか一項に記載の同一人物判定装置。
6. 上記他の画像が複数存在しており，
   複数の上記他の画像について，上記特徴量比較手段における処理および上記人物判定手段における処理を行わせる制御手段，
   をさらに備えた請求項１に記載の同一人物判定装置。
7. 上記人物判定手段によって同一人物の顔と判定された顔ごとにグループ化するグループ化手段，
   をさらに備えた請求項１から６のうち，いずれか一項に記載の同一人物判定装置。
8. 特徴量算出手段が，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出し，
   特徴量比較手段が，上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較し，
   人物判定手段が，上記特徴量比較手段における比較によって，上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定する，
   同一人物判定方法。
9. 同一人物判定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
   複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出させ，
   上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較させ，
   上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定するように，同一人物判定装置のコンピュータを制御するプログラム。

Images