JP5899179B2 - 人物認識装置、人物認識方法、人物認識プログラムおよびその記録媒体 - Google Patents

Description

この発明は、人物認識装置および方法に係り、特に、顔の経時的な変化に追随した人物認識を行う人物認識装置および方法に関する。
また、この発明は、このような人物認識方法をコンピュータに実行させる人物認識プログラムおよびその記録媒体にも関している。

近年、多数の画像データの顔検出・顔認識を行って特徴が類似する顔毎に画像データをグループ化し、その類似する顔の出現頻度に基づいて画像に写されている人物を、自動的に、主人公、中心人物、その他というようなカテゴリに分類し、主人公あるいは中心人物を主体としたフォトブック等の商材の作成に利用することができるようになった。
しかし、取り扱う多数の画像データの撮影日時範囲が、例えば１年〜数年の長期間にわたる場合、人物の顔の特徴が経時的に変化することがある。特に、幼少期の子供の顔の特徴は、１年も経つと大きく変化し、このため、実際には同一人物の画像であっても、顔認識の結果、同一の人物として認識されないおそれがある。これでは、フォトブック等を正確に作成することが困難となる。

そこで、例えば特許文献１には、画像データから顔領域を検出して顔画像特徴量を抽出すると共に画像データから撮影日情報を抽出し、撮影日が古いものから所定枚数における目標人物の顔画像特徴量の平均を第１の識別要素とすると共に撮影日が新しいものから所定枚数における目標人物の顔画像特徴量の平均を第２の識別要素として、これら第１および第２の識別要素を順次更新し、更新された識別要素を用いて人物を識別する方法が開示されている。
この特許文献１の方法によれば、第１および第２の識別要素を更新するので、時系列的により古い画像データあるいはより新しい画像データに対して、順次、顔認識することで、経時的な変化に対応した人物識別が可能となる。

特開２０１２−２７８６８号公報

しかしながら、特許文献１の方法では、識別要素を更新する毎に第１の識別要素の撮影日と第２の識別要素の撮影日の間の期間が長くなるため、これら第１の識別要素の撮影日と第２の識別要素の撮影日との中間の撮影日を有する画像データに対しては、第１の識別要素を用いても第２の識別要素を用いても、撮影日が離れて正確な顔認識を行うことができなくなるおそれがある。
また、撮影日の古い画像データから所定枚数における顔画像特徴量の平均を第１の識別要素とし、撮影日の新しい画像データから所定枚数における顔画像特徴量の平均を第２の識別要素とするため、平均をとった所定枚数の撮影日が長期間にわたっている場合には、その間に顔の特徴が変化してしまい、正確な識別要素を取得することができずに、目標人物の正確な識別が困難になるおそれがある。

この発明は、このような従来の問題点を解消するためになされたもので、顔の経時的な変化に追随して正確な人物認識を行うことができる人物認識装置および人物認識方法を提供することを目的とする。
また、この発明は、このような人物認識方法をコンピュータに実行させる人物認識プログラムおよびその記録媒体を提供することも目的としている。

この発明に係る人物認識装置は、複数の画像に対してそれぞれ顔認識を行って人物毎に特徴量を抽出すると共に抽出された特徴量を複数の画像の撮影日時に基づき複数のグループに分割する特徴量抽出分類部と、特徴量抽出分類部で分割されたグループ毎に特徴量抽出分類部で抽出された特徴量に基づく類似度が所定の照合しきい値以上である人物を同一人物と判定してその人物に係る特徴量をグループ毎に統合するグループ内人物判定部と、互いに撮影日時が隣接する双方のグループでグループ内人物判定部によりそれぞれ統合された特徴量に基づいて所定の認識しきい値以上の類似度を有する人物を双方のグループ間にまたがる同一の人物と認識するグループ間人物認識部とを備えたものである。

特徴量抽出分類部は、複数の画像を撮影日時でソーティングするソーティング部と、ソーティング部でソーティングされた複数の画像を所定の撮影日時範囲に応じて複数のグループに分割するグループ分割部と、グループ分割部で分割されたグループ毎に顔認識を行って人物毎に特徴量を抽出する顔認識部とから構成することができる。
好ましくは、グループ間人物認識部により双方のグループ間で同一の人物と認識された人物に対して、それぞれのグループで統合された双方の特徴量の差分が所定の統合しきい値以下の場合に、双方の特徴量をさらに統合するデータ統合部を備えている。データ統合部は、グループ間人物認識部により互いに撮影日時が隣接する双方のグループ間で特徴量を統合した後、双方のグループに対してさらに撮影日時が隣接する他のグループとの間で、特徴量の差分が所定の統合しきい値以下の場合に、双方のグループ間で統合された特徴量と他のグループにおける特徴量を互いに統合することが好ましい。
また、グループ間人物認識部は、所定の認識しきい値として、所定の照合しきい値と同一のものを用いることもできる。
グループ内人物判定部は、同一人物と判定された人物に係る特徴量の平均値を演算することにより特徴量の統合を行うようにしてもよい。
グループ内人物判定部は、同一人物と判定された人物が主要な人物であるか否かを判定し、主要な人物であると判定された場合に特徴量の統合を行うこともできる。

この発明に係る人物認識方法は、複数の画像に対してそれぞれ顔認識を行って人物毎に特徴量を抽出すると共に抽出された特徴量を前記複数の画像の撮影日時に基づき複数のグループに分割し、分割されたグループ毎に、抽出された特徴量に基づく類似度が所定の照合しきい値以上である人物を同一人物と判定してその人物に係る特徴量をグループ毎に統合し、互いに撮影日時が隣接する双方のグループでそれぞれ統合された特徴量に基づいて所定の認識しきい値以上の類似度を有する人物を双方のグループ間にまたがる同一の人物と認識する方法である。
認識対象となる人物の年齢、人種、性別の少なくとも１つに応じて所定の撮影日時範囲、所定の照合しきい値および所定の認識しきい値の少なくとも１つの大きさを調整することもできる。
さらに、所定の撮影日時範囲に応じて、所定の照合しきい値および所定の認識しきい値の少なくとも１つの大きさを調整してもよい。

この発明に係る人物認識プログラムは、複数の画像に対してそれぞれ顔認識を行って人物毎に特徴量を抽出すると共に抽出された特徴量を前記複数の画像の撮影日時に基づき複数のグループに分割するステップと、分割されたグループ毎に、抽出された特徴量に基づく類似度が所定の照合しきい値以上である人物を同一人物と判定してその人物に係る特徴量をグループ毎に統合するステップと、互いに撮影日時が隣接する双方のグループでそれぞれ統合された特徴量に基づいて所定の認識しきい値以上の類似度を有する人物を双方のグループ間にまたがる同一の人物と認識するステップとをコンピュータに実行させるものである。
さらに、この発明に係る記録媒体は、上記の人物認識プログラムを記録したコンピュータ読取り可能な記録媒体である。

この発明によれば、撮影日時でソーティングされた複数の画像を所定の撮影日時範囲に応じて複数のグループに分割し、分割されたグループ毎に顔認識による特徴量を抽出して所定の照合しきい値以上の類似度を有する人物を同一人物と判定すると共にその人物に係る特徴量をグループ毎に統合し、互いに撮影日時が隣接する双方のグループでそれぞれ統合された特徴量に基づいて所定の認識しきい値以上の類似度を有する人物を双方のグループ間にまたがる同一の人物と認識するので、顔の経時的な変化に追随して正確な人物認識を行うことが可能となる。

この発明の実施の形態に係る人物認識装置の構成を示すブロック図である。 実施の形態の人物認識装置により実行される人物認識方法を示すフローチャートである。 画像入力部により入力された複数の画像を模式的に示す図である。 ソーティング部により撮影日時でソーティングされた複数の画像を模式的に示す図である。 グループ分割部により撮影日時範囲に応じて分割された複数のグループを模式的に示す図である。 グループ内人物判定部とグループ間人物認識部とデータ統合部により処理される特徴量を模式的に示す図である。

以下、この発明の実施の形態を添付図面に基づいて説明する。
図１に、この発明の実施の形態に係る人物認識装置を示す。人物認識装置は、データ処理部１に画像入力部２と格納部３およびデータメモリ４が接続された構成を有している。データ処理部１は、画像入力部２から入力された複数の画像を処理することにより、顔の経時的な変化に対応した人物認識を行うものである。

データ処理部１は、ソーティング部１１を有し、ソーティング部１１にグループ分割部１２を介して顔認識部１３が接続され、さらに、顔認識部１３に、グループ内人物判定部１４およびグループ間人物認識部１５が順次接続されると共に、グループ間人物認識部１５にデータ統合部１６が接続されている。これらソーティング部１１、グループ分割部１２、顔認識部１３、グループ内人物判定部１４、グループ間人物認識部１５およびデータ統合部１６によりデータ処理部１が構成されている。

ソーティング部１１は、画像入力部２からデータ処理部１に入力された複数の画像を、それぞれの画像に付随されているＥｘｉｆ（Exchangeable Image File Format）タグ情報の撮影日時データに基づいて、撮影日時でソーティングし、並べ替えを行う。
グループ分割部１２は、ソーティング部１１でソーティングされた複数の画像を、所定の撮影日時範囲に応じて複数のグループに分割する、すなわち、設定された期間毎にグループ分けする。
顔認識部１３は、グループ分割部１２で分割されたグループ毎に、グループ内に含まれる複数の画像に対して顔検出および顔認識を行い、画像に写っている人物毎に顔の特徴量を抽出する。ここで、顔の特徴量とは、顔の目、鼻および口等の顔パーツの位置、形状、大きさ、顔の輪郭線の形状等の情報を表すもので、画像中の対応する画素の位置に基づくスカラー量として、あるいは、各画素の位置を要素とするベクトル値として抽出することができる。また、画像をフーリエ変換し、得られる複素フーリエ成分の各成分の大きさを要素とするベクトル値として特徴量を求めることもできる。

グループ内人物判定部１４は、それぞれのグループ内の画像に写っている人物のうち、複数の画像から顔認識部１３により抽出された特徴量に基づく類似度が所定の照合しきい値Ｔｈ１以上である人物を同一人物と判定する。さらに、グループ内人物判定部７は、同一人物と判定された人物について画像毎に抽出された複数の特徴量を互いに統合して、そのグループにおけるその人物の特徴量とする。
グループ間人物認識部１５は、互いに撮影日時が隣接する２つのグループにおいて、それぞれ、グループ内人物判定部１４により特徴量が統合された人物のうち、統合された特徴量に基づく類似度がグループ間で所定の認識しきい値Ｔｈ２以上である人物を、双方のグループ間にまたがる同一の人物と認識する。
ここで、類似度は、比較対照する２つの特徴量の差分量に基づいて算定することができ、特徴量の差分量が小さいほど高い類似度を有し、特徴量の差分量が大きいほど低い類似度を有するものとする。

データ統合部１６は、グループ間人物認識部１５により互いに撮影日時が隣接する２つのグループ間で同一の人物と認識された人物に対し、双方のグループでそれぞれ統合された双方の特徴量の差分が所定の統合しきい値Ｔｈ３以下の場合に、これら双方の特徴量をさらに１つに統合して、双方のグループにおけるその人物の特徴量とする。
なお、特徴量の統合とは、例えば、それぞれの特徴量を互いに平均して１つの平均値で代表させることをいうものとする。ここで、平均値としては、相加平均、相乗平均、調和平均、それぞれの特徴量に対応する期間を考慮した加重平均等、各種の平均演算により求めることができる。特徴量がベクトル値として表される場合においても、ベクトルの平均をとることで、特徴量を統合することができる。また、平均値の他、複数の特徴量を、中央値（メディアン）、最大値、最小値等で代表させることにより、特徴量を統合してもよい。

また、画像入力部２は、顔の経時的な変化に対応した人物認識を実行しようとする複数の画像の画像データをデータ処理部１に入力するものである。
格納部３は、グループ分割部１２が複数の画像をグループ分けする際に使用される所定の撮影日時範囲、グループ内人物判定部１４がグループ内の同一人物を判定する際に使用される所定の照合しきい値Ｔｈ１、グループ間人物認識部１５がグループ間における同一人物を認識する際に使用される所定の認識しきい値Ｔｈ２、データ統合部１６が複数のグループにおける特徴量を統合する際に使用される所定の統合しきい値Ｔｈ３を、それぞれ予め格納している。
データメモリ４は、データ処理部１内で得られた各種データ、例えば、顔認識部１３で抽出された各人物の特徴量、グループ内人物判定部１４で統合された特徴量、グループ間人物認識部８で統合された特徴量等を記憶するものである。

次に、実施の形態に係る人物認識装置により実行される人物認識方法について、図２のフローチャートを参照して説明する。
まず、ステップＳ１で、画像入力部２を介して複数の画像をデータ処理部１に入力させる。例えば、図３に示されるように、ｎ枚の画像が入力するものとする。
データ処理部１に入力されたｎ枚の画像は、続くステップＳ２で、データ処理部１のソーティング部１１により、撮影日時でソーティングされる。このとき、それぞれの画像に付随されているＥｘｉｆタグ情報の撮影日時データに基づき、図４に示されるように、ｎ枚の画像が時系列に沿って画像Ｐ（１）〜Ｐ（ｎ）に並べ替えられる。

このようにして撮影日時でソーティングされたｎ枚の画像Ｐ（１）〜Ｐ（ｎ）は、ステップＳ３で、グループ分割部１２により、所定の撮影日時範囲に応じて複数のグループに分割される。
ここで、例えば、ｎ枚の画像Ｐ（１）〜Ｐ（ｎ）が、２０１１年〜２０１３年の３年間にわたって撮影され、１＜ｉ＜ｊ＜ｎを満たす正数ｉおよびｊに対し、時系列的に、古い方からｉ枚の画像Ｐ（１）〜Ｐ（ｉ）は２０１１年に撮影され、続く（ｊ−ｉ）枚の画像Ｐ（ｉ＋１）〜Ｐ（ｊ）は２０１２年に撮影され、（ｎ−ｊ）枚の画像Ｐ（ｊ＋１）〜Ｐ（ｎ）は２０１３年に撮影されたものとする。
そして、所定の撮影日時範囲を「１年」に設定すると、図５に示されるように、ｎ枚の画像は、２０１１年に撮影された画像Ｐ（１）〜Ｐ（ｉ）からなるグループＧ１と、２０１２年に撮影された画像Ｐ（ｉ＋１）〜Ｐ（ｊ）からなるグループＧ２と、２０１３年に撮影された画像Ｐ（ｊ＋１）〜Ｐ（ｎ）からなるグループＧ３の、３つのグループに分割することができる。

次に、ステップＳ４で、顔認識部１３により、グループ分割部１２で分割されたグループ毎に、それぞれの画像に対して顔検出および顔認識が行われる。すなわち、グループＧ１〜Ｇ３のそれぞれについて、グループ内に含まれる複数の画像に写っている人物毎に顔の特徴量が抽出され、これらの特徴量がデータメモリ４に保存される。
さらに、ステップＳ５で、グループ内人物判定部１４により、グループ内の同一人物の判定が行われる。すなわち、グループ内人物判定部１４は、格納部３から所定の照合しきい値Ｔｈ１を読み出し、データメモリ４に保存されている人物毎の特徴量に基づいて、それぞれのグループ内に、互いに特徴量に基づく類似度が所定の照合しきい値Ｔｈ１以上である複数の人物が存在するか否かを判定する。このグループ内人物判定部１４による判定は、グループ内の複数の画像に対し、撮影日時順に行うことが好ましい。

そして、互いに特徴量に基づく類似度が所定の照合しきい値Ｔｈ１以上である複数の人物が存在する場合には、ステップＳ６に進み、これら複数の人物が同一人物であると判定すると共にこの人物が主要な人物であるか否かを判定し、例えば、所定数以上の画像に写っていることから主要な人物であると判定すると、続くステップＳ７で、この同一人物で且つ主要な人物と判定された複数の人物に関する特徴量をグループ内で１つのデータに統合する。この特徴量の統合は、例えば、それぞれの特徴量の平均値を演算する等により行うことができる。

例えば、図６に示されるように、グループＧ１では、３人の人物Ａ、ＢおよびＣがそれぞれ主要な人物と判定されて特徴量がＡ−２０１１、Ｂ−２０１１およびＣ−２０１１に統合され、グループＧ２では、３人の人物Ｄ、ＥおよびＦがそれぞれ主要な人物と判定されて特徴量がＤ−２０１２、Ｅ−２０１２およびＦ−２０１２に統合され、グループＧ３では、３人の人物Ｇ、ＨおよびＩがそれぞれ主要な人物と判定されて特徴量がＧ−２０１３、Ｈ−２０１３およびＩ−２０１３に統合されるものとする。この場合、以下の表１に示されるように、２０１１〜２０１３年の全期間にわたって人物Ａ〜Ｉの９人の主要な人物が写っていることになる。これらの人物Ａ〜Ｉと統合された特徴量は、データメモリ４に保存される。

次に、ステップＳ８で、グループ間人物認識部１５により、隣接するグループ間における人物の認識が行われる。すなわち、グループ間人物認識部１５は、格納部３から所定の認識しきい値Ｔｈ２を読み出し、データメモリ４に保存されている主要な人物の統合された特徴量に基づいて、互いに撮影日時が隣接する２つのグループ間において、所定の認識しきい値Ｔｈ２以上の類似度を有する人物が存在するか否かを判定する。

そして、グループ間で所定の認識しきい値Ｔｈ２以上の類似度を有する人物が存在する場合には、ステップＳ９に進み、この人物が双方のグループ間にまたがる同一の人物であると認識する。
例えば、図６に示されるように、互いに撮影日時が隣接するグループＧ１およびＧ２において、人物Ａの特徴量Ａ−２０１１と人物Ｄの特徴量Ｄ−２０１２の差分により表される類似度が所定の認識しきい値Ｔｈ２以上であるため、人物Ａと人物Ｄが同一の人物であると認識されると共に、グループＧ２およびＧ３において、人物Ｄの特徴量Ｄ−２０１２と人物Ｇの特徴量Ｇ−２０１３の差分により表される類似度が所定の認識しきい値Ｔｈ２以上であるため、人物Ｄと人物Ｇが同一の人物であると認識されたものとする。この場合、人物Ａと人物Ｄと人物Ｇが同一の人物ということになり、人物Ｄの特徴量とされていたＤ−２０１２および人物Ｇの特徴量とされていたＧ−２０１３のタイトルが、それぞれ人物Ａの特徴量Ａ−２０１２およびＡ−２０１３と書き替えられる。

同様にして、人物Ｂと人物Ｅと人物Ｈが同一の人物と認識され、人物Ｅの特徴量とされていたＥ−２０１２および人物Ｈの特徴量とされていたＨ−２０１３のタイトルが、それぞれ人物Ｂの特徴量Ｂ−２０１２およびＢ−２０１３と書き替えられる。また、人物Ｃと人物Ｆと人物Ｉが同一の人物と認識され、人物Ｆの特徴量とされていたＦ−２０１２および人物Ｉの特徴量とされていたＩ−２０１３のタイトルが、それぞれ人物Ｃの特徴量Ｃ−２０１２およびＣ−２０１３と書き替えられる。
すなわち、ステップＳ６およびＳ７では、９人の主要な人物Ａ〜Ｉの存在が確認されていたが、実際には、３人の人物Ａ、ＢおよびＣであり、以下の表２に示されるように、２０１１〜２０１３年の各年における人物Ａ、ＢおよびＣのそれぞれの特徴量を記すことができる。このような同一人物に対する特徴量のタイトルの書き替えもデータメモリ４に保存される。

このようにして、グループ間における人物の認識が完了すると、ステップＳ１０に進み、データ統合部１６により、グループ間で同一の人物と認識された人物に対し、双方のグループにおける特徴量の統合が行われる。すなわち、データ統合部１６は、格納部３から所定の統合しきい値Ｔｈ３を読み出し、データメモリ４に保存されている主要な人物の特徴量に基づいて、互いに撮影日時が隣接する２つのグループ間で同一の人物と認識された人物に対し、双方のグループでそれぞれ統合された特徴量の差分を演算し、この差分が所定の統合しきい値Ｔｈ３以下であるか否かを判定する。

そして、隣接するグループ間における特徴量の差分が、所定の統合しきい値Ｔｈ３以下である場合には、特徴量を互いに統合し得ると判断し、ステップＳ１１に進んで、これら双方のグループにおける双方の特徴量が１つのデータに統合される。
例えば、図６に示されるように、グループＧ２における人物Ｂの特徴量Ｂ−２０１２とグループＧ３における人物Ｂの特徴量Ｂ−２０１３が互いに近似するために、これら特徴量Ｂ−２０１２およびＢ−２０１３の差分が所定の統合しきい値Ｔｈ３以下であるものとすると、特徴量Ｂ−２０１２およびＢ−２０１３が１つのデータＢ−２０１２〜２０１３に統合され、このデータがグループＧ２とＧ３、すなわち、２０１２年から２０１３年にわたる人物Ｂの特徴量とされる。この特徴量の統合も、例えば、それぞれの特徴量の平均値を演算することにより行うことができる。

同様に、グループＧ１における人物Ｃの特徴量Ｃ−２０１１とグループＧ２における人物Ｃの特徴量Ｃ−２０１２の差分およびグループＧ２における人物Ｃの特徴量Ｃ−２０１２とグループＧ３における人物Ｃの特徴量Ｃ−２０１３の差分がそれぞれ所定の統合しきい値Ｔｈ３以下であるものとすると、特徴量Ｃ−２０１１とＣ−２０１２とＣ−２０１３が１つのデータＣ−２０１１〜２０１３に統合され、このデータがグループＧ１とＧ２とＧ３、すなわち、２０１１年から２０１３年にわたる人物Ｃの特徴量とされる。

なお、人物Ａについては、グループＧ１〜Ｇ３における特徴量Ａ−２０１１〜Ａ−２０１３のそれぞれの差分が、いずれも大きいために、所定の統合しきい値Ｔｈ３を越えてしまい、データの統合はできないものとする。同様に、グループＧ１における人物Ｂの特徴量Ｂ−２０１１とグループＧ２における人物Ｂの特徴量Ｂ−２０１２の差分も、所定の統合しきい値Ｔｈ３を越えており、グループＧ１における特徴量Ｂ−２０１１とグループＧ２およびＧ３間で統合された特徴量Ｂ−２０１２〜２０１３とは、互いに統合することができないものとする。

その結果、以下の表３に示されるように、人物Ａについては、グループＧ１に対応する２０１１年の特徴量Ａ−２０１１とグループＧ２に対応する２０１２年の特徴量Ａ−２０１２とグループＧ３に対応する２０１３年の特徴量Ａ−２０１３の３つのデータで特徴量を表している。また、人物Ｂについては、グループＧ１に対応する２０１１年の特徴量Ｂ−２０１１とグループＧ２およびＧ３に対応する２０１２〜２０１３年の統合された特徴量Ｂ−２０１２〜２０１３の２つのデータで特徴量を表している。さらに、人物Ｃについては、グループＧ１〜Ｇ３に対応する２０１１〜２０１３年の統合された１つの特徴量Ｃ−２０１１〜２０１３で表されている。

このようにして統合された特徴量は、データメモリ４に保存される。
そして、人物認識の対象となる画像が追加された場合、または、特徴量が統合された人物が人物認識の対象となる新たな画像群の中に写されている場合に、データメモリ４に保存された特徴量を有効に活用して人物の認識を行うことができる。
なお、同じ人物の特徴量を経時的に観察したときに、特徴量の変化の割合が比較的小さいときは、統合された特徴量を基準として人物認識を行うことができるが、特徴量の変化の割合が大きくなって所定の認識しきい値Ｔｈ２を越えた場合には、別の期間の特徴量として分離することが好ましい。

なお、ステップＳ５で、特徴量に基づく類似度が所定の照合しきい値Ｔｈ１以上である複数の人物がグループ内に存在しないと判定された場合は、グループ内の複数の画像に主要な人物が写っていないと判断し、一連の処理を終了する。
また、ステップＳ８で、互いに撮影日時が隣接する２つのグループ間において、所定の認識しきい値Ｔｈ２以上の類似度を有する人物が存在しないと判定された場合は、グループ間にまたがる同一の人物が存在しないと判断し、一連の処理を終了する。
さらに、ステップＳ１０で、隣接するグループ間で同一の人物と認識された人物に対し、グループ間における特徴量の差分が所定の統合しきい値Ｔｈ３を越える場合は、ステップＳ１１でデータを統合することができないとして、一連の処理を終了する。

以上説明したように、この実施の形態に係る人物認識装置によれば、ソーティング部１１により撮影日時でソーティングされた複数の画像を、グループ分割部１２が所定の撮影日時範囲に応じて複数のグループに分割し、グループ毎に顔認識部１３が顔認識による特徴量を抽出し、グループ内人物判定部１４が所定の照合しきい値Ｔｈ１以上の類似度を有する人物を同一人物と判定すると共にその人物に係る特徴量をグループ毎に統合し、グループ間人物認識部１５が互いに隣接するグループでそれぞれ統合された特徴量に基づいて所定の認識しきい値Ｔｈ２以上の類似度を有する人物を双方のグループ間にまたがる同一の人物と認識するので、顔の経時的な変化に追随して正確な人物認識を行うことが可能となる。
さらに、データ統合部１６が、隣接するグループ間で同一の人物と認識された人物に対し、グループ間の特徴量の差分が所定の統合しきい値Ｔｈ３以下に小さい場合に特徴量を統合することで、人物認識の精度の低下を抑制しながら、データ量の削減を図ることができる。

なお、グループ間人物認識部８がグループ間における同一人物を認識する際に使用する所定の認識しきい値Ｔｈ２として、グループ内人物判定部１４がグループ内の同一人物を判定する際に使用する所定の照合しきい値Ｔｈ１と同一のものを用いることができる。あるいは、所定の認識しきい値Ｔｈ２を、所定の照合しきい値Ｔｈ１とは異なる値とすることもできる。例えば、グループ間人物認識部８は、グループ内人物判定部１４よりも撮影日時が離れた画像間で同一人物を認識するため、グループ間における所定の認識しきい値Ｔｈ２を、グループ内における所定の照合しきい値Ｔｈ１よりもわずかに大きく設定してもよい。

また、上記の実施の形態では、グループ分割部１２が複数の画像をグループ分けする際に使用する所定の撮影日時範囲を「１年」としたが、これに限るものではなく、人物認識の対象となる複数の画像全体の撮影期間、認識対象となる人物等に応じて適宜選択することができる。
例えば、子供の顔の特徴は、大人に比べて短期間の間に変化するため、認識対象となる人物が子供の場合には、所定の撮影日時範囲を「６ケ月」等の短期間にすることが好ましい。特に幼少期の子供の場合には、所定の撮影日時範囲を「３ケ月」または「４ケ月」程度としてもよい。このように、認識対象となる人物の年齢に応じて所定の撮影日時範囲を調整することができる。

同様に、グループ内の同一人物を判定する際に使用する所定の照合しきい値Ｔｈ１およびグループ間における同一人物を認識する際に使用する所定の認識しきい値Ｔｈ２も、認識対象となる人物の年齢に応じて適宜調整することができる。
さらに、所定の撮影日時範囲、所定の照合しきい値Ｔｈ１および所定の認識しきい値Ｔｈ２は、年齢だけでなく、認識対象となる人物の人種および性別に応じても調整可能である。すなわち、認識対象となる人物の年齢、人種、性別の少なくとも１つに応じて、所定の撮影日時範囲、所定の照合しきい値Ｔｈ１、所定の認識しきい値Ｔｈ２の少なくとも１つの大きさを調整することができる。
また、所定の照合しきい値Ｔｈ１および所定の認識しきい値Ｔｈ２は、所定の撮影日時範囲が短いほど、小さな値にする等、所定の撮影日時範囲の大きさに応じても、調整することが好ましい。

上記の実施の形態においては、複数の画像を撮影日時範囲により複数のグループに分割して同一人物の認識を行ったが、撮影日時順に連続して同一人物を追跡し、特徴量の経時的な変化を捉えることにより、撮影日時が不明な画像に対して、撮影時期を推定することも可能となる。

また、上記の実施の形態では、複数の画像をソーティング部１１により撮影日時でソーティングし、グループ分割部１２が所定の撮影日時範囲に応じて複数のグループに分割し、グループ毎に顔認識部１３が顔認識による特徴量を抽出し、グループ内人物判定部１４が所定の照合しきい値Ｔｈ１以上の類似度を有する人物を同一人物と判定すると共にその人物に係る特徴量をグループ毎に統合したが、これに限るものではない。例えば、複数の画像の全てに対して顔認識を行ってそれぞれの人物の顔の特徴量を抽出し、画像の撮影日時と抽出された特徴量とを対応付けるデータを作成し、所定の撮影日時範囲で人物毎に特徴量をグループ分けし、グループ毎に人物判定を行うように構成することもできる。

なお、図１に示した人物認識装置は、コンピュータを用いて構成することができる。すなわち、データ処理部１を、ＣＰＵと、ＣＰＵに図２のフローチャートの各ステップを実行させるための人物認識プログラムから構成し、人物認識プログラムをコンピュータ読取り可能な記録媒体に記録することができる。また、記録媒体としては、ハードディスク、フレキシブルディスク、ＭＯ、ＭＴ、ＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＳＤカード、ＣＦカード、ＵＳＢメモリ等の各種の記録メディアを使用することが可能である。

１ データ処理部、２ 画像入力部、３ 格納部、４ データメモリ、１１ ソーティング部、１２ グループ分割部、１３ 顔認識部、１４ グループ内人物判定部、１５ グループ間人物認識部、１６ データ統合部、Ｐ（１）〜Ｐ（ｎ） 画像。

Claims (12)

1. 複数の画像に対してそれぞれ顔認識を行って人物毎に特徴量を抽出すると共に抽出された特徴量を前記複数の画像の撮影日時に基づき複数のグループに分割する特徴量抽出分類部と、
   前記特徴量抽出分類部で分割されたグループ毎に前記特徴量抽出分類部で抽出された特徴量に基づく類似度が所定の照合しきい値以上である人物を同一人物と判定してその人物に係る特徴量を前記グループ毎に統合するグループ内人物判定部と、
   互いに撮影日時が隣接する双方のグループで前記グループ内人物判定部によりそれぞれ統合された特徴量に基づいて所定の認識しきい値以上の類似度を有する人物を前記双方のグループ間にまたがる同一の人物と認識するグループ間人物認識部と
   を備えたことを特徴とする人物認識装置。
2. 前記特徴量抽出分類部は、
   前記複数の画像を撮影日時でソーティングするソーティング部と、
   前記ソーティング部でソーティングされた前記複数の画像を所定の撮影日時範囲に応じて複数のグループに分割するグループ分割部と、
   前記グループ分割部で分割されたグループ毎に顔認識を行って人物毎に特徴量を抽出する顔認識部と
   を有する請求項１に記載の人物認識装置。
3. 前記グループ間人物認識部により前記双方のグループ間で同一の人物と認識された人物に対して、それぞれのグループで統合された双方の特徴量の差分が所定の統合しきい値以下の場合に、前記双方の特徴量をさらに統合するデータ統合部をさらに備えた請求項１または２に記載の人物認識装置。
4. 前記データ統合部は、前記グループ間人物認識部により互いに撮影日時が隣接する双方のグループ間で特徴量を統合した後、前記双方のグループに対してさらに撮影日時が隣接する他のグループとの間で、特徴量の差分が所定の統合しきい値以下の場合に、双方のグループ間で統合された特徴量と前記他のグループにおける特徴量を互いに統合する請求項３に記載の人物認識装置。
5. 前記グループ間人物認識部は、前記所定の認識しきい値として、前記所定の照合しきい値と同一のものを用いる請求項１〜４のいずれか一項に記載の人物認識装置。
6. 前記グループ内人物判定部は、同一人物と判定された人物に係る特徴量の平均値を演算することにより特徴量の統合を行う請求項１〜５のいずれか一項に記載の人物認識装置。
7. 前記グループ内人物判定部は、同一人物と判定された人物が主要な人物であるか否かを判定し、主要な人物であると判定された場合に特徴量の統合を行う請求項１〜６のいずれか一項に記載の人物認識装置。
8. 複数の画像に対してそれぞれ顔認識を行って人物毎に特徴量を抽出すると共に抽出された特徴量を前記複数の画像の撮影日時に基づき複数のグループに分割し、
   分割されたグループ毎に、抽出された特徴量に基づく類似度が所定の照合しきい値以上である人物を同一人物と判定してその人物に係る特徴量をグループ毎に統合し、
   互いに撮影日時が隣接する双方のグループでそれぞれ統合された特徴量に基づいて所定の認識しきい値以上の類似度を有する人物を前記双方のグループ間にまたがる同一の人物と認識する
   ことを特徴とする人物認識方法。
9. 認識対象となる人物の年齢、人種、性別の少なくとも１つに応じて前記所定の撮影日時範囲、前記所定の照合しきい値および前記所定の認識しきい値の少なくとも１つの大きさを調整する請求項８に記載の人物認識方法。
10. 前記所定の撮影日時範囲に応じて、前記所定の照合しきい値および前記所定の認識しきい値の少なくとも１つの大きさを調整する請求項８または９に記載の人物認識方法。
11. 複数の画像に対してそれぞれ顔認識を行って人物毎に特徴量を抽出すると共に抽出された特徴量を前記複数の画像の撮影日時に基づき複数のグループに分割するステップと、
    分割されたグループ毎に、抽出された特徴量に基づく類似度が所定の照合しきい値以上である人物を同一人物と判定してその人物に係る特徴量をグループ毎に統合するステップと、
    互いに撮影日時が隣接する双方のグループでそれぞれ統合された特徴量に基づいて所定の認識しきい値以上の類似度を有する人物を前記双方のグループ間にまたがる同一の人物と認識するステップと
    をコンピュータに実行させるための人物認識プログラム。
12. 請求項１１に記載の人物認識プログラムを記録したコンピュータ読取り可能な記録媒体。
    

Images