JP5448952B2 - 同一人判定装置、同一人判定方法および同一人判定プログラム - Google Patents

Description

本発明は、同一人判定装置、同一人判定方法および同一人判定プログラムに関する。

１台の撮像装置の撮影範囲を超える範囲にいる人物を撮影するために、複数の撮像装置を用いて撮影が行われる場合がある。このような場合、各撮像装置の撮影範囲に重複部分があると、同一人物が、同時に撮影された複数の画像中に写りこんでいることがある。画像の使用用途によっては、そのように複数の画像中に写りこんでいるどの人物とどの人物が同一人であるかを判定する必要がある。

例えば、特許文献１では、イベント会場など不特定多数の来場者がいる場所で、来場者の人数を正確にカウントするために、複数の画像中に重複して写りこんでいる人物を顔照合によって識別し、各画像中の人数の合計から重複人物分の数を削除する技術が開示されている。

特開２００７−１０２３４１号公報

しかしながら、一般に、顔照合に要する演算量は大きい。このため、上記の特許文献１に記載された技術では、多数の人物が写っている画像を短時間で処理することはできなかった。本発明は、上記に鑑みてなされたものであって、複数の画像データ中の人物が同一人であるか否かを少ない演算量で判定することができる同一人判定装置、同一人判定方法および同一人判定プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る同一人判定装置は、第１の撮像装置によって撮影された第１の画像に含まれる第１の人物の第１の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第１の方向と、前記第１の画像に含まれる前記第１の人物の第２の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第２の方向と、第２の撮像装置によって撮影された第２の画像に含まれる第２の人物の前記第１の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第３の方向と、前記第２の画像に含まれる前記第２の人物の前記第２の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第４の方向とを算出する方向算出部と、前記方向算出部によって算出された前記第１の方向と前記第３の方向の交点と、前記方向算出部によって算出された前記第２の方向と前記第４の方向の交点を算出する交点算出部と、前記交点算出部によって算出された２つの交点の距離を算出する距離算出部と、前記距離算出部によって算出された距離が所定の範囲内であるか否かに基づいて、前記第１の人物と前記第２の人物が同一人であるか判定する同一人判定部とを備えることを特徴とする。

また、本発明に係る同一人判定方法は、第１の撮像装置によって撮影された第１の画像に含まれる第１の人物の第１の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第１の方向と、前記第１の画像に含まれる前記第１の人物の第２の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第２の方向と、第２の撮像装置によって撮影された第２の画像に含まれる第２の人物の前記第１の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第３の方向と、前記第２の画像に含まれる前記第２の人物の前記第２の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第４の方向とを算出する方向算出工程と、前記方向算出工程において算出された前記第１の方向と前記第３の方向の交点と、前記方向算出工程において算出された前記第２の方向と前記第４の方向の交点を算出する交点算出工程と、前記交点算出工程において算出された２つの交点の距離を算出する距離算出工程と、前記距離算出工程において算出された距離が所定の範囲内であるか否かに基づいて、前記第１の人物と前記第２の人物が同一人であるか判定する同一人判定工程とを含むことを特徴とする。

また、本発明に係る同一人判定プログラムは、コンピュータを、第１の撮像装置によって撮影された第１の画像に含まれる第１の人物の第１の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第１の方向と、前記第１の画像に含まれる前記第１の人物の第２の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第２の方向と、第２の撮像装置によって撮影された第２の画像に含まれる第２の人物の前記第１の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第３の方向と、前記第２の画像に含まれる前記第２の人物の前記第２の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第４の方向とを算出する方向算出部と、前記方向算出部によって算出された前記第１の方向と前記第３の方向の交点と、前記方向算出部によって算出された前記第２の方向と前記第４の方向の交点を算出する交点算出部と、前記交点算出部によって算出された２つの交点の距離を算出する距離算出部と、前記距離算出部によって算出された距離が所定の範囲内であるか否かに基づいて、前記第１の人物と前記第２の人物が同一人であるか判定する同一人判定部として機能させることを特徴とする。

本発明に係る同一人判定装置、同一人判定方法および同一人判定プログラムは、複数の画像データ中の人物が同一人であるか否かを少ない演算量で判定することができるという効果を奏する。

図１は、本実施例に係る同一人判定方法で用いられる画像データの撮影方法を示す図である。 図２は、同一人であるか否かの判定の一例を示す図である。 図３は、同一人であるか否かの判定の他の例を示す図である。 図４は、人物の位置と向きの算出について説明するための図である。 図５は、実施例１に係る同一人判定装置の構成を示す図である。 図６は、判定結果データの一例を示す図である。 図７は、人物の位置と向きの推定について説明するための図である。 図８は、人物の位置と向きの算出例を示す図である。 図９は、実施例１に係る同一人判定装置の動作を示す図である。 図１０は、同一人判定処理の処理手順を示す図である。 図１１は、位置推定処理の処理手順を示す図である。 図１２は、実施例２に係る同一人判定装置の構成を示す図である。 図１３は、実施例２に係る同一人判定装置の動作を示す図である。 図１４は、同一人判定プログラムを実行するコンピュータを示す機能ブロック図を示す図である。

以下に、本発明に係る同一人判定装置、同一人判定方法および同一人判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

まず、図１〜図４を参照しながら、本実施例に係る同一人判定方法について説明する。図１は、本実施例に係る同一人判定方法で用いられる画像データがどのようにして撮影されるかを示している。図１に示す例では、第１の撮像装置である撮像装置１１と第２の撮像装置である撮像装置１２によって撮影対象範囲にいる人物がほぼ同時に撮影される。

撮像装置１１の撮影範囲には、人物Ｈ１および人物Ｈ２がおり、撮像装置１１によって撮影された第１の画像データである画像データ２１内には、人物Ｈ１の顔領域ｆａと、人物Ｈ２の顔領域ｆｂとが含まれる。また、撮像装置１２の撮影範囲には、人物Ｈ１、人物Ｈ２および人物Ｈ３がおり、撮像装置１２によって撮影された第２の画像データである画像データ２２内には、人物Ｈ１の顔領域ｆｃと、人物Ｈ２の顔領域ｆｄと、人物Ｈ３の顔領域ｆｅとが含まれる。

撮像装置１１の撮影範囲と撮像装置１２の撮影範囲は、部分的に重複しているため、人物Ｈ１と人物Ｈ２がそれぞれの撮像装置が撮影した画像データの中に重複して写りこんでいる。本実施例に係る同一人判定方法は、このようにして撮影された各画像データ中に写りこんでいる人物のうちどの画像のどの人物とどの画像のどの人物が同一人であるかを判定するために用いられる。

なお、撮像装置１１と撮像装置１２は、所定の場所に固定されていてもよいし、可動になっていてもよいが、それぞれが撮影を行ったときの位置、向きおよび画角は取得できるものとする。ここで、撮影時における撮像装置１１と撮像装置１２の位置および向きは、他方の撮像装置に対する相対値であってもよい。

図２および図３は、本実施例に係る同一人判定方法による同一人の判定の仕方を示している。本実施例に係る同一人判定方法では、同一人の候補毎に同一人であるか否かの判定が行われる。図２は、画像データ２１中の顔領域ｆａと、画像データ２２中の顔領域ｆｃとが同一人の候補である場合を示している。図２において、３１と４１は、それぞれ、撮像装置１１の撮像面とレンズの焦点であり、３２と４２は、それぞれ、撮像装置１２の撮像面とレンズの焦点である。

この場合、まず、焦点４１を始点として、顔領域ｆａ中の右目の位置ｐ１ａに対応する撮像面３１上の点を通過する直線Ｌ１と、焦点４１を始点として、顔領域ｆａ中の左目の位置ｐ２ａに対応する撮像面３１上の点を通過する直線Ｌ２が算出される。また、焦点４２を始点として、顔領域ｆｃ中の右目の位置ｐ１ｃに対応する撮像面３２上の点を通過する直線Ｌ３と、焦点４２を始点として、顔領域ｆｃ中の左目の位置ｐ２ｃに対応する撮像面３２上の点を通過する直線Ｌ４が算出される。

これらの直線を求めるために必要な撮像面３１の幅Ｗ１および図示しない高さＨ１と撮像面３２の幅Ｗ２および図示しない高さＨ２は、撮像装置１１と撮像装置１２の仕様として予め決められており、撮像面３１と撮像面３２の位置および向きは撮影時の撮像装置１１と撮像装置１２の位置および向きから算出される。また、焦点４１の位置は、撮影時の撮像装置１１の画角と、撮像面３１の幅Ｗ１と、撮影時の撮像装置１１の位置および向きとから算出され、焦点４２の位置は、撮影時の撮像装置１２の画角と、撮像面３２の幅Ｗ２と、撮影時の撮像装置１２の位置および向きとから算出される。

なお、図２は、図示を簡略化するため横方向であるＸ軸方向と奥行き方向であるＺ軸方向からなる二次元空間における直線Ｌ１〜Ｌ４について図示しているが、実際には直線Ｌ１〜Ｌ４は三次元空間上で計算される。すなわち、直線Ｌ１〜Ｌ４は高さ方向であるＹ軸方向についても算出される。したがって、図２において直線Ｌ１と直線Ｌ３は交点Ｐ１において交わっているように見えるが、直線Ｌ１と直線Ｌ３は、高さ方向について見ると交わっていない可能性がある。また、図２において直線Ｌ２と直線Ｌ４は交点Ｐ２において交わっているように見えるが、直線Ｌ２と直線Ｌ４は、高さ方向について見ると交わっていない可能性がある。

こうして算出された直線Ｌ１は、撮影時において焦点４１からみて顔領域ｆａに対応する人物の右目が存在していた方向を示しており、直線Ｌ３は、撮影時において焦点４２からみて顔領域ｆｃに対応する人物の右目が存在していた方向を示している。このため、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物が同一人であれば、撮影時において、その人物の右目は、直線Ｌ１と直線Ｌ３の交点Ｐ１に存在していたことになる。

また、こうして算出された直線Ｌ２は、撮影時において焦点４１からみて顔領域ｆａに対応する人物の左目が存在していた方向を示しており、直線Ｌ４は、撮影時において焦点４２からみて顔領域ｆｃに対応する人物の左目が存在していた方向を示している。このため、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物が同一人であれば、撮影時において、その人物の左目は、直線Ｌ２と直線Ｌ４の交点Ｐ２に存在していたことになる。

したがって、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物が同一人であれば、交点Ｐ１と交点Ｐ２が存在し、交点Ｐ１と交点Ｐ２の距離が、その人物の右目と左目の間隔となる。ここで、一般的に、人間の右目と左目の間隔は所定の範囲（例えば、６ｃｍ前後）にあることが知られている。そこで、本実施例に係る同一人判定方法では、直線Ｌ１と直線Ｌ３の交点Ｐ１と、直線Ｌ２と直線Ｌ４の交点Ｐ２とが存在するか否かを判定し、交点Ｐ１と交点Ｐ２のいずれか一方でも存在しなければ、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物が同一人でないと判定する。そして、交点Ｐ１と交点Ｐ２が存在する場合は、交点Ｐ１と交点Ｐ２の距離を算出し、算出された距離が所定の範囲内であれば、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物が同一人であると判定し、算出された距離が所定の範囲内でなければ、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物が同一人でないと判定する。

なお、精度の問題から、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物が同一人であっても、直線Ｌ１とＬ３が交わらなかったり、直線Ｌ２とＬ４が交わらなかったりする恐れがある。そこで、本実施例に係る同一人判定方法では、２つの直線上の点のうち他方の直線に最も接近する点同士を結ぶ線分の長さ、すなわち、２つの直線の最短距離が予め決められた閾値Ｔｄよりも短い場合は、それらの直線は交わるものと判定し、最も接近する点同士を結ぶ線分の中間点を交点として扱う。

図２の例では、顔領域ｆａに対応する人物と顔領域ｆｃに対応する人物は、いずれも人物Ｈ１であるので、交点Ｐ１と交点Ｐ２が存在し、交点Ｐ１と交点Ｐ２の距離は所定の範囲となり、同一人であるとの判定がなされる。

図３は、画像データ２１中の顔領域ｆａと、画像データ２２中の顔領域ｆｄとが同一人の候補である場合を示している。

この場合、焦点４１を始点として、顔領域ｆａ中の右目の位置ｐ１ａに対応する撮像面３１上の点を通過する直線Ｌ１と、焦点４１を始点として、顔領域ｆａ中の左目の位置ｐ２ａに対応する撮像面３１上の点を通過する直線Ｌ２が算出される。また、焦点４２を始点として、顔領域ｆｄ中の右目の位置ｐ１ｄに対応する撮像面３２上の点を通過する直線Ｌ３’と、焦点４２を始点として、顔領域ｆｃ中の左目の位置ｐ２ｄに対応する撮像面３２上の点を通過する直線Ｌ４’が算出される。

そして、直線Ｌ１と直線Ｌ３’の交点Ｐ１’と、直線Ｌ２と直線Ｌ４’の交点Ｐ２’とが存在するか否かが判定され、交点Ｐ１’と交点Ｐ２’が存在すると判定された場合は、それらの距離が算出される。そして、交点の有無と、算出された距離が所定の範囲内であるか否かとに基づいて、顔領域ｆａに対応する人物と顔領域ｆｄに対応する人物が同一人であるか否かが判断される。

図３の例では、顔領域ｆａに対応する人物は人物Ｈ１であるのに対し、顔領域ｆｄに対応する人物は人物Ｈ２であるので、交点Ｐ１と交点Ｐ２の少なくとも一方が存在しないか、交点Ｐ１と交点Ｐ２の距離が所定の範囲外となり、同一人でないとの判定がなされる。なお、図３に示した例では、交点の距離が所定の範囲よりも大きくなっているが、候補の組み合わせによっては、交点の距離が所定の範囲よりも小さくなる場合もある。

ところで、本実施例に係る同一人判定方法では、同一人であるか否かの判定に加えて、同一人と判定した人物の位置と向きとを算出することができる。既に説明したように、本実施例に係る同一人判定方法では、撮影時において人物の右目と左目が存在していた位置が直線の交点として算出される。このため、例えば、それらの交点を基準として人物の位置を算出することができる。また、それらの交点を結ぶ直線に対して垂直な方向を人物の向きとして算出することができる。

図４は、図２において同一人と判定された人物の位置と向きの算出例を示している。この例では、人物の位置は、交点Ｐ１と交点Ｐ２の中間点Ｐ３として算出されている。また、この例では、人物の向きは、交点Ｐ１と交点Ｐ２を結ぶ直線に対して垂直な直線と、焦点４１と焦点４２を結ぶ直線とがなす角度Ｒ１として算出されている。

なお、上記の説明では、２台の撮像装置を用いる例について説明したが、本実施例に係る同一人判定方法は、３台以上の撮像装置を用いて撮影対象範囲を撮影する場合にも適用できる。また、上記の説明では、右目と左目の位置を算出した結果に基づいて同一人であるか否かの判定を行う例を示したが、顔の他の部位の位置を算出した結果に基づいて同一人であるか否かの判定を行うこととしてもよい。例えば、右目と口の位置を算出し、その距離が所定の範囲にあるか否かに基づいて同一人であるか否かの判定を行うこととしてもよい。

また、上記の説明は、右目と左目の位置を示す交点を三次元座標上で算出することを前提としているが、例えば、高さ情報を省略して、右目と左目の位置を示す交点を二次元座標上で算出することとしてもよい。この場合、縦に並んだ別人の顔領域を同一人のものと判定することを避けるため、画像データにおける顔領域の高さの差が予め決められた範囲内にあるか否かを判定し、顔領域の高さの差が範囲外であれば、同一人でないと判定することが好ましい。

次に、本実施例に係る同一人判定方法を実行する同一人判定装置１００の構成について説明する。なお、以下の説明では、既に説明した部分と同様の部分については、既に説明した部分と同一の符号を付して、重複する説明を省略する。

図５に示すように、同一人判定装置１００は、入力部１１０と、表示部１２０と、記憶部１３０と、制御部１４０とを有する。入力部は、同一人判定装置１００が各種情報や指示を入力する装置であり、例えば、キーボードである。表示部１２０は、利用者向けに文字や画像を表示する装置であり、例えば、液晶表示装置である。

記憶部１３０は、各種情報を記憶する装置であり、例えば、ハードディスク装置や半導体記憶装置である。記憶部１３０は、撮像装置１１によって撮影された画像データ２１、撮像装置１２によって撮影された画像データ２２、判定結果データ１３１等を記憶する。画像データ２１および画像データ２２は、光ディスクやメモリカード等の記憶媒体を介して撮像装置１１および撮像装置１２から同一人判定装置１００へ送られてもよいし、有線または無線のネットワークを介して撮像装置１１および撮像装置１２から同一人判定装置１００へ送られてもよい。

判定結果データ１３１は、制御部１４０によって実行される判定処理の処理結果を保持する。具体的には、判定結果データ１３１は、画像データ２１、または画像データ２２、またはその両方に含まれる人物ごとに、画像データ２１における顔領域を囲む最小矩形の位置と大きさに関する情報と、画像データ２２における顔領域を囲む最小矩形の位置と大きさに関する情報と、撮影時におけるその人物の位置と向きに関する情報と、画像処理を行う場合に画像データ２１と画像データ２２のいずれを使用すべきかを示す情報とを保持する。

図１に示した画像データ２１および画像データ２２を対象として判定処理が実行された場合の判定結果データ１３１の一例を図６に示す。図６に示す判定結果データ１３１の２行目は、図１に示した人物Ｈ２（顔領域ｆｂおよびｆｄ）に対応し、画像データ２１における顔領域を囲む最小矩形の位置と大きさに関する情報として、ｘ＝８４０、ｙ＝４００、幅＝８０、高さ＝９０が設定され、画像データ２２における顔領域を囲む最小矩形の位置と大きさに関する情報として、ｘ＝３８０、ｙ＝４００、幅＝８０、高さ＝９０が設定され、撮影時におけるその人物の位置と向きに関する情報として、ｘ＝８７０、ｚ＝１５４０、向き＝１１０度が設定され、画像処理を行う場合に画像データ２１と画像データ２２のいずれを使用すべきかを示す情報として、１（画像データ２１を使用すべきことを示す値）が設定されている。

また、図６に示す判定結果データ１３１の３行目は、図１に示した人物Ｈ３（顔領域ｆｅ）に対応し、画像データ２２における顔領域を囲む最小矩形の位置と大きさに関する情報として、ｘ＝７６０、ｙ＝５２０、幅＝７５、高さ＝８５が設定され、撮影時におけるその人物の位置と向きに関する情報として、ｘ＝１１８０、ｚ＝１２００、向き＝５０度が設定され、画像処理を行う場合に画像データ２１と画像データ２２のいずれを使用すべきかを示す情報として、２（画像データ２２を使用すべきことを示す値）が設定されている。なお、図６に示す判定結果データ１３１の３行目では、画像データ２１における顔領域を囲む最小矩形の位置と大きさに関する情報が空となっている。これは、対応する人物の顔が、画像データ２１には写っていないことを示している。

制御部１４０は、同一人判定装置１００を全体制御する制御部であり、顔領域抽出部１４１と、同一人判定部１４２と、方向算出部１４３と、交点算出部１４４と、二点間距離算出部１４５と、位置算出部１４６と、処理対象画像選択部１４７と、位置推定部１４８とを含む。

顔領域抽出部１４１は、画像データ２１と画像データ２２に含まれる全ての顔領域を抽出し、抽出した各顔領域を囲む最小矩形の位置と大きさを出力する。なお、顔領域の抽出については、いずれの公知の技術を用いても構わない。

同一人判定部１４２は、顔領域抽出部１４１によって画像データ２１から抽出された顔領域に対応する人物と、顔領域抽出部１４１によって画像データ２２から抽出された顔領域に対応する人物とが同一人であるかを判定し、同一人である場合は、その人物に関する情報を判定結果データ１３１へ出力する。同一人判定部１４２は、上記の機能を実現するため、同一人判定部１４２と、方向算出部１４３と、交点算出部１４４と、二点間距離算出部１４５と、位置算出部１４６と、処理対象画像選択部１４７とを制御する。

具体的には、同一人判定部１４２は、同一人判定部１４２と、方向算出部１４３と、交点算出部１４４とを制御して、画像データ２１から抽出された顔領域に対応する人物と画像データ２２から抽出された顔領域に対応する人物とが同一人である場合におけるその人物の右目と左目の位置を取得する。そして、右目と左目の位置が取得され、かつ、取得された右目と左目の位置の距離が、所定の範囲（例えば、６ｃｍ前後数ｍｍの範囲）にある場合は、それぞれの顔領域に対応する人物が同一人であると判断して、位置算出部１４６にその人物の位置と向きを算出させ、処理対象画像選択部１４７に画像処理を行う場合に使用すべき画像を選択させ、その結果を判定結果データ１３１へ出力する。

方向算出部１４３は、指定された顔領域に含まれる右目が、撮影時において、その顔領域を含む画像データを撮影した撮像装置のレンズの焦点からみて存在していた方向と、指定された顔領域に含まれる左目が、撮影時において、その顔領域を含む画像データを撮影した撮像装置のレンズの焦点からみて存在していた方向とを算出する。

交点算出部１４４は、撮像装置１１のレンズの焦点から、画像データ２１に含まれる顔領域の右目について方向算出部１４３が算出した方向へ伸びる直線と、撮像装置１２のレンズの焦点から、画像データ２２に含まれる顔領域の右目について方向算出部１４３が算出した方向へ伸びる直線とが交点を有するか否かを判定し、交点を有する場合は交点の座標を右目の位置として算出する。また、交点算出部１４４は、撮像装置１１のレンズの焦点から、画像データ２１に含まれる顔領域の左目について方向算出部１４３が算出した方向へ伸びる直線と、撮像装置１２のレンズの焦点から、画像データ２２に含まれる顔領域の左目について方向算出部１４３が算出した方向へ伸びる直線とが交点を有するか否かを判定し、交点を有する場合は交点の座標を左目の位置として算出する。

二点間距離算出部１４５は、交点算出部１４４によって算出された２つの交点の距離を算出する。二点間距離算出部１４５によって算出される距離は、画像データ２１から抽出された顔領域に対応する人物と画像データ２２から抽出された顔領域に対応する人物とが同一人である場合におけるその人物の右目と左目の距離に相当する。

位置算出部１４６は、同一人と判定された人物の撮影時における位置と向きを、同一人判定部１４２と、方向算出部１４３と、交点算出部１４４の算出結果に基づいて算出する。位置推定部１４８は、画像データ２１と画像データ２２のうち、同一人と判定された人物について画像処理を行う場合により好ましい画像データを、位置算出部１４６の算出結果に基づいて選択する。

画像処理を行う場合の画像データは、人物の向きが撮像装置の撮像面に対して垂直に近いほど好ましく、人物と撮像装置の距離が短いほど好ましく、また、人物の位置が撮像装置の撮影範囲の中央に近いほど好ましい。位置推定部１４８は、これらの各判断要素についての２つの画像データの判断結果を、判断要素ごとに予め決められた重みを用いて評価して、画像処理を行う場合により好ましい画像データを選択する。

位置推定部１４８は、画像データ２１に含まれる顔領域のうち、画像データ２２に含まれるいずれかの顔領域と同一人であると判定されなかった顔領域に対応する人物と、画像データ２２に含まれる顔領域のうち、画像データ２１に含まれるいずれかの顔領域と同一人であると判定されなかった顔領域に対応する人物の撮影時における位置と向きを推定し、その結果を判定結果データ１３１へ出力する。

位置推定部１４８によって判定結果データ１３１へ出力されるデータは、図６の３行目のように、画像データ２１における顔領域を囲む最小矩形の位置と大きさに関する情報と、画像データ２２における顔領域を囲む最小矩形の位置と大きさに関する情報のいずれかが空となる。また、位置推定部１４８によって判定結果データ１３１へ出力されるデータについては、画像処理を行う場合に使用すべき画像として、顔領域を含む画像が常に選択される。

位置推定部１４８による人物の撮影時における位置と向きの推定について図７および図８を参照しながら説明する。図７および８は、図１に示した人物Ｈ３の位置と向きを推定する例を示している。図７および８に示すように、撮影時において、人物Ｈ３の右目は、画像データ２２における右目の位置ｐ１ｅに対応する撮像面３２上の位置と焦点４２とを結ぶ直線Ｌ５上にあり、人物Ｈ３の左目は、画像データ２２における左目の位置ｐ２ｅに対応する撮像面３２上の位置と焦点４２とを結ぶ直線Ｌ６上に存在する。

ここで、位置推定部１４８は、推定対象の人物が撮像装置に対して正面を向けているものと仮定して、その人物の位置と向きを推定する。このように仮定すると、焦点４２から人物Ｈ３の右目の位置までの距離と、焦点４２から人物Ｈ３の左目の位置までの距離は等しいこととなる。換言すると、人物Ｈ３の右目の位置と左目の位置とを結ぶ線分は、焦点４２から人物Ｈ３の右目の位置までを結ぶ線分と、焦点４２から人物Ｈ３の左目の位置までを結ぶ線分とを等しい長さの辺とする二等辺三角形の底辺に相当することとなる。

この二等辺三角形の底辺の長さＬＢは、人物Ｈ３の右目と左目の距離であるから、一般的な人間の目間の距離（例えば、６ｃｍ）と想定される。そして、二等辺三角形の頂角の角度は、直線Ｌ５と直線Ｌ６の角度の差として求められる。このように底辺の長さＬＢと頂角の角度が分かれば、二等辺三角形の等しい二辺の長さＬＳは、幾何学的に算出することができる。こうして、例えば、人物Ｈ３の位置は、二等辺三角形の底辺の中央の点Ｐとして推定でき、人物Ｈ３の向きは、点Ｐから焦点４２へ向かう方向として推定できる。

なお、位置推定部１４８は、推定対象の人物が撮像装置に対して正面を向けているものと仮定して人物の位置を推定することとしたが、推定対象の人物の顔の向きを検出する技術を組み合わせることによって、位置推定部１４８が推定する位置の精度をさらに高めることができる。推定対象の人物の顔の向きを検出する技術としては、例えば、特開２００７−００４７６７によって開示されている技術を用いることができる。

人物の顔の向きを検出する技術を組み合わせる場合、例えば、以下のようにして人物の位置を算出する。顔の向きに応じた目間の距離と角度を予め設定しておき、検出された顔の向きに対応する目間の距離と角度を取得する。そして、画像データに基づいて、撮像装置のレンズの焦点から右目の方向へ伸びる直線と左目の方向とへ伸びる直線をと算出する。ここで、推定対象の人物の右目の位置Ｐｒは、焦点から右目の方向へ伸びる直線上にあり、推定対象の人物の左目の位置Ｐｌは、焦点から左目の方向へ伸びる直線上にあり、位置Ｐｒと位置Ｐｌの距離は取得された距離に一致し、位置Ｐｒと位置Ｐｌを結ぶ直線の角度は取得された角度に一致するため、位置Ｐｒと位置Ｐｌについては幾何学的に算出することができる。

次に、同一人判定装置１００の動作について図９〜図１１を参照しながら説明する。図９に示すように、まず、顔領域抽出部１４１が、画像データ２１に含まれる顔領域を全て抽出し（ステップＳ１０１）、画像データ２２に含まれる顔領域を全て抽出する（ステップＳ１０２）。そして、同一人判定部１４２は、画像データ２１から抽出された顔領域を特定するための変数ｊを１に初期設定し、画像データ２２から抽出された顔領域を特定するための変数ｋを１に初期設定する（ステップＳ１０３）。

続いて、同一人判定部１４２は、画像データ２１から抽出されたｊ番目の顔領域を選択する（ステップＳ１０４）。ｊ番目の顔領域を選択できた場合（ステップＳ１０５肯定）、同一人判定部１４２は、画像データ２２から抽出されたｋ番目の顔領域を選択する（ステップＳ１０６）。

ここで、ｋ番目の顔領域を選択でき（ステップＳ１０７肯定）、かつ、ｋ番目の顔領域を画像データ２１から抽出されたいずれかの顔領域と組み合わせて判定結果データ１３１に出力していない場合（ステップＳ１０８否定）、同一人判定部１４２は、後述する同一人判定処理を実行する（ステップＳ１０９）。

同一人判定処理によって、ｊ番目の顔領域に対応する人物とｋ番目の顔領域に対応する人物とが同一人と判定された場合（ステップＳ１１０肯定）、同一人判定部１４２は、画像データ２１におけるｊ番目の顔領域の位置に関する情報と、画像データ２２におけるｋ番目の顔領域の位置に関する情報と、同一人と判定された人物の撮影時における位置および向きと、画像処理を行う場合に使用すべき画像データの番号とを判定結果データ１３１に出力する（ステップＳ１１２）。そして、同一人判定部１４２は、変数ｊに１を加算し、変数ｋを１に設定し直して、ステップＳ１０４以降の処理手順を再実行する（ステップＳ１１３）。

同一人判定処理によって、ｊ番目の顔領域に対応する人物とｋ番目の顔領域に対応する人物とが同一人と判定されなかった場合（ステップＳ１１０否定）、同一人判定部１４２は、変数ｋに１を加算して、ステップＳ１０６以降の処理手順を再実行する（ステップＳ１１１）。

ｋ番目の顔領域を画像データ２１から抽出されたいずれかの顔領域と組み合わせて判定結果データ１３１に出力していた場合（ステップＳ１０８肯定）、同一人判定部１４２は、同一人判定処理を実行することなく、変数ｋに１を加算して、ステップＳ１０６以降の処理手順を再実行する（ステップＳ１１１）。また、画像データ２２から抽出されたｋ番目の顔領域を選択できなかった場合、すなわち、画像データ２１から抽出されたｊ番目の顔領域を、画像データ２２から抽出された全ての顔領域と照合し終えた場合（ステップＳ１０７否定）、同一人判定部１４２は、変数ｊに１を加算し、変数ｋを１に設定し直して、ステップＳ１０４以降の処理手順を再実行する（ステップＳ１１３）。

こうして、各画像データから抽出された顔領域を照合していき、ステップＳ１０４でｊ番目の顔領域を選択できなくなった場合、すなわち、全ての顔領域の組み合わせについて照合が完了した場合（ステップＳ１０５否定）、位置推定部１４８が、画像データ２１から抽出された顔領域と画像データ２２から抽出された顔領域のうち、判定結果データ１３１へ出力されていないものを１つ選択する（ステップＳ１１４）。

そして、選択できたならば（ステップＳ１１５肯定）、位置推定部１４８が、後述する位置推定処理を実行し（ステップＳ１１６）、選択した顔領域を含む画像データにおける選択した顔領域の位置に関する情報と、選択した顔領域に対応する人物の撮影時における位置および向きと、画像処理を行う場合に使用すべき画像データの番号（選択した顔領域を含む画像データの番号）とを判定結果データ１３１に出力する（ステップＳ１１７）。そして、位置推定部１４８は、ステップＳ１１４以降の処理手順を再実行する。

こうして、一方の画像データにしか写っていない人物の情報を出力していき、ステップＳ１１４で未出力の顔領域がみつからなかったならば（ステップＳ１１５否定）、同一人判定装置１００は、一連の処理手順を終了させる。

続いて、図９のステップＳ１０９の同一人判定処理の処理手順について図１０を参照しながら説明する。同一人判定部１４２は、撮像装置１１のレンズの焦点からみた、画像データ２１のｊ番目の顔領域の右目の方向（第１の方向）と左目の方向（第２の方向）を方向算出部１４３に算出させる（ステップＳ２０１、ステップＳ２０２）。また、同一人判定部１４２は、撮像装置１２のレンズの焦点からみた、画像データ２２のｋ番目の顔領域の右目の方向（第３の方向）と左目の方向（第３の方向）を方向算出部１４３に算出させる（ステップＳ２０３、ステップＳ２０４）。

そして、同一人判定部１４２は、撮像装置１１のレンズの焦点から第１の方向へ伸びる直線と撮像装置１２のレンズの焦点から第３の方向へ伸びる直線との交点と、撮像装置１１のレンズの焦点から第２の方向へ伸びる直線と撮像装置１２のレンズの焦点から第４の方向へ伸びる直線との交点とを交点算出部１４４に算出させる（ステップＳ２０５、ステップＳ２０６）。ここで、いずれか一方でも交点が存在しないと判定された場合（ステップＳ２０７否定）、同一人判定部１４２は、ｊ番目の顔領域に対応する人物とｋ番目の顔領域に対応する人物とが同一人でないと判定する（ステップＳ２０８）。

交点がいずれも算出された場合（ステップＳ２０７肯定）、同一人判定部１４２は、算出された２つの交点の位置を撮像装置１１および撮像装置１２の撮像面の位置と比較し（ステップＳ２０９）、２つの交点の位置が、それぞれの撮像装置のレンズの焦点からみて撮像面よりも後方であれば（ステップＳ２１０肯定）、二点間距離算出部１４５に２つの交点の距離を算出させる（ステップＳ２１１）。

そして、算出された距離が所定の範囲（例えば、６ｃｍ前後数ｍｍの範囲）内であれば（ステップ２１２肯定）、同一人判定部１４２は、ｊ番目の顔領域に対応する人物とｋ番目の顔領域に対応する人物とが同一人と判定し（ステップＳ２１３）、撮影時におけるその人物の位置と向きを位置算出部１４６に算出させ（ステップＳ２１４）、画像処理を行う場合に使用すべき画像データを処理対象画像選択部１４７に選択させる（ステップＳ２１５）。

一方、２つの交点の位置が、それぞれの撮像装置のレンズの焦点からみて撮像面よりも手前である場合（ステップＳ２１０否定）、または、算出された距離が所定の範囲外である場合（ステップ２１２否定）、同一人判定部１４２は、ｊ番目の顔領域に対応する人物とｋ番目の顔領域に対応する人物とが同一人でないと判定する（ステップＳ２０８）。

続いて、図９のステップＳ１１６の位置推定処理の処理手順について図１１を参照しながら説明する。位置推定部１４８は、選択した顔領域を含む画像データを撮影した撮像装置のレンズの焦点からみた、顔領域の右目の方向（第１の方向）と左目の方向（第２の方向）を方向算出部１４３に算出させる（ステップＳ３０１、ステップＳ３０２）。

そして、位置推定部１４８は、撮像装置のレンズの焦点から第１の方向へ伸びる直線と撮像装置のレンズの焦点から第２の方向へ伸びる直線とがなす角を頂点とする二等辺三角形の底辺の長さが所定値（例えば、６ｃｍ）となるときの他の２辺の長さを算出し（ステップＳ３０３）、算出結果に基づいて人物の位置と向きを推定する（ステップＳ３０４）。

上述したように、本実施例に係る同一人判定方法および同一人判定装置では、複数の画像データ中の人物が同一人であるか否かを幾何学的な計算によって判定することとしたので、少ない演算量で判定を行うことができる。

本実施例では、照合する顔領域の組み合わせを絞り込むことによって演算量をさらに削減する例について説明する。まず、本実施例に係る同一人判定方法を実行する同一人判定装置２００の構成について図１２を参照しながら説明する。図１２に示すように、同一人判定装置１００は、入力部１１０と、表示部１２０と、記憶部１３０と、制御部２４０とを有する。

制御部２４０は、同一人判定装置２００を全体制御する制御部であり、顔領域抽出部１４１と、同一人判定部２４２と、方向算出部１４３と、交点算出部１４４と、二点間距離算出部１４５と、位置算出部１４６と、処理対象画像選択部１４７と、位置推定部２４８と、組み合わせ候補作成部２４９とを含む。

位置推定部２４８は、顔領域抽出部１４１によって画像データ２１から抽出された全ての顔領域と、顔領域抽出部１４１によって画像データ２２から抽出された全ての顔領域について、上述した位置推定処理を行って、それぞれの顔領域に対応する人物の位置と向きを推定する。なお、上述したように、推定対象の人物の顔の向きを検出する技術を組み合わせて、人物の位置の推定精度が向上するように位置推定部２４８を構成してもよい。

組み合わせ候補作成部２４９は、顔領域抽出部１４１によって画像データ２１から抽出された顔領域と、顔領域抽出部１４１によって画像データ２２から抽出された顔領域とを組み合わせて、同一人の顔領域の組み合わせである可能性がある組み合わせ候補を作成する。

組み合わせ候補作成部２４９は、組み合わせ候補を作成するに際して、撮像装置１１と撮像装置１２の撮影範囲の重複部分の外部に写っている顔領域を除外する。例えば、図１に示した例では、顔領域ｆｅは、対応する人物が撮像装置１１の撮影範囲外に位置していると推定されるため、組み合わせ候補の作成には用いられない。

撮影範囲の重複部分は、撮像装置１１と撮像装置１２の撮影時における位置、向き、画角、撮像面の幅および高さから算出することができる。そして、算出された範囲と、位置推定部２４８によって推定された位置とを照合することにより、各顔領域について、対応する人物が撮影範囲の内部にいるか外部にいるかを判定することができる。なお、位置推定部２４８の推定結果の誤差を考慮して、撮影範囲の重複部分については、撮像装置１１と撮像装置１２の位置等から算出される範囲よりも広く設定することが好ましい。

また、組み合わせ候補作成部２４９は、組み合わせ候補を作成するに際して、位置推定部２４８によって推定された位置の距離を考慮する。具体的には、組み合わせ候補作成部２４９は、画像データ２１から抽出された顔領域に対応する人物の推定位置と画像データ２２から抽出された顔領域に対応する人物の推定位置の距離が、位置推定部２４８の推定結果の誤差範囲に相当する閾値を超える場合には、それらの顔領域の組み合わせを組み合わせ候補としない。位置推定部２４８の推定結果の誤差範囲に相当する閾値は、予め同一人判定装置２００の管理者等によって設定され、例えば、５０ｃｍである。

なお、位置推定部２４８によって推定された位置だけでなく、推定された向きも考慮して、推定された向きの差が位置推定部２４８の推定結果の誤差範囲を超える場合には、組み合わせ候補を作成しないこととしてもよい。

同一人判定部２４２は、組み合わせ候補作成部２４９によって作成された組み合わせ候補ごとに上述した同一人判定処理を実行して、組み合わせ候補に含まれる顔領域に対応する人物が同一人であるか否かを判定する。そして、同一人判定部２４２は、同一人のものであると判定された顔領域に対応する人物の位地と向きを位置算出部１４６に算出させ、処理対象画像選択部１４７に画像処理を行う場合に使用すべき画像を選択させ、その結果を判定結果データ１３１へ出力する。

また、同一人判定部２４２は、同一人のものであると判定されなかった各顔領域について、位置推定部２４８によって推定された位置や向き等を判定結果データ１３１へ出力する。

次に、同一人判定装置２００の動作について図１３を参照しながら説明する。図１３に示すように、まず、顔領域抽出部１４１が、画像データ２１に含まれる顔領域を全て抽出し（ステップＳ４０１）、画像データ２２に含まれる顔領域を全て抽出する（ステップＳ４０２）。

そして、位置推定部２４８が、画像データ２１から抽出された顔領域と画像データ２２から抽出された顔領域のうち、未選択のものを１つ選択する（ステップＳ４０３）。そして、選択できたならば（ステップＳ４０４肯定）、位置推定部２４８が、図１１に示した位置推定処理を実行して、選択した顔領域に対応する人物の撮影時における位置および向きを推定する（ステップＳ４０５）。そして、位置推定部２４８は、ステップＳ４０３以降の処理手順を再実行する。

こうして、全ての顔領域に対応する人物の位置および向きを推定し終えて、未選択の顔領域がなくなったならば（ステップＳ４０４否定）、組み合わせ候補作成部２４９が、位置推定部２４８によって推定された位置を考慮して顔領域の組み合わせ候補を作成する（ステップＳ４０６）。そして、同一人判定部２４２は、組み合わせ候補を特定するための変数ｊを１に初期設定する（ステップＳ４０７）。

続いて、同一人判定部２４２は、ｊ番目の組み合わせ候補を選択する（ステップＳ４０８）。ｊ番目の組み合わせ候補を選択でき（ステップＳ４０９肯定）、かつ、ｊ番目の組み合わせ候補に含まれるいずれの顔領域も判定結果データ１３１に出力されていない場合（ステップＳ４１０否定）、同一人判定部２４２は、図１０に示した同一人判定処理を実行する（ステップＳ４１１）。

同一人判定処理によって、ｊ番目の組み合わせ候補に含まれる各顔領域に対応する人物が同一人と判定された場合（ステップＳ４１２肯定）、同一人判定部２４２は、ｊ番目の組み合わせ候補に含まれる各顔領域の位置に関する情報と、同一人と判定された人物の撮影時における位置および向きと、画像処理を行う場合に使用すべき画像データの番号とを判定結果データ１３１に出力する（ステップＳ４１３）。そして、同一人判定部２４２は、変数ｊに１を加算し、ステップＳ４０８以降の処理手順を再実行する（ステップＳ４１４）。

同一人判定処理によって、ｊ番目の組み合わせ候補に含まれる各顔領域に対応する人物が同一人と判定されなかった場合（ステップＳ４１２否定）、同一人判定部２４２は、変数ｊに１を加算し、ステップＳ４０８以降の処理手順を再実行する（ステップＳ４１４）。

ｊ番目の組み合わせ候補に含まれる顔領域の少なくとも１つが判定結果データ１３１に出力していた場合（ステップＳ４１０肯定）、同一人判定部２４２は、同一人判定処理を実行することなく、変数ｊに１を加算し、ステップＳ４０８以降の処理手順を再実行する（ステップＳ４１４）。

こうして、各組み合わせ候補に含まれる顔領域を照合していき、ステップＳ４０８でｊ番目の組み合わせ候補を選択できなくなった場合、すなわち、全ての組み合わせ候補に含まれる顔領域について照合が完了した場合（ステップＳ４０９否定）、同一人判定部２４２が、画像データ２１から抽出された顔領域と画像データ２２から抽出された顔領域のうち、判定結果データ１３１へ出力されていないものを１つ選択する（ステップＳ４１５）。

そして、選択できたならば（ステップＳ４１６肯定）、同一人判定部２４２が、選択した顔領域を含む画像データにおける選択した顔領域の位置に関する情報と、その顔領域に対応する人物の撮影時における位置および向きと、画像処理を行う場合に使用すべき画像データの番号（選択した顔領域を含む画像データの番号）とを判定結果データ１３１に出力する（ステップＳ４１７）。そして、同一人判定部２４２は、ステップＳ４１５以降の処理手順を再実行する。

こうして、一方の画像データにしか写っていない人物の情報を出力していき、ステップＳ４１５で未出力の顔領域がみつからなかったならば（ステップＳ４１６否定）、同一人判定装置２００は、一連の処理手順を終了させる。

上述してきたように、本実施例では、人物の位置の推定結果に基づいて照合する顔領域の組み合わせを絞り込むこととしたので、演算量をさらに削減することができる。なお、照合する顔領域の組み合わせを絞り込むには、人物の位置の推定結果以外の情報を併用または単独で用いてもよい。例えば、それぞれの顔領域について、顔領域に含まれる画素の輝度の平均値をＲＧＢの各色ごとに算出し、輝度の平均値の差異が所定以上である場合には、組み合わせ候補を作成しないこととしてもよい。

上述した同一人判定装置１００および同一人判定装置２００の構成は、要旨を逸脱しない範囲で種々に変更することができる。例えば、同一人判定装置１００の制御部１４０や同一人判定装置２００の制御部２４０の機能をソフトウェアとして実装し、これをコンピュータで実行することにより、同一人判定装置１００や同一人判定装置２００と同等の機能を実現することもできる。以下に、同一人判定装置１００の制御部１４０の機能をソフトウェアとして実装した同一人判定プログラム１０７１を実行するコンピュータの一例を示す。

図１４は、同一人判定プログラム１０７１を実行するコンピュータ１０００を示す機能ブロック図である。このコンピュータ１０００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）１０１０と、ユーザからのデータの入力を受け付ける入力装置１０２０と、各種情報を表示するモニタ１０３０と、記録媒体からプログラム等を読み取る媒体読取り装置１０４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置１０５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）１０６０と、ハードディスク装置１０７０とをバス１０８０で接続して構成される。

そして、ハードディスク装置１０７０には、図５に示した制御部１４０と同様の機能を有する同一人判定プログラム１０７１と、図５に示した記憶部１３０に記憶される各種データに対応する同一人判定用データ１０７２とが記憶される。なお、同一人判定用データ１０７２を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。

そして、ＣＰＵ１０１０が同一人判定プログラム１０７１をハードディスク装置１０７０から読み出してＲＡＭ１０６０に展開することにより、同一人判定プログラム１０７１は、同一人判定プロセス１０６１として機能するようになる。そして、同一人判定プロセス１０６１は、同一人判定用データ１０７２から読み出した情報等を適宜ＲＡＭ１０６０上の自身に割り当てられた領域に展開し、この展開したデータ等に基づいて各種データ処理を実行する。

なお、上記の同一人判定プログラム１０７１は、必ずしもハードディスク装置１０７０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたこのプログラムを、コンピュータ１０００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を介してコンピュータ１０００に接続される他のコンピュータ（またはサーバ）等にこのプログラムを記憶させておき、コンピュータ１０００がこれらからプログラムを読み出して実行するようにしてもよい。

また、上述した同一人判定装置１００および同一人判定装置２００の構成を各種のシステムと組み合わせて利用することもできる。以下に、同一人判定装置１００や同一人判定装置２００をデジタルサイネージシステムと組み合わせて利用する例について説明する。デジタルサイネージシステムとは、表示パネルやタッチパネルからなる電子看板上に広告等の各種表示コンテンツを表示するシステムである。

同一人判定装置１００や同一人判定装置２００を利用することにより、電子看板の前にいる人物に関して画像処理に好適な画像データを選択することが可能になる。このため、選択された画像データに公知の画像解析技術を適用することにより、電子看板の前にいる人物の年齢や性別を高い精度で識別し、その人物の年齢や性別に合った表示コンテンツを電子看板に表示することが可能になる。

また、同一人判定装置１００や同一人判定装置２００を利用することにより、電子看板の前にいる人物の顔の向きを取得することが可能になる。そして、電子看板の前にいる人物の顔の向きの変化を追跡することにより、その人物が電子看板の方を向いたタイミングを識別して、その人物が電子看板の方を向いたタイミングで、効果音を大きくしたり、表示コンテンツを初めから表示し直したりすることが可能になる。このように人物が電子看板の方を向いたタイミングでコンテンツの再生の態様を変化させることにより、コンテンツがその人物の関心を惹き易くなる。

また、同一人判定装置１００や同一人判定装置２００を利用することにより、電子看板の前にいる人物の顔の位置と向きを取得することが可能になる。このため、取得された顔の位置と向きに基づいて、その人物の視線の先が電子看板上のどの位置にあるかを特定し、視線の先があると特定した位置に最も伝達したいメッセージ等が表示されるように、コンテンツ自体の表示位置やコンテンツにオーバーレイ表示されるメッセージ等の表示位置を変更することができる。

また、デジタルサイネージシステムでは、タッチパネルからなる電子看板の前にいる人物からの入力を受け付けることができるように、タッチパネル上に操作ボタン等を表示することがある。そのようなデジタルサイネージシステムでは、同一人判定装置１００や同一人判定装置２００を利用して、電子看板の前にいる人物が操作し易い位置に操作ボタン等を表示することができる。例えば、人物の顔の位置を取得することにより、その人物の立ち位置に最も近い位置に操作ボタン等を表示することができる。また、人物の顔の位置と向きを取得して視線の先が電子看板上のどの位置にあるかを特定することにより、その人物の視線の先に操作ボタン等を表示することができる。また、人物の顔の位置を三次元座標上で取得することにより、その人物が操作し易いように操作ボタン等を表示する位置の高さを変更ことができる（例えば、胸より上で頭よりも下の高さへ変更する）。

１１、１２ 撮像装置
２１、２２ 画像データ
３１、３２ 撮像面
４１、４２ 焦点
１００、２００ 同一人判定装置
１１０ 入力部
１２０ 表示部
１３０ 記憶部
１３１ 判定結果データ
１４０、２４０ 制御部
１４１ 顔領域抽出部
１４２、２４２ 同一人判定部
１４３ 方向算出部
１４４ 交点算出部
１４５ 二点間距離算出部
１４６ 位置算出部
１４７ 処理対象画像選択部
１４８、２４８ 位置推定部
２４９ 組み合わせ候補作成部
１０００ コンピュータ
１０１０ ＣＰＵ
１０２０ 入力装置
１０３０ モニタ
１０４０ 媒体読取り装置
１０５０ ネットワークインターフェース装置
１０６０ ＲＡＭ
１０６１ 同一人判定プロセス
１０７０ ハードディスク装置
１０７１ 同一人判定プログラム
１０７２ 同一人判定用データ
１０８０ バス

Claims (7)

1. 第１の撮像装置によって撮影された第１の画像に含まれる第１の人物の第１の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第１の方向と、前記第１の画像に含まれる前記第１の人物の第２の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第２の方向と、第２の撮像装置によって撮影された第２の画像に含まれる第２の人物の前記第１の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第３の方向と、前記第２の画像に含まれる前記第２の人物の前記第２の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第４の方向とを算出する方向算出部と、
   前記方向算出部によって算出された前記第１の方向と前記第３の方向の交点と、前記方向算出部によって算出された前記第２の方向と前記第４の方向の交点を算出する交点算出部と、
   前記交点算出部によって算出された２つの交点の距離を算出する距離算出部と、
   前記距離算出部によって算出された距離が所定の範囲内であるか否かに基づいて、前記第１の人物と前記第２の人物が同一人であるか判定する同一人判定部と
   を備えることを特徴とする同一人判定装置。
2. 前記同一人判定部は、前記交点算出部によって交点の少なくとも一方が算出されなかった場合に、第１の人物と前記第２の人物が同一人でないと判定することを特徴とする請求項１に記載の同一人判定装置。
3. 前記同一人判定部によって同一人と判定された人物が、前記第１の画像と前記第２の画像の撮影時に存在していた位置と向きを、前記交点算出部によって算出された交点の位置に基づいて算出する位置算出部をさらに備えることを特徴とする請求項１または２に記載の同一人判定装置。
4. 前記同一人判定部によって同一人と判定された人物について画像処理を行う場合に前記第１の画像と前記第２の画像のいずれがより好適であるかを前記位置算出部の算出結果に基づいて判定する画像選択部をさらに備えることを特徴とする請求項３に記載の同一人判定装置。
5. 前記第１の画像に含まれる各人物の撮影時における位置および向きと、前記第２の画像に含まれる各人物の撮影時における位置および向きとを推定する位置推定部と、
   前記位置推定部の算出結果に基づいて、撮影時において所定の距離内にいた前記第１の画像に含まれる人物と第２の画像に含まれる人物とを組み合わせて組み合わせ候補を作成する組み合わせ候補作成部とをさらに備え、
   前記方向算出部、前記交点算出部、前記距離算出部および前記同一人判定部は、前記組み合わせ候補作成部によって作成された組み合わせ候補に含まれる人物を前記第１の人物および前記第２の人物として処理を実行することを特徴とする請求項１〜３のいずれか１つに記載の同一人判定装置。
6. 第１の撮像装置によって撮影された第１の画像に含まれる第１の人物の第１の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第１の方向と、前記第１の画像に含まれる前記第１の人物の第２の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第２の方向と、第２の撮像装置によって撮影された第２の画像に含まれる第２の人物の前記第１の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第３の方向と、前記第２の画像に含まれる前記第２の人物の前記第２の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第４の方向とを算出する方向算出工程と、
   前記方向算出工程において算出された前記第１の方向と前記第３の方向の交点と、前記方向算出工程において算出された前記第２の方向と前記第４の方向の交点を算出する交点算出工程と、
   前記交点算出工程において算出された２つの交点の距離を算出する距離算出工程と、
   前記距離算出工程において算出された距離が所定の範囲内であるか否かに基づいて、前記第１の人物と前記第２の人物が同一人であるか判定する同一人判定工程と
   を含むことを特徴とする同一人判定方法。
7. コンピュータを、
   第１の撮像装置によって撮影された第１の画像に含まれる第１の人物の第１の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第１の方向と、前記第１の画像に含まれる前記第１の人物の第２の部位が、前記第１の画像の撮影時に前記第１の撮像装置のレンズの焦点からみて存在していた第２の方向と、第２の撮像装置によって撮影された第２の画像に含まれる第２の人物の前記第１の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第３の方向と、前記第２の画像に含まれる前記第２の人物の前記第２の部位が、前記第２の画像の撮影時に前記第２の撮像装置のレンズの焦点からみて存在していた第４の方向とを算出する方向算出部と、
   前記方向算出部によって算出された前記第１の方向と前記第３の方向の交点と、前記方向算出部によって算出された前記第２の方向と前記第４の方向の交点を算出する交点算出部と、
   前記交点算出部によって算出された２つの交点の距離を算出する距離算出部と、
   前記距離算出部によって算出された距離が所定の範囲内であるか否かに基づいて、前記第１の人物と前記第２の人物が同一人であるか判定する同一人判定部
   として機能させることを特徴とする同一人判定プログラム。

Images