JP3910629B2 - 人物判定装置及び人物検索追跡装置 - Google Patents

Description

本発明は、異なる画像シーケンスに含まれる人物同士が同一人物であるか否かを判定する人物判定装置、及び、それを応用した人物の検索・追跡をする装置に関する。

監視カメラ等で得られた画像シーケンスから特定の人物を検索・追跡するためには、人物の同定、つまり、異なる画像や画像シーケンスに写っている人物が同一人物であるか否かを判定することが必要とされる。

従来、画像シーケンスにおける人の検索・追跡を目的とした同一人物の判定方法として、隣り合うフレーム間で近接した人物領域同士を対応付ける手法がある（例えば、特許文献１参照）。

図１Ａ〜図１Ｃは、特許文献１に記載された人の検索・追跡方法を説明する図である。図１Ａ及び図１Ｂは、同一人物を撮影した時間的に連続するフレーム画像を表している。図１Ａに示されるフレーム画像Ａ１０は、右方向に移動する人Ａ１１を写した画像を示す。矩形Ａ１２は、動きベクトルを用いて人体中で動きが小さい領域（人物安定領域）として検出された頭部及び胴体部分を含む外接矩形である。図１Ｂに示されるフレーム画像Ａ２０においても、同様に、人Ａ２１から検出した人物安定領域の外接矩形Ａ２２が破線で示されている。図１Ｃに示されるフレーム画像Ａ３０には、フレーム画像Ａ１０及びＡ２０から得た人物安定領域の外接矩形Ａ１２及びＡ２２が重ねて同時に表示されている。この従来の手法では、フレーム画像Ａ３０に示されるように、外接矩形Ａ１２と外接矩形Ａ２２との重なり、及び、両者の動きベクトルの連続性から、人Ａ１１と人Ａ２１とを同一人物として対応付け、検索・追跡を行っている。
特開２００３−３４６１５９号公報（第３及び第６頁、図２及び図９）

しかしながら、上記従来の手法では、フレーム間で近接した位置から人を検索していくため、あるフレームで１度人物検出を失敗すると、失敗したフレームの前のフレームの人物と後のフレームの人物との対応付けができなくなり、人の追跡ができなくなるというという課題を有している。

また、同様の手法で、人領域の色や画像パタンを用いて異なるフレーム間の人を対応付けることも考えられるが、離れたフレーム間では、人の移動による位置の変化が大きくなることや、同一人物であっても、カメラに対する向き・姿勢・照明条件が変化することで対応付けが困難になるという課題を有している。

従って、画像内に複数人が写っている場合に、検索・追跡したい人が他の人や物の陰に一時的にでも入ったり、照明変化などの影響で一時的に人の検出が正常に行えないフレームが発生すると、もはや検索・追跡が継続できなくなるという問題がある。

そこで、本発明は、上記従来の課題を解決するもので、時間的に離れたフレーム間や異なるカメラで撮影したフレーム間においても、同一人物の判定をすることができる人物判定装置、及び、その人物判定装置を利用して人物を検索・追跡する人物検索追跡装置を提供することを目的とする。

上記目的を達成するために、本発明に係る人物判定装置は、異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、第１の画像シーケンス、及び、前記第１の画像シーケンスと異なる時刻又は異なるイメージセンサにて取得された第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、入力された前記第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段と、抽出された前記第１及び第２の歩行シーケンスから、それぞれ、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報を抽出する歩行情報抽出手段と、抽出された前記第１及び第２の歩行情報を照合する歩行情報照合手段と、前記歩行情報照合手段による照合結果に基づいて、前記第１及び第２の画像シーケンスに含まれる人物同士が同一であるか否かを判定する判定手段とを備えることを特徴とする。ここで、歩行情報としては、例えば、人物の時間的又は空間的な歩行周期を示す情報であったり、人物の周期的な歩行動作における時間的又は空間的な位相情報であったり、人物の周期的な歩行動作を示す時間的又は空間的な位置情報であってもよい。

本発明によれば、人の歩行から得られる時空間周期情報、時空間位相情報及び時空間位置情報を利用することで、離れたフレーム間や異なるセンサより得られる人物画像シーケンスを対応付けることができる。

つまり、時間的に離れたフレーム間や異なるカメラで撮影したフレーム間においても、同一人物の判定をすることができる人物判定装置、及び、その人物判定装置を利用して人物を検索・追跡する人物検索追跡装置が実現される。

本発明の実施の形態に係る人物判定装置は、異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、第１の画像シーケンス、及び、前記第１の画像シーケンスと異なる時刻又は異なるイメージセンサにて取得された第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、入力された前記第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段と、抽出された前記第１及び第２の歩行シーケンスから、それぞれ、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報を抽出する歩行情報抽出手段と、抽出された前記第１及び第２の歩行情報を照合する歩行情報照合手段と、前記歩行情報照合手段による照合結果に基づいて、前記第１及び第２の画像シーケンスに含まれる人物同士が同一であるか否かを判定する判定手段とを備えることを特徴とする。ここで、歩行情報としては、例えば、人物の時間的又は空間的な歩行周期を示す情報であったり、人物の周期的な歩行動作における時間的又は空間的な位相情報であったり、人物の周期的な歩行動作を示す時間的又は空間的な位置情報であってもよい。

これによって、人物の歩行に着目して同一人物の判定が行われるので、フレーム間で近接した位置にいる人物を同一人物と判定したり、色や画像パタンで同一人物を判定する従来技術に比べ、検索・追跡したい人が他の人や物の陰に一時的にでも入ったり、照明変化などの影響で一時的に人の検出が正常に行えない場合であっても、同一人物の判定が可能となる。つまり、本発明は、人が異なれば歩行周期や歩幅等の歩行特性が異なること、及び、同一人物であれば一定の歩行特性で歩行するということを利用しているので、時間的・空間的な位置に依存することなく同一人物の判定が可能であり、時間的に離れたフレーム間や異なるカメラで撮影したフレーム間においても、同一人物の判定をすることができる。

また、前記歩行情報照合手段は、前記第１及び第２の歩行情報にそれぞれ含まれる第１及び第２の時空間位相情報に基づいて、前記第１及び第２の画像シーケンスに含まれる人物が所定の歩行姿勢となる時刻または位置を比較することにより歩行情報を照合するようにしてもよい。具体的には、前記歩行情報照合手段は、前記第１の歩行情報に含まれる第１の時空間位相情報に基づいて、前記第１の画像シーケンスに含まれる人物の、前記第１の画像シーケンスと異なる時刻または位置における時空間位相情報を推定する位相情報推定部と、前記位相情報推定手段で推定された前記時空間位相情報および前記第２の時空間位相情報に基づいて、前記第１及び第２の画像シーケンスに含まれる人物が所定の歩行姿勢となる時刻または位置を比較することにより歩行情報を照合する歩行情報照合部とを有する。

これによって、時空間周期情報のみを用いて人物同士が同一人物であるか否かを判定する場合に比べ、判定の精度を向上させることができる。例えば、歩幅及び歩速が同一である二人の人物が同一の画像シーケンスに撮像されているような場合には、これら二人の時空間周期情報は同一であるため、判別がつかない。しかし、時空間周期情報が同一であったとしても、脚を交差するタイミングまたは位置が異なれば、時空間位相情報が異なる。したがって、時空間位相情報を用いることにより、より正確な判定を行なうことができるようになる。

なお、前記歩行情報照合手段は、前記第１及び第２の歩行情報にそれぞれ含まれる第１及び第２の時空間位相情報に基づいて、同一の時刻または位置における前記第１及び第２の画像シーケンスに含まれる人物の歩行姿勢を比較することにより歩行情報を照合するようにしてもよい。具体的には、前記歩行情報照合手段は、前記第１の時空間歩行情報に含まれる位相情報に基づいて、前記第１の画像シーケンスに含まれる人物の、前記第１の画像シーケンスと異なる時刻または位置における時空間位相情報を推定する位相情報推定部と、前記位相情報推定手段で推定された前記時空間位相情報および前記第２の時空間位相情報に基づいて、同一の時刻または位置における前記第１及び第２の画像シーケンスに含まれる人物の歩行姿勢を比較することにより歩行情報を照合する歩行情報照合部とを有する。

また、歩行シーケンスとしては、例えば、画像シーケンスそれぞれを時間軸に沿って切断した場合の切断面における画像であり、具体的には、画像シーケンスそれぞれに含まれる人物の両脚を切断した切片を時間軸に並べて得られる画像等である。これによって、時間的及び空間的に、人物の歩行特性を抽出することが可能となる。

また、前記画像シーケンス入力手段は、同一場所を撮影する異なるイメージセンサにて取得された第１及び第２の画像シーケンスの入力を受け付けてもよい。これによって、死角が存在する同一場所を異なる角度から撮影して得られる異なる画像シーケンスにおける人物の同定が可能となる。

また、前記人物判定装置はさらに、前記第１及び第２の画像シーケンスそれぞれにおける画像上の位置と撮影場所における位置との対応関係を示す補正情報を予め記憶する補正情報記憶手段と、前記補正情報記憶手段に記憶された補正情報に基づいて、前記歩行情報抽出手段による前記第１及び第２の歩行情報の抽出における時空間的な補正処理を行う補正手段とを備えてもよい。これによって、異なるイメージセンサで取得される場合であっても、イメージセンサの配置位置や撮影方向等の相違に基づく画像同士の不整合が補正されるので、異なるイメージセンサによる人物判定が可能となる。

ここで、補正情報として、例えば、撮影場所における歩行面を一定距離の間隔で２次元的に区切る格子線を特定する情報であってもよい。

また、上記目的を達成するために、本発明に係る人物検索追跡装置は、人物が撮像された画像シーケンスにおいて特定の人物を検索又は追跡する人物検索追跡装置であって、上記人物判定装置と、前記人物判定装置が備える歩行情報照合手段によって前記第１及び第２の歩行情報が一致すると照合された場合に、前記第１及び第２の歩行情報に対応する前記第１及び第２の歩行シーケンス同士を対応づけて記憶する歩行シーケンス記憶手段とを備えることを特徴とする。これによって、歩行シーケンスごとの同一性を予め解析して記憶しておき、人物の検索・追跡時に読み出して利用することで、画像シーケンスを表示させながら人物の検索・追跡を行うことができ、処理が高速化される。

また、上記目的を達成するために、本発明に係る人物検索追跡装置は、人物が撮像された画像シーケンスにおいて特定の人物を検索又は追跡する人物検索追跡装置であって、上記人物判定装置と、前記人物判定装置が備える画像シーケンス入力手段が受け付ける前記第１及び第２の画像シーケンスを表示する表示手段とを備え、前記表示手段は、前記第１及び第２の画像シーケンスに含まれる人物のうち、前記人物判定装置が備える判定手段によって同一人物と判定された人物を他の人物と区別するための強調表示をすることを特徴とする。これによって、異なる画像が同時に表示されている場合であっても強調表示によって同一人物を即座を知ることができ、人物の検索・追跡が容易となる。

本発明の他の局面に係る人物判定装置は、異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、画像シーケンス中に含まれる第１及び第２の人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを検出する歩行シーケンス検出手段と、前記第１の人物の歩行シーケンスから当該歩行シーケンスとは異なる時刻または位置における第１の人物の周期的な歩行運動における歩行姿勢の遷移を示す情報を推定する歩行姿勢遷移推定手段と、推定された前記第１の人物の歩行姿勢の遷移を示す情報と、前記第２の人物の歩行姿勢の遷移を示す情報との整合性を判定し、整合性を有する場合に、前記第１の人物と前記第２の人物とが同一であると判断する判断手段とを備える。

これによって、人物の歩行に着目して同一人物の判定が行われるので、フレーム間で近接した位置にいる人物を同一人物と判定したり、色や画像パタンで同一人物を判定する従来技術に比べ、検索・追跡したい人が他の人や物の陰に一時的にでも入ったり、照明変化などの影響で一時的に人の検出が正常に行えない場合であっても、同一人物の判定が可能となる。つまり、本発明は、人が異なれば歩行周期や歩幅等の歩行特性が異なること、及び、同一人物であれば一定の歩行特性で歩行するということを利用しているので、時間的・空間的な位置に依存することなく同一人物の判定が可能であり、時間的に離れたフレーム間や異なるカメラで撮影したフレーム間においても、同一人物の判定をすることができる。

なお、本発明は、上記のような人物判定装置及び人物検索追跡装置として実現すことができるだけでなく、人物判定方法及び人物検索追跡方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムが記録されたコンピュータ読み取り可能な記録媒体として実現することもできる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図２は、本実施の形態における人物判定装置１０の構成を示す機能ブロック図である。この人物判定装置１０は、人物の歩行シーケンスの連続性に着目して、異なるシーケンスに含まれる人物同士が同一人物であるか否かを判定する装置であり、歩行姿勢検出部２００、歩行状態推定部１８０及び判定部１９０から構成される。

歩行姿勢検出部２００は、動画像中から第一の人の所定の歩行姿勢を含む歩行シーケンスを検出する処理部である。

歩行状態推定部１８０は、第一の人の歩行シーケンスから、当該歩行シーケンスとは異なる時間または位置の第一の人の歩行状態（歩行周期運動における姿勢の遷移状態）を推定する処理部である。

判定部１９０は、第一の人の歩行状態と第二の人の歩行状態との整合性を判定し、整合性を有する場合には第一の人と第二の人とが同一であると判定する処理部である。

歩行姿勢検出部２００は、画像シーケンス入力部１００及び歩行シーケンス抽出部１１０から構成される。

歩行状態推定部１８０は、時空間周期情報抽出部１２０、時空間位相情報抽出部１２１及び時空間位置情報抽出部１２２から構成される。

判定部１９０は、時空間周期情報記憶部１３０、時空間位相情報記憶部１３１、時空間位置情報記憶部１３２、時空間周期照合部１４０、時空間位相照合部１４１、時空間差抽出部１４２、一致判定部１５０及び制御部１６０から構成される。

ここで、歩行姿勢検出部２００は、画像シーケンス中に含まれる人物の歩行状態を示す画像シーケンスである歩行シーケンスを検出する歩行シーケンス検出手段の一例である。また、歩行状態推定部１８０は、歩行シーケンスから当該歩行シーケンスとは異なる時刻または位置における人物の周期的な歩行運動における歩行姿勢の遷移を示す情報を推定する歩行姿勢遷移推定手段の一例である。さらに、判定部１９０は、異なる時刻または異なるイメージセンサにて撮像された二人の人物の歩行姿勢の遷移を示す情報の整合性を判定し、二人の人物が同一人物か否かを判断する判断手段の一例である。なお、「歩行姿勢の遷移を示す情報」とは、後述する周期情報および位相情報を含む情報である。

画像シーケンス入力部１００は、異なる時刻または異なるイメージセンサにて取得された第１及び第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段の一例である。

歩行シーケンス抽出部１１０は、第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段の一例である。

時空間位相情報抽出部１２１、時空間位置情報抽出部１２２及び時空間周期情報抽出部１２０は、第１及び第２の歩行シーケンスから、それぞれ、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報を抽出する歩行情報抽出手段の一例である。

時空間位相照合部１４１、時空間差抽出部１４２及び時空間周期照合部１４０は、抽出された第１及び第２の歩行情報を照合する歩行情報照合手段の一例である。

一致判定部１５０は、照合結果に基づいて、第１及び第２の画像シーケンスに含まれる人物同士が同一人物であるか否かを判定する判定手段の一例である。

画像シーケンス入力部１００は、カメラや画像記録装置から画像シーケンスを取得する信号インターフェース等である。「画像シーケンス」とは、図３のように撮影したフレーム画像を時間順に並べた配列である。

歩行シーケンス抽出部１１０は、画像シーケンス入力部１００が取得した画像シーケンスから歩行シーケンスを抽出する処理部である。「歩行シーケンス」とは、各フレーム画像中の歩行動作領域から得た歩行状態のシーケンスである。図４Ｂに歩行シーケンスの例を示す。図４Ａは各フレームでの人の下半身の領域を抽出して時間順に並べた配列である。図４Ｂは図４Ａにおいて破線Ｂ１０の位置で各フレーム画像の切片を時間順に並べたものである。図４Ｂの黒色の帯は足先の移動軌跡（人物の両脚を切断する切片における画像を時間軸に並べたもの）を示している。各歩行シーケンスの具体的算出方法は後述する。

時空間周期情報抽出部１２０は、歩行シーケンス抽出部１１０が抽出した歩行シーケンスから歩行の時空間的変化の周期情報を抽出する処理部である。「周期情報」とは、一定時間・一定距離あたりの歩数や、足や手の特定部位の時空間的な位置変化に対して周波数分析を行って得た結果や、時空間的に周期的に繰り返される最小パタンの形状などを意味する。時空間周期情報の例を図４Ｂで説明する。図４Ｂにおいて、時間軸及び画像の横軸（空間軸に対応する）において足先が交差する時空間的点に、黒三角印ならびに白三角印を表示している。時空間周期情報は隣り合う黒三角印同士の空間的間隔ならびに隣あう白三角印同士の時間的間隔に基づいて得る一定時間・一定距離あたりの歩数が時空間周期情報の例となる。また、隣り合う黒三角位置の破線と隣り合う白三角位置の破線とに囲まれる歩行パタンの形状（図４Ｃ）そのものを用いてもよいし、図４Ｂの曲線Ｂ１１のように歩幅の時間的な変化や曲線Ｂ１２のように歩幅の空間的変化に対して周波数分析を行って得た周波数特性（特定周波数帯のスペクトル強度など）などを用いることができる。

時空間周期情報記憶部１３０は、時空間周期情報抽出部１２０で抽出された時空間周期情報を、検出した時間や画像中の位置などと共に記憶しておくメモリ等である。時空間周期照合部１４０は、時空間周期情報抽出部１２０で抽出された時空間周期情報と、時空間周期情報記憶部１３０に記憶されている時空間周期情報との照合を行う処理部である。

時空間位相情報抽出部１２１は、歩行シーケンス抽出部１１０が抽出した歩行シーケンスから歩行の時空間的変化の位相情報を抽出する処理部である。「位相情報」とは、周期運動である歩行運動中の遷移状態（所定の歩行姿勢をとる位置や時間、または特定の位置や時間における歩行姿勢など）を意味する。例えば、同じ時空間周期を持った歩行シーケンスでも、どの時空間位置で足を地面についた（所定の歩行姿勢）かという情報が時空間位相情報となる。また、同一時間または同一位置で比較した２つの歩行シーケンス中の歩行姿勢の差異も時空間位相情報となる。時空間位相情報の例を図５、図６Ａ〜図６Ｃ及び図７Ａ〜図７Ｃを用いて説明する。図５は図４Ｂと同様に足位置の歩行軌跡を示しているが、時空間周期が同じで時空間位相が異なる２名の歩行軌跡Ａ０１０、Ａ０１１を示している。歩行軌跡Ａ０１０とＡ０１１では歩幅や歩行周期は同じであるが、足が地面についた位置や時間、又は両足が交差する位置や時間が異なっている。また図６Ａは障害物１８００（斜線の領域）の存在により不連続に検出されている２つの歩行軌跡（第一の人の歩行軌跡１８０２（破線）と第二の人の歩行軌跡１８０１（実線））を表している。ここでそれぞれの歩行軌跡から位相情報を検出する場合を考える。位相情報とは、上述したように、所定の歩行姿勢をとる位置や時間、または所定の位置や時間における歩行姿勢などであり、第二の人の歩行軌跡１８０１及び第一の人の歩行軌跡１８０２のように異なる時間や位置における歩行軌跡については、同一の基準に基づいて位相情報が求められる。この場合、時空間位相情報抽出部１２１は、第一の人の歩行情報１８０２の所定の姿勢（足の交差など）の位置・時間やその周期性から撮影された時間や位置以外での歩行姿勢を推定する（図６Ｂの破線１８０３）。同様に、図６Ｃでは、時空間位相情報抽出部１２１は、障害物１８００の右側の歩行軌跡１８０４（破線）から他の時間・位置での歩行姿勢（破線１８０５）を推定する。

次に、時空間位相情報抽出部１２１は、所定の歩行姿勢となる時間や位置を求める。ここでは所定の姿勢として脚が交差した状態（脚間の大きさが極小になった状態）を考える。図７Ａに脚間の時間変化または位置変化を示す。脚間は歩行軌跡において両脚の軌跡の幅として画像より求めることができる。ここで、時空間位相情報抽出部１２１は、図７Ｂのように第一の人の脚間情報１９０２ａ（破線）から障害物等１９００ａ（斜線領域）の存在により撮影されていない時間や位置における脚間の状態（姿勢状態）１９０３ａ（破線）を推定する。ここで、時空間位相情報抽出部１２１は、撮影されている領域として時間的に最初あるいは位置として画像の左側で、最初に所定の姿勢となる時間または位置を位相情報として求める。図７Ｂでは第一の人の推定歩行状態１９０３ａに対しては時間または位置１９０５が、第二の人の歩行状態１９０１ａに対しては時間または位置１９０６が、位相情報として得られる。同様に図７Ｃでは歩行状態１９０８ａ（破線）に対して推定した歩行状態１９０９ａ（破線）に対して位相情報１９１０が得られ、歩行状態１９０７ａ（実線）に対しては位相情報１９１１が得られる。

また、位相情報として所定の時間や位置における姿勢を用いる場合も同様に、時空間位相情報抽出部１２１は、所定の時間や位置における歩行状態または推定歩行状態を求める。図７Ｂの場合、時空間位相情報抽出部１２１は、所定の時間または位置１９０４における脚間（歩行姿勢）を求める。ここで第一の人に対する位相情報は推定歩行状態１９０３ａ（破線）の所定の時間または位置１９０４における値とし、第二の人に対する位相情報は歩行状態１９０１ａ（実線）の所定の時間または位置１９０４における値とする。同様に、図７Ｃでは歩行状態１９０８ａに基づいて推定された推定歩行状態１９０９ａの所定の時間または位置１９０４における値、歩行状態１９０７ａの所定の時間または位置１９０４における値がそれぞれ第一の人および第二の人の位相情報となる。

上述の説明では、第一の人のみについて推定姿勢を用いたが、第二の人についても推定姿勢を求め、第一の人および第二の人ともに推定姿勢から位相情報を求めるようにしてもよい。例えば図６Ａ〜図６Ｃや図７Ａ〜図７Ｃにおける障害物の位置や図示している範囲外などを共通の位置として、当該共通の位置における推定状態を求めた後、位相情報を求めるようにしてもよい。

なお、所定の姿勢としては他の状態を用いてもよく、脚間が極大になる位置や脚間の変化が極大になる状態などを用いてもよい。

時空間位相情報記憶部１３１は、時空間位相情報抽出部１２１が抽出した時空間位相情報を、検出した時間や画像中の位置などと共に記憶しておくメモリ等である。時空間位相照合部１４１は、時空間位相情報抽出部１２１で抽出された時空間位相情報と、時空間位相情報記憶部１３１に記憶されている時空間位相情報との照合を行う処理部である。

時空間位置情報抽出部１２２は、歩行シーケンス抽出部１１０が抽出した歩行シーケンスについて、その歩行シーケンスが抽出された時空間的位置を抽出し、時空間位置情報として生成する処理部である。「時空間位置情報」とは、歩行シーケンスの検出を行った時間や場所を意味する。時空間位置情報の例を図５を用いて説明する。図５では２つの歩行軌跡それぞれについて時間的に最初に両足が交差した時間・空間的位置を破線の十字で表している。このように、絶対的な時間的・空間的歩行の位置を示す情報が時空間位置情報である。

時空間位置情報記憶部１３２は、時空間位置情報抽出部１２２から生成された時空間位置情報を記憶しておくメモリ等である。時空間差抽出部１４２は、時空間位置情報抽出部１２２で生成された時空間位置情報と、時空間位置情報記憶部１３２に記憶されている時空間位置情報との差異を求める処理部である。

一致判定部１５０は、時空間周期照合部１４０及び時空間位相照合部１４１及び時空間差抽出部１４２の結果に基づいて、異なる歩行シーケンス同士の一致不一致を判定する処理部である。つまり、一致判定部１５０は、同一人物の歩行シーケンスであるか否かを判定する。一致不一致の判定方法の例を時空間周期情報について説明すると次の通りである。つまり、時空間周期情報として一定時間内の歩数ｘ及び一定距離内の歩数ｙが用いられる場合、照合の対象となる歩行シーケンスの一方から得られたｘ，ｙの組のベクトルＺ1＝（ｘ1，ｙ1）と他方のシーケンスから得られるベクトルＺ2＝（ｘ2，ｙ2）との差｜Ｚ1−Ｚ2｜＜θ（θはあらかじめ定めたしきい値）や、｜ｘ1−ｘ2｜＜θｘ、｜ｙ1−ｙ2｜＜θy（θx、θyはあらかじめ定めたしきい値）を共に満たす場合に、一致判定部１５０は、２つの歩行シーケンスが一致すると判定する。つまり、一致判定部１５０は、同一人物の歩行シーケンスであると判定する。

一致判定部１５０は、時空間位相情報や時空間位置情報についても時空間周期情報と同様に、判定を行い、全ての項目で一致した場合や、指定した数の項目が一致した場合に、２つの歩行シーケンスが一致すると判断することができる。なお、判定手法は上記に限らず、一般的にパタン認識などに用いられる手法を適用することが可能である。

例えば、時空間位相情報を用いる場合、動画像中の第一の人の歩行シーケンスから得た時間位相情報ｔｐ１及び空間位相情報（位置の位相情報）ｓｐ１と、これらの位相情報が得られる時間または位置とは異なる時間または位置における第二の人の歩行シーケンスから得られる時間位相情報ｔｐ２及び空間位相情報（位置の位相情報）ｓｐ２とが比較される。この場合、一致判定部１５０は、｜ｔｐ１−ｔｐ２｜＜θｔ（θｔはあらかじめ定めたしきい値）及び｜ｓｐ１−ｓｐ２｜＜θｓ（θｔはあらかじめ定めたしきい値）のどちらか一方が満たされる場合、または両方が同時に満たされる場合に、第一の人と第二の人とが同一であると判定する。例えば、θｔやθｓを適切に設定しておくことで、図６Ｂの場合には、一致判定部１５０は、歩行状態１８０１と歩行状態１８０３の時空間位相情報が一致し、第一の人と第二の人とが同一であると判定する。かつ、図６Ｃの場合には、一致判定部１５０は、歩行状態１８０６と歩行状態１８０５とは時空間位相情報が異なり、第一の人と第二の人とが異なると判定する。同様に、一致判定部１５０は、図７Ｂの歩行状態１９０１ａと歩行状態１９０３ａとは時空間位相情報が一致し、第一の人と第二の人とが同一であると判定する。かつ、一致判定部１５０は、図７Ｃの歩行状態１９０７ａと歩行状態１９０９ａとは時空間位相情報が異なり、第一の人と第二の人とが異なると判定する。

制御部１６０は、一致判定部１５０による一致判定の結果に基づいた制御として、照合に用いた画像シーケンスの表示等を行う処理部である。図８Ａ〜図８Ｃに表示の例を示す。図８Ａは、比較した２つの画像シーケンスを人の領域を拡大して左右に表示し、各画像シーケンスの撮影時刻と場所とを合せて表示した例を示している。図８Ｂは、図８Ａと同様の結果を人の移動軌跡（図中の矢印）と共に表示した例を示している。なお、これらの図では、画像シーケンスに合せて撮影した時刻や場所が文字で表示されているが、場所については地図を表示した上で、撮影位置や移動軌跡を重畳して表示するようにしてもよい。図８Ｃは、複数の人が画像内に含まれる場合に、一致した人の領域を破線の矩形を用いて強調表示した例を示している。なお、制御部１６０による制御の内容としては、表示以外にも、異なる歩行シーケンスが一致したという歩行シーケンス同士の接続情報を外部の記憶装置（位置情報記憶装置）に記憶しておくことなどでもよい。このように、異なる歩行シーケンスが一致する一致しないの対応関係を記憶しておくことで、人の歩行画像の検索や追跡を行う際に利用することができる。

上記のような手続きで歩行シーケンスの検索・追跡を行った結果の記憶書式の例を図９に示す。図９は、３つの歩行シーケンスの情報を示しており、１つの歩行シーケンスについて５つの項目の情報が含まれる。５つの項目はそれぞれシーケンス番号、時空間周期情報、時空間位相情報、時空間位置情報、一致シーケンス番号である。シーケンス番号は撮影時間や撮影カメラの異なる個々の歩行シーケンスに個々に付与するＩＤ番号である。時空間周期情報は一定時間内の歩数ｘ及び一定距離内の歩数ｙを（ｘ、ｙ）と表している。時空間位相情報は基準となる時間や空間位置を過ぎてから最初に両足を交差した時間・空間位置までの移動量を、一歩分のシーケンスにかかる時間と移動量とをそれぞれ１．０と１．０とした時の割合で表現したものである。例えばシーケンス番号１の場合、基準となる時間から０．５歩分の時間で足を交差し、基準となる位置から０．１歩分の距離で足を交差していることを意味する。

時空間位置情報は最初に歩行シーケンスを検出した時刻と場所とを示している。場所については画像上での縦横方向の画素座標値を示している。

一致シーケンス番号は検索・追跡によって異なる歩行シーケンスに対して一致すると判定された歩行シーケンスのシーケンス番号を示している。一致するシーケンスがない場合には０とし、複数ある場合には複数個併記するようにしてもよい。一度検索・追跡した結果を保存しておくことで、同じ検索・追跡を再度行う場合に、前記情報を参照することで、一致判定を省略することが可能となる。

なお、シーケンス番号は撮影された画像の参照先（ファイル名や格納アドレスなど）と対応付けられていてもよい。時空間位置情報における空間的な場所の情報は、図９に示される様に、専用に設けた座標系で表現してもよいし、緯度経度などの汎用的な座標系で表現してもよい。

図１０は、上記人物判定装置１０を応用した人物検索追跡装置２０の構成を示すブロック図である。この人物検索追跡装置２０は、本実施の形態における画像シーケンスから人を検索・追跡する方法を実現するシステム又は装置の具体例であり、カメラ１０１０及び１０２０、時計１０３０、記憶装置１０４０、処理装置１０５０、表示装置１０６０、入力部１０７０並びにポインティングデバイス１０８０から構成される。

カメラ１０１０及び１０２０は、画像シーケンス入力部１００の一例であり、人１０００を含む画像を撮影する。時計１０３０は、撮影時刻を得るためのタイマーである。記憶装置１０４０は、カメラ１０１０及び１０２０で撮影した画像、時計１０３０から得られる撮影時刻並びに人の検索・追跡結果等を記憶するハードディスク等である。処理装置１０５０は、カメラ１０１０及び１０２０又は記憶装置１０４０から得られる画像シーケンスから人を検索・追跡する処理を行う装置であり、図２に示される人物判定装置１０に相当する。表示装置１０６０は、処理装置１０５０の処理結果を表示するディスプレイであり、入力部１０７０は、検索・追跡の指示に用いるキーボードであり、ポインティングデバイス１０８０は、検索・追跡の指示に用いるマウス等である。図１１は、ポインティングの例を示す。検索や追跡を行う場合には図１１のように画像上で対象となる人１０９１をポインタ１０９０を用いて指定し、人１０９１と同じ歩行シーケンスを検索・追跡する。

各構成要素は、通信路を通じて接続されている。通信路は有線であっても、無線であってもよく、専用回線、公衆回線を含んでいてもよい。

次に、以上のように構成された本実施の形態における人物判定装置１０の動作について、図１２のフローチャートを用いて説明する。なお、本実施の形態では単一のカメラで異なる時間に得た画像シーケンス２から画像シーケンス１に含まれる人の検索・追跡を行う。図１３Ａおよび図１３Ｂに画像シーケンス１及び画像シーケンス２の例をそれぞれ示す。図１３Ａは、画像シーケンス１を示し、障害物５０１の左側を人５０２が右方向に歩いているシーケンスを示している。一方、図１３Ｂは、画像シーケンス２を示し、画像シーケンス１と同じ場所を同じカメラで１０秒後に撮影した画像シーケンスを示している。画像シーケンス２では障害物５０１と右方向に歩いている人５０３と人５０４が含まれている。

最初に画像シーケンス入力部１００が画像シーケンス１を入力する（ステップＳ４０１）。次に画像シーケンス１から歩行シーケンス（歩行シーケンス１）を抽出する（ステップＳ４０２）。歩行シーケンスとしては図４Ａのように人の下半身の領域のシーケンスを用いる場合を説明する。

歩行シーケンス抽出部１１０が画像シーケンスから歩行シーケンスを抽出する例を図１４を用いて説明する。最初に、歩行シーケンス抽出部１１０は、画像シーケンスからフレーム画像を１枚読み込む（ステップＳ６０１）。読み込むフレーム画像は未読のフレーム画像の中から時間順に行う。次に、歩行シーケンス抽出部１１０は、読み込んだフレーム画像の中から人領域を検出する（ステップＳ６０２）。人領域の検出手法は一般的に動物体の検出に用いられるフレーム間差分法や人が写っていない背景画像をあらかじめ用意しておき、前記背景画像との差分を算出する背景差分法を用いる。また、静止画の場合でもあらかじめ人のテンプレート画像を用意しておき、テンプレート画像との類似度計算（単純な差分の計算や正規化相関演算などのテンプレートマッチング法）で類似度の高い領域を抽出することで人領域の検出が可能である。次に、歩行シーケンス抽出部１１０は、前記人領域の画像から歩行状態を表す情報を抽出する（ステップＳ６０３）。歩行状態を表す情報としては、図４Ｂの足先の部位の軌跡情報のように歩行状態の時間推移を表す情報である。

なお、ステップＳ６０２とステップＳ６０３との処理は一連の処理として同時に行ってもよいし、ステップＳ６０２の処理結果をそのままステップＳ６０３の処理結果としてもよい。また、ステップＳ６０２のように明示的に人の領域全体を検出せずに、直接、ステップＳ６０３での出力が得られるように処理を行ってもよい。例えば、上記の下半身の画像であれば、下半身画像をテンプレートとしたテンプレートマッチング手法を用いて直接的に歩行状態情報を取得してもよい。最後に、歩行シーケンス抽出部１１０は、現在読み込んだフレーム画像が最後のフレームか否かの判断を行い（ステップＳ６０４）、最後のフレームであれば歩行シーケンス抽出処理を終了し、フレーム画像が残っている場合にはステップＳ６０１に戻る。

次に、ステップＳ４０２で得た歩行シーケンス１から、時空間周期情報抽出部１２０、時空間位相情報抽出部１２１及び時空間位置情報抽出部１２２は、それぞれ、時空間周期情報、時空間位相情報及び時空間位置情報を抽出する（ステップＳ４０３）。

図４Ｂに示される歩行シーケンスから、時空間周期情報と時空間位相情報と時空間位置情報を抽出する方法の一例を図１５と図１６Ａ〜図１６Ｃを用いて説明する。

最初に、時空間周期情報抽出部１２０等は、歩行シーケンスの情報から、特定歩行状態の位置を検出する（ステップＳ７０１）。特定歩行状態の説明を図１６Ａ〜図１６Ｃを用いて行う。図１６Ａは図４Ｂの歩行シーケンスに対して特定歩行状態位置の検出を行った結果を示している。図１６Ａの２本の互いに交差する黒色の波型の帯は足先の時間的な移動軌跡を表している。ここで横軸は画像の横方向の位置を表し、縦軸は時間を表す。ここで、２本の互いに交差する位置すなわち両足が交差する状態の位置（図の破線位置）を特定歩行状態位置とする。ここで、交差する位置の検出は図１６Ｂのような交差部分の形状パタンをあらかじめ用意しておき、テンプレートマッチングや相関演算を行うことで、検出することが可能である。図１６Ｃに検出過程の一例を示す。図１６Ｃでは歩行軌跡８００に対して検出テンプレート８０１の位置をずらしながら形状の一致度合いを算出している。マッチングによる一致度合いがあらかじめ定めた値以上であれば、特定歩行状態であるとする。このようにして、図１６Ａの破線の交点位置が求められる。

なお、特定歩行状態としては足の交差時に限らず、足を最も広げた状態としてもよい。足を最も広げた状態は図１６Ａの歩行軌跡上では交差する帯の間隔が最も広い位置（図の一点鎖線）の位置に相当する。特定歩行状態を全て検出するまでステップＳ７０１を行い、その後ステップＳ７０３に進む（ステップＳ７０２）。

次に、時空間周期情報抽出部１２０は、検出した特定歩行状態位置同士の間隔を算出することで、時空間周期情報を生成する（ステップＳ７０３）。周期情報については、別途、フーリエ解析やウェーブレット解析や自己相関法を用いて特定歩行状態の位置を得ずとも算出してもよい。この場合、図１６Ａの波型の帯の位置の時間的変化や、２本の帯の幅の時空間的変化に対してフーリエ変換やウェーブレット変換や自己相関法を適用すればよい。また、時空間周期情報としては図１６Ａの周期的な歩行の軌跡の最小単位の形状そのものをパタンとして利用してもよい。この場合、図１６Ａの縦横の破線で囲まれた範囲の２本の帯の波形状１つ分をパタンとして持つ。

次に、時空間位相情報抽出部１２１は、時空間位相情報を算出する（ステップＳ７０４）。時空間位相情報は基準となる時間や空間位置を過ぎてから最初に両足を交差した（特定歩行状態が出現する）時間・空間位置までの時空間的移動量を表している。時空間位相情報として所定の姿勢になる時間または位置を用いる場合、図７Ｂの例では脚間の間が極小になる時間または位置とし、１９０２ａの歩行に対しては推定歩行状態１９０３ａからもとめた１９０５の値が時間位相情報または空間位相情報となり、１９０１ａの歩行に対しては１９０６の値が時間位相情報または空間位相情報となる。また、時空間位相情報として所定の時間また位置における姿勢を用いる場合、１９０２ａの歩行に対しては推定歩行状態１９０３ａの１９０４における値（脚間の値）が時間位相情報または空間位相情報となり、１９０１ａの歩行に対しては１９０４における値が時間位相情報または空間位相情報となる。

また、図５の例で説明すると、時間軸の基準を歩行軌跡図の上端とした場合、上端から最初に両足を交差する位置（破線の交差位置）までの時間が時間の位相情報となり、空間位置の基準を歩行軌跡図の縦線Ａ０１３とすると、縦線Ａ０１３より右側で最も縦線Ａ０１３に近い両足を交差した位置と縦線Ａ０１３との距離が空間の位相情報となる。移動量の表現方法は上記に限らず、一歩分のシーケンスにかかる時間と移動量を基準として相対的な大きさで表現してもよい。

なお、時空間位相情報は画像内で前記特定歩行状態が出現する位相情報を意味し、同じ時空間周期の歩行シーケンスであっても、時空間的に足を地面に着けることや両足を交差するなどの状態の時空間的タイミングの異なる歩行は異なる値となる。図５では歩行シーケンスＡ０１１とＡ０１２では歩行の時空間周期は同じであるが、上記のように定義した時空間位相情報は異なる値となる。

次に、時空間位置情報抽出部１２２は、時空間位置情報を算出する（ステップＳ７０５）。時空間位置情報は最初の特定歩行状態を検出した時間と画像上での位置とする。時空間位置情報は、歩行の検出位置の時空間での絶対的な位置座標を表す情報であり、２歩目の検出位置や最後の検出位置を用いてもよい。

特定歩行状態を検出することで、歩行の時空間周期のみならずに歩行の時空間位相情報や時空間位置情報を得ることができる。

次に、ステップＳ４０３で得られた時空間周期情報、時空間位相情報及び時空間位置情報は、それぞれ、時空間周期情報記憶部１３０、時空間位相情報記憶部１３１及び時空間位置情報記憶部１３２に格納される（ステップＳ４０４）。

次に、画像シーケンス入力部１００は、人を検索する画像シーケンス２をステップＳ４０１と同様に取得する（ステップＳ４０５）。そして、歩行シーケンス抽出部１１０は、その画像シーケンス２から歩行シーケンス２を抽出する（ステップＳ４０６）。続いて、歩行シーケンス抽出部１１０は、ステップＳ４０６での処理の結果、歩行シーケンスが他に存在するか否かの判断を行う（ステップＳ４０７）。歩行シーケンスが他に存在しない場合は（ステップＳ４０７でＮｏ）、処理を終了する。存在する場合は（ステップＳ４０７でＹｅｓ）、時空間周期情報抽出部１２０、時空間位相情報抽出部１２１及び時空間位置情報抽出部１２２は、歩行シーケンス１の場合と同様に、歩行シーケンス２から時空間周期情報、時空間位相情報及び時空間位置情報を抽出する（ステップＳ４０８）。

次に、時空間周期照合部１４０、時空間位相照合部１４１及び時空間差抽出部１４２は、それぞれ、ステップＳ４０４で記憶された歩行シーケンス１の時空間周期情報・時空間位相情報・時空間位置情報とステップＳ４０８で抽出された時空間周期情報・時空間位相情報・時空間位置情報とをそれぞれ照合する（ステップＳ４０９）。照合においては、３つの情報全てを用いてもよいし、時空間周期情報か時空間位相情報の一方のみを用いても照合を行うことができる。

照合方法としては、時空間周期情報、時空間位相情報、時空間位置情報それぞれについてあらかじめ一致度合いの基準を設け、３つの情報全てが基準を満たす場合に一致すると判断してもよい。例えば、個々の判定方法は図９のような表現の異なるシーケンス同士を比較する場合、各時空間周期情報を（ｘ1、ｙ1）、（ｘ3、ｙ3）とおくと｜ｘ1−ｘ3｜＝Ｄx＜θx、｜ｙ1−ｙ3｜＝Ｄy＜θyを共に満たす場合に両者が一致すると判定する。ここでθxとθyはあらかじめ定めたしきい値とする。同様に各自空間位相情報を（ｗ1，ｚ1）、（ｗ3、ｚ3）とおいた時、｜ｗ1−ｗ3｜＝Ｄw＜θw、｜ｚ1−ｚ3｜＝Ｄz＜θzを共に満たす場合に両者が一致すると判定する。ここでθwとθzはあらかじめ定めたしきい値とする。同様に、各時空間位置情報をｔ1，（ｘｘ1，ｙｙ1）とｔ3，（ｘｘ3，ｙｙ3）とおいた場合、｜ｔ1−ｔ3｜＝Ｄt＜θt、（ｘｘ1−ｘｘ3）＊（ｘｘ1−ｘｘ3）＋（ｙｙ1−ｙｙ3）＊（ｙｙ1−ｙｙ3）＝Ｄxy＜θdを共に満たす場合に両者が一致すると判定する。ここでθtとθdはあらかじめ定めたしきい値とする。

また、上記の３つの情報を相互に関連付けて一致判定を行ってもよい。例えば、時空間周期情報の差Ｄx，Ｄyと時空間位相情報の差Ｄw，Ｄzと時空間位置情報の差Ｄt，Ｄxyの
積や和をあらかじめ定めた一致の基準と比較してしてもよい。例えば、（Ｄx＋Ｄy＋Ｄw
＋Ｄz＋Ｄt＋Ｄxy）＜θsumを満たす場合や（Ｄx×Ｄy×Ｄw×Ｄz×Ｄt×Ｄxy）＜θmul
に両者が一致すると判定する。ここでθmulはあらかじめ定めたしきい値とする。また、時空間位置情報の差の大きさに基づいて、時空間周期情報の差や時空間位相情報の差の基準を変更するようにしてもよい。時空間的に離れるに従って、時空間周期の値や時空間位相の値が変化し得るため、時空間位置情報の差が大きくなると時空間周期情報の差や時空間位相情報の差の一致の基準を緩くすることで、検出漏れを低減させることが可能となる。例えば、時空間位置情報の差Ｄt、ＤxyがＤt＞θt又はＤxy＞θxyを満たす場合には、上記の判定しきい値θx，θy，θw、θzの値をα倍（αは１．０以上の定数）して一致判定を行う。

時空間周期情報を用いた場合、時空間周期情報はカメラに対する人の向きが変化しても値が変化しにくい為、時間的に離れた画像シーケンス間で検索・追跡が行いやすいという効果がある。

また、時空間位相情報を用いた場合、同じような時空間周期で歩行する他者の歩行シーケンスとの区別をつけやすいという効果がある。

続いて、一致判定部１５０は、ステップＳ４０９における照合結果に基づいて、歩行シーケンス１と歩行シーケンス２とが一致するか否かを判定する（ステップＳ４１０）。不一致の場合には（ステップＳ４１１でＮｏ）、ステップＳ４０６に戻り、新たな歩行シーケンスを取得する（ステップＳ４０６）。一致した場合には（ステップＳ４１１でＹｅｓ）、制御部１６０は、画像シーケンス１と画像シーケンス２とを表示装置１０６０に表示すると共に、一致した歩行シーケンスの人領域を強調表示する。制御部１６０による表示の例を図１７に示す。図１７において領域１１３０では画像シーケンス１を表示し、領域１１４０では画像シーケンス２を表示し、一致した歩行シーケンスに対応する人領域には外接矩形１１１０、１１２０を付加して協調表示する。

一般に、時空間周期情報（歩行パタン）は、個人性（歩き方の癖など）や個人のその場の状況（急いでいる、ゆっくり歩いているなど）や履物の種類（ヒールの高さや足首の可動範囲など）、持ち物（片側に重いものを持っているかなど）や服装（脚部の可動範囲など）、路面の状態（滑りやすさや傾斜など）など様々な要素の影響を受けて変化する為、個人を特定することは困難である。ここで、時空間位置情報を用いて照合する２つの歩行シーケンス間の時空間位置差を求め、前記時空間位置差によって一致判定の基準を変化させることで、場所や履物・服装・持ち物などが時空間的に変化し得る度合いを反映させることができ、誤った照合を行わないようにすることが可能となる。例えば図１３Ａ及び図１３Ｂのように１０秒程度の時空間差であれば、時空間周期情報の差や時空間位相情報の差が小さい歩行シーケンスを検索・追跡すればよい。例えば、Ｄt＜１０秒の場合には、上記の判定しきい値θx，θy，θw、θzの値をβ倍（βは１．０未満の定数）して一致判定を行う。上記のような方法を用いることで、図１３Ａの画像シーケンス中の人５０２に対して、図１３Ｂの画像シーケンス中の２人のうち歩行シーケンスの情報が一致する人５０３を適切に選択することなどが可能となる。

以上のように、本実施の形態によれば、歩行シーケンスから得た時空間周期情報と、時空間位相情報と、時空間位置情報とを検出し、これらの情報に基づいて歩行シーケンスの一致判定を行うことで、画像中の人の大きさや向きなどの影響を抑えて、異なる時間の画像シーケンスに含まれる人の検索・追跡が可能となる。

なお、本実施の形態では、時空間周期情報と時空間位相情報とを共に用いて歩行シーケンスの照合を行ったが、時空間周期情報又は時空間位相情報のどちらか一方のみでも歩行シーケンスの照合は可能であり、本発明の効果を得ることができる。両者を組合わせることでより、詳細な照合が可能となり、検索・追跡の精度を向上させることができる。

また、画像シーケンス入力部１００へ入力する画像シーケンスは少なくとも１歩以上の歩行過程を含む時間長又はフレーム数であることが望ましく、含まれる歩数は１歩よりも多い方が照合の精度向上が期待できる。１歩以上の歩行過程を含む時間長としてはおよそ０．５秒以上（３０フレーム／秒でおよそ１５フレーム以上）の長さの画像シーケンスであることが望ましく、特定歩行状態が少なくとも２回以上検出できることが望ましい。

なお、実施の形態１では画像シーケンスをカメラから直接得る例を示したが、記憶装置１０４０などに録画された画像シーケンスを読み出して用いても同様の効果が得られる。

（実施の形態２）
次に、本発明の実施の形態２について、図１８Ａ、図１８Ｂ及び図１９を用いて説明する。

実施の形態２は、基本的な構成は実施の形態１と同じであるが、２つの異なるカメラから得られた画像シーケンスをそれぞれ画像シーケンス１及び画像シーケンス２として扱い、人の検索・追跡を行うものである。画像の例を図１８Ａ及び図１８Ｂに示す。図１８Ａは画像シーケンス１を示し、図１８Ｂは画像シーケンス２を示す。図１８Ａ及び図１８Ｂには、直方体形状の障害物９００が表示されている。図１８Ａに示される画像シーケンス１では、障害物９００で人９２２が隠されており、人９１２だけが写っている。一方、図１８Ｂに示される画像シーケンス２では、人９２１と人９２２とが写っている。人９１２は人９２２に対応するが、画像シーケンス２の２人の人は互いに近くを歩いており背格好や服装は同じであり、人９１２に対応する人が人９２１か人９２２なのかは色やテクスチャや動きベクトルでは区別がつかない。ここで、図１８Ａ及び図１８Ｂの格子状の破線は地面上の位置座標を重畳して表示したものであり、２つの画像シーケンスの位置情報の対応付けの説明のために表示している。破線の格子は、あらかじめカメラ画像内の位置と撮影場所の位置との対応関係（時空間補正情報）を実測又は、カメラ配置と光学系の仕様に基づいた幾何学計算することで得られる。図１８Ａの格子と図１８Ｂの格子とは対応する位置を表している。このような画像中の異なる平面上の対応する点間の座標変換は３×３の平面射影行列Ｈで表現できる為、行列Ｈを算出し、保持しておけばよい。平面射影行列の求め方はK. Kanatani, N. Ohta and Y. Kanazawa, "Optimal homography computation with a reliability measure," IEICE Transactions on Information and Systems, Vol. E83-D, No.7, pp.1369-1374 (July 2000).などの既存の手法を用いることができる。

図１９は、本実施の形態における人物判定装置１５の構成を示す機能ブロック図である。この人物判定装置１５は、実施の形態１における人物判定装置１０が備える構成に加えて、さらに、時空間補正部１７０を備える。時空間補正部１７０は、歩行シーケンスの抽出又は時空間的周期情報や時空間的位相情報や時空間位置情報の算出時に、時空間補正情報を用いて補正を行い、異なる画像シーケンスにおける時空間的不整合性を補償する処理部である。ここで、時空間補正部１７０は、歩行情報の抽出における時空間的な補正処理を行う補正手段の一例である。

人物判定装置１５は、異なるカメラの映像に対しても実施の形態１と同様の手続で処理を行い、画像シーケンス１中の人に対応する画像シーケンス２中の人を特定することができる。カメラの配置の違いから撮影される対象の画像内の配置が異なる為、前記格子線をカメラ毎（又は画像シーケンス毎）に時空間補正情報として保持しておき、歩行シーケンスを抽出する際の空間的な位置座標の補正情報として利用する。つまり、時空間補正部１７０は、撮影場所における歩行面を一定距離の間隔で２次元的に区切る格子線を特定する情報を補正情報として記憶しておく。

そして、時空間補正部１７０が前記時空間補正情報を用いて補正処理を行うことで、時空間的周期情報や時空間的位相情報や時空間位置情報を異なるカメラの映像間で照合することが可能となる。たとえば、時空間補正部１７０は、格子線で囲まれる小領域の各辺や面積の比率に応じて、時空間的周期情報、時空間的位相情報及び時空間位置情報を時空間的に補正する（比例係数を乗じる）。このとき、時空間位相情報としては特定の格子線を越えた後に最初に特定歩行状態になる時空間的位置を用いればよい。このような構成により、障害物９００に隠れている人（図示せず）と人９２１を対応付け、人９１２と人９２２とを対応付けることが可能となる。

また、上記例では歩行シーケンスを抽出する際に、前記位置の対応関係を用いたが、画像シーケンスの状態で一方の画像シーケンスを他方の画像シーケンスの位置に合うように画像を変換してからその後の処理を行ってもよい。画像変換を行う場合にも上記の平面射影行列Ｈを用いることで歩行している平面（地面）上の画素位置に行列Ｈを作用させることで、対応するもう一方の画像シーケンス内の平面（地面）上の位置に変換できる。このため、全ての画素について同様の変換を行うことで画像の変換が可能となる。時空間周期情報・時空間位相情報・時空間位置情報を算出する際に、位置関係を用いて補正を行って算出することでもカメラ配置の影響を除いて歩行シーケンスを照合することが可能となる。

また、２つの画像シーケンス間でフレームレートが異なる場合にも予めフレームレートがそろうように時空間補正部１７０が一方に対してフレームレート変換を行うか、歩行シーケンスを抽出する際にフレームレートを変換するか、時空間周期情報・時空間位相情報・時空間位置情報を算出する際に時間情報の補正を行うことで、異なるフレームレートの画像シーケンス間での人の検索・追跡が可能となる。例えば、比較すべき２つの画像シーケンスのフレームレートがそれぞれ１５フレーム／秒と３０フレーム／秒との場合、後者の画像シーケンスから１フレームおきにフレームを間引くことで１５フレーム／秒の画像シーケンスを生成したのち、画像シーケンス間の歩行シーケンスの検出・照合を行う。

この場合、あらかじめ補正に必要なフレームレートの情報時空間補正情報を画像シーケンスと対応付けられた状態で記憶装置などに保持しておけばよい。

一般的に、異なるカメラでは対象の向きや照明条件の違いやカメラの特性の違いから、画像上の人の見かけは大きく変わることが多いため、色や動きベクトルの連続性や人領域の画像パタンそのものを用いた追跡手法では適切に同じ人を検索・追跡することは困難である。しかしながら、本実施の形態における手法を用いることで、異なる向きや色や見た目の人であっても、同一人物の歩行シーケンスから得た時空間周期情報や時空間位相情報を用いることで異なる画像シーケンス中の人を検索・追跡することが可能となる。特に、異なるカメラの視野が同一場所を含み、同じ人を異なる方位から撮影できる場合には、時間位相情報を用いることで、より効果的な人のシーケンスの対応付けが可能になる。

なお、上記例ではカメラ画像間の位置の対応付けをあらかじめ行ったが、時間周期や時間位相を主に用いる場合には対応付けを行わない場合にでも、歩行シーケンス間の照合を行い、本発明の効果を得ることは可能である。

なお、上記実施の形態における処理の一部又は全部は専用の機器で行われてもよいし、端末や基地局等の通信機器やコンピュータに内蔵されるＣＰＵが処理プログラムを実行することによって、行われてもよい。

本発明は、異なる画像シーケンスに含まれる人物同士が同一人物であるか否かを判定する人物判定装置、画像シーケンスから人物を検索・追跡する人物検索追跡装置等として、例えば、街頭等に設置される監視システム等として利用することができる。

図１Ａは、従来の人物検索追跡装置における検出矩形の一例を示す図である。 図１Ｂは、従来の人物検索追跡装置における検出矩形の一例を示す図である。 図１Ｃは、従来の人物検索追跡装置における検出矩形の移動を示す図である。 図２は、本発明の実施の形態１における人物判定装置の構成を示す機能ブロック図である。 図３は、本発明の実施の形態１における画像シーケンスの一例を示す図である。 図４Ａは、人の下半身画像のシーケンスの一例を示す図である。 図４Ｂは、本発明の実施の形態１における歩行シーケンスの一例を示す図である。 図４Ｃは、歩行シーケンスの最小パタンの形状の一例を示す図である。 本発明の実施の形態１における時空間位相情報及び時空間位置情報を示す図である。 図６Ａは、本発明の実施の形態１における歩行軌跡の一例を示す図である。 図６Ｂは、本発明の実施の形態１における推定歩行状態の一例を示す図である。 図６Ｃは、本発明の実施の形態１における位相状態の異なる歩行状態の一例を示す図である。 図７Ａは、本発明の実施の形態１における歩行軌跡と脚間の変化との関係の一例を示す図である。 図７Ｂは、本発明の実施の形態１における脚間変化の一例を示す図である。 図７Ｃは、本発明の実施の形態１における脚間変化の一例を示す図である。 図８Ａは、本発明の実施の形態１における歩行シーケンスの表示の一例を示す図である。 図８Ｂは、本発明の実施の形態１における歩行シーケンスの表示の一例を示す図である。 図８Ｃは、本発明の実施の形態１における歩行シーケンスの表示の一例を示す図である。 図９は、本発明の実施の形態１における歩行シーケンスの検索・追跡を行った結果の記憶書式の例を示す図である。 図１０は、本発明の実施の形態１における人物検索追跡装置の構成を示すブロック図である。 図１１は、本発明の実施の形態１における検索・追跡の指示を行う画面の例を示す図である。 図１２は、本発明の実施の形態１における照合手続きの一例を示すフローチャートである。 図１３Ａは、本発明の実施の形態１における画像シーケンス１の一例を示す図である。 図１３Ｂは、本発明の実施の形態１における画像シーケンス２の一例を示す図である。 図１４は、本発明の実施の形態１における歩行シーケンス抽出手続きの一例を示すフローチャートである。 図１５は、本発明の実施の形態１における時空間周期情報・時空間位相情報・時空間位置情報の抽出手続きの一例を示すフローチャートである。 図１６Ａは、本発明の実施の形態１における特定歩行状態の検出の一例を示す図である。 図１６Ｂは、本発明の実施の形態１における特定歩行状態の検出テンプレートの一例を示す図である。 図１６Ｃは、本発明の実施の形態１における特定歩行状態の検出過程の一例を示す図である。 本発明の実施の形態１における制御部による表示の一例を示す図である。 図１８Ａは、本発明の実施の形態２における画像シーケンス１の一例を示す図である。 図１８Ｂは、本発明の実施の形態２における画像シーケンス２の一例を示す図である。 図１９は、本発明の実施の形態２における人物判定装置の構成を示す機能ブロック図である。

符号の説明

１０、１５ 人物判定装置
２０ 人物検索追跡装置
１００ 画像シーケンス入力部
１１０ 歩行シーケンス抽出部
１２０ 時空間周期情報抽出部
１２１ 時空間位相情報抽出部
１２２ 時空間位置情報抽出部
１３０ 時空間周期情報記憶部
１３１ 時空間位相情報記憶部
１３２ 時空間位置情報記憶部
１４０ 時空間周期照合部
１４１ 時空間位相照合部
１４２ 時空間差抽出部
１５０ 一致判定部
１６０ 制御部
１７０ 時空間補正部
１８０ 歩行状態推定部
１９０ 判定部
２００ 歩行姿勢検出部
１０１０、１０２０ カメラ（画像シーケンス入力部）
１０３０ 時計
１０４０ 記憶装置
１０５０ 処理装置
１０６０ 表示装置
１０７０ 入力装置
１０８０ ポインティングデバイス

Claims (7)

1. 異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、
   第１の画像シーケンス、及び、前記第１の画像シーケンスと異なる時刻又は異なるイメージセンサにて取得された第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、
   入力された前記第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段と、
   抽出された前記第１及び第２の歩行シーケンスから、それぞれ、人物の時間的又は空間的な歩行周期を示す情報である第１及び第２の時空間周期情報と人物の周期的な歩行動作における時間的又は空間的な位相情報である第１及び第２の時空間位相情報とを、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報として抽出する歩行情報抽出手段と、
   抽出された前記第１及び第２の歩行情報にそれぞれ含まれる第１及び第２の時空間位相情報に基づいて、前記第１及び第２の画像シーケンスに含まれる人物が所定の歩行姿勢となる時刻または位置を比較することにより歩行情報を照合する歩行情報照合手段と、
   前記歩行情報照合手段による照合結果に基づいて、前記第１及び第２の画像シーケンスに含まれる人物同士が同一であるか否かを判定する判定手段とを備え、
   前記歩行情報照合手段は、
   前記第１の歩行情報に含まれる第１の時空間位相情報に基づいて、前記第１の画像シーケンスに含まれる人物の、前記第１の画像シーケンスと異なる時刻または位置における時空間位相情報を推定する位相情報推定部と、
   前記位相情報推定手段で推定された前記時空間位相情報および前記第２の時空間位相情報に基づいて、前記第１及び第２の画像シーケンスに含まれる人物が所定の歩行姿勢となる時刻または位置を比較することにより歩行情報を照合する歩行情報照合部とを有する
   ことを特徴とする人物判定装置。
2. 異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、
   第１の画像シーケンス、及び、前記第１の画像シーケンスと異なる時刻又は異なるイメージセンサにて取得された第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、
   入力された前記第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段と、
   抽出された前記第１及び第２の歩行シーケンスから、それぞれ、人物の時間的又は空間的な歩行周期を示す情報である第１及び第２の時空間周期情報と人物の周期的な歩行動作における時間的又は空間的な位相情報である第１及び第２の時空間位相情報とを、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報として抽出する歩行情報抽出手段と、
   抽出された前記第１及び第２の歩行情報にそれぞれ含まれる第１及び第２の時空間位相情報に基づいて、同一の時刻または位置における前記第１及び第２の画像シーケンスに含まれる人物の歩行姿勢を比較することにより歩行情報を照合する歩行情報照合手段と、
   前記歩行情報照合手段による照合結果に基づいて、前記第１及び第２の画像シーケンスに含まれる人物同士が同一であるか否かを判定する判定手段とを備え、
   前記歩行情報照合手段は、
   前記第１の時空間歩行情報に含まれる時空間位相情報に基づいて、前記第１の画像シーケンスに含まれる人物の、前記第１の画像シーケンスと異なる時刻または位置における時空間位相情報を推定する位相情報推定部と、
   前記位相情報推定手段で推定された前記時空間位相情報および前記第２の時空間位相情報に基づいて、同一の時刻または位置における前記第１及び第２の画像シーケンスに含まれる人物の歩行姿勢を比較することにより歩行情報を照合する歩行情報照合部とを有する
   ことを特徴とする請求項１に記載の人物判定装置。
3. 異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、
   第１の画像シーケンス、及び、前記第１の画像シーケンスと異なる時刻又は異なるイメージセンサにて取得された第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、
   入力された前記第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段と、
   抽出された前記第１及び第２の歩行シーケンスから、それぞれ、人物の時間的又は空間的な歩行周期を示す情報である第１及び第２の時空間周期情報と人物の周期的な歩行動作における時間的又は空間的な位相情報である第１及び第２の時空間位相情報とを、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報として抽出する歩行情報抽出手段と、
   抽出された前記第１及び第２の歩行情報を照合する歩行情報照合手段と、
   前記歩行情報照合手段による照合結果に基づいて、前記第１及び第２の画像シーケンスに含まれる人物同士が同一であるか否かを判定する判定手段と、
   前記第１及び第２の画像シーケンスそれぞれにおける画像上の位置と撮影場所における位置との対応関係を示す補正情報を予め記憶する補正情報記憶手段と、
   前記補正情報記憶手段に記憶された補正情報に基づいて、前記歩行情報抽出手段による前記第１及び第２の歩行情報の抽出における時空間的な補正処理を行う補正手段とを備える
   ことを特徴とする人物判定装置。
4. 前記補正情報記憶手段は、前記撮影場所における歩行面を一定距離の間隔で２次元的に区切る格子線を特定する情報を前記補正情報として記憶する
   ことを特徴とする請求項３記載の人物判定装置。
5. 異なる画像シーケンスに含まれる人物同士が同一であるか否かを判定する人物判定装置であって、
   画像シーケンス中に含まれる第１及び第２の人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを検出する歩行シーケンス検出手段と、
   前記第１の人物の歩行シーケンスから当該歩行シーケンスとは異なる時刻または位置における第１の人物の周期的な歩行運動における歩行姿勢の遷移を示す情報を推定する歩行姿勢遷移推定手段と、
   推定された前記第１の人物の歩行姿勢の遷移を示す情報と、前記第２の人物の歩行姿勢の遷移を示す情報との整合性を判定し、整合性を有する場合に、前記第１の人物と前記第２の人物とが同一であると判断する判断手段とを備える
   ことを特徴とする人物判定装置。
6. 人物が撮像された画像シーケンスにおいて特定の人物を検索又は追跡する人物検索追跡装置であって、
   第１の画像シーケンス、及び、前記第１の画像シーケンスと異なる時刻又は異なるイメージセンサにて取得された第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、
   入力された前記第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段と、
   抽出された前記第１及び第２の歩行シーケンスから、それぞれ、人物の時間的又は空間的な歩行周期を示す情報である第１及び第２の時空間周期情報と人物の周期的な歩行動作における時間的又は空間的な位相情報である第１及び第２の時空間位相情報とを、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報として抽出する歩行情報抽出手段と、
   抽出された前記第１及び第２の歩行情報を照合する歩行情報照合手段と、
   前記歩行情報照合手段による照合結果に基づいて、前記第１及び第２の画像シーケンスに含まれる人物同士が同一であるか否かを判定する判定手段とを備える人物判定装置と、
   前記人物判定装置が備える歩行情報照合手段によって前記第１及び第２の歩行情報が一致すると照合された場合に、前記第１及び第２の歩行情報に対応する前記第１及び第２の歩行シーケンス同士を対応づけて記憶する歩行シーケンス記憶手段と
   を備えることを特徴とする人物検索追跡装置。
7. 人物が撮像された画像シーケンスにおいて特定の人物を検索又は追跡する人物検索追跡装置であって、
   第１の画像シーケンス、及び、前記第１の画像シーケンスと異なる時刻又は異なるイメージセンサにて取得された第２の画像シーケンスの入力を受け付ける画像シーケンス入力手段と、
   入力された前記第１及び第２の画像シーケンスから、それぞれ、人物の歩行状態を示す画像シーケンスである第１及び第２の歩行シーケンスを抽出する歩行シーケンス抽出手段と、
   抽出された前記第１及び第２の歩行シーケンスから、それぞれ、人物の時間的又は空間的な歩行周期を示す情報である第１及び第２の時空間周期情報と人物の周期的な歩行動作における時間的又は空間的な位相情報である第１及び第２の時空間位相情報とを、人物の歩行についての周期的な動きを特定する情報である第１及び第２の歩行情報として抽出する歩行情報抽出手段と、
   抽出された前記第１及び第２の歩行情報を照合する歩行情報照合手段と、
   前記歩行情報照合手段による照合結果に基づいて、前記第１及び第２の画像シーケンスに含まれる人物同士が同一であるか否かを判定する判定手段とを備える人物判定装置と、
   前記人物判定装置が備える画像シーケンス入力手段が受け付ける前記第１及び第２の画像シーケンスを表示する表示手段とを備え、
   前記表示手段は、前記第１及び第２の画像シーケンスに含まれる人物のうち、前記人物判定装置が備える判定手段によって同一と判定された人物を他の人物と区別するための強調表示をする
   ことを特徴とする人物検索追跡装置。

Images