JP3775683B2 - 人物検出装置および人物検出方法 - Google Patents

Description

本発明は、画像処理によって、歩行する人物を検出する人物検出装置等に関し、特に、人物の存在位置および歩行方向を検出する人物検出装置等に関する。

従来の人物検出技術の多くは、静止画もしくは１枚の差分画像を用いている。静止画や１枚の差分画像を用いて人物検出を行う場合、遮蔽等で起こりうる人物の形状特徴変化を設計時に予測することが難しいために、誤検出や未検出を招く場合があるが、それに対し、画像シーケンスを用いる手法では、遮蔽等によって起こる一時的な特徴量の変動に対して、補間および予測機構を用いることができるために、遮蔽や一時的な環境変動に対してロバストな検出が期待できる。

従来、動画像シーケンスを用いた人物検出技術（第１の従来技術）として、画像を時間方向に並べた３次元時空間画像を生成し、フレームごとに人物の足首位置に合わせて３次元時空間画像を切断した時空間断片画像を抽出し、人物歩行に特有の周期性の検出を行うことによって人物を検出する方法が提案されている（たとえば、Ｎｉｙｏｇｉ、Ａｄｅｌｓｏｎ "Ａｎａｌｙｚｉｎｇ ａｎｄ Ｒｅｃｏｇｎｉｚｉｎｇ Ｗａｌｋｉｎｇ Ｆｉｇｕｒｅｓ ｉｎ ＸＹＴ"、ＭＩＴ−ＴＲ−２２３、１９９４の第３頁および第３図等）。これにより、他の移動物体と人物との識別が可能となり、さらに、画像シーケンスを用いることによって、一時的な環境変化においても、安定した人物検出が可能となる。

また、別の従来技術（第２の従来技術）として、画像中に複数本のスリットを配置し、そのスリット領域の時間的な画素値変化を用いて移動物体像を形成し、移動物体の移動方向を判定すると共に計数する方法も提案されている（たとえば、特許第３１８３３２０号公報の第７頁および第４図等）。この技術によれば、スリットを通過する人物の時間的変化を考慮することによって、安定して人物の検出および移動方向を判定することが可能となる。

しかしながら、上記第１の従来技術では、人物の足首位置が既知であり、かつ画像に対して左右方向に歩行している場合に限定されている。また、事前に足首位置を検出する必要があるため、人物の初期検出が既になされていることが前提となる。そのため、画像中を様々な方向に歩行する人物を検出することが難しいという問題がある。

また、上記第２の従来技術では、人物検出用のスリットを画像中に複数本配置することによって歩行方向を検出することが可能であるが、設計者が事前にスリット配置を決定する必要があり、画像中から人物検出を行える領域が限定されてしまうという問題がある。

本発明は、上記問題点を解決するものであり、人物の歩行方向が一定でない場合においても画像中の検出領域を限定することなく、人物の存在位置および歩行方向を含む人物検出を行うことができる人物検出装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る人物検出装置は、動画像に含まれる人物を検出する装置であって、人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を生成する時空間ボリューム生成手段と、生成された３次元時空間画像から、当該３次元時空間画像を切断したときの切断面または切断片における画像である実画像時空間断片を抽出する時空間断片抽出手段と、人物の動き特性を規定した人物動きモデルに基づいて、当該人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力手段と、前記時空間断片抽出手段が抽出した実画像時空間断片と前記時空間断片出力手段が出力した人体部位動きモデル時空間断片とを照合する時空間断片照合手段と、前記時空間断片照合手段による照合結果に基づいて、前記動画像における人物の存否を含む人物属性を出力する属性出力手段とを備えることを特徴とする。これによって、実画像から生成された実画像時空間断片と、典型的な人物の動きを表現した人物動きモデルから生成された人体部位動きモデル時空間断片とが照合されるので、例えば、照合の一致度が一定基準を満たす実画像時空間断片と人体部位動きモデル時空間断片の探索が可能となり、人物の歩行方向や画像中の検出領域を限定することなく、人物の存在位置および歩行方向を含む人物検出を行うことができる。

ここで、前記時空間断片抽出手段は、前記フレーム画像を切断する断片抽出線を決定し、決定した断片抽出線を時間軸に沿って並べることによって得られる面を切断面として前記実画像時空間断片を抽出することとし、例えば、前記３次元時空間画像における人物の脚を切断する断片抽出線を用いて前記実画像時空間断片を抽出する。一方、前記時空間断片出力手段は、人物の歩行特性を規定した人物動きモデルに基づいて、当該人物動きモデルの歩行時における脚を切断する切断面によって得られる人体部位動きモデル時空間断片を生成する。これによって、人物の動きに特有の歩行特性を利用した人物検出が行われるので、歩行特性を持たない車等の移動物体が誤って検出されてしまうことが回避される。

なお、人物動きモデルの具体例として、例えば、２本の脚に対応する一端どうしが結合された２本の線分で表現され、各線分が結合点を回転中心として一定の角速度ωで交互に最大角度２θ_Lまで回転するように規定されるモデルを挙げることができる。

また、前記時空間断片照合手段は、前記実画像時空間断片に対して、前記時空間断片出力手段が出力した一歩分の人体部位動きモデル時空間断片を時間方向に走査していったときの画像どうしの一致度を算出することによって、前記照合を行うのが好ましい。これによって、人間の歩行が周期的な動作であることを利用することで、簡易な画像マッチングで人物を確実に検出することができる。

また、前記人物検出装置はさらに、前記時空間ボリューム生成手段によって生成された３次元時空間画像から、当該３次元時空間画像に存在する移動物体の移動方向を算出する移動方向算出手段を備え、前記時空間断片抽出手段は、前記移動方向算出手段によって算出された移動方向に従って前記断片抽出線を決定してもよい。このとき、前記移動方向算出手段は、例えば、前記３次元時空間画像を構成するフレーム画像ごとに前記移動物体を抽出し、抽出した移動物体のフレーム画像間における動きベクトルを求めることによって、前記移動物体の移動方向を算出してもよいし、前記３次元時空間画像を構成するフレーム画像ごとに小領域に区分し、小領域ごとにフレーム画像間における動きベクトルを求めることによって、前記移動物体の移動方向を算出してもよい。これによって、人物の移動方向に追随して断片抽出線が決定されるので、人物の移動方向や位置に拘わらず、最も適切な時空間断片を生成する断片抽出線、例えば、画像中の人物の位置に拘わらず常に人物の脚を切断するような断片抽出線が自動決定される。なお、前記断片抽出線は、例えば、直線または曲線である。

また、前記属性出力手段は、前記時空間断片照合手段により前記実画像時空間断片と前記人体部位動きモデル時空間断片とが一定の基準以上に一致すると照合された場合に、前記切断面または切断片を特定するパラメータと前記人体動きモデルを特定するパラメータとから前記動画像における人物の位置および移動方向を算出して出力し、前記人物検出装置はさらに、前記属性出力手段から出力された人物の位置および移動方向を含む人物属性を表示する表示手段を備えてもよい。これによって、動画像における人物の存否だけでなく、検出された人物の位置や移動方向も特定され、監視装置におけるカメラの追随制御等に利用することができる。

また、前記人物検出装置はさらに、前記時空間断片抽出手段によって抽出された実画像時空間断片が人物の歩行に特有の周期的動作に基づく画像であるか否かを解析する周期性解析手段を備え、前記時空間断片抽出手段は、前記周期性解析手段による解析結果に基づいて断片抽出線を変更し、変更した断片抽出線を用いて再び実画像時空間断片を抽出してもよい。このとき、前記周期性解析手段は、例えば、前記実画像時空間断片を構成する各時間における画像を示す１次元データに対して自己相関関数を求めることによって相関長の時系列データを生成し、生成した相関長の時系列データにおいて周期性が存在する場合に、前記実画像時空間断片が人物の歩行に特有の周期的動作に基づく画像であると解析し、前記相関長の時系列データに対して自己相関関数を求めることによって相関長に対する自己相関関数値の変化を示すグラフを求め、そのグラフにおいてピークが存在する場合に、相関長の時系列データに周期性が存在すると判断してもよい。これによって、実画像時空間断片において人物の動きに特有の歩行特性に基づく周期性が検出されるように断片抽出線のパラメータが変更され、決定されるので、人物の歩行方向や位置に依存することなく、確実に人物が検出される。

また、前記人物検出装置はさらに、前記時空間断片照合手段による照合結果に基づいて、前記時空間断片抽出手段に前記切断面または切断片を特定するパラメータを変更させたうえで再び実画像時空間断片を抽出させること、および、前記時空間断片出力手段に前記人体動きモデルを特定するパラメータを変更させたうえで再び人体部位動きモデル時空間断片を出力させることの少なくとも１つを実行させることで、前記切断面または切断片を特定する最適なパラメータおよび前記人体動きモデルを特定する最適なパラメータを探索する解探索手段を備えてもよい。このとき、前記解探索手段は、例えば、遺伝的アルゴリズムを用いて最適なパラメータを探索するのが好ましい。これによって、より短時間で精度の高いパラメータが決定され、人物の存在位置および移動方向の検出が正確となる。

また、前記時空間ボリューム生成手段は、前記フレーム画像を背景差分またはフレーム間差分した後に２値化して得られる画像を少なくとも１枚以上重ね合わせることによって前記３次元時空間画像を生成してもよい。これによって、移動する物体のみから３次元時空間画像が生成されるので、照合速度の高速化および照合精度の向上が図られる。

また、前記時空間断片出力手段は、予め記憶する複数の異なる種類の人物動きモデルの中から選択した人物動きモデルに対応する人体部位動きモデル時空間断片を生成して出力し、前記時空間断片照合手段は、前記照合による結果が一定の基準を満たさない場合に、前記時空間断片出力手段に新たな人物動きモデルに対応する人体部位動きモデル時空間断片を生成して出力させることで、前記照合を繰り返してもよい。このとき、前記時空間断片出力手段が予め記憶する複数の人物動きモデルの例として、モデリングの対象となる人物の性別、年齢、人物が歩行する路面の状況、および、歩行する場所における混雑度の少なくとも１つが異なるようにしておいてもよい。これによって、動画像に含まれる人物の存否、位置、移動方向だけでなく、人物の性別や年齢等のタイプ、路面の状況や混雑度等の動き空間に関する環境についても判別が可能となる。

なお、本発明は、人物検出装置として実現することができるだけでなく、動画像に含まれる人物の画像と予め蓄積している人物の画像とを照合する装置であって、上記人物検出装置と、パン、チルトおよびズームの少なくとも１つの機能を有する照合カメラと、前記人物検出装置で検出され人物の位置または移動方向に基づいて、前記照合カメラによるパン、チルトおよびズームの少なくとも１つを制御するカメラ制御手段と、前記照合カメラにより撮影された人物の画像と予め蓄積している人物の画像とを照合する人物照合手段とを備える人物照合装置として実現することもできる。これによって、特定の人物を探し出したり、人物を認証したりする人物監視装置や人物認証装置等に応用することができる。

また、本発明は、人物の動き特性を規定した人物動きモデルを画像上の人物の動きにフィッティングさせる装置であって、人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を生成する時空間ボリューム生成手段と、生成された３次元時空間画像から、当該３次元時空間画像を切断したときの切断面または切断片における画像である実画像時空間断片を抽出する時空間断片抽出手段と、前記人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力手段と、前記時空間断片抽出手段が抽出した実画像時空間断片と前記時空間断片出力手段が出力した人体部位動きモデル時空間断片とを照合する時空間断片照合手段と、前記時空間断片照合手段による照合結果に基づいて、前記人物動きモデルが前記動画像における人物の動きを示すように、前記人物動きモデルを特定するパラメータの値を決定するモデルフィッティング手段とを備える人物モデルフィッティング装置として実現することもできる。これによって、マーカー等の特殊な装置を被写体に取り付けることなく、画像に存在する人物に対してモデルをフィッティングすることができ、個々の人物がもつ個性を反映したモデルデータが容易に作成される。よって、作成されたモデルデータを照合の基準として使用することで、特定の人物を検出する装置が実現される。

また、本発明は、動画像に含まれる人物の検出に用いられる画像等を生成する装置であって、動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を切断したときの切断面または切断片における画像を時空間断片としたときに、人物の動き特性を規定した人物動きモデルに基づいて、当該人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力手段を備える画像生成装置として実現することもできる。これによって、人物動きモデルから特徴的な人体部位の動きを表現した時空間断片が生成されるので、例えば、上記人物検出装置における照合対象となる各種人物モデルに対応した基準データを生成する専用の装置として利用することができる。

なお、本発明は、このような人物検出装置、人物照合装置、人物モデルフィッティング装置および画像生成装置として実現することができるだけでなく、人物検出方法、人物照合方法、人物モデルフィッティング方法および画像生成方法として実現したり、そのような方法をコンピュータに実行させるプログラムとして実現したり、プログラムが記録されたコンピュータ読み取り可能な記録媒体として実現することもできる。

以下、本発明の実施の形態について、図面を用いて説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態における人物検出装置について説明する。

図１は、本実施の形態における人物検出装置の構成を示す機能ブロック図である。この人物検出装置は、街頭や駐車場、店舗内などを撮影した映像中に存在する人物を検出する装置であり、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５、時空間断片照合部１６、属性出力部１７および表示部１８を備える。なお、本実施の形態では、時空間断片を画像として抽出した場合について述べるが、時空間断片は、必ずしも画像である必要はなく、画像から抽出した特徴量や楕円、直線等の当てはめによって抽出したパラメータであってもよい。

図１において、カメラ１０は、映像を撮影し、撮影した映像をフレーム毎に映像処理部１１に出力する撮像装置である。映像処理部１１は、入力された映像に対してフレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する処理部である。

連続画像処理部１２は、入力画像から３次元時空間画像を生成する場合は、入力画像をフレームの時間順に蓄積し、一方、時空間ボリュームを画像以外で生成する場合は、入力画像を用いて特徴抽出や楕円、直線等の当てはめを行い、その結果をパラメータとして時間順に蓄積する処理部である。

時空間ボリューム生成部１３は、予め決定したフレーム数Ｎ枚分の画像もしくはパラメータを用いて時空間ボリュームを生成する処理部である。時空間断片抽出部１４は、時空間ボリューム生成部１３で生成された時空間ボリュームを用いて時空間断片を抽出する処理部である。ここで、時空間断片とは、時空間ボリュームが示す３次元空間画像を時間軸に沿って切断したときの切断面または切断片における画像である。たとえば、３次元空間画像をフレームの横軸に平行でかつ時間軸に平行な面で切断したときの切断面における画像であり、このときには、フレームの横軸と時間軸とからなる２次元画像となる。なお、切断片とは、厚みを持った切断面に相当し、切断片における画像は、３次元画像となる。

人体部位動きモデル時空間断片出力部１５は、人物動きモデルに従った人体部位動きモデル時空間断片を出力する処理部である。時空間断片照合部１６は、時空間断片抽出部１４において生成された実画像からの時空間断片と人体部位動きモデル時空間断片出力部１５において人物動きモデルから生成された人体部位動きモデル時空間断片との照合を行う処理部である。

属性出力部１７は、時空間断片照合部１６の結果を用いて、検出した人物の位置、歩行方向、角速度等を算出したり、ｔ秒後の人物の存在位置を予測したりする処理部である。表示部１８は、時空間断片照合部１６で検出された人物の存在位置と歩行方向を俯瞰図に配置して表示する処理部およびディスプレイ等である。

以下に、本実施の形態における人物検出装置の動作について、図２のフローチャートを用いて詳細に説明する。

まず、Ｓ２０１にて、カメラ１０は、移動物体等の対象物の映像を撮影する。なお、カメラ１０は、複数のカメラにより構成されてもよい。

次に、Ｓ２０２にて、映像処理部１１は、カメラ１０から入力された映像に対して、フレーム毎にフレーム間差分処理、若しくは、背景差分処理を行い、閾値により映像を２値化する。なお、背景差分処理を行う場合は、人物の存在しない背景となる画像を事前に準備しておく。

次に、Ｓ２０３にて、連続画像処理部１２は、２値化処理された画像を、時空間ボリュームを生成するために、バッファとして画像を内蔵のハードディスク等に蓄積しておき、フレーム毎に時空間ボリューム生成部１３に画像を送信したり、時空間ボリュームを画像以外から生成する場合には、入力画像を用いて特徴抽出や楕円、直線等の当てはめを行い、その結果をパラメータとして出力したりする。

次に、Ｓ２０４からＳ２０６にて、時空間ボリューム生成部１３は、予め決定したフレーム数Ｎ枚分の画像、若しくは、時刻Ｎ分のパラメータを用いて時空間ボリュームを生成する。ここで、新たに連続画像処理部１２からＮ＋１枚目の画像が送信された場合は、Ｓ２０６にて、時空間ボリュームの１枚目を破棄することによって、常時、Ｎフレーム分の画像を保持した時空間ボリュームを生成する。

なお、時空間ボリュームの生成方法については後述する。ここでは、必ずしも、１枚ずつ入力および破棄する必要はなく、時刻Ｎ分の連続したデータを取得する手法であれば何でもよい。

次に、Ｓ２０７にて、時空間断片抽出部１４は、断片抽出線のパラメータを決定し、決定した断片抽出線を用いて、時空間ボリューム生成部１３で生成された時空間ボリュームから時空間断片を抽出する。

ここで、図３を用いて、時空間断片の作成方法を説明する。図３（ａ）は、時空間ボリューム２１を示し、図３（ｂ）は、断片抽出線２３により決定された時空間断片２２を示す。図３（ｂ）に示される時空間断片２２は、時空間ボリューム２１を構成する各フレームにおける断片抽出線２３での１次元画像を時間軸に並べたものであり、時空間ボリューム２１が示す３次元時空間画像を時間軸に沿って切断したときの切断面における画像に相当する。

ここで、時空間断片を抽出するための断片抽出線２３は、図３（ａ）に示されるように、直線だけでなく、曲線であってもよい。さらに、一定の厚み（太さ）を持つ線であってもよい。なお、断片抽出線の決定方法については、後述する。

次に、Ｓ２０８にて、人体部位動きモデル時空間断片出力部１５は、Ｓ２０７にて決定した断片抽出線のパラメータに基づいて人物動きモデルのパラメータを決定し、決定した人物動きモデルのパラメータに基づいて生成した人物動きモデルから人体部位動きモデル時空間断片を生成する。なお、人物動きモデルのパラメータ決定方法および人体部位動きモデル時空間断片の生成法については、後述する。

次に、Ｓ２０９にて、時空間断片照合部１６は、時空間断片抽出部１４が抽出した時空間断片と人体部位動きモデル時空間断片出力部１５が生成した人体部位動きモデル時空間断片とのマッチングを行う。

そして、Ｓ２１０にて、時空間断片照合部１６は、時空間断片と人体部位動きモデル時空間断片とを照合し、照合結果が一致でない場合は（Ｓ２１０でＮＯ）、Ｓ２１１に移行し、人物動きモデルのパラメータをすべて試行していないときは（Ｓ２１１でＮＯ）、Ｓ２０８に移行し、人体部位動きモデル時空間断片出力部１５が新たな人体部位動きモデル時空間断片を生成し、一方、人物動きモデルのパラメータをすべて試行したときは（Ｓ２１１でＹＥＳ）、Ｓ２０７に移行し、再度、時空間断片抽出部１４が断片抽出線２３を決定する。

一方、Ｓ２１０にて、照合結果において時空間断片と人体部位動きモデル時空間断片とが一致するかもしくは閾値以上である場合は（Ｓ２１０でＹＥＳ）、時空間断片照合部１６は、その時点における断片抽出線のパラメータ、および人物動きモデルのパラメータを属性出力部１７に出力する。

そして、Ｓ２１２にて、属性出力部１７は、人物の存在が確認できた場合には、人物の存在位置および歩行方向を算出し、表示部１８に出力する。最後に、Ｓ２１３にて、表示部１８は、人物の存否、存在位置および歩行方向を画面に表示する。

ここで、時空間断片抽出部１４について、図４を用いて詳しく説明する。時空間断片抽出部１４は、図４に示されるように、実空間における人物の存在位置および移動方向を実空間上に表現する座標軸であるワールド座標系において時空間ボリュームを切断する断片抽出線２３を決定する断片抽出線生成部３０、カメラ１０の設置に関するパラメータを用いてワールド座標系から画像平面を表現するピクセル座標系への変換を行う座標変換部３１、時空間ボリューム２１から時空間断片２２の抽出を行う時空間ボリューム切断部３２を備える。

以下、断片抽出線として、直線で生成する場合について述べる。
まず、断片抽出線生成部３０は、ワールド座標上での直線および曲線を定義する。ここで、断片抽出線生成部３０は、実空間における人物の存在位置および移動方向に基づいて直線および曲線を生成するために、座標軸を実空間上に表現するワールド座標系を用いる。

なお、ワールド座標を（Ｘ_W、Ｙ_W、Ｚ_W）で示す。ワールド座標の詳細は、徐、辻著、「３次元ビジョン」、９ページ、共立出版、１９９８年発行に記述されている。

ここで、Ｚ_Wをワールド座標上における天地方向と仮定してＺ_Wを一定値とすると、図５に示されるように、ワールド座標における断片抽出線２３は、以下の式１で定義することができる。

θ_wは、実空間を表現するワールド座標上において存在する人物の歩行方向に関するパラメータとなる。切片ｂ_wを求めることができれば、ワールド座標上における人物の歩行は、この式１で示される直線上に乗っていることになる。なお、断片抽出線２３は、曲線を用いることも可能であり、例えば、歩行のゆらぎに合わせた曲線を用いることも有効である。この場合、歩行周期を仮定することによって、sinカーブ等で断片抽出線を決定し、位相をずらしながら断片抽出を行うことによって、歩行における周期的な上下動に合った断片抽出を行うことができる。

さらに、例えば、膝下から足首までの動きに基づいて人物検出を行いたい場合は、断片抽出線に厚みを持たせることによって、実現可能である。この場合、時空間ボリュームから抽出される時空間断片は、一定の厚みを持ったものとなる。また、上記θ_wおよびｂ_wは、監視領域内を網羅するような組み合わせをとることになり、後述する時空間断片照合部１６の照合結果により、順次、決定される。なお、他の検出手法と併用する場合には、その検出結果をもとに前記２つのパラメータを決定すればよく、必ずしも網羅的である必要はない。

他の検出手法と併用する場合については、第４および第５の実施の形態で説明する。
次に、座標変換部３１は、このθ_wおよびｂ_wのパラメータにより生成された断片抽出線２３を、カメラ１０の設置位置、焦点距離、スケールファクタ等の予め既知のパラメータを用いて、ワールド座標系から、画像平面を表現するピクセル座標系への変換を行う。この変換により、断片抽出線は２次元画像上の線となる。

次に、時空間ボリューム切断部３２は、時空間断片の抽出を行う。この時空間断片の抽出は、座標変換部３１で生成されたピクセル座標系における断片抽出線を用いて、時空間ボリューム生成部１３で生成された時空間ボリュームを切断することによって行う。

次に、時空間断片照合部１６は、時空間ボリューム切断部３２で抽出された時空間断片と人体部位動きモデル時空間断片出力部１５から出力された人体部位動きモデル時空間断片とを照合し、照合結果から断片抽出線のパラメータ変更を示す信号である断片抽出線パラメータ変更信号を断片抽出線生成部３０に出力する。

以下、同様に、時空間断片抽出部１４は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線を作成し、時空間断片を作成する。

次に、人体部位動きモデル時空間断片出力部１５について、詳細に説明する。
人体部位動きモデル時空間断片出力部１５は、図６に示されるように、断片抽出線２３を用いてワールド座標上における人物の歩行をモデル化する人物動きモデル生成部５０、ワールド座標系からピクセル座標系への変換を行う座標変換部５１、人物動きモデルに従った時空間断片を生成する時空間断片出力部５２を備える。

本実施の形態では、脚を表現する２本の線分を用いて人物の歩行をモデル化した例について説明する。なお、膝関節や足首等を考慮してより精細な人物動きモデルを用いても構わない。さらに、胴体、頭部、腕、手の動きも同時にモデル化することも可能である。また、線分に限らず楕円などを用いて人物の動きをモデル化してもよい。

まず、人物動きモデル生成部５０は、ワールド座標系における歩行１歩分を基本単位として、図７に示されるように、人物動きモデルが歩行するワールド座標上での位置（ｘ_start、ｙ_start）および角速度ωを決定する。ここで、位置（ｘ_start、ｙ_start）は、時空間断片抽出部１４で決定したワールド座標上における断片抽出線２３上の１点であるとする。

なお、図７は、人物動きモデルにおいて、脚を最大に開いた場合を示す。また、次の１歩は、（ｘ_2nd、ｙ_2nd）を起点として、角速度ω、角度２θ_Lまで移動するものである。

人物動きモデルに関するパラメータであるワールド座標上での位置（ｘ_start、ｙ_start）および角速度ωの決定方法について説明する。

断片抽出線生成部３０で決定した断片抽出線のパラメータθ_wおよびｂ_wは、ワールド座標上における直線を表現している。人物動きモデルのパラメータである、ワールド座標上での位置（ｘ_start、ｙ_start）は、このワールド座標上での直線上であるとの拘束のもとに、監視領域内の位置について網羅的にパラメータを決定する。なお、他の検出手法と併用する場合には、その検出結果をもとに位置に関するパラメータを決定すればよく、必ずしも網羅的である必要はない。

次に、人物動きモデル生成部５０における人物動きモデルの動作について述べる。人物動きモデルは、図７に示されるように、人間の脚の動きをモデル化したものであり、２本の直線を脚とし、ワールド座標における位置（ｘ_start、ｙ_start）を起点として、角速度ωで人物動きモデルの脚を動かすことによって、一歩分の歩行を生成する。人物動きモデルの股間の角度を２θ_Lとした場合、２θ_L／ωが一歩歩行するのにかかる時間もしくはフレーム数となる。ここで、ωは、人物の歩行速度を考慮して、可能性のある角速度ωを網羅的に試行することとしたため、角速度ωとワールド座標における位置（ｘ_start、ｙ_start）の組み合わせ分の人体部位動きモデル時空間断片を生成する。なお、本実施の形態では、脚の長さＬおよび股間の角度θ_Lは、事前に設計者が決定した場合について説明するが、これらのパラメータも状況に応じて変化させ、数種類の人物動きモデルを用意することで、より精細な人物動きモデルとすることも可能である。また勿論、人物動きモデルが生成する歩行は、１歩に限定するものではなく、数歩分を基本単位とすることも可能である。

次に、座標変換部５１は、座標変換部３１と同様に、カメラ１０の設置位置、焦点距離、スケールファクタ等の予め既知のパラメータを用いて、人物動きモデルが生成したワールド座標上での１歩分の人物動きモデルをピクセル座標系での歩行に変換することによって、人物動きモデルから時空間ボリュームを生成する。

次に、時空間断片出力部５２は、座標変換部５１で生成されたピクセル座標系での時空間ボリュームに対して、時空間断片抽出部１４と同じθ_wおよびｂ_wのパラメータを用いて時空間断片を生成する。

なお、ここでは、人物動きモデル生成部５０において生成した人物動きモデルを用いて、座標変換部５１で時空間ボリュームを生成し、時空間ボリュームから人物動きモデルの時空間断片を生成したが、人物動きモデルの特定部位に着目することによって、特定部位の動きを直接計算することにより、時空間断片を生成することも可能である。この場合、人物動きモデルを脚の動きとしてモデル化しているが、人体部位動きモデル時空間断片は、足首位置などのように、脚の一部位に着目した断片として生成されることになる。このように、特定部位の動きを直接計算することによって、人体部位動きモデル時空間断片を生成すれば、計算量を削減でき、かつ、人物特有の部位の動きを用いることで、人物検出が容易になる利点がある。

次に、時空間断片照合部１６は、時空間断片抽出部１４で抽出された時空間断片と人体部位動きモデル時空間断片出力部１５から出力された人体部位動きモデル時空間断片とを照合し、照合結果から人体部位動きモデル時空間断片のパラメータ変更を示す信号である人体部位動きモデル時空間断片パラメータ変更信号を、人物動きモデル生成部５０に出力する。

以下、同様に、人体部位動きモデル時空間断片出力部１５は、人体部位動きモデル時空間断片パラメータ変更信号の入力が終了するまで、人物動きモデルから人体部位動きモデル時空間断片を作成する。

以上のように、人物動きモデルのパラメータは、断片抽出線のパラメータによる拘束のもとに決定されるものであり、人物動きモデルのパラメータが第１の処理ループ、断片抽出線のパラメータが第２の処理ループとすると、第１のループは、第２の処理ループに含まれるものである。

次に、時空間断片照合部１６について図８を用いて説明する。時空間断片照合部１６は、時空間断片抽出部１４において抽出された時空間断片と人体部位動きモデル時空間断片出力部１５において人物動きモデルから生成された人体部位動きモデル時空間断片との照合を行う照合処理部１５０と、照合結果を保持し、予め定めた閾値と比較し、照合結果またはパラメータの変更要求を出力する比較部１５２とを備える。

照合処理部１５０は、実画像から抽出した時空間断片に対し、人物動きモデルから生成した人体部位動きモデル時空間断片を時間方向にスキャンしながらマッチングを行うことで照合する。以下、２値化された画像に対しての照合例を説明する。

図９（ａ）は、実画像から抽出した人物の脚の動きに着目した時空間断片７０であり、図９（ｂ）は、人物動きモデルから生成した人体部位動きモデル時空間断片７１であり、図９（ｃ）は、両者の照合得点であるマッチングスコアを示す。

実画像から抽出された時空間断片７０に対し、人物動きモデルから生成された人体部位動きモデル時空間断片７１を上から下方向に１ピクセル毎にスキャンし、マッチングスコアを計算する。なお、本実施の形態では、マッチングスコアを計算する工程をステップと称する。

ここで、マッチングスコアは、時空間断片７０および人体部位動きモデル時空間断片７１を、"０"および"１"の２値化した場合に、画素の値が、"１"のピクセルをＯＮピクセルとし、画素の値が、"０"のピクセルをＯＦＦピクセルとし、人体部位動きモデル時空間断片７１のＯＮピクセルおよびＯＦＦピクセルを、時空間断片７０のＯＮピクセルおよびＯＦＦピクセルと照合するものである。

まず、時空間断片７０の任意の場所に、人体部位動きモデル時空間断片７１を重ね合わせる。

次に、人体部位動きモデル時空間断片７１を基準として、人体部位動きモデル時空間断片７１がＯＮピクセルであり、かつ、時空間断片７０もＯＮピクセルである場合のＯＮピクセルの照合数を算出する。

次に、人体部位動きモデル時空間断片７１を基準として、人体部位動きモデル時空間断片７１がＯＦＦピクセルであり、かつ、時空間断片７０もＯＦＦピクセルである場合のＯＦＦピクセルの照合数を算出する。

次に、ＯＮピクセルの照合数を人体部位動きモデル時空間断片７１のＯＮピクセル数で正規化した値とＯＦＦピクセルの照合数を人体部位動きモデル時空間断片７１のＯＦＦピクセル数で正規化した値とを加算することでマッチングスコアとする。

なお、マッチングスコアの計算方法は、他の方法を用いることも可能である。
図９（ｃ）の照合結果に示されるように、人体部位動きモデル時空間断片７１をステップ毎にスキャンしながらマッチングスコアを計算し、比較部１５１に出力する。

次に、比較部１５１は、スキャン処理の中で最大のマッチングスコアを示したスコアを予め定めた閾値と比較し、閾値を上回るマッチングスコア、そのステップ数および人物動きモデルのパラメータを照合結果として属性出力部１７に出力する。なお、ここでは、最大のマッチングスコアを示したスコアに対してのみ閾値と比較したが、ステップ毎に閾値と比較しても構わない。

更に、時空間断片照合部１６は、マッチングスコアが閾値以下であり、全ての人物動きモデルのパラメータについての検討が終了していない場合は、人体部位動きモデル時空間断片のパラメータの変更を要求する人体部位動きモデル時空間断片パラメータ変更信号を人体部位動きモデル時空間断片出力部１５に出力し、全ての人物動きモデルのパラメータについての検討が終了している場合は、断片抽出線のパラメータの変更を要求する断片抽出線パラメータ変更信号を時空間断片抽出部１４に出力する。

なお、人体部位動きモデル時空間断片パラメータ変更信号および断片抽出線パラメータ変更信号には、断片抽出線２３のパラメータであるθ_wおよびｂ_w、人物動きモデルのパラメータである（ｘ_start、ｙ_start）およびωが含まれる。

また、図９（ａ）における時間は、時空間ボリューム生成部１３で、予め決定したフレーム数Ｎであり、図９（ｂ）における時間は、人物動きモデル生成部５０で生成された人物動きモデルの股間角度を２θ_L、角速度ωとした場合、２θ_L／ωであり、図９（ｃ）におけるステップは、照合処理部１５０で行うスキャン処理のステップ数である。

スキャンが終了したら、断片抽出線パラメータの拘束のもと、人体部位動きモデル時空間断片出力部１５の人物動きモデルのパラメータを変更して、人物動きモデルに関するパラメータの組み合わせを試行する。最高精度の検出結果を得るためには、監視領域を網羅するすべてのパラメータの組み合わせを試行するが、準最適精度の検出結果でもよい場合には、照合処理部１５０での閾値によって検出結果とすることも可能である。また、他の初期検出手法を用いて人物候補領域を算出可能な場合は、必ずしも監視領域を網羅する全てのパラメータの組み合わせを試行する必要はない。

次に、再度、時空間断片抽出部１４の断片抽出線のパラメータを変更して、断片抽出線の拘束のもとに、再度、人物動きモデルに関するパラメータの組み合わせを繰り返し試行する。ここでも、最高精度の検出結果を得るためには、監視領域を網羅するすべてのパラメータの組み合わせを試行するが、準最適精度の検出結果でもよい場合には、照合処理部１５０での閾値によって検出結果とすることも可能である。また、他の初期検出手法を用いて人物候補領域を算出可能な場合は、必ずしも監視領域を網羅する全てのパラメータの組み合わせを試行する必要はない。

なお、断片抽出線に厚みを持たせた場合、抽出される時空間断片は、厚みを持った断片となる。この場合、人体部位動きモデル時空間断片も同様に厚みを持った断片とする。この場合、時空間断片照合部では、厚みを持った断片同士を照合してもよいし、時空間ボリュームから抽出した時空間断片と人物動きモデルから生成した人体部位動きモデル時空間断片それぞれを、１枚の画像に圧縮することによって画像同士の照合を行ってもよい。

次に、監視領域を網羅する全てのパラメータの組み合わせの全探索結果、もしくは、照合処理部１５０で閾値以上の探索結果から、最終的に高いマッチングスコアを得たワールド座標上における断片抽出線２３および人物動きモデルのパラメータを人物検出結果とする。ただし、他の初期検出手法を用いて人物候補領域を算出可能な場合は、必ずしも監視領域を網羅する全てのパラメータの組み合わせを試行する必要はない。

次に、属性出力部１７は、時空間断片照合部１６の出力するパラメータの組み合わせ結果を用いて、検出した人物の位置、歩行方向、角速度を基に、ｔ秒後も同じ歩行方向で、かつ、検出時と同様に一定の角速度で移動していることを仮定して、ｔ秒後の人物の存在位置を算出する。

ここで、高いマッチングスコアを得たパラメータの組み合わせのうち、断片抽出線パラメータのθ_wは、ワールド座標上における歩行方向に該当し、人物動きモデルのパラメータ（ｘ_start、ｙ_start）が、人物の存在位置に該当する。また、検出時刻は、パラメータの組み合わせに添付された照合処理部１５０で行うスキャン処理のステップ数により算出され、具体的には、最大のマッチングスコアを示した時のステップ数から算出できる。

人物動きモデルの脚の長さＬおよび股間の角度θ_Lは既知であるため、歩幅を算出可能であり、その歩幅および、人物動きモデルの角速度および歩行方向から、検出を行ってからｔ秒経過後の存在位置を予測するものである。なお、この予測値は、ワールド座標上における人物の存在位置である。

最後に、表示部１８は、時空間断片照合部１６で検出した人物の存在位置と歩行方向を俯瞰図に配置し、表示する。

これにより、時刻、位置、歩行方向を同時に検出することが可能である。なお、本手法は、パラメータの探索方法を限定するものではない。

以上のように、本実施の形態によれば、人物の歩行方向や位置を限定することなく、歩行する人物の存在位置および移動方向を検出し、人物検出を行うことができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態における人物検出装置について説明する。

図１０は、本実施の形態における人物検出装置の構成を示す機能ブロック図である。この人物検出装置は、第１の実施の形態と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する人物を検出する装置であるが、第１の実施の形態に比べて高速な時空間断片の照合が可能であるという特徴を有し、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５、時空間断片照合部１６、属性出力部１７、表示部１８および解探索部１１０を備える。この構成は、第１の実施の形態における人物検出装置の構成に解探索部１１０を付加したものに相当する。以下、第１の実施の形態と異なる点を中心に説明する。

第１の実施の形態では、断片抽出線のパラメータおよび人物動きモデルのパラメータを全探索するか、もしくは、照合結果が閾値以上のパラメータを探索することによって時空間断片の照合を行ったが、本実施の形態では、上記パラメータを決定する解探索部１１０を設けることにより、高速な時空間断片の照合が可能となる。

以下に、本実施の形態の人物検出装置の動作について説明する。なお、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５および時空間断片照合部１６は、第１の実施の形態と同様の動作であるため、説明を省略する。

まず、時空間断片照合部１６は、第１の実施の形態と同様に、時空間断片７０と人体部位動きモデル時空間断片７１との照合を行い、照合後に、マッチングスコア、ステップ数、断片抽出線のパラメータおよび人体部位動きモデル時空間断片のパラメータを解探索部１１０に出力する。なお、照合方法は、第１の実施の形態と同様である。

次に、解探索部１１０は、北野著、「遺伝的アルゴリズム」、１−４１頁、産業図書、１９９３年出版に記載されている遺伝的アルゴリズムを用いて、準最適なパラメータセットを探索し、断片抽出線２３のパラメータであるθ_wおよびｂ_wを断片抽出線生成部３０に、人物動きモデルのパラメータである（ｘ_start、ｙ_start）およびωを出力することによって、高速な人物検出を実現する。

図１１は、解探索部１１０の詳細な構成を示す機能ブロック図である。
解探索部１１０は、時空間断片照合部１６から入力されたマッチングスコアなどのパラメータをビット列に変換するする二値化部１２１、ビット列に変換した複数のパラメータを繋ぎ合わせて１本のビット列としたもののうち、遺伝操作を行うビット列を選択する遺伝子選択部１２２、選択したビット列の組を用いて、突然変異、交差などの遺伝的手法を行いて新たなビット列を生成する遺伝的操作部１２３および生成した新しいビット列を再度実数値に変換する実数変換部１２４を備える。

以下に、解探索部１１０での処理を説明する。
まず、二値化部１２１は、時空間断片照合部１６から入力された、断片抽出線２３のパラメータであるθ_wおよびｂ_w、人物動きモデルのパラメータである（ｘ_start、ｙ_start）およびωをそれぞれビット列に変換し、繋ぎ合わせることによって一つのビット列を生成する。なお、ビット列への変換は、１０進法から２進法への変換である。

次に、遺伝子選択部１２２は、ビット列の初期値を、時空間断片照合部１６から入力されたパラメータの初期値をランダムに選択することによって決定することができ、決定したビット列をマッチングスコアが高い順に並び替える。

なお、他の人物初期検出手法を用いて初期検出を行った結果を初期値とすることも有効である。

次に、遺伝的操作部１２３は、各パラメータを繋ぎ合わせたビット列を遺伝子と考え、マッチングスコア値が高いビット列ほど高確率で親として選択することとし、交叉、突然変異を行うことによって、新たなパラメータのビット列を得る。

ここで、交叉は、例えば、ペアとなる選択された２つのビット列のうち、交叉点と呼ばれる交叉するビット位置を乱数で決定し、交叉点を境にして、前後のビット列を交互に入れ替えることで、新たなビット列を作成するものであり、突然変異は、例えば、ある一定の確率でランダムに、変異を起こすビット位置を決定し、ビット列を反転することによって、ビット列を変化させるものである。ただし、人物動きモデルのパラメータである（ｘ_start、ｙ_start）を表現するビット列は、断片抽出線２３のパラメータであるθ_wおよびｂ_wの直線上であるとの拘束条件を用いる。

なお、遺伝的操作部１２３の出力結果を遺伝子選択部１２２に出力し、遺伝的操作を繰り返すことで、効率良く解の探索が可能となる。

次に、実数変換部１２４は、遺伝的操作部１２３により新たに作成されたビット列を実数値のパラメータに変換し、時空間断片抽出部１４に対して各種パラメータを含む断片抽出線パラメータ変更信号として出力し、人体部位動きモデル時空間断片出力部１５に対して各種パラメータを含む人体部位動きモデル時空間断片パラメータ変更信号として出力する。

次に、時空間断片抽出部１４は、解探索部１１０から入力されたパラメータを含む断片抽出線パラメータ変更信号を基に、断片抽出線２３を決定し、時空間断片を抽出し、人体部位動きモデル時空間断片出力部１５は、解探索部１１０から入力されたパラメータを含む人体部位動きモデル時空間断片パラメータ変更信号を基に、人物動きモデルを生成し、人物動きモデル時空間断片を生成し、それぞれを時空間断片照合部１６へ出力し、時空間断片照合部１６は、それらの照合を行う。

上記の解探索操作を予め定めた一定回数繰り返した後、最大のマッチングスコアを得た直線および人物動きモデルのパラメータを人物検出結果とする。

以後の処理は、第１の実施の形態と同様であるので、ここでの説明は省略する。
以上のように、本実施の形態によれば、断片抽出線２３のパラメータおよび人物動きモデルのパラメータを、遺伝的アルゴリズムにより解探索することにより、全探索しながら時空間断片照合を行う場合に比べて、より高速な人物検出が可能となる。

（第３の実施の形態）
次に、本発明の第３の実施の形態における人物照合装置について説明する。

図１２は、本実施の形態における人物照合装置の構成を示す機能ブロック図である。この人物照合装置は、第１の実施の形態における人物検出装置を用いてカメラを制御することによって人物を照合する装置であり、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５、時空間断片照合部１６、属性出力部１７、表示部１８、カメラ制御部１００、人物照合部１０３および照合カメラ９４−１〜ｎを備える。この構成は、第１の実施の形態における人物検出装置が備える構成にカメラ制御部１００、人物照合部１０３および照合カメラ９４−１〜ｎを付加したものに相当する。以下、第１の実施の形態と異なる点を中心に説明する。

なお、人物検出装置は、第２〜第５の実施の形態における人物検出装置を用いても同様の効果を得ることができる。

カメラ制御部１００は、属性出力部１７の結果を用いて、該当する人物を追跡するものであり、照合カメラ９４−１〜ｎは、パン、チルトおよびズーム機能を持ち、設置されているワールド座標上での位置、可動範囲および撮影可能範囲を記憶しているものである。人物照合部１０３は、照合カメラ９４−１〜ｎの撮影した映像を用いて、人物の照合を行うものである。

表示部１８は、検出された人物を配置した俯瞰図を表示する処理部およびディスプレイ等である。カメラ制御部１００は、人物９１−１〜ｎを撮影可能なワールド座標上で位置が最も近い照合カメラ９４−１〜ｎを算出し、パン、チルト、ズームを行う制御信号を照合カメラ９４−１〜ｎ出力する制御部である。照合カメラ９４−１〜ｎは、その制御信号によりパン、チルト、ズームを行い、該当する人物を撮影する撮像装置である。人物照合部１０３は、撮影された人物と予め蓄積された映像とを比較して人物の照合を行う処理部である。

図１３に、表示部１８に示される俯瞰図９０と人物照合の状態を示す。ここで、俯瞰図９０が人物を監視することのできる領域であり、人物９１−１〜ｎは、人物の位置と歩行方向とを示すものである。俯瞰図９０は、実空間を表現するワールド座標上での位置との対応関係を事前に作成しておくことによって、検出した人物の位置を表示する。

ここで、人物９１−１〜ｎの照合を行う場合について説明する。なお、照合する人物の選択は、カメラ制御部１００が順次選択するのでもよいし、監視者が任意で選択してもよい。

以下に、人物照合装置の動作について詳細に説明する。
まず、属性出力部１７は、予測した人物の位置および時空間断片照合部１６で検出した移動方向の人物情報を表示部１８に出力することで、人物９１−１をモニタ上に表示させるとともに、人物９１−１の位置および移動方向を示す人物情報をカメラ制御部１００に出力する。

次に、カメラ制御部１００は、属性出力部１７から出力された人物情報から最適な照合カメラ９４−１を選択し、人物情報を用いて最適なパン、チルト、ズームの制御量を決定したカメラ制御信号を照合カメラ９４−１に出力する。照合カメラ９４−１は、カメラ制御信号に従って動作することによって、追跡対象の人物を撮影し、表示部１８の俯瞰図９０において、人物９１−１の表示を強調表示する。

次に、照合カメラ９４−１は、カメラ制御信号に基づいて、人物９１−１を撮影し、撮影した画像を人物照合部１０３に出力する。

次に、人物照合部１０３は、図１３の表示例に示されるように、撮影された画像９５と、予め記憶している照合対象の画像９６とを比較し、照合する。ここで、照合結果９７が一致である場合は、照合処理は終了し、照合結果９７が不一致である場合は、属性出力部１７が、次の照合の対象となる人物９１−２を選択し、人物情報をカメラ制御部１００に出力し、以下、同様の処理を、照合結果９７が一致となるか、照合の対象となる人物を全て選択するまで、繰り返す。

なお、カメラ制御部１００より選択される照合カメラ９４は、複数であってもよく、また、照合に用いる画像は、複数の照合カメラ９４により撮影された画像から選択することで、照合精度を向上することができる。

特に、顔照合を行う場合においては、検出した歩行方向を用いて、カメラ制御部１００により、人物の存在位置から人物を撮影可能なカメラを決定し、かつ、各カメラの可動範囲を考慮して、検出した歩行方向と最も正対する方向にカメラを制御することによって、正面の顔画像を撮影することが可能である。これにより、より詳細な顔画像を提供することが可能であると共に、自動顔照合を行う場合においても、顔照合の信頼性を向上させることが可能である。

以上のように、本実施の形態によれば、人物の存在位置と歩行方向を検出し、その結果を基にカメラを制御することによって、より精細な人物の画像を撮影することができる。

（第４の実施の形態）
次に、本発明の第４の実施の形態における人物検出装置について説明する。

図１４は、本実施の形態における人物検出装置の構成を示す機能ブロック図である。この人物検出装置は、第１〜第３の実施の形態と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する人物を検出する装置であるが、移動物体の移動方向を算出し、算出した移動方向に従って断片抽出線を決定する点に特徴を有し、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５、時空間断片照合部１６、属性出力部１７、表示部１８および移動方向算出部１４０を備える。この構成は、第１の実施の形態における人物検出装置が備える構成に移動方向算出部１４０を付加したものに相当する。以下、第１の実施の形態と異なる点を中心に説明する。

第１の実施の形態では、断片抽出線のパラメータおよび人物動きモデルのパラメータを全探索するか、もしくは、照合結果が閾値以上のパラメータを探索することによって時空間断片の照合を行ったが、本実施の形態では、移動物体の移動方向を算出する移動方向算出部１４０を設けることにより、高速な時空間断片の照合が可能となり、より正確な人物検出が可能となる。

以下に、本実施の形態の人物検出装置の動作について説明する。なお、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５および時空間断片照合部１６は、第１の実施の形態と同様の動作であるため、説明を省略する。

まず、時空間ボリューム生成部１３で生成された時空間ボリュームから、画像上での物体の移動方向を算出する移動方向算出部１４０について説明する。

移動方向の算出方法には、対象物体の候補を検出して移動方向を算出する方法と、対象物体の検出は行わずに移動方向を算出する方法とがある。

まず、対象物体の候補を検出して移動方向を算出する方法について説明する。図１５（ａ）に示されるように、１枚の差分画像から、孤立した物体を抽出するラベリングアルゴリズムを用いて、孤立した物体を一つの検出対象物体の候補であると捉える。

ラベリングアルゴリズムによる物体抽出は、画素値が１のピクセルを連結し、異なった連結部には異なったラベルをつけることによって行う。本実施例では、以下のように行った。

まず、時刻ｔにおける２値化された差分画像に対し、画素値が１であり、かつラベルの付けられていない画素Ｐを検出し、ラベルＬを付与する。画素Ｐと連結している画素全てに対し、同じラベルＬを付与する。この操作をラベル付けされていない画素が存在しなくなるまで続けることによって、物体抽出を行う。もちろん、孤立した物体を抽出できるものであれば、他のラベリング手法を用いても構わない。

続いて、図１５（ｂ）に示されるように、時刻ｔ＋１における２値化された差分画像に対し、時刻ｔにおいてラベリングした移動物体候補を画像上で摂動させながらマッチングすることによって、最もマッチング値が高い位置までの動きベクトルを算出する。この動きベクトル算出処理を一定時刻行い、ラベルごとの平均動きベクトルを求めることによって、対象物体候補の移動方向を算出する。

次に、対象物体の検出を行わずに移動方向を算出する方法について説明する。ここでは、図１６（ａ）に示されるように、小領域に区切って算出する方法について説明する。

なお、これは、小領域の区切り方を限定するものではない。
まず、時刻ｔにおける二値化された差分画像に対し、各小領域ごとにある一定数以上の画素値１のピクセルが存在する場合、その小領域を摂動させることによって、時刻ｔ＋１における二値化された差分画像とのマッチングを行う。この時、現在の位置から摂動させた結果、最大のマッチング値を持った位置までの動きベクトルを算出する。これにより、図１６（ｂ）のように、それぞれの小領域において、動きベクトルが算出されることになる。この動きベクトル算出処理を一定時刻行い、各小領域ごとの平均動きベクトルを求める。そして、各小領域ごとに算出した平均動きベクトルを投票し、ある一定値以上の投票が得られた場合に、対象物体候補の移動方向とする。

なお、本実施の形態では、上記のような移動方向算出方法について述べたが、移動ベクトルを算出することができれば、他の物体検出手法を用いても構わない。

以下、時空間断片抽出部１４が断片抽出線２３を直線で生成する場合について述べる。
時空間断片抽出部１４は、図１７に示されるように、断片抽出線を生成する断片抽出線生成部１７１と時空間断片を抽出する時空間ボリューム切断部１７２と画像上での直線および曲線パラメータをワールド座標上における直線および曲線に変換する座標変換部１７３とを備える。

ここで、断片抽出線生成部１７１について説明する。まず、画像上での直線および曲線を定義する。ここでは、画像上に直線を引くことで、断片抽出線２３を求める場合について説明する。

断片抽出線２３は、以下の式２で定義することができる。

ここで、傾きａは、画像上における移動物体の移動方向に関するパラメータとなり、ｂは、画像上での切片である。

傾きａは、移動方向算出部１４０により算出された対象物体候補の移動方向により求めることができる。この傾きａに応じて、切片ｂの値を変更することによって断片抽出線２３を生成し、時空間ボリューム切断部１７２にて、時空間断片２２を抽出することができる。抽出された、時空間断片２２は、時空間断片照合部１６へ送られる。

次に、座標変換部１７３では、断片抽出線生成部１７１で生成された画像上での直線をワールド座標における直線に変換する。人体部位動きモデル時空間断片出力部１５では、ここで変換したワールド座標系における直線にしたがって人物動きモデルを生成するため、以下の動作は、第１の実施の形態と同様である。

次に、時空間断片照合部１６は、第１の実施の形態と同様に、時空間断片７０と人体部位動きモデル時空間断片７１との照合を行い、照合結果から断片抽出線のパラメータ変更を示す信号である断片抽出線パラメータ変更信号を断片抽出線生成部１７１に出力する。

以下、同様に、時空間断片抽出部１４は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。ここで、断片抽出線パラメータ変更信号は、移動方向算出部で算出した移動物体候補の移動方向に基づいて、すべてのパラメータ候補についてパラメータ変更をしてもよいし、属性出力部１７で移動物体検出が行われるまでとしてもよい。

なお、断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるａおよびｂである。

以後の処理は、第１の実施の形態と同様であるので、ここでの説明は省略する。
以上のように、本実施の形態によれば、移動物体の移動方向を算出することによって、断片抽出線２３のパラメータおよび人物動きモデルのパラメータを削減することができ、全探索しながら時空間断片照合を行う場合に比べて、より高速な人物検出が可能となる。

（第５の実施の形態）
次に、本発明の第５の実施の形態における人物検出装置について説明する。

図１８は、本実施の形態における人物検出装置の構成を示す機能ブロック図である。この人物検出装置は、第１〜第４の実施の形態と同様に街頭や駐車場、店舗内などを撮影した映像中に存在する人物を検出する装置であるが、移動物体の移動方向を算出するとともに、歩行に特有の周期的動作をも検証しながら断片抽出線を決定する点に特徴を有し、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５、時空間断片照合部１６、属性出力部１７、表示部１８、移動方向算出部１４０および周期性解析部１９０を備える。この構成は、第１の実施の形態における人物検出装置が備える構成に移動方向算出部１４０および周期性解析部１９０を付加したもの、つまり、第４の実施の形態における構成に周期性解析部１９０を付加したものに相当する。以下、第１および第４の実施の形態と異なる点を中心に説明する。

第１の実施の形態では、断片抽出線のパラメータおよび人物動きモデルのパラメータを全探索するか、もしくは、照合結果が閾値以上のパラメータを探索することによって時空間断片の照合を行ったが、本実施の形態では、移動物体の移動方向を算出する移動方向算出部１４０を設け、さらに歩行に特有な周期的動作を検証する周期性解析部１９０を設けることにより、高速な時空間断片の照合が可能となり、より正確な人物検出が可能となる。

以下に、本実施の形態の人物検出装置の動作について説明する。なお、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、人体部位動きモデル時空間断片出力部１５、時空間断片照合部１６、移動方向算出部１４０は、第１および第４の実施の形態と同様の動作であるため、説明を省略する。

まず、時空間断片抽出部１４が断片抽出線２３を直線で生成した場合について述べる。
本実施の形態では、時空間断片抽出部１４は、移動方向算出部１４０で算出された移動物体の移動方向に基づいて、画像上での直線および曲線を定義する。ここでは、画像上に直線を引くことで、断片抽出線２３を求める場合について説明する。

断片抽出線２３は、以下の式３で定義することができる。

ここで、傾きａは、画像上における移動物体の移動方向に関するパラメータとなり、ｂは、画像上での切片である。

傾きａは、移動方向算出部１４０により算出された対象物体候補の移動方向により求めることができる。この傾きａに応じて、切片ｂの値を変更することによって断片抽出線２３を生成し、時空間断片２２を抽出することができる。抽出された時空間断片２２および断片抽出線２３のパラメータは、周期性解析部１９０へ送られる。

周期性解析部１９０は、図１９に示されるように、時空間断片に対して時刻ｔごとに自己相関関数を計算し、それぞれ相関長を計算する相関長計算部１９１と、それぞれ算出した相関長を時間方向に並べた相関長の時系列に対して、再度、自己相関関数を計算する相関長自己相関計算部１９２と、相関長自己相関計算部１９２から入力された相関長の自己相関関数からピーク位置を検出し、検出したピーク位置が移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定するピーク検出部１９３、ピーク検出部１９３でピークが検出された時の画像上での直線をワールド座標における直線に変換する座標変換部１９４とを備える。

周期性解析部１９０は、時空間断片２２の周期性の解析を行い、その周期性解析が終了したら、断片抽出線２３のパラメータ変更を示す信号である断片抽出線パラメータ変更信号を時空間断片抽出部１４に出力する。

以下、同様に、時空間断片抽出部１４は、断片抽出線パラメータ変更信号の入力が終了するまで、断片抽出線２３を作成し時空間断片２２を作成する。

次に、相関長計算部１９１について説明する。相関長計算部１９１は、図２０（ａ）に示されるような時空間断片２０１に対して、図２０（ｂ）に示される例のように、時刻ｔごとに１次元データ２０２を作成して、それぞれの１次元データ２０２に対して自己相関関数２０３を計算する。

なお、図２０（ａ）の時間は、時空間ボリューム生成部１３で予め決定したフレーム数Ｎである。図２０（ｂ）の長さは、図２０（ａ）に示される時空間断片２０１の幅Ｘである。自己相関関数２０３の計算は、以下の式４で定義することができる。

ここで、ｆ（ｘ）が１次元データ２０２であり、Ｃ（τ）は、自己相関関数２０３である。すなわち、自己相関関数Ｃ（τ）は、１次元データｆ（ｘ）をある間隔τだけずらした場合（ｆ（ｘ＋τ））に、元の１次元データｆ（ｘ）とどれだけ似ているかを示す尺度となる。図２０（ｃ）に、自己相関関数Ｃ（τ）とτの関係を示す。自己相関関数Ｃ（０）は、自分自身との相関を示すことになるために、最大値をとることになる。また、自己相関関数Ｃ（τ_p）は、自己相関関数Ｃ（τ）がピークになる位置τ_pであり、１次元データで相関の高いＯＮピクセルの間隔はτ_pに相当する。自己相関関数Ｃ（τ）においてピークの存在する位置τ_pは、移動物体の脚に着目した場合、歩幅を示すことになる。すなわち、自己相関関数Ｃ（τ）の時間的変化は、移動における歩幅の時間的変化を示すこととなり周期的であることが期待できる。

なお、図２０（ｄ）、（ｅ）、（ｆ）は、歩行の特徴（周期性）が存在しない場合、例えば、断片抽出線が人物の胴体を横切る位置に設定された場合に得られる時空間断片のデータ例であり、それぞれ、時空間断片、時空間断片のある時刻における一次元データの例、周期τと自己相関関数Ｃ（τ）との関係を示すグラフであり、歩行の特徴が存在する場合における図２０（ａ）、（ｂ）、（ｃ）に対応する。図２０（ｆ）に示されるように、時空間断片において周期性が存在しない場合には、自己相関関数Ｃ（τ）のグラフにおいてピークが存在しないことになる。

本実施の形態では、自己相関関数Ｃ（τ_p）のようなピークが必ずしも存在しない場合があることを考慮して、自己相関関数Ｃ（τ）＝０となる位置τ_Lを用いて周期性の解析を行うこととする。これは、脚が閉じている状態時に起こりうる。また、以降、このτ_Lを相関長と呼ぶこととする。なお、本実施の形態においては、自己相関関数Ｃ（τ）＝０となる位置τ_Lを相関長としたが、必ずしも相関関数Ｃ（τ）＝０となる位置τである必要はなく、歩幅の周期的変動を捉えられるものであれば、何でもよい。

相関長τ_Lは、時刻ごとに計算され、時刻ごとに計算された相関長τ_Lを時間順に並べることによって、相関長の時系列データ２１０を得る。相関長τ_Lの時系列データ２１０を図２１（ａ）に示す。相関長τ_Lの時系列データ２１０は、理想的な時空間断片が入力された場合において、歩幅の時間的変化に相当するものとなり、時間に応じて周期的に変動する。

次に、相関長自己相関計算部１９２について詳しく説明する。相関長計算部１９１は、算出した相関長τ_Lの時系列データ２１０を相関長自己相関計算部１９２に出力する。相関長自己相関計算部１９２は、図２１（ａ）に示されるような相関長τ_Lの時系列データ２１０に対して自己相関関数２１１を計算する。計算式は、前述の式４と同様である。この計算結果を図２１（ｂ）に示す。ここで、相関長τ_Lの時系列データ２１０に対して自己相関関数２１１を計算した結果であるＣｔ（α）をピーク検出部１９３に出力する。

なお、断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるｂである。
次に、ピーク検出部１９３について説明する。ピーク検出部１９３では、相関長自己相関計算部から入力された相関長の自己相関関数Ｃｔ（α）からピーク位置α_wを検出し、検出したピーク位置α_wが移動物体の移動周期にマッチしているかどうかを検証することによって移動物体か否かを判定し、移動物体と判定した場合に、移動物体の存在位置と移動方向を特定し、表示部１８に出力する。

すなわち、相関長の自己相関関数Ｃｔ（α）は、τ_L（ｔ）をある間隔αだけずらしたτ_L（ｔ＋α）と、τ_L（ｔ）とがどれだけ似ているかを示す尺度となる。

本実施の形態では、ピーク位置α_wの検出は、位置α＝０から探索を行い、最初のピークを検出することによって行ったが、他のピーク検出手法を用いても構わないし、後述する設計者が決定したフレーム数付近のピークを探索する方法を用いても構わない。

本実施の形態では、移動１歩分の移動周期を検出する場合について述べる。ピーク検出部１９３は、ピーク位置α_wが一歩の移動に必要なフレーム数である場合に、移動物体であると判定する。一歩の移動に必要なフレーム数は、映像処理部１１で１秒間に何フレーム取得できるかによって異なるが、本実施の形態では、１秒間に３０フレーム入力された場合で、２０フレームから３０フレームを一歩の移動に必要なフレーム数とし、ピーク位置αが２０フレームから３０フレームの間に相関長の自己相関関数Ｃｔ（α）のピークが検出された場合に移動物体であると判定する。このフレーム数は、設計者によって自在に決定可能である。なお、より高精度な移動物体判定を行う場合は、２歩以上を一単位とした移動周期を検出することも可能である。その場合は、前記設計者が決定するフレーム数を歩数倍することによって対応可能である。

また、犬やネコ等の動物を検出する場合においても、同様に周期性を判定することが可能である。

さらに、自己相関関数Ｃｔ（α）を計算する代わりにフーリエ変換を用いることも可能である。この場合、特定の周波数にピークが存在するか否かを判定することになる。

なお、本実施の形態では、フレーム毎に画像が入力された場合について述べたが、一定時間ごとにサンプリングした画像を用いてもよい。その場合には、移動物体が一歩移動するために必要な時間から、ピーク検出部１９３のピーク位置α_wを計算すればよい。

また、ピーク検出部１９３は、時空間断片を抽出するためのパラメータ変更を示す信号である断片抽出線パラメータ変更信号を時空間断片抽出部１４に出力する。

以下、同様に、時空間断片抽出部１４は、移動方向算出部から得られたパラメータの拘束のもとに、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。ここで、断片抽出線パラメータ変更信号は、移動方向算出部で算出した移動物体候補の移動方向に基づいて、すべてのパラメータ候補についてパラメータ変更してもよいし、属性出力部１７で移動物体検出が行われるまでとしてもよい。

次に、ピーク検出部１９３は、相関長の自己相関関数から移動物体の移動に特有のピークが検出された場合、断片抽出線パラメータを座標変換部１９４に送信する。

次に、座標変換部１９４は、ピーク検出部１９３でピークが検出された時の画像上での直線をワールド座標における直線に変換する。人体部位動きモデル時空間断片出力部１５は、ここで変換したワールド座標系における直線にしたがって人物動きモデルを生成する。以下の動作は、第１の実施の形態と同様である。

属性出力部１７は、移動物体の存在位置と移動方向を特定し、表示部１８に出力する。
次に、時空間断片照合部１６は、第１の実施の形態と同様に、周期性解析部１９０でピークが検出できた時の時空間断片７０と人体部位動きモデル時空間断片７１との照合を行い、照合結果から断片抽出線のパラメータ変更を示す信号である断片抽出線パラメータ変更信号を時空間断片抽出部１４に出力する。

以下、同様に、時空間断片抽出部１４は、断片抽出線パラメータ変更信号の入力が終了するまで、時空間データからパラメータに従った時空間断片を作成する。ここで、断片抽出線パラメータ変更信号は、移動方向算出部で算出した移動物体候補の移動方向に基づいて、すべてのパラメータ候補についてパラメータ変更してもよいし、属性出力部１７で移動物体検出が行われるまでとしてもよい。
なお、断片抽出線パラメータ変更信号は、断片抽出線のパラメータであるａおよびｂである。

以後の処理は、第１の実施の形態と同様であるので、ここでの説明は省略する。
以上のように、本実施の形態によれば、移動物体の移動方向を算出し、移動物体の周期性を解析することによって、断片抽出線２３のパラメータおよび人物動きモデルのパラメータを削減することにより、全探索しながら時空間断片照合を行う場合に比べて、より高速な人物検出が可能となる。

（第６の実施の形態）
次に、本発明の第６の実施の形態における人物モデルフィッティング装置について説明する。

図２２は、本実施の形態における人物モデルフィッティング装置の構成を示す機能ブロック図である。この人物モデルフィッティング装置は、マーカー等の特殊な装置を被写体に取り付ける必要がなく、画像に存在する人物に対してモデルをフィッティングする装置であり、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５、時空間断片照合部１６、表示部１８およびモデルフィッティング部２２０を備える。この構成は、第１の実施の形態における人物検出装置が備える構成要素のうち、属性出力部１７をモデルフィッティング部２２０に置き換えた構成に相当する。以下、第１の実施の形態と異なる点を中心に説明する。

なお、人物モデルのフィッティングとは、人物動きモデルを画像に存在する人物にフィッティングすることであり、ここでは、図７に示される人物動きモデルのパラメータの値（画像に存在する人物の動きに合致した値）を決定することをいう。

以下に、本実施の形態の人物モデルフィッティング装置の動作について説明する。なお、カメラ１０、映像処理部１１、連続画像処理部１２、時空間ボリューム生成部１３、時空間断片抽出部１４、人体部位動きモデル時空間断片出力部１５および時空間断片照合部１６は、第１の実施の形態と同様の動作であるため、説明を省略する。

モデルフィッティング部２２０は、図２３に示されるように、モデル生成部２３１と座標変換部２３２とを備える。

まず、モデル生成部２３１は、時空間断片照合部１６の出力するワールド座標上での人物の存在位置を示すパラメータの組み合わせ結果から、図７に示される人物動きモデルを再度生成する。人物動きモデルの脚の長さＬおよび股間の角度θ_Lは、既知であるため、これらのパラメータから図７に示される人物動きモデルを生成可能である。

ここで、モデル生成部２３１は、人体部位動きモデル時空間断片出力部１５が備える人物動きモデル生成部５０と同様の機能を有する。

また、この人物動きモデルは、ワールド座標系における存在位置や歩行方向をパラメータとして持つため、座標変換部２３２にて、座標変換を行うことで画像上に人物動きモデルをフィッティングする。具体的には、高いマッチングスコアを得たパラメータの組み合わせのうち、断片抽出線パラメータのθ_wは、ワールド座標上における歩行方向に該当し、人物動きモデルのパラメータ（ｘ_start、ｙ_start）が、人物の存在位置に該当する。また、検出時刻は、パラメータの組み合わせに添付された時空間断片照合部１６の照合処理部１５０で行うスキャン処理のステップ数により算出され、その時刻における画像に座標変換を行ったモデルを重ねることによって、フィッティングを行う。

最後に、表示部１８は、モデルフィッティング部２２０でフィッティングされた画像を表示する。

以上のように、本実施の形態によれば、マーカー等の特殊な装置を被写体に取り付ける必要がなく、画像に存在する人物に対してモデルをフィッティングすることができる。

なお、本実施の形態は、第２、第４および第５の実施の形態のように計算時間短縮のための構成をとる事も可能である。

以上、本発明に係る人物検出装置、人物照合装置および人物モデルフィッティング装置について、６つの実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。

たとえば、第１の実施の形態等では、人体部位動きモデル時空間断片出力部１５の人物動きモデル生成部５０は、時空間断片抽出部１４から出力される断片抽出線のパラメータに基づいて具体的なパラメータを持つ人物モデルを生成したが、予め複数の人物動きモデルテンプレートを保持しておき、その中から、最適なテンプレートを選択して出力してもよい。例として、人体部位動きモデル時空間断片出力部１５が、図２４に示されるように、大人（男性）、大人（女性）、子供および老人というタイプ別の人物動きモデルテンプレートの中から、時空間断片抽出部１４から出力されたパラメータに近いものを選択し、選択した人物動きモデルテンプレートの人体部位動きモデル時空間断片を出力する。そして、時空間断片照合部１６は、時空間断片抽出部１４から出力される時空間断片と人体部位動きモデル時空間断片出力部１５から出力される人体部位動きモデル時空間断片とを照合する。照合の結果、一定の基準が満たされない場合には、人体部位動きモデル時空間断片出力部１５は、次の候補となる人物動きモデルテンプレートを選択し、その人物動きモデルテンプレートの人体部位動きモデル時空間断片を出力し、時空間断片照合部１６が照合を繰り返す。これによって、最も一致度の高い人物動きモデルテンプレートが決定され、対象画像中の人物のタイプが決定される。

なお、図２４に示された人物動きモデルテンプレートでは、各パラメータは、１つの値に設定されていたが、一定の範囲（例えば、子供のパラメータＬとして３００〜７００ｍｍ等）が設定されていてもよい。この場合には、設定された範囲内で時空間断片照合部１６が繰り返して照合計算を行うことで、最適な値や最適なタイプの人物動きモデルテンプレートを探索すればよい。

また、このような人物動きモデルテンプレートとしては、人物のタイプ別に限られず、図２５に示されるように、歩行する路面の状況別に複数のテンプレートを用意しておいたり、図２６に示されるように、歩行する場所における混雑度別に複数のテンプレートを用意しおいてもよい。これによって、画像から得られる時空間断片に最も近い人体部位動きモデル時空間断片を生成する人物動きモデルテンプレートを探索することで、人物だけでなく、歩行の環境についても、各種状況を判断することができる。つまり、人物が歩行している映像から、人物のタイプだけでなく、路面状況、歩行場所における混雑度等をある程度予測することができる。

本発明は、人物の存在、位置、歩行方向等を検出する人物検出装置等として、例えば、街頭や施設内に設置する監視装置や建物への入退出時における認証装置等として、特に、人物の現在位置、歩行方向が既知でない場合においても、画像中の検出領域を限定することなく、人物検出を行うことが可能な人物検出装置、人物照合装置等として利用することができる。

図１は、本発明の第１の実施の形態における人物検出装置の構成を示す機能ブロック図である。 図２は、本発明の第１の実施の形態における人物検出装置の動作を示すフローチャートである。 図３は、本発明の第１の実施の形態における時空間断片の抽出を示す図である。 図４は、本発明の第１の実施の形態における時空間断片抽出部の構成を示す機能ブロック図である。 図５は、本発明の第１の実施の形態におけるワールド座標上の断片抽出線を示す図である。 図６は、本発明の第１の実施の形態における人体部位動き時空間断片出力部の構成を示す機能ブロック図である。 図７は、本発明の第１の実施の形態における人物動きモデルを示す図である。 図８は、本発明の第１の実施の形態における時空間断片照合部の構成を示す機能ブロック図である。 図９（ａ）は、本発明の第１の実施の形態における時空間断片を示す図であり、図９（ｂ）は、本発明の第１の実施の形態における人体部位動きモデル時空間断片を示す図であり、図９（ｃ）は、本発明の第１の実施の形態におけるマッチングを示す図である。 図１０は、本発明の第２の実施の形態における人物検出装置の構成を示す機能ブロック図である。 図１１は、本発明の第２の実施の形態における解探索部の構成を示す機能ブロック図である。 図１２は、本発明の第３の実施の形態における人物検出装置の構成を示す機能ブロック図である。 図１３は、本発明の第３の実施の形態における表示部の表示を示す図である。 図１４は、本発明の第４の実施の形態における人物検出装置の構成を示す機能ブロック図である。 図１５は、本発明の第４の実施の形態における移動方向算出方法の例を示す図である。 図１６は、本発明の第４の実施の形態における移動方向算出方法の例を示す図である。 図１７は、本発明の第４の実施の形態における時空間断片抽出部の構成を示す機能ブロック図である。 図１８は、本発明の第５の実施の形態における人物検出装置の構成を示す機能ブロック図である。 図１９は、本発明の第５の実施の形態における周期性解析部の構成を示す機能ブロック図である。 図２０は、本発明の第５の実施の形態における自己相関関数計算の例を示す図である。 図２１は、本発明の第５の実施の形態における相関長の自己相関関数計算の例を示す図である。 図２２は、本発明の第６の実施の形態における人物モデルフィッティング装置の構成を示す機能ブロック図である。 図２３は、本発明の第６の実施の形態における人物モデルフィッティング部の構成を示す機能ブロック図である。 図２４は、タイプ別の人物動きモデルテンプレートの例を示す図である。 図２５は、歩行する路面の状況別に異なる複数の人物動きモデルテンプレートの例を示す図である。 図２６は、歩行する場所における混雑度別に異なる複数の人物動きモデルテンプレートの例を示す図である。

Claims (31)

1. 動画像に含まれる人物を検出する装置であって、
   人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を生成する時空間ボリューム生成手段と、
   生成された３次元時空間画像から、当該３次元時空間画像を切断したときの切断面または切断片における画像である実画像時空間断片を抽出する時空間断片抽出手段と、
   人物の動き特性を規定した人物動きモデルに基づいて、当該人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力手段と、
   前記時空間断片抽出手段が抽出した実画像時空間断片と前記時空間断片出力手段が出力した人体部位動きモデル時空間断片とを照合する時空間断片照合手段と、
   前記時空間断片照合手段による照合結果に基づいて、前記動画像における人物の存否を含む人物属性を出力する属性出力手段と
   を備えることを特徴とする人物検出装置。
2. 前記時空間断片抽出手段は、前記フレーム画像を切断する断片抽出線を決定し、決定した断片抽出線を時間軸に沿って並べることによって得られる面を切断面として前記実画像時空間断片を抽出する
   ことを特徴とする請求の範囲１記載の人物検出装置。
3. 前記時空間断片抽出手段は、前記３次元時空間画像における人物の脚を切断する断片抽出線を用いて前記実画像時空間断片を抽出し、
   前記時空間断片出力手段は、人物の歩行特性を規定した人物動きモデルに基づいて、当該人物動きモデルの歩行時における脚を切断する切断面によって得られる人体部位動きモデル時空間断片を生成する
   ことを特徴とする請求の範囲２記載の人物検出装置。
4. 前記人物動きモデルは、２本の脚に対応する一端どうしが結合された２本の線分で表現され、各線分が結合点を回転中心として一定の角速度ωで交互に最大角度２θLまで回転するように規定される
   ことを特徴とする請求の範囲３記載の人物検出装置。
5. 前記時空間断片照合手段は、前記実画像時空間断片に対して、前記時空間断片出力手段が出力した一歩分の人体部位動きモデル時空間断片を時間方向に走査していったときの画像どうしの一致度を算出することによって、前記照合を行う
   ことを特徴とする請求の範囲３記載の人物検出装置。
6. 前記人物検出装置はさらに、前記時空間ボリューム生成手段によって生成された３次元時空間画像から、当該３次元時空間画像に存在する移動物体の移動方向を算出する移動方向算出手段を備え、
   前記時空間断片抽出手段は、前記移動方向算出手段によって算出された移動方向に従って前記断片抽出線を決定する
   ことを特徴とする請求の範囲２記載の人物検出装置。
7. 前記移動方向算出手段は、前記３次元時空間画像を構成するフレーム画像ごとに前記移動物体を抽出し、抽出した移動物体のフレーム画像間における動きベクトルを求めることによって、前記移動物体の移動方向を算出する
   ことを特徴とする請求の範囲６記載の人物検出装置。
8. 前記移動方向算出手段は、前記３次元時空間画像を構成するフレーム画像ごとに小領域に区分し、小領域ごとにフレーム画像間における動きベクトルを求めることによって、前記移動物体の移動方向を算出する
   ことを特徴とする請求の範囲６記載の人物検出装置。
9. 前記断片抽出線は、直線または曲線である
   ことを特徴とする請求の範囲２記載の人物検出装置。
10. 前記属性出力手段は、前記時空間断片照合手段により前記実画像時空間断片と前記人体部位動きモデル時空間断片とが一定の基準以上に一致すると照合された場合に、前記切断面または切断片を特定するパラメータと前記人体動きモデルを特定するパラメータとから前記動画像における人物の位置および移動方向を算出して出力する
    ことを特徴とする請求の範囲１記載の人物検出装置。
11. 前記人物検出装置はさらに、前記属性出力手段から出力された人物の位置および移動方向を含む人物属性を表示する表示手段を備える
    ことを特徴とする請求の範囲１０記載の人物検出装置。
12. 前記人物検出装置はさらに、前記時空間断片抽出手段によって抽出された実画像時空間断片が人物の歩行に特有の周期的動作に基づく画像であるか否かを解析する周期性解析手段を備え、
    前記時空間断片抽出手段は、前記周期性解析手段による解析結果に基づいて断片抽出線を変更し、変更した断片抽出線を用いて再び実画像時空間断片を抽出する
    ことを特徴とする請求の範囲１記載の人物検出装置。
13. 前記周期性解析手段は、前記実画像時空間断片を構成する各時間における画像を示す１次元データに対して自己相関関数を求めることによって相関長の時系列データを生成し、生成した相関長の時系列データにおいて周期性が存在する場合に、前記実画像時空間断片が人物の歩行に特有の周期的動作に基づく画像であると解析する
    ことを特徴とする請求の範囲１２記載の人物検出装置。
14. 前記周期性解析手段は、前記相関長の時系列データに対して自己相関関数を求めることによって相関長に対する自己相関関数値の変化を示すグラフを求め、そのグラフにおいてピークが存在する場合に、相関長の時系列データに周期性が存在すると判断する
    ことを特徴とする請求の範囲１３記載の人物検出装置。
15. 前記人物検出装置はさらに、前記時空間断片照合手段による照合結果に基づいて、前記時空間断片抽出手段に前記切断面または切断片を特定するパラメータを変更させたうえで再び実画像時空間断片を抽出させること、および、前記時空間断片出力手段に前記人体動きモデルを特定するパラメータを変更させたうえで再び人体部位動きモデル時空間断片を出力させることの少なくとも１つを実行させることで、前記切断面または切断片を特定する最適なパラメータおよび前記人体動きモデルを特定する最適なパラメータを探索する解探索手段を備える
    ことを特徴とする請求の範囲１記載の人物検出装置。
16. 前記解探索手段は、遺伝的アルゴリズムを用いて最適なパラメータを探索する
    ことを特徴とする請求の範囲１５記載の人物検出装置。
17. 前記時空間ボリューム生成手段は、前記フレーム画像を背景差分またはフレーム間差分した後に２値化して得られる画像を少なくとも１枚以上重ね合わせることによって前記３次元時空間画像を生成する
    ことを特徴とする請求の範囲１記載の人物検出装置。
18. 前記時空間断片出力手段は、予め記憶する複数の異なる種類の人物動きモデルの中から選択した人物動きモデルに対応する人体部位動きモデル時空間断片を生成して出力し、
    前記時空間断片照合手段は、前記照合による結果が一定の基準を満たさない場合に、前記時空間断片出力手段に新たな人物動きモデルに対応する人体部位動きモデル時空間断片を生成して出力させることで、前記照合を繰り返す
    ことを特徴とする請求の範囲１記載の人物検出装置。
19. 前記時空間断片出力手段が予め記憶する複数の人物動きモデルは、モデリングの対象となる人物の性別、年齢、人物が歩行する路面の状況、および、歩行する場所における混雑度の少なくとも１つが異なる
    ことを特徴とする請求の範囲１８記載の人物検出装置。
20. 動画像に含まれる人物の画像と予め蓄積している人物の画像とを照合する装置であって、
    請求の範囲１〜１９のいずれか１項に記載の人物検出装置と、
    パン、チルトおよびズームの少なくとも１つの機能を有する照合カメラと、
    前記人物検出装置で検出され人物の位置または移動方向に基づいて、前記照合カメラによるパン、チルトおよびズームの少なくとも１つを制御するカメラ制御手段と、
    前記照合カメラにより撮影された人物の画像と予め蓄積している人物の画像とを照合する人物照合手段と
    を備えることを特徴とする人物照合装置。
21. 人物の動き特性を規定した人物動きモデルを画像上の人物の動きにフィッティングさせる装置であって、
    人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を生成する時空間ボリューム生成手段と、
    生成された３次元時空間画像から、当該３次元時空間画像を切断したときの切断面または切断片における画像である実画像時空間断片を抽出する時空間断片抽出手段と、
    前記人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力手段と、
    前記時空間断片抽出手段が抽出した実画像時空間断片と前記時空間断片出力手段が出力した人体部位動きモデル時空間断片とを照合する時空間断片照合手段と、
    前記時空間断片照合手段による照合結果に基づいて、前記人物動きモデルが前記動画像における人物の動きを示すように、前記人物動きモデルを特定するパラメータの値を決定するモデルフィッティング手段と
    を備えることを特徴とする人物モデルフィッティング装置。
22. 画像を生成する装置であって、
    動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を切断したときの切断面または切断片における画像を時空間断片としたときに、
    人物の動き特性を規定した人物動きモデルに基づいて、当該人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力手段を備える
    ことを特徴とする画像生成装置。
23. 動画像に含まれる人物を検出する方法であって、
    人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を生成する時空間ボリューム生成ステップと、
    生成された３次元時空間画像から、当該３次元時空間画像を切断したときの切断面または切断片における画像である実画像時空間断片を抽出する時空間断片抽出ステップと、
    人物の動き特性を規定した人物動きモデルに基づいて、当該人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を出力する時空間断片出力ステップと、
    前記時空間断片抽出ステップで抽出された実画像時空間断片と前記時空間断片出力ステップで出力された人体部位動きモデル時空間断片とを照合する時空間断片照合ステップと、
    前記時空間断片照合ステップによる照合結果に基づいて、前記動画像における人物の存否を含む人物属性を出力する属性出力ステップと
    を含むことを特徴とする人物検出方法。
24. 動画像に含まれる人物を検出する装置のためのプログラムであって、
    請求の範囲２３記載の人物検出方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
25. 動画像に含まれる人物の画像と予め蓄積している人物の画像とを照合する方法であって、
    請求の範囲２３記載の人物検出方法に含まれるステップと、
    前記人物検出方法で検出された人物の位置または移動方向に基づいて、照合カメラによるパン、チルトおよびズームの少なくとも１つを制御するカメラ制御ステップと、
    前記照合カメラにより撮影された人物の画像と予め蓄積している人物の画像とを照合する人物照合ステップと
    を含むことを特徴とする人物照合方法。
26. 動画像に含まれる人物の画像と予め蓄積している人物の画像とを照合する装置のためのプログラムであって、
    請求の範囲２５記載の人物照合方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
27. 人物の動き特性を規定した人物動きモデルを画像上の人物の動きにフィッティングさせる方法であって、
    人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を生成する時空間ボリューム生成ステップと、
    生成された３次元時空間画像から、当該３次元時空間画像を切断したときの切断面または切断片における画像である実画像時空間断片を抽出する時空間断片抽出ステップと、
    前記人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力ステップと、
    前記時空間断片抽出ステップで抽出された実画像時空間断片と前記時空間断片出力ステップで出力された人体部位動きモデル時空間断片とを照合する時空間断片照合ステップと、
    前記時空間断片照合ステップによる照合結果に基づいて、前記人物動きモデルが前記動画像における人物の動きを示すように、前記人物動きモデルを特定するパラメータの値を決定するモデルフィッティングステップと
    を含むことを特徴とする人物モデルフィッティング方法。
28. 人物の動き特性を規定した人物動きモデルを画像上の人物の動きにフィッティングさせる装置のためのプログラムであって、
    請求の範囲２７記載の人物モデルフィッティング方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
29. 動画像に含まれる人物の検出に用いられる画像を生成する方法であって、
    動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を切断したときの切断面または切断片における画像を時空間断片としたときに、
    人物の動き特性を規定した人物動きモデルに基づいて、当該人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する時空間断片出力ステップを含む
    ことを特徴とする画像生成方法。
30. 動画像に含まれる人物の検出に用いられる画像を生成する装置のためのプログラムであって、
    請求の範囲２９記載の画像生成方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
31. 前記時空間断片出力手段は、人物の動き特性を規定した人物動きモデルを画像に変換することによって人体部位動きモデル時空間断片を生成する
    ことを特徴とする請求の範囲１記載の人物検出装置。

Images