WO2005020152A1 - 人物検出装置および人物検出方法 - Google Patents

Abstract

動画像に含まれる人物を検出する人物検出装置であって、人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並べた３次元時空間画像を生成する時空間ボリューム生成部（１３）と、生成された３次元時空間画像を切断したときの切断面または切断片における画像である実画像時空間断片を抽出する時空間断片抽出部（１４）と、人物の動き特性を規定した人物動きモデルに基づいて、当該人物動きモデルによる動きによって得られる時空間断片である人体部位動きモデル時空間断片を生成して出力する人体部位動きモデル時空間断片出力部（１５）と、実画像時空間断片と人体部位動きモデル時空間断片とを照合する時空間断片照合部（１６）と、その照合結果に基づいて、動画像における人物の存否を含む人物属性を出力する属性出力部（１７）とを備える。

Description

明 細 書

人物検出装置および人物検出方法 技術分野

本発明は、 画像処理によって、 歩行する人物を検出する人物検出装置 等に関し、 特に、 人物の存在位置および歩行方向を検出する人物検出装 置等に関する。 背景技術

従来の人物検出技術の多くは、 静止画もしくは 1 枚の差分画像を用い ている。 静止画や 1 枚の差分画像を用いて人物検出を行う場合、 遮蔽等 で起こり うる人物の形状特徴変化を設計時に予測することが難しいため に、 誤検出や未検出を招く場合があるが、 それに対し、 画像シーケンス を用いる手法では、 遮蔽等によって起こる一時的な特徴量の変動に対し て、 補間および予測機構を用いることができるために、 遮蔽や一時的な 環境変動に対してロバス トな検出が期待できる。

従来、 動画像シーケンスを用いた人物検出技術 （第 1 の従来技術） と して、 画像を時間方向に並べた 3次元時空間画像を生成し、 フ レームご とに人物の足首位置に合わせて 3次元時空間画像を切断した時空間断片 画像を抽出し、 人物歩行に特有の周期性の検出を行うことによって人物 を検出する方法が提案されている （たとえば、 N i y o g ί 、 A d e I s o n "A n a l y z i n g a n d R e c o g n i z i n g W a l k i n g F i g u r e s i n X Y丁"、 M I T— T R— 2 2 3 1 9 9 4の第 3頁および第 3図等）。 これにより、他の移動物体と人物と の識別が可能となり、 さらに、 画像シーケンスを用いることによって、 —時的な環境変化においても、 安定した人物検出が可能となる。 また、 別の従来技術 （第 2の従来技術） と して、 画像中に複数本のス リ ツ トを配置し、 そのスリ ツ ト領域の時間的な画素値変化を用いて移動 物体像を形成し、 移動物体の移動方向を判定すると共に計数する方法も 提案されている （たとえば、 特許第 3 1 8 3 3 2 0号公報の第 7頁およ び第 4図等）。 この技術によれば、 ス リ ッ トを通過する人物の時間的変化 を考慮することによって、 安定して人物の検出および移動方向を判定す ることが可能となる。

しかしながら、 上記第 1 の従来技術では、 人物の足首位置が既知であ リ、 かつ画像に対して左右方向に歩行している場合に限定されている。 また、 事前に足首位置を検出する必要があるため、 人物の初期検出が既 になされていることが前提となる。 そのため、 画像中を様々な方向に歩 行する人物を検出することが難しいという問題がある。

また、 上記第 2の従来技術では、 人物検出用のスリ ッ トを画像中に複 数本配置することによって歩行方向を検出することが可能であるが、 設 計者が事前にスリ ッ ト配置を決定する必要があり、 画像中から人物検出 を行える領域が限定されてしまうという問題がある。 発明の開示

本発明は、 上記問題点を解決するものであり、 人物の歩行方向が一定 でない場合においても画像中の検出領域を限定することなく、 人物の存 在位置および歩行方向を含む人物検出を行うことができる人物検出装置 等を提供することを目的とする。

上記目的を達成するために、 本発明に係る人物検出装置は、 動画像に 含まれる人物を検出する装置であって、 人物が撮影された動画像を構成 するフ レーム画像を時間軸に沿って並べた 3次元時空間画像を生成する 時空間ボリューム生成手段と、 生成された 3次元時空間画像から、 当該 3次元時空間画像を切断したときの切断面または切断片における画像で ある実画像時空間断片を抽出する時空間断片抽出手段と、 人物の動き特 性を規定した人物動きモデルに基づいて、 当該人物動きモデルによる動 きによって得られる時空間断片である人体部位動きモデル時空間断片を 生成して出力する時空間断片出力手段と、 前記時空間断片抽出手段が抽 出した実画像時空間断片と前記時空間断片出力手段が出力した人体部位 動きモデル時空間断片とを照合する時空間断片照合手段と、 前記時空間 断片照合手段による照合結果に基づいて、 前記動画像における人物の存 否を含む人物属性を出力する属性出力手段とを備えることを特徴とする。 これによつて、 実画像から生成された実画像時空間断片と、 典型的な人 物の動きを表現した人物動きモデルから生成された人体部位動きモデル 時空間断片とが照合されるので、 例えば、 照合の一致度が一定基準を満 たす実画像時空間断片と人体部位動きモデル時空間断片の探索が可能と なり、 人物の歩行方向や画像中の検出領域を限定することなく、 人物の 存在位置および歩行方向を含む人物検出を行うことができる。

ここで、 前記時空間断片抽出手段は、 前記フ レーム画像を切断する断 片抽出線を決定し、 決定した断片抽出線を時間軸に沿って並べることに よって得られる面を切断面と して前記実画像時空間断片を抽出すること と し、 例えば、 前記 3次元時空間画像における人物の脚を切断する断片 抽出線を用いて前記実画像時空間断片を抽出する。 一方、 前記時空間断 片出力手段は、 人物の歩行特性を規定した人物動きモデルに基づいて、 当該人物動きモデルの歩行時における脚を切断する切断面によって得ら れる人体部位動きモデル時空間断片を生成する。 これによつて、 人物の 動きに特有の歩行特性を利用した人物検出が行われるので、 歩行特性を 持たない車等の移動物体が誤って検出されてしまうことが回避される。 なお、 人物動きモデルの具体例と して、 例えば、 2本の脚に対応する 一端どう しが結合された 2本の線分で表現され、 各線分が結合点を回転 中心と して一定の角速度 ωで交互に最大角度 2 Θ L まで回転するように 規定されるモデルを挙げることができる。

また、 前記時空間断片照合手段は、 前記実画像時空間断片に対して、 前記時空間断片出力手段が出力した一歩分の人体部位動きモデル時空間 断片を時間方向に走査していったときの画像どう しの一致度を算出する ことによって、 前記照合を行うのが好ましい。 これによつて、 人間の歩 行が周期的な動作であることを利用することで、 簡易な画像マツチング で人物を確実に検出することができる。

また、 前記人物検出装置はさらに、 前記時空間ボリューム生成手段に よって生成された 3次元時空間画像から、 当該 3次元時空間画像に存在 する移動.物体の移動方向を算出する移動方向算出手段を備え、 前記時空 間断片抽出手段は、 前記移動方向算出手段によって算出された移動方向 に従って前記断片抽出線を決定してもよい。 このとき、 前記移動方向算 出手段は、 例えば、 前記 3次元時空間画像を構成するフ レーム画像ごと に前記移動物体を抽出し、 抽出した移動物体のフ レーム画像間における 動きべク トルを求めることによって、 前記移動物体の移動方向を算出し てもよいし、 前記 3次元時空間画像を構成するフ レーム画像ごとに小領 域に区分し、 小領域ごとにフレーム画像間における動きべク トルを求め ることによって、 前記移動物体の移動方向を算出してもよい。 これによ つて、 人物の移動方向に追随して断片抽出線が決定されるので、 人物の 移動方向や位置に拘わらず、 最も適切な時空間断片を生成する断片抽出 線、 例えば、 画像中の人物の位置に拘わらず常に人物の脚を切断するよ うな断片抽出線が自動決定される。 なお、 前記断片抽出線は、 例えば、 直線または曲線である。

また、 前記属性出力手段は、 前記時空間断片照合手段により前記実画 像時空間断片と前記人体部位動きモデル時空間断片とが一定の基準以上 に一致すると照合された場合に、 前記切断面または切断片を特定するパ ラメータと前記人体動きモデルを特定するパラメータとから前記動画像 における人物の位置および移動方向を算出して出力し、 前記人物検出装 置はさらに、 前記属性出力手段から出力された人物の位置および移動方 向を含む人物属性を表示する表示手段を備えてもよい。 これによつて、 動画像における人物の存否だけでなく、 検出された人物の位置や移動方 向も特定され、 監視装置におけるカメラの追随制御等に利用することが できる。

また、 前記人物検出装置はさらに、 前記時空間断片抽出手段によって 抽出された実画像時空間断片が人物の歩行に特有の周期的動作に基づく 画像であるか否かを解析する周期性解析手段を備え、 前記時空間断片抽 出手段は、 前記周期性解析手段による解析結果に基づいて断片抽出線を 変更し、 変更した断片抽出線を用いて再び実画像時空間断片を抽出して もよい。 このとき、 前記周期性解析手段は、 例えば、 前記実画像時空間 断片を構成する各時間における画像を示す 1 次元データに対して自己相 関関数を求めることによって相関長の時系列データを生成し、 生成した 相関長の時系列データにおいて周期性が存在する場合に、 前記実画像時 空間断片が人物の歩行に特有の周期的動作に基づく画像であると解析し、 前記相関長の時系列データに対して自己相関関数を求めることによって 相関長に対する自己相関関数値の変化を示すグラフを求め、 そのグラフ においてピークが存在する場合に、 相関長の時系列データに周期性が存 在すると判断してもよい。 これによつて、 実画像時空間断片において人 物の動きに特有の歩行特性に基づく周期性が検出されるように断片抽出 線のパラメータが変更され、 決定されるので、 人物の歩行方向や位置に 依存することなく、 確実に人物が検出される。 また、 前記人物検出装置はさらに、 前記時空間断片照合手段による照 合結果に基づいて、 前記時空間断片抽出手段に前記切断面または切断片 を特定するパラメータを変更させたうえで再び実画像時空間断片を抽出 させること、 および、 前記時空間断片出力手段に前記人体動きモデルを 特定するパラメータを変更させたうえで再び人体部位動きモデル時空間 断片を出力させることの少なく とも 1 つを実行させることで、 前記切断 面または切断片を特定する最適なパラメータおよび前記人体動きモデル を特定する最適なパラメータを探索する解探索手段を備えてもよい。 こ のとき、 前記解探索手段は、 例えば、 遺伝的アルゴリズムを用いて最適 なパラメータを探索するのが好ましい。 これによつて、 より短時間で精 度の高いパラメータが決定され、 人物の存在位置および移動方向の検出 が正確となる。

また、 前記時空間ボリューム生成手段は、 前記フ レーム画像を背景差 分またはフレーム間差分した後に 2値化して得られる画像を少なく とも 1枚以上重ね合わせることによって前記 3次元時空間画像を生成しても よい。 これによつて、 移動する物体のみから 3次元時空間画像が生成さ れるので、 照合速度の高速化および照合精度の向上が図られる。

また、 前記時空間断片出力手段は、 予め記憶する複数の異なる種類の 人物動きモデルの中から選択した人物動きモデルに対応する人体部位動 きモデル時空間断片を生成して出力し、 前記時空間断片照合手段は、 前 記照合による結果が一定の基準を満たさない場合に、 前記時空間断片出 力手段に新たな人物動きモデルに対応する人体部位動きモデル時空間断 片を生成して出力させることで、 前記照合を繰り返してもよい。 このと き、 前記時空間断片出力手段が予め記憶する複数の人物動きモデルの例 と して、 モデリ ングの対象となる人物の性別、 年齢、 人物が歩行する路 面の状況、 および、 歩行する場所における混雑度の少なく とも 1 つが異 なるようにしておいてもよい。 これによつて、 動画像に含まれる人物の 存否、 位置、 移動方向だけでなく、 人物の性別や年齢等のタイプ、 路面 の状況や混雑度等の動き空間に関する環境についても判別が可能となる。 なお、 本発明は、 人物検出装置と して実現することができるだけでな く、 動画像に含まれる人物の画像と予め蓄積している人物の画像とを照 合する装置であって、 上記人物検出装置と、 パン、 チルトおよびズーム の少なく とも 1 つの機能を有する照合カメラと、 前記人物検出装置で検 出され人物の位置または移動方向に基づいて、 前記照合カメラによるパ ン、チルトおよびズームの少なく とも 1 つを制御する力メラ制御手段と、 前記照合カメラにより撮影された人物の画像と予め蓄積している人物の 画像とを照合する人物照合手段とを備える人物照合装置と して実現する こともできる。 これによつて、 特定の人物を探し出したり、 人物を認証 したりする人物監視装置や人物認証装置等に応用することができる。 また、 本発明は、 人物の動き特性を規定した人物動きモデルを画像上 の人物の動きにフィ ッティングさせる装置であって、 人物が撮影された 動画像を構成するフレーム画像を時間軸に沿って並べた 3次元時空間画 像を生成する時空間ボリューム生成手段と、 生成された 3次元時空間画 像から、 当該 3次元時空間画像を切断したときの切断面または切断片に おける画像である実画像時空間断片を抽出する時空間断片抽出手段と、 前記人物動きモデルによる動きによって得られる時空間断片である人体 部位動きモデル時空間断片を生成して出力する時空間断片出力手段と、 前記時空間断片抽出手段が抽出した実画像時空間断片と前記時空間断片 出力手段が出力した人体部位動きモデル時空間断片とを照合する時空間 断片照合手段と、 前記時空間断片照合手段による照合結果に基づいて、 前記人物動きモデルが前記動画像における人物の動きを示すように、 前 記人物動きモデルを特定するパラメータの値を決定するモデルフィ ッテ イング手段とを備える人物モデルフィ ッティング装置と して実現するこ ともできる。 これによつて、 マーカー等の特殊な装置を被写体に取り付 けることなく、 画像に存在する人物に対してモデルをフィ ッティ ングす ることができ、 個々の人物がもつ個性を反映したモデルデータが容易に 作成される。 よって、 作成されたモデルデータを照合の基準と して使用 することで、 特定の人物を検出する装置が実現される。

また、 本発明は、 動画像に含まれる人物の検出に用いられる画像等を 生成する装置であって、 動画像を構成するフ レーム画像を時間軸に沿つ て並べた 3次元時空間画像を切断したときの切断面または切断片におけ る画像を時空間断片と したときに、 人物の動き特性を規定した人物動き モデルに基づいて、 当該人物動きモデルによる動きによって得られる時 空間断片である人体部位動きモデル時空間断片を生成して出力する時空 間断片出力手段を備える画像生成装置と して実現することもできる。 こ れによって、 人物動きモデルから特徴的な人体部位の動きを表現した時 空間断片が生成されるので、 例えば、 上記人物検出装置における照合対 象となる各種人物モデルに対応した基準データを生成する専用の装置と して利用することができる。

なお、 本発明は、 このような人物検出装置、 人物照合装置、 人物モデ ルフィ ッティング装置および画像生成装置と して実現することができる だけでなく、 人物検出方法、 人物照合方法、 人物モデルフィ ッティ ング 方法および画像生成方法と して実現したり、 そのような方法をコンビュ ータに実行させるプログラムと して実現したり、 プログラムが記録され たコンピュータ読み取り可能な記録媒体として実現することもできる。 図面の簡単な説明

図 1 は、 本発明の第 1 の実施の形態における人物検出装置の構成を示 す機能プロック図である。

図 2は、 本発明の第 1 の実施の形態における人物検出装置の動作を示 すフローチヤ一トである。

図 3は、 本発明の第 1 の実施の形態における時空間断片の抽出を示す 図である。

図 4は、 本発明の第 1 の実施の形態における時空間断片抽出部の構成 を示す機能プロック図である。

図 5は、 本発明の第 1 の実施の形態におけるワールド座標上の断片抽 出線を示す図である。

図 6は、 本発明の第 1 の実施の形態における人体部位動き時空間断片 出力部の構成を示す機能ブロック図である。

図 7は、 本発明の第 1 の実施の形態における人物動きモデルを示す図 である。

図 8は、 本発明の第 1 の実施の形態における時空間断片照合部の構成 を示す機能ブロック図である。

図 9 ( a ) は、 本発明の第 1 の実施の形態における時空間断片を示す 図であり、 図 9 ( b ) は、 本発明の第 1 の実施の形態における人体部位 動きモデル時空間断片を示す図であり、 図 9 ( c ) は、 本発明の第 1 の 実施の形態におけるマッチングを示す図である。

図 1 0は、 本発明の第 2の実施の形態における人物検出装置の構成を 示す機能ブロック図である。

図 1 1 は、 本発明の第 2の実施の形態における解探索部の構成を示す 機能ブロック図である。

図 1 2は、 本発明の第 3の実施の形態における人物検出装置の構成を 示す機能ブロック図である。

図 1 3は、 本発明の第 3の実施の形態における表示部の表示を示す図 である。

図 1 4は、 本発明の第 4の実施の形態における人物検出装置の構成を 示す機能ブロック図である。

図 1 5は、 本発明の第 4の実施の形態における移動方向算出方法の例 を示す図である。

図 1 6は、 本発明の第 4の実施の形態における移動方向算出方法の例 を示す図である。

図 1 7は、 本発明の第 4の実施の形態における時空間断片抽出部の構 成を示す機能ブロック図である。 .

図 1 8は、 本発明の第 5の実施の形態における人物検出装置の構成を 示す機能ブロック図である。

図 1 9は、 本発明の第 5の実施の形態における周期性解析部の構成を 示す機能プロック図である。

図 2 0は、 本発明の第 5の実施の形態における自己相関関数計算の例 を示す図である。

図 2 1 は、 本発明の第 5の実施の形態における相関長の自己相関関数 計算の例を示す図である。

図 2 2は、 本発明の第 6の実施の形態における人物モデルフィ ッティ ング装置の構成を示す機能ブロック図である。

図 2 3は、 本発明の第 6の実施の形態における人物モデルフイ ツティ ング部の構成を示す機能ブロック図である。

図 2 4は、 タイプ別の人物動きモデルテンプレートの例を示す図であ る。

図 2 5は、 歩行する路面の状況別に異なる複数の人物動きモデルテン プレートの例を示す図である。

図 2 6は、 歩行する場所における混雑度別に異なる複数の人物動きモ デルテンプレー トの例を示す図である。 発明を実施するための最良の形態

以下、 本発明の実施の形態について、 図面を用いて説明する。

(第 1 の実施の形態）

まず、 本発明の第 1 の実施の形態における人物検出装置について説明 する。

図 1 は、 本実施の形態における人物検出装置の構成を示す機能ブロッ ク図である。 この人物検出装置は、 街頭や駐車場、 店舗内などを撮影し た映像中に存在する人物を検出する装置であり、 カメラ 1 0、 映像処理 部 1 1 、 連続画像処理部 1 2、 時空間ボリユーム生成部 1 3、 時空間断 片抽出部 1 4、 人体部位動きモデル時空間断片出力部 1 5、 時空間断片 照合部 1 6、 属性出力部 1 7および表示部 1 8を備える。 なお、 本実施 の形態では、 時空間断片を画像と して抽出した場合について述べるが、 時空間断片は、 必ずしも画像である必要はなく、 画像から抽出した特徴 量や楕円、 直線等の当てはめによって抽出したパラメータであってもよ い。

図 1 において、 カメラ 1 0は、 映像を撮影し、 撮影した映像をフ レー 厶毎に映像処理部 1 1 に出力する撮像装置である。 映像処理部 1 1 は、 入力された映像に対してフレーム毎にフレーム間差分処理、 若しく は、 背景差分処理を行い、 閾値により映像を 2値化する処理部である。 連続画像処理部 1 2は、 入力画像から 3次元時空間画像を生成する場 合は、 入力画像をフ レームの時間順に蓄積し、 一方、 時空間ボリューム を画像以外で生成する場合は、 入力画像を用いて特徴抽出や楕円、 直線 等の当てはめを行い、 その結果をパラメータと して時間順に蓄積する処 理部である。 時空間ボリューム生成部 1 3は、 予め決定したフ レーム数 N枚分の画 像もしくはパラメータを用いて時空間ボリュームを生成する処理部であ る。 時空間断片抽出部 1 4は、 時空間ボリユ ー厶生成部 1 3で生成され た時空間ボリュームを用いて時空間断片を抽出する処理部である。 ここ で、 時空間断片とは、 時空間ボリュームが示す 3次元空間画像を時間軸 に沿って切断したときの切断面または切断片における画像である。 たと えば、 3次元空間画像をフ レームの横軸に平行でかつ時間軸に平行な面 で切断したときの切断面における画像であり、 このときには、 フレーム の横軸と時間軸とからなる 2次元画像となる。 なお、 切断片とは、 厚み を持った切断面に相当し、 切断片における画像は、 3次元画像となる。 人体部位動きモデル時空間断片出力部 1 5は、 人物動きモデルに従つ た人体部位動きモデル時空間断片を出力する処理部である。 時空間断片 照合部 1 6は、 時空間断片抽出部 1 4において生成された実画像からの 時空間断片と人体部位動きモデル時空間断片出力部 1 5において人物動 きモデルから生成された人体部位動きモデル時空間断片との照合を行う 処理部である。

属性出力部 1 7は、 時空間断片照合部 1 6の結果を用いて、 検出した 人物の位置、 歩行方向、 角速度等を算出したり、 t秒後の人物の存在位 置を予測したりする処理部である。 表示部 1 8は、 時空間断片照合部 1 6で検出された人物の存在位置と歩行方向を俯瞰図に配置して表示する 処理部およびディスプレイ等である。

以下に、 本実施の形態における人物検出装置の動作について、 図 2の フローチヤ— トを用いて詳細に説明する。

まず、 S 2 0 1 にて、 カメラ 1 0は、 移動物体等の対象物の映像を撮 影する。 なお、 カメラ 1 0は、 複数のカメラにより構成されてもよい。 次に、 S 2 0 2にて、 映像処理部 1 1 は、 カメラ 1 0から入力された 映像に対して、 フ レーム毎にフ レーム間差分処理、 若しくは、 背景差分 処理を行い、 閾値により映像を 2値化する。 なお、 背景差分処理を行う 場合は、 人物の存在しない背景となる画像を事前に準備しておく。

次に、 S 2 0 3にて、 連続画像処理部 1 2は、 2値化処理された画像 を、 時空間ボリュームを生成するために、 バッファと して画像を内蔵の ハードディスク等に蓄積しておき、 フ レーム毎に時空間ボリューム生成 部 1 3に画像を送信したり、 時空間ボリュームを画像以外から生成する 場合には、入力画像を用いて特徴抽出や楕円、直線等の当てはめを行い、 その結果をパラメータと して出力したりする。

次に、 S 2 0 4から S 2 0 6にて、 時空間ボリューム生成部 1 3は、 予め決定したフレーム数 N枚分の画像、 若しくは、 時刻 N分のパラメ一 タを用いて時空間ボリュームを生成する。 ここで、 新たに連続画像処理 部 1 2から N + 1 枚目の画像が送信された場合は、 S 2 0 6にて、 時空 間ボリュームの 1 枚目を破棄することによって、 常時、 Nフレーム分の 画像を保持した時空間ポリュームを生成する。

なお、 時空間ボリュームの生成方法については後述する。 ここでは、 必ずしも、 1 枚ずつ入力および破棄する必要はなく、 時刻 N分の連続し たデータを取得する手法であれば何でもよい。

次に、 S 2 0 7にて、 時空間断片抽出部 1 4は、 断片抽出線のパラメ —タを決定し、 決定した断片抽出線を用いて、 時空間ボリューム生成部 1 3で生成された時空間ポリュームから時空間断片を抽出する。

ここで、 図 3を用いて、 時空間断片の作成方法を説明する。 図 3 ( a ) は、 時空間ボリューム 2 1 を示し、 図 3 ( b ) は、 断片抽出線 2 3によ リ決定された時空間断片 2 2を示す。 図 3 ( b ) に示される時空間断片 2 2は、 時空間ボリューム 2 1 を構成する各フ レームにおける断片抽出 線 2 3での 1 次元画像を時間軸に並べたものであり、 時空間ポリユーム 2 1 が示す 3次元時空間画像を時間軸に沿って切断したときの切断面に おける画像に相当する。

ここで、 時空間断片を抽出するための断片抽出線 2 3は、 図 3 ( a ) に示されるように、 直線だけでなく、 曲線であってもよい。 さらに、 一 定の厚み （太さ） を持つ線であってもよい。 なお、 断片抽出線の決定方 法については、 後述する。

次に、 S 2 0 8にて、 人体部位動きモデル時空間断片出力部 1 5は、 S 2 0 7にて決定した断片抽出線のパラメータに基づいて人物動きモデ ルのパラメータを決'定し、 決定した人物動きモデルのパラメータに基づ いて生成した人物動きモデルから人体部位動きモデル時空間断片を生成 する。 なお、 人物動きモデルのパラメータ決定方法および人体部位動き モデル時空間断片の生成法については、 後述する。

次に、 S 2 0 9にて、 時空間断片照合部 1 6は、 時空間断片抽出部 1 4が抽出した時空間断片と人体部位動きモデル時空間断片出力部 1 5が 生成した人体部位動きモデル時空間断片とのマッチングを行う。

そして、 S 2 1 0にて、 時空間断片照合部 1 6は、 時空間断片と人体 部位動きモデル時空間断片とを照合し、照合結果が一致でない場合は（ S 2 1 0で N O )、 S 2 1 1 に移行し、 人物動きモデルのパラメータをすベ て試行していないときは （S 2 1 1 で N O )、 S 2 0 8に移行し、 人体部 位動きモデル時空間断片出力部 1 5が新たな人体部位動きモデル時空間 断片を生成し、 一方、 人物動きモデルのパラメータをすベて試行したと きは （S 2 1 1 で Y E S )、 S 2 0 7に移行し、 再度、 時空間断片抽出部 1 4が断片抽出線 2 3を決定する。

—方、 S 2 1 0にて、 照合結果において時空間断片と人体部位動きモ デル時空間断片とがー致するかもしくは閾値以上である場合は （ S 2 1 0で Y E S )、 時空間断片照合部 1 6は、 その時点における断片抽出線の パラメータ、 および人物動きモデルのパラメータを属性出力部 1 7に出 力する。

そして、 S 2 1 2にて、 属性出力部 1 7は、 人物の存在が確認できた 場合には、 人物の存在位置および歩行方向を算出し、 表示部 1 8に出力 する。 最後に、 S 2 1 3にて、 表示部 1 8は、 人物の存否、 存在位置お よび歩行方向を画面に表示する。

ここで、 時空間断片抽出部 1 4.について、 図 4を用いて詳しく説明す る。 時空間断片抽出部 1 4は、 図 4に示されるように、 実空間における 人物の存在位置および移動方向を実空間上に表現する座標軸であるヮー ルド座標系において時空間ボリユームを切断する断片抽出線 2 3を決定 する断片抽出線生成部 3 0、 カメラ 1 0の設置に関するパラメータを用 いてワールド座標系から画像平面を表現するピクセル座標系への変換を 行う座標変換部 3 1 、 時空間ボリューム 2 1 から時空間断片 2 2の抽出 を行う時空間ボリユーム切断部 3 2を備える。

以下、 断片抽出線と して、 直線で生成する場合について述べる。 まず、 断片抽出線生成部 3 0は、 ワール ド座標上での直線および曲線 を定義する。 ここで、 断片抽出線生成部 3 0は、 実空間における人物の 存在位置および移動方向に基づいて直線および曲線を生成するために、 座標軸を実空間上に表現するワール ド座標系を用いる。

なお、 ワールド座標を （ X w、 Y w Z w) で示す。 ワールド座標の詳 細は、 徐、 辻著、 「 3次元ビジョ ン」、 9ページ、 共立出版、 1 9 9 8年 発行に記述されている。

ここで、 Z w をワールド座標上における天地方向と仮定して Z _W を一 定値とすると、 図 5に示されるように、 ワールド座標における断片抽出 線 2 3は、 以下の式 1 で定義することができる。

y w = x w t a n Θ _w + b _w , z _w ⁼ c o n s t 一 、式 1 ) Θ w は、 実空間を表現するワールド座標上において存在する人物の歩 行方向に関するパラメータとなる。 切片 b _w を求めることができれば、 ワールド座標上における人物の歩行は、 この式 1 で示される直線上に乗 つていることになる。 なお、 断片抽出線 2 3は、 曲線を用いることも可 能であり、 例えば、 歩行のゆらぎに合わせた曲線を用いることも有効で ある。 この場合、 歩行周期を仮定することによって、 sin カーブ等で断 片抽出線を決定し、 位相をずらしながら断片抽出を行うことによって、 歩行における周期的な上下動に合った断片抽出を行うことができる。 さらに、 例えば、 膝下から足首までの動きに基づいて人物検出を行い たい場合は、 断片抽出線に厚みを持たせることによって、 実現可能であ る。 この場合、 時空間ボリュームから抽出される時空間断片は、 一定の 厚みを持ったものとなる。 また、 上記 0 _Wおよび b _wは、 監視領域内を網 羅するような組み合わせをとることになリ、 後述する時空間断片照合部 1 6の照合結果により、 順次、 決定される。 なお、 他の検出手法と併用 する場合には、 その検出結果をもとに前記 2つのパラメータを決定すれ ばよく、 必ずしも網羅的である必要はない。

他の検出手法と併用する場合については、 第 4および第 5の実施の形 態で説明する。

次に、 座標変換部 3 1 は、 この 0 _Wおよび b _wのパラメータにより生成 された断片抽出線 2 3を、 カメラ 1 0の設置位置、 焦点距離、 スケール ファクタ等の予め既知のパラメータを用いて、 ワールド座標系から、 画 像平面を表現するピクセル座標系への変換を行う。 この変換により、 断 片抽出線は 2次元画像上の線となる。

次に、 時空間ボリューム切断部 3 2は、 時空間断片の抽出を行う。 こ の時空間断片の抽出は、 座標変換部 3 1 で生成されたピクセル座標系に おける断片抽出線を用いて、 時空間ボリューム生成部 1 3で生成された 時空間ボリュームを切断することによって行う。

次に、 時空間断片照合部 1 6は、 時空間ボリューム切断部 3 2で抽出 された時空間断片と人体部位動きモデル時空間断片出力部 1 5から出力 された人体部位動きモデル時空間断片とを照合し、 照合結果から断片抽 出線のパラメータ変更を示す信号である断片抽出線パラメータ変更信号 を断片抽出線生成部 3 0に出力する。

以下、 同様に、 時空間断片抽出部 1 4は、 断片抽出線パラメータ変更 信号の入力が終了するまで、 断片抽出線を作成し、 時空間断片を作成す る。

次に、 人体部位動きモデル時空間断片出力部 1 5について、 詳細に説 明する。

人体部位動きモデル時空間断片出力部 1 5は、図 6に示されるように、 断片抽出線 2 3を用いてワールド座標上における人物の歩行をモデル化 する人物動きモデル生成部 5 0、 ワールド座標系からピクセル座標系へ の変換を行う座標変換部 5 1 、 人物動きモデルに従った時空間断片を生 成する時空間断片出力部 5 2を備える。

本実施の形態では、 脚を表現する 2本の線分を用いて人物の歩行をモ デル化した例について説明する。 なお、 膝関節や足首等を考慮してより 精細な人物動きモデルを用いても構わない。 さらに、 胴体、 頭部、 腕、 手の動きも同時にモデル化することも可能である。 また、 線分に限らず 楕円などを用いて人物の動きをモデル化してもよい。

まず、 人物動きモデル生成部 5 0は、 ワールド座標系における歩行 1 歩分を基本単位と して、 図 7に示されるように、 人物動きモデルが歩行 するワール ド座標上での位置 （ x _start、 y start ) および角速度 ωを決定す る。 ここで、 位置 （ start % y start ) は、 時空間断片抽出部 1 4で決定し たワールド座標上における断片抽出線 2 3上の 1 点であるとする。 なお、 図 7は、 人物動きモデルにおいて、 脚を最大に開いた場合を示 す。 また、 次の 1 歩は、 （ X 2nd、 V 2nd ) を起点と して、 角速度 、 角度 2 まで移動するものである。

人物動きモデルに関するパラメータであるワール ド座標上での位置 ( X start \ y start ) および角速度 ωの決定方法について説明する。

断片抽出線生成部 3 0で決定した断片抽出線のパラメータ 0 _w および b _w は、 ワールド座標上における直線を表現している。 人物動きモデル のパラメータである、 ワールド座標上での位置 （ X _{s t ar t}、 y start ) は、 こ のワールド座標上での直線上であるとの拘束のもとに、 監視領域内の位 置について網羅的にパラメータを決定する。 なお、 他の検出手法と併用 する場合には、 その検出結果をもとに位置に関するパラメータを決定す ればよく、 必ずしも網羅的である必要はない。

次に、 人物動きモデル生成部 5 0における人物動きモデルの動作につ いて述べる。 人物動きモデルは、 図 7に示されるように、 人間の脚の動 きをモデル化したものであり、 2本の直線を脚と し、 ワールド座標にお ける位置 （ x _start、 y start ) を起点と して、 角速度 ωで人物動きモデルの 脚を動かすことによって、 一歩分の歩行を生成する。 人物動きモデルの 股間の角度を 2 0 Lと した場合、 2 0 _LZ o)がー歩歩行するのにかかる時 間もしくはフ レーム数となる。 ここで、 ωは、 人物の歩行速度を考慮し て、 可能性のある角速度 ωを網羅的に試行することと したため、 角速度 ωとワールド座標における位置 （ X _{s t art}、 y start ) の組み合わせ分の人体 部位動きモデル時空間断片を生成する。 なお、 本実施の形態では、 脚の 長さ Lおよび股間の角度 e _L は、 事前に設計者が決定した場合について 説明するが、 これらのパラメータ.も状況に応じて変化させ、 数種類の人 物動きモデルを用意することで、 より精細な人物動きモデルとすること も可能である。 また勿論、 人物動きモデルが生成する歩行は、 1 歩に限 定するものではなく、 数歩分を基本単位とすることも可能である。 次に、 座標変換部 5 1 は、 座標変換部 3 1 と同様に、 カメラ 1 0の設 置位置、 焦点距離、 スケールファクタ等の予め既知のパラメータを用い て、 人物動きモデルが生成したワールド座標上での 1 歩分の人物動きモ デルをピクセル座標系での歩行に変換することによって、 人物動きモデ ルから時空間ポリユームを生成する。

次に、 時空間断片出力部 5 2は、 座標変換部 5 1 で生成されたピクセ ル座標系での時空間ボリュームに対して、 時空間断片抽出部 1 4と同じ 0 _Wおよび b _wのパラメータを用いて時空間断片を生成する。

なお、 ここでは、 人物動きモデル生成部 5 0において生成した人物動 きモデルを用いて、 座標変換部 5 1 で時空間ボリュームを生成し、 時空 間ボリユー厶から人物動きモデルの時空間断片を生成したが、 人物動き モデルの特定部位に着目することによって、 特定部位の動きを直接計算 することにより、 時空間断片を生成することも可能である。 この場合、 人物動きモデルを脚の動きとしてモデル化しているが、 人体部位動きモ デル時空間断片は、 足首位置などのように、 脚の一部位に着目 した断片 と して生成されることになる。 このように、 特定部位の動きを直接計算 することによって、 人体部位動きモデル時空間断片を生成すれば、 計算 量を削減でき、 かつ、 人物特有の部位の動きを用いることで、 人物検出 が容易になる利点がある。

次に、 時空間断片照合部 1 6は、 時空間断片抽出部 1 4で抽出された 時空間断片と人体部位動きモデル時空間断片出力部 1 5から出力された 人体部位動きモデル時空間断片とを照合し、 照合結果から人体部位動き モデル時空間断片のパラメータ変更を示す信号である人体部位動きモデ ル時空間断片パラメータ変更信号.を、 人物動きモデル生成部 5 0に出力 する。 以下、 同様に、 人体部位動きモデル時空間断片出力部 1 5は、 人体部 位動きモデル時空間断片パラメータ変更信号の入力が終了するまで、 人 物動きモデルから人体部位動きモデル時空間断片を作成する。

以上のように、 人物動きモデルのパラメータは、 断片抽出線のパラメ ータによる拘束のもとに決定されるものであり、 人物動きモデルのパラ メータが第 1 の処理ループ、 断片抽出線のパラメータが第 2の処理ルー プとすると、第 1 のループは、第 2の処理ループに含まれるものである。 次に、 時空間断片照合部 1 6について図 8を用いて説明する。 時空間 断片照合部 1 6は、 時空間断片抽出部 1 4において抽出された時空間断 片と人体部位動きモデル時空間断片出力部 1 5において人物動きモデル から生成された人体部位動きモデル時空間断片との照合を行う照合処理 部 1 5 0と、 照合結果を保持し、 予め定めた閾値と比較し、 照合結果ま たはパラメータの変更要求を出力する比較部 1 5 2とを備える。

照合処理部 1 5 0は、 実画像から抽出した時空間断片に対し、 人物動 きモデルから生成した人体部位動きモデル時空間断片を時間方向にスキ ヤンしながらマッチングを行うことで照合する。 以下、 2値化された画 像に対しての照合例を説明する。

図 9 ( a ) は、 実画像から抽出した人物の脚の動きに着目 した時空間 断片 7 0であり、 図 9 ( b ) は、 人物動きモデルから生成した人体部位 動きモデル時空間断片 7 1 であり、 図 9 ( c ) は、 両者の照合得点であ るマッチングスコアを示す。

実画像から抽出された時空間断片 7 0に対し、 人物動きモデルから生 成された人体部位動きモデル時空間断片 7 1 を上から下方向に 1 ピクセ ル毎にスキャンし、 マッチングスコアを計算する。 なお、 本実施の形態 では、 マッチングスコアを計算する工程をステップと称する。

ここで、 マッチングスコアは、 時空間断片 7 0および人体部位動きモ デル時空間断片フ 1 を、 " 0 "および'' 1 "の 2値化した場合に、 画素の値 が、 " 1 "のピクセルを O N ピクセルと し、 画素の値が、 " 0 "のピクセル を O F F ピクセルと し、 人体部位動きモデル時空間断片 7 1 の O N ピク セルおよび O F F ピクセルを、 時空間断片 7 0の O N ピクセルおよび O F F ピクセルと照合するものである。

まず、 時空間断片 7 0の任意の場所に、 人体部位動きモデル時空間断 片 7 1 を重ね合わせる。

次に、 人体部位動きモデル時空間断片 7 1 を基準と して、 人体部位動 きモデル時空間断片 7 1 が O N ピクセルであり、 かつ、 時空間断片 7 0 も O N ピクセルである場合の O N ピクセルの照合数を算出する。

次に、 人体部位動きモデル時空間断片 7 1 を基準と して、 人体部位動 きモデル時空間断片 7 1 が O F F ピクセルであり、 かつ、 時空間断片 7 0 も O F F ピクセルである場合の O F F ピクセルの照合数を算出する。 次に、 O N ピクセルの照合数を人体部位動きモデル時空間断片 7 1 の O N ピクセル数で正規化した値と O F F ピクセルの照合数を人体部位動 きモデル時空間断片 7 1 の O F F ピクセル数で正規化した値とを加算す ることでマッチングスコアとする。

なお、 マッチングスコアの計算方法は、 他の方法を用いることも可能 である。

図 9 ( c ) の照合結果に示されるように、 人体部位動きモデル時空間 断片 7 1 をステップ毎にスキャンしながらマッチングスコアを計算し、 比較部 1 5 1 に出力する。

次に、 比較部 1 5 1 は、 スキャン処理の中で最大のマッチングスコア を示したスコアを予め定めた閾値と比較し、 閾値を上回るマッチングス コア、 そのステップ数および人物動きモデルのパラメータ を照合結果と して属性出力部 1 7 に出力する。 なお、 ここでは、 最大のマッチングス コアを示したスコアに対してのみ閾値と比較したが、 ステップ毎に閾値 と比較しても構わない。

更に、時空間断片照合部 1 6は、マッチングスコアが閾値以下であり、 全ての人物動きモデルのパラメータについての検討が終了 していない場 合は、 人体部位動きモデル時空間断片のパラメータの変更を要求する人 体部位動きモデル時空間断片パラメータ変更信号を人体部位動きモデル 時空間断片出力部 1 5に出力 し、 全ての人物動きモデルのパラメータに ついての検討が終了 している場合は、 断片抽出線のパラメータの変更を 要求する断片抽出線パラメータ変更信号を時空間断片抽出部 1 4に出力 する。

なお、 人体部位動きモデル時空間断片パラメータ変更信号および断片 抽出線パラメータ変更信号には、断片抽出線 2 3のパラメータである 0 _W および b _w、 人物動きモデルのパラメータである （ X st art y s t art / θ び ωが含まれる。

また、 図 9 ( a ) における時間は、 時空間ボリ ューム生成部 1 3で、 予め決定したフ レーム数 Nであり、 図 9 ( b ) における時間は、 人物動 きモデル生成部 5 0で生成された人物動きモデルの股間角度を 2 Θ L、角 速度 ωと した場合、 2 0 ωであり、 図 9 ( c ) におけるステップは、 照合処理部 1 5 0で行うスキャン処理のステップ数である。

スキャンが終了 したら、 断片抽出線パラメータの拘束のもと、 人体部 位動きモデル時空間断片出力部 1 5の人物動きモデルのパラメータ を変 更して、 人物動きモデルに関するパラメータの組み合わせを試行する。 最高精度の検出結果を得るためには、 監視領域を網羅するすべてのパラ メータの組み合わせを試行するが、 準最適精度の検出結果でもよい場合 には、 照合処理部 1 5 0での閾値によって検出結果とすることも可能で ある。 また、 他の初期検出手法を用いて人物候補領域を算出可能な場合 は、 必ずしも監視領域を網羅する全てのパラメータの組み合わせを試行 する必要はない。

次に、 再度、 時空間断片抽出部 1 4の断片抽出線のパラメータを変更 して、 断片抽出線の拘束のもとに、 再度、 人物動きモデルに関するパラ メータの組み合わせを繰り返し試行する。 ここでも、 最高精度の検出結 果を得るためには、 監視領域を網羅するすべてのパラメータの組み合わ せを試行するが、 準最適精度の検出結果でもよい場合には、 照合処理部 1 5 0での閾値によって検出結果とすることも可能である。 また、 他の 初期検出手法を用いて人物候補領域を算出可能な場合は、 必ずしも監視 領域を網羅する全てのパラメータの組み合わせを試行する必要はない。 なお、 断片抽出線に厚みを持たせた場合、 抽出される時空間断片は、 厚みを持った断片となる。 この場合、 人体部位動きモデル時空間断片も 同様に厚みを持った断片とする。 この場合、 時空間断片照合部では、 厚 みを持った断片同士を照合してもよいし、 時空間ボリュームから抽出し た時空間断片と人物動きモデルから生成した人体部位動きモデル時空間 断片それぞれを、 1 枚の画像に圧縮することによって画像同士の照合を 行ってもよい。

次に、 監視領域を網羅する全てのパラメータの組み合わせの全探索結 果、 もしくは、 照合処理部 1 5 0で閾値以上の探索結果から、 最終的に 高いマッチングスコアを得たワールド座標上における断片抽出線 2 3お よび人物動きモデルのパラメータを人物検出結果とする。 ただし、 他の 初期検出手法を用いて人物候補領域を算出可能な場合は、 必ずしも監視 領域を網羅する全てのパラメータの組み合わせを試行する必要はない。 次に、 属性出力部 1 7は、 時空間断片照合部 1 6の出力するパラメ一 タの組み合わせ結果を用いて、 検出した人物の位置、 歩行方向、 角速度 を基に、 t秒後も同じ歩行方向で、 かつ、 検出時と同様に一定の角速度 で移動していることを仮定して、 t秒後の人物の存在位置を算出する。 ここで、高いマッチングスコアを得たパラメータの組み合わせのうち、 断片抽出線パラメータの 0 w は、 ワール ド座標上における歩行方向に該 当し、 人物動きモデルのパラメータ （ X _{3t ar}t、 y start ) 力《、 人物の存在位 置に該当する。 また、 検出時刻は、 パラメータの組み合わせに添付され た照合処理部 1 5 0で行うスキャン処理のステップ数により算出され、 具体的には、 最大のマッチングスコアを示した時のステップ数から算出 できる。

人物動きモデルの脚の長さ Lおよび股間の角度 S _L は既知であるため、 歩幅を算出可能であり、 その歩幅および、 人物動きモデルの角速度およ び歩行方向から、 検出を行ってから t秒経過後の存在位置を予測するも のである。 なお、 この予測値は、 ワールド座標上における人物の存在位 置である。

最後に、 表示部 1 8は、 時空間断片照合部 1 6で検出した人物の存在 位置と歩行方向を俯瞰図に配置し、 表示する。

これにより、 時刻、 位置、 歩行方向を同時に検出することが可能であ る。 なお、 本手法は、 パラメータの探索方法を限定するものではない。 以上のように、 本実施の形態によれば、 人物の歩行方向や位置を限定 することなく、 歩行する人物の存在位置および移動方向を検出し、 人物 検出を行うことができる。

(第 2の実施の形態）

次に、 本発明の第 2の実施の形態における人物検出装置について説明 する。

図 1 0は、 本実施の形態における人物検出装置の構成を示す機能プロ ック図である。 この人物検出装置は、 第 1 の実施の形態と同様に街頭や 駐車場、 店舗内などを撮影した映像中に存在する人物を検出する装置で あるが、 第 1 の実施の形態に比べて高速な時空間断片の照合が可能であ るという特徴を有し、 カメ ラ 1 0、 映像処理部 1 1 、 連続画像処理部 1

2、 時空間ボリ ューム生成部 1 3、 時空間断片抽出部 1 4、 人体部位動 きモデル時空間断片出力部 1 5、 時空間断片照合部 1 6、 属性出力部 1 7、表示部 1 8および解探索部 1 1 0を備える。 この構成は、 第 1 の実施 の形態における人物検出装置の構成に解探索部 1 1 0 を付加したものに 相当する。 以下、 第 1 の実施の形態と異なる点を中心に説明する。

第 1 の実施の形態では、 断片抽出線のパラメータおよび人物動きモデ ルのパラメータ を全探索するか、 も し く は、 照合結果が閾値以上のパラ メータ を探索することによって時空間断片の照合を行ったが、 本実施の 形態では、 上記パラメータ を決定する解探索部 1 1 0 を設けることによ リ、 高速な時空間断片の照合が可能となる。

以下に、本実施の形態の人物検出装置の動作について説明する。なお、 カメ ラ 1 0、 映像処理部 1 1 、 連続画像処理部 1 2、 時空間ポリ ューム 生成部 1 3、 時空間断片抽出部 1 4、 人体部位動きモデル時空間断片出 力部 1 5および時空間断片照合部 1 6は、 第 1 の実施の形態と同様の動 作であるため、 説明を省略する。

まず、 時空間断片照合部 1 6は.、 第 1 の実施の形態と同様に、 時空間 断片 7 0 と人体部位動きモデル時空間断片フ 1 との照合を行い、 照合後 に、 マッチングスコア、 ステップ数、 断片抽出線のパラメータおよび人 体部位動きモデル時空間断片のパラメータを解探索部 1 1 0に出力する。 なお、 照合方法は、 第 1 の実施の形態と同様である。

次に、 解探索部 1 1 0は、 北野著、 「遺伝的ァルゴリズム」、 1 — 4 1 頁、 産業図書、 1 9 9 3年出版に記載されている遺伝的アルゴリズムを 用いて、 準最適なパラメータセッ トを探索し、 断片抽出線 2 3のパラメ ータである 0 _Wおよび b _wを断片抽出線生成部 3 0に、人物動きモデルの パラメ一タである （ X start、 V start ) および ωを出力することによって、 高速な人物検出を実現する。

図 1 1 は、解探索部 1 1 0の詳細な構成を示す機能ブロ ック図である。 解探索部 1 1 0は、 時空間断片照合部 1 6から入力されたマッチング スコアなどのパラメータをビッ ト列に変換するする二値化部 1 2 1 、 ビ ッ ト列に変換した複数のパラメータ を繋ぎ合わせて 1 本のビッ ト列と し たもののうち、遺伝操作を行う ビッ ト列を選択する遺伝子選択部 1 2 2、 選択したビッ ト列の組を用いて、 突然変異、 交差などの遺伝的手法を行 いて新たなビッ ト列を生成する遺伝的操作部 1 2 3および生成した新し いビッ ト列を再度実数値に変換する実数変換部 1 2 4 を備える。

以下に、 解探索部 1 1 0での処理を説明する。

まず、 二値化部 1 2 1 は、 時空間断片照合部 1 6から入力された、 断 片抽出線 2 3のパラメータである 0 _Wおよび b _w、 人物動きモデルのパラ メータである （ start % V start ) および ωをそれぞれビッ ト列に変換し、 繋ぎ合わせるこ とによって一つのビッ ト列を生成する。 なお、 ビッ ト列 への変換は、 1 0進法から 2進法への変換である。

次に、 遺伝子選択部 1 2 2は、 ビッ ト列の初期値を、 時空間断片照合 部 1 6から入力されたパラメータの初期値をランダムに選択することに よって決定することができ、 決定したビッ ト列をマッチングスコアが高 し、順に並び替える。

なお、 他の人物初期検出手法を用いて初期検出を行った結果を初期値 とすることも有効である。

次に、 遺伝的操作部 1 2 3は、 各パラメータ を繋ぎ合わせたビッ ト列 を遺伝子と考え、 マッチングスコア値が高いビッ ト列ほど高確率で親と して選択すること と し、 交叉、 突然変異を行う ことによって、 新たなパ ラメータのビッ ト列を得る。 ここで、 交叉は、 例えば、 ペアとなる選択された 2つのビッ ト列のう ち、 交叉点と呼ばれる交叉するビッ ト位置を乱数で決定し、 交叉点を境 にして、 前後のビッ ト列を交互に入れ替えることで、 新たなビッ ト列を 作成するものであり、 突然変異は、 例えば、 ある一定の確率でランダム に、 変異を起こすビッ ト位置を決定し、 ビッ ト列を反転することによつ て、 ビッ ト列を変化させるものである。 ただし、 人物動きモデルのパラ メータである （ X start , y start) を表現するビッ ト列は、 断片抽出線 2 3 のパラメータである e _w および b _w の直線上であるとの拘束条件を用い る。

なお、遺伝的操作部 1 2 3の出力結果を遺伝子選択部 1 2 2に出力 し、 遺伝的操作を繰り返すことで、 効率良く解の探索が可能となる。

次に、 実数変換部 1 2 4は、 遺伝的操作部 1 2 3によ り新たに作成さ れたビッ ト列を実数値のパラメータに変換し、 時空間断片抽出部 1 4に 対して各種パラメータを含む断片抽出線パラメータ変更信号と して出力 し、 人体部位動きモデル時空間断片出力部 1 5に対して各種パラメータ を含む人体部位動きモデル時空間断片パラメータ変更信号と して出力す る。

次に、 時空間断片抽出部 1 4は、 解探索部 1 1 0から入力されたパラ メータを含む断片抽出線パラメータ変更信号を基に、 断片抽出線 2 3 を 決定し、 時空間断片を抽出 し、 人体部位動きモデル時空間断片出力部 1 5は、 解探索部 1 1 0から入力されたパラメータ を含む人体部位動きモ デル時空間断片パラメータ変更信号を基に、 人物動きモデルを生成し、 人物動きモデル時空間断片を生成し、 それぞれを時空間断片照合部 1 6 へ出力 し、 時空間断片照合部 1 6は、 それらの照合を行う。

上記の解探索操作を予め定めた一定回数繰り返した後、 最大のマッチ ングスコアを得た直線および人物動きモデルのパラメータ を人物検出結 果とする。

以後の処理は、 第 1 の実施の形態と同様であるので、 ここでの説明は 省略する。

以上のように、 本実施の形態によれば、 断片抽出線 2 3のパラメータ および人物動きモデルのパラメータ を、 遺伝的アルゴリズムによ り解探 索することによ り、全探索しながら時空間断片照合を行う場合に比べて、 よ り高速な人物検出が可能となる。

(第 3の実施の形態）

次に、 本発明の第 3の実施の形態における人物照合装置について説明 する。

図 1 2は、 本実施の形態における人物照合装置の構成を示す機能プロ ック図である。 この人物照合装置は、 第 1 の実施の形態における人物検 出装置を用いてカメ ラを制御することによって人物を照合する装置であ リ、 カメ ラ 1 0、 映像処理部 1 1 、 連続画像処理部 1 2、 時空間ボリ ュ —ム生成部 1 3、 時空間断片抽出部 1 4、 人体部位動きモデル時空間断 片出力部 1 5、 時空間断片照合部 1 6、 属性出力部 1 7 、 表示部 1 8、 カメ ラ制御部 1 0 0、 人物照合部 1 0 3および照合カメ ラ 9 4一 "！ 〜 n を備える。 この構成は、 第 1 の実施の形態における人物検出装置が備え る構成にカメ ラ制御部 1 0 0、 人物照合部 1 0 3 および照合カメ ラ 9 4 一 "！ 〜 n を付加したものに相当する。 以下、 第 1 の実施の形態と異なる 点を中心に説明する。

なお、 人物検出装置は、 第 2〜第 5の実施の形態における人物検出装 置を用いても同様の効果を得ることができる。

カメ ラ制御部 1 0 0は、 属性出力部 1 7の結果を用いて、 該当する人 物を追跡するものであり、 照合カメ ラ 9 4一 "！ 〜 nは、 パン、 チル トお よびズーム機能を持ち、 設置されているワール ド座標上での位置、 可動 範囲および撮影可能範囲を記憶しているものである。 人物照合部 1 0 3 は、 照合カメ ラ 9 4 一 "！ 〜 nの撮影した映像を用いて、 人物の照合を行 う ものである。

表示部 1 8は、 検出された人物を配置した俯瞰図を表示する処理部お よびディスプレイ等である。 カメ ラ制御部 1 0 0は、 人物 9 1 — 1 〜 n を撮影可能なワール ド座標上で位置が最も近い照合力メ ラ 9 4一 1 〜 n を算出 し、 パン、 チル ト、 ズームを行う制御信号を照合カメ ラ 9 4一 1 〜 n出力する制御部である。 照合カメ ラ 9 4一 1 ~ n は、 その制御信号 によ りパン、 チル ト、 ズームを行い、 該当する人物を撮影する撮像装置 である。 人物照合部 1 0 3は、 撮影された人物と予め蓄積された映像と を比較して人物の照合を行う処理部である。

図 1 3 に、表示部 1 8に示される俯瞰図 9 0 と人物照合の状態を示す。 ここで、 俯瞰図 9 0が人物を監視するこ とのできる領域であり、 人物 9 1 一 "！ 〜 n は、 人物の位置と歩行方向とを示すものである。 俯瞰図 9 0 は、 実空間を表現するワール ド座標上での位置との対応関係を事前に作 成しておく ことによって、 検出 した人物の位置を表示する。

ここで、人物 9 1一 1 〜 nの照合を行う場合について説明する。なお、 照合する人物の選択は、 力メ ラ制御部 1 0 0が順次選択するのでもよい し、 監視者が任意で選択してもよい。

以下に、 人物照合装置の動作について詳細に説明する。

まず、 属性出力部 1 7 は、 予測した人物の位置および時空間断片照合 部 1 6で検出 した移動方向の人物情報を表示部 1 8に出力することで、 人物 9 1 - 1 をモニタ上に表示させると ともに、 人物 9 1 - 1 の位置お よび移動方向を示す人物情報をカメ ラ制御部 1 0 0に出力する。

次に、 カメ ラ制御部 1 0 0は、 属性出力部 1 7から出力された人物情 報から最適な照合力メラ 9 4一 1 を選択し、 人物情報を用いて最適なパ ン、 チル ト、 ズームの制御量を決定したカメ ラ制御信号を照合カメ ラ 9 4一 1 に出力する。 照合カメ ラ 9 4一 1 は、 カメ ラ制御信号に従って動 作することによって、 追跡対象の人物を撮影し、 表示部 1 8の俯瞰図 9 0において、 人物 9 1 一 1 の表示を強調表示する。

次に、 照合カメ ラ 9 4一 1 は、 カメ ラ制御信号に基づいて、 人物 9 1 一 1 を撮影し、 撮影した画像を人物照合部 1 0 3に出力する。

次に、 人物照合部 1 0 3 は、 図 1 3の表示例に示されるように、 撮影 された画像 9 5 と、 予め記億している照合対象の画像 9 6 とを比較し、 照合する。 ここで、 照合結果 9 7が一致である場合は、 照合処理は終了 し、 照合結果 9 7が不一致である.場合は、 属性出力部 1 7が、 次の照合 の対象となる人物 9 1 — 2 を選択し、 人物情報をカメ ラ制御部 1 0 0に 出力 し、 以下、 同様の処理を、 照合結果 9 7がー致となるか、 照合の対 象となる人物を全て選択するまで、 繰り返す。

なお、 カメ ラ制御部 1 0 0よ り選択される照合カメ ラ 9 4は、 複数で あってもよ く 、 また、 照合に用いる画像は、 複数の照合カメ ラ 9 4によ リ撮影された画像から選択することで、 照合精度を向上することができ る。

特に、 顔照合を行う場合においては、 検出 した歩行方向を用いて、 力 メ ラ制御部 1 0 0によ り、 人物の存在位置から人物を撮影可能な力メ ラ を決定し、 かつ、 各カメ ラの可動範囲を考慮して、 検出 した歩行方向と 最も正対する方向にカメ ラを制御することによって、 正面の顏画像を撮 影することが可能である。 これによ り、 よ り詳細な顔画像を提供するこ とが可能であると共に、 自動顔照合を行う場合においても、 顏照合の信 頼性を向上させることが可能である。

以上のように、 本実施の形態によれば、 人物の存在位置と歩行方向を 検出 し、 その結果を基にカメ ラを制御することによって、 よ り精細な人 物の画像を撮影することができる。

(第 4の実施の形態）

次に、 本発明の第 4の実施の形態における人物検出装置について説明 する。

図 1 4は、 本実施の形態における人物検出装置の構成を示す機能プロ ック図である。 この人物検出装置は、 第 1 〜第 3の実施の形態と同様に 街頭や駐車場、 店舗内などを撮影した映像中に存在する人物を検出する 装置であるが、 移動物体の移動方向を算出し、 算出した移動方向に従つ て断片抽出線を決定する点に特徴を有し、カメラ 1 0、映像処理部 1 1 、 連続画像処理部 1 2、 時空間ボリューム生成部 1 3、 時空間断片抽出部 1 4、 人体部位動きモデル時空間断片出力部 1 5、 時空間断片照合部 1 6、属性出力部 1 7、表示部 1 8および移動方向算出部 1 4 0を備える。 この構成は、 第 1 の実施の形態における人物検出装置が備える構成に移 動方向算出部 1 4 0を付加したものに相当する。 以下、 第 1 の実施の形 態と異なる点を中心に説明する。

第 1 の実施の形態では、 断片抽出線のパラメータおよび人物動きモデ ルのパラメータを全探索するか、 もしくは、 照合結果が閾値以上のパラ メータを探索することによって時空間断片の照合を行ったが、 本実施の 形態では、 移動物体の移動方向を算出する移動方向算出部 1 4 0を設け ることにより、 高速な時空間断片の照合が可能となり、 より正確な人物 検出が可能となる。

以下に、本実施の形態の人物検出装置の動作について説明する。なお、 カメラ 1 0、 映像処理部 1 1 、 連続画像処理部 1 2、 時空間ボリューム 生成部 1 3、 時空間断片抽出部 1 4、 人体部位動きモデル時空間断片出 力部 1 5および時空間断片照合部 1 6は、 第 1 の実施の形態と同様の動 作であるため、 説明を省略する。 まず、 時空間ボリューム生成部 1 3で生成された時空間ボリュームか ら、 画像上での物体の移動方向を算出する移動方向算出部 1 4 0につい て説明する。

移動方向の算出方法には、 対象物体の候補を検出して移動方向を算出 する方法と、 対象物体の検出は行わずに移動方向を算出する方法とがあ る。

まず、 対象物体の候補を検出して移動方向を算出する方法について説 明する。 図 1 5 ( a ) に示されるように、 1 枚の差分画像から、 孤立し た物体を抽出するラベリングアルゴリズムを用いて、 孤立した物体を一 つの検出対象物体の候補であると捉える。

ラベリングアルゴリズムによる物体抽出は、 画素値が 1 のピクセルを 連結し、異なつた連結部には異なつたラベルをつけることによって行う。 本実施例では、 以下のように行った。

まず、 時刻 t における 2値化された差分画像に対し、 画素値が 1 であ リ、 かつラベルの付けられていない画素 Pを検出し、 ラベルしを付与す る。 画素 Pと連結している画素全てに対し、 同じラベル Lを付与する。 この操作をラベル付けされていない画素が存在しなくなるまで続けるこ とによって、 物体抽出を行う。 もちろん、 孤立した物体を抽出できるも のであれば、 他のラベリング手法を用いても構わない。

続いて、 図 1 5 ( b ) に示されるように、 時刻 t + 1 における 2値化 された差分画像に対し、 時刻 t においてラベリングした移動物体候補を 画像上で摂動させながらマッチングすることによって、 最もマッチング 値が高い位置までの動きべク トルを算出する。 この動きべク トル算出処 理を一定時刻行い、 ラベルごとの平均動きべク トルを求めることによつ て、 対象物体候補の移動方向を算出する。

次に、 対象物体の検出を行わずに移動方向を算出する方法について説 明する。 ここでは、 図 1 6 ( a ) に示されるように、 小領域に区切って 算出する方法について説明する。

なお、 これは、 小領域の区切り方を限定するものではない。

まず、 時刻 t における二値化された差分画像に対し、 各小領域ごとに ある一定数以上の画素値 1 のピクセルが存在する場合、 その小領域を摂 動させることによって、 時刻 t + 1 における二値化された差分画像との マッチングを行う。 この時、 現在の位置から摂動させた結果、 最大のマ ツチング値を持った位置までの動きべク トルを算出する。 これにより、 図 1 6 ( b ) のように、 それぞれの小領域において、 動きべク トルが算 出されることになる。 この動きベク トル算出処理を一定時刻行い、 各小 領域ごとの平均動きべク トルを求める。 そして、 各小領域ごとに算出し た平均動きベク トルを投票し、ある一定値以上の投票が得られた場合に、 対象物体候補の移動方向とする。

なお、 本実施の形態では、 上記のような移動方向算出方法について述 ベたが、 移動べク トルを算出することができれば、 他の物体検出手法を 用いても構わない。

以下、 時空間断片抽出部 1 4が断片抽出線 2 3を直線で生成する場合 について述べる。

時空間断片抽出部 1 4は、 図 1 7に示されるように、 断片抽出線を生 成する断片抽出線生成部 1 7 1 と時空間断片を抽出する時空間ボリユ ー ム切断部 1 7 2と画像上での直線および曲線パラメータをワールド座標 上における直線および曲線に変換する座標変換部 1 7 3 とを備える。 ここで、 断片抽出線生成部 1 7 1 について説明する。 まず、 画像上で の直線および曲線を定義する。 ここでは、 画像上に直線を引く ことで、 断片抽出線 2 3を求める場合について説明する。

断片抽出線 2 3は、 以下の式 2で定義することができる。 Y i = a X i + b - (式 2 )

ここで、 傾き aは、 画像上における移動物体の移動方向に関するパラ メータとなり、 bは、 画像上での切片である。

傾き aは、 移動方向算出部 1 4 0により算出された対象物体候補の移 動方向により求めることができる。 この傾き aに応じて、 切片 bの値を 変更することによって断片抽出線 2 3を生成し、 時空間ポリューム切断 部 1 7 2にて、 時空間断片 2 2を抽出することができる。 抽出された、 時空間断片 2 2は、 時空間断片照合部 1 6へ送られる。

次に、 座標変換部 1 7 3では、 断片抽出線生成部 1 7 1 で生成された 画像上での直線をワールド座標における直線に変換する。 人体部位動き モデル時空間断片出力部 1 5では、 ここで変換したワールド座標系にお ける直線にしたがって人物動きモデルを生成するため、 以下の動作は、 第 1 の実施の形態と同様である。

次に、 時空間断片照合部 1 6は、 第 1 の実施の形態と同様に、 時空間 断片 7 0と人体部位動きモデル時空間断片 7 1 との照合を行い、 照合結 果から断片抽出線のパラメータ変更を示す信号である断片抽出線パラメ ータ変更信号を断片抽出線生成部 1 7 1 に出力する。

以下、 同様に、 時空間断片抽出部 1 4は、 断片抽出線パラメータ変更 信号の入力が終了するまで、 時空間データからパラメータに従った時空 間断片を作成する。 ここで、 断片抽出線パラメータ変更信号は、 移動方 向算出部で算出した移動物体候補の移動方向に基づいて、 すべてのパラ メータ候補についてパラメータ変更をしてもよいし、 属性出力部 "！ 7で 移動物体検出が行われるまでと してもよい。

なお、 断片抽出線パラメータ変更信号は、 断片抽出線のパラメータで ある aおよび bである。

以後の処理は、 第 1 の実施の形態と同様であるので、 ここでの説明は 省略する。

以上のように、 本実施の形態によれば、 移動物体の移動方向を算出す ることによって、 断片抽出線 2 3のパラメータおよび人物動きモデルの パラメータを削減することができ、 全探索しながら時空間断片照合を行 う場合に比べて、 より高速な人物検出が可能となる。

(第 5の実施の形態）

次に、 本発明の第 5の実施の形態における人物検出装置について説明 する。

図 1 8は、 本実施の形態における人物検出装置の構成を示す機能プロ ック図である。 この人物検出装置は、 第 1 〜第 4の実施の形態と同様に 街頭や駐車場、 店舗内などを撮影した映像中に存在する人物を検出する 装置であるが、 移動物体の移動方向を算出するとともに、 歩行に特有の 周期的動作をも検証しながら断片抽出線を決定する点に特徴を有し、 力 メラ 1 0、 映像処理部 1 1 、 連続画像処理部 1 2、 時空間ポリユーム生 成部 1 3、 時空間断片抽出部 1 4、 人体部位動きモデル時空間断片出力 部 1 5、 時空間断片照合部 1 6、 属性出力部 1 7、 表示部 1 8、 移動方 向算出部 1 4 0および周期性解析部 1 9 0を備える。 この構成は、 第 1 の実施の形態における人物検出装置が備える構成に移動方向算出部 1 4 0および周期性解析部 1 9 0を付加したもの、 つまり、 第 4の実施の形 態における構成に周期性解析部 1 9 0を付加したものに相当する。以下、 第 1 および第 4の実施の形態と異なる点を中心に説明する。

第 1 の実施の形態では、 断片抽出線のパラメータおよび人物動きモデ ルのパラメータを全探索するか、 も しくは、 照合結果が閾値以上のパラ メータを探索することによって時空間断片の照合を行ったが、 本実施の 形態では、移動物体の移動方向を算出する移動方向算出部 1 4 0を設け、 さらに歩行に特有な周期的動作を検証する周期性解析部 1 9 0を設ける ことにより、 高速な時空間断片の照合が可能となり、 より正確な人物検 出が可能となる。

以下に、本実施の形態の人物検出装置の動作について説明する。なお、 カメラ 1 0、 映像処理部 1 1 、 連続画像処理部 1 2、 時空間ボリユーム 生成部 1 3、 人体部位動きモデル時空間断片出力部 1 5、 時空間断片照 合部 1 6、 移動方向算出部 1 4 0は、 第 1 および第 4の実施の形態と同 様の動作であるため、 説明を省略する。

まず、 時空間断片抽出部 1 4が断片抽出線 2 3を直線で生成した場合 について述べる。

本実施の形態では、 時空間断片抽出部 1 4は、 移動方向算出部 1 4 0 で算出された移動物体の移動方向に基づいて、 画像上での直線および曲 線を定義する。 ここでは、 画像上に直線を引く ことで、 断片抽出線 2 3 を求める場合について説明する。

断片抽出線 2 3は、 以下の式 3で定義することができる。

Y i = a X i + b - (式 3 )

ここで、 傾き aは、 画像上における移動物体の移動方向に関するパラ メータ となり、 bは、 画像上での切片である。

傾き aは、 移動方向算出部 1 4 0によリ算出された対象物体候補の移 動方向により求めることができる。 この傾き aに応じて、 切片 bの値を 変更することによって断片抽出線 2 3を生成し、 時空間断片 2 2を抽出 することができる。 抽出された時空間断片 2 2および断片抽出線 2 3の パラメータは、 周期性解析部 1 9 0へ送られる。

周期性解析部 1 9 0は、 図 1 9に示されるように、 時空間断片に対し て時刻 t ごとに自己相関関数を計算し、 それぞれ相関長を計算する相関 長計算部 1 9 1 と、 それぞれ算出した相関長を時間方向に並べた相関長 の時系列に対して、 再度、 自己相関関数を計算する相関長自己相関計算 部 1 9 2と、 相関長自己相関計算部 1 9 2から入力された相関長の自己 相関関数からピーク位置を検出し、 検出したピーク位置が移動物体の移 動周期にマッチしているかどうかを検証することによって移動物体か否 かを判定するピーク検出部 1 9 3、 ピーク検出部 1 9 3でピークが検出 された時の画像上での直線をワールド座標における直線に変換する座標 変換部 1 9 4とを備える。

周期性解析部 1 9 0は、 時空間断片 2 2の周期性の解析を行い、 その 周期性解析が終了したら、 断片抽出線 2 3のパラメータ変更を示す信号 である断片抽出線パラメータ変更信号を時空間断片抽出部 1 4に出力す る。

以下、 同様に、 時空間断片抽出部 1 4は、 断片抽出線パラメータ変更 信号の入力が終了するまで、 断片抽出線 2 3を作成し時空間断片 2 2を 作成する。

次に、相関長計算部 1 9 1 について説明する。相関長計算部 1 9 1 は、 図 2 0 ( a ) に示されるような時空間断片 2 0 1 に対して、 図 2 0 ( b ) に示される例のように、 時刻 t ごとに 1 次元データ 2 0 2を作成して、 それぞれの 1 次元データ 2 0 2に対して自己相関関数 2 0 3を計算する。 なお、 図 2 0 ( a ) の時間は、 時空間ポリューム生成部 1 3で予め决 定したフ レーム数 Nである。 図 2 0 ( b ) の長さは、 図 2 0 ( a ) に示 される時空間断片 2 0 1 の幅 Xである。 自己相関関数 2 0 3の計算は、 以下の式 4で定義することができる。

一 （式 4 )

ここで、 f ( X ) が 1 次元データ 2 0 2であり、 C ( r ) は、 自己相 関関数 2 0 3である。 すなわち、 自己相関関数 C ( Γ ) は、 1 次元デー タ f ( x ) をある間隔 rだけずらした場合 （ f ( X + て ）） に、 元の 1 次 元データ f ( X ) とどれだけ似ているかを示す尺度となる。 図 2 0 ( c ) に、 自己相関関数 c ( r ) と ての関係を示す。 自己相関関数 c ( 0 ) は、 自分自身との相関を示すことになるために、 最大値をとることになる。 また、 自己相関関数 C ( r p) は、 自己相関関数 C ( r ) がピークになる 位置て pであり、 1 次元データで相関の高い O Nピクセルの間隔はて pに 相当する。 自己相関関数 C ( r ) においてピークの存在する位置て pは、 移動物体の脚に着目 した場合、 歩幅を示すことになる。 すなわち、 自己 相関関数 C ( て ） の時間的変化は、 移動における歩幅の時間的変化を示 すこととなり周期的であることが期待できる。

なお、 図 2 0 ( d )、 （ e )、 ( f ) は、 歩行の特徴 （周期性） が存在し ない場合、 例えば、 断片抽出線が人物の胴体を横切る位置に設定された 場合に得られる時空間断片のデータ例であり、 それぞれ、 時空間断片、 時空間断片のある時刻における一次元データの例、 周期て と自己相関関 数 C (∑" ) との関係を示すグラフであり、 歩行の特徴が存在する場合に おける図 2 0 ( a )、 （ b )、 ( c ) に対応する。 図 2 0 ( f ) に示される ように、 時空間断片において周期性が存在しない場合には、 自己相関関 数 C ( て ） のグラフにおいてピークが存在しないことになる。

本実施の形態では、 自己相関関数 C ( τ ρ) のようなピークが必ずしも 存在しない場合があることを考慮して、 自己相関関数 C ( て ） = 0とな る位置て L を用いて周期性の解析を行うこととする。 これは、 脚が閉じ ている状態時に起こり うる。 また、 以降、 この て L を相関長と呼ぶこと とする。 なお、 本実施の形態においては、 自己相関関数 C ( て ） = 0と なる位置て _L を相関長と したが、 必ずしも相関関数 C (て） = 0となる 位置 である必要はなく、歩幅の周期的変動を捉えられるものであれば、 何でもよい。 相関長 r_Lは、 時刻ごとに計算され、 時刻ごとに計算された相関長 ΪΤ L を時間順に並べることによって、 相関長の時系列データ 2 1 0を得る。 相関長 IT Lの時系列データ 2 1 0を図 2 1 ( a ) に示す。 相関長て Lの時 系列データ 2 1 0は、 理想的な時空間断片が入力された場合において、 歩幅の時間的変化に相当するものとなり、 時間に応じて周期的に変動す る。

次に、 相関長自己相関計算部 1 9 2について詳しく説明する。 相関長 計算部 1 9 1 は、 算出した相関長 て _L の時系列データ 2 1 0を相関長自 己相関計算部 1 9 2に出力する。 相関長自己相関計算部 1 9 2は、 図 2 1 ( a ) に示されるような相関長 I" _Lの時系列データ 2 1 0に対して自 己相関関数 2 1 1 を計算する。 計算式は、 前述の式 4と同様である。 こ の計算結果を図 2 1 ( b ) に示す.。 こ こで、 相関長 て L の時系列データ 2 1 0に対して自己相関関数 2 1 1 を計算した結果である C t ( α ) を ピーク検出部 1 93に出力する。

なお、 断片抽出線パラメータ変更信号は、 断片抽出線のパラメータで ある bである。

次に、 ピーク検出部 1 9 3について説明する。 ピーク検出部 1 9 3で は、 相関長自己相関計算部から入力された相関長の自己相関関数 C t (ひ） からピーク位置 _wを検出し、 検出したピーク位置 a_wが移動物体 の移動周期にマッチしているかどうかを検証することによって移動物体 か否かを判定し、 移動物体と判定した場合に、 移動物体の存在位置と移 動方向を特定し、 表示部 1 8に出力する。

すなわち、 相関長の自己相関関数 C t ( ） は、 て L ( t ) をある間隔 だけずらしたて L ( t + α ) と、 7： _L ( t ) とがどれだけ似ているかを 示す尺度となる。

本実施の形態では、 ピーク位置 a_wの検出は、 位置 = 0から探索を 行い、 最初のピークを検出することによって行ったが、 他のピーク検出 手法を用いても構わないし、 後述する設計者が決定したフレーム数付近 のピークを探索する方法を用いても構わない。

本実施の形態では、 移動 1 歩分の移動周期を検出する場合について述 ベる。 ピーク検出部 1 9 3は、 ピーク位置 a _wがー歩の移動に必要なフ レーム数である場合に、 移動物体であると判定する。 一歩の移動に必要 なフ レーム数は、 映像処理部 1 1 で 1 秒間に何フ レーム取得できるかに よって異なるが、 本実施の形態では、 1 秒間に 3 0 フ レーム入力された 場合で、 2 0フレームから 3 0フレームを一歩の移動に必要なフレーム 数と し、 ピーク位置 が 2 0フレームから 3 0フレームの間に相関長の 自己相関関数 C t ( ) のピークが検出された場合に移動物体であると 判定する。 このフ レーム数は、 設計者によって自在に決定可能である。 なお、 より高精度な移動物体判定を行う場合は、 2歩以上を一単位と し た移動周期を検出することも可能である。 その場合は、 前記設計者が決 定するフ レーム数を歩数倍することによって対応可能である。

また、 犬やネコ等の動物を検出する場合においても、 同様に周期性を 判定することが可能である。

さらに、 自己相関関数 C t ( a ) を計算する代わりにフーリエ変換を 用いることも可能である。 この場合、 特定の周波数にピークが存在する か否かを判定することになる。

なお、 本実施の形態では、 フ レーム毎に画像が入力された場合につい て述べたが、 一定時間ごとにサンプリングした画像を用いてもよい。 そ の場合には、 移動物体が一歩移動するために必要な時間から、 ピーク検 出部 1 9 3のピーク位置 a _wを計算すればよい。

また、 ピーク検出部 1 9 3は、 時空間断片を抽出するためのパラメ一 タ変更を示す信号である断片抽出線パラメータ変更信号を時空間断片抽 出部 1 4に出力する。

以下、 同様に、 時空間断片抽出部 1 4は、 移動方向算出部から得られ たパラメータの拘束のもとに、 断片抽出線パラメータ変更信号の入力が 終了するまで、 時空間データからパラメータに従った時空間断片を作成 する。 ここで、 断片抽出線パラメータ変更信号は、 移動方向算出部で算 出 した移動物体候補の移動方向に基づいて、 すべてのパラメータ候補に ついてパラメータ変更してもよいし、 属性出力部 1 7 で移動物体検出が 行われるまでと してもよい。

次に、 ピーク検出部 1 9 3は、 相関長の自己相関関数から移動物体の 移動に特有のピークが検出された場合、 断片抽出線パラメータ を座標変 換部 1 9 4に送信する。

次に、 座標変換部 1 9 4は、 ピーク検出部 1 9 3でピークが検出され た時の画像上での直線をワール ド座標における直線に変換する。 人体部 位動きモデル時空間断片出力部 1 5は、 ここで変換したワール ド座標系 における直線にしたがって人物動きモデルを生成する。 以下の動作は、 第 1 の実施の形態と同様である。

属性出力部 1 7は、 移動物体の存在位置と移動方向を特定し、 表示部 1 8に出力する。

次に、 時空間断片照合部 1 6は、 第 1 の実施の形態と同様に、 周期性 解析部 1 9 0でピークが検出できた時の時空間断片 7 0 と人体部位動き モデル時空間断片 7 1 との照合を行い、 照合結果から断片抽出線のパラ メータ変更を示す信号である断片抽出線パラメータ変更信号を時空間断 片抽出部 1 4に出力する。

以下、 同様に、 時空間断片抽出部 1 4は、 断片抽出線パラメータ変更 信号の入力が終了するまで、 時空.間データからパラメータに従った時空 間断片を作成する。 ここで、 断片抽出線パラメータ変更信号は、 移動方 向算出部で算出した移動物体候補の移動方向に基づいて、 すべてのパラ メータ候補についてパラメータ変更してもよいし、 属性出力部 1 7で移 動物体検出が行われるまでと してもよい

なお、 断片抽出線パラメータ変更信号は、 断片抽出線のパラメータで ある aおよび bである。

以後の処理は、 第 1 の実施の形態と同様であるので、 ここでの説明は 省略する。

以上のように、本実施の形態によれば、移動物体の移動方向を算出し、 移動物体の周期性を解析することによって、 断片抽出線 2 3のパラメ一 タおよび人物動きモデルのパラメータを削減することにより、 全探索し ながら時空間断片照合を行う場合に比べて、 より高速な人物検出が可能 となる。

(第 6の実施の形態）

次に、 本発明の第 6の実施の形態における人物モデルフィ ッティング 装置について説明する。

図 2 2は、 本実施の形態における人物モデルフイ ツティング装置の構 成を示す機能ブロック図である。この人物モデルフィ ッティング装置は、 マーカー等の特殊な装置を被写体に取リ付ける必要がなく、 画像に存在 する人物に対してモデルをフィ ッティングする装置であり、カメラ 1 0、 映像処理部 1 1 、 連続画像処理部 1 2、 時空間ボリューム生成部 1 3、 時空間断片抽出部 1 4、 人体部位動きモデル時空間断片出力部 1 5、 時 空間断片照合部 1 6、 表示部 1 8およびモデルフィ ッティング部 2 2 0 を備える。 この構成は、 第 1 の実施の形態における人物検出装置が備え る構成要素のうち、 属性出力部 1 7をモデルフィ ッティ ング部 2 2 0に 置き換えた構成に相当する。 以下、 第 1 の実施の形態と異なる点を中心 に説明する。 なお、 人物モデルのフィ ッティングとは、 人物動きモデルを画像に存 在する人物にフィ ッティングすることであり、 ここでは、 図 7に示され る人物動きモデルのパラメータの値 （画像に存在する人物の動きに合致 した値） を決定することをいう。

以下に、 本実施の形態の人物モデルフィ ッティ ング装置の動作につい て説明する。なお、 カメラ 1 0、映像処理部 1 1 、連続画像処理部 1 2、 時空間ボリューム生成部 1 3、 時空間断片抽出部 1 4、 人体部位動きモ デル時空間断片出力部 1 5および時空間断片照合部 1 6は、 第 1 の実施 の形態と同様の動作であるため、 説明を省略する。

モデルフィ ッティング部 2 2 0は、 図 2 3に示されるように、 モデル 生成部 2 3 1 と座標変換部 2 3 2とを備える。

まず、 モデル生成部 2 3 1 は、 時空間断片照合部 1 6の出力するヮ一 ルド座標上での人物の存在位置を示すパラメータの組み合わせ結果から、 図 7に示される人物動きモデルを再度生成する。 人物動きモデルの脚の 長さ Lおよび股間の角度 0 L は、 既知であるため、 これらのパラメ一タ から図 7に示される人物動きモデルを生成可能である。

ここで、 モデル生成部 2 3 1 は、 人体部位動きモデル時空間断片出力 部 1 5が備える人物動きモデル生成部 5 0と同様の機能を有する。

また、 この人物動きモデルは、 ワールド座標系における存在位置や歩 行方向をパラメータ と して持っため、 座標変換部 2 3 2にて、 座標変換 を行うことで画像上に人物動きモデルをフィ ッティングする。 具体的に は、 高いマッチングスコアを得たパラメータの組み合わせのうち、 断片 抽出線パラメータの 0 wは、 ワールド座標上における歩行方向に該当し、 人物動きモデルのパラメ一タ （ X _{St art}、 y start ) が、 人物の存在位置に該 当する。 また、 検出時刻は、 パラメータの組み合わせに添付された時空 間断片照合部 1 6の照合処理部 1 5 0で行うスキャン処理のステツプ数 により算出され、 その時刻における画像に座標変換を行ったモデルを重 ねることによって、 フィ ッティングを行う。

最後に、 表示部 1 8は、 モデルフィ ッティング部 2 2 0でフイ ツティ ングされた画像を表示する。

以上のように、 本実施の形態によれば、 マーカー等の特殊な装置を被 写体に取り付ける必要がなく、 画像に存在する人物に対してモデルをフ ィ ッティ ングすることができる。

なお、 本実施の形態は、 第 2、 第 4および第 5の実施の形態のように 計算時間短縮のための構成をとる事も可能である。

以上、 本発明に係る人物検出装置、 人物照合装置および人物モデルフ イ ツティング装置について、 6つの実施の形態に基づいて説明したが、 本発明は、 これらの実施の形態に限定されるものではない。

たとえば、 第 1 の実施の形態等では、 人体部位動きモデル時空間断片 出力部 1 5の人物動きモデル生成部 5 0は、 時空間断片抽出部 1 4から 出力される断片抽出線のパラメータに基づいて具体的なパラメータを持 つ人物モデルを生成したが、 予め複数の人物動きモデルテンプレー トを 保持しておき、 その中から、 最適なテンプレートを選択して出力しても よい。 例と して、 人体部位動きモデル時空間断片出力部 1 5が、 図 2 4 に示されるように、 大人 （男性）、 大人 （女性）、 子供および老人という タイプ別の人物動きモデルテンプレー トの中から、 時空間断片抽出部 1 4から出力されたパラメータに近いものを選択し、 選択した人物動きモ デルテンプレー トの人体部位動きモデル時空間断片を出力する。そして、 時空間断片照合部 1 6は、 時空間断片抽出部 1 4から出力される時空間 断片と人体部位動きモデル時空間断片出力部 1 5から出力される人体部 位動きモデル時空間断片とを照合する。 照合の結果、 一定の基準が満た されない場合には、 人体部位動きモデル時空間断片出力部 1 5は、 次の 候補となる人物動きモデルテンプレー トを選択し、 その人物動きモデル テンプレー トの人体部位動きモデル時空間断片を出力 し、 時空間断片照 合部 1 6が照合を繰り返す。 これによつて、 最も一致度の高い人物動き モデルテンプレー トが決定され、 対象画像中の人物のタイ プが決定され る。

なお、 図 2 4に示された人物動きモデルテンプレー トでは、 各パラメ ータは、 1 つの値に設定されていたが、 一定の範囲 （例えば、 子供のパ ラメータ し と して 3 0 0〜 7 0 0 m m等） が設定されていてもよい。 こ の場合には、 設定された範囲内で時空間断片照合部 1 6が繰り返して照 合計算を行う ことで、 最適な値や最適なタイプの人物動きモデルテンプ レー トを探索すればよい。

また、 このような人物動きモデルテンプレー トと しては、 人物のタイ プ別に限られず、 図 2 5に示されるように、 歩行する路面の状況別に複 数のテンプレー トを用意しておいた り、 図 2 6に示されるよ うに、 歩行 する場所における混雑度別に複数のテンプレー トを用意しおいてもよし、。 これによつて、 画像から得られる時空間断片に最も近い人体部位動きモ デル時空間断片を生成する人物動きモデルテンプレー トを探索すること で、 人物だけでなく 、 歩行の環境についても、 各種状況を判断すること ができる。 つま り、 人物が歩行している映像から、 人物のタイ プだけで なく 、 路面状況、 歩行場所における混雑度等をある程度予測するこ とが できる。 産業上の利用の可能性

本発明は、 人物の存在、 位置、 歩行方向等を検出する人物検出装置等 と して、 例えば、 街頭や施設内に設置する監視装置や建物への入退出時 における認証装置等と して、 特に、 人物の現在位置、 歩行方向が既知で ない場合においても、 画像中の検出領域を限定することなく 、 人物検出 を行う ことが可能な人物検出装置、 人物照合装置等と して利用すること ができる。

Claims

o

線得 2

請 求 の 範 囲

1 . 動画像に含まれる人物を検出する装置であって、

人物が撮影された動画像を構成するフ レーム画像を時間軸に沿って並 ベた 3次元時空間画像を生成する時空間ボリューム生成手段と、 5 生成された 3次元時空間画像から、 当該 3次元時空間画像を切断した ときの切断面または切断片における画像である実画像時空間断片を抽出 する時空間断片抽出手段と、

人物の動き特性を規定した人物動きモデルに基づいて、 当該人物動き モデルによる動きによって得られる時空間断片である人体部位動きモデ0 ル時空間断片を生成して出力する時空間断片出力手段と、

前記時空間断片抽出手段が抽出した実画像時空間断片と前記時空間断 片出力手段が出力した人体部位動きモデル時空間断片とを照合する時空 間断片照合手段と、

前記時空間断片照合手段による照合結果に基づいて、 前記動画像にお5 ける人物の存否を含む人物属性を出力する属性出力手段と

を備えることを特徴とする人物検出装置。

. 前記時空間断片抽出手段は、 前記フ レーム画像を切断する断片抽出 を決定し、 決定した断片抽出線.を時間軸に沿って並べることによって られる面を切断面と して前記実画像時空間断片を抽出する

ことを特徴とする請求の範囲 1記載の人物検出装置。

3 . 前記時空間断片抽出手段は、 前記 3次元時空間画像における人物の 脚を切断する断片抽出線を用いて前記実画像時空間断片を抽出し、 前記時空間断片出力手段は、 人物の歩行特性を規定した人物動きモデ ルに基づいて、 当該人物動きモデルの歩行時における脚を切断する切断 面によって得られる人体部位動きモデル時空間断片を生成する

ことを特徴とする請求の範囲 2記載の人物検出装置。

4 . 前記人物動きモデルは、 2本の脚に対応する一端どう しが結合され た 2本の線分で表現され、 各線分が結合点を回転中心と して一定の角速 度 ωで交互に最大角度 2 0 Lまで回転するように規定される

ことを特徴とする請求の範囲 3記載の人物検出装置。

5 . 前記時空間断片照合手段は、 前記実画像時空間断片に対して、 前記 時空間断片出力手段が出力した一歩分の人体部位動きモデル時空間断片 を時間方向に走査していったときの画像どう しの一致度を算出すること によって、 前記照合を行う

ことを特徴とする請求の範囲 3記載の人物検出装置。 6 . 前記人物検出装置はさらに、 前記時空間ボリューム生成手段によつ て生成された 3次元時空間画像から、 当該 3次元時空間画像に存在する 移動物体の移動方向を算出する移動方向算出手段を備え、

前記時空間断片抽出手段は、 前記移動方向算出手段によって算出され た移動方向に従って前記断片抽出線を決定する

こ とを特徴とする請求の範囲 2記載の人物検出装置。

7 . 前記移動方向算出手段は、 前記 3次元時空間画像を構成するフ レー ム画像ごとに前記移動物体を抽出し、 抽出した移動物体のフ レーム画像 間における動きべク トルを求めることによって、 前記移動物体の移動方 向を算出する

ことを特徴とする請求の範囲 6記載の人物検出装置。

8 . 前記移動方向算出手段は、 前記 3次元時空間画像を構成するフレー ム画像ごとに小領域に区分し、 小領域ごとにフレーム画像間における動 きべク トルを求めることによって、 前記移動物体の移動方向を算出する ことを特徴とする請求の範囲 6記載の人物検出装置

9 . 前記断片抽出線は、 直線または曲線である

ことを特徴とする請求の範囲 2記載の人物検出装置。

1 0 . 前記属性出力手段は、 前記時空間断片照合手段によリ前記実画像 時空間断片と前記人体部位動きモデル時空間断片とが一定の基準以上に 致すると照合された場合に、 前記切断面または切断片を特定するパラ メ一夕と前記人体動きモデルを特定するパラメータとから前記動画像に おける人物の位置および移動方向を算出して出力する

ことを特徴とする請求の範囲 1 記載の人物検出装置

1 1 . 前記人物検出装置はさらに 、 刖

物の位置および移動方向を含む人物属

ことを特徴とする請求の 囲 1 0記

2 . 前記人物検出装置はさらに、 前記時空間断片抽出手段によって抽 された実画像時空間断片が人物の歩行に特有の周期的動作に基づく画 であるか否かを解析する周期性解析手段を備え、

前記時空間断片抽出手段は、 前記周期性解析手段による解析結果に基 いて断片抽出線を変更し、 変更した断片抽出線を用いて再び実画像時 間断片を抽出する ことを特徴とする請求の範囲 1 記載の人物検出装置。

1 3 . 前記周期性解析手段は、 前記実画像時空間断片を構成する各時間 における画像を示す 1次元データに対して自己相関関数を求めることに よって相関長の時系列データを生成し、 生成した相関長の時系列データ において周期性が存在する場合に、 前記実画像時空間断片が人物の歩行 に特有の周期的動作に基づく画像であると解析する

ことを特徴とする請求の範囲 1 2記載の人物検出装置。

1 4 . 前記周期性解析手段は、、 前 IIJ記記相相関長の時系列データに対して自己 相関関数を求めるこ て相関長 対する自己相関関数値の 化を 示すグラフを求め、 フにおい ピークが存在する場合に 相関 長の時系列データに周期性が存在すると判断する

ことを特徴とする請求の範囲 1 3記載の人物検出装置。

1 5 . 前記人物検出装置はさらに、 前記時空間断片照合手段による照合 結果に基づいて、 前記時空間断片抽出手段に前記切断面または切断片を 特定するパラメータを変更させたうえで再び実画像時空間断片を抽出さ せること、 および、 前記時空間断片出力手段に前記人体動きモデルを特 定するパラメータを変更させたうえで再び人体部位動きモデル時空間断 片を出力させることの少なく とも 1 つを実行させることで、 前記切断面 または切断片を特定する最適なパラメータおよび前記人体動きモデルを 特定する最適なパラメータを探索する解探索手段を備える

ことを特徴とする請求の範囲 1 記載の人物検出装置。 前記解探索手段は、 遺伝的ァルゴリズムを用いて最適なパラメ タを探索する

ことを特徴とする請求の範囲 1 5記載の人物検出装置。

1 7 . 前記時空間ボリューム生成手段は、 前記フ レーム画像を背景差分 またはフレーム間差分した後に 2値化して得られる画像を少なく とも 1 枚以上重ね合わせることによって前記 3次元時空間画像を生成する

ことを特徴とする請求の範囲 1 記載の人物検出装置。

1 8 . 前記時空間断片出力手段は、 予め記憶する複数の異なる種類の人 物動きモデルの中から選択した人物動きモデルに対応する人体部位動き モデル時空間断片を生成して出力し、

前記時空間断片照合手段は、 前記照合による結果が一定の基準を満た さない場合に、 前記時空間断片出力手段に新たな人物動きモデルに対応 する人体部位動きモデル時空間断片を生成して出力させることで、 前記 照合を繰り返す

ことを特徴とする請求の範囲 1 記載の人物検出装置。

1 9 .前記時空間断片出力手段が予め記憶する複数の人物動きモデルは、 モデリングの対象となる人物の性別、年齢、人物が歩行する路面の状況、 および、 歩行する場所における混雑度の少なく とも 1 つが異なる

ことを特徴とする請求の範囲 1 . 8記載の人物検出装置。

2 0 . 動画像に含まれる人物の画像と予め蓄積している人物の画像とを 照合する装置であって、

請求の範囲 1 ~ 1 9のいずれか 1 項に記載の人物検出装置と、 パン、 チル トおよびズームの少なく とも 1 つの機能を有する照合力メ ラ

前記人物検出装置で検出され人物の位置または移動方向に基づいて、 前記照合力メラによるパン、 チルトおよびズームの少なく とも 1 つを制 御するカメラ制御手段と、

前記照合カメラにより撮影された人物の画像と予め蓄積している人物 の画像とを照合する人物照合手段と

を備えるこどを特徴とする人物照合装置。

2 1 . 人物の動き特性を規定した人物動きモデルを画像上の人物の動き にフイ ツティングさせる装置であって

人物が撮影された動画像を構成するフ レーム画像を時間軸に沿って並 ベた 3次元時空間画像を生成する時 間ポリユ ーム生成手段と、 生成された 3次元時空間画像から 当該 3次元時空間画像を切断した ときの切断面または切断片における 像である実画像時空間断片を抽出 する時空間断片抽出手段と、

前記人物動きモデルによる動きによつて得られる時空間断片である人 体部位動きモデル時空間断片を生成して出力する時空間断片出力手段と 前記時空間断片抽出手段が抽出した実画像時空間断片と前記時空間断 片出力手段が出力した人体部位動きモデル時空間断片とを照合する時空 間断片照合手段と、

前記時空間断片照合手段による照合結果に基づいて、 前記人物動きモ デルが前記動画像における人物の動きを示すように、 前記人物動きモデ ルを特定するパラメータの値を決定するモデルフィ ッティング手段と を備えることを特徴とする人物モデルフイ ツティング装置。

2 2 . 画像を生成する装置であって、 動画像を構成するフ レーム画像を時間軸に沿って並べた 3次元時空間 画像を切断したときの切断面または切断片における画像を時空間断片と したときに、

人物の動き特性を規定した人物動きモデルに基づいて、 当該人物動き モデルによる動きによって得られる時空間断片である人体部位動きモデ ル時空間断片を生成して出力する時空間断片出力手段を備える

ことを特徴とする画像生成装置。

2 3 . 動画像に含まれる人物を検出する方法であって、

人物が撮影された動画像を構成するフ レーム画像を時間軸に沿って並 ベた 3次元時空間画像を生成する時空間ボリューム生成ステップと、 生成された 3次元時空間画像から、 当該 3次元時空間画像を切断した ときの切断面または切断片における画像である実画像時空間断片を抽出 する時空間断片抽出ステップと、

人物の動き特性を規定した人物動きモデルに基づいて、 当該人物動き モデルによる動きによって得られる時空間断片である人体部位動きモデ ル時空間断片を出力する時空間断片出力ステップと、

前記時空間断片抽出ステツプで抽出された実画像時空間断片と前記時 空間断片出力ステップで出力された人体部位動きモデル時空間断片とを 照合する時空間断片照合ステップと、

前記時空間断片照合ステップによる照合結果に基づいて、 前記動画像 における人物の存否を含む人物属性を出力する属性出力ステップと を含むことを特徴とする人物検出方法。 2 4 . 動画像に含まれる人物を検出する装置のためのプログラムであつ て、 請求の範囲 2 3記載の人物検出方法に含まれるステップをコンビユー タに実行させる

ことを特徴とするプログラム。

2 5 . 動画像に含まれる人物の画像と予め蓄積している人物の画像とを 照合する方法であって、

請求の範囲 2 3記載の人物検出方法に含まれるステップと、

前記人物検出方法で検出された人物の位置または移動方向に基づいて、 照合カメラによるパン、 チルトおよびズームの少なく とも 1 つを制御す るカメラ制御ステップと、

前記照合カメラにより撮影された人物の画像と予め蓄積している人物 の画像とを照合する人物照合ステップと

を含むことを特徴とする人物照合方法。

2 6 . 動画像に含まれる人物の画像と予め蓄積している人物の画像とを 照合する装置のためのプログラムであって、

請求の範囲 2 5記載の人物照合方法に含まれるステップをコンビユー タに実行させる

2 7 . 人物の動き特性を規定した人物動きモデルを画像上の人物の動き にフィ ッティングさせる方法であって、

人物が撮影された動画像を構成するフレーム画像を時間軸に沿って並 ベた 3次元時空間画像を生成する時空間ボリューム生成ステップと、 生成された 3次元時空間画像から、 当該 3次元時空間画像を切断した ときの切断面または切断片における画像である実画像時空間断片を抽出 する時空間断片抽出ステップと、

前記人物動きモデルによる動きによって得られる時空間断片である人 体部位動きモデル時空間断片を生成して出力する時空間断片出カステツ プと、

前記時空間断片抽出ステツプで抽出された実画像時空間断片と前記時 空間断片出力ステップで出力された人体部位動きモデル時空間断片とを 照合する時空間断片照合ス亍ップと、

前記前記時空間断片照合ステツプによる照合結果に基づいて、 前記人 物動きモデルが前記動画像における人物の動きを示すように、 前記人物 動きモデルを特定するパラメ一タの値を決定するモデルフイ ツティング ステップと

を含むことを特徴とする人物モデルフィ ッティング方法。

2 8 . 人物の動き特性を規定した人物動きモデルを画像上の人物の動き にフィ ッティングさせる装置のためのプログラムであって、

請求の範囲 2 7記載の人物モデルフィ ッティング方法に含まれるステ ップをコンピュータに実行させる

ことを特徴とするプログラム。 2 9 . 動画像に含まれる人物の検出に用いられる画像を生成する方法で あって、

動画像を構成するフレーム画像を時間軸に沿って並べた 3次元時空間 画像を切断したときの切断面または切断片における画像を時空間断片と したときに、

人物の動き特性を規定した人物動きモデルに基づいて、 当該人物動き モデルによる動きによって得られる時空間断片である人体部位動きモデ ル時空間断片を生成して出力する時空間断片出力ステップを含む ことを特徴とする画像生成方法。

3 0 . 動画像に含まれる人物の検出に用いられる画像を生成する装置の ためのプログラムであって、

請求の範囲 2 9記載の画像生成方法に含まれるステップをコンビユー タに実行させる

ことを特徴とするプログラム。