JP5567899B2 - 動線作成装置及び動線作成方法 - Google Patents

Description

本発明は、画像中の追跡対象を検出して、その追跡対象の移動軌跡を表す動線を作成する動線作成装置及び動線作成方法に関する。

従来より、工場内での作業員の移動や店舗内での客の移動を記録して分析するために、追跡対象の移動軌跡を表す動線を作成する動線作成装置が用いられている。動線作成装置は、例えば比較的高い箇所に設置されたカメラで対象となる空間を撮影し、撮影画像から追跡対象（例えば、人物）を認識して、追跡を行い、動線を作成する。

このように、動線は、画像に映された追跡対象の対象空間内における所在位置を追跡するためのものである。従って、画像空間内における追跡対象の縦方向（ｙ方向）の移動は、対象空間内でのカメラを基準とした追跡対象の手前方向又は奥行き方向への移動を表す。また、画像空間内における追跡対象の横方向（ｘ方向）の移動は、対象空間内でのカメラを基準とした追跡対象の左右方向への移動を表す。

従来の動線作成装置では、例えば、動線を作成するために、画像中の追跡対象を認識して、その追跡対象を包含する矩形の枠を作成し、その枠の中心点を一定時間間隔で結ぶことで動線を作成している（例えば特許文献１を参照）。

特許第４４２９３３７号公報

しかしながら、追跡対象が人物である場合において、人物の対象空間における所在位置が移動していないにもかかわらず、画像空間内で枠の中心点が移動することがある。このため、常に枠の中心点を追跡して動線を作成すると、人物の対象空間内における所在位置を追跡するのに不要である中心点の移動を動線として生成してしまい、実際の対象空間内での人物の移動を正確に表す動線を作成できないことがある。

例えば、人物がしゃがんだ場合には、人物の所在位置は変更されていないが、人物を包含する矩形の枠は上下方向に小さくなり、それに伴って矩形の中心点は画像空間内で下方に移動することになる。このような中心点の移動を反映させて動線を作成すると、人物が対象空間内でカメラを基準とした手前方向に移動したことを表す動線が作成されてしまう。その他、人物が手を広げた場合や、人物の一部が遮蔽物で遮蔽された場合なども同様に、実際の対象空間内での人物の移動を正確に表す動線を作成できないことがある。

画像認識技術を利用して「しゃがんでいる」、「手を伸ばしている」等の人物の動作を認識した上で動線を作成することで、上記の問題を解決できるが、この場合には処理負担が大きくなる。

本発明は、従来の問題を解決するためになされたもので、処理負担を増大せずに、追跡対象の移動を正確に反映しない動線を作成するという誤った動線の作成を軽減できる動線作成装置及び動線作成方法を提供することを目的とする。

本発明の動線作成装置は、追跡対象の移動軌跡を表す動線を作成する動線作成装置であって、画像フレームから追跡対象を検出して、前記追跡対象の検出領域を含む検出結果情報を生成する物体検出部と、前記検出結果情報と通常の状態での検出結果情報に基づいて、前記追跡対象の状態を判定する状態判定部と、前記状態判定部にて判定された状態に対応する方法で前記検出領域を用いて、前記追跡対象の基準点を作成する基準点作成部と、複数の前記画像フレームについて作成された複数の前記基準点を結んで、前記追跡対象の移動軌跡を表す動線を生成する動線作成部とを備えた構成を有している。

この構成により、追跡対象の状態に対応する方法で該追跡対象の基準点を作成するので、追跡対象の移動移動を正確に反映しない動線を作成するという誤った動線の作成を軽減できる。また、検出領域を含む検出結果情報に基づいて、該追跡対象の状態を判定するので、追跡対象の動作を認識する場合と比較して、処理負担を抑えられる。

また、本発明の動線作成装置において、前記状態判定部は、前記検出領域の変化に基づいて、前記追跡対象の状態を判定する。

この構成により、検出領域の変化に基づいて、追跡対象の移動に伴って検出領域が変化したのか、追跡対象の状態の変化に伴って検出領域が変化したのかを判定できる。

また、本発明の動線作成装置において、前記状態判定部は、動線作成の対象空間に設定された環境情報と前記検出領域との位置関係に基づいて、該追跡対象の状態を判定する。

この構成により、追跡対象の移動に伴って検出領域が変化したのか、環境情報が設定された位置にいることにより、検出領域が変化したのかを判定できる。

また、本発明の動線作成装置において、前記基準点作成部は、前記状態判定部にて通常の状態ではない特定の状態であると判定されたときは、現在及び過去の前記検出領域を用いて前記基準点を作成する。

この構成により、基準点を作成するために用いる検出領域に、現在の検出領域を用いることがふさわしくない部分がある場合に、過去の検出領域の一部を代用できる。

また、本発明の動線作成装置において、前記物体検出部は、前記検出領域として、上線、下線、右線、及び左線から構成され、検出した追跡対象を包含する矩形枠を生成する。

この構成により、追跡対象として検出された領域のｘ軸方向及びｙ軸方向のそれぞれの座標値の最大値を用いて容易に検出領域を生成でき、処理負担を軽減できる。

また、本発明の動線作成装置において、前記状態判定部は、現在の矩形枠と過去の矩形枠とを比較して、下線の移動が第１の閾値より小さく、上線の下方向への移動が第２の閾値より大きいときは、しゃがみ状態であると判定し、前記基準点作成部は、前記状態判定部にてしゃがみ状態であると判定されたときは、前記矩形枠の上線として、通常の状態であった矩形枠の上線を採用して、基準点を作成する。

この構成によれば、追跡対象の移動を伴わないしゃがみの動作によって検出領域が変化しても、この検出領域の変化によって基準点が変化することがなく、追跡対象の移動を正確に反映しない動線を作成するという誤った動線の作成を防止できる。

また、本発明の動線作成装置において、前記状態判定部は、現在の矩形枠と過去の矩形枠とを比較して、上線及び下線の移動が第３の閾値より小さく、右線の右方向への移動又は左線の左方向への移動が第４の閾値より大きいときは、手伸ばし状態であると判定し、前記基準点作成部は、前記状態判定部にて手伸ばし状態であると判定されたときは、前記矩形枠の右線又は左線として、通常の状態であった矩形枠の右線又は左線を採用して、基準点を作成する。

この構成により、追跡対象の移動を伴わない手伸ばしの動作によって検出領域が変化しても、この検出領域の変化によって基準点が変化することがなく、追跡対象の移動を正確に反映しない動線を作成するという誤った動線の作成を防止できる。

また、本発明の動線作成装置において、前記状態判定部は、現在の検出結果情報の矩形枠の下線の端点の少なくとも１つが、動線作成の対象空間に設定された床反射領域に含まれているときは、床反射状態であると判定し、前記基準点作成部は、前記状態判定部にて床反射状態であると判定されたときは、前記矩形枠の下線として、通常の状態であった矩形枠の下線を採用して、基準点を作成する。

この構成により、追跡対象が床反射領域に入ってその反射像ができたことで検出領域が変化しても、この検出領域の変化によって基準点が変化することがなく、追跡対象の移動を正確に反映しない動線を作成するという誤った動線の作成を防止できる。

また、本発明の動線作成装置において、前記状態判定部は、現在の検出結果情報の矩形枠の下線が、動線作成の対象空間に設定された遮蔽領域に含まれているときは、遮蔽状態であると判定し、前記基準点作成部は、前記状態判定部にて遮蔽状態であると判定されたときは、前記矩形枠の下線として、通常の状態であった矩形枠の下線を採用して、基準点を作成する。

この構成により、追跡対象が遮蔽領域の後方に移動し、その像がカメラに対して遮蔽されたことで検出領域が変化しても、この検出領域の変化によって基準点が変化することがなく、追跡対象の移動を正確に反映しない動線を作成するという誤った動線の作成を防止できる。

また、本発明の動線作成装置において、前記状態判定部は、通常の状態以外の特定の状態に該当しないが、検出結果情報の矩形枠の縦横比又は大きさが第５の閾値を越えて変化したときは、ノイズ状態であると判定し、前記基準点作成部は、前記状態判定部にてノイズ状態であると判定されたときは、ノイズ状態であると判定された期間の複数の前記矩形枠を平均化して、基準点を作成する。

この構成により、不可解な矩形枠の変化があった場合には、ノイズと判定して、その期間の矩形枠を平均化するので、ノイズをそのまま反映した動線を作成することを防止できる。

本発明の別の態様は、追跡対象の移動軌跡を表す動線を作成する動線作成方法であって、画像フレームから追跡対象を検出して、前記追跡対象の検出領域を含む検出結果情報を生成する物体検出ステップと、前記検出結果情報と通常の状態での検出結果情報に基づいて、前記追跡対象の状態を判定する状態判定ステップと、前記状態判定ステップにて判定された状態に対応する方法で前記検出領域を用いて、前記追跡対象の基準点を作成する基準点作成ステップと、複数の前記画像フレームについて作成された複数の前記基準点を結んで、前記追跡対象の移動軌跡を表す動線を生成する動線作成ステップとを含んでいる。

この構成によっても、上記の動線作成装置と同様に、追跡対象の状態に対応する方法で該追跡対象の基準点を作成するので、追跡対象の移動移動を正確に反映しない動線を作成するという誤った動線の作成を軽減できる。また、検出領域を含む検出結果情報に基づいて、該追跡対象の状態を判定するので、追跡対象の動作を認識する場合と比較して、処理負担を抑えられる。

本発明は、処理負担を増大せずに、追跡対象の移動を正確に反映しない動線を作成するという誤った動線の作成を軽減できる。

本発明の実施の形態における動線作成装置のブロック図 本発明の実施の形態における矩形枠を示す図 本発明の実施の形態における検出結果情報の例を示す図 本発明の実施の形態における環境情報の例を示す図 本発明の実施の形態における環境データベースに保存される環境情報の例を示す図 本発明の実施の形態における「通常」状態から「しゃがみ」状態への遷移の判定条件及び「しゃがみ」状態での基準点の作成を説明する図 本発明の実施の形態における「通常」状態から「手伸ばし」状態への遷移の判定条件及び「手伸ばし」状態での基準点の作成を説明する図 本発明の実施の形態における「通常」状態から「床反射」状態への遷移の判定条件及び「床反射」状態での基準点の作成を説明する図 本発明の実施の形態における「通常」状態から「遮蔽」状態への遷移の判定条件及び「遮蔽」状態での基準点の作成を説明する図 本発明の実施の形態における「ノイズ」状態での基準点の作成を説明する図 本発明の実施の形態における状態判定部の動作を示すフロー図 本発明の実施の形態における「しゃがみ」状態の処理のフロー図 本発明の実施の形態における「手伸ばし」状態の処理のフロー図 本発明の実施の形態における「床反射」状態の処理のフロー図 本発明の実施の形態における「遮蔽」状態の処理のフロー図 本発明の実施の形態における「ノイズ」状態の処理のフロー図

以下、本発明の実施の形態の動線作成装置について、図面を用いて説明する。

本発明の第１の実施の形態の動線作成装置を図１に示す。図１において、本発明の実施の形態の動線作成装置１は、カメラ１０と、物体検出部２０と、検出領域データベース３０と、環境データベース４０と、状態判定部５０と、基準点作成部６０と、動線作成部７０とを備えた構成を有する。

カメラ１０は、レンズ、撮像素子などの被写体の撮影に必要なモジュールを備えている。カメラ１０は、動線作成の対象となる空間（以下、「対象空間」という）を撮影すべく、対象空間内の比較的高い箇所に設置される。カメラ１０は、対象空間を撮影して画像データを生成し、生成した画像データを物体検出部２０に出力する。

物体検出部２０は、カメラ１０が生成した画像データから追跡対象を検出し、追跡対象の領域を示す検出領域を含む検出結果情報を検出領域データベース３０に出力する。物体検出部２０は、検出方法として背景差分を用いた方法を採用する。具体的には、物体検出部２０は、追跡対象である人物が存在しない状態の画像を基準画像とし、基準画像と現在の画像とを比較して、差分のある画素の集合を追跡対象である人物の領域として認識する。そして、物体検出部２０は、検出領域として、認識した人物の領域を包含する矩形の枠を生成する。

本実施の形態の説明では、矩形枠の上線のｙ座標を上座標、下線のｙ座標を下座標、右線のｘ座標を右座標、左線のｘ座標を左座標と呼ぶことにする。物体検出部２０は、基準画像と比べて差分がある画素の座標のうち、最大のｙ座標に所定のマージンを加えた座標を上座標ｙ_ｏとし、最小のｙ座標に所定のマージンを引いた座標を下座標ｙ_ｕとし、最右のｘ座標に所定のマージンを加えた座標を右座標ｘ_ｒとし、最左のｘ座標に所定のマージンを引いた座標を左座標ｘ_ｌとする。

図２は、本実施の形態における矩形枠を示す図である。検出位置（左上座標）を（ｘ_０，ｙ_０）とし、枠幅をｗとし、枠高をｈとすると、図２に示すように、上座標ｙ_ｏはｙ_０（検出位置のｙ座標）、下座標ｙ_ｕはｙ_０−ｈ（検出位置のｙ座標−枠高）、右座標ｘ_ｒはｘ_０＋ｗ（検出位置のｘ座標＋枠幅）、左座標ｘ_ｌはｘ_０（検出位置のｘ座標）となる。

物体検出部２０は、人物の領域を認識すると、そのときの時刻と、追跡ＩＤと、設定した枠の左上座標、枠幅及び枠高とを検出結果情報として検出領域データベース３０に出力する。検出領域データベース３０は、物体検出部２０が出力した検出結果情報を保存する。

図３は、検出領域データベース３０に保存される検出結果情報の例を示す図である。図３に示すように、検出領域データベース３０には、検出結果情報として、検出時刻、検出ＩＤ、検出位置、枠幅、高さの情報が保存される。検出時刻は、追跡対象が検出された時刻である。検出ＩＤは、追跡対象に固有に与えられる追跡ＩＤである。同一であると判断された追跡対象には同一の検出ＩＤが付与される。検出位置は、追跡対象を囲む矩形枠の左上の座標であり、枠幅と枠高は追跡対象を囲む矩形の枠幅と高さである。

環境データベース４０は、カメラ１０の撮影環境を表す情報（以下、「環境情報」という）を保持する。撮影環境には、床反射領域の情報及び遮蔽領域の情報が含まれる。床反射領域及び遮蔽領域は、カメラ１０で生成される画像空間内の領域である。床反射領域は、追跡対象が床に反射しやすい領域である。遮蔽領域は、追跡対象がカメラ１０に対して遮蔽される領域である。これらの環境情報は、カメラ１０の設置状態（位置、角度、画角等）に基づいて、予め環境データベース４０に保存されている。

図４は、環境情報の例を示す図であり、図５は、環境データベース４０に保存される環境情報の例を示す図である。図４の例では、ｘ＝３００、ｙ＝４００の点を中心とする円形領域が床反射領域として設定され、ｘ＝１００〜２００、ｙ＝２５０〜３５０の四角形領域が遮蔽領域として設定されている。環境データベース４０には、図５に示すように、環境情報の種別と画像上の領域の情報が保存されている。

状態判定部５０は、現在の検出結果情報、過去の検出結果情報、及び環境データベース４０に保存された環境情報に基づいて、追跡対象の状態を判定して、状態種別情報を生成する。そして、状態種別情報を、そのときの時刻及び追跡ＩＤとともに、基準点作成部６０に出力する。

状態種別情報は、現在の追跡対象の状態を示す情報である。状態種別には、「通常」、「しゃがみ」、「手伸ばし」、「床反射」、「遮蔽」、及び「ノイズ」の６種類の状態がある。「手伸ばし」状態については、さらに「右手伸ばし」状態と「左手伸ばし状態」がある。

状態種別情報は、基準点作成部６０にて基準点を作成するのに用いられる。状態判定部５０は、特に「通常」状態から、「しゃがみ」、「手伸ばし」、「床反射」、「遮蔽」、及び「ノイズ」のいずれかの状態に遷移したか否か、及び「しゃがみ」、「手伸ばし」、「床反射」、「遮蔽」、及び「ノイズ」のいずれかの状態から「通常」状態に戻ったか否かを判定する。状態判定部５０における状態判定の方法については後述する。

基準点作成部６０は、状態判定部５０から入力された状態種別情報に基づいて、検索情報データベース３から必要な現在及び過去の検出結果情報を読み出して、基準点を作成し、その座標を動線作成部７０に出力する。基準点作成部６０における基準点作成の方法については後述する。

動線作成部７０は、基準点作成部６０が作成した基準点を時刻順に結び動線を作成する。基準点を結ぶ際に、直線で結ぶのではなく滑らかな曲線で結んでよい。

以下、状態判定部５０における状態判定の方法及び基準点作成部６０における基準点作成の方法を説明する。以下の説明において、時刻ｔでの下座標をｙ_ｕｔ、上座標をｙ_ｏｔ、右座標をｘ_ｒｔ、左座標をｘ_ｌｔとする。状態判定部５０及び基準点作成部６０は、これらの下座標ｙ_ｕｔ、上座標ｙ_ｏｔ、右座標ｘ_ｒｔ、左座標ｘ_ｌｔを用いて状態を判定し、基準点を求める。上座標ｙ_ｏｔ、左座標ｘ_ｌｔについては、上述のように、検出領域データベース３０には各時刻の上座標ｙ_ｏｔ、左座標ｘ_ｌｔが保存されているのでそれをそのまま用いる。

下座標ｙ_ｕｔ及び右座標ｘ_ｒｔについては、検出領域データベース３０には、各時刻について、上座標ｙ_ｏｔ、左座標ｘ_ｌｔの他、枠幅ｗ_ｔ、及び枠高ｈ_ｔの情報が保存されているので、状態判定部５０及び基準点作成部６０は、これらの情報を用いて、下式（１）及び（２）により、下座標ｙ_ｕｔ及び右座標ｘ_ｒｔを求める。
ｙ_ｕｔ＝ｙ_ｏｔ−ｈ_ｔ ……（１）
ｘ_ｒｔ＝ｘ_ｌｔ＋ｗ_ｔ ……（２）

１．「通常」状態の場合
まず、「通常」状態である場合の基準点の作成方法を説明する。「通常」状態である場合は、矩形枠の中心点を基準点とする。即ち、ある時刻ｔ_１において「通常」状態であるとすると、その時刻ｔ_１における基準点のｘ座標及びｙ座標は、それぞれ下式（３）及び（４）によって表される。
ｘ＝（ｘ_ｒｔ１＋ｘ_ｌｔ１）／２ ……（３）
ｙ＝（ｙ_ｏｔ１＋ｙ_ｕｔ１）／２ ……（４）

上記の式（１）及び（２）を式（３）及び式（４）に代入すると、下記式（３’）及び（４’）のようになる。基準点作成部６０は、検出領域データベース３０に保存された上座標ｙ_ｏｔ１、左座標ｘ_ｌｔ１、枠幅ｗ_ｔ１、及び枠高ｈ_ｔ１の情報を用いて、下記式（３’）及び（４’）によって基準点を求める。
ｘ＝ｘ_ｌｔ１＋ｗ_ｔ１／２ ……（３’）
ｙ＝ｙ_ｏｔ１−ｈ_ｔ１／２ ……（４’）

２−１．「通常」状態から「しゃがみ」状態へ遷移する場合
図６は、「通常」状態から「しゃがみ」状態への遷移の判定条件及び「しゃがみ」状態の基準点の作成を説明する図である。図６は、時刻ｔ_１に「通常」状態であった追跡対象が、時刻ｔ_２に「しゃがみ」状態になった様子を示している。通常、人間がしゃがんだ場合には、足元の位置は変わらず、頭部の位置が下がる。このとき、矩形枠は、下線の位置がほぼ変わらず、上線の位置のみが大きく下に下がることになる。

これらの特徴を利用して、状態判定部５０は、下線の差分が所定の範囲内にあり、かつ上線が所定の量以上下がった場合にしゃがんだと判断する。具体的には、時刻ｔ_１にある追跡ＩＤの追跡対象が「通常」状態であった場合に、時刻ｔ_２で同一の追跡ＩＤの追跡対象が、下記の「しゃがみ」状態の判定条件を満たす場合に、当該追跡ＩＤの追跡対象は、時刻ｔ_２において「しゃがみ」の状態に遷移したと判定する。

「通常」状態から「しゃがみ」状態への遷移の判定条件は、下記の条件１と条件２の両方が真となることである。
条件１：｜ｙ_ｕｔ１−ｙ_ｕｔ２｜＜ε_１
条件２：ｙ_ｏｔ１−ｙ_ｏｔ２＞ａ
条件１は、ε_１を誤差範囲として、矩形枠の下座標の差分がその誤差範囲内にあるという条件である。条件２は、矩形枠の上座標が閾値ａ以上小さくなるという条件である。なお、この条件が一定時間以上継続して満たされた場合に、追跡対象が「しゃがみ」状態になったと判定してもよい。

状態判定部５０は、「しゃがみ」状態の判定条件を用いて「しゃがみ」状態であると判定すると、「しゃがみ」状態を示す状態種別情報を、「しゃがみ」状態になった時刻（時刻ｔ_２）及び追跡ＩＤとともに基準点作成部６０に出力する。

基準点作成部６０は、「しゃがみ」状態を示す状態種別情報を取得すると、検出領域データベース３０から、「しゃがみ」状態になった時刻（時刻ｔ_２）における状態検出情報、及び「通常」状態であった最後の時刻（時刻ｔ_１）における状態検出情報を読み出し、下式（５）及び（６）により、時刻ｔ_２の「しゃがみ」状態の基準点のｘ座標及びｙ座標を求める。
ｘ＝（ｘ_ｒｔ２＋ｘ_ｌｔ２）／２ ……（５）
ｙ＝（ｙ_ｏｔ１＋ｙ_ｕｔ２）／２ ……（６）
ここで、「通常」状態であった最後の時刻（時刻ｔ_１）の上座標ｙ_ｏｔ１を用いて、「しゃがみ」状態である時刻ｔ_２の基準点のｙ座標を求めていることが特徴的である。即ち、「しゃがみ」状態である場合も「通常」状態の場合と同様に、矩形枠の中心点を基準点とするが、この矩形枠の上座標として、「しゃがみ」状態となった時刻の上座標ではなく、最後に「通常」状態であった時刻の上座標を採用する。

２−２．「しゃがみ」状態から「通常」状態へ遷移する場合
状態判定部５０は、時刻ｔ_２においてある追跡ＩＤの追跡対象が「しゃがみ」状態である場合に、同一の追跡ＩＤの追跡対象について、時刻ｔ_３に下記の条件３及び条件４の少なくともいずれか一方を満たした場合には、その時刻ｔ_３において「しゃがみ」状態から「通常」状態に戻ったと判定する。
条件３：｜ｙ_ｕｔ２−ｙ_ｕｔ３｜＞ｂ
条件４：ｙ_ｏｔ１−ｙ_ｏｔ３＜ε_２

条件３は、閾値をｂとして、矩形枠の下座標がその閾値以上に変化したという条件である。即ち、追跡対象である人物がしゃがんでいるとすれば、下座標は遷移しないはずであるところ、矩形枠の下座標が大きく変化した場合には、もはや「しゃがみ」状態であると判定するのは適切でないといえる。従って、そのような場合には「しゃがみ」状態を解除して、状態種別を「通常」状態に戻すようにする。

条件４は、誤差範囲をε_２として、矩形枠の上座標が、「しゃがみ」状態になる直前の「通常」の状態の時刻ｔ_１における上座標とほぼ同じ座標になるという条件である。これは、しゃがんでいた人物が立ち上がったことを意味しており、この場合にも状態種別を「しゃがみ」状態から「通常」状態に戻すようにする。「通常」状態では、基準点作成部６０は、上記の式（３’）及び（４’）に従って、矩形枠の中心点を基準点とする。

３−１．「通常」状態から「手伸ばし」状態へ遷移する場合
図７は、「通常」状態から「手伸ばし」状態への遷移の判定条件及び「手伸ばし」状態の基準点の作成を説明する図である。図７は、時刻ｔ_１に「通常」状態であった追跡対象が、時刻ｔ_２に「手伸ばし」状態になった様子を示している。通常、人物が手を伸ばした場合には、頭部及び脚部の位置は変わらず、手が左又は右に伸びる。このとき、矩形枠は、上線及び下線の位置がほぼ変わらず、枠幅が増大することになる。

これらの特徴を利用して、状態判定部５０は、上線及び下線の差分が所定の範囲内にあり、かつ枠幅が所定の閾値以上に増大した場合に、追跡対象である人物が手を伸ばしたと判断する。具体的には、時刻ｔ_１に、ある追跡ＩＤの追跡対象が「通常」状態であった場合に、時刻ｔ_２で同一の追跡ＩＤの追跡対象が、下記の「手伸ばし」状態の判定条件を満たす場合に、当該追跡ＩＤの追跡対象は、時刻ｔ_２において「手伸ばし」の状態に遷移したと判定する。

「通常」状態から「手伸ばし」状態への遷移の判定条件は、下記の条件５〜７のすべてが真となることである。
条件５：｜ｙ_ｕｔ１−ｙ_ｕｔ２｜＜ε_３
条件６：｜ｙ_ｏｔ１−ｙ_ｏｔ２｜＜ε_４
条件７：（ｘ_ｒｔ２−ｘ_ｌｔ２）−（ｘ_ｒｔ１−ｘ_ｌｔ１）＞ｃ
条件５は、ε_３を誤差範囲として、矩形枠の下座標の差分がその誤差範囲内にあるという条件である。条件６は、ε_４を誤差範囲として、矩形枠の上座標の差分がその誤差範囲内にあるという条件である。条件７は、矩形枠の枠幅が閾値ｃ以上増大するという条件である。なお、この条件が一定時間以上継続して満たされた場合に、追跡対象が「手伸ばし」状態になったと判定してもよい。

状態判定部５０は、更に、｜ｘ_ｌｔ１−ｘ_ｌｔ２｜と｜ｘ_ｒｔ１−ｘ_ｒｔ２｜とを比較して、｜ｘ_ｌｔ１−ｘ_ｌｔ２｜の方が大きければ右に手を伸ばした「右手伸ばし」状態であると判定し、｜ｘ_ｒｔ１−ｘ_ｒｔ２｜の方が大きければ左に手を伸ばした「左手伸ばし」状態であると判定する。

状態判定部５０は、上記の「手伸ばし」状態の判定条件を用いて、追跡対象が「手伸ばし」状態であると判定すると、さらに上記の判定条件に従ってそれが「右手伸ばし」状態であるか、「左手伸ばし」状態であるかを判定し、「右手伸ばし」状態を示す状態種別情報又は「左手伸ばし」状態を示す状態種別情報を、「手伸ばし」状態になった時刻（時刻ｔ_２）及び追跡ＩＤとともに基準点作成部６０に出力する。

基準点作成部６０は、「右手伸ばし」状態を示す状態種別情報を取得すると、検出領域データベース３０から、「右手伸ばし」状態になった時刻（時刻ｔ_２）における状態検出情報、及び「通常」状態であった最後の時刻（時刻ｔ_１）における状態検出情報を読み出し、下式（７）及び（８）により、時刻ｔ_２の「右手伸ばし」状態の基準点のｘ座標及びｙ座標を求める。
ｘ＝（ｘ_ｒｔ２＋ｘ_ｌｔ１）／２ ……（７）
ｙ＝（ｙ_ｏｔ２＋ｙ_ｕｔ２）／２ ……（８）
ここで、「通常」状態であった最後の時刻（時刻ｔ_１）の左座標ｘ_ｌｔ１を用いて、「右手伸ばし」状態である時刻ｔ_２の基準点のｘ座標を求めていることが特徴的である。即ち、「右手伸ばし」状態である場合も「通常」状態の場合と同様に、矩形枠の中心点を基準点とするが、この矩形枠の左座標として、「右手伸ばし」状態となった時刻の左座標ではなく、最後に「通常」状態であった時刻の左座標を採用する。

基準点作成部６０は、「左手伸ばし」状態を示す状態種別情報を取得すると、検出領域データベース３０から、「左手伸ばし」状態になった時刻（時刻ｔ_２）における状態検出情報、及び「通常」状態であった最後の時刻（時刻ｔ_１）における状態検出情報を読み出し、下式（９）及び（１０）により、時刻ｔ_２の「左手伸ばし」状態の基準点のｘ座標及びｙ座標を求める。
ｘ＝（ｘ_ｒｔ１＋ｘ_ｌｔ２）／２ ……（９）
ｙ＝（ｙ_ｏｔ２＋ｙ_ｕｔ２）／２ ……（１０）
ここで、「通常」状態であった最後の時刻（時刻ｔ_１）の右座標ｘ_ｒｔ１を用いて、「左手伸ばし」状態である時刻ｔ_２の基準点のｘ座標を求めていることが特徴的である。即ち、「左手伸ばし」状態である場合も「通常」状態の場合と同様に、矩形枠の中心点を基準点とするが、この矩形枠の右座標として、「左手伸ばし」状態となった時刻の右座標ではなく、最後に「通常」状態であった時刻の右座標を採用する。

３−２．「手伸ばし」状態から「通常」状態へ遷移する場合
状態判定部５０は、時刻ｔ_２においてある追跡ＩＤの追跡対象が「手伸ばし」状態である場合に、同一の追跡ＩＤの追跡対象について、時刻ｔ_３に下記の条件８を満たすか、又は条件９及び条件１０の両方を満たした場合には、その時刻ｔ_３において「手伸ばし」状態から「通常」状態に戻ったと判定する。
条件８：｜（ｙ_ｏｔ２−ｙ_ｕｔ２）−（ｙ_ｏｔ３−ｙ_ｕｔ３）｜＞ｄ
条件９：｜（ｙ_ｏｔ２−ｙ_ｕｔ２）−（ｙ_ｏｔ３−ｙ_ｕｔ３）｜＜ε_５
条件１０：｜（ｘ_ｒｔ３−ｘ_ｌｔ３）−（ｘ_ｒｔ１−ｘ_ｌｔ１）｜＜ε_６

条件８は、閾値をｄとして、矩形枠の枠高がその閾値以上に変化したという条件である。即ち、枠高が大きく変化したということは、追跡対象である人物がカメラ１０に近づく方向に移動している可能性があり、この場合の枠幅の増大を「手伸ばし」状態であると判定するのは適切でないといえる。従って、そのような場合には「手伸ばし」状態を解除して、状態種別を「通常」状態に戻すようにする。

条件９は、誤差範囲をε_５として、矩形枠の枠高がほぼ変化していないという条件である。条件１０は、誤差範囲をε_６として、矩形枠の枠幅がほぼ変化していないという条件である。条件９と条件１０を同時に満足する場合は、手を伸ばしていた人物が手伸ばしを止めたことを意味している。従って、この場合にも状態種別を「手伸ばし」状態から「通常」状態に戻すようにする。

４−１．「通常」状態から「床反射」状態へ遷移する場合
図８は、「通常」状態から「床反射」状態への遷移の判定条件及び「床反射」状態の基準点の作成を説明する図である。図８は、時刻ｔ_１に「通常」状態であった追跡対象が、時刻ｔ_２に「床反射」状態になった様子を示している。上述のように、物体検出部２０は、過去の画像と現在の画像との差分を用いて追跡対象を検出するので、人物が反射しやすい領域にいる場合には、人物を反射する床の部分も差分領域となってしまい、矩形枠が実際の人物よりも大きく設定されてしまう。

そこで、状態判定部５０は、下線の端点の少なくとも一方が床反射領域に入っている場合には、「床反射」状態にあると判定する。状態判定部５０は、「床反射」状態を判定するために、環境データベース４０に保存されている環境情報を参照する。具体的には、仮に、環境データベース４０に、図５に示すとおりの環境情報が保存されているとすると、時刻ｔ_２において追跡対象が、下記の「床反射」状態の判定条件を満たす場合に、当該追跡対象は、時刻ｔ_２において「床反射」状態にあると判定する。

「床反射」状態の判定条件は下記の条件１１及び条件１２の少なくともいずれか一方が真となることである。
条件１１：（ｘ_ｒｔ２−３００）^２＋（ｙ_ｕｔ２−４００）^２＜１６００
条件１２：（ｘ_ｌｔ２−３００）^２＋（ｙ_ｕｔ２−４００）^２＜１６００
条件１１は、下線の右の端点が床反射領域内にあるという条件である。条件１２は、下線の左の端点が床反射領域内にあるという条件である。なお、これら条件が一定時間以上継続して満たされた場合に、追跡対象がそれぞれの「床反射」状態にあると判定してもよい。

状態判定部５０は、上記の「床反射」状態の判定条件を用いて「床反射」状態であると判定すると、「床反射」状態を示す状態種別情報を、「床反射」状態になった時刻（時刻ｔ_２）及び追跡ＩＤとともに基準点作成部６０に出力する。

基準点作成部６０は、「床反射」状態を示す状態種別情報を取得すると、検出領域データベース３０から、「床反射」状態になった時刻（時刻ｔ_２）における状態検出情報、及び「通常」状態であった最後の時刻（時刻ｔ_１）における状態検出情報を読み出し、下式（１１）及び（１２）により、時刻ｔ_２の「床反射」状態の基準点のｘ座標及びｙ座標を求める。
ｘ＝（ｘ_ｒｔ２＋ｘ_ｌｔ２）／２ ……（１１）
ｙ＝（ｙ_ｏｔ２＋ｙ_ｕｔ１）／２ ……（１２）
ここで、「通常」状態であった最後の時刻（時刻ｔ_１）の下座標ｙ_ｕｔ１を用いて、「床反射」状態である時刻ｔ_２の基準点のｙ座標を求めていることが特徴的である。即ち、「床反射」状態である場合も「通常」状態の場合と同様に、矩形枠の中心点を基準点とするが、この矩形枠の下座標として、「床反射」状態である時刻の下座標ではなく、最後に「通常」状態であった時刻の下座標を採用する。

４−２．「床反射」状態から「通常」状態へ遷移する場合
状態判定部５０は、時刻ｔ_２においてある追跡ＩＤの追跡対象が「床反射」状態である場合に、同一の追跡ＩＤの追跡対象について、時刻ｔ_３に、下線の端点が上記の条件１１及び条件１２のいずれも満たさなくなった場合には、その時刻ｔ_３において「床反射」状態から「通常」状態に戻ったと判定する。

５−１．「通常」状態から「遮蔽」状態へ遷移する場合
図９は、「通常」状態から「遮蔽」状態への遷移の判定条件及び「遮蔽」状態の基準点の作成を説明する図である。図９は、時刻ｔ_１に「通常」状態であった追跡対象が、時刻ｔ_２に「遮蔽」状態になった様子を示している。通常、人物が遮蔽物の陰に隠れている場合には、過去の画像と現在の画像との差分を用いて追跡対象を検出すると、矩形枠が実際の人物よりも小さく設定されてしまう。

そこで、状態判定部５０は、矩形枠の下線が完全に遮蔽領域に入っている場合には、「遮蔽」状態にあると判定する。状態判定部５０は、これらの状態を判定するために、環境データベース４０に保存されている環境情報を参照する。具体的には、仮に、環境データベース４０に、図５に示すとおりの環境情報が保存されているとすると、時刻ｔ_２において追跡対象が、下記の「遮蔽」状態の判定条件を満たす場合に、当該追跡対象は、時刻ｔ_２において「遮蔽」状態にあると判定する。

「遮蔽」状態の判定条件は、下記の条件１３、条件１４、及び条件１５のいずれもが真となることである。
条件１３：１００＜ｘ_ｌｔ２＜２００
条件１４：１００＜ｘ_ｒｔ２＜２００
条件１５：２５０＜ｙ_ｕｔ２＜３５０

条件１３及び条件１５は、下線の左の端点が遮蔽領域内にあるという条件である。条件１４及び条件１５は、下線の右の端点が遮蔽領域内にあるという条件である。よって、条件１３、条件１４、及び条件１５のすべてが真となる場合は、即ち、下線が完全に遮蔽領域内にあるという場合である。上述のように、矩形枠の下線は、基準画像との間に差分を有する画素の座標のうちの最下のｙ座標から所定のマージンｍを確保して設定されるので、図９のように、人物の下部分が遮蔽物の陰に隠れている場合には、この下線が遮蔽領域に入ることになる。よって、上記の条件によって「遮蔽」状態を判定できる。なお、上記の条件が一定時間以上継続して満たされた場合に、追跡対象が「遮蔽」状態にあると判定してもよい。

状態判定部５０は、上記の「遮蔽」状態の判定条件を用いて「遮蔽」状態であると判定すると、「遮蔽」状態を示す状態種別情報を、「遮蔽」状態になった時刻（時刻ｔ_２）及び追跡ＩＤとともに基準点作成部６０に出力する。

基準点作成部６０は、「遮蔽」状態を示す状態種別情報を取得すると、検出領域データベース３０から、「遮蔽」状態になった時刻（時刻ｔ_２）における状態検出情報、及び「通常」状態であった最後の時刻（時刻ｔ_１）における状態検出情報を読み出し、下式（１３）及び（１４）により、時刻ｔ_２の「遮蔽」状態の基準点のｘ座標及びｙ座標を求める。
ｘ＝（ｘ_ｒｔ２＋ｘ_ｌｔ２）／２ ……（１３）
ｙ＝（ｙ_ｏｔ２＋ｙ_ｕｔ１）／２ ……（１４）
ここで、「通常」状態であった最後の時刻（時刻ｔ_１）の下座標ｙ_ｕｔ１を用いて、「遮蔽」状態である時刻ｔ_２の基準点のｙ座標を求めていることが特徴的である。即ち、「遮蔽」状態である場合も「通常」状態の場合と同様に、矩形枠の中心点を基準点とするが、この矩形枠の下座標として、「遮蔽」状態となった時刻の下座標ではなく、最後に「通常」状態であった時刻の下座標を採用する。

なお、追跡対象である人物が壁に隠れる場合にも遮蔽が生じ、このような場合には矩形枠の中心点は人物の左右方向の中心にないことになる。しかしながら、このような左右方向の遮蔽については、特別な手当てはしないこととする。なぜなら、例えば人物が右方向に移動しながら徐々に壁に隠れていく場合に、通常の処理により矩形枠を設定してその中心点の軌跡を取れば、その中心点も徐々に壁に近づいていき、人物が完全に壁に隠れる瞬間には、中心点は壁際にまで達するので、このような中心点の軌跡は人物の動線として正しいからである。従って、人物の身長よりも十分に高い遮蔽物については、遮蔽領域として環境データベース４０に保存しておく必要はない。

また、上記で説明した判定方法によれば、人物が遮蔽物の手前にいる場合には、矩形枠が遮蔽領域に重なることにはなるが、矩形枠の下線が遮蔽領域に含まれることはなくなる。よって、人物が遮蔽物の手前にいる場合に、誤って「遮蔽」状態であると判定されることはない。

５−２．「遮蔽」状態から「通常」状態へ遷移する場合
状態判定部５０は、時刻ｔ_２においてある追跡ＩＤの追跡対象が「遮蔽」状態である場合に、同一の追跡ＩＤの追跡対象について、時刻ｔ_３に、上記の条件１３ないし条件１５の少なくともいずれか１つを満たさなくなった場合には、その時刻ｔ_３において「遮蔽」状態から「通常」状態に戻ったと判定する。

６．「ノイズ」状態の場合
上記で説明した判定条件を用いても、「しゃがみ」、「手伸ばし」、「床反射」、「遮蔽」の何れの状態にも該当しないが、矩形枠の枠幅と枠高との比や枠の大きさが短時間で大きく変動する場合には、何らかのノイズによるものであると判断できる。

そこで、状態判定部５０は、「しゃがみ」、「手伸ばし」、「床反射」、「遮蔽」の何れの状態にも該当せず、かつ矩形枠の枠幅又は枠高のいずれかの変化量が所定の閾値よりも大きくなった場合には、「ノイズ」状態にあると判定する。状態判定部５０はノイズであると判定すると、「ノイズ」状態を示す状態種別情報を、「ノイズ」状態と判定された時刻及び追跡ＩＤとともに基準点作成部６０に出力する。

ノイズは複数の画像フレームに渡って生じることがあるため、基準点作成部６０には、状態判定部５０から、「ノイズ」状態を示す状態種別情報が連続して入力されることがある。基準点作成部６０は、「ノイズ」状態を示す状態種別情報を受けてから、「ノイズ」状態以外の状態を示す状態種別情報を受けるまで、即ち、「ノイズ」状態が解消するまで待って、検出領域データベース３０から、「ノイズ」状態にあった時刻における検出結果情報、及び「通常」状態であった最後の時刻における検出結果情報を読み出す。

図１０は、「ノイズ」状態の基準点の作成を説明する図である。図１１の例では時刻ｔ_１にて「通常」状態であると判定されていたが、時刻ｔ_２にて床反射領域でもないのに下線の位置が極端に下に下がり、時刻ｔ_３では、遮蔽領域でもないのに下線の位置が極端に上に上がり、時刻ｔ_４で再び下線の位置が下に下がっている。なお、時刻ｔ_４以降は矩形枠に大きな変動はなく、従って、時刻ｔ_５には「通常」状態に戻ったと判定される。

このような場合には、基準点作成部６０は、「ノイズ」状態にあった時刻（時刻ｔ_２〜ｔ_４）における検出結果情報、及び「通常」状態であった最後の時刻（時刻ｔ_１）における検出結果情報を検出領域データベース３０から読み出す。そして、読み出した検出結果情報の矩形枠を「ノイズ」状態にあった時刻（時刻ｔ_２〜ｔ_４）及び「通常」状態であった最後の時刻（時刻ｔ_１）について平均化する。

具体的には、「ノイズ」状態にあった期間のフレーム数がｎであるとすると、基準点作成部６０は、下式（１５）及び（１６）により、この期間の基準点のｘ座標及びｙ座標を求める。
ｘ＝（Σ（ｘ_ｒｔ＋ｘ_ｌｔ）／２）／ｎ ……（１５）
ｙ＝（Σ（ｙ_ｏｔ＋ｙ_ｕｔ）／２）／ｎ ……（１６）

上記のように構成された動線作成装置１について、状態判定部５０の動作を説明する。図１１は、状態判定部５０の動作を示すフロー図である。動線作成装置１が動作を開始すると、まず、カメラ１０は撮影を開始して、順次画像フレームを物体検出部２０に出力し、物体検出部２０は、入力される画像フレームから追跡対象の物体を検出して、検出結果情報を検出領域データベース３０に保存していく。状態判定部５０は、検出領域データベース３０に保存された検出結果情報に対して状態判定を行うが、最初は「通常」状態であるとして判定を開始する。

状態判定部５０は、検出領域データベース３０を参照して（ステップＳ１０）、「しゃがみ」状態に遷移したか否かの判定を行う（ステップＳ１１）。「しゃがみ」状態に遷移していないと判定すると（ステップＳ１１でＮＯ）、次に「手伸ばし」状態に遷移したか否かの判定を行う（ステップＳ１２）。「手伸ばし」状態に遷移していないと判定すると（ステップＳ１２でＮＯ）、次に「床反射」状態に遷移したか否かの判定を行う（ステップＳ１３）。「床反射」状態に遷移していないと判定すると（ステップＳ１３でＮＯ）、次に「遮蔽」状態に遷移したか否かの判定を行う（ステップＳ１４）。「遮蔽」状態に遷移していないと判定すると（ステップＳ１４でＮＯ）、次に「ノイズ」状態に遷移したか否かの判定を行う（ステップＳ１５）。「ノイズ」状態に遷移していないと判定すると（ステップＳ１５でＮＯ）、「通常」状態を示す状態種別情報を基準点作成部６０に出力する（ステップＳ１６）。

上記の「しゃがみ」判定（ステップＳ１１）において、「しゃがみ」状態であると判定されると（ステップＳ１１にてＹＥＳ）、「しゃがみ」状態の処理（ステップＳ１７）に移行する。「手伸ばし」判定（ステップＳ１２）において、「手伸ばし」状態であると判定されると（ステップＳ１２にてＹＥＳ）、「手伸ばし」状態の処理（ステップＳ１８）に移行する。「床反射」判定（ステップＳ１３）において、「床反射」状態であると判定されると（ステップＳ１３にてＹＥＳ）、「床反射」状態の処理（ステップＳ１９）に移行する。「遮蔽」判定（ステップＳ１４）において、「遮蔽」状態であると判定されると（ステップＳ１４にてＹＥＳ）、「遮蔽」状態の処理（ステップＳ２０）に移行する。「ノイズ」判定（ステップＳ１５）において、「ノイズ」状態であると判定されると（ステップＳ１５にてＹＥＳ）、「ノイズ」状態の処理（ステップＳ２１）に移行する。

図１２は、状態判定部５０による「しゃがみ」状態の処理のフロー図である。状態判定部５０は、検出領域データベース３０を参照して（ステップＳ１７１）、最新の検出結果情報と過去の検出結果情報を取得する。状態判定部５０は、最新の検出結果情報と過去の検出結果情報を用いて、「通常」状態へ戻るか否かの判定を行う（ステップＳ１７２）。「通常」状態へ戻る条件を満たしている場合は（ステップＳ１７２にてＹＥＳ）、「通常」状態へ遷移し（ステップＳ１７３）、ステップＳ１０に戻る。「通常」状態へ戻る条件を満たしていない場合は（ステップＳ１７２にてＮＯ）、「しゃがみ」状態を示す状態種別情報を基準点作成部６０に出力して（ステップＳ１７４）、次の画像フレームの検出結果情報が検出領域データベース３０に蓄積されるのを待ち、ステップＳ１７１に戻る。

図１３は、状態判定部５０による「手伸ばし」状態の処理のフロー図である。状態判定部５０は、「手伸ばし」状態の処理を開始すると、まず、「右手伸ばし」状態であるか、「左手伸ばし」状態であるかの判定を行う（ステップＳ１８１）。次に、検出領域データベース３０を参照して（ステップＳ１８２）、最新の検出結果情報と過去の検出結果情報を取得する。状態判定部５０は、最新の検出結果情報と過去の検出結果情報を用いて、「通常」状態へ戻るか否かの判定を行う（ステップＳ１８３）。「通常」状態へ戻る条件を満たしている場合は（ステップＳ１８３にてＹＥＳ）、「通常」状態へ遷移し（ステップＳ１８４）、ステップＳ１０に戻る。「通常」状態へ戻る条件を満たしていない場合は（ステップＳ１８３にてＮＯ）、「手伸ばし」状態を示す状態種別情報を基準点作成部６０に出力して（ステップＳ１８５）、次の画像フレームの検出結果情報が検出領域データベース３０に蓄積されるのを待ち、ステップＳ１８２に戻る。

図１４は、状態判定部５０による「床反射」状態の処理のフロー図である。状態判定部５０は、「床反射」状態の処理を開始すると、まず、検出領域データベース３０を参照して（ステップＳ１９１）、最新の検出結果情報と過去の検出結果情報を取得する。状態判定部５０は、最新の検出結果情報と過去の検出結果情報を用いて、「通常」状態へ戻るか否かの判定を行う（ステップＳ１９２）。「通常」状態へ戻る条件を満たしている場合は（ステップＳ１９２にてＹＥＳ）、「通常」状態へ遷移し（ステップＳ１９３）、ステップＳ１０に戻る。「通常」状態へ戻る条件を満たしていない場合は（ステップＳ１９２にてＮＯ）、「床反射」状態を示す状態種別情報を基準点作成部６０に出力して（ステップＳ１９４）、次の画像フレームの検出結果情報が検出領域データベース３０に蓄積されるのを待ち、ステップＳ１９１に戻る。

図１５は、状態判定部５０による「遮蔽」状態の処理のフロー図である。状態判定部５０は、検出領域データベース３０を参照して（ステップＳ２０１）、最新の検出結果情報と過去の検出結果情報を取得する。状態判定部５０は、最新の検出結果情報と過去の検出結果情報を用いて、「通常」状態へ戻るか否かの判定を行う（ステップＳ２０２）。「通常」状態へ戻る条件を満たしている場合は（ステップＳ２０２にてＹＥＳ）、「通常」状態へ遷移し（ステップＳ２０３）、ステップＳ１０に戻る。「通常」状態へ戻る条件を満たしていない場合は（ステップＳ２０２にてＮＯ）、「遮蔽」状態を示す状態種別情報を基準点作成部６０に出力して（ステップＳ２０４）、次の画像フレームの検出結果情報が検出領域データベース３０に蓄積されるのを待ち、ステップＳ２０１に戻る。

図１６は、状態判定部５０による「ノイズ」状態の処理のフロー図である。状態判定部５０は、検出領域データベース３０を参照して（ステップＳ２１１）、最新の検出結果情報と過去の検出結果情報を取得する。状態判定部５０は、最新の検出結果情報と過去の検出結果情報を用いて、「通常」状態へ戻るか否かの判定を行う（ステップＳ２１２）。「通常」状態へ戻る条件を満たしている場合は（ステップＳ２１２にてＹＥＳ）、「通常」状態へ遷移し（ステップＳ２１３）、ステップＳ１０に戻る。「通常」状態へ戻る条件を満たしていない場合は（ステップＳ２１２にてＮＯ）、「ノイズ」状態を示す状態種別情報を基準点作成部６０に出力して（ステップＳ２１４）、次の画像フレームの検出結果情報が検出領域データベース３０に蓄積されるのを待ち、ステップＳ２１１に戻る。

なお、状態判定部５０は、１の検出結果情報について「ノイズ」状態であると判定するごとに、基準点作成部６０に「ノイズ」状態を示す状態種別情報を出力し、上述のように、基準点作成部６０は、「ノイズ」状態を示す状態種別情報を受けると、直ちに基準点を作成せず、「ノイズ」状態が連続する複数の検出結果情報を用いて（平均化して）基準点を作成するが、本発明はこのような処理に限られない。代わりに、状態判定部５０が「通常」状態から「ノイズ」状態に遷移したと判断した時点では状態種別情報を基準点作成部６０に出力せずに、「通常」状態に戻ったのちに、「ノイズ」状態を示す状態種別情報をその間の時刻の情報とともに基準点作成部６０に出力してもよい。

以上のように、本発明の実施の形態の動線作成装置１によれば、状態判定部５０が追跡対象の状態を判定し、基準点作成部６０は状態判定部５０が判定した状態に応じた基準点を作成するので、追跡対象が移動していないにもかかわらず追跡対象が移動したことを示す動線を作成するという誤った動線の作成を軽減できる。

なお、上記の実施の形態では、追跡対象に対して「通常」、「しゃがみ」、「手伸ばし」「床反射」、「遮蔽」、「ノイズ」のいずれか１つの状態が割り当てられる場合について説明したが、「通常」状態時以外は複数の状態を割り当てるようにしてもよい。状態判定部５０は、例えば、「しゃがみ」兼「床反射」の状態を判定できる構成であってもよい。

また、上記の実施の形態では、「通常」状態での基準点作成方法として矩形の中心を利用する場合について説明したが、基準点は、例えば矩形の下線の中心など別の箇所を利用してもよい。その場合には、「しゃがみ」、「手伸ばし」、「床反射」、「遮蔽」、「ノイズ」の各状態での基準点の作成方法も「通常」状態での基準点の位置に合わせて変更すればよい。

また、上記の実施の形態では、「しゃがみ」状態、「手伸ばし」状態、「床反射」状態、「遮蔽」状態、「ノイズ」状態からは、「通常」状態にしか遷移しない場合について説明したが、「しゃがみ」状態、「手伸ばし」状態、「床反射」状態、「遮蔽」状態、「ノイズ」状態から「通常」状態以外の他の状態に遷移するようにしてもよい。状態判定部５０は、例えば、「しゃがみ」状態から「手伸ばし」状態に遷移したと判定できる構成であってよい。

以上のように、本発明にかかる動線作成装置は、処理負担を増大せずに、追跡対象の移動を正確に反映しない動線を作成するという誤った動線の作成を軽減できるという効果を有し、画像中の追跡対象を検出して、その追跡対象の移動軌跡を表す動線を作成する動線作成装置等に適用できる。

１ 動線作成装置
１０ カメラ
２０ 物体検出部
３０ 検出領域データベース
４０ 環境データベース
５０ 状態判定部
６０ 基準点作成部
７０ 動線作成部

Claims (11)

1. 追跡対象の移動軌跡を表す動線を作成する動線作成装置において、
   画像フレームから追跡対象を検出して、前記追跡対象の検出領域を含む検出結果情報を生成する物体検出部と、
   前記検出結果情報と通常の状態での検出結果情報に基づいて、前記追跡対象の状態を判定する状態判定部と、
   前記状態判定部にて判定された状態に対応する方法で前記検出領域を用いて、前記追跡対象の基準点を作成する基準点作成部と、
   複数の前記画像フレームについて作成された複数の前記基準点を結んで、前記追跡対象の移動軌跡を表す動線を生成する動線作成部と、
   を備えたことを特徴とする動線作成装置。
2. 前記状態判定部は、前記検出領域の変化に基づいて、前記追跡対象の状態を判定することを特徴とする請求項１に記載の動線作成装置。
3. 前記状態判定部は、動線作成の対象空間に設定された環境情報と前記検出領域との位置関係に基づいて、前記追跡対象の状態を判定することを特徴とする請求項１又は２に記載の動線作成装置。
4. 前記基準点作成部は、前記状態判定部にて通常の状態ではない特定の状態であると判定されたときは、現在及び過去の前記検出領域を用いて前記基準点を作成することを特徴とする請求項１ないし請求項３のいずれかに記載の動線作成装置。
5. 前記物体検出部は、前記検出領域として、上線、下線、右線、及び左線から構成され、検出した追跡対象を包含する矩形枠を生成することを特徴とする請求項１ないし請求項４のいずれかに記載の動線作成装置。
6. 前記状態判定部は、現在の矩形枠と過去の矩形枠とを比較して、下線の移動が第１の閾値より小さく、上線の下方向への移動が第２の閾値より大きいときは、しゃがみ状態であると判定し、
   前記基準点作成部は、前記状態判定部にてしゃがみ状態であると判定されたときは、前記矩形枠の上線として、通常の状態であった矩形枠の上線を採用して、基準点を作成することを特徴とする請求項５に記載の動線作成装置。
7. 前記状態判定部は、現在の矩形枠と過去の矩形枠とを比較して、上線及び下線の移動が第３の閾値より小さく、右線の右方向への移動又は左線の左方向への移動が第４の閾値より大きいときは、手伸ばし状態であると判定し、
   前記基準点作成部は、前記状態判定部にて手伸ばし状態であると判定されたときは、前記矩形枠の右線又は左線として、通常の状態であった矩形枠の右線又は左線を採用して、基準点を作成することを特徴とする請求項５又は６に記載の動線作成装置。
8. 前記状態判定部は、現在の検出結果情報の矩形枠の下線の短点の少なくとも一つが、動線作成の対象空間に設定された床反射領域に含まれているときは、床反射状態であると判定し、
   前記基準点作成部は、前記状態判定部にて床反射状態であると判定されたときは、前記矩形枠の下線として、通常の状態であった矩形枠の下線を採用して、基準点を作成することを特徴とする請求項５ないし７のいずれかに記載の動線作成装置。
9. 前記状態判定部は、現在の検出結果情報の矩形枠の下線が、動線作成の対象空間に設定された遮蔽領域に含まれているときは、遮蔽状態であると判定し、
   前記基準点作成部は、前記状態判定部にて遮蔽状態であると判定されたときは、前記矩形枠の下線として、通常の状態であった矩形枠の下線を採用して、基準点を作成することを特徴とする請求項５ないし８のいずれかに記載の動線作成装置。
10. 前記状態判定部は、通常の状態以外の特定の状態に該当しないが、検出結果情報の矩形枠の縦横比又は大きさが第５の閾値を越えて変化したときは、ノイズ状態であると判定し、
    前記基準点作成部は、前記状態判定部にてノイズ状態であると判定されたときには、ノイズ状態であると判定された期間の複数の前記矩形枠を平均化して基準点を作成することを特徴とする請求項５ないし請求項９のいずれかに記載の動線作成装置。
11. 追跡対象の移動軌跡を表す動線を作成する動線作成方法において、
    画像フレームから追跡対象を検出して、前記追跡対象の検出領域を含む検出結果情報を生成する物体検出ステップと、
    前記検出結果情報と通常の状態での検出結果情報に基づいて、前記追跡対象の状態を判定する状態判定ステップと、
    前記状態判定ステップにて判定された状態に対応する方法で前記検出領域を用いて、前記追跡対象の基準点を作成する基準点作成ステップと、
    複数の前記画像フレームについて作成された複数の前記基準点を結んで、前記追跡対象の移動軌跡を表す動線を生成する動線作成ステップと、
    を含むことを特徴とする動線作成方法。