JP6932971B2

JP6932971B2 - 動体追跡方法、動体追跡プログラム、および動体追跡システム

Info

Publication number: JP6932971B2
Application number: JP2017077058A
Authority: JP
Inventors: 俊介 ▲高▼村
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2017-04-07
Filing date: 2017-04-07
Publication date: 2021-09-08
Anticipated expiration: 2037-04-07
Also published as: JP2018180788A

Description

本発明は、動体追跡方法、動体追跡プログラム、および動体追跡システムに関する。

動体追跡は、時系列に並んだ複数の画像（フレーム）内から、それら複数の画像内で移動する物体、すなわち動体を識別して追跡する技術である。

従来の動体追跡技術としては、複数の撮影手段より撮影された画像から動体（物体）の距離を求めて、画像中の所定の位置を通過する動体の数や移動速度、大きさを計測する技術がある。この技術によれば、物体検出手段では、この投影像から物体の先頭位置または後端位置を抽出し、その投影像を用いて移動位置算出手段が物体の移動位置を算出し、物体情報算出手段がそれらの情報から画像中の所定の位置を通過する物体の数や移動速度、大きさを計測する。そして、現在の物体位置のうち、物体が存在する可能性のある範囲内の物体と相関を計算し、物体位置を特定する。このとき「可能性のある範囲内」とは、たとえば対象が車両である場合、その最高速度から、現在画像での車両が存在しうる位置を特定し、その範囲内で相関を計算し、もっとも相関の高い位置を車両の位置として特定する（特許文献１）。

また、前フレームと次フレームの関連性を見る技術としては、たとえば、前フレームで見つけた対象の次フレームでの位置を予測する手段を持ち、それと空間の３次元情報からシミュレーションした画像と、今フレームで取得したシルエット画像との一致度を評価し、その結果から動体を追跡する技術がある（特許文献２）。

特開平１０−１８７９７４号公報特開２００７−２４９８８５号公報

しかしながら、これらの技術は、追跡対象とする動体の情報のみから次の位置を予測しており、他の動体の存在は考慮されていない。また、３次元空間において対象位置を予測する従来技術においても、具体的な予測方法は記載されていない。

そこで、本発明の目的は、１つのフレーム内に動体が存在する場合に、過去フレームの動体を現在フレーム内の動体として追跡することのできる動体追跡方法を提供することである。また、本発明の他の目的は、コンピューターにより動体追跡させる動体追跡プログラムを提供することである。さらに、本発明の他の目的は、動画を取得してその画像の中から動体追跡することができる動体追跡システムを提供することである。

上記の目的は、以下の手段により達成される。

（１）時系列に沿って複数のフレームが並んでいる動画の、現在フレームより前の過去フレームで識別されている１または複数の動体が前記現在フレームでどこまで移動するかを予測した移動予測範囲を前記動体ごとに求める段階（ａ）と、
前記現在フレームで前記動体となる可能性のある動体候補を検出する段階（ｂ）と、
前記移動予測範囲と前記動体候補とを検索して、前記移動予測範囲が複数あり、かつ、複数の前記移動予測範囲の一部が重複する重複領域がある場合に、当該重複領域よりも先に、前記移動予測範囲が重複しない領域から前記動体候補を検索して、前記移動予測範囲に対応している前記動体と前記動体候補を関連付ける段階（ｃ）と、
関連付けされた前記動体候補および前記動体、ならびに関連付けされた前記動体と対応している前記移動予測範囲を検索対象から除外する段階（ｄ）と、
を有する、動体追跡方法。
（２）前記段階（ｃ）は、さらに、前記移動予測範囲が重複しない領域に１つの前記動体候補のみが存在する場合は、前記移動予測範囲が重複しない領域の元になった前記移動予測範囲に対応している前記動体と前記動体候補を関連付ける段階（ｃ２）を有する、上記（１）に記載の動体追跡方法。
（３）前記段階（ｃ）は、さらに前記移動予測範囲が重複しない領域内にある前記動体候補と前記動体との関連度をあらかじめ定められた第１の指標により調べる段階（ｃ１）を有し、
前記第１の指標により調べた関連度が所定以上の場合に前記動体候補と前記動体とを関連付ける、上記（１）または（２）に記載の動体追跡方法。
（４）前記第１の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせである、上記（３）に記載の動体追跡方法。
（５）前記移動予測範囲が複数ある場合に前記移動予測範囲が重複する１つの領域に前記動体候補がある場合は、前記動体候補とそれぞれの前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｅ）を有する、上記（１）〜（４）のいずれか１つに記載の動体追跡方法。
（６）前記移動予測範囲が重複しない１つの領域に複数の前記動体候補がある場合は、前記複数の前記動体候補のそれぞれと、前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｆ）を有する、上記（１）〜（５）のいずれか１つに記載の動体追跡方法。
（７）前記第２の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせであり、
前記動体と前記動体候補との間の距離は、短いものほど前記関連度が高いと判断し、
前記動体の移動速度は、前記動体が前記動体候補へ移動したと仮定した場合の前記動体候補の仮定の移動速度を算出し、当該仮定の移動速度が、複数の過去フレームから算出される前記動体の移動速度に近いものほど前記関連度が高いと判断し、
前記画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離は、前記画像取得センサーから前記動体までの方向および距離と、前記画像取得センサーから前記動体候補までの方向および距離のそれぞれの値が近いものほど前記関連度が高いと判断し、
前記動体と前記動体候補のサイズは、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補が占める画素数は、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補の色は、近いほど前記関連度が高いと判断する、上記（５）または（６）に記載の動体追跡方法。

（８）時系列に沿って複数のフレームが並んでいる動画の、現在フレームより前の過去フレームで識別されている１または複数の動体が前記現在フレームでどこまで移動するかを予測した移動予測範囲を前記動体ごとに求める段階（ａ）と、
前記現在フレームで前記動体となる可能性のある動体候補を検出する段階（ｂ）と、
前記移動予測範囲と前記動体候補とを検索して、前記移動予測範囲が複数ある場合に、前記移動予測範囲が重複しない領域に１つの前記動体候補のみが存在する場合は、前記移動予測範囲が重複しない領域の元になった前記移動予測範囲に対応している前記動体と前記動体候補を関連付ける段階（ｃ）と、
関連付けされた前記動体候補および前記動体、ならびに関連付けされた前記動体と対応している前記移動予測範囲を検索対象から除外する段階（ｄ）と、
前記移動予測範囲が複数ある場合に前記移動予測範囲が重複する１つの領域に前記動体候補がある場合は、前記動体候補とそれぞれの前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｅ）を有する、動体追跡方法。
（９）前記段階（ｃ）は、さらに前記移動予測範囲が重複しない領域内にある前記動体候補と前記動体との関連度をあらかじめ定められた第１の指標により調べる段階（ｃ１）を有し、
前記第１の指標により調べた関連度が所定以上の場合に前記動体候補と前記動体とを関連付ける、上記（８）に記載の動体追跡方法。

（１０）前記第１の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせである、上記（９）に記載の動体追跡方法。

（１１）前記移動予測範囲が重複しない１つの領域に複数の前記動体候補がある場合は、前記複数の前記動体候補のそれぞれと、前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｆ）を有する、上記（８）〜（１０）のいずれか１つに記載の動体追跡方法。

（１２）前記第２の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせであり、
前記動体と前記動体候補との間の距離は、短いものほど前記関連度が高いと判断し、
前記動体の移動速度は、前記動体が前記動体候補へ移動したと仮定した場合の前記動体候補の仮定の移動速度を算出し、当該仮定の移動速度が、複数の過去フレームから算出される前記動体の移動速度に近いものほど前記関連度が高いと判断し、
前記画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離は、前記画像取得センサーから前記動体までの方向および距離と、前記画像取得センサーから前記動体候補までの方向および距離のそれぞれの値が近いものほど前記関連度が高いと判断し、
前記動体と前記動体候補のサイズは、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補が占める画素数は、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補の色は、近いほど前記関連度が高いと判断する、上記（８）〜（１１）のいずれか一つに記載の動体追跡方法。

（１３）前記動体と前記動体候補との間の距離は、前記距離が近いもののうち、前記距離が閾値以上である場合に関連付ける、上記（７）または（１２）に記載の動体追跡方法。

（１４）前記移動予測範囲は、
前記動体を中心として、あらかじめ定められた一定速度とフレーム間時間から求めた距離を半径とする円または球、
前記動体を中心として、動画を取得する画像取得センサーの設置環境に応じてあらかじめ決められた速度とフレーム間時間から求めた距離を半径とする円または球、
前記動体を中心として、前記動体の種類に応じてあらかじめ決められた速度とフレーム間時間から求めた距離を半径とする円または球、
前記動体を中心として、複数の過去フレームから求めた前記動体の速度とフレーム間時間から求めた距離を半径とする円または球、
前記あらかじめ決められた一定速度、前記画像取得センサーの設置環境に応じてあらかじめ決められた速度、前記動体の種類に応じてあらかじめ決められた速度、前記複数の過去フレームから求めた前記動体の速度のいずれかを基にした前記動体の現在フレームにおける到達予想点を中心とし、
あらかじめ決められた一定の加速度、前記画像取得センサーの設置環境に応じてあらかじめ決められた加速度、動体の種類に応じてあらかじめ決められた加速度、および複数の過去フレームから求めた前記動体の加速度のいずれかにフレーム間時間の２乗を掛けた求めた距離を半径とする円または球、ならびに、
複数の過去フレームから求めた前記動体の移動方向と速度のベクトルを長軸方向として、所定の大きさの楕円または回転楕円体、
のうちいずれかの範囲である、上記（１）〜（１３）のいずれか１つに記載の動体追跡方法。

（１５）前記動画を取得する画像取得センサーの検知範囲内に境界がある場合、当該境界の外側に前記動体が存在するものとして、前記移動予測範囲として設定する上記（１）〜（１４）のいずれか１つに記載の動体追跡方法。

（１６）前記境界は、前記検知範囲内にある静止物の境界であって、前記静止物の影に前記動体が存在するものとして前記移動予測範囲を設定する、上記（１５）に記載の動体追跡方法。

（１７）前記フレームは、３次元計測可能なレーザーレーダーで取得した距離画像である、上記（１）〜（１６）のいずれか１つに記載の動体追跡方法。

（１８）前記動体、前記移動予測範囲、前記動体候補を画面に表示する段階を有する、上記（１）〜（１７）のいずれか１つに記載の動体追跡方法。

（１９）上記（１）〜（１８）のいずれか１つに記載の動体追跡方法をコンピューターに実行させる動体追跡プログラム。

（２０）時系列に沿って画像を取得する画像取得センサーと、
上記（１９）に記載のプログラムを実行するコンピューターと、
を有する、動体追跡システム。

本発明によれば、前フレームの動体に基づいて設定した移動予測範囲と、現在フレームで検出した動体候補とを関連付けし、関連付けが終われば、それらを検索対象から除外することとした。これにより、時系列に並んだフレームの中から少ない計算量で動体を追跡することができる。

動体追跡システムの全体構成を説明するための説明図である。動体追跡装置の構成を説明するためのブロック図である。動体追跡方法の処理手順を説明するためのフローチャートである。動体追跡方法の処理手順を説明するためのサブルーチンフローチャートである。前フレームにおける動体の例を説明する説明図である。速度による移動予測範囲の例を説明する説明図である。加速度による移動予測範囲の例を説明する説明図である。ベクトルを使用した移動予測範囲の例を説明する説明図である。移動予測範囲の境界で分割した領域の例を説明する説明図である。現在フレームで検出した動体候補の例を説明する説明図である。動体、領域、および動体候補を重ね合わせた例を説明する説明図である。関連付けした動体候補、動体、および動体の移動予測範囲を除外した例を説明する説明図である。関連度による関連付けの例を説明する説明図である。関連付けが無い状態の例を説明する説明図である。関連度を調べる際に距離に閾値を設定した場合の例を説明する説明図である。管理方法を説明するための例を説明する説明図である。管理方法としてのテーブルデータの例を示すテーブル図である。図１６から動体候補Ｃ１、動体１、移動予測範囲Ａ１を除外後の状態を説明する説明図である。動体候補Ｃ１、動体１、移動予測範囲Ａ１を除外後のテーブルデータを示すテーブル図である。検知範囲に境界がある場合の例を説明する説明図である。検知範囲に境界がある場合のテーブルデータの例を示すテーブル図である。変形例の処理手順を説明するためのフローチャートである。レーザーレーダーにより得られる３次元の距離画像の例を示す図である。レーザーレーダーの構成を説明する断面図である。ミラーユニットＭＵの回転に応じて、出射するレーザースポット光ＳＢで、監視装置ＭＤの監視空間内を走査する状態を説明する説明図である。

以下、添付した図面を参照しながら、本発明の実施形態を説明する。本発明は、以下の実施形態に限定されない。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また、以下の説明において、時系列に並んだフレームで、現在のフレームを現在フレームと称し、現在フレームより過去のフレームを過去フレームと称し、中でも１つ前のフレームを前フレームと称する。

図１は動体追跡システムの全体構成を説明するための説明図である。図２は動体追跡装置の構成を説明するためのブロック図である。

動体追跡システムは、時系列に並んだフレームを取得するレーザーレーダー１０１と、時系列に並んだフレームの中にある動体を時系列に沿って追跡する動体追跡装置１０２を有する。時系列に並んだフレームに時系列に再生（表示）されることで動画となる。

レーザーレーダー１０１は画像取得センサーである。このレーザーレーダー１０１の詳細は後述するが、レーザーを走査してその反射光から物体までの距離をリアルタイム計測する。このため、レーザーレーダー１０１の設置位置から対象物までの距離および大きさ（高さや幅など）が得られる。またこれにより距離画像といわれる画像を得ることができる。この距離画像を１走査１フレームとして時系列に沿って並べる（連続して表示する）ことで動画となる。計測値（距離画像）は動体追跡装置１０２に送信される。レーザーレーダー１０１は、ライダー（ＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ））とも称されている。

動体追跡装置１０２は、コンピューターであり、一般的なパソコンでもよいし、専用のコンピューターでもよい。動体追跡装置１０２の構成は、図２に示すように、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１３、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１４を備える。

ＲＯＭ１２は、動体追跡装置１０２の起動やコンピューターとしての基本動作に必要な基本プログラムを記憶している。

ＣＰＵ１１は処理内容に応じたプログラムをＨＤＤ１４から読み出してＲＡＭ１３に展開し、展開したプログラムを実行する。ここでは主に、レーザーレーダーから得られる距離画像（詳細後述）をもとに動画を構成し、動画内の動体追跡を行う。

ＨＤＤ１４は各処理に必要なプログラムや、データを記憶している。ＨＤＤに代えて不揮発性の半導体メモリ（たとえばフラッシュメモリ）でもよい。

また、動体追跡装置１０２は、マウスやキーボードなどの入力装置１５、画像（動画）を表示するディスプレイ１６、さらに外部機器を接続するためのネットワークインターフェース１７を備える。

ネットワークインターフェース１７は、たとえば、イーサネット（登録商標）などであり、レーザーレーダー１０１との通信に使用される。また、ネットワークインターフェース１７は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）などとも接続され、サーバー（後述）との通信にも使用される。

動体追跡装置１０２は、このようなコンピューターが後述する動体追跡方法の処理手順を実行することで達成されている。なお、動体追跡装置１０２はレーザーレーダー１０１からの計測値だけを取得して、距離画像およびその動画を構成するようにしてもよい。

動体追跡装置１０２は、また、たとえばサーバー１０３がネットワークにより接続されている。サーバー１０３は、距離画像からなる動画を動体追跡装置１０２から受け取って記憶する。また、サーバー１０３はその他の動画を記憶していて、動体追跡装置１０２からの読み出しに応じて提供する。その他の動画は、レーザーレーダー１０１によって取得した動画に限らず、通常のムービーカメラの動画などを含む。

本実施形態の動体追跡方法について説明する。

図３は、本実施形態の動体追跡方法の処理手順を説明するためのフローチャートである。図４は、動体追跡方法の処理手順を説明するためのサブルーチンフローチャートである。この処理手順は動体追跡装置１０２によって実施される。

まず、前フレームにおいて識別されている動体が、現在フレームのときに移動する可能性のある範囲である移動予測範囲を設定する（Ｓ１）。このとき前フレームに動体が複数ある場合は、それぞれの動体について移動予測範囲を設定する。

図５は前フレームにおける動体の例を説明する説明図である。

図５のように前フレームにおいて動体１および２があるとする。これらの動体１および２が次のフレーム、すなわち現在フレームで到達する可能性のある範囲を移動予測範囲として設定する。

移動予測範囲の求め方は色々ある。たとえば、（１）あらかじめ決めた速度で設定する。（２）加速度により移動予測範囲を設定する。（３）複数の過去フレームから得られる速度と方向からベクトルを求めて、このベクトルを基に設定する。以下これらの例について説明する。

（１）あらかじめ決めた速度で設定する場合を説明する。図６は速度による移動予測範囲の例を説明する説明図である。

速度を用いて移動予測範囲を設定する場合、速度掛けるフレーム間時間が、動体１および２の移動予測距離となる。したがって、移動予測範囲は、図６に示すように、動体１および２を中心として、動体１および２のそれぞれの移動予測距離を半径ｒ１およびｒ２とした円で表した移動予測範囲Ａ１およびＡ２となる。

なお、ここでは平面図として示したが、本実施形態は、３次元計測して距離画像が得られている。このため、移動予測範囲は３次元空間における動体１および２を中心とした球（３次元）の範囲になる（以下他の図においても同様である）。ムービーカメラにより撮影するなどにより距離画像では無く２次元画像を取得している場合には、移動予測範囲は２次元平面における円の範囲となる。

この速度を用いた移動予測範囲の設定においては、速度の決め方により、さらに複数の形態がある。

（１ａ）その１つは、たとえば、動体の種類やレーザーレーダー１０１の設置環境などに因らず一定速度に設定する方法である。この場合、複数の動体があっても移動予測範囲は全て同じ大きさになる。設定する一定速度は、たとえば、一般的にあり得る動体の最大速度を用いる。レーザーレーダー１０１による監視対象の中では、たとえば自動車が最大速度であると考えられるので、１００ｋｍ／時間など（もちろんこれより速くてもよい）に決めればよい。これを図６にあてはめると、動体１および２共に最大速度にフレーム間時間を掛けた値が移動予測範囲Ａ１およびＡ２の半径ｒ１＝ｒ２となる。

ここで、監視対象となる様々な動体の中の最大速度により移動予測範囲を設定する理由は、前フレームから現在フレームに至るときに動体が動き得る最大の範囲を設定しておけば、動体の種類に因らず移動予測範囲外に動体が至る可能性は極めて低いからである。

（１ｂ）また、他の形態としては、レーザーレーダー１０１の設置環境により速度を変える方法である。これは基本的には、上記の一定速度による設定とほとんど同じであるが、レーザーレーダー１０１の設置環境により設定する速度を変えるのである。たとえば自動車が通行する環境（人も通行する場合も含めてもよい）では、自動車の最大速度（たとえば１００ｋｍ／時間）に決める。またさらに細かく分けて、たとえば、繁華街や住宅街など自動車が、高速で走らない環境ではたとえば６０ｋｍ／時間、高速で走る環境ではたとえば１００ｋｍ／時間などと決めてもよい。さらに人しか通行しないような環境では、人の最大速度は２５ｋｍ／時間程度であるので、このような速度に決めればよい。この場合も、図６にあてはめると、移動予測範囲Ａ１およびＡ２の半径が設置環境によって変わるものの、基本的に動体１および２共に設定した速度にフレーム間時間を掛けた値が移動予測範囲Ａ１およびＡ２の半径ｒ１＝ｒ２となる。

これら一定速度や環境ごとの速度とすることで移動予測範囲を設定するための処理が簡略化される。また、レーザーレーダー１０１の設置環境に応じて設定する速度を変えることで、後述する移動予測範囲が重複する可能性が減るため、計算時間が短くなる。

（１ｃ）さらに他の形態としては、動体の種類に応じてあらかじめ決められた速度を設定し、それに基づいて動体ごとに移動予測範囲を設定してもよい。レーザーレーダー１０１を用いた場合は、動体の大きさや形状が判明する。このため、フレーム（画像）内の物体（動体）が、その大きさや形状から、どのような種類か判明する。そこで、この機能を利用して、動体ごとに速度を設定する。

たとえば、人と自動車はその大きさや形状から判別できる。人の最大速度は２５ｋｍ／時間程度である。自動車の最大速度は１００ｋｍ／時間などである。これらの種類ごとに最大速度を動体追跡装置１０２内に記憶しておく。たとえば元データはＨＤＤに記憶しておき、処理が行われている間はＲＡＭに呼び出して使用する。そして、レーザーレーダー１０１で認識された動体ごとに、それらの速度を割り当てる。割り当てた速度により動体ごとに移動予測範囲を設定する。これを図６にあてはめると、移動予測範囲Ａ１およびＡ２の半径が動体の種類のよって変化することになる。つまり、動体１および２が同じ種類であると認識されると、移動予測範囲Ａ１の半径ｒ１と移動予測範囲Ａ２の半径ｒ２は同じとなり、動体１および２が異なる種類であると認識されると、半径ｒ１と半径ｒ２は異なる。

これにより、後述する移動予測範囲が重複する領域となる可能性がいっそう減るため、計算時間が短くなる。

（１ｄ）さらに他の形態として、複数の過去フレームから得られる速度を用いることもできる。複数の過去フレームから得られる速度は、数枚の過去フレームにおけるそれぞれの動体の位置とフレーム間時間から求めることができる。たとえば、動画のフレーム数を１秒当たり１０フレームとすると、フレーム間時間は１／１０秒となる。一方、過去フレームの動体位置はいずれも判明している。したがって、少なくとも２枚の過去フレームから速度が得られる。たとえば、前フレームをｆ（−１）、さらに１つ前の過去フレームをｆ（−２）とする。この場合、速度は、ｆ（−２）の動体位置とｆ（−１）の動体位置の差分を求め、その差分をフレーム間時間で割れば、速度Ｖ（ｆ（−２）−ｆ（−１））が得られる。他の過去フレームを用いた場合も同様である。何枚の過去フレームを用いて速度を求めるかは任意である。たとえば１つの動体についてその動体が出現してから前フレームまでのすべてのフレーム間ごとの速度を求めたり、３分前や１分前から前フレームまでなど時間指定した分の過去フレームから速度を求めたりするとよい。そして移動予測範囲を設定する際の速度は、たとえば、前フレームを含む過去フレームから求めた速度としてもよいし、複数の過去フレームを２枚ごと使用して求めた複数の速度の中の最大速度としてもよい。前フレームを含むフレームから求めた速度を用いれば、前フレームから現在フレームに至るまでの間で大きく速度が変更されることはまれであるため、このような速度であれば、その動体が移動予測範囲から外れることは少ない。また、複数の過去フレームから求めた最大速度とすれば、その動体の過去の速度の内、最大速度を超えることはまれであるため、このような速度であれば、その動体が移動予測範囲から外れることは少ない。

これを図６にあてはめると、動体１および２のそれぞれについて求めた速度掛けるフレーム間時間が、動体１および２の移動予測距離となる。このため動体１および２の速度が同じであれば、移動予測範囲Ａ１の半径ｒ１と移動予測範囲Ａ２の半径ｒ２は同じとなり、動体１および２の速度が違うと半径ｒ１と半径ｒ２は異なる。

なお、以上説明した、動体の種類や環境、また、それらに対応した速度などは、いずれも一例であり、ユーザーが任意に設定可能である。

（２）次に、加速度により移動予測範囲を設定する場合について説明する。図７は、加速度による移動予測範囲の例を説明する説明図である。

加速度を用いる場合、まず、速度によって動体が移動する位置を推定する。これは図７に示された矢印であり、ベクトルである。このときの速度は、上述した（１ａ）〜（１ｄ）のいずれであってもよい。加速度にフレーム間時間の２乗を掛けると距離になる。そこで、加速度による移動予測範囲Ａ１およびＡ２は、（１ａ）〜（１ｄ）のいずれかの速度を基にした動体の現在フレームにおける到達予想点（すなわち矢印の先端）を中心として加速度から得た距離を半径ｒ３とする円（または球）とする。

ここで使用する加速度は、たとえば、一般的な監視対象として可能性のある最大の加速度をすべての動体に対して一定の加速度を使用したり、レーザーレーダー１０１の設置環境に応じた加速度を使用したり、また種類に応じて変えたり、さらには複数の過去フレームから求めたりするなどである。図７の例は、一定速度に対して、動体１および２の種類やセンサーの設置環境などにかかわらず、一定の加速度にした場合である。このため移動予測範囲Ａ１およびＡ２の半径ｒ３は同じである。

（３）複数の過去フレームから得られる速度と方向からベクトルを求めて、このベクトルを中心とする範囲は、複数の過去フレームから動体の速度と移動方向も求めてベクトルを作成する。

速度については、上記（１ｄ）と同様に過去フレームから求める。移動方向は、たとえば、速度Ｖ（ｆ（−２）−ｆ（−１））を求めたなら、ｆ（−２）の動体位置からｆ（−１）の動体位置へ移動した方向を求める。

図８は、ベクトルを使用した場合の移動予測範囲の例を説明する説明図である。ここでも説明のために平面で示したが、実際は３次元空間におけるベクトルおよび移動予測範囲となる。

ベクトルを用いる場合、移動予測範囲Ａ１およびＡ２は、ベクトル方向へ移動することだけでなく、ベクトル以外の方向へ移動することも考慮する。このため移動予測範囲Ａ１およびＡ２は、ベクトルの方向へは広く、ベクトル以外の方向へは狭い範囲、所定の大きさにする。たとえば、図８に示すように、ベクトルを長軸とする楕円形（３次元では回転楕円体）とする。このような楕円形（回転楕円体）となる移動予測範囲Ａ１およびＡ２の大きさは、たとえば、ベクトルの中心に対して、その長さを２倍に広げたものとする。この場合、ベクトルの元と先端が楕円形（回転楕円体）の焦点になる。また、ベクトルの長さａとすると、楕円の長径＝２ａ、短径＝２ｂ＝ａとなる。

このような大きさであれば、動体が速度や方法を変えたとしても、移動予測範囲に入る可能性が高い。もちろん、楕円形（回転楕円体）の大きさは、任意に決めればよい。たとえば、これまでの蓄積からベクトル方向以外への移動が多い場合には、楕円の範囲を広げる（上記楕円の長径を３ａ、４ａなどと大きくする）。逆にベクトル方向以外への移動が少ない場合は楕円の範囲を狭くする（上記楕円の長径を１／２ａ、１／３ａなどと小さくする）。このようにベクトルを用いることで、移動予測範囲が重複する可能性が少なくなる。

フローチャートに戻り説明を続ける。

次に、Ｓ１で設定した移動予測範囲の境界で分割した領域を設定する（Ｓ２）。

図９は、移動予測範囲の境界で分割した領域の例を説明する説明図である。

この処理は、図９に示すように、移動予測範囲Ａ１およびＡ２の境界で領域を分割する。この分割により、図９では、移動予測範囲Ａ１のみで他の移動予測範囲と重複しない領域（重複無し領域という）Ａ０１、移動予測範囲Ａ２のみの重複無し領域Ａ０２、そして移動予測範囲Ａ１およびＡ２が重複する領域（重複領域という）Ａ１２となる。各領域は、移動予測範囲を設定したとき（Ｓ１）の動体とそのまま対応付けられている。したがって、重複無し領域Ａ０１は動体１に、重複無し領域Ａ０２は動体２に、重複領域Ａ１２は動体１と２の両方に、それぞれ対応付けられる。

次に、現在フレームから動体候補を検出する（Ｓ３）。動体候補の検出は、たとえば、あらかじめ決められた１枚の過去フレームと現在フレームとの差分を取り、現在フレームにのみ存在する物体を動体候補とする。あらかじめ決められた１枚の過去フレームは、たとえば、前フレームの画像でもよいし、動体の無い背景のみのフレームをユーザーが目視で見つけ出した過去フレームでもよい。

図１０は、現在フレームで検出した動体候補の例を説明する説明図である。ここでは、動体候補Ｃ１およびＣ２がそれぞれ検出されている。

次に、分割した領域の内、検索対象として重複無し領域の１つを選び、その領域内に動体候補があるか否かを検索する（Ｓ４）。これにはＳ４に入った段階で検索対象となり得る、動体１および２と、領域Ａ０１、Ａ０２、Ａ１２と、動体候補Ｃ１およびＣ２とを１枚のフレームに重ね合わせる。図１１は動体、領域、および動体候補を重ね合わせた例を説明する説明図である。

この処理で得られる重ね合わせ画像（図１１参照）は、たとえば動体追跡装置１０２のディスプレイに表示するようにしてもよい。図においては、各領域を異なるハッチングで示した（ただし他の図においては、領域内の要素（動体や動体候補など）が見づらくなるのでハッチングしていない）。このような表示によってユーザーが動体追跡の過程を見ることができる。実際の表示は、通常、動画は最新のフレームである現在フレームが表示されているので、現在フレームに動体および領域を重ね合わせて表示するとよい。また、その際は、たとえば、ハッチングの代わりに領域を色分けしたり、動体と動体候補を異なる色で表示するなどとして、わかりやすくすることが好ましい。

次に、Ｓ４の検索の結果、１つの重複無し領域において動体候補がいくつあるかにより処理を分ける（Ｓ５）。

Ｓ５の判断の結果、動体候補が０個の場合（すなわちその領域に動体候補が無い場合）はそのままＳ８へ進む。

またＳ５の判断の結果、動体候補が１個の場合はＳ６へ進む。Ｓ６では、その重複無し領域にある動体候補を、その重複無し領域に対応した動体と関連度により調べて関連するか否かを判断する（Ｓ６）。図１１を参照すると重複無し領域Ａ０１にある動体候補は、動体候補Ｃ１の１つだけである。したがって、動体候補Ｃ１は、その重複無し領域Ａ０１に対応している動体１と関連付けられる可能性がある。

そこで、これら動体候補Ｃ１と動体１との関連度を調べる（Ｓ６１（図４参照、以下同様））。

この関連度を調べるための指標（第１の指標）としては、たとえば、距離、移動速度、センサーからの距離、サイズ、画素数、色である。

距離は、レーザーレーダー１０１の場合は測定された前フレームの動体から現在フレームの動体候補の間の距離であり、ムービーカメラの場合は前フレームに映っている動体と現在フレームに映っている動体候補のフレーム内における距離である。

移動速度は、前フレームの動体の移動速度と現在フレームの動体候補の移動速度とを比較して関連度を評価する。前フレームの動体の移動速度は前々フレームにおける動体の位置と前フレームにおける動体の位置との差を時間で割って求め、現在フレームにおける動体候補の移動速度は前フレームにおける動体の位置と現在フレームにおける動体候補の位置との差を時間で割って求める。

センサーからの距離は、レーザーレーダー１０１から動体までの距離およびレーザーレーダー１０１から動体候補までの距離である。

サイズはレーザーレーダー１０１で計測される動体と動体候補の大きさである。

画素数はムービーカメラで撮影された前フレーム内の動体と現在フレーム内の動体候補がそれぞれ占める画素数である。

色はムービーカメラで撮影された前フレームの動体の色と現在フレームの動体候補の色である。

これら第１の指標を使用した関連度は、以下のように調べる。

まず、第１の指標のいずれかを単独で用いる場合である。サイズ、画素数、色は、それぞれ単独で用いることができる。

動体のサイズと動体候補のサイズを比較してサイズが近いほど関連度が高いと判断する。

動体の画素数と動体候補の画素数を比較して画素数が近いほど関連度が高いと判断する。

動体の色と動体候補の色を比較して色差が少ないほど関連度が高いと判断する。色はＬａｂ値などの色情報による色差として比較してもよいし、単純にＲＧＢの階調値を比較してもよい。

ここで関連度が高いは否かの基準は、それぞれの指標ごとに経験値や実験などにより、あらかじめ決めておく。そして、その値以上であれば関連度が所定以上であるとして、関連付けする。

なお、この段階で、既に動体候補は、動体に対応した移動予測範囲内に１つ存在する。したがって、距離、移動速度、センサーからの距離については、概念的には移動予測範囲内にあるということで、既に、関連度があることになる。このため、距離、移動速度、センサーからの距離を単独で用いて関連度を調べる必要はない。

次に、第１の指標のそれぞれを複数組み合わせて用いる場合である。

たとえば、カラームービーカメラ（２次元画像）の場合、距離と色を用いて関連度を調べる。この場合、距離と色それぞれに重み付けをして関連度を調べる。たとえば、「距離×０．６＋色差×０．４」を関連度とする。ここで用いた重み付け定数は経験値や実験などで求めた値である。そのほか、ムービーカメラの用いている場合は、距離と画素数、移動速度と色、画素数と色など、様々に組み合わせて、それぞれに経験値や実験値などにより重み付けをして関連度を調べる。

また、レーザーレーダー１０１の場合は、たとえば、距離とサイズを用いて関連度を調べる。また、レーザーレーダー１０１の場合は、センサーからの距離とサイズなどでも関連度を調べられる。さらに、移動速度とサイズなどでもよい。これらの場合も、それぞれに経験値や実験による重み付けをして関連度を調べる。

このように、複数の第１の指標を用いて関連度を調べることで、より精度の高い関連度を得られる。

そして関連度が所定以上であれば（Ｓ６２：ＹＥＳ）、それらの動体候補と動体を関連付ける（Ｓ６３）。関連度が所定以上か否かは、上記のように第１の指標を用いた関連度が経験値や実験により関連していると判断できる閾値をあらかじめ決めておいて判断する。この閾値は動体追跡装置１０２内に記憶しておく。動体候補と動体を関連付けた後、処理はＳ７へ戻る。

一方、関連度が所定以上でなければ（Ｓ６２：ＮＯ）、その動体候補は動体と関連付けせずに、現在フレームで出現したものとして、検索対象から除外する（Ｓ６４）。

その後、Ｓ８へ進む（この場合はサブルーチンからのリターンではなく、接続子「１」で示されているとおりＳ８へ移行する）。したがって、検索した移動予測範囲とそれに対応する動体は残ることになる。このため以降の処理により重複領域であれば、検索が行われることになる。一方の残った移動予測範囲に重複領域が無ければ、もともとその移動予測範囲に重複領域はなかったので、検索が終了した検索無し領域ということになる。

このように、重複無し領域にある１つの動体候補と動体との関連度を調べることで、前フレームの動体が現在フレームの動体候補として移動したものであると精度よく確定できる。すなわち追跡精度を向上させることができる。

なお、このＳ６へ入った後のＳ６１〜６４の処理は行わないようにしてもよい。この場合、Ｓ６へ入った段階で、その重複無し領域の元になっている動体と動体候補を関連付けして、Ｓ７へ進めばよい。

Ｓ６へ入った段階で、重複無し領域の元になっている動体の移動予測範囲内に動体候補が１つだけ存在しているということである。これは、すなわち、前フレームの動体が移動し得る範囲内に動体候補が存在することを意味している。このため、その動体候補は、前フレームの動体が移動したものと推定しても、追跡ミスの発生は少ないからである。もちろん追跡精度をより高くしたければ、既に説明した関連度による関連付けを行うことが好ましい。

その後、関連付けした動体候補、動体、および動体の移動予測範囲は、検索対象から除外する（Ｓ７）。図１２は、関連付けした動体候補、動体、および動体の移動予測範囲を除外した例を説明する説明図である。

図１２に示した例では、動体候補Ｃ１と動体１が関連度ありとされている。そうすると図１１にあった動体候補Ｃ１、動体１、および動体１の移動予測範囲Ａ１が検索対象から除外される（図１２ではこれらが削除されている）。これにより、次の検索の際、それらを検索する必要が無くなるので、その分、計算量が減り、また検索時間が短くなる。また、これによって、図１２に示したように重複領域（図１１中に存在したＡ１２）が消失する。このため次の検索に係る計算量がいっそう減ることになる。

Ｓ５の判断の結果、動体候補が２個以上の場合はＳ２１へ進む。Ｓ２１では、その重複無し領域にある動体候補が２個以上あるので、それらについて動体との関連度を調べて、関連性があれば関連付けを行う。このＳ２１の処理については後述する。その後、Ｓ７へ進み、関連付けした動体候補、動体、および動体の移動予測範囲を検索対象から除外する。

次に、未検索の重複無し領域があるか否かを判断する（Ｓ８）。この段階で、重複無し領域がまだ存在すれば、Ｓ４へ戻り処理を継続する。図１２に示した状態では、この段階では重複無し領域Ａ０１（図１１参照）が無くなっているので、Ｓ４からの処理により、動体候補Ｃ２と動体２が関連度を調べて、関連付けられた場合は、動体候補Ｃ２、動体２、および動体２の移動予測範囲Ａ２が除外されることになる。

Ｓ８で、重複無し領域がすべて存在しなくなっていれば、次に、分割した領域の内、未検索の重複領域があるか否かを判断する（Ｓ９）。未検索の重複領域が無ければ、この段階で既にＳ８により未検索の重複無し領域もないので、Ｓ１３へ進むことになる。

一方、Ｓ９において、未検索の重複領域があれば、続いて、１つの重複領域に動体候補があるか否かを判断する（Ｓ１０）。この段階で検索した１つの重複領域に動体候補が無ければ別の未検索の重複領域があるか否かを判断するためにＳ９へ戻ることになる。

一方、Ｓ１０において検索した１つの重複領域に動体候補があれば、その重複領域にある動体候補と動体の関連度を調べて、関連性があれば動体候補と動体を関連付ける（Ｓ１１）。この処理は、Ｓ２１と同様の処理であるのでまとめて後述する。

次に、関連付けした動体候補、動体、動体の移動予測範囲を検索対象から除外する（Ｓ１２）。このＳ１２の処理はＳ７の処理と同様であり、これにより検索対象から動体候補、動体、動体の移動予測範囲が減ることになる。

Ｓ１２の後は、Ｓ８へ戻る。この処理について説明する。

Ｓ１１において、重複領域にある１つの動体候補に対して１つの動体が関連付けられた場合、その動体に対応した移動予測範囲がＳ１２により除外される。そうすると、重複領域を作っていた１つの移動予測範囲が無くなり、他の移動予測範囲は残った状態になる。この状態では、さらに重複領域が残る場合もあるが、重複領域が無くなる場合もある。重複領域がなくなる場合、その領域は新たな重複無し領域となり、しかもその領域は重複無し領域としては未検索となる。

このためＳ１２の後は、Ｓ８へ戻ることで、新たに生じた未検索の重複無し領域があれば（Ｓ８：ＹＥＳとなる）、Ｓ４へ行ってその重複無し領域を検索することになる。一方、新たな重複無し領域が生じていなければ（Ｓ８：ＮＯとなる）、次にＳ９で未検索の重複領域が残っているか否かが判断される。この段階で未検索の重複領域もなければ、そのままＳ１３へ進む。

このように、Ｓ１２からＳ８へ戻ることで、未検索の重複無し領域が発生していれば、先にその重複無し領域を検索することになる。それにより関連付けが行われたなら、重複領域が解消される可能性もあり、いっそう計算量が減って処理が高速化してゆく。

フローチャートへ戻り説明を続ける。

Ｓ９でＮＯであれば、次に、関連付けられていない動体があるか否かを判断する（Ｓ１３）。ここで、関連付けられていない動体があれば、その動体は現在フレームにおいて、消失したものとする（Ｓ３１）。ここで動体の消失とは、たとえば、フレーム外（検知範囲外）に動体が移動して映らなくなったことを意味する。なお、動体が停止した場合は、停止した動体候補が存在するので、上記までの処理において関連付けられる。

Ｓ１３において、関連付けられていない動体が無ければ、次に、関連付けられていない動体候補があるか否かを判断する（Ｓ１４）。ここで、関連付けられていない動体候補があれば、その動体候補は現在フレームにおいて、出現したものとする（Ｓ３２）。ここで動体候補の出現とは、たとえば、フレーム内（撮影範囲内）に動体が移動して映るようになった場合や、停止した動体が動き出したような場合を含む。

Ｓ１４で関連付けられていない動体候補が無い場合、またはＳ３２の後、処理は終了する。その後は次のフレームが現在フレームとなるので、Ｓ１から引き続き上述した処理を行うことで、次々に時系列に並んだフレームにおける動体が関連付けられて、動体の追跡が行われることになる。

Ｓ２１およびＳ１１の処理を説明する。図１３は、関連度による関連付けの例を説明する説明図である。

図１３に示した例は、動体１〜３の３つある場合である。これら動体１〜３は前フレームで判明している動体である。したがって、移動予測範囲もＡ１〜３の３つある。分割した領域は、重複無し領域Ａ０１、Ａ０２、およびＡ０３、重複領域Ａ１２、Ａ２３、Ａ１３、およびＡ１２３である。また、現在フレームで検出された３つの動体候補Ｃ１〜Ｃ３がある。

この例では、重複無し領域Ａ０１において複数の動体候補Ｃ１およびＣ３があるので、Ｓ２１に進むことになる。また、重複領域Ａ１２３に動体候補Ｃ２があるのでＳ１１に進むことになる。なお、図示していないが重複領域において動体候補が複数となる場合もある。

これらの場合、動体候補と動体とが１対１で対応していないため、それらの関連性を調べる必要がある。たとえば、Ｓ２１では動体候補Ｃ１およびＣ３のいずれか一方と動体１が関連する可能性がある。Ｓ１１では動体候補Ｃ２に対して動体１〜３のいずれか１つが関連する可能性がある。このような場合にＳ２１およびＳ１１では動体候補と動体との関連性を調べる処理として同様の処理とすることができる。

これには、領域ごとに、その中の各動体候補と、関連付けられる可能性のあるそれぞれの動体との関連度を調べる（重複領域において動体候補が複数となる場合は、それら複数の動体候補のそれぞれについて関連度を調べる）。そして、関連度のもっとも高い動体候補と動体の組み合わせを関連付けする。

この段階における関連度を調べるための指標（第２の指標）としては、たとえば、動体と動体候補との間の距離、動体および動体候補それぞれの位置、動体の移動速度、動画を取得している取得センサーから動体までおよび動体候補までのそれぞれの方向および距離、動体および動体候補のサイズ、動体および動体候補の画素数、動体および動体候補の色、から選択された１つまたは２つ以上の組み合わせである。したがって、第２の指標の種類は第１の指標と同じであるが、実際に使用する指標は、第１の指標と第２の指標を同じにしてもよし、異なるようにしてもよい。

動体と動体候補との間の距離は、動体と動体候補の間の距離を比較するもので、動体および動体候補が複数ある場合はそれぞれについて距離を求めて比較することになる。そして、距離の短い方を関連度が高いとする。

なお、３次元座標系（または２次元座標系）を用いる場合は、動体および動体候補のそれぞれの位置の差を取ることで、それらの間の距離が出るので、この距離を比較すればよい。

動体の移動速度は、それぞれの動体が動体候補へ移動したと仮定した場合の速度を算出して、その速度がそれぞれ動体の過去フレームから得られる速度と近いものほど関連度が高いとする。

画像取得センサーからの方向および距離は、レーザーレーダー１０１から動体までの方向および距離と、レーザーレーダー１０１から動体候補までの方向および距離とを比較して、まず、これらの方向の値が近い方が関連度が高いものとし、方向が同じ場合、距離の値が近い方を関連度が高いものとする。なお、レーザーレーダー１０１から動体までの方向とは、レーザーレーダー１０１が動体を検知したときのレーザー照射方向のことである。動体候補も同じである。

サイズ（物理的な大きさ（特に３次元の場合））は、レーザーレーダー１０１を用いた場合の指標である。レーザーレーダー１０１を用いた場合、対象物の大きさがわかるので、動体と動体候補のサイズを比較して、サイズが近いものほど関連度が高いとする。

画素数（画像上の大きさ（特に２次元カメラの場合））は、ムービーカメラを用いた場合の指標である。ムービーカメラでは、フレームに映っている物体の大きさと画素数が比例している。そこで、前フレームで映っている動体が占める画素数と現在フレームで映っている動体候補が占める画素数を比較して、画素数が近いものほど関連度が高いとする。

色は、カラームービーカメラによる撮影の場合に、前フレームで映っている動体の色と現在フレームで映っている動体候補の色を比較して、色が近いものほど関連度が高いとする。色はＬａｂ値などの色情報による色差として比較してもよいし、ＲＧＢの階調値を比較してもよい。

また、ベクトルにより移動予測範囲を設定した場合は、関連度の指標としてこのベクトルを利用してもよい。たとえば関連度を調べる動体から動体候補までベクトルを引いて（動体または動体候補のいずれかが複数あす場合、ベクトルも複数引くことになる）、そのベクトルと、移動予測範囲を設定したベクトルとの角度がより近い方を関連度が高いとする。

これらの指標はいずれか１つだけで関連度を調べてもよいが、２つ以上を組み合わせてもよい。２つ以上の指標を組み合わせることで関連性の精度が上がる。

図１３の例で、たとえば距離により関連度を判断すると、Ｓ２１においては動体候補Ｃ１と動体１の距離、動体候補Ｃ３と動体１の距離をそれぞれ調べて比較することになる。動体候補Ｃ１と動体１の距離が動体候補Ｃ３と動体１の距離より短いので、動体候補Ｃ１と動体１を関連付ける。

関連度により１つの動体候補と１つの動体を関連付けしたなら、次の処理へ（Ｓ２１からはＳ７へ、Ｓ１１からはＳ１２へ）進むことになる。これにより関連付けが終わった動体候補、動体、その動体の移動予測範囲は検索対象から除外される（Ｓ７またはＳ１２）。

図１３の例では先にＳ２１の処理が行われるため、移動予測範囲Ａ１が検索対象から除外される。このため、図１３の重複領域Ａ１２３は、移動予測範囲Ａ２およびＡ３の重複領域Ａ２３となって、そこに動体候補Ｃ２がある。そうするとＳ１１で動体候補Ｃ２と動体２の距離、動体候補Ｃ２と動体３の距離をそれぞれ調べる。動体候補Ｃ２と動体２の距離が動体候補Ｃ２と動体３の距離より短いので、動体候補Ｃ２と動体２を関連付ける。

ここまでで、動体候補Ｃ２、動体２、および移動予測範囲Ａ２も、検索対象から除外される。

そうすると、検索対象として残るのは、動体候補Ｃ３、動体３、および移動予測範囲Ａ３となる。図１４は関連付けが無い状態の例を説明する説明図である。この状態になると、図１４に示すように、移動予測範囲Ａ３＝重複無し領域Ａ０３となり、この重複無し領域Ａ０３の中に動体候補は無いから、動体３は現在フレームで消失したことになる。一方、動体候補Ｃ３は、重複無し領域Ａ０３から外れている。このため動体候補Ｃ３は、関連付けする動体が無いことになる。したがって、動体候補Ｃ３は現在フレームで出現した動体となる。

このような関連付けは、所定の閾値を超えた場合にのみ関連付けることとしてもよい。たとえば距離に閾値を設け、距離が近いもののうち、閾値以上の場合に関連付ける。

図１５は、関連度を調べる際に距離に閾値を設定した場合の例を説明する説明図である。

図１５に示す例では、１つの動体１とそれに対応した移動予測範囲Ａ１が、動体１の種類に対応した最大速度により設定されている。ここでは、移動予測範囲は１つであるので、移動予測範囲Ａ１がそのまま重複無し領域Ａ０１となる。そして、この重複無し領域Ａ０１内に動体候補Ｃ１およびＣ２が検出されている。

この状態で距離を指標として関連度を調べると、動体候補Ｃ１の方がＣ２より動体１に近い。しかも動体候補Ｃ１と動体１の距離は、極めて近く、動体１の最大速度で設定した移動予測範囲Ａ１の半径の約１／１０程度となっている。このような場合、動体１が１フレーム間時間（ここでは１／１０秒）で最大速度から１／１０の速度に減速したと考えることは不自然である。そこで、距離に対して閾値を設けておいて、閾値以上の場合に関連度ありとする。たとえば、閾値としては、動体１が最大速度で移動する距離の半分に設定する。そうすると、動体候補Ｃ１は動体１に近いものの、閾値を超えていないため、動体１と関連付けない。一方、動体候補Ｃ２は、動体１との間の距離がこの閾値を超えている。このため、動体候補Ｃ２は動体１と関連付けられることになる。図１５に示した例では、動体１の他に動体が存在しないので、動体候補Ｃ１は新たに出現した動体ということになる。

動体が２つあって重複領域があるような場合も同様であり、閾値は、たとえば、２つの動体それぞれの移動予測範囲の半径の半分の距離などと設定する。

もちろん閾値は、任意の値でよく、上の例に限らず、移動予測範囲の半径の１／３、１／５、また前フレームを含む過去フレームから得られる速度の半分、１／３、１／５などとしてもよい。さらには動体の種類に応じて固定値としてもよい。

このように閾値を設定してそれ以上の場合に、より近い方を関連度ありとすることで、新規の動体が出現した場合（たとえば観測エリア外や、建物の影、車の影から人が出てきた場合）に対応できる。また、不自然な追跡となってしまうことを防止することができる。位置を指標にした場合も同様であり、座標上に閾値を設けて、位置が近いもののうち、閾値を超えた位置にある組み合わせを関連付けする。

ただし、距離および位置以外の指標の場合、たとえば、画像取得センサーからの距離、サイズ、画素数、色、ベクトルの角度などはより近い方が関連度が高くなる。

次にデータ管理方法について説明する。

図１６は、管理方法を説明するための例を説明する説明図であり、図１７は管理方法としてのテーブルデータの例を示すテーブル図である。

この例では、図１６に示すように、動体１〜３の３つある場合を説明する。これら動体１〜３は前フレームで判明している動体である。したがって、移動予測範囲もＡ１〜３の３つある。分割した領域は、重複無し領域Ａ０１、Ａ０２、およびＡ０３、重複領域Ａ１２、Ａ２３、Ａ１３、およびＡ１２３である。これに現在フレームで検出された動体候補Ｃ１〜Ｃ３の３つがある。

テーブルデータは、図１７に示すように、動体番号に対して各領域を対応させている。また、領域を共有する動体番号も対応させている。したがって、共有されていない領域（重複無し領域）には領域を共有する動体番号の項目に動体番号が無い。

このような状態（上記手順のＳ３までの処理である。以下括弧内は同様）で、重複無し領域Ａ０１を検索すると（Ｓ４）、動体候補Ｃ１が存在している。そうすると、テーブルデータから、重複無し領域Ａ０１には動体１が対応していることがわかる。これにより動体候補Ｃ１が存在しているのは、重複無し領域Ａ０１であり、それは動体１に対応していることがわかる。その後の処理（Ｓ５〜７）により、動体候補Ｃ１、動体１、移動予測範囲Ａ１を検索対象から除外する。

図１８は、図１６から動体候補Ｃ１、動体１、移動予測範囲Ａ１を除外後の状態を説明する説明図である。図１８に示すように、図１６から動体候補Ｃ１、動体１、移動予測範囲Ａ１が除外されて、動体候補Ｃ２およびＣ３、動体２および３、移動予測範囲Ａ２およびＡ３が残っている。また、図１９は、動体候補Ｃ１、動体１、移動予測範囲Ａ１を除外後のテーブルデータを示すテーブル図である。ここでは、除外した部分に網掛けして、除外した部分がわかるようにしている。図１９に示すように、動体１、移動予測範囲Ａ１に関連する部分が除外（網掛け）されている。もちろん実際の処理に当たってはこのような網掛けは不要で、それらのデータを削除すればよい。

その後は、同様にして重複無し領域Ａ０２、Ａ０３について順に検索して行けばよい。このように、テーブルデータを用いて管理することで、各動体および領域、そしてそれらの共有関係をわかりやすく管理することができる。

次に、レーザーレーダー１０１の検知範囲に境界がある場合、その境界の外側から新しい動体が現れるケースも考慮する必要がある。検知範囲にある境界とは、たとえば、画像取得センサーによる検知範囲（動画取得範囲）内に境界があって、その境界外側や、建物などの静止物があって向こう側（静止物の影）などの見えていない部分の境界などである。

このような場合は、境界の外側や静止物の向こう側から新しい動体が現れる可能性がある。このような場合、それら外側や静止物の向こう側にも、動体があるものとして移動予測範囲を設定する。図２０は、検知範囲に境界がある場合の例を説明する説明図である。

図２０に示すように、フレーム内の左に境界線に隠れた範囲（ハッチングで示した部分）がある。この範囲を境界の外側または静止物の影として移動予測範囲Ａｘとする。この例では、移動予測範囲Ａ１と重複しているので、重複している部分は重複領域Ａ１ｘとなる。

図２１は、検知範囲に境界がある場合のテーブルデータの例を示すテーブル図である。

図２１に示すように、動体番号１に対応して、共有する動体番号の項に、重複領域Ａ１ｘ、新規な動体Ｘがあるものとしてデータテーブルを作成する。

このような重複領域Ａ１ｘがある場合は、そこに識別できていない新規な動体Ｘがあるものとして扱う。このため、たとえば、重複無し領域Ａ０１に動体候補が無く、かつ、動体２に他の動体候補が関連付けられるか、または、動体１から境界で隠れた移動予測範囲Ａｘまでの方が他の動体候補より近ければ、動体１が移動予測範囲Ａｘへ移動したものとする。逆に、動体１および２は関連付けが終わって、さらに動体候補が残り、残った動体候補が移動予測範囲Ａｘと近ければ、境界から現れた動体Ｘであるとする。

これによりレーザーレーダー１０１の検知範囲内に境界（静止物を含む）があっても、境界から出入りした動体として追跡可能となる。

（変形例）
上述した処理手順では、移動予測範囲をその境界で分割した領域に着目して検索した。これに限らず、たとえば、動体候補に着目して検索してもよい。

図２２は、変形例の処理手順を説明するためのフローチャートである。

まず、フレームの動体の移動予測範囲を設定する（Ｓ１）。続いて、移動予測範囲の境界ごとに領域を分割する（Ｓ２）。現在フレームの動体候補を検出する（Ｓ３）。ここまでは、上述の処理手順と同じである。

その後、変形例では、動体候補１つに着目して、その動体候補が存在する領域を検索する（Ｓ２０４）。

Ｓ２０４において、着目した動体候補がどの領域にも属さない場合（領域外）は、その動体候補はで出現したものとして、その動体候補を検索対象から除外する（Ｓ２１１）。その後Ｓ２０９へ進む。

Ｓ２０４において、着目した動体候補が重複無し領域に存在する場合は、続いて、その重複無し領域に他の動体候補があるか否かを判断する（Ｓ２０６）。そして他の動体候補が無ければ、着目した動体候補と、その動体候補が存在する重複無し領域に対応している動体との関連度を調べて、関連するか判断する（Ｓ２０７）。このＳ２０７の処理は、既に説明したＳ６１〜Ｓ６６の処理と同じである。したがって、Ｓ６３で動体候補と動体が関連付けられたなら、Ｓ２０８へリターンする。一方、関連付けられなければ、Ｓ２０９へ進むことになる（接続子「１」へ進む）。

Ｓ２０６において同じ領域内に他の動体候補がある場合はＳ２１２へ進む。

Ｓ２０４において、着目した動体候補が重複領域に存在する場合はＳ２１２へ進む。

Ｓ２１２では、動体候補と動体との関連度から動体候補と動体を関連付ける。このＳ２１２では、Ｓ２０５から入った場合は、上述したＳ１１と同様であり、１つの動体候補に対して複数の動体との関連度を調べる。一方、Ｓ２０６から入った場合は複数の動体候補と動体との関連度を調べる。これは、既に説明したＳ１１およびＳ２１と同じ処理であるので説明は省略する。

続いて、関連付けした動体候補、動体、動体の移動予測範囲を除外する（Ｓ２０８）。

続いて、未検索の動体候補があるか否かを判断し（Ｓ２０９）、未検索の動体候補があればＳ２０４へ戻り処理を継続する。一方、未検索の動体候補が無ければ、続いて関連付けられていない動体があるか否かを判断して（Ｓ２１０）、関連付けられていない動体があれば、その動体は現在フレームで消失したものとする（Ｓ２１３）。

なお、この変形例においても、上述したＳ６の場合と同様に、Ｓ２０７へ入った後に、Ｓ６１〜６４の処理は行わないようにしてもよい。その場合、Ｓ２０７へ入った段階で、その重複無し領域の元になっている動体と動体候補を関連付けして、Ｓ２０８へ進めばよい。

（レーザーレーダー）
次に、レーザーレーダーについて説明する。

レーザーレーダー１０１は、レーザーを打ち出し、それが物体に反射して戻ってくるまでの時間を計測（ＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ））し、距離を求める。それを一定範囲内を走査しながら行うことで３次元の画像が得られる。図２３は、レーザーレーダーにより得られる３次元の距離画像の例を示す図である。図示するように、レーザーレーダーの設置位置からの距離が判明した３次元画像が得られる。

図２４は、レーザーレーダー１０１の構成を説明する断面図である。

図２４に示したレーザーレーダー１０１は、監視装置ＭＤとして用いられている例である。監視装置ＭＤは、傾いた壁面ＷＬに取り付けられた状態で示しているが、構成要素の形状や長さ等、実際と異なる場合がある。また、図２４では監視装置ＭＤが天地を逆にした状態で設置されているものとする。

監視装置ＭＤは、たとえば、レーザー光束を出射するパルス式の半導体レーザーＬＤと、半導体レーザーＬＤからの発散光を平行光に変換するコリメートレンズＣＬと、コリメートレンズＣＬで平行とされたレーザー光を、回転するミラー面により監視空間に向かって走査投光すると共に、対象物からの反射光を反射させるミラーユニットＭＵと、ミラーユニットＭＵで反射された対象物からの反射光を集光するレンズＬＳと、レンズＬＳにより集光された光を受光するフォトダイオードＰＤと、半導体レーザーＬＤの出射タイミングとフォトダイオードＰＤの受光タイミングとの時間差に応じて距離情報を求める処理回路（処理部）ＰＲＯＣと、ミラーユニットＭＵを回転駆動するモータＭＴと、これらを収容する筐体ＣＳとを有する。フォトダイオードＰＤは、Ｙ方向に並んだ複数の画素を有する。

半導体レーザーＬＤとコリメートレンズＣＬとで出射部ＬＰＳを構成し、レンズＬＳとフォトダイオードＰＤとで受光部ＲＰＳを構成し、ミラーユニットＭＵが走査部を構成し、さらにこれらで投受光ユニットを構成する。

出射部ＬＰＳ、受光部ＲＰＳの光軸は、ミラーユニットＭＵの回転軸ＲＯに対して直交していると好ましい。

壁面ＷＬ等に固定されたボックス状の筐体ＣＳは、上壁ＣＳａと、これに対向する下壁ＣＳｂと、上壁ＣＳａと下壁ＣＳｂとを連結する側壁ＣＳｃとを有する。側壁ＣＳｃの一部に開口ＣＳｄが形成され、開口ＣＳｄには透明板ＴＲが取り付けられている。

ミラーユニットＭＵは、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面Ｍ１、Ｍ２を４対（ただし４対に限られない）有している。ミラー面Ｍ１、Ｍ２は、ミラーユニットの形状をした樹脂素材（たとえばＰＣ）の表面に、反射膜を蒸着することにより形成されていると好ましい。

ミラーユニットＭＵは、筐体ＣＳに固定されたモータＭＴの軸ＭＴａに連結され、回転駆動されるようになっている。ここでは、軸ＭＴａの軸線（回転軸線）が鉛直方向に対して傾いたＹ方向に延在しており、またＹ方向に直交するＺ方向およびＸ方向によりなすＺＸ平面が水平面に対して傾いているが、軸ＭＴａの軸線を鉛直方向に一致させてもよい。

監視装置ＭＤの対象物検出原理について説明する。図２４において、半導体レーザーＬＤからパルス状に間欠的に出射された発散光は、コリメートレンズＣＬで平行光束に変換され、回転するミラーユニットＭＵの第１ミラー面Ｍ１に入射し、ここで反射され、さらに第２ミラー面Ｍ２で反射した後、透明板ＴＲを透過して外部の監視空間に向けて、たとえば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向を投受光方向という。同一投受光方向に進行するレーザースポット光束は、同一の画素で検出される。

図２５は、ミラーユニットＭＵの回転に応じて、出射するレーザースポット光ＳＢ（ハッチングで示す）で、監視装置ＭＤの監視空間内を走査する状態を説明する説明図である。

ここで、ミラーユニットＭＵの第１ミラー面Ｍ１と第２ミラー面Ｍ２の組み合わせにおいて、それぞれ交差角が異なっている。

レーザー光は、回転する第１ミラー面Ｍ１と第２ミラー面Ｍ２にて、順次反射される。まず１番対の第１ミラー面Ｍ１と第２ミラー面Ｍ２にて反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間の一番上の領域Ｌｎ１を水平方向に左から右へと走査される。

次に、２番対の第１ミラー面Ｍ１と第２ミラー面Ｍ２で反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間の上から２番目の領域Ｌｎ２を水平方向に左から右へと走査される。

次に、３番対の第１ミラー面Ｍ１と第２ミラー面Ｍ２で反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間の上から３番目の領域Ｌｎ３を水平方向に左から右へと走査される。

次に、４番対の第１ミラー面Ｍ１と第２ミラー面で反射したレーザー光は、ミラーユニットＭＵの回転に応じて、監視空間のもっとも下の領域Ｌｎ４を水平方向に左から右へと走査される。

これにより監視装置ＭＤが監視可能な監視空間全体の１回の走査が完了する。このようにレーザースポット光束が２次元的に隙間無く走査される（走査されたレーザースポット光束の軌跡が隣接する場合（たとえば領域Ｌｎ１と領域Ｌｎ２）において、隣接する軌跡が隙間無く接することをいうが、一部重なり合う場合を含む）と、監視装置ＭＤの設定時に、ユーザーが直感的に空間把握しやすい距離画像が得られることになり、好ましい。

この領域Ｌｎ１〜Ｌｎ４の走査により得られた画像を組み合わせて、１つのフレームＦＬが得られる。そして、ミラーユニットＭＵが１回転した後、１番対の第１ミラー面Ｍ１と第２ミラー面Ｍ２が戻ってくれば、再び監視空間の一番上の領域Ｌｎ１からもっとも下の領域Ｌｎ４までの走査を繰り返し、次のフレームＦＬが得られる。

図２４において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板ＴＲを透過して筐体ＣＳ内のミラーユニットＭＵの第２ミラー面Ｍ２に入射し、ここで反射され、さらに第１ミラー面Ｍ１で反射されて、レンズＬＳにより集光され、それぞれフォトダイオードＰＤの受光面で画素ごとに検知されることとなる。

さらに、処理回路（不図示）が、半導体レーザーＬＤの出射タイミングとフォトダイオードＰＤの受光タイミングとの時間差に応じて距離情報を求める。これにより監視空間内の全領域で対象物の検出を行って、画素（測定点）ごとに距離情報（３次元の計測値）を持つ距離画像（測定点マーカー群ともいわれている）としてのフレームＦＬ（図２５参照）を得ることができる。距離画像の形状は、実際に走査されるスポット光束ＳＢの形状と同じである。距離画像は処理回路から、動体追跡装置１０２（コンピューター）に送られて、動体追跡が行われる、また必要に応じてやサーバー１０３に送られて記憶される。

以上説明した実施形態によれば、以下のような効果を奏する。

（１）本実施形態は、前フレームの動体に設定した移動予測範囲と、現在フレームで検出した動体候補とを検索して、移動予測範囲が重複しない重複無し領域に１つの動体候補が存在する場合は、その重複無し領域の元になった移動予測範囲に対応している動体と動体候補を関連付ける。そして、関連付けされた動体候補および動体、ならびに関連付けられた動体の移動予測範囲を検索対象から除外することとした。このように、動体追跡は、移動予測範囲の中に動体候補があるか否かという計算であるので、少ない計算量で動体の追跡を行うことができる。特に、複数の動体および動体候補がある場合、それらが１つひとつ関連付けられるごとに減って行くので、計算量もどんどん減って行くことになる。

（２）重複無し領域にある１つの動体候補と動体とを関連付ける際に、それらの関連度を調べることで、追跡精度を向上させることができる。

（３）関連度を調べるための第１の指標として、動体と動体候補との距離、動体の移動速度、画像取得センサーから動体および動体候補までの距離、動体と動体候補のサイズ、動体と動体候補がそれぞれ占める画素数、動体と動体候補のそれぞれの色から選択された少なくとも１つとした。このように多様な指標を用いて関連度を調べることで、確実に動体と動体候補を関連付けることができる。しかも、画像取得センサーの形態や種類に応じて適した指標を選択することができる。

（４）複数の移動予測範囲が重複する領域に動体候補がある場合は、動体候補と、動体との関連度をあらかじめ定められた指標により求め、関連度が高い動体候補と動体とを関連付けることとした。これにより確実に動体と動体候補を関連付けることができる。また、このような重複する領域に動体候補がある場合の計算量は、重複無し領域に１つの動体候補だけの場合より増加することになるが、動体候補が動体と関連付けられるごとに重複する領域も減って行くので計算量も減ることになる。

（５）複数の移動予測範囲が重複しない重複無し領域に複数の動体候補がある場合は、複数の動体候補のそれぞれと動体との関連度をあらかじめ定められた指標により求めて関連度が高い動体候補と動体とを関連付けることとした。これにより確実に動体と動体候補を関連付けることができる。また、このような重複無し領域に複数の動体候補がある場合の計算量は、重複無し領域に１つの動体候補だけの場合より増加することになるが、１つの動体候補が動体と関連付けられるごとに減って行くので、計算量も減ることになる。

（６）関連度を調べるための第２の指標として、動体と動体候補との距離、動体の移動速度、画像取得センサーから動体および動体候補までの距離、動体と動体候補のサイズ、動体と動体候補がそれぞれ占める画素数、動体と動体候補のそれぞれの色から選択された少なくとも１つとした。このように多様な指標を用いて関連度を調べることで、確実に動体と動体候補を関連付けることができる。しかも、画像取得センサー（レーザーレーダー）の形態や種類に応じて適した指標を選択することができる。

（７）関連度として距離を用いる場合は閾値を設け、閾値以上で、より近い方の動体と動体候補と関連付けることとした。これにより、不自然な動体の動きとならないようにできる。また、新規の動体が出現した場合にも対応することができる。

（８）移動予測範囲は様々な形態とすることができる。たとえば、動体を中心として、あらかじめ決められた一定速度とフレーム間時間から求めた距離を半径とする円（２次元画像の場合）または球（３次元画像の場合）とする。これにより、広い範囲でもれなく動体の移動する可能性のある範囲を設定することができるとともに、移動予測範囲を設定するための処理を簡略化することができる。

また、移動予測範囲として、たとえば、動体を中心として、動画を取得する画像取得センサー（レーザーレーダー）の設置環境に応じてあらかじめ決められた速度とフレーム間時間から求めた距離を半径とする円（２次元画像の場合）または球（３次元画像の場合）とする。これにより、移動予測範囲が重複する可能性が少なくなり、全体の処理が少なくなる。

また、移動予測範囲として、たとえば、動体を中心として、動体の種類に応じてあらかじめ決められた速度とフレーム間時間から求めた距離を半径とする円（２次元画像の場合）または球（３次元画像の場合）とする。種類に応じて適切な移動予測範囲を設定することができるようになる。このため、移動予測範囲が重複する可能性が少なくなり、全体の処理が少なくなる。

また、移動予測範囲として、たとえば、動体を中心として、複数の過去フレームから求めた前記動体の速度とフレーム間時間から求めた距離を半径とする円（２次元画像の場合）または球（３次元画像の場合）とする。直前の動体の動きに合わせて、移動予測範囲を設定できる。

また、移動予測範囲として、たとえば、上記いずれかの各速度による到達予想点を中心とし、あらかじめ決められた一定の加速度、画像取得センサーの設置環境に応じてあらかじめ決められた加速度、動体の種類に応じてあらかじめ決められた加速度、複数の過去フレームから求めた前記動体の加速度のいずれかにフレーム間時間の２乗を掛けた求めた距離を半径とする円（２次元画像の場合）または球（３次元画像の場合）とする。これにより、動体の速度変化に合わせて、移動予測範囲を設定できる。

複数の過去フレームから求めた前記動体の移動方向と速度のベクトルを長軸方向として、所定の大きさの楕円（２次元画像の場合）または回転楕円体（３次元画像の場合）とする。これにより、動体の動きの方向に合わせて移動予測範囲を狭くすることができ、移動予測範囲が重複する可能性をいっそう減らすことができる。

（９）画像取得センサーの検知範囲の外側に動体が存在するものとして移動予測範囲を設定することとした。これにより新たに入ってくる動体に対応することができる。

（１０）画像取得センサーの検知範囲内に静止物がある場合、静止物の向こう側に動体が存在するものとして移動予測範囲を設定することとした。これにより静止物の向こう側（静止物の影）から出てくる動体に対応することができる。

（１１）画像取得センサーとして３次元計測できるレーザーレーダーを用いることとした。これにより画面上の位置で計算するより、正確に動体の位置を計算することができる。

（１２）動体、移動予測範囲、動体候補を画面に表示することとした。これによりユーザーにもわかりやすく動体追跡することができる。

以上本発明を適用した実施形態を説明したが、本発明はこれら実施形態に限定されるものでは無い。

たとえば、レーザーレーダー１０１では無く、普通のムービーカメラを画像取得センサーとして用いることもできる。ムービーカメラを用いた場合、３次元の実際の距離情報を得られないが、フレーム内における動体の位置は識別可能である。同様に移動予測範囲も設定可能である。また動体候補も過去フレームとの比較で検出できる。したがって、ムービーカメラを用いた動画（時系列に並んだフレーム）から上述した実施形態同様に（３次元計測することを除いて）、動体追跡を行うことができる。

そのほか本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。

１０１レーザーレーダー、
１０２動体追跡装置、
１０３サーバー。

Claims

時系列に沿って複数のフレームが並んでいる動画の、現在フレームより前の過去フレームで識別されている１または複数の動体が前記現在フレームでどこまで移動するかを予測した移動予測範囲を前記動体ごとに求める段階（ａ）と、
前記現在フレームで前記動体となる可能性のある動体候補を検出する段階（ｂ）と、
前記移動予測範囲と前記動体候補とを検索して、前記移動予測範囲が複数あり、かつ、複数の前記移動予測範囲の一部が重複する重複領域がある場合に、当該重複領域よりも先に、前記移動予測範囲が重複しない領域から前記動体候補を検索して、前記移動予測範囲に対応している前記動体と前記動体候補を関連付ける段階（ｃ）と、
関連付けされた前記動体候補および前記動体、ならびに関連付けされた前記動体と対応している前記移動予測範囲を検索対象から除外する段階（ｄ）と、
を有する、動体追跡方法。
前記段階（ｃ）は、さらに、前記移動予測範囲が重複しない領域に１つの前記動体候補のみが存在する場合は、前記移動予測範囲が重複しない領域の元になった前記移動予測範囲に対応している前記動体と前記動体候補を関連付ける段階（ｃ２）を有する、請求項１に記載の動体追跡方法。
前記段階（ｃ）は、さらに前記移動予測範囲が重複しない領域内にある前記動体候補と前記動体との関連度をあらかじめ定められた第１の指標により調べる段階（ｃ１）を有し、
前記第１の指標により調べた関連度が所定以上の場合に前記動体候補と前記動体とを関連付ける、請求項１または２に記載の動体追跡方法。
前記第１の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせである、請求項３に記載の動体追跡方法。
前記移動予測範囲が複数ある場合に前記移動予測範囲が重複する１つの領域に前記動体候補がある場合は、前記動体候補とそれぞれの前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｅ）を有する、請求項１〜４のいずれか１つに記載の動体追跡方法。
前記移動予測範囲が重複しない１つの領域に複数の前記動体候補がある場合は、前記複数の前記動体候補のそれぞれと、前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｆ）を有する、請求項１〜５のいずれか１つに記載の動体追跡方法。
前記第２の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせであり、
前記動体と前記動体候補との間の距離は、短いものほど前記関連度が高いと判断し、
前記動体の移動速度は、前記動体が前記動体候補へ移動したと仮定した場合の前記動体候補の仮定の移動速度を算出し、当該仮定の移動速度が、複数の過去フレームから算出される前記動体の移動速度に近いものほど前記関連度が高いと判断し、
前記画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離は、前記画像取得センサーから前記動体までの方向および距離と、前記画像取得センサーから前記動体候補までの方向および距離のそれぞれの値が近いものほど前記関連度が高いと判断し、
前記動体と前記動体候補のサイズは、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補が占める画素数は、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補の色は、近いほど前記関連度が高いと判断する、請求項５または６に記載の動体追跡方法。
時系列に沿って複数のフレームが並んでいる動画の、現在フレームより前の過去フレームで識別されている１または複数の動体が前記現在フレームでどこまで移動するかを予測した移動予測範囲を前記動体ごとに求める段階（ａ）と、
前記現在フレームで前記動体となる可能性のある動体候補を検出する段階（ｂ）と、
前記移動予測範囲と前記動体候補とを検索して、前記移動予測範囲が複数ある場合に、前記移動予測範囲が重複しない領域に１つの前記動体候補のみが存在する場合は、前記移動予測範囲が重複しない領域の元になった前記移動予測範囲に対応している前記動体と前記動体候補を関連付ける段階（ｃ）と、
関連付けされた前記動体候補および前記動体、ならびに関連付けされた前記動体と対応している前記移動予測範囲を検索対象から除外する段階（ｄ）と、
前記移動予測範囲が複数ある場合に前記移動予測範囲が重複する１つの領域に前記動体候補がある場合は、前記動体候補とそれぞれの前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｅ）を有する、動体追跡方法。
前記段階（ｃ）は、さらに前記移動予測範囲が重複しない領域内にある前記動体候補と前記動体との関連度をあらかじめ定められた第１の指標により調べる段階（ｃ１）を有し、
前記第１の指標により調べた関連度が所定以上の場合に前記動体候補と前記動体とを関連付ける、請求項８に記載の動体追跡方法。
前記第１の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせである、請求項９に記載の動体追跡方法。
前記移動予測範囲が重複しない１つの領域に複数の前記動体候補がある場合は、前記複数の前記動体候補のそれぞれと、前記動体との関連度をあらかじめ定められた第２の指標により調べ、前記第２の指標により調べた関連度がもっとも高い前記動体候補と前記動体とを関連付ける段階（ｆ）を有する、請求項８〜１０のいずれか１つに記載の動体追跡方法。
前記第２の指標は、前記動体と前記動体候補との間の距離、前記動体および前記動体候補の移動速度、画像を取得している画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離、前記動体および前記動体候補のサイズ、前記動体および前記動体候補が占める画素数、前記動体および前記動体候補の色、から選択された１つまたは２つ以上の組み合わせであり、
前記動体と前記動体候補との間の距離は、短いものほど前記関連度が高いと判断し、
前記動体の移動速度は、前記動体が前記動体候補へ移動したと仮定した場合の前記動体候補の仮定の移動速度を算出し、当該仮定の移動速度が、複数の過去フレームから算出される前記動体の移動速度に近いものほど前記関連度が高いと判断し、
前記画像取得センサーから前記動体までと前記動体候補までのそれぞれの方向および距離は、前記画像取得センサーから前記動体までの方向および距離と、前記画像取得センサーから前記動体候補までの方向および距離のそれぞれの値が近いものほど前記関連度が高いと判断し、
前記動体と前記動体候補のサイズは、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補が占める画素数は、近いほど前記関連度が高いと判断し、
前記動体および前記動体候補の色は、近いほど前記関連度が高いと判断する、請求項８〜１１のいずれか一つに記載の動体追跡方法。
前記動体と前記動体候補との間の距離は、前記距離が近いもののうち、前記距離が閾値以上である場合に関連付ける、請求項７または１２に記載の動体追跡方法。
前記移動予測範囲は、
前記動体を中心として、あらかじめ定められた一定速度とフレーム間時間から求めた距離を半径とする円または球、
前記動体を中心として、動画を取得する画像取得センサーの設置環境に応じてあらかじめ決められた速度とフレーム間時間から求めた距離を半径とする円または球、
前記動体を中心として、前記動体の種類に応じてあらかじめ決められた速度とフレーム間時間から求めた距離を半径とする円または球、
前記動体を中心として、複数の過去フレームから求めた前記動体の速度とフレーム間時間から求めた距離を半径とする円または球、
前記あらかじめ決められた一定速度、前記画像取得センサーの設置環境に応じてあらかじめ決められた速度、前記動体の種類に応じてあらかじめ決められた速度、前記複数の過去フレームから求めた前記動体の速度のいずれかを基にした前記動体の現在フレームにおける到達予想点を中心とし、
あらかじめ決められた一定の加速度、前記画像取得センサーの設置環境に応じてあらかじめ決められた加速度、動体の種類に応じてあらかじめ決められた加速度、および複数の過去フレームから求めた前記動体の加速度のいずれかにフレーム間時間の２乗を掛けた求めた距離を半径とする円または球、ならびに、
複数の過去フレームから求めた前記動体の移動方向と速度のベクトルを長軸方向として、所定の大きさの楕円または回転楕円体、
のうちいずれかの範囲である、請求項１〜１３のいずれか１つに記載の動体追跡方法。
前記動画を取得する画像取得センサーの検知範囲内に境界がある場合、当該境界の外側に前記動体が存在するものとして、前記移動予測範囲として設定する請求項１〜１４のいずれか１つに記載の動体追跡方法。
前記境界は、前記検知範囲内にある静止物の境界であって、前記静止物の影に前記動体が存在するものとして前記移動予測範囲を設定する、請求項１５に記載の動体追跡方法。
前記フレームは、３次元計測可能なレーザーレーダーで取得した距離画像である、請求項１〜１６のいずれか１つに記載の動体追跡方法。
前記動体、前記移動予測範囲、前記動体候補を画面に表示する段階を有する、請求項１〜１７のいずれか１つに記載の動体追跡方法。
請求項１〜１８のいずれか１つに記載の動体追跡方法をコンピューターに実行させる動体追跡プログラム。
時系列に沿って画像を取得する画像取得センサーと、
請求項１９に記載のプログラムを実行するコンピューターと、
を有する、動体追跡システム。