JP5803763B2 - 移動物体の動線補間装置、方法、及びプログラム - Google Patents

Description

開示の技術は移動物体の動線補間装置、方法、及びプログラムに関する。

人物等の移動物体の動きを撮像して動きの軌跡（以下、動線）を取得する際に、動きを追うべき移動物体が、ある位置で遮蔽物等によって隠れることにより撮影画像から一旦消えた後に、別の位置から現れることがある。

移動物体を追尾する方法としては、その移動物体の存在確率（隠れる直前の移動物体の移動方向・速度から、或る時刻において或る場所に移動物体が存在している確率）を求め、存在確率が高い位置に移動物体と画像上で類似する移動物体を追尾する方法がある。

しかしながら、この方法は、移動物体の画像の特徴が変化する場合には適用できない。例えば、シャツと、そのシャツとは異なる色の上着を着た人物の追尾をしている場合、その人物がカメラに向かって正面を向いて移動してきた後、遮蔽物等によって隠れ、その場所で方向転換をして再度現れた際に、カメラに対して背を向けていることがある。このような場合、遮蔽物によって隠れる前の画像の特徴量と、遮蔽物により一旦隠れて再度現れた場合の画像の特徴量とが異なるので追尾が出来なくなる、という問題があった。

これは、遮蔽物に隠れる前の画像の特徴量は、正面から見たシャツの色と上着の色とによって特徴量が定まるのに対し、遮蔽物に一旦隠れて再度現れた場合の画像の特徴量は、背中から見た上着の色の特徴量のみとなるためである。

また、オフィスや工場等において、業務改善を目的として、定量的な分析として人物等の移動物体の動線を映像から抽出し、場所ごとの通過人数や通過経路などを分析する場合がある。

図１０に示すように、複数の移動物体Ｘ、Ｙの領域を抽出して追尾した場合に、移動物体Ｘ、Ｙ同士が交差した場合、移動物体Ｘの動線Ｘ１は途切れないが、一時的に移動物体Ｙが隠れてしまうため、移動物体Ｙの動線Ｙ１がその区間だけ途切れてしまう。移動物体が柱や棚等による遮蔽物によって一旦隠れた場合も同様である。この場合、移動物体が隠れた後の動線が、隠れる前の移動物体とは別の移動物体のものとして抽出されてしまう、という問題があった。

この問題を解決するために、複数台のカメラの映像を利用する方法があるが、多数の人が行き交う業務改善の現場で上記のような問題が発生しないようにするためには大量のカメラが必要となってしまう。

また、一つのカメラ映像を利用した場合に、上記のような問題を解決する方法として、移動物体の存在確率及び画像の類似性を用いて動線を取得する方法がある。

特開２００９−９３９４号公報 特開２００５−１２２６０７号公報

"外観の類似する物体同士の交差に頑健な移動物体追跡手法", 岩堀祐之, 福井真二, 圓田直樹, 倉橋渉, 武知啓介，画像ラボ, Vol. 22, No. 6, pp. 13-18, 2011. "Color indexing,",Michael J. Swain and Dana H. Ballard, International Journal of Computer Vision, 7(1), pp.11-32, 1991.

しかしながら、図１１に示すように、正面と背面等の向きによって人物Ｚの服装の見かけ上の色の傾向が大きく変化する場合、画像の特徴量としての色ヒストグラムが大きく変化してしまう。このため、人物が隠れる区間で人物の向きが変わると、近くに存在する別の人物を追跡してしまう場合がある、という問題があった。

開示の技術は、移動物体の動線が途切れた区間において移動物体の移動方向が変化した場合でも、精度良く動線を補間することができる移動物体の動線補間装置、方法、及びプログラムを得ることが目的である。

開示の技術は、移動物体抽出部は、動画像を構成する複数のフレーム画像から移動物体を各々抽出する。動線データ生成部は、前記移動物体抽出部により抽出された前記移動物体の動線を表す動線データを生成する。出現頻度算出部は、記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出する。重み算出部は、終端が画像内で途切れている終端途切れ動線の終端の位置及び終端途切れ動線に対応した第１の移動物体の移動方向と、始端が画像内で途切れている複数の始端途切れ動線の複数の始端の位置と、に基づいて、複数の第２の移動物体の重みを算出する。画像類似度算出部は、前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する。評価値算出部は、第２の移動物体が始端の位置に出現する出現頻度、第２の移動物体の重み、及び第１の移動物体の画像と第２の移動物体の画像との画像類似度をパラメータとして含む評価関数により、複数の第２の移動物体の評価値を各々算出する。評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程、出現頻度が及ぼす影響が大きくなり、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程、画像類似度が及ぼす影響が大きくなるように設定された評価関数である。動線補間部は、前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する。

開示の技術は、移動物体の動線が途切れた区間において移動物体の移動方向が変化した場合でも、精度良く動線を補間することができる、という効果を有する。

動線補間装置の機能ブロック図である。 動線補間装置として機能するコンピュータの概略ブロック図である。 動線補間処理の一例を示すフローチャートである。 遮蔽領域により動線が途切れた場合について説明するための図である。 重みについて説明するための図である。 画像類似度について説明するための図である。 出現確率について説明するための図である。 本実施形態に係る評価値の算出について説明するための図である。 従来における評価値の算出について説明するための図である。 移動物体が交差して動線が途切れる場合について説明するための図である。 人物の正面と背面とで色ヒストグラムが異なる場合について説明するための図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

図１には、本実施形態に係る移動物体の動線補間装置１０が示されている。動線補間装置１０は、動画像データ記憶部１２、移動物体抽出部１４、動線データ生成部１６、動線データ記憶部１８、出現頻度算出部２０、出現頻度記憶部２２、重み算出部２４、画像類似度算出部２６、評価値算出部２８、及び動線補間部３０を備えている。

動画像データ記憶部１２は、デジタルカメラ、ビデオカメラ、及びカメラ機能付きの携帯電話等、動画像の撮影機能を備えた撮影装置により撮影された動画像の動画像データを記憶する。

移動物体抽出部１４は、動画像データ記憶部１２に記憶された動画像データを読み込み、読み込んだ動画像データを構成する複数のフレーム画像データから移動物体を抽出する。抽出した移動物体には、固有のＩＤを付与する。なお、本実施形態では、移動物体が人間である場合について説明するが、これに限らず、人間以外の動物や自動車等の移動する物体等でもよい。

動線データ生成部１６は、移動物体抽出部１４により抽出された移動物体の動線を表す動線データを生成する。ここで、動線データとは、移動物体のＩＤ、移動物体の画像上の位置（座標）、時刻等を含むデータである。生成した動線データは、動線データ記憶部１８に記憶する。

動線データ記憶部１８は、過去に抽出した移動物体の動線を表す動線データを記憶する。ここで、撮影領域に遮蔽領域が存在する場合には、画像端部から出現した移動物体が遮蔽領域で隠れ、遮蔽領域から再び出現して画像端部から消えていくことがある。この場合、移動物体が画像端部から出現して遮蔽領域で隠れる前の動線は、終端が画像内で途切れた終端途切れ動線となり、移動物体が遮蔽領域から再び出現してから画像端部から消えていく動線は、始端が画像内で途切れている始端途切れ動線となる。

出現頻度算出部２０は、動線データ記憶部１８に記憶された過去の動線データに基づいて、フレーム画像を分割した複数の領域における移動物体の出現頻度を各々算出する。すなわち、フレーム画像を複数の領域に分割した場合に、各領域について移動物体が出現した回数をカウントし、各領域の出現回数を各領域の出現回数の合計値で各々除算することにより、各領域の出現頻度を算出する。

また、出現頻度算出部２０は、算出した各領域における出現頻度に基づいて、各領域の移動物体の出現確率を算出する。この出現確率は、時刻ｔ０に或る領域に存在した移動物体が、次の時刻ｔ１に或る領域に存在する事後確率Ｐ（ｔ１｜ｔ０）である。これを各領域について算出する。

出現頻度記憶部２２は、出現頻度算出部２０が算出した各領域の出現頻度及び出現確率を記憶する。

重み算出部２４は、終端途切れ動線の終端の位置及び終端途切れ動線に対応した第１の移動物体の移動方向と、複数の始端途切れ動線の複数の始端の位置と、に基づいて、複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出する。この第２の移動物体の重みは、第１の移動物体の移動方向に対して第２の移動物体の移動方向の変化が小さいほど大きくなり、第１の移動物体の移動方向に対して第２の移動物体の移動方向の変化が大きいほど小さくなる。

画像類似度算出部２６は、終端途切れ動線の終端における第１の移動物体の画像と、複数の始端における複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する。本実施形態では、画像類似度算出部２６は、第１の移動物体の画像と、複数の第２の移動物体の画像の各々と、の画像類似度の各々に、対応する第２の移動物体の重みを各々乗算する。

評価値算出部２８は、第２の移動物体が始端の位置に出現する出現確率、第２の移動物体の重み、第１の移動物体の画像と第２の移動物体の画像との画像類似度をパラメータとして含む評価関数により、複数の第２の移動物体の評価値を各々算出する。この評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程、出現確率の影響が大きくなり、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程、画像類似度の影響が大きくなるように設定された関数である。

動線補間部３０は、終端途切れ動線の終端から、複数の第２の移動物体のうち評価値が最大となる第２の移動物体に対応した始端途切れ動線の始端までの途切れ領域の動線を補間する。

移動物体の動線補間装置１０は、例えば図２に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７２、メモリ７４、及び不揮発性の記憶部７６を備え、これらはバス７８を介して互いに接続されている。

また、記憶部７６はフラッシュメモリやＨＤＤ(Hard Disk Drive)等によって実現できる。記録媒体としての記憶部７６には、コンピュータ７０を動線補間装置１０として機能させるための動線補間プログラム８０が記憶されている。

ＣＰＵ７２は、動線補間プログラム８０を記憶部７６から読み出してメモリ７４に展開し、動線補間プログラム８０が有するプロセスを順次実行する。

動線補間プログラム８０は、移動物体抽出プロセス８２、動線データ生成プロセス８４、出現頻度算出プロセス８６、重み算出プロセス８８、画像類似度算出プロセス９０、評価値算出プロセス９２、及び動線補間プロセス９４を有する。

ＣＰＵ７２は、移動物体抽出プロセス８２を実行することで、図１に示す移動物体抽出部１４として動作する。また、ＣＰＵ７２は、動線データ生成プロセス８４を実行することで、図１に示す動線データ生成部１６として動作する。また、ＣＰＵ７２は、出現頻度算出プロセス８６を実行することで、図１に示す出現頻度算出部２０として動作する。また、ＣＰＵ７２は、重み算出プロセス８８を実行することで、図１に示す重み算出部２４として動作する。またＣＰＵ７２は、画像類似度算出プロセス９０を実行することで、図１に示す画像類似度算出部２６として動作する。また、ＣＰＵ７２は、動線補間プロセス９４を実行することで、図１に示す動線補間部３０として動作する。また、ＣＰＵ７２は、評価値算出プロセス９２を実行することで、図１に示す評価値算出部２８として動作する。

これにより、動線補間プログラム８０を実行したコンピュータ７０が、動線補間装置１０として機能することになる。なお、動線補間プログラム８０は開示の技術における動線補間プログラムの一例である。

なお、動線補間装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。

次に本実施形態の作用について説明する。図３には、動線補間装置１０において実行される動線補間処理のフローチャートを示した。

図３に示すように、ステップ１００では、移動物体抽出部１４が、動画像データ記憶部１２に記憶された動画像データを取得し、取得した動画像データに基づいて、移動物体を抽出する。移動物体の抽出方法としては、例えば背景差分法などの公知の方法を用いる。例えば、動画像を構成する複数のフレーム画像データの各画素値の中央値を算出し、この中央値を各画素値とする背景画像データを生成する。そして、生成した背景画像データと各フレーム画像データとの差分領域を移動物体領域として抽出する。なお、本実施形態では、移動物体として人間を抽出するので、移動物体領域の大きさや縦横比、色情報等に基づいて、移動物体領域のうち人物領域のみを抽出する。

ステップ１０２では、動線データ生成部１６が、移動物体抽出部１４により抽出された移動物体の動線を表す動線データを生成する。具体的には、例えば非特許文献１等に記載されたパーティクルフィルタなどの公知の方法を用いて動線データを生成する。例えば、移動物体抽出部１４により抽出された移動物体の色情報や移動速度、移動方向などの情報を用いて、各フレーム画像間で同一移動物体の対応付けを行って移動物体に固有のＩＤを付与する。そして、移動物体のＩＤと、各フレーム画像における移動物体の位置（座標）と、各フレーム画像における移動物体のサイズと、各フレーム画像の撮影時刻と、を含むデータを動線データとして動線データ記憶部１８へ記憶する。ここで、フレーム画像における移動物体のサイズとは、例えばフレーム画像における移動物体の領域の縦横の画素数等を言い、移動物体の領域とは、移動物体そのものの形状を表す領域の他、移動物体の形状に外接又は内接する矩形、円等の領域を言う。従って、移動物体のサイズとは、例えば移動物体の領域が四角形である場合には、その縦横の画素数であり、移動物体の領域が楕円である場合には、その長辺及び短辺の画素数であり、移動物体の領域が正円である場合には、その半径又は直径の画素数である。

ステップ１０４では、出現頻度算出部２０が、動線データ記憶部１８に記憶された過去の動線データに基づいて、フレーム画像を分割した複数の領域における移動物体の出現頻度を各々算出する。なお、出現頻度の算出に用いる動線データは、動線データ記憶部１８に記憶された過去の動線データのうち、途切れていない動線データ、すなわち、動線の始端及び終端が何れも画像の端部となっている動線の動線データを用いる。具体的には、まずフレーム画像を複数の領域に分割し、各領域について移動物体が出現した回数をカウントし、各領域の出現回数を各領域の出現回数の合計値で各々除算することにより、各領域の出現頻度を算出する。そして、算出した各領域における出現頻度に基づいて、各領域の移動物体の出現確率を算出する。この出現確率は、時刻ｔ０に或る領域に存在した移動物体が、次の時刻ｔ１に或る領域に存在する事後確率Ｐ（ｔ１｜ｔ０）である。例えばＮ個の領域にそれぞれ１〜ｎの領域Ｎｏを付与した場合、時刻ｔ０において領域１〜ｎに存在した移動物体が時刻ｔ１に領域１〜ｎに存在する事後確率は、それぞれＰ_１１（ｔ１｜ｔ０）〜Ｐ_ｎｎ（ｔ１｜ｔ０）で表される。

ステップ１０６では、重み算出部２４が、終端途切れ動線の終端の位置及び終端途切れ動線に対応した第１の移動物体の移動方向と、始端途切れ動線の始端の位置と、に基づいて、始端途切れ動線に対応した第２の移動物体の重みを算出する。なお、終端途切れ動線とは、画像の端部が始端で、終端が画像内部で途切れている動線である。また、始端途切れ動線とは、画像内部に始端があり、画像の端部が終端となっている動線である。

例えば図４に示すように、時刻ｔ０において、終端途切れ動線ＬＯの終端であるＯ点で第１の移動物体が遮蔽領域Ｓによって遮蔽された場合、このＯ点における第１の移動物体の移動方向を求める。第１の移動物体の移動方向（移動ベクトル）は、時刻ｔ０−Δｔにおける第１の移動物体の位置と時刻ｔ０における第１の移動物体の位置（Ｏ点）とから求めることができる。また、第１の移動物体の移動速度は、時刻ｔ０−Δｔにおける第１の移動物体の位置から時刻ｔ０における第１の移動物体の位置（Ｏ点）までの距離をΔｔで除算することにより求めることができる。

そして、Ｏ点における第１の移動物体の移動方向及び移動速度に基づいて、図５に示すように、Ｏ点を起点とした極座標（ｒ、θ）に応じた重みを定義する。まず、Ｏ点における第１の移動物体の移動速度に基づいて、Ｏ点からの距離ｒに応じた重みＷ（ｒ）を設定する。重みＷ（ｒ）は、Ｏ点における第１の移動物体の移動速度から時刻ｔ０から時刻ｔ１までの移動距離を求め、当該移動距離の重みＷ（ｒ）が最も高く設定され、当該移動距離からの変化が大きくなるに従って重みＷ（ｒ）が小さくなるように設定されている。図５の例では、Ｏ点に近い側から重みＷ（ｒ）が０．１、０．５、０．８、０．５と設定されている。

次に、Ｏ点における第１の移動物体の移動方向に基づいて、Ｏ点における第１の移動物体の移動方向と、第２の移動物体の位置とＯ点とを結ぶ線と、が成す角度θに応じた重みＷ（θ）を設定する。重みＷ（θ）は、Ｏ点における第１の移動物体の移動方向の重みＷ（θ）が最も高く設定され、第１の移動物体の移動方向に対する第２の移動物体の移動方向の変化が大きくなるに従って重みＷ（θ）が小さくなるように設定されている。図５の例では、第１の移動物体の移動方向の重みＷ（θ）が０．８と最も高く設定され、第１の移動物体の移動方向からの変化が大きくなるに従って重みＷ（θ）が小さくなるように、０．５、０．１と設定されている。なお、重みＷ（ｒ）、Ｗ（θ）の具体的な値は、例えば時刻ｔ０−Δｔにおける第１の移動物体の移動ベクトルを基準としたガウス分布を求め、これに基づいて設定することができる。

そして、第２の移動物体の重みＷ（ｒ、θ）を算出する。なお、Ｗ（ｒ、θ）はＷ（ｒ）＋Ｗ（θ）で求める。

例えば図４に示すように、時刻ｔ１において複数の第２の移動物体が遮蔽領域Ｓから現れ、始端がＡ点である始端途切れ動線ＬＡ、始端がＢ点である始端途切れ動線ＬＢがあったとする。この場合、始端途切れ動線ＬＡ、ＬＢに対応した第２の移動物体の重みＷ_Ａ（ｒ、θ）、Ｗ_Ｂ（ｒ、θ）を算出する（図５参照）。

ステップ１０８では、画像類似度算出部２６が、終端途切れ動線の終端における第１の移動物体の画像と、複数の始端における複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する。具体的には、例えば図６に示すように、終端途切れ動線の終端であるＯ点における第１の移動物体の画像Ｉ_Ｏ、始端途切れ動線の始端であるＡ点、Ｂ点における第２の移動物体の画像Ｉ_Ａ、Ｉ_Ｂの色ヒストグラムをそれぞれ求める。そして、画像Ｉ_Ｏと画像Ｉ_Ａとの色ヒストグラムの類似度ＳＩＭ_Ａ（Ｉ_Ａ、Ｉ_Ｏ）、画像Ｉ_Ｏと画像Ｉ_Ａとの色ヒストグラムの類似度ＳＩＭ_Ｂ（Ｉ_Ｂ、Ｉ_Ｏ）をそれぞれ求める。次に、次の（１）、（２）式により画像Ｉ_Ａと画像Ｉ_Ｏの画像類似度ｄ_Ａ、画像Ｉ_Ｂと画像Ｉ_Ｏの画像類似度ｄ_Ｂをそれぞれ求める。

ｄ_Ａ＝ＳＩＭ_Ａ（Ｉ_Ａ、Ｉ_Ｏ）×Ｗ_Ａ（ｒ、θ） ・・・（１）
ｄ_Ｂ＝ＳＩＭ_Ｂ（Ｉ_Ｂ、Ｉ_Ｏ）×Ｗ_Ｂ（ｒ、θ） ・・・（２）

色ヒストグラムの類似度の算出は、例えば非特許文献２に記載された方法を用いることができる。この方法では、２個の比較対象の画像１、２の色ヒストグラムを正規化した色ヒストグラムＨ１、Ｈ２を算出する。次に、色ヒストグラムＨ１、Ｈ２の各ビン（区間）で頻度を比較し、最小値を選択する。そして、選択した最小値を全区間について足し合わる。最後に、色ヒストグラムＨ１又はＨ２の頻度合計値で除算して正規化する。この値が画像１、２の類似度となり、０〜１の範囲の値で表される。なお、１が最も類似度が高く、０が最も類似度が低いことを表す。すなわち、類似度ＳＩＭ（Ｈ１、Ｈ２）は次の（３）式で表される。

ＳＩＭ（Ｈ１、Ｈ２）＝Σｍｉｎ（Ｈ１、Ｈ２）／ΣＨ１ ・・・（３）

ステップ１１０では、評価値算出部２８が、第２の移動物体が始端の位置に出現する出現確率、第２の移動物体の重み、第２の移動物体の画像類似度をパラメータとして含む評価関数により、複数の第２の移動物体の第１の移動物体に対する評価値を各々算出する。

例えば図７に示すように、Ａ点に出現する出現確率、すなわち、時刻ｔ０の時点においてＯ点に存在した移動物体が時刻ｔ１の時点でＡ点に存在する存在確率をＰ_Ａ（ｔ１｜ｔ０）とする。また、Ａ点に出現した移動物体の重みをＷ_Ａ（θ）、Ｏ点における移動物体の画像Ｉ_ＯとＡ点における移動物体の画像Ｉ_Ａとの画像類似度をｄ_Ａとすると、Ａ点における移動物体の評価値ｅ_Ａは次の（４）式で表される評価値関数により求められる。

ｅ_Ａ＝ａ／ｗ_Ａ（θ）×Ｐ_Ａ（ｔ１｜ｔ０）＋ｂ（１−ａ／ｗ_Ａ（θ））×ｄ_Ａ ・・・（４）

同様に、時刻ｔ０の時点においてＯ点に存在した移動物体が時刻ｔ１の時点でＢ点に存在する存在確率をＰ_Ｂ（ｔ１｜ｔ０）とする。また、Ｂ点に出現した移動物体の重みをＷ_Ｂ（θ）、Ｏ点における移動物体の画像Ｉ_ＯとＢ点における移動物体の画像Ｉ_Ｂとの画像類似度をｄ_Ｂとすると、Ｂ点における移動物体の評価値ｅ_Ｂは次の（５）式で表される評価関数により求められる。

ｅ_Ｂ＝ａ／ｗ_Ｂ（θ）×Ｐ_Ｂ（ｔ１｜ｔ０）＋ｂ（１−ａ／ｗ_Ｂ（θ））×ｄ_Ｂ ・・・（５）

なお、ａ、ｂは予め定めた定数であり、評価値の精度が高くなるような値に設定される。

この評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程（重みが小さい程）、出現確率が及ぼす影響が大きくなるように設定された関数である。また、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程（重みが大きい程）、画像類似度が及ぼす影響が大きくなるように設定された関数である。

ステップ１１２では、動線補間部３０が、終端途切れ動線の終端から、複数の第２の移動物体のうち評価値が最大となる第２の移動物体に対応した始端途切れ動線の始端までの途切れ領域の動線を補間する。例えば図８に示すように、Ａ点における移動物体の候補１の画像類似度ｄ_Ａが０．７、出現確率Ｐ_Ａが０．３、出現確率に対する重み係数ａ／ｗ_Ｂ（θ）が０．２、画像類似度に対する重み係数（１−ａ／ｗ_Ｂ（θ））が０．８の場合、評価値ｅ_Ａは０．６２となる。また、Ｂ点における移動物体の候補２の画像類似度ｄ_Ｂが０．５、出現確率Ｐ_Ｂが０．７、出現確率に対する重み係数ａ／ｗ_Ａ（θ）が０．８、画像類似度に対する重み係数（１−ａ／ｗ_Ｂ（θ））が０．２の場合、評価値ｅ_Ｂは０．６６となる。従って、候補１の評価値ｅ_Ａよりも候補２の評価値ｅ_Ｂの方が大きいため、候補２が選択される。

一方、従来では、図９に示すように、画像類似度と、Ｏ点における移動物体の移動方向等から求めた存在確率とによって遮蔽領域Ｓ内の動線を補間するため、画像類似度及び存在確率ともに高い値である候補１の移動物体を選択してしまう。

これに対し、本実施形態に係る評価関数は、第１の移動物体に対する第２の移動物体の移動方向の変化が大きい程（重みが小さい程）、出現確率が及ぼす影響が大きくなるように設定された関数である。また、第１の移動物体に対する第２の移動物体の移動方向の変化が小さい程（重みが大きい程）、画像類似度が及ぼす影響が大きくなるように設定された関数である。このため、移動物体が遮蔽領域Ｓで方向変換したような場合でも、候補２の移動物体が選択され、精度良く動線を補間することができる。

遮蔽領域Ｓの動線を補間する場合、線形補間でもよいが、例えば遮蔽領域Ｓの出現確率に基づいてスプライン曲線を求め、このスプライン曲線によりＯ点からＢ点までの動線を補間するようにしてもよい。

なお、本実施形態では、評価関数のパラメータとして出現確率を用いた場合について説明したが、これに限らず、出現確率に代えて出現頻度をパラメータとしてもよい。

また、本実施形態では、画像類似度の算出において、色ヒストグラムの類似度ＳＩＭに重みＷ（ｒ、θ）を乗算しているが、重みＷ（ｒ、θ）を乗算せずに、色ヒストグラムの類似度ＳＩＭのみを画像類似度としてもよい。また、画像類似度の算出において、色ヒストグラムの類似度ＳＩＭに重みＷ（θ）のみを乗算するようにしてもよい。

また、上記で開示の技術は、例えばオフィスや工場等において業務改善を目的とする定量的な分析として、場所ごとの通過人数や通過経路などを分析する分析装置に適用することができるが、これに限られるものではない。例えば、監視カメラや、被写体を追尾する機能を備えたデジタルカメラ等に適用することができる。

また、上記では開示の技術に係る動線補間プログラムが記憶部７６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
前記終端から前記始端までの途切れ領域における前記移動物体の出現頻度に基づいて、補間する前記動線の補間曲線を算出する
請求項５記載の移動物体の動線補間方法。

（付記２）
算出した前記複数の領域における出現頻度に基づいて、対象領域以外の領域に存在した前記移動物体が対象領域に出現する出現確率を前記複数の領域毎に算出し、
前記移動物体が前記始端の位置に出現する出現確率、前記第２の移動物体の重み、前記第２の移動物体の画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現確率の影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度の影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する
請求項５又は付記１記載の移動物体の動線補間方法。

（付記３）
前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度の各々に、対応する前記第２の移動物体の重みを乗算する
請求項５、付記１、及び付記２の何れかに記載の移動物体の動線補間方法。

（付記４）
前記動線補間ステップは、前記終端から前記始端までの途切れ領域における前記移動物体の出現頻度に基づいて、補間する前記動線の補間曲線を算出する
請求項６記載の移動物体の動線補間プログラム。

（付記５）
前記出現頻度算出ステップは、算出した前記複数の領域における出現頻度に基づいて、対象領域以外の領域に存在した前記移動物体が対象領域に出現する出現確率を前記複数の領域毎に算出し、
前記評価値算出ステップは、前記移動物体が前記始端の位置に出現する出現確率、前記第２の移動物体の重み、前記第２の移動物体の画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現確率の影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度の影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する
請求項６又は付記４記載の移動物体の動線補間プログラム。

（付記６）
前記画像類似度算出ステップは、前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度の各々に、対応する前記第２の移動物体の重みを乗算する
請求項６、付記４、及び付記５の何れかに記載の移動物体の動線補間プログラム。

１０ 動線補間装置
１２ 動画像データ記憶部
１４ 移動物体抽出部
１６ 動線データ生成部
１８ 動線データ記憶部
２０ 出現頻度算出部
２２ 出現頻度記憶部
２４ 重み算出部
２６ 画像類似度算出部
２８ 評価値算出部
３０ 動線補間部
７０ コンピュータ
７４ メモリ
７６ 記憶部
７８ バス
８０ 動線補間プログラム

Claims (6)

1. 動画像を構成する複数のフレーム画像から移動物体を各々抽出する移動物体抽出部と、
   前記移動物体抽出部により抽出された前記移動物体の動線を表す動線データを生成する動線データ生成部と、
   記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出する出現頻度算出部と、
   前記動線データ生成部により生成された前記動線データで表される前記移動物体の動線のうち終端が画像内で途切れている終端途切れ動線の前記終端の位置及び前記終端途切れ動線に対応した第１の移動物体の移動方向と、前記動線データ生成部により生成された前記動線データで表される前記移動物体の動線のうち始端が画像内で途切れている複数の始端途切れ動線の前記複数の始端の位置と、に基づいて、前記複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出する重み算出部と、
   前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する画像類似度算出部と、
   前記第２の移動物体が前記始端の位置に出現する出現頻度、前記第２の移動物体の重み、及び前記第１の移動物体の画像と前記第２の移動物体の画像との画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現頻度が及ぼす影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度が及ぼす影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する評価値算出部と、
   前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する動線補間部と、
   を含む移動物体の動線補間装置。
2. 前記動線補間部は、前記終端から前記始端までの途切れ領域における前記移動物体の出現頻度に基づいて、補間する前記動線の補間曲線を算出する
   請求項１記載の移動物体の動線補間装置。
3. 前記出現頻度算出部は、算出した前記複数の領域における出現頻度に基づいて、対象領域以外の領域に存在した前記移動物体が対象領域に出現する出現確率を前記複数の領域毎に算出し、
   前記評価値算出部は、前記移動物体が前記始端の位置に出現する出現確率、前記第２の移動物体の重み、前記第２の移動物体の画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現確率の影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度の影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する
   請求項１又は請求項２記載の移動物体の動線補間装置。
4. 前記画像類似度算出部は、前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度の各々に、対応する前記第２の移動物体の重みを乗算する
   請求項１〜請求項３の何れか１項に記載の移動物体の動線補間装置。
5. コンピュータが、
   動画像を構成する複数のフレーム画像から移動物体を各々抽出し、
   抽出された前記移動物体の動線を表す動線データを生成し、
   記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出し、
   生成された前記動線データで表される前記移動物体の動線のうち終端が画像内で途切れている終端途切れ動線の前記終端の位置及び前記終端途切れ動線に対応した第１の移動物体の移動方向と、生成された前記動線データで表される前記移動物体の動線のうち始端が画像内で途切れている複数の始端途切れ動線の前記複数の始端の位置と、に基づいて、前記複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出し、
   前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出し、
   前記第２の移動物体が前記始端の位置に出現する出現頻度、前記第２の移動物体の重み、及び前記第１の移動物体の画像と前記第２の移動物体の画像との画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現頻度が及ぼす影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度が及ぼす影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出し、
   前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する
   移動物体の動線補間方法。
6. コンピュータに、
   動画像を構成する複数のフレーム画像から移動物体を各々抽出する移動物体抽出ステップと、
   前記移動物体抽出ステップにより抽出された前記移動物体の動線を表す動線データを生成する動線データ生成ステップと、
   記憶部に記憶された過去の前記動線データに基づいて、前記フレーム画像を分割した複数の領域における前記移動物体の出現頻度を各々算出する出現頻度算出ステップと、
   前記動線データ生成ステップにより生成された前記動線データで表される前記移動物体の動線のうち終端が画像内で途切れている終端途切れ動線の前記終端の位置及び前記終端途切れ動線に対応した第１の移動物体の移動方向と、前記動線データ生成ステップにより生成された前記動線データで表される前記移動物体の動線のうち始端が画像内で途切れている複数の始端途切れ動線の前記複数の始端の位置と、に基づいて、前記複数の始端途切れ動線の各々に対応した複数の第２の移動物体の重みを算出する重み算出ステップと、
   前記終端途切れ動線の前記終端における第１の移動物体の画像と、前記複数の始端における前記複数の第２の移動物体の画像の各々と、の画像類似度を各々算出する画像類似度算出ステップと、
   前記第２の移動物体が前記始端の位置に出現する出現頻度、前記第２の移動物体の重み、及び前記第１の移動物体の画像と前記第２の移動物体の画像との画像類似度をパラメータとして含むと共に、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が大きい程、前記出現頻度が及ぼす影響が大きくなり、前記第１の移動物体に対する前記第２の移動物体の移動方向の変化が小さい程、前記画像類似度が及ぼす影響が大きくなるように設定された評価関数により、前記複数の第２の移動物体の前記第１の移動物体に対する評価値を各々算出する評価値算出ステップと、
   前記終端途切れ動線の前記終端から、前記複数の第２の移動物体のうち前記評価値が最大となる前記第２の移動物体に対応した前記始端途切れ動線の前記始端までの途切れ領域の動線を補間する動線補間ステップと、
   を含む処理を実行させるための移動物体の動線補間プログラム。