JP6344953B2 - 軌跡解析装置および軌跡解析方法 - Google Patents

Description

本発明は、コンピュータビジョンアプリケーションに関し、特に、映像に対する移動体追跡処理の結果を解析する軌跡解析装置および軌跡解析方法に関する。

近年、映像を構成する時系列のフレームのそれぞれから移動体を抽出することにより、映像における移動体の移動を追跡する処理（以下「移動体追跡処理」という）が、様々な分野で活用されている。

移動体追跡処理は、通常、直前までのフレームで抽出された移動体の画像特徴および位置に基づいて、次のフレームにおいて移動体を探索する。このような移動体追跡処理は、高い精度で移動体を追跡することが可能である一方で、誤差が蓄積し、軌跡の出発点からの移動距離が長くなるほど追跡精度が低下し易い、特徴を有する。

そこで、映像の先頭から時間軸の順方向に沿って移動体追跡処理を行うとともに、映像の終了点から時間軸の逆方向に沿って移動体追跡処理を行うことにより、追跡精度の向上を図る技術が、例えば、特許文献１に記載されている。

特許文献１に記載の技術（以下「従来技術」という）は、複数の移動体追跡処理のアルゴリズムの中から１つを選択し、時間軸の順方向と逆方向の双方で移動体追跡処理を行う。そして、従来技術は、得られた順方向軌跡と逆方向軌跡との差異が大きい場合、移動体追跡処理のアルゴリズムを変更して、再度、移動体追跡処理を行う。

このような従来技術は、追跡精度の誤差がより蓄積しにくい、つまり、追跡対象の移動体により適した移動体追跡処理のアルゴリズムを用いることができるので、追跡精度を向上させることが可能である。

特開２００８−２４３１８７号公報

Q. Zhu, M.-C. Yeh, K.-T. Cheng, and S. Avidan, "Fast human detection using a cascade of histograms of oriented gradients", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006, vol.2, p.1491-1498 K. Nummiaro, E. Koller-Meier, L. Van Gool, "An Adaptive Color-Based Particle Filter", Image and Vision Computing, 2003, vol.21, No.1, p.99-110

しかしながら、移動体追跡処理のアルゴリズムを変化させたとしても、追跡精度が所定のレベルに到達しない場合もある。例えば、動きの速度あるいは自由度が高い移動体や、外観の変化が著しい移動体の場合、追跡精度の向上は難しい。すると、従来技術では、追跡精度が所定のレベルに到達しない場合、移動体の軌跡を出力することができないか、出力したとしても、時間軸に対して一方向に出力した場合の追跡結果の確からしさを示す情報しか出力することしかできない。すなわち、従来技術は、追跡精度が低い場合、移動体追跡処理の結果として、有意性の高い情報を出力することができない。

本発明の目的は、追跡精度が低い場合であっても、移動体追跡処理の結果として有意性の高い情報を出力することができる、軌跡解析装置および軌跡解析方法を提供することである。

本開示の軌跡解析装置は、映像を入力する映像入力部と、前記映像に対し、順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定する開始位置設定部と、前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成する追跡部と、前記時間軸における時刻毎に、当該時刻における前記順方向軌跡と前記逆方向軌跡との間の距離を算出する距離算出部と、前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記距離に応じて算出される相関度に応じて、同一の移動体に対応する可能性が高い前記順方向軌跡と前記逆方向軌跡とのペアを決定するマッチング部と、決定された前記ペアの前記順方向軌跡と前記逆方向軌跡とを統合して、統合軌跡を生成する軌跡統合部と、前記統合軌跡を出力する結果出力部と、を有する。

本開示の軌跡解析方法は、映像を入力し、順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定し、前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成し、前記時間軸における時刻毎に、当該時刻における前記順方向軌跡と前記逆方向軌跡との間の距離を算出し、前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記距離に応じて算出される相関度に応じて、同一の移動体に対応する可能性が高い前記順方向軌跡と前記逆方向軌跡とのペアを決定し、決定された前記ペアの前記順方向軌跡と前記逆方向軌跡とを統合して、統合軌跡を生成し、前記統合軌跡を出力する。

本開示によれば、追跡精度が低い場合であっても、移動体追跡処理の結果として有意性の高い情報を出力することができる。

本発明の実施の形態１に係る軌跡解析装置の構成を示すブロック図 本発明の実施の形態２に係る軌跡解析装置の構成の一例を示すブロック図 本実施の形態２にかかる軌跡解析装置の動作の一例を示すフローチャート 本実施の形態２における順方向軌跡の取得の様子の一例を示す図 本実施の形態２における逆方向軌跡の取得の様子の一例を示す図 本実施の形態２における軌跡間の距離を説明するための図 本実施の形態２におけるペア抽出処理の詳細の一例を示すフローチャート 本実施の形態２において抽出されるペア候補Ａ、Ｂの例およびその過程を示す図 本実施の形態２において抽出されるペア候補Ｃの例およびその過程を示す図 本実施の形態２において抽出されるペア候補Ｄの例およびその過程を示す図 本実施の形態２における順方向軌跡と逆方向軌跡との統合の様子を示す図 本実施の形態２における軌跡表示画像および動線表示映像の例を示す図 本実施の形態２における付加情報生成処理の一例を示すフローチャート 本実施の形態２において生成される付加情報の例およびその過程を示す図

以下、本発明の各一実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。

図１は、本実施の形態に係る軌跡解析装置の構成を示すブロック図である。

図１において、軌跡解析装置１００は、マッチング部１５０および結果出力部１７０を有する。

マッチング部１５０は、映像に対して時間軸の順方向に沿って移動体追跡処理を行った結果である順方向軌跡と、映像に対して時間軸の逆方向に沿って移動体追跡処理を行った結果である逆方向軌跡との間の、相関度を算出する。

結果出力部１７０は、算出された相関度に応じた信頼度と、当該信頼度に対応する、順方向軌跡、逆方向軌跡、および、これらの軌跡を統合した統合軌跡のうち、少なくとも１つの軌跡と、の組を示す軌跡情報を出力する。

軌跡解析装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような軌跡解析装置１００は、追跡精度が低い場合であっても、軌跡とその信頼度との組という、移動体追跡処理の結果として有意性の高い情報を出力することができる。

（実施の形態２）
本発明の実施の形態２は、本発明を、複数の移動体についての移動体追跡処理の結果を解析する装置に適用した場合の、具体的態様の一例である。

＜軌跡解析装置の構成＞
図２は、本実施の形態に係る軌跡解析装置の構成の一例を示すブロック図である。

図２において、軌跡解析装置１００は、映像入力部１１０、開始位置設定部１２０、追跡部１３０、距離算出部１４０、マッチング部１５０、軌跡統合部１６０、および結果出力部１７０を有する。

映像入力部１１０は、時系列のフレームから成る所定の長さの映像データ（以下、単に「映像」という）を入力する。映像入力部１１０は、デジタルビデオカメラから直接に映像を入力してもよいし、記録媒体から映像を読み出してもよいし、ネットワーク上のサーバから映像を受信してもよい。あるいは、映像入力部１１０が、デジタルビデオカメラを含んでいてもよい。そして、映像入力部１１０は、入力した映像を、開始位置設定部１２０へ出力する。

開始位置設定部１２０は、入力された映像に対し、順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点とを設定する。順方向開始点および逆方向開始点の位置は、映像の時間軸における最初のフレーム（以下「先頭フレーム」という）および最後のフレーム（以下「末尾フレーム」という）に対する画像解析処理により設定されてもよいし、ユーザ操作により設定されてもよい。そして、開始位置設定部１２０は、入力された映像と、設定された順方向開始点および逆方向開始点を示す情報とを、追跡部１３０へ出力する。

ここで、順方向軌跡とは、映像に対して時間軸の順方向に沿って、後述の移動体追跡処理を行った結果である。すなわち、順方向開始点とは、先頭フレームにおける、追跡対象となる移動体の位置である。

また、逆方向軌跡とは、映像に対して時間軸の逆方向に沿って、後述の移動体追跡処理を行った結果である。すなわち、逆方向開始点とは、末尾フレームにおける、追跡対象となる移動体の位置である。

なお、映像に含まれる移動体が複数の場合、複数の順方向開始点および複数の逆方向開始点が設定され得る。また、設定される順方向開始点と逆方向開始点とは、必ずしも同一の移動体であるとは限らない。

追跡部１３０は、入力された情報が示す順方向開始点毎に、入力された映像に対して時間軸の順方向に沿って移動体追跡処理を行い、順方向軌跡を生成する。すなわち、追跡部１３０は、先頭フレームにおいて順方向開始点に位置する移動体を、時間軸の順方向に沿って追跡する（以下「順追跡」という）。また、追跡部１３０は、入力された情報が示す逆方向開始点毎に、入力された映像に対して時間軸の逆方向に沿って移動体追跡処理を行い、逆方向軌跡を生成する。すなわち、追跡部１３０は、末尾フレームにおいて逆方向開始点に位置する移動体を、時間軸の逆方向に沿って追跡する（以下「逆追跡」という）。そして、追跡部１３０は、生成された順方向軌跡および逆方向軌跡を示す情報を、距離算出部１４０へ出力する。

なお、設定された順方向開始点が複数の場合、複数の順方向軌跡が生成され、逆方向開始点が複数の場合、複数の逆方向軌跡が生成される。

距離算出部１４０は、入力された情報が示す順方向軌跡と逆方向軌跡との組み合わせ（以下「軌跡組み合わせ」という）のそれぞれについて、映像の時間軸（つまり、順方向軌跡および逆方向軌跡の時間軸）における時刻毎に、当該時刻における順方向軌跡と逆方向軌跡との間の距離（以下、単に「距離」という）を算出する。そして、距離算出部１４０は、算出された距離と、当該距離が対応する軌跡組み合わせおよび時刻と、を示す情報を、マッチング部１５０へ出力する。

マッチング部１５０は、入力された情報に基づいて、軌跡組み合わせ毎に、順方向軌跡と逆方向軌跡との間の相関度を算出する。ここで、相関度とは、対応する軌跡組み合わせが同一の移動体についての順方向軌跡および逆方向軌跡であることの確からしさであり、軌跡全体において同時刻の位置が近いほど高い値となる指標値である。相関度の算出手法の詳細については、後述する。

また、マッチング部１５０は、順方向軌跡および逆方向軌跡の少なくとも一方が複数存在する場合において、相関度に基づいて、同一の移動体に対応する可能性が高い順方向軌跡と逆方向軌跡とのペア（以下「軌跡ペア」という）を決定する。なお、マッチング部１５０は、順方向軌跡および逆方向軌跡の両方が１つずつしか存在しない場合、かかる順方向軌跡および逆方向軌跡についても、軌跡ペアとして決定してもよい。軌跡ペアの決定手法の詳細については、後述する。

そして、マッチング部１５０は、算出された相関度と、当該相関度が対応する軌跡組み合わせと、決定された軌跡ペアの軌跡組み合わせと、を示す情報を、軌跡統合部１６０へ出力する。

軌跡統合部１６０は、入力された情報が示す軌跡ペア毎に、当該軌跡ペアの順方向軌跡と逆方向軌跡とを統合して、統合軌跡を生成する。軌跡の統合手法の詳細については、後述する。そして、軌跡統合部１６０は、入力された相関度、軌跡組み合わせ、および軌跡ペアの軌跡組み合わせと、生成された統合軌跡と、を示す情報を、結果出力部１７０へ出力する。

結果出力部１７０は、入力された情報に基づき、相関度に応じた信頼度と、当該信頼度に対応する、順方向軌跡、逆方向軌跡、および統合軌跡(以下、適宜「軌跡」と総称する)のうち少なくとも１つの軌跡と、の組を示す軌跡情報を出力する。より具体的には、結果出力部１７０は、各軌跡を示した画像を軌跡情報として生成する。軌跡情報として生成される画像（以下「軌跡表示画像」という）は、複数の軌跡組み合わせが存在するとき、複数の軌跡の間の信頼度の差異を、画像における軌跡の表示形態の差異により表示する内容となっている。そして、結果出力部１７０は、例えば、生成された軌跡表示画像を、液晶ディスプレイやプロジェクタ等の表示装置へ出力して表示させたり、ファイル化してハードディスク等の記録媒体に保存させる。

なお、軌跡解析装置１００は、図示しないが、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、およびＲＡＭ等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する軌跡解析装置１００は、軌跡とその信頼度との組を含む軌跡情報を、画像化して表示することができる。

追跡精度が低い場合、同じ映像の同一の移動体を追跡対象としたとしても、順方向軌跡と逆方向軌跡との差異が十分に小さくなるとは限らず、信頼度の低い軌跡が生成され得る。しかしながら、各軌跡と併せて信頼度が出力されれば、各軌跡に応じて行われる処理や作業を、信頼度を考慮したものとすることができる。例えば、映像に重畳して、信頼度が分かる状態で各軌跡が表示されれば、それぞれの信頼度を比較考量することを可能にし、オペレータが各軌跡を確認する作業の負担を軽減することができる。

すなわち、軌跡解析装置１００は、追跡精度が低い場合であっても、移動体追跡処理の結果として有意性の高い情報を出力することができる。

＜軌跡解析装置の動作＞
次に、軌跡解析装置１００の動作について説明する。

図３は、軌跡解析装置１００の動作の一例を示すフローチャートである。軌跡解析装置１００は、例えば、マウスやキーボード等の入力装置（図示せず）を介したユーザ操作により、対象となる映像を指定して移動体追跡処理の開始を指示されると、以下に説明する処理を開始する。

ステップＳ１１００において、映像入力部は、映像を入力する。入力される映像は、例えば、サッカーの試合を連続撮影した数秒〜数分間の映像である。この場合、追跡対象となる移動体は、例えば、サッカー選手である。

ステップＳ１２００において、開始位置設定部１２０は、追跡対象となる１つまたは複数の移動体のそれぞれについて、順方向開始点を設定する。

例えば、開始位置設定部１２０は、液晶ディスプレイ等の表示装置（図示せず）に、先頭フレームの画像を表示し、入力装置を介して、ユーザから順方向開始点の位置の指定を受け付ける。あるいは、開始位置設定部１２０は、人領域検出処理により、先頭フレームから人領域を検出し、かかる領域の代表点を、順方向開始点とする。代表点としては、例えば、腰部の中央、頭部の中心、あるいは、領域に外接する矩形や円の重心を採用することができる。また、人領域検出処理としては、例えば、非特許文献１に記載の、ＨｏＧ（Histograms of Oriented Gradients）特徴量を用いた識別器を用いる処理を採用することができる。

先頭フレームに対して設定される、ｉ番目の移動体の順方向開始点を示す情報Ｐｓ_ｉは、例えば（ｉｄ_ｉ，ｘ_ｉ，ｙ_ｉ）という３次元のデータとなる。ここで、ｉｄ_iは、順方向開始点が設定されたｉ番目の移動体の識別子であり、かかる移動体に対応して生成される順方向軌跡の識別子である。また、ｘ_ｉは、ｉ番目の移動体の位置の、映像に設定されたｘｙ座標系（以下「映像座標系」という）における先頭フレームでのｘ座標値を示し、ｙ_ｉは、ｉ番目の移動体の位置の、映像座標系における先頭フレームでのｙ座標値を示す。

ステップＳ１３００において、開始位置設定部１２０は、順方向開始点と同様に、末尾フレームを表示するなどして、移動体毎に逆方向開始点を設定する。

末尾フレームに対して設定される、ｊ番目の移動体の逆方向開始点を示す情報Ｐｅ_ｊは、例えば、（ｉｄ_ｊ，ｘ_ｊ，ｙ_ｊ）という３次元のデータとなる。ここで、ｉｄ_iは、逆方向開始点が設定されたｊ番目の移動体の識別子であり、かかる移動体に対応して生成される逆方向軌跡の識別子である。また、ｘ_ｊは、ｊ番目の移動体の位置の、映像座標系における末尾フレームでのｘ座標値を示し、ｙ_ｊは、ｊ番目の移動体の位置の、映像座標系における末尾フレームでのｙ座標値を示す。

ステップＳ１４００において、追跡部１３０は、順方向開始点を示す情報Ｐｓ_ｉに基づいて、各移動体について、順方向に移動体追跡処理を行い、順方向軌跡を生成する。

移動体追跡処理としては、例えば、特許文献１あるいは非特許文献２に記載の移動体追跡処理を採用することができる。すなわち、例えば、追跡部１３０は、先頭フレームにおいて、開始点を中心とした所定の楕円の領域について、色特徴量を抽出する。そして、追跡部１３０は、次のフレームにおいて、開始点付近で最も特徴量が類似している所定の形状（例えば、楕円や矩形）の領域を算出し、その領域の中心を、次のフレームの移動体の位置とする。色特徴量としては、例えば、ＲＧＢ色情報を用いた、８×８×８の５１２次元からなるベクトルを採用することができる。

ｉ番目の移動体の軌跡Ｐｆ_ｉｔは、例えば、（ｔ，ｘ_ｉ，ｙ_ｉ）という時系列の３次元データとなる。ここで、ｔは、映像の時間軸における時刻を示す。

ステップＳ１５００において、追跡部１３０は、逆方向開始点を示す情報Ｐｅ_ｉに基づいて、各移動体について、逆方向に移動体追跡処理を行い、逆方向軌跡を生成する。移動体追跡処理としては、例えば、特許文献１に記載の処理を採用することができる。

ｊ番目の時刻ｔにおける移動体の軌跡Ｐｆ_ｊｔは、例えば、（ｔ，ｘ_ｊ，ｙ_ｊ）という時系列の３次元データとなる。

なお、移動体追跡処理の処理アルゴリズムは、ステップＳ１４００の順追跡とステップＳ１５００の逆追跡との間で、あるいは、複数の移動体の間で、必ずしも同一でなくてもよい。

図４は、順方向軌跡の取得の様子の一例を示す図であり、図３のステップＳ１１００、Ｓ１２００、Ｓ１４００に対応するものである。また、図５は、逆方向軌跡の取得の様子の一例を示す図であり、図３のステップＳ１１００、Ｓ１３００、Ｓ１５００に対応するものである。

図４Ａに示すように、先頭フレーム２１０には、５つの移動体２１１が含まれており、それぞれの移動体２１１の代表位置に順方向開始点が設定されたとする。すると、図４Ｂに示すように、これら５つの移動体２１１に、例えば、１〜５の整数が、順方向開始点の識別子ｉｄ_iとして設定される。そして、図４Ｃに示すように、それぞれの移動体２１１について、順方向軌跡２１２が生成される。

以下の説明において、適宜、識別子ｉｄ_i「１」の移動体２１１_iに設定された順方向開始点は、「開始点１」といい、開始点１について算出された順方向軌跡は、「軌跡１」という。同様に、識別子ｉｄ_i「２」〜ｉｄ_i「５」に対応する順方向開始点および順方向軌跡は、順に、「開始点２」〜「開始点５」および「軌跡２」〜「軌跡５」という。

また、図５Ａに示すように、末尾頭フレーム２２０には、５つの移動体２２１が含まれており、それぞれの移動体２２１の代表位置に逆方向開始点が設定されたとする。すると、図５Ｂに示すように、これら５つの移動体２２１に、例えば、ａ〜ｅのアルファベットが、逆方向開始点の識別子ｉｄ_ｊとして設定される。そして、図５Ｃに示すように、それぞれの移動体２２１について、順方向軌跡２２２が生成される。

ここで、初期状態において、先頭フレーム２１０に含まれる各移動体２１１が、末尾フレーム２２０に含まれる移動体２２１のどれに対応するかは、不明であるものとする。すなわち、順方向開始点の識別子ｉｄ_iと、逆方向開始点の識別子ｉｄ_ｊとは、独立しているものとする。

また、以下の説明において、適宜、識別子ｉｄ_ｊ「ａ」の移動体２１１_ｊに設定された逆方向開始点は、「開始点ａ」といい、開始点ａについて算出された逆方向軌跡は、「軌跡ａ」という。同様に、識別子ｉｄ_ｊ「ｂ」〜ｉｄ_ｊ「ｅ」に対応する逆方向開始点および逆方向軌跡は、順に、「開始点ｂ」〜「開始点ｅ」および「軌跡ｂ」〜「軌跡ｅ」という。

なお、順方向軌跡である軌跡１〜軌跡５と、逆方向軌跡である軌跡ａ〜軌跡ｅとは、高精度に一致するとは限らない。すなわち、図４Ｃと図５Ｃとの違いにみられるように、順方向軌跡と逆方向軌跡との間には、差異が生じ得る。

図３のステップＳ１６００において、距離算出部１４０は、軌跡組み合わせのそれぞれについて、各時刻の距離を算出する。

上述の例では、順方向軌跡が５つ、逆方向軌跡が５つであるため、例えば、距離の算出の対象となる時刻の個数（例えば、フレームの枚数）が１００の場合、算出される距離の個数は、２５００となる。

図６は、軌跡間の距離を説明するための図である。

軌跡１〜５（図４Ｃ参照）および軌跡ａ〜ｅ（図５Ｃ参照）を重ねあわせると、図６Ａのようになる。ここで、軌跡５と軌跡ａ〜ｅのみを抽出すると、図６Ｂのようになる。

図６Ｃにおいて、軌跡５のうち、ある時刻ｔに対応する部分の位置は、黒丸で示す２３１_５とする。この場合、軌跡ａ〜ｅのうち、同一の時刻ｔに対応する部分の位置は、白丸でしめす位置２３２_ａ〜２３２_ｅのようになる。距離算出部１４０は、例えば、位置２３１_５と、位置２３２_ａ〜２３２_ｅのそれぞれとの距離を算出する。

図６Ｃの例では、軌跡５上の位置２３１_５との間の距離が最小となるのは、軌跡ａ上の位置２３２_ａである。また、軌跡５上の位置２３１_５との間の距離が最大となるのは、軌跡ｂ上の位置２３２_ｂである。したがって、上述の時刻ｔにおける距離のみを参考した場合には、軌跡５と同一の移動体についての逆方向軌跡である可能性が最も高いのは、軌跡ａであり、かかる可能性が最も低いのは、軌跡ｂということになる。

図３のステップＳ１７００において、マッチング部１５０は、軌跡ペア抽出処理を行う。軌跡ペア抽出処理は、軌跡組み合わせ毎の距離を映像の全体について考慮して、軌跡ペアを抽出すると共に、各軌跡ペアの相関度を算出する処理である。

図７は、図３のステップＳ１７００のペア抽出処理の詳細の一例を示すフローチャートである。また、図８〜図１０は、ペア抽出処理において抽出されるペア候補の例およびその過程を示す図である。

なお、以下の説明において、ペア抽出処理は、上述の図６Ａに示す、順方向軌跡１〜５および逆方向軌跡ａ〜ｅの軌跡群に対して行われるものとする。

ステップＳ１７１０において、マッチング部１５０は、映像全体における距離の総和が第１の閾値以下となる軌跡組み合わせを、ペア候補Ａ（第１のペア）として抽出する。ペア候補Ａは、つまり、映像の全体に亘って軌跡が似通っている軌跡組み合わせである。

なお、映像全体における距離の総和が第１の閾値以下となり、かつ、映像全体における距離の最大値が第２の閾値以下となる軌跡組み合わせを、ペア候補Ａ（第１のペア）として抽出するようにしてもよい。このようにすることにより、妥当と思われるペア候補の絞込みを効率的に行うことができる。

例えば、図８Ａに示すように、軌跡２と軌跡ｃとの組（以下「軌跡ペア２−ｃ」という）、軌跡３と軌跡ｅとの組（以下「軌跡ペア３−ｅ」という）、および、軌跡５と軌跡ａとの組（以下「軌跡ペア５−ａ」という）が、それぞれ、ペア候補Ａとして抽出される。

図７のステップＳ１７２０において、マッチング部１５０は、ペア候補Ａ以外で、距離が第３の閾値以下の区間が第４の閾値以上の時間（フレーム数、距離データ数）に亘って連続する軌跡組み合わせを、ペア候補Ｂ（第２のペア）として抽出する。ペア候補Ｂは、つまり、映像の全体ではないものの、比較的長い時間に亘って、軌跡が似通っている軌跡組み合わせである。

例えば、図８Ｂおよび図８Ｃに示すように、軌跡１と軌跡ｄとの組（以下「軌跡ペア１−ｄ」という）、および、軌跡４と軌跡ｅとの組（以下「軌跡ペア４−ｅ」という）が、それぞれ、ペア候補Ｂとして抽出される。

図７のステップＳ１７３０において、マッチング部１５０は、ペア候補Ａおよびペア候補Ｂに対応する順方向開始点および逆方向開始点（以下、適宜「開始点」と総称する）の中から、ペア候補Ａとペア候補Ｂとの両方に含まれる開始点が存在するか否かを判断する。そして、かかる開始点が存在する場合、マッチング部１５０は、その開始点を抽出し、ペア候補Ａおよびペア候補Ｂから、抽出された開始点が含まれる軌跡ペアを除いた軌跡ペアを、ペア候補Ｃとして抽出する。

ペア候補Ａあるいはペア候補Ｂを構成する軌跡のうち、開始点が重複している軌跡は、追跡途中で、別の移動体を追跡対象として誤認識してしまった結果である可能性が高い。したがって、ペア候補Ｃは、つまり、追跡対象の乗り移りが発生した可能性が低い軌跡ペアである。

例えば、図９Ａに示すように、ペア候補Ａあるいはペア候補Ｂを構成する軌跡ペア群は、軌跡ペア１−ｄ、２−ｃ、３−ｅ、４−ｅ、５−ａとなる。ここで、図８Ａと図８Ｂおよび図８Ｃとの比較から明らかなように、逆方向開始点ｅが、ペア候補Ａとペア候補Ｂとの両方に含まれている。したがって、図９Ｂに示すように、ペア候補Ｃは、図９Ａに示す軌跡ペア群のうち軌跡ペア３−ｅ、４−ｅ以外のもの、つまり、軌跡ペア１−ｄ、２−ｃ、５−ａとなる。

図７のステップＳ１７４０において、マッチング部１５０は、映像全体におけるいずれかの時刻において、複数の順方向軌跡の間、あるいは、複数の逆方向軌跡の間で、他の軌跡との距離が第５の閾値以下となる軌跡が存在するか否かを判断する。そして、マッチング部１５０は、距離が第５の閾値以下となる軌跡が存在する場合、当該軌跡を、軌跡Ｇとして抽出する。軌跡Ｇは、つまり、いずれかの時刻で近接した複数の移動体の間で、かかる時刻において追跡対象の入れ替えが発生した結果である可能性が高い軌跡である。

ステップＳ１７５０において、マッチング部１５０は、ペア候補Ｃから、軌跡Ｇに開始点が含まれる軌跡ペアを除いた軌跡ペアを、ペア候補Ｄとして抽出して、図３の処理へ戻る。ペア候補Ｄは、つまり、追跡対象の入れ替えが発生した可能性が低い軌跡ペアである。

例えば、図１０Ａに示すように、軌跡２と軌跡５、および、軌跡ａと軌跡ｃが、それぞれ、ある時刻に対応する黒三角で示す位置２４１で、近接している。この場合、位置２４１で、移動体２と移動体５との間での追跡対象の入れ替わりや、移動体ａと移動体ｃとの間での追跡対象の入れ替わりが発生している可能性がある。すなわち、図１０Ｂおよび図１０Ｃに示すように、軌跡ペア２−ａ、５−ｃの可能性についても、考慮する必要がある。

したがって、軌跡２、５、ａ、ｃが、軌跡Ｇとして抽出される。そして、軌跡ペアＣ（図９Ｂ参照）から、軌跡２、５、ａ、ｃを含む軌跡ペアを除外して得られるペア候補Ｄは、図１０Ｄに示すように、軌跡ペア１−ｄのみとなる。

以上のペア抽出処理において、複数の軌跡組み合わせから、軌跡ペアＡ〜Ｄが抽出される。上述の通り、ペア候補Ｂは、映像の比較的長い区間で軌跡が似通っている軌跡組み合わせであり、ペア候補Ａは、映像全体で軌跡が似通っている軌跡組み合わせである。そして、ペア候補Ｃは、ペア候補Ａ、Ｂのうち、追跡対象の乗り移りが発生した可能性がより低い軌跡組み合わせである。更に、ペア候補Ｄは、ペア候補Ｃのうち、追跡対象の入れ替わりが発生した可能性がより低い軌跡組み合わせである。

すなわち、軌跡群は、ペア候補を構成する軌跡と、ペア候補を構成しない軌跡（以下「残りの軌跡」という）とに分けられる。そして、ペア候補群は、ペア候補Ｄ、ペア候補Ｃ（但しペア候補Ｄを除く）、ペア候補Ａ（但しペア候補Ｃ、Ｄを除く）、およびペア候補Ｂ（但しペア候補Ｃ、Ｄを除く）に分けられる。また、これらのペア候補は、この順に、ペア候補を構成する順方向軌跡と逆方向軌跡との間の相関度が高いということになる。

なお、実用的には、ペア候補Ｄまで求めずに、ペア候補Ｃまで求めて、以下の統合軌跡の生成に移るようにしてもよい。映像の開始と終了を操作者がチェックすることが可能であることから、追跡対象の入れ替わりが発生したと認められる軌跡は、容易に削除等することができるためである。

図３のステップＳ１８００において、軌跡統合部１６０は、軌跡ペア毎に、順方向軌跡と逆方向軌跡とを統合し、統合軌跡を生成する。軌跡統合部１６０は、例えば、順方向軌跡と逆方向軌跡との間の相関度が比較的高い、ペア候補Ｃ（およびペア候補Ｄ）を、統合対象となる軌跡ペアとする。

なお、移動体追跡処理では、上述の通り、誤差が処理の経過とともに蓄積し得る。このため、各軌跡は、開始点から時間的により近い部分ほど、信頼度がより高く、開始点から時間的により遠い部分ほど、信頼度がより低いといえる。このため、軌跡統合部１６０は、各軌跡のうちその開始点により近い部分ほど、より高い重み付けをして、統合軌跡を生成する。

図１１は、順方向軌跡と逆方向軌跡との統合の様子を示す図である。

例えば、軌跡統合部１６０は、図１１Ａに示す、軌跡５（順方向軌跡２１２_５）と軌跡ａ（逆方向軌跡２２２_ａ）とを統合する、この場合、軌跡統合部１６０は、映像の時間軸の中央に当たる時刻ｔ_ｍよりも前の時刻については、軌跡５を抽出し、時刻ｔ_ｍ以降の時刻については、軌跡ａを抽出する。そして、軌跡統合部１６０は、図１１Ｂに示すように、抽出した軌跡５の前半部分と軌跡ａの後半部分とを、時刻ｔ_ｍで接続することにより、統合軌跡２５１を生成する。

なお、軌跡統合部１６０は、例えば、より滑らかな多段階の重み付けを行うことにより、より滑らかな統合軌跡を生成することができる。

図３のステップＳ１９００において、結果出力部１７０は、各軌跡とその信頼度とを含む軌跡情報を出力して、一連の処理を終了する。

例えば、結果出力部１７０は、各軌跡を、それぞれの信頼度が分かる状態で描画した軌跡表示画像を生成し、表示装置へ出力する。あるいは、結果出力部１７０は、移動体が軌跡に沿って移動した場合における、移動体の動線を示す映像を、それぞれの軌跡の信頼度が分かる状態で描画した動線表示映像を生成し、表示装置へ出力する。

図１２は、結果出力部１７０が生成する軌跡表示画像および動線表示映像の例を示す図である。

結果出力部１７０は、例えば、図１２Ａに示すような軌跡表示画像２６０を生成する。軌跡表示画像２６０は、相関度が高い軌跡ペアのそれぞれから生成された軌跡２６１を含む。なお、図１２Ａでは、開始点とその識別子を図示しているが、これらは必ずしも表示されなくてもよい。

ここで、軌跡ペア１−ｄの統合軌跡１−ｄ（軌跡２６１_１）は、軌跡ペア２−ｃの統合軌跡２−ｃ（軌跡２６１_２）や、軌跡ペア５−ａの統合軌跡５−ａ（軌跡２６１_３）よりも、太い線で描かれている。これは、ペア候補Ｄである軌跡ペア１−ｄは、ペア候補Ｃであるり、軌跡ペア２−ｃ、５−ａよりも、信頼度が高いからである。そして、そのような信頼度が高い軌跡ペアから生成される統合軌跡も、信頼度が高いからである。

また、結果出力部１７０は、例えば、図１２Ｂに示すような動線表示映像２６２を生成する。動線表示映像２６２は、例えば、再生中の映像に、軌跡２６１_１〜２６１_３の再生中の時刻の位置を示すマーカ２６３_１〜２６３_３を、重畳して表示する。各マーカ２６３は、対応する移動体の動線を示すことになる。

マーカ２６３は、映像の進行に伴って、統合軌跡をなぞるように移動する。統合軌跡が正しければ、マーカ２６３は移動体に正しく追従して移動し、統合軌跡が誤っていれば、マーカ２６３は移動体に正しく追従せず、離れたり、別の移動体への追従を開始することになる。したがって、ユーザは、実際の映像を参考にしながら、移動体追跡処理の結果の正しさを確認することができる。

なお、信頼度の差異は、線の太さ、マーカの大きさや形状、線あるいはマーカの色、輝度、点滅の有無、表示タイミングの差異等、様々な表示形態の差異によって示すことができる。

また、結果出力部１７０は、ペア候補Ｄの統合軌跡、ペア候補Ｃの統合軌跡、ペア候補Ａの統合軌跡、ペア候補Ｂの統合軌跡、および残りの軌跡のそれぞれに、軌跡の信頼度を示す５段階の指標値Ｖを付与してもよい。この場合、軌跡の信頼度は、例えば、追跡成功（Ｖ＝１）、追跡成功の可能性が高い（Ｖ＝２）、追跡成功の可能性が低い（Ｖ＝３）、追跡失敗の可能性あり（Ｖ＝４）、および追跡失敗（Ｖ＝５）のいずかを示す内容となる。

また、結果出力部１７０は、フレーム毎に、指標値Ｖを表す画像を、対応する移動体の位置に重畳して表示してもよい。例えば、結果出力部１７０は、移動体の腰の位置に、指標値Ｖに応じた色の丸印（○）を表示する。指標値Ｖ＝１〜４に対応する色は、例えば、順に、青、緑、黄色、赤である。これにより、ユーザは、追跡結果のそれぞれがどの程度の信用することができるかを、容易に判定することができる。

＜付加情報生成処理＞
なお、軌跡統合部１６０は、ペア候補Ｃ、Ｄ以外の軌跡（以下「低信頼度の軌跡」という）についても、出力の対象としてもよい。また、軌跡統合部１６０は、低信頼度の軌跡について、各時刻における正しい追跡結果としての尤もらしさ（以下「追跡尤度」という）を算出し、低信頼度の軌跡と当該軌跡に対応する追跡尤度に基づく優先度との組（以下「付加情報」という）を、出力してもよい。

図１３は、付加情報生成処理の一例を示すフローチャートである。軌跡解析装置１００は、例えば、図３のステップＳ１９００の処理の後に、ユーザによる付加情報表示を指示する操作が行われると、以下に説明する付加情報生成処理を実行する。また、図１４は、付加情報生成処理において生成される付加情報の例およびその過程を示す図である。

ステップＳ２１００において、軌跡統合部１６０は、低信頼度の軌跡を抽出する。

例えば、図１４Ａに示すように、軌跡３、４、ｂ、ｅが、低信頼度の軌跡として抽出される。

図１３のステップＳ２２００において、軌跡統合部１６０は、順方向軌跡毎、および、時刻ｔ毎に、他の全ての順方向軌跡との間の距離の最小値（以下「最短距離ｄ_ｔ」という）を算出する。

最短距離ｄ_ｔが小さい部分ほど、複数の移動体が至近距離で位置し、軌跡追跡が失敗している可能性が高い。また、最短距離ｄ_ｔが小さいほど、追跡対象の乗り移りや入れ替わりが既に発生してしまっている可能性が高い。

ステップＳ２３００において、軌跡統合部１６０は、最短距離ｄ_ｔに基づいて、追跡尤度ｐ_ｔを算出する。

例えば、軌跡統合部１６０は、最短距離ｄ_ｔが第６の閾値ｎ（正の定数）以下のとき、第ｉの軌跡の時刻ｔの部分の追跡尤度ｐ_ｔを、以下の式（１）で表される値とする。また、軌跡統合部１６０は、最短距離ｄ_ｔが第６の閾値ｎを超えているとき、第ｉの軌跡の時刻ｔの部分の追跡尤度ｐ_ｔを、以下の式（２）で表される値とする。
ｐ_ｔ ＝ ｄ_ｔ／ｎ （ｉｆ ｄ_ｔ ＜ ｎ） ・・・（１）
ｐ_ｔ ＝ １ （ｉｆ ｄ_ｔ ≧ ｎ） ・・・（２）

すなわち、追跡尤度ｐ_ｔは、ある一定の距離内において、最短距離ｄ_ｔが大きいほど大きい値となり、上記一定の距離以上において、固定の最大値「１」となる。

例えば、図１４Ｂに示すように、軌跡３の後半は、軌跡１、軌跡４、および軌跡５との距離が短い。また、軌跡４の後半は、軌跡１、軌跡３、および軌跡５との距離が短い。したがって、軌跡３、４の追跡尤度ｐ_ｔは、斜線で示す領域２７１において、低い値となる。

また、例えば、図１４Ｃに示すように、軌跡ｂの後半と軌跡ｅの後半との距離は、短い。近くなっている。また、軌跡４の後半は、軌跡１、軌跡３、および軌跡５との距離が短い。したがって、軌跡ｂ、ｅの追跡尤度ｐ_ｔは、斜線で示す領域２７２において、低い値となる。

図１３のステップＳ２４００において、軌跡統合部１６０は、算出された軌跡毎および時刻毎の追跡尤度ｐ_ｔに基づいて、信頼度の低い軌跡のそれぞれの優先度を決定する。ここで、優先度とは、信頼度が低いほどより低くなる指標値であり、例えば、ユーザへの提示の優先度に相当する。

ステップＳ２４００で、軌跡統合部１６０は、初期位置ごとに、ステップＳ２３００で算出した追跡尤度ｐ_ｔを用いて、軌跡の優先度を算出する。例えば、軌跡統合部１６０は、映像全体での追跡尤度ｐ_ｔの総和（以下「追跡尤度総和」という）Ｓが大きい順に、各軌跡の優先度をつける。

例えば、図１４Ｄに示す軌跡３、軌跡ｂ、および軌跡ｅの間では、軌跡ｂの追跡尤度総和Ｓが最も高く、次いで、軌跡ｅの追跡尤度総和Ｓが高く、軌跡３の追跡尤度総和Ｓが最も低くなる。

なお、軌跡統合部１６０は、追跡尤度総和Ｓが等しい複数の軌跡の間において、ペア候補Ａおよびペア候補Ｂの両方に含まれる開始点を含まない軌跡や、開始点における最短距離ｄ_ｔがより小さい軌跡に対して、より高い優先度を設定してもよい。

また、軌跡統合部１６０は、開始点毎に、軌跡情報に基づき、新たな軌跡の候補を生成してもよい。

例えば、図１４Ｅに示すように、軌跡ｂは、ある時刻に対応する菱形で示す位置２７３で、軌跡ｄと近接している。この場合、図１０で説明したように、追跡対象の乗り移りや入れ替えが発生した可能性がある。そこで、軌跡統合部１６０は、例えば、図１４Ｆに示すように、軌跡ｂの後半と軌跡ｄの前半とを接続して、新たな軌跡２７４を生成する。

なお、軌跡統合部１６０は、新たに生成された軌跡２７４の優先度は、軌跡ｅの優先度よりも低く設定してもよい。または、軌跡２７４の追跡尤度総和Ｓを算出し、軌跡３、ｂ、ｅ、２７４に対して、追跡尤度総和Ｓの高いものから順に優先度が高くなるように、優先度の設定し直しをしてもよい。

ステップＳ２５００において、軌跡統合部１６０は、低信頼度の軌跡（新たに生成されたものを含む）と優先度とを組み付けて、付加情報を生成する。そして、結果出力部１７０は、生成された付加情報を、例えば表示装置に出力して、一連の処理を終了する。

例えば、結果出力部１７０は、図１２で示した軌跡表示画像２６０あるいは動線表示映像２６２と同様の、軌跡と当該軌跡の優先度を示す情報とを表示する画像（映像）を、生成して表示させる。あるいは、結果出力部１７０は、軌跡統合部１６０は、ユーザ操作を受けて優先度の高いものから順に切り替えながら、軌跡と当該軌跡の優先度を示す情報とを表示する画像（映像）を順次表示させる。

また、結果出力部１７０は、時刻毎の追跡尤度ｐ_ｔを、軌跡の該当部分に対応付けて表示してもよい。例えば、結果出力部１７０は、軌跡の各部を、追跡尤度ｐ_ｔに反比例させた太さの線で示す。この場合、軌跡の線の太さが太いほど、追跡失敗の可能性が高いことを示している。したがって、ユーザは、軌跡の各部の追跡失敗の可能性の度合い、つまり信頼度を、直感的に把握することができる。

なお、結果出力部１７０は、ステップＳ２５００において、付加情報を生成して保存しておくだけでもよい。保存された付加情報は、例えば、後から読み出して出力することができる。

このような付加情報生成処理により、軌跡解析装置１００は、低信頼度の軌跡についても、それぞれの信頼度に対応した情報と共に出力することができ、移動体追跡処理の結果として有意性の高い情報を更に出力することができる。

なお、軌跡解析装置１００は、ペア候補Ｃ、Ｄの軌跡あるいは統合軌跡についても、追跡尤度ｐ_ｔを算出し、軌跡と追跡尤度ｐ_ｔとを対応付けた情報を出力してもよい。

また、追跡尤度ｐ_ｔ差異は、線の太さ、マーカの大きさ、線あるいはマーカの色、輝度、点滅の有無、表示タイミングの差異等、様々な表示形態の差異によって示すことができる。

以上のような動作により、軌跡解析装置１００は、各時刻における軌跡間の距離に基づいて、軌跡ペアを抽出すると共に、各軌跡ペアの確からしさ（信頼度）を判定することができる。これにより、軌跡解析装置１００は、軌跡の誤マッチングの可能性を削減して、軌跡の確からしさについての判定精度を向上させることができる。

また、軌跡解析装置１００は、各軌跡ペアの確からしさの判定結果を含めた軌跡情報を、出力することができる。これにより、軌跡解析装置１００は、追跡精度が低い場合であっても、軌跡とその信頼度との組という、移動体追跡処理の結果として有意性の高い情報を出力することができる。

なお、上記第１〜第５の閾値は、実験等により予め定められた値であってもよいし、ユーザ操作等により可変の値であってもよい。

例えば、第１〜第３、および第５の閾値は、追跡対象の物体サイズに応じて（例えば、比例して）調整されることが望ましい。また、第４の閾値は、対象物体の速さや動きに応じて（例えば、比例して）調整されることが望ましい。また、各閾値は、ユーザの好みに応じて、厳しめに（より信頼性の高い軌跡ペアのみが抽出されるように）設定されてもよい。更に、各閾値は、移動体追跡処理の結果を確認するユーザの熟練度に応じて、設定さてもよい。例えば、軌跡の手入力による修正操作が苦手な初心者に対しては、軌跡の候補が多数提示されるように、第５の閾値は、緩目に（大き目に）設定されてもよい。

また、ステップＳ１２００、Ｓ１３００の処理順序、ステップＳ１４００、Ｓ１５００の処理順序、およびステップＳ１３００、Ｓ１４００の処理順序は、それぞれ、前後してもよい。また、ペア候補Ｃとペア候補Ｄとの間の信頼度の差異を出力しない場合、ステップＳ１７４０、Ｓ１７５０は、省略されてもよい。

＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る軌跡解析装置１００は、順方向軌跡と逆方向軌跡との間の相関度を算出し、相関度に応じた信頼度と、当該信頼度に対応する軌跡との組を示す軌跡情報を出力することができる。すなわち、軌跡解析装置１００は、追跡精度が低い場合であっても、軌跡とその信頼度との組という、移動体追跡処理の結果として有意性の高い情報を出力することができる。

また、本実施の形態に係る軌跡解析装置１００は、上記情報を、画像で表示し、例えば、映像に重畳して当該画像を表示する。これにより、ユーザは、移動体追跡処理の結果として得られた軌跡の妥当性の確認を、より効率的に行うことができる。

また、本実施の形態に係る軌跡解析装置１００は、より信頼度が高い軌跡を優先的に出力対象として選択するので、精度がより高い軌跡を出力することができる。

＜他の処理対象＞
なお、軌跡解析装置１００が移動体追跡処理の対象は、上述のサッカー選手に限定されるものではなく、他のスポーツのプレイヤー、レーシングカー、工場の作業員、動物等、各種の移動体とすることができる。また、軌跡解析装置１００は、必ずしも移動体追跡処理を行わなくてもよく、他の装置から、順方向軌跡および逆方向軌跡を取得してもよい。

本開示の軌跡解析装置は、映像に対して時間軸の順方向に沿って移動体追跡処理を行った結果である順方向軌跡と、前記映像に対して前記時間軸の逆方向に沿って移動体追跡処理を行った結果である逆方向軌跡との間の、相関度を算出するマッチング部と、算出された相関度に応じた信頼度と、当該信頼度に対応する、前記順方向軌跡、前記逆方向軌跡、および、これらの軌跡を統合した統合軌跡のうち、少なくとも１つの軌跡と、の組を示す軌跡情報を出力する結果出力部と、を有する。

なお、上記軌跡解析装置は、前記時間軸における時刻毎に、当該時刻における前記順方向軌跡と前記逆方向軌跡との間の距離を算出する距離算出部、を有し、前記相関度は、算出された前記距離が短いほど高くてもよい。

また、上記軌跡解析装置は、前記映像を入力する映像入力部と、前記映像に対し、前記順方向軌跡の開始位置である順方向開始点と、前記逆方向軌跡の開始位置である逆方向開始点と、を設定する開始位置設定部と、前記映像に対し、前記順方向開始点に位置する移動体について前記順方向に沿って前記移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について前記逆方向に沿って前記移動体追跡処理を行って前記逆方向軌跡を生成する追跡部と、前記順方向軌跡と前記逆方向軌跡とを統合して前記統合軌跡を生成する軌跡統合部、を有してもよい。

また、上記軌跡解析装置において、前記マッチング部は、前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記相関度に応じて、同一の移動体に対応する可能性が高い前記順方向軌跡と前記逆方向軌跡とのペアを決定し、前記軌跡統合部は、決定された前記ペアの前記順方向軌跡と前記逆方向軌跡とを統合して、前記統合軌跡を生成してもよい。

また、上記軌跡解析装置において、前記マッチング部は、前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記距離の前記時間軸における総和が第１の閾値以下となる、前記順方向軌跡と前記逆方向軌跡との組を、第１のペアとし、前記第１のペア以外で、前記距離が第３の閾値以下となる区間が前記時間軸において第４の閾値以上連続する、前記順方向軌跡と前記逆方向軌跡との組を、前記第１のペアよりも前記相関度が低い第２のペアとし、前記第１のペアおよび前記第２のペアから、前記第１のペアおよび前記第２のペアの両方に同一の前記順方向開始点あるいは同一の前記逆方向開始点が含まれる前記ペアを除いたペアを、前記第２のペアよりも前記相関度が高い第３のペアとし、前記第１〜第３のペアのいずれにも属さない前記ペアあるいは前記軌跡に対して、前記第２のペアに対応する前記信頼度よりも低い前記信頼度を設定し、前記結果出力部は、複数の前記軌跡の間の前記信頼度の差異を表す前記軌跡情報を出力してもよい。

また、上記軌跡解析装置において、前記マッチング部は、前記第３のペアから、前記時間軸におけるいずれかの時刻において、複数の前記順方向軌跡の間、あるいは、複数の前記逆方向軌跡の間で、他の前記軌跡との距離が第５の閾値以下となる前記軌跡に、前記順方向開始点あるいは前記逆方向開始点が含まれる前記ペアを除いたペアを、前記第３のペアよりも前記相関度が高い第４のペアとしてもよい。

また、上記軌跡解析装置において、前記結果出力部は、前記軌跡を示した画像を前記軌跡情報として生成し、前記画像は、前記信頼度の差異を、前記画像における前記軌跡の表示形態の差異により表示してもよい。

また、上記軌跡解析装置において、前記軌跡統合部は、前記順方向軌跡のうち前記順方向開始点により近い部分ほど、および、前記逆方向軌跡のうち前記逆方向開始点により近い部分ほど、より高い重み付けをして、前記統合軌跡を生成してもよい。

また、上記軌跡解析装置において、前記軌跡統合部は、複数の前記順方向軌跡の間の時刻毎の距離、あるいは、複数の前記逆方向軌跡の間の時刻毎の距離、に基づいて、前記軌跡の各部の追跡尤度を算出し、前記結果出力部は、算出された前記追跡尤度に関する情報を出力してもよい。

本開示の軌跡解析方法は、映像に対して時間軸の順方向に沿って移動体追跡処理を行った結果である順方向軌跡と、前記映像に対して前記時間軸の逆方向に沿って移動体追跡処理を行った結果である逆方向軌跡との間の、相関度を算出するステップと、算出された相関度に応じた信頼度と、当該信頼度に対応する、前記順方向軌跡、前記逆方向軌跡、および、これらの軌跡を統合した統合軌跡のうち、少なくとも１つの軌跡と、の組を示す軌跡情報を出力するステップと、を有する。

本発明は、追跡精度が低い場合であっても、移動体追跡処理の結果として有意性の高い情報を出力することができる、軌跡解析装置および軌跡解析方法として有用である。

１００ 軌跡解析装置
１１０ 映像入力部
１２０ 開始位置設定部
１３０ 追跡部
１４０ 距離算出部
１５０ マッチング部
１６０ 軌跡統合部
１７０ 結果出力部

Claims (11)

1. 映像を入力する映像入力部と、
   前記映像に対し、順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定する開始位置設定部と、
   前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成する追跡部と、
   前記時間軸における時刻毎に、当該時刻における前記順方向軌跡と前記逆方向軌跡との間の距離を算出する距離算出部と、
   前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記距離に応じて算出される相関度に応じて、同一の移動体に対応する可能性が高い前記順方向軌跡と前記逆方向軌跡とのペアを決定するマッチング部と、
   決定された前記ペアの前記順方向軌跡と前記逆方向軌跡とを統合して、統合軌跡を生成する軌跡統合部と、
   前記統合軌跡を出力する結果出力部と、を有する、
   軌跡解析装置。
2. 映像を入力する映像入力部と、
   前記映像に対し、順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定する開始位置設定部と、
   前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成する追跡部と、
   前記時間軸における時刻毎に、当該時刻における前記順方向軌跡と前記逆方向軌跡との間の距離を算出する距離算出部と、
   前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記距離の前記時間軸における総和が第１の閾値以下となる、前記順方向軌跡と前記逆方向軌跡との組を、第１のペアとし、前記第１のペア以外で、前記距離が第３の閾値以下となる区間が前記時間軸において第４の閾値以上連続する、前記順方向軌跡と前記逆方向軌跡との組を、前記順方向軌跡と前記逆方向軌跡との間の距離に応じて算出される相関度が前記第１のペアよりも低い第２のペアとし、前記第１のペアおよび前記第２のペアから、前記第１のペアおよび前記第２のペアの両方に同一の前記順方向開始点あるいは同一の前記逆方向開始点が含まれる前記ペアを除いたペアを、前記第２のペアよりも前記相関度が高い第３のペアとし、前記第１〜前記第３のペアのいずれにも属さない前記ペアあるいは前記軌跡に対して、前記第２のペアに対応する前記相関度に応じた信頼度よりも低い前記信頼度を設定するマッチング部と、
   複数の前記軌跡の間の前記信頼度の差異を出力する結果出力部と、を有する、
   軌跡解析装置。
3. 前記マッチング部は、
   前記第３のペアから、前記時間軸におけるいずれかの時刻において、複数の前記順方向軌跡の間、あるいは、複数の前記逆方向軌跡の間で、他の前記軌跡との距離が第５の閾値以下となる前記軌跡に、前記順方向開始点あるいは前記逆方向開始点が含まれる前記ペアを除いたペアを、前記第３のペアよりも前記相関度が高い第４のペアとする、
   請求項２に記載の軌跡解析装置。
4. 前記相関度は、算出された前記距離が短いほど高い、
   請求項１から３の何れか１項に記載の軌跡解析装置。
5. 前記軌跡統合部は、
   前記順方向軌跡のうち前記順方向開始点により近い部分ほど、および、前記逆方向軌跡のうち前記逆方向開始点により近い部分ほど、より高い重み付けをして、前記統合軌跡を生成する、
   請求項１に記載の軌跡解析装置。
6. 前記結果出力部は、
   算出された前記相関度に応じた信頼度と、当該信頼度に対応する、前記順方向軌跡、前記逆方向軌跡、および、前記統合軌跡のうち、少なくとも１つの軌跡と、の組を示す軌跡情報を出力する、
   請求項１に記載の軌跡解析装置。
7. 前記結果出力部は、
   前記軌跡を示した画像を前記軌跡情報として生成し、前記画像は、前記信頼度の差異を、前記画像における前記軌跡の表示形態の差異により表示する、
   請求項６に記載の軌跡解析装置。
8. 映像を入力する映像入力部と、
   前記映像に対し、順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定する開始位置設定部と、
   前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成する追跡部と、
   複数の前記順方向軌跡の間の時刻毎の距離、あるいは、複数の前記逆方向軌跡の間の時刻毎の距離、に基づいて、前記軌跡の各部の追跡尤度を算出する、軌跡統合部と、
   算出された前記追跡尤度に関する情報を出力する結果出力部と、を有する、
   軌跡解析装置。
9. 映像を入力し、
   順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定し、
   前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成し、
   前記時間軸における時刻毎に、当該時刻における前記順方向軌跡と前記逆方向軌跡との間の距離を算出し、
   前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記距離に応じて算出される相関度に応じて、同一の移動体に対応する可能性が高い前記順方向軌跡と前記逆方向軌跡とのペアを決定し、
   決定された前記ペアの前記順方向軌跡と前記逆方向軌跡とを統合して、統合軌跡を生成し、
   前記統合軌跡を出力する、
   軌跡解析方法。
10. 映像を入力し、
    順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定し、
    前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成し、
    前記時間軸における時刻毎に、当該時刻における前記順方向軌跡と前記逆方向軌跡との間の距離を算出し、
    前記順方向軌跡および前記逆方向軌跡の少なくとも一方が複数存在する場合において、前記距離の前記時間軸における総和が第１の閾値以下となる、前記順方向軌跡と前記逆方向軌跡との組を、第１のペアとし、前記第１のペア以外で、前記距離が第３の閾値以下となる区間が前記時間軸において第４の閾値以上連続する、前記順方向軌跡と前記逆方向軌跡との組を、前記順方向軌跡と前記逆方向軌跡との間の距離に応じて算出される相関度が前記第１のペアよりも低い第２のペアとし、前記第１のペアおよび前記第２のペアから、前記第１のペアおよび前記第２のペアの両方に同一の前記順方向開始点あるいは同一の前記逆方向開始点が含まれる前記ペアを除いたペアを、前記第２のペアよりも前記相関度が高い第３のペアとし、前記第１〜前記第３のペアのいずれにも属さない前記ペアあるいは前記軌跡に対して、前記第２のペアに対応する前記相関度に応じた信頼度よりも低い前記信頼度を設定し、
    複数の前記軌跡の間の前記信頼度の差異を出力する、
    軌跡解析方法。
11. 映像を入力し、
    順方向軌跡の開始位置である順方向開始点と、逆方向軌跡の開始位置である逆方向開始点と、を設定し、
    前記映像に対し、前記順方向開始点に位置する移動体について、時間軸の順方向に沿って移動体追跡処理を行って前記順方向軌跡を生成し、前記映像に対し、前記逆方向開始点に位置する移動体について、前記時間軸の逆方向に沿って移動体追跡処理を行って前記逆方向軌跡を生成し、
    複数の前記順方向軌跡の間の時刻毎の距離、あるいは、複数の前記逆方向軌跡の間の時刻毎の距離、に基づいて、前記軌跡の各部の追跡尤度を算出し、
    算出された前記追跡尤度に関する情報を出力する、
    軌跡解析方法。

Images