JP7008898B1 - 目標追尾装置、目標追尾システム、及び目標追尾方法 - Google Patents

Abstract

目標追尾装置（１）は、検出部（５）が検出した複数種の観測特徴量と予測部（６）が予測した複数種の予測特徴量との相関を決定する相関部（７）と、相関部（７）が決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する特徴量選択部（８）と、検出部（５）が検出した複数種の観測特徴量のうちの、特徴量選択部（８）が選択した種別に該当する観測特徴量、及び、予測部（６）が予測した複数種の予測特徴量のうちの、特徴量選択部（８）が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出するフィルタリング部（９）と、を備えている。

Description

本発明は、目標追尾装置に関する。

予防保全又は防災を目的として、船舶、自動車、航空機又は人物等の移動体を監視することが求められている。移動体を継続的に監視する手段として、カメラ、レーダ又はレーザ等の非接触センサによって移動体を目標として検出及び追尾する技術が知られている（例えば、特許文献１参照）。

特開２０１１－２３２８２２号公報

目標を検出及び追尾する従来技術では、目標の検出及び追尾に用いられる画像のぼけ、画像の撮影環境、又は画像における目標の写り方等によっては、目標の位置等の特徴量を検出する検出精度が安定せずに、目標を追尾する追尾性能が劣化してしまうという問題がある。
この発明は、上記のような問題点を解決するためになされたものであり、目標を追尾する追尾性能を向上させる技術を提供することを目的とする。

この発明に係る目標追尾装置は、目標に関するセンサデータを取得する取得部と、取得部が取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を検出する検出部と、検出部が過去に検出した過去の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する予測部と、検出部が検出した複数種の観測特徴量と予測部が予測した複数種の予測特徴量との相関を決定する相関部と、相関部が決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する特徴量選択部と、検出部が検出した複数種の観測特徴量のうちの、特徴量選択部が選択した種別に該当する観測特徴量、及び、予測部が予測した複数種の予測特徴量のうちの、特徴量選択部が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出するフィルタリング部と、を備えている。

この発明によれば、目標を追尾する追尾性能を向上させることができる。

実施の形態１に係る目標追尾装置を備えている目標追尾システムの構成を示すブロック図である。 実施の形態１に係る目標追尾装置による目標追尾方法を示すフローチャートである。 実施の形態１に係る目標追尾装置による目標追尾方法の第１の具体例を説明するための概念図である。 実施の形態１に係る目標追尾装置による目標追尾方法の第２の具体例を説明するための概念図である。 実施の形態１に係る目標追尾装置による目標追尾方法の第３の具体例を説明するための概念図である。 実施の形態１に係る目標追尾装置による目標追尾方法の第４の具体例を説明するための概念図である。 実施の形態１に係る目標追尾装置によるパラメータ調整方法を示すフローチャートである。 図８Ａは、センサ部がカメラである場合の目標追尾装置の機能を実現するハードウェア構成を示すブロック図である。図８Ｂは、センサ部がレーダである場合の目標追尾装置の機能を実現するハードウェア構成を示すブロック図である。 図９Ａは、センサ部がカメラである場合の目標追尾装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図９Ｂは、センサ部がレーダである場合の目標追尾装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態２に係る目標追尾装置を備えている目標追尾システムの構成を示すブロック図である。 実施の形態２に係る目標追尾装置による目標追尾方法を示すフローチャートである。 実施の形態３に係る目標追尾装置を備えている目標追尾システムの構成を示すブロック図である。 実施の形態３に係る目標追尾装置による目標追尾方法を示すフローチャートである。 実施の形態３に係る目標追尾装置による目標追尾方法の具体例を説明するための概念図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る目標追尾装置１を備えている目標追尾システム１００の構成を示すブロック図である。図１が示すように、目標追尾システム１００は、センサ部２、目標追尾装置１、及び表示装置３を備えている。目標追尾装置１は、取得部４、検出部５、予測部６、相関部７、特徴量選択部８、及びフィルタリング部９を備えている。

センサ部２は、目標を検知することにより、目標に関するセンサデータを取得する。センサ部２が検知する目標の数は、単数であってもよいし、複数であってもよい。センサ部２は、例えば、カメラ、レーダ、又はレーザセンサ等である。例えば、センサ部２がカメラである場合、当該カメラは、目標を撮影することによりセンサデータとして画像を取得する。例えば、当該画像は、複数のフレームから構成された動画像である。センサ部２は取得したセンサデータを取得部４に出力する。

取得部４は、目標に関するセンサデータを取得する。実施の形態１では、取得部４は、センサ部２が取得したセンサデータを取得する。取得部４は、取得したセンサデータを検出部５に出力する。

検出部５は、取得部４が取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を検出する。より詳細には、センサ部２がカメラであり、取得部４がセンサデータとして画像を取得した場合、検出部５は、取得部４が取得した画像に基づいて、現在時刻における複数種の観測特徴量を検出する。その場合、検出部５は、取得部４が取得した画像に対して、例えば、ＳＳＤ（Single Shot MultiBox Detector）又はｙｏｌｏ（You Look Only Once）等の目標検出アルゴリズムを用いて、現在時刻における複数種の観測特徴量を検出する。

検出部５が検出する、現在時刻における複数種の観測特徴量は、例えば、目標の位置、目標の大きさ、センサ部２から目標までの距離、目標の色ヒストグラム、目標の勾配方向ヒストグラム、又は、目標を囲うバウンディングボックスに関する複数種の観測特徴量等である。当該バウンディングボックスが２次元のバウンディングボックスである場合、バウンディングボックスに関する複数種の観測特徴量は、例えば、四角形のバウンディングボックスの４つの頂点の各位置、又は、四角形のバウンディングボックスの縦サイズ若しくは横サイズ等である。当該バウンディングボックスが３次元のバウンディングボックスである場合、バウンディングボックスに関する複数種の観測特徴量は、例えば、六面体のバウンディングボックスの８つの頂点の各位置、又は、六面体のバウンディングボックスの縦サイズ、横サイズ若しくは奥行サイズ等である。

検出部５は、取得部４が取得したセンサデータに基づいて、局所領域毎に、現在時刻における複数種の観測特徴量を検出してもよい。
検出部５は、検出した複数種の観測特徴量を予測部６に出力する。なお、本明細書において、簡略化のため、「複数種の観測特徴量」という用語は、「過去の」等の修飾語を付さない限り、現在時刻における複数種の観測特徴量を意味するものとする。

予測部６は、検出部５が過去に検出した過去の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する。なお、予測部６は、後述するフィルタリング部９が算出した過去の出力用特徴量にさらに基づいて、現在時刻における複数種の予測特徴量を予測する。

予測部６が現在時刻における複数種の予測特徴量を予測する具体的な方法の例として、例えば、等速直線モデル又は旋回モデル等の運動モデルを用いて目標の状態の変化を予測する方法が挙げられる。より詳細には、例えば、予測部６は、検出部５が過去に検出した過去の複数種の観測特徴量と、後述するフィルタリング部９が算出した過去の出力用特徴量とを、目標の状態の変化を示す状態方程式に入力することにより、現在時刻における複数種の予測特徴量を予測する。

予測部６が予測する、現在時刻における複数種の予測特徴量は、例えば、目標の位置、目標の大きさ、センサ部２から目標までの距離、目標の色ヒストグラム、目標の勾配方向ヒストグラム、又は、目標を囲うバウンディングボックスに関する複数種の予測特徴量等である。当該バウンディングボックスが２次元のバウンディングボックスである場合、バウンディングボックスに関する複数種の予測特徴量は、例えば、四角形のバウンディングボックスの４つの頂点の各位置、又は、バウンディングボックスの縦サイズ若しくは横サイズ等である。当該バウンディングボックスが３次元のバウンディングボックスである場合、バウンディングボックスに関する複数種の予測特徴量は、例えば、六面体のバウンディングボックスの８つの頂点の各位置、又は、六面体のバウンディングボックスの縦サイズ、横サイズ若しくは奥行サイズ等である。なお、予測部６は、これらの現在時刻における複数種の予測特徴量を予測する際に、対応する過去の複数種の観測特徴量に基づいて予測する。

予測部６は、検出部５が局所領域毎に複数種の観測特徴量を検出する場合、検出部５が過去に局所領域毎に検出した過去の複数種の観測特徴量に基づいて、局所領域毎に、現在時刻における複数種の予測特徴量を予測する。
予測部６は、予測した複数種の予測特徴量を相関部７に出力する。なお、本明細書において、簡略化のため、「複数種の予測特徴量」という用語は、「過去の」等の修飾語を付さない限り、現在時刻における複数種の予測特徴量を意味するものとする。

相関部７は、検出部５が検出した複数種の観測特徴量と、予測部６が予測した複数種の予測特徴量との相関を決定する。より詳細には、例えば、相関部７は、検出部５が検出した複数種の観測特徴量と、予測部６が予測した複数種の予測特徴量とを比較することにより、検出部５が検出した複数種の観測特徴量と、予測部６が予測した複数種の予測特徴量との対応関係を決定する。

相関部７が上記の相関を決定する具体的な方法の例として、例えば、ＧＮＮ（Global Nearest Neighbor）又はＭＨＴ（Multiple Hypothesis Tracking）等の相関アルゴリズムを用いて上記の対応関係を決定する方法が挙げられる。

相関部７が決定する相関は、例えば、検出部５が検出した目標の大きさと予測部６が予測した目標の大きさとの相関、検出部５が検出した目標の色ヒストグラムと、予測部６が予測した目標の色ヒストグラムとの相関、検出部５が検出した目標の勾配方向ヒストグラムと、予測部６が予測した目標の勾配方向ヒストグラムとの相関、又は、検出部５が検出した局所領域毎の複数種の観測特徴量である。または、相関部７が決定する相関は、予測部６が予測した局所領域毎の複数種の予測特徴量との相関、検出部５が検出した目標までの距離及び目標の平面上の位置と予測部６が予測した目標までの距離及び目標の平面上の位置との相関、又は、検出部５が検出したバウンディングボックスに関する複数種の観測特徴量と予測部６が予測したバウンディングボックスに関する複数種の予測特徴量との相関である。

相関部７は、検出部５が局所領域毎に複数種の観測特徴量を検出し、予測部６が局所領域毎に複数種の予測特徴量を予測した場合、局所領域毎に、検出部５が局所領域毎に検出した複数種の観測特徴量と、予測部６が局所領域毎に予測した複数種の予測特徴量との相関を決定する。
相関部７は、決定した相関を示す情報を、特徴量選択部８に出力する。

特徴量選択部８は、相関部７が決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する。より詳細には、例えば、相関部７が観測特徴量と当該観測特徴量に対応する予測特徴量との差を相関として決定した場合、特徴量選択部８は、相関部７が決定した当該差が、所定の閾値以下であるか否かを判定し、当該差が所定の閾値以下である場合、当該観測特徴量及び当該予測特徴量の種別を、フィルタリングの対象として選択する。

特徴量選択部８が選択する特徴量の種別は、例えば、目標の位置、目標の大きさ、センサ部２から目標までの距離、目標の色ヒストグラム、目標の勾配方向ヒストグラム、又は、目標を囲うバウンディングボックスに関する特徴量等である。当該バウンディングボックスが２次元のバウンディングボックスである場合、バウンディングボックスに関する特徴量は、例えば、四角形のバウンディングボックスの４つの頂点のうちの少なくとも１つ以上の頂点の位置、又は、四角形のバウンディングボックスの縦サイズ若しくは横サイズ等である。当該バウンディングボックスが３次元のバウンディングボックスである場合、バウンディングボックスに関する特徴量は、例えば、六面体のバウンディングボックスの８つの頂点のうちの少なくとも１つ以上の頂点の位置、又は、六面体のバウンディングボックスの縦サイズ、横サイズ若しくは奥行サイズ等である。

特徴量選択部８は、相関部７が局所領域毎に相関を決定した場合、相関部７が局所領域毎に決定した相関に基づいて、局所領域毎に、フィルタリングの対象とする特徴量の種別を選択する。
特徴量選択部８は、選択した種別を示す情報をフィルタリング部９に出力する。

フィルタリング部９は、検出部５が検出した複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出する。

例えば、フィルタリング部９は、検出部５が検出した複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量に基づいて、予測部６が予測した複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量をフィルタリングすることにより、出力用特徴量を算出する。または、例えば、フィルタリング部９は、予測部６が予測した複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、検出部５が検出した複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量をフィルタリングすることにより、出力用特徴量を算出する。

フィルタリング部９が出力用特徴量を算出するために用いる具体的なフィルタリングの例として、例えば、カルマンフィルタ、非線形カルマンフィルタ若しくは粒子フィルタ等の状態推定フィルタを用いたフィルタリング、又はα－βフィルタを用いたフィルタリング等が挙げられる。

フィルタリング部９が算出する出力用特徴量は、例えば、目標の位置、目標の大きさ、センサ部２から目標までの距離、目標の色ヒストグラム、目標の勾配方向ヒストグラム、又は、目標を囲うバウンディングボックスに関する特徴量等である。当該バウンディングボックスが２次元のバウンディングボックスである場合、バウンディングボックスに関する特徴量は、例えば、四角形のバウンディングボックスの４つの頂点のうちの少なくとも１つ以上の頂点の位置、又は、四角形のバウンディングボックスの縦サイズ若しくは横サイズ等である。当該バウンディングボックスが３次元のバウンディングボックスである場合、バウンディングボックスに関する特徴量は、例えば、六面体のバウンディングボックスの８つの頂点のうちの少なくとも１つ以上の頂点の位置、又は、六面体のバウンディングボックスの縦サイズ、横サイズ若しくは奥行サイズ等である。

フィルタリング部９は、特徴量選択部８が局所領域毎に種別を選択した場合、検出部５が局所領域毎に検出した複数種の観測特徴量のうちの、特徴量選択部８が局所領域毎に選択した種別に該当する観測特徴量、及び、予測部６が局所領域毎に予測した複数種の予測特徴量のうちの、特徴量選択部８が局所領域毎に選択した種別に該当する予測特徴量に基づいて、局所領域毎にフィルタリングを行うことにより、局所領域毎に出力用特徴量を算出する。
フィルタリング部９は、算出した出力用特徴量を、表示装置３と予測部６とに出力する。

表示装置３は、フィルタリング部９が算出した出力用特徴量に基づいた画像を表示する。より詳細には、例えば、表示装置３は、フィルタリング部９が算出した出力用特徴量を数値として示す画像を表示する。または、例えば、表示装置３は、フィルタリング部９が算出した出力用特徴量が反映された画素を含む画像を表示する。

なお、上述の通り、予測部６は、検出部５が過去に検出した過去の複数種の観測特徴量に加えて、フィルタリング部９が算出した過去の出力用特徴量にさらに基づいて、現在時刻における複数種の予測特徴量を予測する。より詳細には、上述の予測部６は、フィルタリング部９が算出した過去の出力用特徴量と、検出部５が過去に検出した過去の複数種の観測特徴量のうち、フィルタリング部９が算出した過去の出力用特徴量の種別に該当しない種別の観測特徴量と、に基づいて、現在時刻における複数種の予測特徴量を予測する。

次に、実施の形態１に係る目標追尾装置１の動作について図面を参照して説明する。図２は、実施の形態１に係る目標追尾装置１による目標追尾方法を示すフローチャートである。なお、目標追尾装置１が当該目標追尾方法を実行する前に、上述のセンサ部２が、目標を検知することにより、目標に関するセンサデータを取得し、当該センサデータを取得部４に出力したものとする。

図２が示すように、取得部４は、センサ部２が取得したセンサデータを取得する（ステップＳＴ１）。取得部４は、取得したセンサデータを検出部５に出力する。
次に、検出部５は、取得部４が取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を検出する（ステップＳＴ２）。検出部５は、検出した複数種の観測特徴量を予測部６に出力する。

次に、予測部６は、検出部５が過去に検出した過去の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する（ステップＳＴ３）。予測部６は、予測した複数種の予測特徴量を相関部７に出力する。

次に、相関部７は、検出部５が検出した複数種の観測特徴量と、予測部６が予測した複数種の予測特徴量との相関を決定する（ステップＳＴ４）。相関部７は、決定した相関を示す情報を、特徴量選択部８に出力する。

次に、特徴量選択部８は、相関部７が決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する（ステップＳＴ５）。特徴量選択部８は、選択した種別を示す情報をフィルタリング部９に出力する。

次に、フィルタリング部９は、検出部５が検出した複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出する（ステップＳＴ６）。フィルタリング部９は、算出した出力用特徴量を、表示装置３と予測部６とに出力する。

次に、表示装置３は、表示装置３は、フィルタリング部９が算出した出力用特徴量に基づいた画像を表示する。また、センサ部２は、目標を新たに検知することにより、目標に関するセンサデータを新たに取得し、当該センサデータを取得部４に出力する。

取得部４は、ステップＳＴ１の処理に戻り、センサ部２が新たに取得したセンサデータを取得する。次に、検出部５は、ステップＳＴ２の処理として、取得部４が新たに取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を新たに検出する。次に、ステップＳＴ３の処理として、予測部６は、検出部５が過去に検出した過去の複数種の観測特徴量と、上記のステップＳＴ６においてフィルタリング部９が算出した過去の出力用特徴量とに基づいて、現在時刻における複数種の予測特徴量を新たに予測する。そして、上述の通り、目標追尾装置１は、ステップＳＴ４からステップＳＴ６までの各工程を再度実行する。以上のように、目標追尾装置１は、ステップＳＴ１からステップＳＴ６の各工程を繰り返すことにより、目標を追尾する。

次に、実施の形態１に係る目標追尾装置１による目標追尾方法の第１の具体例について図面を参照して説明する。図３は、目標追尾装置１による目標追尾方法の第１の具体例を説明するための概念図である。なお、当該第１の具体例では、目標追尾装置１は、前の時刻において、上述のステップＳＴ１からステップＳＴ６を行い、前の時刻における目標を囲うバウンディングボックスＰを予め導出したものとする。また、センサ部２は、目標を予め検知することにより、目標を示す画像を予め取得したものとする。

まず、上述のステップＳＴ１において、取得部４は、センサ部２がセンサデータとして取得した画像を取得する。次に、上述のステップＳＴ２において、検出部５は、取得部４が取得した画像に基づいて、現在時刻における目標を囲うバウンディングボックスに関する複数種の観測特徴量として、バウンディングボックスＱの４つの頂点の各位置、及びバウンディングボックスＱの縦サイズＬ及び横サイズＷを検出する。つまり、目標の状態の変化を示す状態方程式に用いられる状態ベクトルは、位置及びサイズである。なお、図３が示すように、バウンディングボックスＱは、前景Ｒによるオクルージョンによって、前の時刻のバウンディングボックスＰとは、形状が異なっている。

次に、上述のステップＳＴ３において、予測部６は、前の時刻におけるバウンディングボックスＰの４つの頂点の各位置、及びバウンディングボックスＰの縦サイズ及び横サイズに基づいて、現在時刻におけるバウンディングボックスＳの４つの頂点の各位置、及びバウンディングボックスＳの縦サイズ及び横サイズを予測する。

次に、上述のステップＳＴ４において、相関部７は、検出部５が検出したバウンディングボックスＱの４つの頂点の各位置並びにバウンディングボックスＱの縦サイズＬ及び横サイズＷと、予測部６が予測したバウンディングボックスＳの４つの頂点の各位置並びにバウンディングボックスＳの縦サイズ及び横サイズとの相関を決定する。この際、例えば、相関部７は、バウンディングボックスＱに関する観測特徴量と、当該観測特徴量に対応するバウンディングボックスＳに関する予測特徴量との差が所定の閾値以下であるか否かを判定する。

上記の判定の結果として、相関部７は、上記の差が所定の閾値以下であると判定したバウンディングボックスＱの左上の頂点の位置とバウンディングボックスＳの左上の頂点の位置とが対応しているものとする。また、相関部７は、上記の差が所定の閾値以下であると判定したバウンディングボックスＱの右上の頂点の位置とバウンディングボックスＳの右上の頂点の位置とが対応しているものとする。また、相関部７は、上記の差が所定の閾値以下であると判定したバウンディングボックスＱの横サイズＷとバウンディングボックスＳの横サイズとが対応しているものとする。

一方、相関部７は、バウンディングボックスＱがオクルージョンの影響を受けているか否かをさらに判定する。そして、相関部７は、オクルージョン判定の結果として、バウンディングボックスＱの左下の頂点の位置及び右下の頂点の位置、及びバウンディングボックスＱの縦サイズＬが、前景Ｒによるオクルージョンの影響を受けているものとする。つまり、相関部７は、バウンディングボックスＱの左下の頂点の位置及び右下の頂点の位置並びにバウンディングボックスＱの縦サイズＬと、バウンディングボックスＳの左下の頂点の位置及び右下の頂点の位置並びにバウンディングボックスＳの縦サイズとはそれぞれ対応関係がないものとする。
次に、上述のステップＳＴ５において、特徴量選択部８は、相関部７が決定した相関に基づいて、フィルタリングの対象として、バウンディングボックスの左上の頂点の位置及び右上の頂点の位置、並びにバウンディングボックスの横サイズを選択する。

次に、上述のステップＳＴ６において、フィルタリング部９は、バウンディングボックスＱの左上の頂点の位置とバウンディングボックスＳの左上の頂点の位置とに基づいて、フィルタリングを行うことにより、出力用特徴量として、バウンディングボックスＴの左上の頂点の位置を算出する。また、フィルタリング部９は、バウンディングボックスＱの右上の頂点の位置とバウンディングボックスＳの右上の頂点の位置とに基づいて、フィルタリングを行うことにより、出力用特徴量として、バウンディングボックスＴの右上の頂点の位置を算出する。また、フィルタリング部９は、バウンディングボックスＱの横サイズＷとバウンディングボックスＳの横サイズとに基づいて、フィルタリングを行うことにより、出力用特徴量として、バウンディングボックスＴの横サイズを算出する。

次に、実施の形態１に係る目標追尾装置１による目標追尾方法の第２の具体例について図面を参照して説明する。図４は、目標追尾装置１による目標追尾方法の第２の具体例を説明するための概念図である。なお、当該第２の具体例では、目標追尾装置１は、前の時刻において、上述のステップＳＴ１からステップＳＴ６を行い、前の時刻における目標を囲うバウンディングボックスＰ２を予め導出したものとする。また、センサ部２は、目標を予め検知することにより、目標を示す画像を予め取得したものとする。

なお、図４のバウンディングボックスＰ２において、１が指し示す局所領域が左上の局所領域であり、２が指し示す局所領域が右上の局所領域であり、３が指し示す局所領域が左下の局所領域であり、４が指し示す局所領域が右下の局所領域である。以下の説明では、目標追尾装置１は、特徴量として、色ヒストグラムを用いるが、色ヒストグラムの代わりに、勾配方向ヒストグラムを用いてもよい。また、目標追尾装置１は、同じ人物を異なる状況やカメラから写した複数の画像データセットを用いて同じ人の画像同士の類似度が大きくなるよう調整された見た目の特徴量を用いても良い。

まず、上述のステップＳＴ１において、取得部４は、センサ部２がセンサデータとして取得した画像を取得する。次に、上述のステップＳＴ２において、検出部５は、取得部４が取得した画像に基づいて、現在時刻における目標を囲うバウンディングボックスに関する複数種の観測特徴量として、バウンディングボックスＱ２における、左上の局所領域の色ヒストグラム、右上の局所領域の色ヒストグラム、左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムを検出する。なお、図４が示すように、バウンディングボックスＱ２は、前景Ｒ２によるオクルージョンによって、前の時刻のバウンディングボックスＰ２とは、形状が異なっている。

次に、上述のステップＳＴ３において、予測部６は、前の時刻のバウンディングボックスＰ２における、左上の局所領域の色ヒストグラム、右上の局所領域の色ヒストグラム、左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムに基づいて、現在時刻のバウンディングボックスＳ２における、左上の局所領域の色ヒストグラム、右上の局所領域の色ヒストグラム、左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムを予測する。

次に、上述のステップＳＴ４において、相関部７は、検出部５が検出したバウンディングボックスＱ２における、左上の局所領域の色ヒストグラム、右上の局所領域の色ヒストグラム、左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムと、予測部６が予測したバウンディングボックスＳ２における、左上の局所領域の色ヒストグラム、右上の局所領域の色ヒストグラム、左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムとの相関を決定する。この際、例えば、相関部７は、バウンディングボックスＱ２における局所領域の色ヒストグラムと、バウンディングボックスＳ２における対応する局所領域の色ヒストグラムとのバタチャリヤ距離等の類似度指標を用いてこれらの相関の判定を行う。さらに、相関部７は、バウンディングボックスＱ２がオクルージョンの影響を受けているか否かを判定する。

そして、相関部７は、類似度指標を用いた判定の結果として、バウンディングボックスＱ２における左上の局所領域の色ヒストグラムと、バウンディングボックスＳ２における左上の局所領域の色ヒストグラムとが対応し、バウンディングボックスＱ２における右上の局所領域の色ヒストグラムと、バウンディングボックスＳ２における右上の局所領域の色ヒストグラムとが対応しているものとする。一方、相関部７は、オクルージョン判定の結果として、バウンディングボックスＱ２における左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムが、前景Ｒ２によるオクルージョンの影響を受けているものとする。つまり、相関部７は、バウンディングボックスＱ２における左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムと、バウンディングボックスＳ２における左下の局所領域の色ヒストグラム及び右下の局所領域の色ヒストグラムとはそれぞれ対応関係がないものとする。

次に、上述のステップＳＴ５において、特徴量選択部８は、相関部７が決定した相関に基づいて、フィルタリングの対象として、バウンディングボックスにおける左上の局所領域の色ヒストグラム及び右上の局所領域の色ヒストグラムを選択する。

次に、上述のステップＳＴ６において、フィルタリング部９は、バウンディングボックスＱ２の左上の局所領域の色ヒストグラムとバウンディングボックスＳ２の左上の局所領域の色ヒストグラムとに基づいて、フィルタリングを行うことにより、出力用特徴量として、バウンディングボックスＴ２の左上の局所領域の色ヒストグラムを算出する。また、フィルタリング部９は、バウンディングボックスＱ２の右上の局所領域の色ヒストグラムとバウンディングボックスＳ２の右上の局所領域の色ヒストグラムとに基づいて、フィルタリングを行うことにより、出力用特徴量として、バウンディングボックスＴ２の右上の局所領域の色ヒストグラムを算出する。

次に、実施の形態１に係る目標追尾装置１による目標追尾方法の第３の具体例について図面を参照して説明する。図５は、目標追尾装置１による目標追尾方法の第３の具体例を説明するための概念図である。なお、センサ部２は、地上又は海上に存在する目標を予め撮影することにより、目標と地平線又は水平線とを示す画像を予め取得したものとする。以下の説明では、目標追尾装置１が、センサデータとして、水平線Ｈを示す画像を用いる例を示す。

まず、上述のステップＳＴ１において、取得部４は、センサ部２がセンサデータとして取得した画像を取得する。次に、上述のステップＳＴ２において、検出部５は、取得部４が取得した画像に基づいて、現在時刻における、２次元画素座標系を基準とした目標の位置を検出する。なお、図５では、目標の位置がｘ、ｙで示されている。また、上述のステップＳＴ２において、検出部５は、取得部４が取得した、現在時刻のフレーム及び過去のフレームを含む複数のフレームに基づいて、目標の移動方向を検出する。なお、図５では、目標の移動方向がｄｘ、ｄｙで示されている。また、上述のステップＳＴ２において、検出部５は、取得部４が取得した画像に基づいて、現在時刻における目標を囲うバウンディングボックスの縦サイズ及び横サイズを検出する。なお、図５では、バウンディングボックスの縦サイズがｗで示され、バウンディングボックスの横サイズがｌで示されている。

次に、上述のステップＳＴ３において、予測部６は、取得部４が取得した画像における水平線Ｈから目標までの画素数に基づいて、現在時刻における目標までの距離を算出し、当該距離と、検出部５が過去に検出した過去の目標の位置とに基づいて、現在時刻における、３次元直交座標系を基準とした目標の位置を予測する。なお、ここにおける「目標までの距離」は、センサ部２から目標までの距離を意味する。

より詳細には、上述のステップＳＴ３において、例えば、予測部６は、算出した上述の距離と、検出部５が過去に検出した過去の目標の位置と、検出部５がステップＳＴ２で検出した目標の移動方向とに基づいて、現在時刻における目標の位置を予測する。また、予測部６は、目標が直方体、球体又は円柱等の３次元立体であることを想定して、当該３次元立体の形状を予測し、予測した形状の３次元立体を囲うバウンディングボックスを予測し、当該バウンディングボックスの縦サイズ、横サイズ及び奥行サイズを予測する。なお、図５では、バウンディングボックスの奥行サイズがｄで示されている。

次に、上述のステップＳＴ４において、相関部７は、検出部５が検出した目標の位置と、予測部６が予測した目標の位置との相関を決定する。また、上述のステップＳＴ４において、相関部７は、検出部５が検出したバウンディングボックスの縦サイズ及び横サイズと、予測部６が検出したバウンディングボックスの縦サイズ及び横サイズとの相関を決定する。
次に、上述のステップＳＴ５において、特徴量選択部８は、相関部７が決定した相関に基づいて、フィルタリングの対象として、目標の位置と、バウンディングボックスの縦サイズ、横サイズ及び奥行サイズを選択する。

次に、上述のステップＳＴ６において、フィルタリング部９は、検出部５が検出した目標の位置と、予測部６が予測した目標の位置とに基づいて、２次元画素座標系と３次元直交座標系との非線形関係を示す非線形状態推定モデルを用いたフィルタリングを行うことにより、出力用特徴量として、出力用の目標の位置を算出する。なお、ここにおける「非線形状態推定モデル」は、例えば、拡張カルマンフィルタ等である。

また、上述のステップＳＴ６において、フィルタリング部９は、検出部５が検出したバウンディングボックスの縦サイズ及び横サイズと、予測部６が予測したバウンディングボックスの縦サイズ、横サイズ及び奥行サイズとに基づいて、２次元画素座標系と３次元直交座標系との非線形関係を示す非線形状態推定モデルを用いたフィルタリングを行うことにより、出力用特徴量として、出力用のバウンディングボックスの縦サイズ、横サイズ及び奥行サイズを算出する。

次に、実施の形態１に係る目標追尾装置１による目標追尾方法の第４の具体例について図面を参照して説明する。図６は、目標追尾装置１による目標追尾方法の第４の具体例を説明するための概念図である。なお、当該第４の具体例では、目標を囲うバウンディングボックスの縦サイズ又は横サイズが周期的に振動するため、当該縦サイズの変化又は当該横サイズの変化を、三角関数を用いて表すことが可能であるものとする。以下では、目標追尾装置１がバウンディングボックスの横サイズの変化を予測する例を示す。

第４の具体例では、上述のステップＳＴ２において、検出部５は、取得部４が取得した画像に基づいて、現在時刻における目標を囲うバウンディングボックスの横サイズを検出する。この際、検出部５は、検出したバウンディングボックスの横サイズを上述の三角関数に当てはめ、現在時刻における三角関数の位相、振幅及び周波数を導出する。つまり、目標の状態の変化を示す状態方程式に用いられる状態ベクトルは、三角関数の位相、振幅及び周波数である。

次に、上述のステップＳＴ３において、予測部６は、検出部５が過去に導出した三角関数の位相、振幅及び周波数に基づいて、現在時刻におけるバウンディングボックスの横サイズを予測する。
つまり、第４の具体例では、目標追尾装置１は、三角関数を用いることにより、バウンディングボックスのサイズを好適に予測することができる。

次に、目標追尾装置１が目標の検出に用いる検出パラメータと目標の追尾に用いる追尾パラメータとを調整するパラメータ調整方法について図面を参照して説明する。図７は、目標追尾装置１によるパラメータ調整方法を示すフローチャートである。なお、目標追尾装置１がパラメータ調整方法を実行する前に、目標追尾装置１には、目標に関する時系列のセンサデータ等の時系列の入力データと、当該時系列の入力データに応じた正解の時系列の教師データとが与えられるものとする。

まず、目標追尾装置１は、入力データとしてのセンサデータと、当該センサデータに応じた正解の観測特徴量とに基づいて、検出パラメータを学習する（ステップＳＴ１０）。当該検出パラメータは、検出部５がセンサデータに基づいて現在時刻における観測特徴量を検出する際に用いるパラメータである。検出パラメータは、例えば、検出部５が用いる検出アルゴリズムがＣＮＮ（Convolutional Neural Network）である場合、ネットワークの重み、又は、信頼度が一定以上の目標を検出する際の信頼度閾値である。

次に、目標追尾装置１は、入力データとしての過去の観測特徴量と、当該過去の観測特徴量に応じた現在時刻における正解の予測特徴量とに基づいて、予測に関する追尾パラメータを学習する（ステップＳＴ１１）。当該予測に関する追尾パラメータは、予測部６が過去の観測特徴量に基づいて現在時刻における予測特徴量を予測する際に用いるパラメータである。例えば、当該予測に関する追尾パラメータは、駆動雑音、又は遷移行列等である。

次に、目標追尾装置１は、入力データとしての観測特徴量及び予測特徴量と、これらの正解の相関とに基づいて、相関に関する追尾パラメータを学習する（ステップＳＴ１２）。当該相関に関する追尾パラメータは、相関部７が観測特徴量と予測特徴量との相関を決定する際に用いるパラメータである。より詳細には、例えば、当該相関に関する追尾パラメータは、相関部７が観測特徴量と当該観測特徴量に対応する予測特徴量との相関スコアを算出する際に用いるパラメータである。より具体的には、当該相関に関する追尾パラメータは、検出確率、新目標密度、誤警報密度、又はゲート内外判定閾値である。相関部７が当該相関に関する追尾パラメータを学習する際の最適化指標は、相関の正解率又はMOTA: Multi-object tracking accuracy等である。なお、当該相関スコアについて、例えば、特徴量選択部８は、相関部７が算出した相関スコアが所定の閾値以上であった特徴量の種別をフィルタリングの対象として選択する。

次に、目標追尾装置１は、入力データとしての観測特徴量及び予測特徴量と、正解の出力用特徴量とに基づいて、フィルタリングに関する追尾パラメータを学習する（ステップＳＴ１３）。当該フィルタリングに関する追尾パラメータは、フィルタリング部９が観測特徴量及び予測特徴量に基づいてフィルタリングを行う際に用いられるパラメータである。例えば、当該フィルタリングに関する追尾パラメータは、入力データがバウンディングボックスに関する特徴量である場合、バウンディングボックスの頂点の位置又はサイズの観測雑音等である。または、例えば、当該フィルタリングに関する追尾パラメータは、入力データが色ヒストグラム又は勾配方向ヒストグラムである場合、バタチャリヤ距離の観測誤差等である。また、目標追尾装置１は、残差誤差共分散を推定してもよい。フィルタリング部９が当該フィルタリングに関する追尾パラメータを学習する際の最適化指標は、追尾精度、又はメモリトラック航跡の少なさ、又はMOTA: Multi-object tracking accuracy等である。
次に、目標追尾装置１は、上述のステップＳＴ１からステップＳＴ６までの各工程を繰り返すことにより、目標を追尾する（ステップＳＴ１４）。

目標追尾装置１における、取得部４、検出部５、予測部６、相関部７、特徴量選択部８及びフィルタリング部９のそれぞれの機能は、処理回路により実現される。すなわち、目標追尾装置１は、図２に示したステップＳＴ１からステップＳＴ６までの処理、又は図７に示したステップＳＴ１０からステップＳＴ１３までの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図８Ａは、上述のセンサ部２がカメラである場合の目標追尾装置１の機能を実現するハードウェア構成を示すブロック図である。図８Ｂは、上述のセンサ部２がレーダである場合の目標追尾装置１の機能を実現するハードウェア構成を示すブロック図である。図９Ａは、上述のセンサ部２がカメラである場合の目標追尾装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図９Ｂは、上述のセンサ部２がレーダである場合の目標追尾装置１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図８Ａ及び図９Ａにおけるカメラ１０は、目標を撮影することにより、センサデータとして目標を示す画像を取得する。図８Ａ、図８Ｂ、図９Ａ及び図９Ｂにおけるディスプレイ１１は、フィルタリング部９が算出した出力用特徴量に基づいた画像を表示する。図８Ｂ及び図９Ｂにおけるアンテナ１２及び送受信機１３は、レーダを構成し、送受信機１３は、アンテナ１２を介して目標に向けて電波を送信し、アンテナ１２を介して、目標によって反射された電波をアナログ信号として受信する。図８Ｂ及び図９ＢにおけるＡ／Ｄ変換器１４は、送受信機１３が受信したアナログ信号をセンサデータとしてのデジタル信号に変換する。

上記処理回路が図８Ａ及び図８Ｂに示す専用のハードウェアの処理回路１５である場合、処理回路１５は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらを組み合わせたものが該当する。

目標追尾装置１における、取得部４、検出部５、予測部６、相関部７、特徴量選択部８及びフィルタリング部９のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

上記処理回路が図９Ａ及び図９Ｂに示すプロセッサ１６である場合、目標追尾装置１における、取得部４、検出部５、予測部６、相関部７、特徴量選択部８及びフィルタリング部９のそれぞれの機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
なお、ソフトウェア又はファームウェアは、プログラムとして記述されてメモリ１７に記憶される。

プロセッサ１６は、メモリ１７に記憶されたプログラムを読み出して実行することにより、目標追尾装置１における、取得部４、検出部５、予測部６、相関部７、特徴量選択部８及びフィルタリング部９のそれぞれの機能を実現する。すなわち、目標追尾装置１は、プロセッサ１６によって実行されるときに、図２に示したステップＳＴ１からステップＳＴ６までの処理又は図７に示したステップＳＴ１０からステップＳＴ１３が結果的に実行されるプログラムを記憶するためのメモリ１７を備える。

これらのプログラムは、目標追尾装置１における、取得部４、検出部５、予測部６、相関部７、特徴量選択部８及びフィルタリング部９の手順又は方法をコンピュータに実行させる。メモリ１７は、コンピュータを、目標追尾装置１における、取得部４、検出部５、予測部６、相関部７、特徴量選択部８及びフィルタリング部９として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。

メモリ１７には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

目標追尾装置１における、取得部４、検出部５、予測部６、相関部７、特徴量選択部８及びフィルタリング部９のそれぞれの機能について一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現してもよい。

例えば、取得部４及び検出部５は、専用のハードウェアとしての処理回路で機能を実現する。予測部６、相関部７、特徴量選択部８及びフィルタリング部９については、プロセッサ１６がメモリ１７に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより上記機能のそれぞれを実現することができる。

以上のように、実施の形態１に係る目標追尾装置１は、目標に関するセンサデータを取得する取得部４と、取得部４が取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を検出する検出部５と、検出部５が過去に検出した過去の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する予測部６と、検出部５が検出した複数種の観測特徴量と予測部６が予測した複数種の予測特徴量との相関を決定する相関部７と、相関部７が決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する特徴量選択部８と、検出部５が検出した複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出するフィルタリング部９と、を備えている。

上記の構成によれば、観測特徴量の検出精度が安定しない場合でも、フィルタリングの対象として選択された観測特徴量及び予測特徴量に基づいてフィルタリングを行う部分特徴量フィルタリングによって、出力用特徴量の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１における検出部５は、取得部４が取得したセンサデータに基づいて、現在時刻における目標の大きさを少なくとも検出し、予測部６は、検出部５が過去に検出した過去の目標の大きさに基づいて、現在時刻における目標の大きさを少なくとも予測し、相関部７は、検出部５が検出した目標の大きさと、予測部６が予測した目標の大きさとの相関を少なくとも決定し、フィルタリング部９は、特徴量選択部８がフィルタリングの対象として目標の大きさを選択した場合、検出部５が検出した目標の大きさと、予測部６が予測した目標の大きさとに基づいて、フィルタリングを行うことにより、出力用特徴量として、出力用の目標の大きさを算出する。

上記の構成によれば、観測特徴量として目標の大きさを検出する精度が安定しない場合でも、フィルタリングの対象として選択された観測特徴量の目標の大きさ及び予測特徴量の目標の大きさに基づいてフィルタリングを行う部分特徴量フィルタリングによって、出力用特徴量の目標の大きさの精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１における取得部４が取得するセンサデータは、画像であり、検出部５は、取得部４が取得した画像に基づいて、現在時刻における目標の色ヒストグラムを少なくとも検出し、予測部６は、検出部５が過去に検出した過去の目標の色ヒストグラムに基づいて、現在時刻における目標の色ヒストグラムを少なくとも予測し、相関部７は、検出部５が検出した目標の色ヒストグラムと、予測部６が予測した目標の色ヒストグラムとの相関を少なくとも決定し、フィルタリング部９は、特徴量選択部８がフィルタリングの対象として目標の色ヒストグラムを選択した場合、検出部５が検出した目標の色ヒストグラムと、予測部６が予測した目標の色ヒストグラムとに基づいて、フィルタリングを行うことにより、出力用特徴量として、出力用の目標の色ヒストグラムを算出する。

上記の構成によれば、観測特徴量として目標の色ヒストグラムを検出する精度が安定しない場合でも、フィルタリングの対象として選択された観測特徴量の目標の色ヒストグラム及び予測特徴量の目標の色ヒストグラムに基づいてフィルタリングを行う部分特徴量フィルタリングによって、出力用特徴量の目標の色ヒストグラムの精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１における取得部４が取得するセンサデータは、画像であり、検出部５は、取得部４が取得した画像に基づいて、現在時刻における目標の勾配方向ヒストグラムを少なくとも検出し、予測部６は、検出部５が過去に検出した過去の目標の勾配方向ヒストグラムに基づいて、現在時刻における目標の勾配方向ヒストグラムを少なくとも予測し、相関部７は、検出部５が検出した目標の勾配方向ヒストグラムと、予測部６が予測した目標の勾配方向ヒストグラムとの相関を少なくとも決定し、フィルタリング部９は、特徴量選択部８がフィルタリングの対象として目標の勾配方向ヒストグラムを選択した場合、検出部５が検出した目標の勾配方向ヒストグラムと、予測部６が予測した目標の勾配方向ヒストグラムとに基づいて、フィルタリングを行うことにより、出力用特徴量として、出力用の目標の勾配方向ヒストグラムを算出する。

上記の構成によれば、観測特徴量として目標の勾配方向ヒストグラムを検出する精度が安定しない場合でも、フィルタリングの対象として選択された観測特徴量の目標の勾配方向ヒストグラム及び予測特徴量の目標の勾配方向ヒストグラムに基づいてフィルタリングを行う部分特徴量フィルタリングによって、出力用特徴量の目標の勾配方向ヒストグラムの精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１における検出部５は、取得部４が取得したセンサデータに基づいて、局所領域毎に、現在時刻における複数種の観測特徴量を検出し、予測部６は、検出部５が過去に局所領域毎に検出した過去の複数種の観測特徴量に基づいて、局所領域毎に、現在時刻における複数種の予測特徴量を予測し、相関部７は、局所領域毎に、検出部５が検出した複数種の観測特徴量と、予測部６が予測した複数種の予測特徴量との相関を決定し、特徴量選択部８は、相関部７が局所領域毎に決定した相関に基づいて、局所領域毎に、フィルタリングの対象とする特徴量の種別を選択し、フィルタリング部９は、検出部５が局所領域毎に検出した複数種の観測特徴量のうちの、特徴量選択部８が局所領域毎に選択した種別に該当する観測特徴量、及び、予測部６が局所領域毎に予測した複数種の予測特徴量のうちの、特徴量選択部８が局所領域毎に選択した種別に該当する予測特徴量に基づいて、局所領域毎にフィルタリングを行うことにより、局所領域毎に出力用特徴量を算出する。

上記の構成によれば、局所領域毎の観測特徴量を検出する精度が安定しない場合でも、フィルタリングの対象として局所領域毎に選択された観測特徴量及び予測特徴量に基づいて局所領域毎にフィルタリングを行う局所領域毎の部分特徴量フィルタリングによって、局所領域毎に出力用特徴量の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１における取得部４が取得するセンサデータは、地平線又は水平線を少なくとも示す画像であり、検出部５は、取得部４が取得した画像に基づいて、現在時刻における、２次元画素座標系を基準とした目標の位置を少なくとも検出し、予測部６は、取得部４が取得した画像における地平線又は水平線から目標までの画素数に基づいて、現在時刻における目標までの距離を算出し、当該距離と、検出部５が過去に検出した過去の目標の位置とに基づいて、現在時刻における、３次元直交座標系を基準とした目標の位置を少なくとも予測し、相関部７は、検出部５が検出した目標の位置と、予測部６が予測した目標の位置との相関を少なくとも決定し、フィルタリング部９は、特徴量選択部８がフィルタリングの対象として目標の位置を選択した場合、検出部５が検出した目標の位置と、予測部６が予測した目標の位置とに基づいて、２次元画素座標系と３次元直交座標系との非線形関係を示す非線形状態推定モデルを用いたフィルタリングを行うことにより、出力用特徴量として、出力用の目標の位置を算出する。

上記の構成によれば、観測特徴量として目標の位置を検出する精度が安定しない場合でも、フィルタリングの対象として選択された観測特徴量の目標の位置及び予測特徴量の目標の位置に基づいて非線形状態推定モデルを用いたフィルタリングを行う部分特徴量フィルタリングによって、出力用特徴量の目標の位置の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１における取得部４が取得するセンサデータは、画像であり、検出部５は、取得部４が取得した画像に基づいて、現在時刻における目標を囲うバウンディングボックスに関する複数種の観測特徴量を少なくとも検出し、予測部６は、検出部５が過去に検出した過去のバウンディングボックスに関する複数種の観測特徴量に基づいて、現在時刻におけるバウンディングボックスに関する複数種の予測特徴量を少なくとも予測し、相関部７は、検出部５が検出したバウンディングボックスに関する複数種の観測特徴量と、予測部６が予測したバウンディングボックスに関する複数種の予測特徴量との相関を少なくとも決定し、フィルタリング部９は、特徴量選択部８がフィルタリングの対象としてバウンディングボックスに関する特徴量の種別を選択した場合、検出部５が検出したバウンディングボックスに関する複数種の観測特徴量のうち、特徴量選択部８が選択した種別に該当する観測特徴量と、予測部６が予測したバウンディングボックスに関する複数種の予測特徴量のうち、特徴量選択部８が選択した種別に該当する予測特徴量とに基づいて、フィルタリングを行うことにより、出力用特徴量として、出力用のバウンディングボックスに関する特徴量を算出する。

上記の構成によれば、観測特徴量としてバウンディングボックスに関する観測特徴量を検出する精度が安定しない場合でも、フィルタリングの対象として選択された、バウンディングボックスに関する観測特徴量及びバウンディングボックスに関する予測特徴量に基づいてフィルタリングを行う部分特徴量フィルタリングによって、バウンディングボックスに関する出力用特徴量の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１が用いる上記のバウンディングボックスは、３次元のバウンディングボックスである。
上記の構成によれば、３次元のバウンディングボックスに関する出力用特徴量の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１におけるフィルタリング部９は、時系列の教師データから算出された追尾パラメータを用いてフィルタリングを行う。
上記の構成によれば、フィルタリングの精度を向上させることができ、フィルタリングの結果としての出力用特徴量の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾装置１における相関部７は、時系列の教師データから算出された追尾パラメータを用いて、検出部５が検出した複数種の観測特徴量と予測部６が予測した複数種の予測特徴量との相関として、相関スコアを算出する。相関スコアは、例えば、目標の中心位置の差とバウンディングボックスの大きさの差とヒストグラムや見た目の特徴量のバタチャリヤ距離を残差共分散で正規化したマハラビノス距離を用いて相関スコアとしてもよい。

上記の構成によれば、相関スコアの算出の精度を向上させることができ、当該相関スコアに基づいてフィルタリングの対象を適切に選択できるようになる。よって、フィルタリングを適切に行うことができ、フィルタリングの結果としての出力用特徴量の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

また、実施の形態１に係る目標追尾システム１００は、上記の各態様の目標追尾装置１と、目標を検知することによりセンサデータを取得するセンサ部２と、フィルタリング部９が算出した出力用特徴量に基づいた画像を表示する表示装置３と、を備えている。
上記の構成によれば、目標追尾システム１００において、上記の各態様の目標追尾装置１が奏する効果と同様の効果を奏する。

また、実施の形態１に係る目標追尾方法は、目標に関するセンサデータを取得する取得ステップと、取得ステップで取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を検出する検出ステップと、検出ステップで過去に検出した過去の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する予測ステップと、検出ステップで検出した複数種の観測特徴量と予測ステップで予測した複数種の予測特徴量との相関を決定する相関ステップと、相関ステップで決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する特徴量選択ステップと、検出ステップで検出した複数種の観測特徴量のうちの、特徴量選択ステップで選択した種別に該当する観測特徴量、及び、予測ステップで予測した複数種の予測特徴量のうちの、特徴量選択ステップで選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出するフィルタリングステップと、を含む。

上記の構成によれば、局所領域毎の観測特徴量を検出する精度が安定しない場合でも、フィルタリングの対象として局所領域毎に選択された観測特徴量及び予測特徴量に基づいて局所領域毎にフィルタリングを行う局所領域毎の部分特徴量フィルタリングによって、局所領域毎に出力用特徴量の精度を向上させることができる。よって、目標を追尾する追尾性能を向上させることができる。

実施の形態２．
実施の形態２では、目標の動きをベクトルで表すオプティカルフローを用いて観測特徴量を検出する構成について説明する。
以下で、実施の形態２について図面を参照して説明する。なお、実施の形態１で説明した構成と同様の機能を有する構成については同一の符号を付し、その説明を省略する。
図１０は、実施の形態２に係る目標追尾装置２０を備えている目標追尾システム１０１の構成を示すブロック図である。図１０が示すように、目標追尾装置２０は、実施の形態１に係る目標追尾装置１と比較して、検出部５の代わりに、検出部２１を備えている。検出部２１は、特徴点相関部２２、クラスタリング部２３及び識別部２４を備えている。

実施の形態２に係るセンサ部２は、目標を検知することにより、目標に関するセンサデータとして、現在時刻のフレーム及び過去のフレームを含む複数のフレームを取得する。実施の形態２に係る取得部４は、センサ部２が取得した複数のフレームを取得する。

検出部２１の特徴点相関部２２は、取得部４が取得した複数のフレームに基づいて、フレーム毎に特徴点を検出し、検出したフレーム毎の特徴点の相関を決定し、決定した相関に基づいて、過去から現在時刻までのオプティカルフローを算出する。なお、特徴点相関部２２は、フレーム毎に特徴点を検出する前に、取得部４が取得した複数のフレームに基づいて、フレーム毎に複数種の観測特徴量を検出し、検出したフレーム毎の複数種の観測特徴量に基づいて、フレーム毎に特徴点を検出し得る。

特徴点相関部２２の構成についてより詳細には、実施の形態２では、特徴点相関部２２は、予測部６が現在時刻における複数種の予測特徴量を予測する時間間隔よりも短い時間間隔の複数のフレームに基づいて、フレーム毎に特徴点を検出し、検出したフレーム毎の特徴点の相関を決定し、決定した相関に基づいて、過去から現在時刻までのオプティカルフローを算出する。

特徴点相関部２２が上記の相関を決定してオプティカルフローを算出する具体的な方法の例として、ＯＲＢ（Oriented FAST and Rotated BRIEF）、ＫＡＺＥ又はＡＫＡＺＥ等の特徴点マッチングアルゴリズムを用いた方法が挙げられる。
特徴点相関部２２は、検出した特徴点と、算出したオプティカルフローとをクラスタリング部２３に出力する。

検出部２１のクラスタリング部２３は、特徴点相関部２２が算出したオプティカルフローに基づいて、特徴点相関部２２が検出したフレーム毎の特徴点の集合をクラスタリングすることにより複数の部分集合に分割する。

例えば、クラスタリング部２３は、特徴点相関部２２が検出したフレーム毎の特徴点の位置と、特徴点相関部２２が算出したオプティカルフローとの類似度に基づいて同一とみなせる特徴点の集合を、階層型クラスタリング、ＥＭ法やｋ－ｍｅｎａｓ法又は変分ベイズ法等の非階層型クラスタリングを用いてクラスタリングすることにより複数の部分集合に分割する。
クラスタリング部２３は、分割した複数の部分集合を識別部２４に出力する。

検出部２１の識別部２４は、クラスタリング部２３が分割した複数の部分集合のうち、目標を示す部分集合を識別する。識別部２４は、識別した目標の複数種の観測特徴量を予測部６に出力する。

例えば、識別部２４は、クラスタリング部２３が分割した部分集合である、クラスタリング中心を中心とした切り出し画像に対して、ＣＮＮ等に基づく識別処理を実施し、目標の種別を識別し、識別した目標のうちの対象とする目標の観測特徴量を予測部６に出力する。

実施の形態２に係る予測部６は、特徴点相関部２２が算出したオプティカルフローと、識別部２４が出力した過去の複数種の観測特徴量とに基づいて、現在時刻における目標の速度ベクトルを少なくとも含む現在時刻における目標の予測特徴量を予測する。

例えば、予測部６は、初期値生成の際に、特徴点相関部２２が算出したオプティカルフローの情報に基づいて初期の状態ベクトルの速度成分を設定し、当該初期の状態ベクトルの速度成分と、識別部２４が出力した過去の観測特徴量とに基づいて、現在時刻における目標の速度ベクトルを少なくとも含む現在時刻における目標の複数種の予測特徴量を予測する。
また、実施の形態２に係る相関部７は、特徴点相関部２２が算出したオプティカルフローと、予測部６が予測した速度ベクトルとの一致度から相関スコアを少なくとも算出する。

実施の形態２に係る特徴量選択部８は、相関部７が算出した相関スコアに少なくとも基づいて、フィルタリングの対象とする特徴量の種別を選択する。より詳細には、例えば、特徴量選択部８は、相関部７が算出した相関スコアが所定の閾値以上であった特徴量の種別をフィルタリングの対象として選択する。

次に、実施の形態２に係る目標追尾装置２０の動作について図面を参照して説明する。図１１は、実施の形態２に係る目標追尾装置２０による目標追尾方法を示すフローチャートである。実施の形態２に係る目標追尾方法の説明において、実施の形態１で説明した目標追尾方法の工程と同様の工程については、その詳細な説明を適宜省略する。なお、目標追尾装置２０が当該目標追尾方法を実行する前に、上述のセンサ部２が、目標を検知することにより、現在時刻のフレーム及び過去のフレームを含む複数のフレームを取得し、当該複数のフレームを取得部４に出力したものとする。

図１１が示すように、取得部４は、センサ部２が取得した複数のフレームを取得する（ステップＳＴ２０）。取得部４は、取得した複数のフレームを検出部２１の特徴点相関部２２に出力する。

次に、検出部２１の特徴点相関部２２は、取得部４が取得した複数のフレームに基づいて、フレーム毎に特徴点を検出し、検出したフレーム毎の特徴点の相関を決定し、決定した相関に基づいて、過去から現在時刻までのオプティカルフローを算出する（ステップＳＴ２１）。特徴点相関部２２は、検出した特徴点と、算出したオプティカルフローとをクラスタリング部２３に出力する。

次に、検出部２１のクラスタリング部２３は、特徴点相関部２２が算出したオプティカルフローに基づいて、特徴点相関部２２が検出したフレーム毎の特徴点の集合をクラスタリングすることにより複数の部分集合に分割する（ステップＳＴ２２）。クラスタリング部２３は、分割した複数の部分集合を識別部２４に出力する。

次に、検出部２１の識別部２４は、クラスタリング部２３が分割した複数の部分集合のうち、目標を示す部分集合を識別する（ステップＳＴ２３）。識別部２４は、識別した目標の複数種の観測特徴量を予測部６に出力する。

次に、予測部６は、特徴点相関部２２が算出したオプティカルフローと、識別部２４が出力した過去の複数種の観測特徴量とに基づいて、現在時刻における目標の速度ベクトルを少なくとも含む現在時刻における目標の複数種の予測特徴量を予測する（ステップＳＴ２４）。予測部６は、予測した複数種の予測特徴量を相関部７に出力する。

次に、相関部７は、特徴点相関部２２が算出したオプティカルフローと、予測部６が予測した目標の速度ベクトルとの一致度から相関スコアを少なくとも算出する（ステップＳＴ２５）。相関部７は、算出した相関スコアを特徴量選択部８に少なくとも出力する。

次に、特徴量選択部８は、相関部７が算出した相関スコアに少なくとも基づいて、フィルタリングの対象とする特徴量の種別を選択する（ステップＳＴ２６）。特徴量選択部８は、選択した種別に関する情報をフィルタリング部９に出力する。

次に、フィルタリング部９は、特徴点相関部２２が算出したオプティカルフロー及び識別部２４が識別した目標の複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出する（ステップＳＴ２７）。フィルタリング部９は、算出した出力用特徴量を、表示装置３と予測部６とに出力する。次に、表示装置３は、表示装置３は、フィルタリング部９が算出した出力用特徴量に基づいた画像を表示する。また、センサ部２は、目標を新たに検知することにより、複数の目標に関するセンサデータを新たに取得し、当該センサデータを取得部４に出力する。そして、目標追尾装置２０は、上記のステップＳＴ２０からステップＳＴ２７を繰り返し実行することにより、目標を追尾する。

なお、ステップＳＴ２６において、特徴量選択部８がフィルタリングの対象として速度ベクトルを選択した場合、ステップＳＴ２７において、フィルタリング部９は、特徴点相関部２２が算出したオプティカルフロー、及び予測部６が予測した目標の速度ベクトルに基づいて、フィルタリングを行うことにより、出力用の目標の速度ベクトルを算出する。

なお、実施の形態２に係る目標追尾装置２０における、取得部４、検出部２１、予測部６、相関部７、特徴量選択部８及びフィルタリング部９のそれぞれの機能は、処理回路により実現される。すなわち、実施の形態２に係る目標追尾装置２０は、図１１に示したステップＳＴ２０からステップＳＴ２７までの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。実施の形態２に係る目標追尾装置２０の機能を実現するハードウェア構成は、図８Ａ又は図８Ｂが示すハードウェア構成と同様である。また、実施の形態２に係る目標追尾装置２０の機能を実現するソフトウェアを実行するハードウェア構成は、図９Ａ又は図９Ｂが示すハードウェア構成と同様である。

以上のように、実施の形態２に係る目標追尾装置２０における取得部４が取得するセンサデータは、現在時刻のフレーム及び過去のフレームを含む複数のフレームであり、検出部２１は、取得部４が取得した複数のフレームに基づいて、フレーム毎に特徴点を検出し、検出したフレーム毎の特徴点の相関を決定し、決定した相関に基づいて、過去から現在時刻までのオプティカルフローを算出する特徴点相関部２２と、特徴点相関部２２が算出したオプティカルフローに基づいて、特徴点相関部２２が検出したフレーム毎の特徴点の集合をクラスタリングすることにより複数の部分集合に分割するクラスタリング部２３と、クラスタリング部２３が分割した複数の部分集合のうち、目標を示す部分集合を識別し、識別した目標の複数種の観測特徴量を予測部６に出力する識別部２４と、を備えている。

上記の構成によれば、目標の数が複数である場合でも、オプティカルフローに基づいて、複数の目標をそれぞれ適切に区別することができ、識別する対象の数を低減することが可能となる。よって、観測特徴量の精度及び予測特徴量の精度を向上させ、フィルタリング性能を向上させることができる。従って、目標を追尾する追尾性能を向上させることができる。

また、実施の形態２に係る目標追尾装置２０における特徴点相関部２２は、予測部６が現在時刻における複数種の予測特徴量を予測する時間間隔よりも短い時間間隔の複数のフレームに基づいて、フレーム毎に特徴点を検出し、検出したフレーム毎の特徴点の相関を決定し、決定した相関に基づいて、過去から現在時刻までのオプティカルフローを算出する。

上記の構成によれば、オプティカルフローの精度を向上させることができる。よって、観測特徴量の精度及び予測特徴量の精度をより向上させ、フィルタリング性能をより向上させることができる。従って、目標を追尾する追尾性能をより向上させることができる。

また、実施の形態２に係る目標追尾装置２０における予測部６は、識別部２４が出力した過去の複数種の観測特徴量と、特徴点相関部２２が算出したオプティカルフローとに基づいて、現在時刻における目標の速度ベクトルを少なくとも含む現在時刻における目標の複数種の予測特徴量を予測し、相関部７は、特徴点相関部２２が算出したオプティカルフローと、予測部６が予測した速度ベクトルとの一致度から相関スコアを少なくとも算出する。
上記の構成によれば、算出した相関スコアに基づいて、フィルタリングの対象を選択することにより、目標の速度ベクトルに対してフィルタリングを適切に行うことができる。

実施の形態３．
実施の形態３では、単一の目標に関する複数種の観測特徴量と、複数の目標に関する目標毎の複数種の予測特徴量とが対応するか否かを判定することにより、観測特徴量と予測特徴量との相関を決定する構成について説明する。
以下で、実施の形態３について図面を参照して説明する。なお、実施の形態１で説明した構成と同様の機能を有する構成については同一の符号を付し、その説明を省略する。
図１２は、実施の形態３に係る目標追尾装置３０を備えている目標追尾システム１０２の構成を示すブロック図である。図１２が示すように、目標追尾装置３０は、実施の形態１に係る目標追尾装置１と比較して、相関部７の代わりに、相関部３１を備えている。相関部３１は、縮退仮説判定部３２及び部分相関部３３を備えている。

相関部３１の縮退仮説判定部３２は、検出部５が検出した単一の目標に関する複数種の観測特徴量と、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量とが対応するか否かを判定する。なお、検出部５が検出した単一の目標に関する複数種の観測特徴量は、例えば、単一の目標を囲うバウンディングボックスに関する複数種の観測特徴量である。また、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量は、例えば、目標として第１の目標及び第２の目標が存在する場合、第１の目標を囲うバウンディングボックスに関する複数種の予測特徴量、及び第２の目標を囲うバウンディングボックスに関する複数種の予測特徴量である。

縮退仮説判定部３２についてより詳細には、例えば、縮退仮説判定部３２は、検出部５が検出した単一の目標に関する観測特徴量と、予測部６が予測した単一の目標に関する予測特徴量との相関度を示すスコアを行列表現した航跡相関行列を作成する。つまり、当該スコアは、検出部５が観測特徴量を検出したある単一の目標と、予測部６が予測特徴量を予測したある単一の目標とが同一の目標であるという仮説の評価指標である。例えば、縮退仮説判定部３２は、当該航跡相関行列が示す複数の仮説のうちから、スコアの高い上位Ｎ番目の仮説を、Munkres又はMurty等の割り当てアルゴリズムを用いて抽出する。なお、当該Ｎは、正の整数である。例えば、縮退仮説判定部３２は、抽出したＮ個の仮説のうち、単一の目標に関する観測特徴量と単一の目標に関する予測特徴量との類似度が所定の閾値以上である仮説が存在するか否か判定する。縮退仮説判定部３２は、当該類似度が所定の閾値以上である仮説が存在しないと判定した場合、単一の目標に関する複数種の観測特徴量と複数の目標に関する目標毎の複数種の予測特徴量とが対応しているという縮退仮説を生成する。つまり、縮退仮説判定部３２は、以上の各工程を実行することにより、検出部５が検出した単一の目標に関する複数種の観測特徴量と、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量とが対応するか否かを判定し得る。換言すれば、縮退仮説判定部３２は、実際は目標が複数存在するにも関わらず検出部５が複数の目標を単一の目標として検出したものとして、複数の目標が単一の目標に縮退しているという縮退仮説を生成する。また、縮退仮説判定部３２は、縮退の判定の際には、IOU（Intersection over Union）が一定以上である複数の予測特徴量があった場合に縮退としているという判定をしてもよい。

相関部３１の部分相関部３３は、縮退仮説判定部３２が単一の目標に関する複数種の観測特徴量と複数の目標に関する目標毎の複数種の予測特徴量とが対応していると判定した場合、検出部５が検出した単一の目標に関する複数種の観測特徴量と予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量との相関を決定する。より詳細には、例えば、部分相関部３３は、縮退仮説判定部３２が上述の縮退仮説を生成した場合、検出部５が検出した単一の目標に関する複数種の観測特徴量と予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量との相関を決定する。

実施の形態３に係る特徴量選択部８は、部分相関部３３が決定した相関に基づいて、検出部５が検出した単一の目標に関する複数種の観測特徴量と、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの対応する予測特徴量とをそれぞれ比較することにより、フィルタリングの対象とする特徴量の種別を選択する。

実施の形態３に係るフィルタリング部９は、検出部５が検出した単一の目標に関する複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、目標毎に出力用特徴量を算出する。ここで、フィルタリング部９は、縮退仮説に含まれる縮退している可能性がある観測特徴量を用いたフィルタリングの際には、縮退状況で学習した追尾パラメータを利用しても良い。

次に、実施の形態３に係る目標追尾装置３０の動作について図面を参照して説明する。図１３は、実施の形態３に係る目標追尾装置３０による目標追尾方法を示すフローチャートである。実施の形態３に係る目標追尾方法の説明において、実施の形態１で説明した目標追尾方法の工程と同様の工程については、その詳細な説明を適宜省略する。なお、目標追尾装置３０が当該目標追尾方法を実行する前に、上述のセンサ部２が、複数の目標を検知することにより、複数の目標に関するセンサデータを取得し、当該センサデータを取得部４に出力したものとする。より詳細には、例えば、上述のセンサ部２は、第１の目標及び第２の目標を検知することにより、第１の目標及び第２の目標に関するセンサデータを取得し、当該センサデータを取得部４に出力し得る。
図１３が示すように、取得部４は、センサ部２が取得したセンサデータを取得する（ステップＳＴ３０）。取得部４は、取得したセンサデータを検出部５に出力する。

次に、検出部５は、取得部４が取得したセンサデータに基づいて、現在時刻における単一の目標に関する複数種の観測特徴量を検出する（ステップＳＴ３１）。検出部５は、検出した単一の目標に関する複数種の観測特徴量を予測部６に出力する。なお、現在時刻の前の時刻においては、検出部５は、取得部４が取得したセンサデータに基づいて、現在時刻における複数の目標に関する目標毎の複数種の観測特徴量を検出したものとする。

次に、予測部６は、検出部５が過去に検出した過去の複数の目標に関する目標毎の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する（ステップＳＴ３２）。なお、例えば、ステップＳＴ３２において、予測部６は、検出部５が過去に検出した第１の目標に関する複数種の観測特徴量及び第２の目標に関する複数種の観測特徴量に基づいて、現在時刻における第１の目標に関する複数種の予測特徴量と、現在時刻における第２の目標に関する複数種の予測特徴量とを予測し得る。予測部６は、予測した複数種の予測特徴量を相関部３１の縮退仮説判定部３２に出力する。

次に、縮退仮説判定部３２は、検出部５が検出した単一の目標に関する観測特徴量と、予測部６が予測した単一の目標に関する予測特徴量との相関度を示すスコアを行列表現した航跡相関行列を作成する（ステップＳＴ３３）。例えば、当該スコアは、検出部５が検出した単一の目標に関する観測特徴量と予測部６が予測した第１の目標に関する予測特徴量との相関度を示すスコア、及び検出部５が検出した単一の目標に関する観測特徴量と予測部６が予測した第２の目標に関する予測特徴量との相関度を示すスコアであり得る。つまり、当該例の航跡相関行列は、検出部５が観測特徴量を検出した単一の目標と予測部６が予測特徴量を予測した第１の目標とが同一の目標であるという仮説、及び検出部５が観測特徴量を検出した単一の目標と予測部６が予測特徴量を予測した第２の目標とが同一の目標であるという仮説を示す。

次に、縮退仮説判定部３２は、作成した航跡相関行列が示す複数の仮説のうちから、スコアの高い上位Ｎ番目の仮説を抽出する（ステップＳＴ３４）。
次に、縮退仮説判定部３２は、抽出したＮ個の仮説のうち、単一の目標に関する観測特徴量と単一の目標に関する予測特徴量との類似度が所定の閾値以上である仮説が存在するか否か判定する（ステップＳＴ３５）。例えば、縮退仮説判定部３２が判定に用いる類似度は、単一の目標に関する観測特徴量と第１の目標に関する予測特徴量との類似度、及び単一の目標に関する観測特徴量と第２の目標に関する予測特徴量との類似度であり得る。

縮退仮説判定部３２がステップＳＴ３５において上記の類似度が所定の閾値以上である仮説が存在すると判定した場合（ステップＳＴ３５のＹＥＳ）、部分相関部３３は、上記の類似度が所定の閾値以上である仮説に含まれる、単一の目標に関する複数種の観測特徴量と単一の目標に関する複数種の予測特徴量との相関を決定する（ステップＳＴ３６）。例えば、ここにおける相関は、単一の目標に関する複数種の観測特徴量と第１の目標に関する複数種の予測特徴量との相関、又は単一の目標に関する複数種の観測特徴量と第２の目標に関する複数種の予測特徴量との相関である。つまり、この場合、縮退仮説判定部３２は、検出部５が観測特徴量を検出した単一の目標と、予測部６が予測特徴量を予測した単一の目標とが同一の目標であると判定し、単一の目標に関する観測特徴量と単一の目標に関する予測特徴量との相関を決定する。縮退仮説判定部３２は、決定した相関に関する情報を特徴量選択部８に出力する。

ステップＳＴ３６の次に、特徴量選択部８は、部分相関部３３が決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する（ステップＳＴ３７）。特徴量選択部８は、選択した種別を示す情報をフィルタリング部９に出力する。

ステップＳＴ３７の次に、フィルタリング部９は、検出部５が検出した単一の目標に関する複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した単一の目標に関する複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出する（ステップＳＴ３８）。フィルタリング部９は、算出した出力用特徴量を、表示装置３と予測部６とに出力する。

一方、縮退仮説判定部３２は、ステップＳＴ３５において上記の類似度が所定の閾値以下である仮説が存在しないと判定した場合（ステップＳＴ３５のＮＯ）、単一の目標に関する複数種の観測特徴量と複数の目標に関する目標毎の複数種の予測特徴量とが対応しているという縮退仮説を生成する（ステップＳＴ３９）。例えば、縮退仮説判定部３２は、ステップＳＴ３５において上記の類似度が所定の閾値以下である仮説が存在しないと判定した場合、単一の目標に関する複数種の観測特徴量と、第１の目標に関する複数種の予測特徴量及び第２の目標に関する複数種の予測特徴量とが対応しているという縮退仮説を生成し得る。つまり、縮退仮説判定部３２は、実際は複数の目標が存在するにも関わらず、検出部５が複数の目標を単一の目標として検出したものとして、複数の目標が単一の目標に縮退しているという縮退仮説を生成する。

ステップＳＴ３９の次に、部分相関部３３は、縮退仮説に含まれる、単一の目標に関する複数種の観測特徴量と複数の目標に関する目標毎の複数種の予測特徴量との相関を決定する（ステップＳＴ４０）。例えば、部分相関部３３は、縮退仮説に含まれる、単一の目標に関する複数種の観測特徴量と第１の目標に関する複数種の予測特徴量及び第２の目標に関する複数種の予測特徴量との相関を決定し得る。部分相関部３３は、決定した相関に関する情報を特徴量選択部８に出力する。

ステップＳＴ４０の次に、特徴量選択部８は、部分相関部３３が決定した相関に基づいて、検出部５が検出した単一の目標に関する複数種の観測特徴量と、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの対応する予測特徴量とをそれぞれ比較することにより、フィルタリングの対象とする特徴量の種別を選択する（ステップＳＴ４１）。例えば、特徴量選択部８は、部分相関部３３が決定した相関に基づいて、単一の目標に関する複数種の観測特徴量と第１の目標に関する複数種の予測特徴量のうちの対応する予測特徴量とを比較し、部分相関部３３が決定した相関に基づいて、単一の目標に関する複数種の観測特徴量と第２の目標に関する複数種の予測特徴量のうちの対応する予測特徴量とを比較することにより、フィルタリングの対象とする特徴量の種別を選択し得る。特徴量選択部８は、選択した種別を示す情報をフィルタリング部９に出力する。

ステップＳＴ４１の次に、フィルタリング部９は、検出部５が検出した単一の目標に関する複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、目標毎に出力用特徴量を算出する（ステップＳＴ４２）。例えば、フィルタリング部９は、検出部５が検出した単一の目標に関する複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した第１の目標に関する複数種の予測特徴量及び第２の目標に関する複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、目標毎に出力用特徴量を算出する（ステップＳＴ４２）。フィルタリング部９は、目標毎に算出した出力用特徴量を、表示装置３と予測部６とに出力する。

ステップＳＴ３８又はステップＳＴ４２の次に、表示装置３は、表示装置３は、フィルタリング部９が目標毎に算出した出力用特徴量に基づいた画像を表示する。また、センサ部２は、複数の目標を新たに検知することにより、複数の目標に関するセンサデータを新たに取得し、当該センサデータを取得部４に出力する。そして、目標追尾装置３０は、上記のステップＳＴ３０からステップＳＴ３８又はステップＳＴ４２までの各工程を繰り返し実行することにより、複数の目標を追尾する。なお、縮退仮説判定部３２は、上述のステップＳＴ３３で作成した航跡相関行列が示す複数の仮説を再度用いて縮退仮説判定を行ってもよい。また、上記では、目標追尾装置３０が追尾する目標が第１の目標及び第２の目標である例を説明したが、目標追尾装置３０が追尾する目標の数は、特に限定されない。

次に、実施の形態３に係る目標追尾装置３０による目標追尾方法の具体例について図面を参照して説明する。図１４は、目標追尾装置３０による目標追尾方法の具体例を説明するための概念図である。なお、当該具体例では、目標追尾装置３０は、前の時刻において、上述のステップＳＴ３０からステップＳＴ３８又はステップＳＴ４２までの各工程を行い、前の時刻における第１の目標Ａを囲うバウンディングボックスＰ３と、前の時刻における第２の目標Ｂを囲うバウンディングボックスＰ４とを予め導出したものとする。また、当該具体例では、センサ部２が第１の目標Ａ及び第２の目標Ｂを予め検知することにより、第１の目標Ａ及び第２の目標Ｂを示す画像を予め取得したものとする。

まず、上述のステップＳＴ３０において、取得部４は、センサ部２がセンサデータとして取得した画像を取得する。次に、上述のステップＳＴ３１において、検出部５は、現在時刻における単一の目標を囲うバウンディングボックスＱ３に関する複数種の観測特徴量を検出する。

次に、上述のステップＳＴ３２において、予測部６は、前の時刻における第１の目標Ａを囲うバウンディングボックスＰ３に関する複数種の観測特徴量、及び前の時刻における第２の目標Ｂを囲うバウンディングボックスＰ４に関する複数種の観測特徴量に基づいて、現在時刻における第１の目標Ａを囲うバウンディングボックスＳ３に関する複数種の予測特徴量と、現在時刻における第２の目標Ｂを囲うバウンディングボックスＳ４に関する複数種の予測特徴量とを予測する。

次に、上述のステップＳＴ３３において、縮退仮説判定部３２は、検出部５が検出した単一の目標を囲うバウンディングボックスＱ３に関する観測特徴量と予測部６が予測した第１の目標Ａを囲うバウンディングボックスＳ３に関する予測特徴量との相関度を示すスコア、及び検出部５が検出した単一の目標を囲うバウンディングボックスＱ３に関する観測特徴量と予測部６が予測した第２の目標Ｂを囲うバウンディングボックスＳ４に関する予測特徴量との相関度を示すスコアを行列表現した航跡相関行列を作成する。

次に、上述のステップＳＴ３４において、縮退仮説判定部３２は、作成した航跡相関行列が示す複数の仮説のうち、検出部５がバウンディングボックスＱ３に関する観測特徴量を検出した目標と、予測部６がバウンディングボックスＳ３に関する予測特徴量を予測した第１の目標Ａとが同一の目標であるという仮説と、検出部５がバウンディングボックスＱ３に関する観測特徴量を検出した目標と、予測部６がバウンディングボックスＳ４に関する予測特徴量を予測した第２の目標Ｂとが同一の目標であるという仮説とを抽出する。

次に、上述のステップＳＴ３５において、縮退仮説判定部３２は、単一の目標を囲うバウンディングボックスＱ３に関する観測特徴量と第１の目標Ａを囲うバウンディングボックスＳ３に関する予測特徴量との類似度が所定の閾値以上であるか否かを判定する。また、縮退仮説判定部３２は、単一の目標を囲うバウンディングボックスＱ３に関する観測特徴量と第２の目標Ｂを囲うバウンディングボックスＳ４に関する予測特徴量との類似度が所定の閾値以上であるか否かを判定する。これらの判定により、縮退仮説判定部３２は、抽出した２個の仮説のうち、単一の目標に関する観測特徴量と単一の目標に関する予測特徴量との類似度が所定の閾値以上である仮説が存在しないと判定したものとする。

次に、上述のステップＳＴ３９において、縮退仮説判定部３２は、単一の目標を囲うバウンディングボックスＱ３に関する複数種の観測特徴量と、第１の目標Ａを囲うバウンディングボックスＳ３に関する複数種の予測特徴量及び第２の目標Ｂを囲うバウンディングボックスＳ４に関する複数種の予測特徴量とが対応しているという縮退仮説を生成する。

次に、上述のステップＳＴ４０において、縮退仮説判定部３２は、縮退仮説に含まれる、単一の目標を囲うバウンディングボックスＱ３に関する複数種の観測特徴量と、第１の目標Ａを囲うバウンディングボックスＳ３に関する複数種の予測特徴量及び第２の目標Ｂを囲うバウンディングボックスＳ４に関する複数種の予測特徴量との相関を決定する。縮退仮説判定部３２は、決定した相関に関する情報を特徴量選択部８に出力する。

次に、上述のステップＳＴ４１において、特徴量選択部８は、部分相関部３３が決定した相関に基づいて、検出部５が検出した単一の目標を囲うバウンディングボックスＱ３に関する複数種の観測特徴量と、予測部６が予測した第１の目標Ａを囲うバウンディングボックスＳ３に関する複数種の予測特徴量のうちの対応する予測特徴量をそれぞれ比較する。また、特徴量選択部８は、部分相関部３３が決定した相関に基づいて、検出部５が検出した単一の目標を囲うバウンディングボックスＱ３に関する複数種の観測特徴量と、予測部６が予測した第２の目標Ｂを囲うバウンディングボックスＳ４に関する複数種の予測特徴量のうちの対応する予測特徴量とをそれぞれ比較する。これにより、特徴量選択部８は、フィルタリングの対象とする特徴量の種別を選択する。

より詳細には、図１４が示すように、特徴量選択部８は、バウンディングボックスＳ３の左上の頂点の位置とバウンディングボックスＱ３の左上の頂点の位置（△で示された位置）とを比較することにより、フィルタリングの対象として、バウンディングボックスの左上の頂点の位置を選択する。また、特徴量選択部８は、バウンディングボックスＳ３の右上の頂点の位置と、バウンディングボックスＱ３の右上の頂点の位置（△で示された位置）とを比較することにより、フィルタリングの対象として、バウンディングボックスの右上の頂点の位置を選択する。また、特徴量選択部８は、バウンディングボックスＳ４の左下の頂点の位置と、バウンディングボックスＱ３の左下の頂点の位置（○で示された位置）とを比較することにより、フィルタリングの対象として、バウンディングボックスの左下の頂点の位置を選択する。また、特徴量選択部８は、バウンディングボックスＳ４の右下の頂点の位置と、バウンディングボックスＱ３の右下の頂点の位置（○で示された位置）とを比較することにより、フィルタリングの対象として、バウンディングボックスの右下の頂点の位置を選択する。特徴量選択部８は、選択した種別を示す情報をフィルタリング部９に出力する。

次に、上述のステップＳＴ４２において、フィルタリング部９は、検出部５が検出した単一の目標を囲うバウンディングボックスＱ３の左上の頂点及び右上の頂点の各位置と、予測部６が予測した第１の目標Ａを囲うバウンディングボックスＳ３の左上の頂点及び右上の頂点の各位置とに基づいてフィルタリングを行うことにより、第１の目標Ａに関する出力用特徴量として、バウンディングボックスＴ３の左上の頂点及び右上の頂点の各位置を算出する。また、フィルタリング部９は、検出部５が検出した単一の目標を囲うバウンディングボックスＱ３の左下の頂点及び右下の頂点の各位置と、予測部６が予測した第２の目標Ｂを囲うバウンディングボックスＳ４の左下の頂点及び右下の頂点の各位置とに基づいてフィルタリングを行うことにより、第２の目標Ｂに関する出力用特徴量として、バウンディングボックスＴ４の左下の頂点及び右下の頂点の各位置を算出する。上述のステップＳＴ４２においてフィルタリング部９が用いるフィルタリングの方法の例として、例えば、カルマンフィルタ、非線形カルマンフィルタ若しくは粒子フィルタ等の状態推定フィルタ又はα-βフィルタを用いたフィルタリングの方法が挙げられる。

なお、実施の形態３に係る目標追尾装置３０における、取得部４、検出部５、予測部６、相関部３１、特徴量選択部８及びフィルタリング部９のそれぞれの機能は、処理回路により実現される。すなわち、実施の形態３に係る目標追尾装置３０は、図１３に示したステップＳＴ３０からステップＳＴ４２までの処理を実行するための処理回路を備える。この処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。実施の形態３に係る目標追尾装置３０の機能を実現するハードウェア構成は、図８Ａ又は図８Ｂが示すハードウェア構成と同様である。また、実施の形態３に係る目標追尾装置３０の機能を実現するソフトウェアを実行するハードウェア構成は、図９Ａ又は図９Ｂが示すハードウェア構成と同様である。

以上のように、実施の形態３に係る目標追尾装置３０における取得部４は、複数の目標に関するセンサデータを取得し、相関部３１は、検出部５が検出した単一の目標に関する複数種の観測特徴量と、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量とが対応するか否かを判定する縮退仮説判定部３２と、縮退仮説判定部３２が単一の目標に関する複数種の観測特徴量と、複数の目標に関する目標毎の複数種の予測特徴量とが対応していると判定した場合、検出部５が検出した単一の目標に関する複数種の観測特徴量と予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量との相関を決定する部分相関部３３とを備えている。

上記の構成によれば、複数の目標が単一の目標として検出された場合であっても、複数の目標が単一の目標として検出されたものとして、単一の目標に関する複数種の観測特徴量と、複数の目標に関する目標毎の複数種の予測特徴量との相関を決定することができる。よって、当該相関に基づいて、フィルタリングの対象の選択とフィルタリングとを適切に行うことにより、複数の目標を追尾し続ける追尾の継続性を向上させることができる。

また、実施の形態３に係る目標追尾装置３０における特徴量選択部８は、部分相関部３３が決定した相関に基づいて、検出部５が検出した単一の目標に関する複数種の観測特徴量と、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの対応する予測特徴量とをそれぞれ比較することにより、フィルタリングの対象とする特徴量の種別を選択し、フィルタリング部９は、検出部５が検出した単一の目標に関する複数種の観測特徴量のうちの、特徴量選択部８が選択した種別に該当する観測特徴量、及び、予測部６が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの、特徴量選択部８が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、目標毎に出力用特徴量を算出する。

上記の構成によれば、複数の目標が単一の目標として検出された場合であっても、複数の目標が単一の目標として検出されたものとして、予測特徴量に対応する適切な観測特徴量を用いてフィルタリングを行うことができる。よって、目標毎に出力用特徴量を適切に算出することができ、複数の目標を追尾し続ける追尾の継続性を向上させることができる。
また、実施の形態３に係る目標追尾装置３０における追尾パラメータの学習において、目標追尾装置３０は、観測特徴量の縮退に対応するため、正解データを縮退が発生しているデータと縮退が発生していないデータに分けたうえで、縮退した場合と縮退しない場合で観測誤差を別々に学習してもよい。具体的には、正解データのバウンディングボックスに重複があり，IOU（Intersection over Union）が一定以上である場合には縮退の状況と判定し、縮退環境下での正解データと観測データのばらつきを計算する。一方、目標追尾装置３０は、正解データのバウンディングボックスに隣接するバウンディングボックスとの重複がないもしくはIOUが一定以下の正解データに対して正解データと観測データのばらつきを計算して非縮退時の観測雑音としてもよい。また、目標追尾装置３０は、縮退の有無に応じて学習データを分類したうえで新航跡密度や検出確率等の追尾パラメータを学習してもよい。
そして、実施の形態１に係る目標追尾装置１、実施の形態２に係る目標追尾装置２０又は実施の形態３に係る目標追尾装置３０におけるフィルタリング部９は、縮退時と非縮退時に分けた教師データから算出した追尾パラメータを用いてフィルタリングを行ってもよい。また、実施の形態１に係る目標追尾装置１若しくは実施の形態２に係る目標追尾装置２０における相関部７又は実施の形態３に係る目標追尾装置３０における相関部３１は、縮退時と非縮退時に分けた教師データから算出した追尾パラメータを用いて、検出部５が検出した複数種の観測特徴量と予測部６が予測した複数種の予測特徴量との相関として、相関スコアを算出してもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る目標追尾装置は、目標を追尾する追尾性能を向上させることができるため、目標追尾システムに利用可能である。

１ 目標追尾装置、２ センサ部、３ 表示装置、４ 取得部、５ 検出部、６ 予測部、７ 相関部、８ 特徴量選択部、９ フィルタリング部、１０ カメラ、１１ ディスプレイ、１２ アンテナ、１３ 送受信機、１４ Ａ／Ｄ変換器、１５ 処理回路、１６ プロセッサ、１７ メモリ、２０ 目標追尾装置、２１ 検出部、２２ 特徴点相関部、２３ クラスタリング部、２４ 識別部、３０ 目標追尾装置、３１ 相関部、３２ 縮退仮説判定部、３３ 部分相関部、１００，１０１，１０２ 目標追尾システム。

Claims (17)

1. 目標に関するセンサデータを取得する取得部と、
   前記取得部が取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を検出する検出部と、
   前記検出部が過去に検出した過去の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する予測部と、
   前記検出部が検出した複数種の観測特徴量と前記予測部が予測した複数種の予測特徴量との相関を決定する相関部と、
   前記相関部が決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する特徴量選択部と、
   前記検出部が検出した複数種の観測特徴量のうちの、前記特徴量選択部が選択した種別に該当する観測特徴量、及び、前記予測部が予測した複数種の予測特徴量のうちの、前記特徴量選択部が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出するフィルタリング部と、を備えていることを特徴とする、目標追尾装置。
2. 前記検出部は、前記取得部が取得したセンサデータに基づいて、現在時刻における前記目標の大きさを少なくとも検出し、
   前記予測部は、前記検出部が過去に検出した過去の前記目標の大きさに基づいて、現在時刻における前記目標の大きさを少なくとも予測し、
   前記相関部は、前記検出部が検出した前記目標の大きさと、前記予測部が予測した前記目標の大きさとの相関を少なくとも決定し、
   前記フィルタリング部は、前記特徴量選択部がフィルタリングの対象として前記目標の大きさを選択した場合、前記検出部が検出した前記目標の大きさと、前記予測部が予測した前記目標の大きさとに基づいて、フィルタリングを行うことにより、前記出力用特徴量として、出力用の前記目標の大きさを算出することを特徴とする、請求項１に記載の目標追尾装置。
3. 前記取得部が取得するセンサデータは、画像であり、
   前記検出部は、前記取得部が取得した画像に基づいて、現在時刻における前記目標の色ヒストグラムを少なくとも検出し、
   前記予測部は、前記検出部が過去に検出した過去の前記目標の色ヒストグラムに基づいて、現在時刻における前記目標の色ヒストグラムを少なくとも予測し、
   前記相関部は、前記検出部が検出した前記目標の色ヒストグラムと、前記予測部が予測した前記目標の色ヒストグラムとの相関を少なくとも決定し、
   前記フィルタリング部は、前記特徴量選択部がフィルタリングの対象として前記目標の色ヒストグラムを選択した場合、前記検出部が検出した前記目標の色ヒストグラムと、前記予測部が予測した前記目標の色ヒストグラムとに基づいて、フィルタリングを行うことにより、前記出力用特徴量として、出力用の前記目標の色ヒストグラムを算出することを特徴とする、請求項１に記載の目標追尾装置。
4. 前記取得部が取得するセンサデータは、画像であり、
   前記検出部は、前記取得部が取得した画像に基づいて、現在時刻における前記目標の勾配方向ヒストグラムを少なくとも検出し、
   前記予測部は、前記検出部が過去に検出した過去の前記目標の勾配方向ヒストグラムに基づいて、現在時刻における前記目標の勾配方向ヒストグラムを少なくとも予測し、
   前記相関部は、前記検出部が検出した前記目標の勾配方向ヒストグラムと、前記予測部が予測した前記目標の勾配方向ヒストグラムとの相関を少なくとも決定し、
   前記フィルタリング部は、前記特徴量選択部がフィルタリングの対象として前記目標の勾配方向ヒストグラムを選択した場合、前記検出部が検出した前記目標の勾配方向ヒストグラムと、前記予測部が予測した前記目標の勾配方向ヒストグラムとに基づいて、フィルタリングを行うことにより、前記出力用特徴量として、出力用の前記目標の勾配方向ヒストグラムを算出することを特徴とする、請求項１に記載の目標追尾装置。
5. 前記検出部は、前記取得部が取得したセンサデータに基づいて、局所領域毎に、現在時刻における複数種の観測特徴量を検出し、
   前記予測部は、前記検出部が過去に局所領域毎に検出した過去の複数種の観測特徴量に基づいて、局所領域毎に、現在時刻における複数種の予測特徴量を予測し、
   前記相関部は、局所領域毎に、前記検出部が検出した複数種の観測特徴量と、前記予測部が予測した複数種の予測特徴量との相関を決定し、
   前記特徴量選択部は、前記相関部が局所領域毎に決定した相関に基づいて、局所領域毎に、フィルタリングの対象とする特徴量の種別を選択し、
   前記フィルタリング部は、前記検出部が局所領域毎に検出した複数種の観測特徴量のうちの、前記特徴量選択部が局所領域毎に選択した種別に該当する観測特徴量、及び、前記予測部が局所領域毎に予測した複数種の予測特徴量のうちの、前記特徴量選択部が局所領域毎に選択した種別に該当する予測特徴量に基づいて、局所領域毎にフィルタリングを行うことにより、局所領域毎に出力用特徴量を算出することを特徴とする、請求項１に記載の目標追尾装置。
6. 前記取得部が取得するセンサデータは、地平線又は水平線を少なくとも示す画像であり、
   前記検出部は、前記取得部が取得した画像に基づいて、現在時刻における、２次元画素座標系を基準とした前記目標の位置を少なくとも検出し、
   前記予測部は、前記取得部が取得した画像における前記地平線又は前記水平線から前記目標までの画素数に基づいて、現在時刻における前記目標までの距離を算出し、当該距離と、前記検出部が過去に検出した過去の前記目標の位置とに基づいて、現在時刻における、３次元直交座標系を基準とした前記目標の位置を少なくとも予測し、
   前記相関部は、前記検出部が検出した前記目標の位置と、前記予測部が予測した前記目標の位置との相関を少なくとも決定し、
   前記フィルタリング部は、前記特徴量選択部がフィルタリングの対象として前記目標の位置を選択した場合、前記検出部が検出した前記目標の位置と、前記予測部が予測した前記目標の位置とに基づいて、前記２次元画素座標系と前記３次元直交座標系との非線形関係を示す非線形状態推定モデルを用いたフィルタリングを行うことにより、前記出力用特徴量として、出力用の前記目標の位置を算出することを特徴とする、請求項１に記載の目標追尾装置。
7. 前記取得部が取得するセンサデータは、画像であり、
   前記検出部は、前記取得部が取得した画像に基づいて、現在時刻における前記目標を囲うバウンディングボックスに関する複数種の観測特徴量を少なくとも検出し、
   前記予測部は、前記検出部が過去に検出した過去のバウンディングボックスに関する複数種の観測特徴量に基づいて、現在時刻におけるバウンディングボックスに関する複数種の予測特徴量を少なくとも予測し、
   前記相関部は、前記検出部が検出したバウンディングボックスに関する複数種の観測特徴量と、前記予測部が予測したバウンディングボックスに関する複数種の予測特徴量との相関を少なくとも決定し、
   前記フィルタリング部は、前記特徴量選択部がフィルタリングの対象としてバウンディングボックスに関する特徴量の種別を選択した場合、前記検出部が検出したバウンディングボックスに関する複数種の観測特徴量のうち、前記特徴量選択部が選択した種別に該当する観測特徴量と、前記予測部が予測したバウンディングボックスに関する複数種の予測特徴量のうち、前記特徴量選択部が選択した種別に該当する予測特徴量とに基づいて、フィルタリングを行うことにより、前記出力用特徴量として、出力用のバウンディングボックスに関する特徴量を算出することを特徴とする、請求項１に記載の目標追尾装置。
8. 前記バウンディングボックスは、３次元のバウンディングボックスであることを特徴とする、請求項７に記載の目標追尾装置。
9. 前記取得部が取得するセンサデータは、現在時刻のフレーム及び過去のフレームを含む複数のフレームであり、
   前記検出部は、
   前記取得部が取得した複数のフレームに基づいて、フレーム毎に特徴点を検出し、検出したフレーム毎の特徴点の相関を決定し、決定した相関に基づいて、過去から現在時刻までのオプティカルフローを算出する特徴点相関部と、
   前記特徴点相関部が算出したオプティカルフローに基づいて、前記特徴点相関部が検出したフレーム毎の特徴点の集合をクラスタリングすることにより複数の部分集合に分割するクラスタリング部と、
   前記クラスタリング部が分割した複数の部分集合のうち、前記目標を示す部分集合を識別し、識別した目標の複数種の観測特徴量を前記予測部に出力する識別部と、を備えていることを特徴とする、請求項１に記載の目標追尾装置。
10. 前記特徴点相関部は、前記予測部が現在時刻における複数種の予測特徴量を予測する時間間隔よりも短い時間間隔の複数のフレームに基づいて、フレーム毎に特徴点を検出し、検出したフレーム毎の特徴点の相関を決定し、決定した相関に基づいて、過去から現在時刻までのオプティカルフローを算出することを特徴とする、請求項９に記載の目標追尾装置。
11. 前記予測部は、前記識別部が出力した過去の複数種の観測特徴量と、前記特徴点相関部が算出したオプティカルフローとに基づいて、現在時刻における前記目標の速度ベクトルを少なくとも含む現在時刻における前記目標の複数種の予測特徴量を予測し、
    前記相関部は、前記特徴点相関部が算出したオプティカルフローと、前記予測部が予測した速度ベクトルとの一致度から相関スコアを少なくとも算出することを特徴とする、請求項９に記載の目標追尾装置。
12. 前記取得部は、複数の目標に関するセンサデータを取得し、
    前記相関部は、
    前記検出部が検出した単一の目標に関する複数種の観測特徴量と、前記予測部が予測した複数の目標に関する目標毎の複数種の予測特徴量とが対応するか否かを判定する縮退仮説判定部と、
    前記縮退仮説判定部が前記単一の目標に関する複数種の観測特徴量と、前記複数の目標に関する目標毎の複数種の予測特徴量とが対応していると判定した場合、前記検出部が検出した単一の目標に関する複数種の観測特徴量と前記予測部が予測した複数の目標に関する目標毎の複数種の予測特徴量との相関を決定する部分相関部とを備えていることを特徴とする、請求項１に記載の目標追尾装置。
13. 前記特徴量選択部は、前記部分相関部が決定した相関に基づいて、前記検出部が検出した単一の目標に関する複数種の観測特徴量と、前記予測部が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの対応する予測特徴量とをそれぞれ比較することにより、フィルタリングの対象とする特徴量の種別を選択し、
    前記フィルタリング部は、前記検出部が検出した単一の目標に関する複数種の観測特徴量のうちの、前記特徴量選択部が選択した種別に該当する観測特徴量、及び、前記予測部が予測した複数の目標に関する目標毎の複数種の予測特徴量のうちの、前記特徴量選択部が選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、目標毎に出力用特徴量を算出することを特徴とする、請求項１２に記載の目標追尾装置。
14. 前記フィルタリング部は、縮退時と非縮退時に分けた教師データから算出した追尾パラメータを用いてフィルタリングを行うことを特徴とする、請求項１に記載の目標追尾装置。
15. 前記相関部は、縮退時と非縮退時に分けた教師データから算出した追尾パラメータを用いて、前記相関として、相関スコアを算出することを特徴とする、請求項１に記載の目標追尾装置。
16. 請求項１に記載の目標追尾装置と、
    前記目標を検知することにより前記センサデータを取得するセンサ部と、
    前記フィルタリング部が算出した出力用特徴量に基づいた画像を表示する表示装置と、を備えていることを特徴とする、目標追尾システム。
17. 目標に関するセンサデータを取得する取得ステップと、
    前記取得ステップで取得したセンサデータに基づいて、現在時刻における複数種の観測特徴量を検出する検出ステップと、
    前記検出ステップで過去に検出した過去の複数種の観測特徴量に基づいて、現在時刻における複数種の予測特徴量を予測する予測ステップと、
    前記検出ステップで検出した複数種の観測特徴量と前記予測ステップで予測した複数種の予測特徴量との相関を決定する相関ステップと、
    前記相関ステップで決定した相関に基づいて、フィルタリングの対象とする特徴量の種別を選択する特徴量選択ステップと、
    前記検出ステップで検出した複数種の観測特徴量のうちの、前記特徴量選択ステップで選択した種別に該当する観測特徴量、及び、前記予測ステップで予測した複数種の予測特徴量のうちの、前記特徴量選択ステップで選択した種別に該当する予測特徴量に基づいて、フィルタリングを行うことにより、出力用特徴量を算出するフィルタリングステップと、を含むことを特徴とする、目標追尾方法。

Images