以下、図面を用いて本発明の実施の形態を説明する。
なお、本実施形態では目標物の移動軌跡を「航跡」と表現するが、本発明が対象とする目標物は、移動する物体である限り、例えば車両、人又は船舶等、いかなるものであってもよい。また、観測データの確度情報の例として分散値を用いて説明するが、分散値の代わりに分散共分散行列を用いても良い。その場合、後述のゲート範囲は円ではなく楕円、判定に用いる距離はマハラノビス距離、確率分布は多次元正規分布としても良い。
図1は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローを示す機能ブロック図である。
本実施形態のセンサ統合システムは、センサ統合装置100、複数のセンサ、及び、センサ統合装置100と複数のセンサとを接続するネットワーク160によって構成される。
複数のセンサは、目標物に関する情報を取得できるものであればどのようなものであってもよい。ここで、目標物に関する情報とは、例えば目標物の位置を示す情報又は外形を示す情報等である。
図1には二つのセンサ、すなわちセンサ1_151及びセンサ2_152を示すが、本実施形態のセンサ統合システムは、さらに多くのセンサを含んでもよい。これらの複数のセンサは、複数の種類のセンサを含む。例えば、センサ1_151がレーダであり、センサ2_152がカメラであってもよい。このような例の詳細については図3を参照して後述する。
センサ統合装置100は、センサ情報入力部101、センサ種別1前処理部102A、センサ種別2前処理部102B、センサ種別1目標物検出部103A、センサ種別2目標物検出部103B、センサ情報統合部104、地図出力部105、航跡情報出力部106及びセンサ情報出力部107を備える。
さらに、センサ統合装置100は、上記の各部によって参照される参照情報111、センサ情報入力部101に入力されたセンサ情報を格納するセンサ情報DB(データベース)117、及びセンサ情報統合部によって生成された航跡情報等を格納する目標物情報DB116を保持する。参照情報111は、センサモデルDB112、目標物モデルDB113、地図情報DB114及び処理パラメータDB115を含む。なお、センサ情報DB117及び目標物情報DB116は、地図情報DB114の一部として保持されてもよい。
センサ1_151等は、センシングによって取得した観測データを含むセンサ情報170を、ネットワーク160を介してセンサ統合装置100に送信する。本実施形態のセンサ情報170は、センサ属性171、データ172及びデータ属性173を含む。センサ属性171は、そのセンサ情報170を送信したセンサの種別(たとえばそれがレーダ又はカメラ等のいずれであるかを示す情報)、識別子(ID)、及び当該センサの観測データに含まれる可能性がある項目(時刻、位置、速度、加速度、及び航跡)のような、センサの諸元を含む。データ172は、各センサによって取得された観測データ及びそれが取得された時刻等を含む。データ属性173は、観測データの属性を示す情報、例えば観測データの精度等を含んでもよい。これらの詳細については後述する。センサ統合装置100は、センサ情報170をステップごとに取得してもよいし、ストリーミングによって取得してもよい。
各センサは、センサ統合装置100に固定的に接続されていてもよいが、新規のセンサの追加及び既存のセンサの削除を許容してもよい。追加されたセンサからの要求に基づいてセンサ統合装置100に新たなセンサが登録されてもよいし(すなわちPUSH登録)、センサ統合装置100がセンサを検索し、検索されたセンサを登録してもよい(すなわちPULL登録)。
センサ情報入力部101は、センサから受信したセンサ情報170をセンサ情報DB117に格納する。また、センサ情報入力部101は、異なる種類のセンサに対応するため、センサ情報170に含まれるセンサ属性171に記述されたセンサ種別に基づいてセンサ情報170の送信元のセンサ種別を判定し、判定されたセンサ種別に対応するセンサモデルに基づいて、センサ情報170を処理する前処理部等を選択する。これによって、例えばセンサ1_151から送信されたセンサ情報170はセンサ種別1前処理部102A及びセンサ種別1目標物検出部103Aによって処理され、センサ2_152から送信されたセンサ情報170はセンサ種別2前処理部102B及びセンサ種別2目標物検出部103Bによって処理される。
例えば、センサ種別1前処理部102Aは、センサ1_151から送信された観測データについて前処理を行う。例えば、前処理として、センサ種別1前処理部102Aは、センサ1_151からのセンサ情報170やデータ172に含まれている座標値を、センサ情報統合部104において扱われる絶対座標系における座標値に変換してもよい。例えばセンサがレーダの場合、観測データの座標値が極座標系(距離、仰角、方位角)で記述される場合があるため、これを絶対座標系に変換してもよい。また絶対座標系とは、複数種類のセンサによって観測された座標値を統一的に扱うために使用される統一的な座標系であり、例えばGPSにおいて使用されるWGS84経緯度座標系や、あるいはUTM(ユニバーサル横メルカトール図法)など直交座標系等、任意の座標系を絶対座標系として採用することができる。さらに、上記以外の処理が前処理として実行されてもよい。同様に、センサ種別2前処理部102Bは、例えば、センサ2_152から送信されたセンサ情報170についての前処理を実行する。
センサ種別1目標物検出部103A及びセンサ種別2目標物検出部103Bは、観測データに基づいて、目標物を検出する処理、特に、移動している目標物を検出する処理を実行する。この処理については図3等を参照して後述する。
センサ統合装置100に3種類以上のセンサからの観測データが入力される場合、センサ統合装置100は、さらに多くの前処理部及び目標物検出部を備える(図示省略)。
センサ情報統合部104は、複数種類のセンサによって取得され、前処理及び目標物検出処理が実行された観測データに基づいて、目標物の航跡を抽出する。特に、複数の種類の目標物が混在する環境下で目標物及びその航跡を抽出するため、目標物モデルに基づいて、航跡抽出の処理を調整する。これらの処理を実行するために、センサ情報統合部104は、キー情報抽出部104A、処理調整部104B及び航跡抽出処理部104Cを含む。これらが実行する詳細な処理については後述する。抽出された航跡を示す情報は、目標物情報DB116に格納される。
具体的には、例えば、キー情報抽出部104Aは、複数種類のセンサのうち少なくとも一つによる観測データから、航跡抽出処理に有効なキー情報を抽出する。ここでキー情報とは、目標物の数、大きさ、速度、又は航跡(目標物検出部の処理結果の航跡ID)等である。
処理調整部104Bは、抽出されたキー情報に基づいて、観測データを組み合わせて処理するための処理パラメータ等を調整する。具体的には、処理調整部104Bは、抽出されたキー情報に基づいて、観測データの組み合わせから航跡の仮説を作成するために使用する目標物モデルを選択又は変更し、さらに、同時に存在する航跡の数(すなわち仮説選択数)を限定してもよい。あるいは、目標物が存在するか否かはレーダからの観測データに基づいて判定し、目標物の位置や属性(サイズ等)、及びその連続性(航跡ID)はカメラからの観測データに基づいて判定するなどの処理を指定してもよい。
航跡抽出処理部104Cは、処理調整部104Bによって調整された処理パラメータを使用することによって、それぞれの種類のセンサの特性を考慮して、航跡を推定し、推定された航跡を、抽出結果として出力する。航跡抽出処理部104Cは、例えば、公知技術であるMHT(Multiple Hypothesis Tracking、多重仮説相関方式)やJPDA(Joint Probabilistic Data Association)等によって航跡を抽出してもよい。MHTを利用する場合、処理パラメータの調整は、仮説の組み合わせ生成結果から選択される仮説の数を、キー情報に含まれる目標物の数と同数に制限することであってもよい。
あるいは、キー情報に含まれる目標物の大きさ及び速度を用いてフィルタリングすることによって目標物モデルを選択し、その目標物モデルに基づいて仮説の確からしさを検証してもよい。あるいは、非線形・非ガウス型時系列データの推定方法として知られているPF(Particle Filter、粒子フィルタ)を利用してもよい。PFを利用する場合、目標物モデルを用いてPFで使用されるサンプルの拡散の方向及び移動量を制御することによって処理パラメータを調整してもよい。
なお、上記のような処理の分担は一例であり、実際には多様な分担の形態が考えられる。例えば、前処理部及び目標物検出部の全部又は一部がセンサ側に設けられてもよいし(図4参照)、前処理部及び目標物検出部が実行するものと同様の処理を全てセンサ情報統合部104が実行してもよい。図1においてセンサ種別1目標物検出部103Aが破線で表示されているのは、上記のように、目標物の検出が別の処理部等で実行されてもよいことを示している。
地図出力部105は、地図情報DB114を参照して地図を出力し、さらに、目標物の座標値及び抽出された航跡をその地図上に出力する。航跡情報出力部106は、抽出された航跡を出力する。センサ情報出力部107は、センサ情報DB117に格納された観測データ(具体的には目標物の座標値等)を出力する。後述するように、観測データ及び抽出された航跡は、種々の態様で出力され得る。図1には、代表的な三つの態様に対応する三つの出力部を示したが、実際には、さらに多様な態様の出力を実行するために多数の出力部が設けられてもよいし、一つの出力部が、ユーザから指定された態様又は所定の条件に従って定められた態様で航跡等を出力してもよい。
図2は、本発明の実施形態のセンサ統合システムのハードウェア構成を示すブロック図である。
本実施形態のセンサ統合装置100は、インターフェース(I/F)201、プロセッサ202、記憶装置203、入力装置204及び出力装置205を備える。これらは、通信線(例えばバス)206を介して相互に接続される。
I/F201は、ネットワーク160に接続され、ネットワーク160を介してセンサ1_151及びセンサ2_152等からセンサ情報170を受信する。ネットワーク160は、例えばIPネットワーク又はその他の種類のネットワーク等、いかなるものであってもよい。
なお、図1にはセンサ情報170がネットワーク160を介してセンサ統合装置100に入力される例を示したが、センサ情報170がネットワーク160を介さずにセンサ統合装置100に入力されてもよい。例えば、センサ1_151等がUSB(Universal Serial Bus)等のケーブルを介してセンサ統合装置100に接続され、そのケーブルを介してセンサ情報170がセンサ統合装置100に入力されてもよい。その場合、I/F201はUSBのインターフェースである。あるいは、センサ1_151等がセンサ情報170を持ち運び可能な記憶媒体(例えば持ち運び可能なフラッシュメモリ又は記憶ディスク)に格納し、その記憶媒体からセンサ情報170がセンサ統合装置100に入力されてもよい。その場合、I/F201は記憶媒体の読み出し装置である。あるいは、センサ1_151等がセンサ統合装置100に直結されてもよい。
プロセッサ202は、センサ統合装置100の各部を制御することによって、センサ統合装置100の種々の機能を実現する。例えば、プロセッサ202は、記憶装置203に格納されたプログラムに従って、I/F201、入力装置204及び出力装置205を制御することによって、図1のセンサ情報入力部101、センサ種別1前処理部102A、センサ種別2前処理部102B、センサ種別1目標物検出部103A、センサ種別2目標物検出部103B、センサ情報統合部104、地図出力部105、航跡情報出力部106及びセンサ情報出力部107の機能を実現してもよい。その場合、図2に示すハードウェアとして一般的なPC(Personal Computer)が使用されてもよい。あるいは、プロセッサ202は、上記のような汎用プロセッサでなく、上記の各部の機能を実現する一つ以上の専用プロセッサであってもよい。
記憶装置203には、プロセッサ202が実行するプログラム及びプロセッサ202によって参照されるデータが格納される。例えば、図1に示した参照情報111、目標物情報DB116及びセンサ情報DB117が記憶装置203に格納される。記憶装置203は、例えば、DRAM(Dynamic Random Access Memory)のような揮発性の半導体メモリ、フラッシュメモリのような不揮発性の半導体メモリ、若しくはハードディスクドライブのようなディスク装置のいずれか、又はそれらの組み合わせであってもよい。
入力装置204は、ユーザからの指示等を受け付けるために使用され、例えば、キーボード及びマウス等を含んでもよい。センサ統合装置100がユーザから指示を受ける必要がない場合には、入力装置204が省略されてもよい。
出力装置205は、抽出された航跡等を出力する。例えば、出力装置205は、液晶表示装置のような画像表示装置であってもよい。その場合、図1に示した各出力部の機能は、プロセッサ202が画像を生成するプログラムに従って航跡等を表示する画像を作成し、画像表示装置がその画像を表示することによって実現される。
なお、図1に示した各出力部は、API(Application Program Interface)、Webサービス又は記憶媒体を介して航跡等を出力してもよい。その場合、出力装置は、ネットワークインターフェース又は記憶媒体への書き込み装置であってもよい。
図3は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローの具体例を示す機能ブロック図である。
具体的には、図3は、図1に示したセンサ統合システムに含まれる複数の種類のセンサのうち第1の種類のセンサがレーダであり、第2の種類のセンサがカメラである場合の構成及び概略処理フローを示す。このようなセンサ統合システムは、複数のレーダ及び複数のカメラを備えてもよい。
なお、周知のように、レーダは、目標物の位置に関する情報を取得できるセンサである。一方、カメラは、目標物を含む監視対象領域の画像を撮影するセンサである。撮影された画像から、目標物の領域(例えば大きさ及び形状などの外形等)に関する情報を取得できる。カメラの位置及び撮影された方向等を特定するパラメータが与えられれば、撮影された画像に基づいて目標物の位置を特定することもできる。
図3に示すセンサ統合システムのレーダ1_151A及びレーダ2_151Bは、図1に示すセンサ統合システムのセンサ1_151に相当し、カメラ1_152A及びカメラ2_152Bはセンサ2_152に相当する。カメラ1_152A等は、固定されたカメラであってもよいし、移動体に設置された移動カメラであってもよい。移動カメラの一例は、有人又は無人の飛行体に設置され、地表方向を撮影するカメラである。この場合、撮影される目標物は、例えば地表を移動する車両、人又は水面を移動する船舶等である。
レーダ及びカメラからセンサ統合装置100に入力されるセンサ情報170の構造は図1に示したものと同じであるが、含まれている観測データの詳細な内容は、後述するように、センサの種類ごとに異なってもよい。
レーダ情報入力部101A及びカメラ情報入力部101Bはセンサ情報入力部101に相当し、レーダ前処理部102C及びレーダ目標物検出部103Cがそれぞれセンサ種別1前処理部102A及びセンサ種別1目標物検出部103Aに相当し、カメラ前処理部102D及びカメラ目標物検出部103Dがそれぞれセンサ種別2前処理部102B及びセンサ種別2目標物検出部103Bに相当する。これらの各部は、基本的には、それぞれに相当する図1の各部と同様の処理を実行するが、その際に、センサの種類に応じた特有の処理を実行してもよい。
例えば、レーダによる観測データにはノイズが含まれる場合が多いため、レーダ目標物検出部103Cは、フィルタ処理等によってノイズを削減してもよい。あるいは、レーダによると一つの目標物が複数の点の集合として観測される場合があるため、レーダ目標物検出部103Cは、そのようなデータを間引きしてもよい。
一方、カメラ目標物検出部103Dは、例えば非特許文献1に記載された方法によって目標物を検出することができる。
具体的には、例えば、カメラ目標物検出部103Dは、カメラ1_152A等が撮影した画像に含まれる目標物の領域の、当該画像の座標系における座標値を、絶対座標系における座標値に変換する処理を実行する。これによって、レーダによって観測された目標物の座標値と、カメラ画像から特定された目標物の座標値とを比較することができる。ここで、カメラ撮影方向等を適切に制御することで、1枚の画像として撮影される範囲は十分に狭く、画像に写っているものは全て水平な地表面上にあるものとみなすことができる。このような条件の下で、カメラの内部パラメータ(すなわち焦点距離、主点)および外部パラメータ(すなわち位置、撮影方向)が与えられれば、絶対座標系における座標値は、次の数式(1)を計算することによって得られることが知られている。
ここで、(X,Y)は絶対座標系における目標物の座標、(x,y)は画像座標系における目標物の座標である。また、sは画像のスケーリング係数、fx、fy、cx、cyはカメラ内部パラメータ、rxx〜rzx、rxy〜rzy及びtx〜tzはカメラ外部パラメータである。これらは公知の方法によって決定することができるため、ここでは詳細な説明を省略する。
さらに、カメラ目標物検出部103Dは、上記領域のモーメント特徴量等から目標物の全長方向を算出し、それに基づいて当該目標物の全長及び全幅を計測することができる。さらに、カメラ目標物検出部103Dは、非特許文献1に記載された方法によって、撮影された2フレームのうち一方の画像から移動体領域を切り出し、他方の画像を用いてテンプレートマッチングを行うことによって、当該他方の画像において、切り出した移動体領域に対応する領域を取得することができる。これによって、二つの時刻における、絶対座標系における移動体領域を求めることができ、それぞれの移動体領域の位置を比較することによって、一つの目標物の上記二つの時刻における座標値、その目標物の速度及び加速度を求めることができる。また、抽出された移動体領域の数を、画像に含まれる目標物の数として特定することができる。
具体的には、カメラ目標物検出部103Dは、上記の二つの時刻における移動体領域の少なくとも一部が重複している場合、それらの移動体領域に写っている目標物を同一の目標物であると判定し(非特許文献1)、それらに同一の目標物ID(後述)を付与する。カメラが画像を撮影する時間間隔が十分に短ければ、ある時刻に撮影された目標物の画像と、その次の時刻に撮影された目標物の画像とは、少なくともその一部が重複すると考えられるためである。さらにそれらの位置の差及びカメラが画像を撮影する時間間隔に基づいて、速度を求めることができる。
図4は、本発明の実施形態のセンサ統合システムの構成及び概略処理フローの変形例を示す機能ブロック図である。
具体的には、図4には、前処理及び目標物検出処理をセンサ側で行うセンサ統合システムを示す。図4に示すセンサ統合システムは、センサ1_151、センサ2_152及びセンサ統合装置100に加えて、処理装置400A及び400Bを備える。処理装置400A及び400Bは、PCのような独立した装置として構成され、ネットワーク160に接続されてもよい。その場合、処理装置400A及び400Bのハードウェア構成は図2に示したセンサ統合装置の構成と同様であってもよい。あるいは、処理装置400A及び400Bは、センサプラットフォームに組み込まれていてもよい。その場合、処理装置400A及び400Bは、それぞれセンサ1_151及びセンサ2_152の一部であってもよい。
処理装置400Aは、センサ情報入力部401A、センサ前処理部402A、センサ目標物検出部403A及びセンサ情報出力部404Aを備える。これらは、それぞれ、図1に示したセンサ情報入力部101、センサ種別1前処理部102A、センサ種別1目標物検出部103A及びセンサ情報出力部107と同等のものであってよい。ただし、処理装置400Aは、1種類のセンサからのセンサ情報を処理するため、センサ情報入力部401Aはセンサ種別に基づく処理の振り分けを行う必要がない。また、センサ情報出力部404Aは、センサ目標物検出部403Aによって処理されたセンサ情報170を出力する。
同様に、処理装置400Bは、センサ情報入力部401B、センサ前処理部402B、センサ目標物検出部403B及びセンサ情報出力部404Bを備える。これらは、それぞれ、図1に示したセンサ情報入力部101、センサ種別2前処理部102B、センサ種別2目標物検出部103B及びセンサ情報出力部107と同等のものであってよい。
図1の場合と同様、処理装置400A及び400Bは、センサ目標物検出部403A及び403Bを備えなくてもよい。異なるレベルのセンサ情報170がセンサ統合装置100に入力された場合(例えば、後述する目標物IDが付与されたセンサ情報170と付与されていないセンサ情報170とがセンサ統合装置100に入力された場合)、センサ統合装置100がセンサ属性171及びデータ属性173に基づいて処理レベル(例えば目標物IDを付与する処理を行う必要があるか否か)及びデータ172の内容を判定し、適切な処理を選択して実行する。
ここで、図1〜図4に示したセンサ情報170の内容について説明する。
一組のセンサ情報170は、一つのセンサ属性171と、複数のデータ172と、それぞれに対応する複数のデータ属性173と、を含む。
センサ属性171は、センサ種別、センサID、センサ位置、センサ観測パラメータ、位置データ精度、検出データ確度、処理方式、及び処理確度等を含む。センサ種別は、センサの種類を示す情報であり、例えば、センサ情報170を送信したセンサ(ここでは当該センサと記載する)がレーダ、固定カメラ又は移動カメラ等のいずれであるかを示す。センサIDは、当該センサを一意に識別する情報である。センサ位置は、当該センサが設置された位置の座標値等を示す。センサ観測パラメータは、当該センサによる観測対象の範囲等を示す情報であり、当該センサがカメラである場合には撮影方向及び画角等を含んでもよい。位置データ精度は、観測データ(すなわちデータ172)に含まれる座標値の精度を示す。例えば、位置データ精度は、座標値の存在確率を示す確率密度関数の分散値であってもよい。
なお、センサ属性171は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、当該センサが移動カメラ(例えば飛行体に取り付けられたカメラ等)である場合には、時刻ごとに当該センサの位置が異なる。この場合、センサ属性171はセンサ位置を含まず、代わりに、後述するデータ属性173がセンサ位置を含んでもよい。
各データ172は、時刻、位置、速度、加速度、及び航跡ID等を含む。時刻は、当該センサがデータ172を観測した時刻であり、その時刻に観測された目標物の位置(すなわち座標値)、速度、加速度等が各データ172に含まれる。
各データ172は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、当該センサがカメラである場合、各データ172は、当該センサが撮影した画像データを含んでもよく、位置、速度及び加速度等を含まなくてもよい。また、図4に示した構成において、例えば処理装置400Aがセンサ目標物検出部403Aを備える場合には、その処理装置400Aからセンサ統合装置100に入力されるデータ172は、センサ目標物検出部403Aによって抽出された航跡IDを含むが、処理装置400Aがセンサ目標物検出部403Aを備えない場合には、データ172は航跡IDを含まない。
各データ172に対応する各データ属性173は、対応する各データ172の属性に関する情報を含み、具体的には、全体確度、観測範囲、センサ観測パラメータ、及び個別確度等を含む。全体確度は、対応するデータ172に含まれるデータ全体の確度を示す情報である。観測範囲は、当該センサによって観測される範囲であり、例えばレーダの有効な観測範囲又はカメラによって撮影される範囲等を示す。センサ観測パラメータは、当該センサが移動プラットフォームセンサ(例えば飛行体に取り付けられたカメラ等)である場合の、対応するデータ172が観測された時刻における当該センサの位置及び撮影方向等を含む。個別確度は、対応するデータ172に含まれるデータ項目(例えば位置、速度、加速度及び航跡ID等)ごとの確度を示す。
各データ属性173は、上記以外の情報をさらに含んでもよいし、上記の情報の一部のみを含んでもよい。例えば、各データ属性173は、全体確度又は個別確度のいずれか一方のみを含んでもよい。また、当該センサが固定センサである場合、各データ属性173は、センサ観測パラメータを含まなくてもよい。その場合、センサ属性171に含まれるセンサ観測パラメータが参照される。
次に、センサ統合装置に保持される情報について説明する。
図5Aは、本発明の実施形態のセンサ統合装置100が保持するセンサモデルDB112の説明図である。
センサモデルDB112には、それぞれがセンサの種類に対応する複数のレコードが格納される。各レコードは、センサ種別コード501、種別名称502、センサ属性項目503及び観測データ項目504等を含む。
センサ種別コードは、各センサの種類を示すコードであり、例えば、レーダを示すコード(Radar)、固定カメラを示すコード(FixedCam)及び移動カメラを示すコード(MovingCam)等が格納される。
種別名称502は、センサの種類を示す名前であり、例えば、「レーダ」、「固定カメラ」及び「移動カメラ」等が格納される。
センサ属性項目503は、センサ属性171に含まれる可能性がある情報の項目を示すコードである。例えば、レーダからのセンサ属性171に含まれる可能性がある情報の項目として、センサ種別、センサ位置、センサの角度、使用される座標系、観測可能な最大距離、観測可能な範囲、及び観測エラーに関する情報等が挙げられる。その場合、レーダに対応するセンサ属性項目503として、上記の項目を示すコード(例えばSensorType、SensorPos、SensorAngle、PosCRS、MaxDist、CoverArea、及びErrorInfo等)が格納される。
一方、例えば固定カメラからのセンサ属性171に含まれる可能性がある情報の項目として、上記と同様の項目のほか、センサ観測パラメータ及びデータ形式(例えば撮影された画像データの形式)等が挙げられる。この場合、固定カメラに対応するセンサ属性項目503としてさらに上記の項目を示すコード(例えばSensorParam及びDataType等)が格納される。
観測データ項目504は、観測データ(すなわちデータ172及びデータ属性173)に含まれる可能性がある情報の項目を示すコードである。例えば、レーダからの観測データに含まれる可能性がある情報の項目として、時刻、X座標、Y座標、Z座標、速度、加速度、航跡ID、目標物の長さ、目標物の幅、目標物の向き、観測データの精度、及び観測エラーに関する情報等が挙げられる。その場合、レーダに対応する観測データ項目504として、上記の項目を示すコード(例えばTime、X、Y、Z、V、A、TrcNo、Tl、Tw、To、Accuracy、及びErrorInfo等)が格納される。もちろん、XYZ座標以外のレーダ極座標(距離Range、仰角Elevation、方位角Azimuth)を格納し、前処理にて絶対座標系に変換できるようにしても良い。
一方、例えば固定カメラからの観測データに含まれる可能性がある情報の項目として、上記と同様の項目のほか、画像データ等が挙げられる。この場合、固定カメラに対応する観測データ項目504としてさらに上記の項目を示すコード(例えばImage等)が格納される。
図5Bは、本発明の実施形態のセンサ統合装置100が保持する目標物モデルDB113に含まれるキー情報テーブル520の説明図である。
キー情報テーブル520には、それぞれが目標物のモデルとキー情報との組み合わせに対応する複数のレコードが格納される。各レコードは、目標物モデルコード521、キー情報コード522、キー最大値523、キー最小値524及び処理パラメータ525等を含む。
目標物モデルコード521は、目標物のモデルを示すコードであり、例えば車両を示すコード(Car)及び人を示すコード(Human)等が格納される。目標物モデルコード521は、キー情報テーブル520と後述する主テーブル540とを対応付けるための外部キーとして使用される。
キー情報コード522は、観測データから抽出されるキー情報を示すコードであり、例えば目標物の幅を示すコード(Tw)、目標物の速度を示すコード(V)及び目標物の航跡IDを示すコード(TrcNo)等が格納される。キー情報コード522は、キー情報テーブル520と後述するキー情報定義テーブル560とを対応付けるための外部キーとして使用される。
キー最大値523及びキー最小値524は、それぞれ、キー情報として指定された項目の値が満たすべき条件を示し、具体的には指定された項目の値の最大値及び最小値である。処理パラメータ525は、条件を満たす目標物の航跡を抽出するために使用されるべき処理パラメータである。
図5Bの例では、目標物モデルコード「Car」及びキー情報コード「Tw」の組に対応するキー最大値523、キー最小値524及び処理パラメータ525として、それぞれ「xxxm(メートル)」、「0m」及び「p1」が格納されている。これは、観測データから抽出された目標物の幅が0mからxxxmまでの範囲である場合、当該目標物が車両であると判定され、その航跡を抽出するために処理パラメータ「p1」が使用されることを示している。
なお、ここに格納された処理パラメータを詳細に記述する情報が処理パラメータDB115に格納されてもよい。また、処理パラメータの代わりに(又は処理パラメータに加えて)、使用されるべき処理アルゴリズムを示す情報がキー情報テーブル520又は処理パラメータDB115に登録されてもよい。
一般に、目標物の移動の態様(例えば移動速度、加速度、進行方向の変化の頻度等)は、目標物の種類(例えば車両又は人等)によって異なるため、航跡を抽出する処理において使用される最適なパラメータ及びアルゴリズムも目標物の種類によって異なると考えられる。本実施形態では、上記のように、抽出されたキー情報に基づいて目標物の種類が特定され、それぞれの目標物の特性に応じて最適な処理パラメータ及び処理アルゴリズムを使用することによって、航跡の抽出精度を向上する。
図5Cは、本発明の実施形態のセンサ統合装置100が保持する目標物モデルDB113に含まれる主テーブル540の説明図である。
主テーブル540には、各目標物モデルコードに対応する目標物モデルを記述する情報が登録される。主テーブル540の各レコードは、登録された各目標物モデルに対応し、目標物モデルコード541、名称542、処理種別543及び地図存在領域コード544等を含む。
目標物モデルコード541は、目標物のモデルを示すコードであり、キー情報テーブル520の目標物モデルコード521に対応する。
名称542は、目標物モデルの名称である。主テーブル540には、目標物モデルとして、例えば、「車両」(例えば自動車)又は「人」(例えば歩行者)のような目標物の種類に対応する目標物モデルのほか、「等速直線運動」又は「カルマンフィルタ」のような、目標物の運動モデルそのものが登録されてもよい。名称542として、それらの目標物モデルの名称が格納され、処理結果の確認等のため、出力処理に用いることができる。
処理種別543は、各目標物モデルに適用される航跡抽出のための処理方式(処理アルゴリズム等)を示す。
地図存在領域コード544は、各目標物モデルが適用される地図上の領域を示す。例えば、目標物モデルが車両である場合、車両は、通常、道路上を走行するものであるため、それに対応する地図存在領域コード544として、道路(Road)が格納される。あるいは、該目標物が存在しない領域や、ノイズが発生しやすい領域などのコードを格納しても良い。
図5Dは、本発明の実施形態のセンサ統合装置100が保持する目標物モデルDB113に含まれるキー情報定義テーブル560の説明図である。
キー情報定義テーブル560には、各キー情報コードに対応する各キー情報の定義を記述する情報が登録される。キー情報定義テーブル560の各レコードは、キー情報コード561及び名称562等を含む。
キー情報コード561は、キー情報を示すコードであり、キー情報テーブル520のキー情報コード522に対応する。
名称562は、キー情報の名称であり、出力に用いることができる。
図5Dの例では、キー情報コード「Tw」に対応する名称562として「Size(target width)」が定義されている。これは、キー情報コード「Tw」が目標物の大きさ、具体的には幅(すなわち、目標物の進行方向に直行する方向に計測した目標物の大きさ)を示すことを意味する。
地図情報DB114、処理パラメータDB115、目標物情報DB116及びセンサ情報DB117については、詳細な図示を省略するが、それらの概要は次の通りである。
地図情報DB114の各レコードは、領域コード及び領域種別ごとの図形データ等を含む。領域コードは、例えば道路を示す「Road」等であり、図形データとして、例えば道路の形状を記述する座標値の列が格納されてもよい。
上記のような地図情報DBの構造は従来から知られているものであるが、本実施形態の地図情報DBには、さらに、後述する時空間インデクスが格納されてもよい(図13参照)。
処理パラメータDB115には、処理を実行する時間間隔(タイムステップ)、有効処理時間、処理方式、及びキー情報の組み合わせ等が格納される。これによって、例えば、「カメラからの画像に基づいて目標物の大きさを取得し、所定の方式で航跡抽出処理を行う」等の処理を定義することができる。
目標物情報DB116の各レコードには、時刻、その時刻における目標物の座標値、及び当該目標物を識別する目標物ID(言い換えると、当該座標値に与えられた目標物ID)等が格納される。
ところで、ある目標物の航跡(移動軌跡)は、その目標物の時刻ごとの座標値を時刻の順に連結することによって得られる。したがって、与えられた座標値に基づいて目標物の航跡を特定することは、各時刻における座標値に目標物IDを付与することと等価である。このため、目標物IDが航跡IDとして使用されてもよい。本実施形態では、目標物IDを航跡IDとして扱う。
センサ情報DB117には、入力されたセンサ情報170がそのまま格納されてもよいが、センサ情報170のうち必要な情報のみが抽出され、センサ情報DB117に格納されてもよい。例えば、センサ情報DB117の各レコードは、時刻、センサID、及び当該時刻に当該センサによって取得された目標物の位置情報等が格納される。もちろん、前処理部による処理結果(座標変換等)や、間引きや圧縮した情報を格納しても良い。
図6は、本発明の実施形態のセンサ情報統合部104が実行するセンサ情報統合処理を示すフローチャートである。
最初に、センサ情報統合部104にセンサ種別1目標物検出部103A及びセンサ種別2目標物検出部103B等によって処理された観測データが入力される(ステップ601)。ただし、前述のように、目標物検出部はなくてもよいため、センサ情報統合部104には、航跡IDが付与された観測データ、付与されていない観測データ、又はその両方が入力される可能性がある。例えば、レーダからの観測データには航跡IDが付与されておらず、カメラからの観測データには航跡IDが付与されていてもよいし、カメラからの観測データにも航跡IDが付与されていなくてもよい。
次に、センサ情報統合部104のキー情報抽出部104Aが、入力された観測データからキー情報を抽出する(ステップ602)。例えば、カメラが撮影した画像が観測データに含まれる場合、キー情報抽出部104Aは、その画像から、前述の非特許文献1と同様の方法によって目標物の長さ、幅、速度等を抽出し、それらから、キー情報テーブル520及びキー情報定義テーブル560に登録されたキー情報を抽出する。入力された観測データに、画像から抽出された目標物の長さ、幅、速度等の情報が予め含まれている場合には、それらを抽出して利用してもよい。観測データに航跡IDが付与されている場合には、航跡IDをキー情報として抽出してもよい。
次に、センサ情報統合部104の処理調整部104Bが、抽出されたキー情報がキー情報テーブル520に登録された条件を満たすか否かを判定し、それによって、目標物の種別を判定する(ステップ603)。例えば、キー情報として目標物の幅が抽出された場合、処理調整部104Bは、その幅がキー情報テーブル520に登録されたキー最大値523及びキー最小値524の範囲内であるか否かを判定し、範囲内である場合には当該目標物が車両であると判定する。
次に、処理調整部104Bは、判定されたキー情報あるいは目標物の種別に基づいて処理調整を実行する(ステップ604及び605)。具体的には、処理調整部104Bは、ある目標物から抽出されたキー情報がキー情報テーブル520に登録された条件を満たす場合に、その条件に対応して登録された処理パラメータ525を選択する。キー情報の条件と処理アルゴリズムが対応付けられている場合、その処理アルゴリズムが選択される。図6には二つの種別に対応した二つの処理調整ステップ(ステップ604及び605)のみを示したが、実際には、判定され得る目標物の種別の数や条件等に応じた数の処理調整ステップが用意される。
次に、センサ情報統合部104の航跡抽出処理部104Cが、選択された処理パラメータ又は処理アルゴリズムを使用して、航跡抽出処理を実行する(ステップ606)。これによって、観測データに航跡IDが付与される。
次に、航跡抽出処理部104Cは、抽出された航跡IDを含む目標物情報を出力する(ステップ607)。この情報は目標物情報DB116に格納される。
以上でセンサ情報統合処理が終了する。なお、時刻ごとに観測データがセンサ情報統合部104に入力される場合、ステップ607が終了した後、次の時刻の観測データを処理するために処理がステップ601に戻ってもよい。その場合、全ての観測データの処理が終了するまでループ処理が実行される。
図7は、本発明の実施形態のセンサ情報統合部104が実行するセンサ情報統合処理の第1の例の説明図である。
図7を参照して、図6の各ステップにおいて実行される処理の例を説明する。ここでは、例として、図3に示すように、第1の種類のセンサとしてレーダが、第2の種類のセンサとして移動プラットフォーム(例えば飛行体)に搭載されたカメラが使用される場合について説明する。
ステップ602において、キー情報抽出部104Aは、例えば、カメラによって撮影された画像から検出された目標物の数701、目標物のサイズ(具体的には長さ及び幅等)702、目標物の速度703及び目標物の航跡(具体的には航跡ID)704等を、キー情報として抽出する。
ステップ603〜605において、処理調整部104Bは、抽出されたキー情報に基づくモデル選択711及び選択されたモデルに基づく処理パラメータ調整712を行う。モデル選択711は図6のステップ603において説明した通りであり、キー情報(例えばサイズ702又は速度703)の値と登録された条件とを比較することによって車両モデル、人モデル等の目標物モデルが選択される。
処理パラメータ調整712は、図6のステップ604及び605に対応する。処理調整部104Bは、選択された目標物モデルに応じて、後述する座標値の予測処理に使用するパラメータを調整する。ここで調整されるパラメータは、例えば予測処理に使用する移動速度の範囲、予測される航跡の曲率の範囲(に相当するゲートサイズ)等である。検出された目標物の数701がキー情報として抽出された場合、処理調整部104Bは、その数に基づいて、生成される航跡の仮説の数を調整してもよい。この調整については後述する。航跡704がキー情報として抽出された場合、その航跡情報がそのまま使用されるが、航跡に対応する座標値の調整(位置調整)が行われる。これについても後述する(図9等参照)。
ここで、キー情報として航跡704が抽出されず、検出された目標物の数701が抽出された場合の航跡抽出処理(ステップ606)について説明する。この場合、処理パラメータとして、検出された目標物の数701(例えば「2」)が選択される。
ステップ606において、航跡抽出処理部104Cは、まず、入力された複数の目標物の複数の時刻における座標値に基づいて、抽出される可能性がある航跡の組み合わせの全仮説721を生成する。ここで、仮説の生成に使用される座標値は、レーダによって観測されたものであってもよいし、カメラが撮影した画像から抽出されたものであってもよいし、それらの両方であってもよい。この全仮説721は、結合される可能性がある座標値の全ての組み合わせを含む。このような仮説の生成は、従来のMHTと同様に行われてもよい。
次に、航跡抽出処理部104Cは、全仮説721のから、処理パラメータとして選択された目標物の数と同数の航跡のみを含む仮説722を抽出することによって、仮説の数を限定する。例えば処理パラメータとして目標物の数「2」が選択された場合、2本の航跡のみを含む仮説722が抽出され、1本の航跡のみを含む仮説及び3本以上の航跡を含む仮説は除外される。
次に、航跡抽出処理部104Cは、限定された仮説722の確からしさを計算し、最も確からしい仮説を航跡の抽出結果723として選択する。この確からしさの計算は、従来のMHTと同様に行われてもよい。
従来のレーダによる航跡抽出では、全仮説721について確からしさを計算する必要があったが、本実施形態では、上記のように、カメラによる画像に基づいて仮説が限定され、限定された仮説722についてのみ確からしさを計算すればよいため、計算量を削減することができる。また、上記のように仮説が限定されるため、誤って例えば一つの航跡のみ又は三つ以上の航跡が抽出されることがない。
このように、図7の例によれば、複数の種類のセンサによる観測データを利用することによって、従来より少ない計算量で、高精度に航跡を抽出することができる。
図8は、本発明の実施形態のセンサ情報統合部104が実行する目標物モデルの自動構築及び切り換えの説明図である。
図7の例では、航跡抽出処理部104Cが航跡の仮説を生成して、それらのうち最も確からしいものを選択する。このとき、同時に存在する航跡の数が多くなるほど、仮説の生成及び確からしさの計算のための計算量が多くなる。しかし、目標物モデルを自動的に構築し、その目標物モデルを予測に使用することによって、同時に存在する航跡の数を減らし、それによって計算量を削減することができる。
図8(a)は、各目標物のモデルに基づく航跡抽出の例を示す。三つの目標物、すなわち目標物A、B及びCのそれぞれの航跡A、B及びCを抽出する場合であって、時刻tまでの航跡が既に抽出され、次の時刻t+1における三つの目標物の座標値が取得された場合、時刻tにおける三つの座標値と時刻t+1における三つの座標値との間の全ての組み合わせが航跡の仮説として生成され、それらの確からしさが計算される。
一方、図8(b)は、複数目標物に関するモデルを自動生成して航跡抽出する例を示す。図8(a)と同様に、時刻tまでの航跡が抽出された場合において、航跡抽出処理部104Cは、三つの目標物の集合の観測データの特徴量の項目及びその値の範囲を抽出して、それらをキー情報テーブル520に登録する。例えば、図示された三つの目標物が車両である場合、目標物モデルコード521として車列801を示すコードが登録され、キー情報コード522として三つの車両各々の幅、長さ、速度等のほか、それらの三つの相対位置を示す情報等の少なくとも一つを示すコードが登録され、キー最大値523及びキー最小値524としてそれらの値の範囲を示す情報が登録され、処理パラメータ525として車列801の航跡を予測するために適切な処理パラメータ(又は処理アルゴリズム)が登録されてもよい。このような処理パラメータは予め用意されていてもよいし、既に抽出された航跡に基づいて自動的に生成されてもよい。
本実施形態では複数種類のセンサが使用されるが、それぞれの種類のセンサの特性によって、特徴的な情報が得られる場合がある。例えば、センサがカメラである場合、撮影された1枚の画像内に複数の目標物が写っていれば、その画像データから、それらの目標物の相対的な位置関係を示す高精度なデータが取得できる場合がある。そのようなデータを使用することによって、複数の目標物を仮想的な一つの目標物として扱うための目標物モデルを動的に構築することができる。
上記のように、複数の目標物の集合を一つの目標物として扱うことによって、例えば時刻tにおける車列801の座標値と時刻t+1における車列801の座標値とを連結する航跡を抽出するために、二つの時刻における目標物A、B及びCの組み合わせを考慮する必要がなくなる。このため、仮説の生成及び確からしさの計算を大幅に簡略化するとともに、真の航跡とは異なる仮説が航跡として誤って抽出されることを防ぐことができる。
図9は、本発明の実施形態のセンサ情報統合部104が実行するセンサ情報統合処理の第2の例の説明図である。
図9を参照して、図6の各ステップにおいて実行される処理の別の例を説明する。図7の場合と同様、センサとしてレーダ及び移動プラットフォーム(例えば飛行体)に搭載されたカメラが使用される場合について説明する。
キー情報抽出部104A及び処理調整部104Bが実行する処理は、基本的には図7に示したものと同じであるため、説明を省略する。ただし、図9の例では、キー情報として航跡704が抽出される。この航跡704は、非特許文献1に記載された方法によって取得されたものであってもよく、その場合、航跡抽出処理部104Cは、図7に示したようなMHTによる仮説の生成及び選択を行う必要がない。
図9の例では、航跡抽出処理部104Cは、ステップ606において、より確からしい航跡を抽出するために、複数の種類のセンサから取得された観測データを用いて、目標物の位置を調整する。この処理について説明する。航跡抽出処理部104Cは、キー情報として抽出された航跡及び観測データ901を取得する。例えば、時刻tまでの航跡は確定し、時刻t+1における複数のセンサからの座標値が取得される。この場合、航跡抽出処理部104Cは、確定した航跡に基づいて、時刻t+1における目標物の座標値を予測することによって仮説902を生成する。そして、この仮説902から、最も確からしい目標物の時刻t+1における座標値を特定し、その座標値を時刻t+1における航跡903として特定する。このような位置調整の処理の詳細については、図10等を参照して後述する。
図10は、本発明の実施形態のセンサ情報統合部104が実行する目標物の位置調整処理の説明図である。
図6のステップ606において実行される航跡抽出処理における位置調整処理は、大まかには、既に抽出された航跡に基づいて、次の時刻における航跡の位置を予測し、その予測結果に基づいて観測データを選択する第1の手順(図10(a))と、選択された観測データに基づいて航跡を確定する第2の手順(図10(b))と、を含む。特に、第1の手順で複数の観測データが選択された場合に、第2の手順においてそれらの観測データを統合することによって、最も確からしい目標物の座標値(すなわち最も確からしい航跡)が確定する。以下、これらの手順について説明する。
図10(a)は、時刻tまでの航跡が確定し、時刻t+1において複数種類のセンサによって観測された座標値A、B及びCが取得された状態を示す。座標値Pは、時刻tまでの航跡から予測された時刻t+1における目標物の座標値である。この予測には、抽出されたキー情報に基づいて特定された処理アルゴリズム及び処理パラメータが使用される(図5B、図6及び図9等参照)。例えば、カルマンフィルタ又はその拡張方式等が用いられてもよい。航跡抽出処理部104Cは、予測された座標値Pからの距離が所定の値以下である座標値を、位置調整に使用する座標値として選択する。図10(a)の例では、座標値A、B及びCが選択される。なお、上記のように座標値Pからの距離が所定の値以下となる範囲は、図10(a)において「ゲート」と記載され、破線の円によって図示される。
なお、予測された座標値Pからの距離が所定の値以下である座標値を位置調整に使用する理由は次の通りである。すなわち、本実施形態のように複数の種類のセンサが使用される場合、それぞれのセンサによって観測された目標物の座標値が同一の目標物の座標値であるか否かを判定する必要がある。本実施形態では、上記のように、既に抽出されたある目標物の航跡に基づいて、次の時刻の当該目標物の座標値Pが予測される。センサによって観測された座標値が当該予測された座標値に近いほど、その観測された座標値が当該目標物の座標値である可能性が高いと推定されるため、本実施形態では、予測された座標値Pからの距離が所定の値以下である座標値を、当該目標物の観測された座標値であると推定して、位置調整に使用する。
上記のように複数の座標値が選択された場合、それらに基づいて最も確からしい座標値を計算する種々の方法が考えられる。例えば、座標値A、B及びCのいずれかを選択してもよい。より詳細には、例えば、観測データに座標値の確度(精度)を示す情報が含まれる場合、最も確度の高い座標値が選択されてもよい。また、ゲート内の座標値が一つも取得できなかった場合、又は、ゲート内のいずれの座標値の確度も所定の値に満たなかった場合には、観測データの欠測とみなし、予測された座標値Pが最も確からしい座標値として選択されてもよい。しかし、本実施形態では、原則として、複数の座標値及びそれぞれの確度に基づいて、最も確からしい座標値が計算される。
図10(b)には、時刻t+1における座標値Iが表示されている。これは、選択された座標値A、B及びCに基づいて計算された、時刻t+1における最も確からしい座標値である。本実施形態では、それぞれの座標値を、確度に基づいて重み付き平均または重心を算出することによって、最も確からしい座標値Iが計算される。その結果、最も確からしい座標値Iに時刻tまでの航跡と同一の航跡IDが付与される。このとき、座標値A、B及びCの少なくとも一つに、例えば非特許文献1に記載の方法等によって当該航跡IDが既に付与されていた場合、その航跡IDを削除しても良いし、あるいは後述するように当該座標値を除外する組み合わせを生成して処理しても良い(図12等参照)。また削除する際には確率的な判定に基づき、一定の確率に基づき削除および非削除を調整しても良い。
確度に基づいて重み付けをする方法として種々のものが考えられるが、具体的な一例について、図10(c)を参照して説明する。
一般に、観測データには観測誤差やノイズなどが含まれるため、座標が観測された場合でも位置誤差が含まれ、目標物の存在は当該座標の周囲に確率的に分布するものと想定される。この具体例では、各座標値が点ではなく存在確率分布として扱われる。図10(c)に、選択された座標値A、B及びCの確率密度関数を示す。ここで、横軸は例えばx座標又はy座標であり、左側の縦軸が座標値A、B及びCの存在確率値である。図10(a)及び(b)にプロットされた座標値A、B及びC(すなわち観測された座標値)は、存在確率分布のピークの位置に相当する。
本実施形態では、確率密度関数が正規分布に従うと仮定し、各座標値の確度として、正規分布の分散値を用いる。例えば、それぞれのセンサの観測精度に基づいて、座標値の確度が低いほど分散値が大きくなるように定められる。センサの観測精度は、観測条件に依存する場合もある。一般に、例えば、レーダサイトから目標物までの距離が大きいほど、カメラを搭載した飛行体の位置精度が低いほど、飛行体の飛行高度が高いほど、又は、カメラから目標物までの距離が遠いほど、座標値の確度は低くなる。各センサがそれらの要因に基づいて定めた観測データ毎の分散値をデータ属性173に含まれる位置確度として送信してもよいし、センサ統合装置100がセンサの種別及び観測条件等に基づいて計算してもよい。
航跡抽出処理部104Cは、座標値A、B及びCの確率密度関数を乗算することによって、座標値Iの存在確率を求める。図10(c)の右側の縦軸が、計算された座標値Iの存在確率値であり、破線で表示された曲線が計算された座標値Iの存在確率であり、そのピークの位置が座標値Iとして特定される。上記の計算がx座標及びy座標の両方について行われ、特定された座標値Iが時刻t+1における目標物の最も確からしい座標値として特定される。これによって、時刻t+1に座標Iを通過する航跡が確定し、最終的に航跡として抽出される。
上記のように確度の異なる複数の観測データを位置調整に用いることによって、確度の低い観測データも有効に利用することができる。
ここで、上記のような確率密度関数の計算方法について、数式(2)〜(8)を参照して説明する。
数式(2)のfn(x,y)は、選択された座標値(例えば上記の座標値A、B及びC)の確率密度関数である。ここで、σnはそれぞれの分散値、xn及びynはそれぞれのx成分及びy成分の値、そして、x^及びy^は最も確からしい座標値(上記の座標値I)のx成分及びy成分の値である。例えば上記の座標値A、B及びCの確率密度関数が乗算される。その計算を簡単にするために、確率密度関数の対数を加算しても良い(数式(3))。その最大値は、偏微分がゼロになる点である。ここで、xについて偏微分を解き(数式(4)、(5))、関係のないy及び係数等を省略すると、数式(6)が得られる。これをx^について解くと、数式(7)が得られる。これが例えば図10(c)に破線で示した座標値Iの確率密度関数である。同様にyについて解くと、数式(8)が得られる。
図10(a)及び(b)に示したゲートの大きさは、固定されていてもよいが、可変であってもよい。ゲートの大きさの調整方法について、図11を参照して説明する。
図11は、本発明の実施形態のセンサ情報統合部104が実行する観測データ判定の動的調整の説明図である。
図11(a)には、ゲートサイズが固定されている例を示す。ここで、座標値P1101は時刻tまでの確定した航跡に基づいて予測された目標物の座標値であり、座標値A1102及び1103は、第1の種類のセンサによって観測された目標物の座標値であり、座標値B1104は第2の種類のセンサによって観測された目標物の座標値である。ここで、第1の種類のセンサの観測精度が第2の種類のセンサの観測精度より高いと仮定する。図11(a)の例では、センサの観測精度にかかわらず、座標値P1101からの距離が所定の値以内である範囲を示す単一のゲート1110が使用され、ゲート1110が示す範囲内の座標値A1102、座標値A1103及び座標値B1104が、位置調整に寄与する座標値として選択される。
図11(b)には、ゲートサイズが可変である例を示す。ここでは、図11(a)と同様のセンサが使用され、同様の座標値が取得された場合を示す。既に説明したように、ある目標物の時刻tまでの航跡に基づいて、当該目標物の時刻t+1における座標値Pが予測された場合、観測された座標値と座標値Pとの距離が近いほど、当該観測された座標値が当該目標物の座標値である可能性が高いと推定される。このため、例えば座標値P1101から座標値A1103までの距離と座標値B1104までの距離が同じであれば、座標値A1103が当該目標物の座標値である可能性と座標値B1104が当該目標物の座標値である可能性とが同等であると推定することもできる。
しかし、上記のように、第1の種類のセンサの観測精度が第2の種類のセンサの観測精度より高い場合には、座標値A1103が当該目標物の座標値である可能性は、座標値B1104が当該目標物の座標値である可能性より低い(言い換えると、座標値A1103が他の目標物の座標値である可能性は、座標値B1104が他の目標物の座標値である可能性より高い)と推定することもできる。このため、図11(b)の例では、精度の高い観測データについてはより小さい範囲を示すゲートが使用される。
具体的には、図11(b)の例では、座標値P1101からの距離が第1の値以内の範囲を示すゲートa1111と、座標値P1101からの距離が第1の値より大きい第2の値以内の範囲を示すゲートb1112が用意され、ゲートa1111の内側の座標値A1102及びゲートb1112の内側の座標値B1104が位置調整に寄与する座標値として選択される。一方、ゲートb1112の内側ではあるがゲートa1111の外側にある座標値A1103は、他の目標物の座標値である可能性が高いと判定され、位置調整に寄与する座標値としては選択されない。
なお、図11(a)の例において、取得された観測データが確度の異なるものを含む場合には、それらのうち最も確度の低いものに対応する大きさのゲート1110が使用されてもよい。その場合、例えば、図11(a)のゲート1110の大きさは、図11(b)のゲートb1112と同じになる。
このように、センサの観測精度に基づいて、位置調整に寄与する座標値を選択することによって、他の目標物の座標値の影響が排除されるため、より高精度な航跡を抽出することができる。
図12は、本発明の実施形態のセンサ情報統合部104による観測データの組み合わせ選択の説明図である。
図10(a)、(b)等を参照して説明したように、本実施形態ではゲート内の複数の座標値が位置調整に寄与するものとして選択され、それらに基づいて位置調整(すなわち最も確からしい座標値の計算)が行われる。しかし、ゲート内に多数の座標値が含まれる場合には、必ずしもそれらの全てを位置調整に使用しなくてもよい。センサ情報統合部104は、ゲート内の座標値の属性に応じて、位置調整に使用する座標値を絞り込むことができる。
具体的には、例えば、センサ情報統合部104は、ゲート内の座標値のうち、位置調整に使用するものとして、予測された座標値Pからの近さの順位が上位の所定の順位以内の座標値を選択してもよいし、確度が所定の値より高い座標値を選択してもよいし、確度の順位が上位の所定の順位以内の座標値を選択してもよい。あるいは、例えば地図情報に基づいて目標物が存在する可能性が高いと判定された場合など、明らかに確度が高い座標値があれば、それを選択してもよい。確度が所定の値より高い座標値が選択される場合には、結果的に、観測された座標値が一つも選択されない可能性がある。その場合には、予測された座標値Pをそのまま最も確からしい座標値として確定してもよい。
図12(a)は、観測された座標値A、B及びCの全てが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Eabcが計算された例を示す。
図12(b)は、観測された座標値A、B及びCのうち座標値A及びBが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Eabが計算された例を示す。
図12(c)は、観測された座標値A、B及びCのうち座標値A及びCが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Eacが計算された例を示す。
図12(d)は、観測された座標値A、B及びCのうち座標値B及びCが位置調整に寄与するものとして選択され、それらに基づいて最も確からしい座標値Ebcが計算された例を示す。
図12(e)は、観測された座標値A、B及びCのうち座標値Aのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Aが最も確からしい座標値Eaとして特定される。
図12(f)は、観測された座標値A、B及びCのうち座標値Bのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Bが最も確からしい座標値Ebとして特定される。
図12(g)は、観測された座標値A、B及びCのうち座標値Cのみが位置調整に寄与するものとして選択された場合を示す。この場合、座標値Cが最も確からしい座標値Ecとして特定される。
図12(h)は、観測された座標値A、B及びCのいずれも位置調整に寄与するものとして選択されなかった場合を示す。これは、座標値A、B及びCのいずれもがノイズであると判定されたことを意味する。この場合、予測された座標値(すなわちゲートの中心)が最も確からしい座標値Enullとして特定される。
図12(i)には、二つの目標物が近接したために、それぞれのゲートの一部が重複した場合を示す。この例において、ゲート1201に含まれる二つの座標値J及び座標値JJは、最も確からしい座標値Ijを計算するために使用される座標値であり、ゲート1202に含まれる二つの座標値K及び座標値KKは、最も確からしい座標値Ikを計算するために使用される座標値である。
座標値JJ及びKKは二つのゲートの重複領域に含まれるが、例えば、それぞれのゲートの中心(すなわちそれぞれのゲートに対応する予測された座標値)までの距離に応じて、距離が短い方のゲートに含まれるものと判定されてもよい。例えば、座標値JJからゲート1201の中心までの距離がゲート1202の中心までの距離より小さい場合、座標値JJはゲート1201に含まれるものとして扱われ、座標値Ijの計算には寄与するが座標値Ikの計算には寄与しない。同様に、座標値KKからゲート1202の中心までの距離がゲート1201の中心までの距離より小さい場合、座標値KKはゲート1202に含まれるものとして扱われ、座標値Ikの計算には寄与するが座標値Ijの計算には寄与しない。
このように、位置調整に寄与する座標値を選択することによって、特に確度の低い座標値等をノイズとして排除することができる。これによって、より高精度に目標物の航跡を抽出することができる。
なお、図9〜図12を参照した位置調整の説明は、キー情報として航跡704が抽出された場合についてのものである。しかし、図7のように、キー情報として航跡704が抽出されない場合でも、時刻tまでの航跡が抽出されていれば、それに基づいて上記と同様の位置調整を行うことができる。
図13は、本発明の実施形態のセンサ統合システムにおいて使用される地図インデクスの説明図である。
特に地上広域監視などのアプリケーションでは、注目地域に多数の車両及び人等が混在する複雑な環境のセンサ情報を解析する必要がある。このため、環境に関する地図などの情報を有効活用したセンサ情報統合処理を行うことが望ましい。例えば、建物及び道路等、センサ情報統合処理に必要な地物の情報を時空間インデキシングによって管理し、それを処理に利用してもよい。さらに、建物そのものだけでなく、建物によって生じるオクルージョン(遮蔽)の範囲、及び、逆に、ノイズが多い地域など、仮想的な地図図形を含めてインデキシング管理してもよい。
図13には、注目領域の特性に応じ、注目する目標物の存在確度及び処理パラメータ等を調整するため、地図情報DB114を活用する例を示す。特に、建物及び地形の影響によるオクルージョンを考慮し、移動センサと遮蔽物との幾何学的関係に基づいて、オクルージョンとなることが予想される範囲が時空間インデクスに管理される。以下、オクルージョンへの対応について説明する。
例えば地上に設置されたカメラ及び移動プラットフォーム(特に飛行型プラットフォーム)に搭載されたカメラ等による観測が行われる場合、地上の建物又は地形(例えば山など)によるオクルージョンが発生する場合がある。具体的には、例えば目標物とカメラとの間に建物又は山等がある場合に、当該カメラによる観測データから目標物が消失し、目標物の位置情報を取得することができなくなる。レーダの場合も、建物等の影響によって同様のオクルージョンが発生し得る。このために航跡を適切に抽出できない場合がある。
地図情報DB114に3次元の地図情報が含まれる場合、それを用いて見通し解析を行うことによって、オクルージョン範囲(すなわち遮蔽される領域の範囲)を特定することができるが、複雑な環境化で処理の度に見通し解析を行うことは、システムの処理性能を考慮すると現実的でない。
そこで、本実施形態では、建物などによるオクルージョン範囲を予め見通し解析によって算出し、その結果を時空間インデクスに格納する。これによって高速な検索が可能となる。検索された情報は、当該地域の処理において、処理パラメータの調整等に利用される。
具体的には、オクルージョン範囲の詳細な形状を示す多角形又はオクルージョンが発生する可能性がある領域を示す円等が時空間インデクスに格納されてもよい。
図13(a)は、カメラ1301を用いて建物1302及び車両1304〜1306を撮影する例を示す。この例では、建物1302によるオクルージョン範囲1303に車両1305が含まれるため、カメラ1301を用いて車両1305を観測することができない。このオクルージョン範囲1303のような多角形が時空間インデクスに格納されてもよい。
カメラ1301が移動体プラットフォームに搭載される場合、カメラ1301と建物1302との位置関係が変化するに従って、建物の周囲に発生するオクルージョン範囲1303の形状も変化する。図13(b)に破線で示す多角形は、カメラ1301が特定の高度から撮影した場合に発生し得るオクルージョン範囲の例(すなわち、オクルージョン範囲1303の形状の変化の例)である。カメラ1301の高度及びそれによって撮影可能な範囲が特定されれば、オクルージョン範囲1303に含まれ得る範囲を、円形(厳密には、複数の円形を重ね合わせた略円形であってもよい。以下同様)のオクルージョン範囲1307として特定することができる。このような円形が時空間インデクスに格納されてもよい。
さらに、図13(b)に示すようなオクルージョン範囲の大きさは、カメラ1301の高度に依存する。図13(c)は、種々の高度からの撮影に対応するオクルージョン範囲を同心円によって示した例である。具体的には、カメラ1301が高高度から撮影した場合に対応するオクルージョン範囲1308、それより低い高度から撮影した場合のオクルージョン範囲1309及びさらに低い高度から撮影した場合のオクルージョン範囲1310が図示されている。
図13(c)に示すように、撮影高度が低くなるほど、オクルージョン範囲は大きくなる。このため、例えば車両1304は、高高度からの撮影では観測されるが、最も低い高度からの撮影では観測できない場合がある。図13(c)に示すような同心円が時空間インデクスに格納されてもよい。
このようなオクルージョン範囲に関する情報は、例えば次のように利用される。例えば図10(a)及び(b)に示すように座標値Pが予測されたにもかかわらず、それに対応するゲートの範囲内に含まれる観測データが得られなかった場合、目標物が実際に消失した可能性もある。しかし、その座標値Pが、予め見通し解析によって取得されたオクルージョン範囲に含まれている場合、目標物が建物等に遮蔽されたために一時的に観測できなくなっている可能性がある。このため、航跡抽出処理部104Cは、予測された座標値Pを使用して、さらに次の時刻の座標値を予測する。このような処理を繰り返し、再びゲート内に観測データが出現した場合、その座標値を元の航跡と同じ目標物の座標値として扱う(つまり出現した観測データに含まれる座標値に、元の航跡と同一の目標物IDを付与する)ことによって、航跡の分断を防ぐことができる。
通常、目標物が消失した後、所定の時間以上当該目標物が出現しなかった場合、当該目標物の航跡は分断したものと判定され、その後出現した航跡は別の目標物のものとして扱われる。しかし、上記のように観測データの欠測があった場合でもオクルージョンを想定して航跡の予測を継続し、かつ、上記の所定の時間(すなわち航跡分断時間パラメータ)を長めに設定することによって、航跡を接続するなどの処理が可能になる。
逆に、地上にはノイズが発生しやすい場所もあるため、その地域を時空間インデクスで管理し、それに基づいて処理パラメータを調整してもよい。
図14は、本発明の実施形態のセンサ統合システムによって出力される情報の説明図である。
センサ統合装置100によって抽出された航跡等の情報は、地図出力部105、航跡情報出力部106又はセンサ情報出力部107等によって出力される。出力される情報の形態はいかなるものであってもよいが、図14(a)〜(l)に特に代表的な例を示す。なお、これらの例は、出力装置205に含まれる画像表示装置によって表示される画面の例であるが、既に説明したように、画面以外の形態で情報が出力されてもよい。
図14(a)は、観測データに含まれる座標値そのものが表示される例である。具体的には、観測データに含まれる複数の座標値が、それらの相対的な位置関係が視認できるようにプロットされている。画面の背景には地図情報DB114に基づく地図又は衛星画像等が表示されてもよい。これは図14(b)以降の図についても同様である。
図14(b)は、図14(a)と同様の座標値に加えて、抽出された航跡を示すシンボル(例えば矢印)が表示される例である。
図14(c)は、図14(b)と同様の航跡のみが表示される例である。
図14(d)は、図14(c)と同様の航跡に加えて、目標物の地図シンボル(例えば車両又は人等を示すシンボル)が表示される例である。
図14(e)は、図14(d)と同様のシンボルに加えて、目標物の進行方向、速度及びIDなどの属性情報が表示される例である。
図14(f)は、図14(d)と同様の航跡及びシンボルに加えて、目標物を含むカメラ画像がポップアップ表示される例である。
図14(g)は、航跡に加えて、撮影されたカメラ画像の全体が表示される例である。背景の地図とカメラ画像とが対応するように、カメラ画像の形状が変換されてもよい。
図14(h)は、航跡に加えて、撮影されたカメラ画像のうち目標物を含む部分が表示される例である。
図14(i)は、航跡に加えて、撮影されたカメラ画像のうち目標物の部分のみを切り出した画像(クリップ画像)が表示され、さらに、目標物の属性情報又はキー情報(例えばサイズ等)が表示される例である。
図14(j)は、撮影された目標物を含むカメラ画像に、抽出された目標物の航跡を示すシンボル(例えば矢印)が重畳表示される例である。
図14(k)は、図14(j)と同様の画面に、さらに標物の属性情報又はキー情報(例えばサイズ等)が表示される例である。
図14(l)は、撮影された目標物を含むカメラ画像に、目標物の進行方向、速度及びIDなどの属性情報が表示される例である。
上記の図14(a)〜(l)が組み合わせられてもよい。上記のような表示によって、例えばレーダだけでは現場の状況把握が難しい広域監視のアプリケーションでも、検出した目標物が何であるのか、検出結果の属性(目標物種別など)が正しいか、などを簡易に確認できる。さらに、属性情報の修正GUI機能が設けられてもよい。
以上の説明をまとめると、本実施形態によれば、特性の異なる複数の種類のセンサによる観測データを組み合わせ、同一の目標物に関する確度および項目(データ内容)が異なる情報を組み合わせて移動軌跡を推定できる。これにより広範囲を高精度に監視することができる。
例えば、センサがレーダのみである場合には、レーダによる観測データから広範囲の目標物の位置情報をある程度の精度で取得することができるが、目標物の属性等を把握することが難しい場合がある。このため、レーダによる観測データのみを用いて航跡を抽出するためには、異なる時刻に観測された目標物が同一であるか否かを判定するための複雑な処理(例えばMHTのような航跡の仮説の生成及び選択)を行う必要があった。
一方、センサとしてカメラが追加された場合、カメラが撮影した画像からは、広範囲の情報を取得することは難しい場合があるが、撮影された範囲内に限れば、撮影された目標物の外形に基づいて、目標物の数、複数の目標物の相対位置、及び各目標物の大きさ等を把握することができ、さらにそれらの情報に基づいて、異なる時刻に観測された目標物が同一であるか否かを判定することもできる。このため、それらの情報を利用することによって、仮説の生成及び選択の処理を簡素化又は省略しながら、高精度な航跡を抽出することが可能になる。
さらに、複数のセンサから、同一の目標物について、確度の異なる座標値が得られた場合、それらの確度に基づく重み付き平均または重心を算出することによって、確度の低い情報も利用しながら、高精度な航跡を抽出することが可能になる。