JP3649978B2 - 目標追尾装置および目標追尾方法 - Google Patents

目標追尾装置および目標追尾方法 Download PDF

Info

Publication number
JP3649978B2
JP3649978B2 JP34931499A JP34931499A JP3649978B2 JP 3649978 B2 JP3649978 B2 JP 3649978B2 JP 34931499 A JP34931499 A JP 34931499A JP 34931499 A JP34931499 A JP 34931499A JP 3649978 B2 JP3649978 B2 JP 3649978B2
Authority
JP
Japan
Prior art keywords
hypothesis
intra
cluster
existing
hypotheses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP34931499A
Other languages
English (en)
Other versions
JP2001166048A (ja
Inventor
正義 系
信吾 辻道
義夫 小菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP34931499A priority Critical patent/JP3649978B2/ja
Publication of JP2001166048A publication Critical patent/JP2001166048A/ja
Application granted granted Critical
Publication of JP3649978B2 publication Critical patent/JP3649978B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、センサによって間欠的に得られる目標位置の観測ベクトルに基づいて、複数の目標の航跡を推定する目標追尾装置および目標追尾方法に関するものである。
【0002】
【従来の技術】
目標追尾装置では、レーダ等のセンサによって得られた目標位置の観測ベクトルから複数の目標の航跡を求めるために、前時刻までに得られた既存の各航跡に対して、追尾フィルタを用いて現時刻の位置を予測し、さらに、各航跡の現時刻の観測ベクトルが得られる観測ベクトルの存在期待領域(以後、この領域をゲートと呼ぶ)を算出して、そのゲート内に実際に取得された観測ベクトルと各航跡との相関処理を行うことにより、現時刻の目標の航跡を推定している。
【0003】
ここで、実際には、センサから目標以外の誤信号が得られたり、逆にセンサが目標の観測に失敗して、目標の観測ベクトルが得られない場合もある。また、複数の目標が狭い領域に密集していると、1つの航跡のゲート内に、複数の既追尾目標の観測ベクトルが得られたり、あるいは、これまで探知されていなかった新たな目標の観測ベクトルが得られる場合もある。このような状況においても、複数の目標の追尾を正しくし続けるためには、各航跡と観測ベクトルとの相関を精度よく行うことが必要となる。
【0004】
従来、このような要求に応える目標追尾装置として、例えば特開平8−271617号公報に示されるものがあった。図7はその特開平8−271617号公報に示された、従来の目標追尾装置を示す全体構成を示すブロック図である。また、図8は従来の目標追尾装置の全体的な動作手順を示すフローチャート、図9は図8における仮説更新のステップの詳しい処理手順を示すフローチャート、図10は図8における仮説縮小のステップの詳しい処理手順を示すフローチャートであり、図11は目標追尾にて各航跡と観測ベクトルの相関の処理が困難となる状況を示す説明図である。
【0005】
図7において、1は空間中の目標の位置を観測して観測ベクトルを得る目標観測装置、2は目標追尾装置であり、3はディスプレイ上に航跡を表示し追尾している目標の状態を使用者に示す目標表示装置である。
【0006】
目標追尾装置2内において、4は既存の各クラスタに含まれる各航跡に対して現時刻におけるゲートを算出するゲート算出部、5は目標観測装置1から目標追尾装置2に入力された現時刻の観測ベクトル全体から、ゲート算出部4により算出された各航跡のゲートに含まれる観測ベクトルを選択する観測ベクトル選択部であり、6は目標追尾装置2内のクラスタの全体を示したシステム内クラスタ表である。7は観測ベクトル選択部5の出力とシステム内クラスタ表6に示された既存のクラスタとの関係から、既存のクラスタを統合し、また新しいクラスタを作成するクラスタ新設・統合部であり、8は上記入力した観測ベクトルのうち、各クラスタに属する観測ベクトル群をクラスタ毎に示したクラスタ内観測ベクトル表である。
【0007】
11はクラスタ内仮説状況データ群であり、このクラスタ内仮説状況データ群11内において、12はクラスタ内にあるすべての仮説を示したクラスタ内仮説表、13は各仮説毎に仮説内にあるすべての航跡を示した仮説内航跡表、14はクラスタ内にあるすべての航跡に対して航跡を構成する観測ベクトルを示したクラスタ内航跡−観測ベクトル表である。
【0008】
21はクラスタ内観測ベクトル表8とクラスタ内仮説状況データ群11を入力とし、クラスタ内ゲート内判定行列を算出するゲート内判定行列算出部であり、51はクラスタ内の現時刻の観測ベクトルと航跡の関係を示す上記クラスタ内ゲート内判定行列である。23はクラスタ内ゲート内判定行列51を入力としてクラスタ内航跡相関行列を算出する航跡相関行列算出部であり、52はクラスタ内で仮説の拡張可能性を示す上記クラスタ内航跡相関行列である。53は前時刻までの観測ベクトルによる仮説の状況とクラスタ内航跡相関行列52から現時刻に入力した観測ベクトルに対応する新たな仮説を作成する仮説更新部である。54は仮説に対する評価を行い、その評価結果より一部の仮説を削除することによって仮説数を縮小する仮説縮小部であり、16はクラスタ内に複数の仮説が存在する場合に、その中から最善の仮説を1つ選択して目標の数とその航跡を決定する航跡決定部である。
【0009】
図8において、ステップST1は現時刻の観測ベクトルを入力する入力ステップ、ステップST2は既存のクラスタ群に含まれる各航跡に対して現時刻のゲートを算出するゲート算出のステップ、ステップST3は上記入力した現時刻の観測ベクトルの全体から、上記算出された各航跡のゲートに含まれる観測ベクトルを選択する観測ベクトル選択のステップであり、ステップST4は上記各航跡毎に選択した観測ベクトル群と既存のクラスタの関係から、既存のクラスタを統合し、また新しいクラスタを作成するクラスタ新設・統合のステップである。
【0010】
ステップST51はクラスタ内の現時刻の観測ベクトルと航跡の関係を示すクラスタ内ゲート内判定行列51を算出するクラスタ内ゲート内判定行列算出のステップ、ステップST52はクラスタ内の仮説の拡張可能性を示すクラスタ内航跡相関行列52を算出するクラスタ内航跡相関行列算出のステップ、ステップST53はクラスタ内の既存仮説とクラスタ内航跡相関行列52より現時刻の新たな仮説を作成する仮説更新のステップであり、ステップST54は上記ステップST53で作成された新たな仮説の各々についての評価を行い、その結果によって一部の仮説を削除して仮説数を縮小する仮説縮小のステップである。ステップST8は上記ステップST51〜ST54の一連の処理をすべてのクラスタについて実行したか否かを判断する判断ステップであり、ステップST9は各クラスタの中から最善の仮説を1つ選択して目標の数とその航跡を決定する航跡決定のステップである。ステップST10は追尾終了か否かを判断する終了判定のステップである。
【0011】
図9において、ステップST61は未だ選択されていない任意の1つの既存仮説(親仮説)を選択する親仮説選択のステップ、ステップST62は上記選択された既存仮説に対して、未だ選択されていない任意の1つのクラスタ内航跡相関行列52を選択するクラスタ内航跡相関行列選択のステップであり、ステップST63は上記選択された既存仮説に対して、上記選択されたクラスタ内航跡相関行列52が組み合わせ可能であるかどうかを判定する判定ステップである。ステップST15は上記判定の結果、組み合わせ可能とされた既存仮説とクラスタ内航跡相関行列52より、現時刻の新たな仮説(子仮説)を作成する子仮説作成のステップであり、ステップST64は各既存仮説に対して、すべてのクラスタ内航跡相関行列52を選択したかを判断する判断ステップ、ステップST65はクラスタ内のすべての既存仮説を選択したかを判断する判断ステップである。
【0012】
図10において、ステップST71は上記図8に示したステップST53において作成された新たな仮説の評価値を算出する評価値算出のステップであり、ステップST72は上記評価値算出ステップST71で算出された仮説中の評価値の低いものを選択して削除する仮説削除のステップである。
【0013】
さらに、図11において、T1,T2は前時刻までに得られた既存の航跡、P1,P2は各航跡T1,T2の現時刻の予測位置であり、G1,G2は既存の各航跡T1,T2に対する現時刻の観測ベクトルが得られるゲートである。また、Z1,Z2,Z3は、現時刻に、センサ(目標観測装置1)によって実際に取得された観測ベクトルの位置を示している。
【0014】
次に動作について説明する。
図11に示すように、2つの航跡T1,T2のゲートG1,G2の領域が重なり合うとともに、各航跡T1,T2のゲートG1,G2内には複数の観測ベクトルZ1〜Z3が得られている。このような状況では、各航跡T1,T2にいずれの観測ベクトルZ1〜Z3が対応するかの相関を一意に決定することが困難となる。実際、相関の仮説として、例えば、観測ベクトルZ1が航跡T1に、観測ベクトルZ2が航跡T2にそれぞれ対応し、観測ベクトルZ3は誤信号またはこれまで探知されていなかった新目標であると考えることもできれば、観測ベクトルZ1が誤信号または新目標であり、観測ベクトルZ2が航跡T1に、観測ベクトルZ3が航跡T2に対応すると考えることもできる。さらに、センサの観測条件が劣悪な場合には、航跡T1または航跡T2の観測ベクトルが探知されていないという仮説を考慮しなければならないこともある。このように航跡T1,T2と観測ベクトルZ1〜Z3との相関が一意に定まらない状況においては、現時刻の情報のみから無理に相関を決定することなく、上記に述べたような種々の仮説について各々追尾を続行し、次時刻以降において確率の高いものを選択する延期決定型の方式が有効となる。従来の目標追尾装置は、このような方式によって追尾を行うことを目的としている。
【0015】
なお、図11のように、ゲートG1,G2が重なり合う航跡T1,T2の間では、相関処理における干渉が生じるため、これらの航跡T1,T2について一括して仮説を構成する必要があるものの、ゲートG1,G2の領域が重ならない航跡T1,T2どうしはそれぞれ独立に処理できる。このため、航跡の推定は、空間内の全航跡を互いにゲートが重なり合う航跡群毎に分割して処理することができる。このような処理単位をクラスタと呼んでいる。
【0016】
以下、図8のフローチャートを用いて、図7に示した目標追尾装置2の動作を詳しく説明する。
まず、入力ステップST1において、時刻tに目標観測装置1から目標追尾装置2へ観測ベクトルが入力されると、ゲート算出部4がステップST2において、既存のクラスタ群に含まれるすべての航跡に対して、現時刻tにおける観測ベクトルの存在期待領域であるゲートを算出する。次に、ステップST3において観測ベクトル選択部5が、各航跡のゲート内にいずれの観測ベクトルが存在するかを調べることにより、各航跡に相関し得る観測ベクトルを決定する。
【0017】
次にステップST4において、クラスタ新設・統合部7が、いずれのクラスタ内の航跡とも相関し得ない独立した観測ベクトルについて、この観測ベクトルにより構成される新たなクラスタを新設してシステム内クラスタ表6に定義し、また、ある観測ベクトルが互いに異なるクラスタに含まれる複数の航跡のゲート内に存在した場合、これらのクラスタを1つのクラスタとして統合してシステム内クラスタ表6に再定義する。さらに、このシステム内クラスタ表6に定義されている各クラスタに対して、このクラスタ内のいずれかの航跡と相関し得る観測ベクトルとして選択されたものの全体が、クラスタ内観測ベクトル表8に観測ベクトル選択部5によって書き込まれる。
【0018】
次に、システム内クラスタ表6に定義された各クラスタの状態を更新するためのステップST51〜ST54の一連の処理に進む。まず、ステップST51において、ゲート内判定行列算出部21が、クラスタ内の現時刻tの各観測ベクトルと航跡の相関可能性を示すクラスタ内ゲート内判定行列51を算出する。ここで、クラスタ内ゲート内判定行列51は現時刻tでのクラスタ内の観測ベクトル数がm、現時刻tでのクラスタ内の既存航跡、すなわち前時刻tk−1までに既に作成されたクラスタ内の航跡の数がNk−1(Nk−1=0の場合を含む)、現時刻tでのクラスタ内の航跡数がN=Nk−1+mの時に、次の式(1)に示す行列Ω(Hのように定義される。
【0019】
【数1】
Figure 0003649978
【0020】
ここで、上記式(1)で示すクラスタ内ゲート内判定行列51の各行は、現時刻tの観測ベクトルZk,j(j=1,2,...,m)に対応し、各列は現時刻tでのクラスタ内の航跡Ti(i=0,1,2,...,N)に対応する。行列の各要素はそれぞれの観測ベクトルがそれぞれの航跡のゲート内にあるか否かを表し、具体的には以下のように設定する。まず、i=0の列は観測ベクトルが誤信号である場合を示す。実際にすべての観測ベクトルは誤信号である可能性があるとして、次の式(2)のように設定する。
【0021】
【数2】
Figure 0003649978
【0022】
次に、1≦i≦Nk−1の各列はクラスタ内の既存航跡に対応する。観測ベクトルZk,j(j=1,2,...,m)が既存航跡Ti(i=1,2,...,Nk−1)のゲートに含まれる場合には、次に示す式(3)のように設定する。
【0023】
【数3】
Figure 0003649978
【0024】
また、観測ベクトルZk,jが既存航跡Tiのゲートに含まれない場合には、次の式(4)のように設定する。
【0025】
【数4】
Figure 0003649978
【0026】
さらに、Nk−1+1≦i≦Nの各列は現時刻tで新たに現れたクラスタ内の航跡に対応する。これらは、すべての観測ベクトルがそれぞれ新たに発見された目標である可能性を表すための列であり、1個の観測ベクトルが1本の新航跡に対応するように要素を設定する。すなわち、j=i−Nk−1の場合には、次の式(5)のように設定する。
【0027】
【数5】
Figure 0003649978
【0028】
また、逆にj≠i−Nk−1の場合には、次の式(6)のように設定する。
【0029】
【数6】
Figure 0003649978
【0030】
次に、ステップST52では、航跡相関行列算出部23がクラスタ内ゲート内判定行列51からすべてのクラスタ内航跡相関行列52を算出する。クラスタ内航跡相関行列52は、実際に仮説として採り得るクラスタ内の観測ベクトルと航跡の相関関係を示すものである。一般に1つのクラスタ内ゲート内判定行列51から複数のクラスタ内航跡相関行列52が生成される。現時刻tにおけるクラスタ内航跡相関行列52はクラスタ内ゲート内判定行列51から、次の式(7)に示す行列Ω(Hk,sのように定義される。
【0031】
【数7】
Figure 0003649978
【0032】
ここで、クラスタ内ゲート内判定行列51の場合と同様に、上記クラスタ内航跡相関行列52の各行は現時刻tでのクラスタ内の観測ベクトル、各列はクラスタ内の航跡に対応する。また、行列の各要素はそれぞれの観測ベクトルがそれぞれの航跡と相関しているか否かを示すもので、具体的には以下のように定義される。すなわち、観測ベクトルZk,j(j=1,2,...,m)が航跡Ti(i=0,1,2,...,N)と相関がある場合には、次の式(8)のように定義する。
【0033】
【数8】
Figure 0003649978
【0034】
また、観測ベクトルZk,jが航跡Tiと相関がない場合には、次の式(9)のように定義する。
【0035】
【数9】
Figure 0003649978
【0036】
実際にクラスタ内ゲート内判定行列51からクラスタ内航跡相関行列52を作成する際には、次に示す(ア)〜(ウ)の3つの基準に従い、この3条件を同時に満たすすべての組み合わせを、それぞれ別のクラスタ内航跡相関行列52として算出する。
(ア)クラスタ内ゲート内判定行列51において1である要素に対応するクラスタ内航跡相関行列52の要素のみを1とでき、その他の要素は0とする。
(イ)クラスタ内航跡相関行列52のi=0の列以外のすべての列では、高々1つの要素のみを1とし他の要素は0とする。
(ウ)クラスタ内航跡相関行列52のすべての行では、必ず1つの要素を1とし他の要素は0とする。
【0037】
次に、クラスタ内の仮説を更新するためのステップST53に進み、仮説更新部53が、クラスタ内の既存仮説、すなわち、前時刻tk−1に作成された仮説に、上記算出されたクラスタ内航跡相関行列52を組み合わせて、現時刻tの新たな仮説を作成する。
【0038】
ここで、このステップST53による仮説更新処理は、クラスタ内から選択した既存仮説を親仮説として、この親仮説より生まれる子仮説を導き、これを現時刻の新たな仮説とするという方法で行われる。以下に、ステップST53内の詳細な処理手順を、図9を参照しながら説明する。
【0039】
まず、ステップST61において、クラスタ内の既存仮説を親仮説として1個選択する。以下、この親仮説から派生する子仮説群を導くためのステップST62〜ST64の処理に進む。まずステップST62において、上記ステップST52で算出したクラスタ内航跡相関行列52中の1個を選択する。次にステップST63において、上記ステップST61で選択された親仮説に対して、上記ステップST62で選択されたクラスタ内航跡相関行列52が組み合わせ可能か否かを判定する。なお、この判定の基準は、上記選択されたクラスタ内航跡相関行列52において、いずれかの観測ベクトルと相関があるとされた既存航跡が上記選択した親仮説内に含まれていない場合に、両者を組み合わせ不可能とし、その他のすべての場合を組み合わせ可能とする。
【0040】
次に、ステップST15において、上記ステップST63で組み合わせ可能と判定された場合に限り、既存仮説内の既存航跡に対してこの航跡と相関のある新しい観測ベクトルを追加して航跡を伸張すること、新航跡とされた航跡を仮説に追加すること、ある観測ベクトルを誤信号と扱うことにより、子仮説を作成する。以上のステップST62〜ST15の処理は、判断ステップST64により、ステップST52で算出したクラスタ内航跡相関行列52をすべて選択し終わるまで繰り返し実行される。
【0041】
その後、判断ステップST65に進み、クラスタ内のすべての既存仮説について、上記ステップST62〜ST64の一連の仮説更新処理を終了したか否かを判断し、残余仮説がある場合にはステップST61に戻る。なお、多くの場合、1つの既存仮説が複数のクラスタ内航跡相関行列52と組み合わされ、複数の子仮説が作成される。このため、上記ステップST53の仮説更新処理によってクラスタ内の仮説数は増加する。
【0042】
以上の手順で図8のステップST53によるクラスタ内の仮説更新の処理が終了すると、次に、図8のステップST54によるクラスタ内の仮説削除の処理に進む。このステップST54では、仮説縮小部54において、図10に示す手順に従って仮説の縮小を行う。すなわち、まずステップST71において、各仮説が成立する確率を求めるなどの何らかの方式によって、上記ステップST53で作成した現時刻tの各仮説の尤もらしさを評価してその評価値を算出する。次にステップST72において、すべての仮説の中から上記評価値が高いものを順に選択してゆき、所定の基準に達した時点で残りの仮説を削除するなどの方法で仮説の縮小を行う。
【0043】
判断ステップST8では、システム内クラスタ表6に定義されたすべてのクラスタについてステップST51〜ST54の実行を終了したかを判断する。その結果、終了した場合にはステップST9に移り、航跡決定部16において、クラスタ内の現時刻tの仮説中から最善の仮説を1つ選択することによって目標の数および航跡を決定する。このステップST9にて決定された航跡群は、目標表示装置3に送られてディスプレイ上に表示される。
【0044】
以上述べた一連の処理は、終了判定のステップST10により、追尾終了が検出されるまで繰り返し実行される。
【0045】
【発明が解決しようとする課題】
従来の目標追尾装置は以上のように構成されているので、図9の処理手順に示すように、クラスタ内に存在する複数の既存仮説からそれぞれの子仮説群を導く処理は、各既存仮説について並行して独立に進めることが可能であるにもかかわらず、1つの仮説更新部53によって各既存仮説毎に順次処理が行われているため、処理効率が悪いという課題があった。
【0046】
また、従来の目標追尾装置は、仮説更新部53において、既存仮説から派生するすべての子仮説を作成したのち、仮説縮小部54が評価値の低いものを削除しているため、最終的には削除されることになる子仮説をいったん作成するという無駄があり、また、仮説縮小を終了する前の段階では、システム内の仮説数が一時的に増大し、これらの子仮説を管理する処理の効率が低下するなどの課題もあった。例えば、図10に示した仮説縮小の処理では、評価値の高い仮説を順に選び出すために、通常、子仮説の全体を評価値の昇順(または降順)に並べ替える、いわゆるソーティング処理等を必要とするが、この処理は仮説数の増加に伴い飛躍的に処理負荷が増大するという特徴があり、そのため、特に誤信号が多く発生する場合や多数の目標が密集する場合など、センサ(目標観測装置1)から入力される観測ベクトル数が極端に増えると仮説数が爆発的に増大し、処理の継続に支障をきたす可能性が生じる。
【0047】
この発明は上記のような課題を解決するためになされたもので、従来の目標追尾装置の構成および処理手順に修正を加えることにより、処理効率を向上させた目標追尾装置および目標追尾方法を得ることを目的とし、そのために、クラスタ内の各既存仮説からそれぞれの子仮説群を導く処理を、各既存仮説について並行して独立に進めることが可能な目標追尾装置および目標追尾方法を得ることを目的とする。
【0048】
また、この発明は既存仮説から導かれた子仮説の数が増大した場合でも、ソーティング処理等の子仮説全体を管理する処理を効率的に実行することにより、装置全体の処理効率の向上を図った目標追尾装置および目標追尾方法を得ることを目的とする。
【0049】
さらに、この発明は既存仮説から派生する子仮説を、仮説評価値の高いものから順に必要数のみ作成することにより、すべての子仮説をいったん作成した後に評価値の低いものを削除するといった無駄な処理を省いて、装置全体の処理効率の向上を図った目標追尾装置および目標追尾方法を得ることを目的とする。
【0050】
【課題を解決するための手段】
この発明に係る目標追尾装置は、既存の各クラスタ内の既存の航跡からゲートを算出するゲート算出部、観測ベクトルの全体からそのゲートに含まれる観測ベクトルを選択する観測ベクトル選択部、既存のクラスタ内の航跡と対応がとれない観測ベクトルより新クラスタを作成し、複数のクラスタ内の航跡と対応づけられた観測ベクトルがあればそれらのクラスタを統合するクラスタ新設・統合部、それぞれが1個の既存の仮説から新仮説を作成する複数の個別仮説更新部、その新仮説中の最善のものをクラスタ内の仮説として採択する仮説採択部、クラスタ内の仮説の蓄積量を評価する仮説蓄積状況判定部、および複数の仮説中の1つを選択して航跡を決定する航跡決定部によって構成したものである。
【0051】
この発明に係る目標追尾装置は、仮説内ゲート内判定行列を算出するゲート内判定行列算出部、その仮説内ゲート内判定行列から複数の仮説内航跡相関行列を算出する航跡相関行列算出部、それらの仮説内航跡相関行列と既存仮説より新仮説を作成する子仮説作成部、およびそれら新仮説中の未採択で最も評価値の高い仮説を選択・出力する子仮説選択出力部を、個別仮説更新部に持たせたものである。
【0052】
この発明に係る目標追尾装置は、仮説内ゲート内判定行列を算出するゲート内判定行列算出部、その仮説内ゲート内判定行列から未算出の最善の仮説内航跡相関行列を算出する優良順仮説内航跡相関行列算出部、および算出された仮説内航跡相関行列と既存仮説より新仮説を作成・出力する子仮説作成部を、個別仮説更新部に持たせたものである。
【0053】
この発明に係る目標追尾方法は、既存の各クラスタ内の既存の航跡からゲートを算出し、観測ベクトル全体からそのゲートに含まれる観測ベクトルを選択し、観測ベクトル全体中に既存のクラスタ内の航跡と対応がとれない観測ベクトルがあれば新クラスタを作成し、複数のクラスタ内の航跡と対応づけられた観測ベクトルがあればそれらのクラスタを統合し、クラスタ内の既存仮説毎に新仮説を作成して、その新仮説中の最善のものをクラスタ内の仮説として採択し、クラスタ内の仮説の蓄積量が十分になると、複数存在するクラスタ内の仮説の中から1つを選択して航跡を決定するようにしたものである。
【0054】
この発明に係る目標追尾方法は、新仮説の算出に際して、算出された仮説内ゲート内判定行列から複数の仮説内航跡相関行列を算出し、それらの仮説内航跡相関行列と既存仮説より新仮説を作成してそれらの尤もらしさを評価し、この新仮説中の未採択で最も評価値の高い仮説を選択するようにしたものである。
【0055】
この発明に係る目標追尾方法は、新仮説の算出に際して、算出された仮説内ゲート内判定行列から、複数の仮説内航跡相関行列中で、まだ算出されていないもののうちから、最善の仮説内航跡相関行列を算出し、この仮説内航跡相関行列と既存仮説より新仮説を作成してその尤もらしさを評価し、その評価値を算出するようにしたものである。
【0056】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態1.
図1はこの発明の実施の形態1による目標追尾装置の全体構成を示すブロック図であり、図2はその動作手順を示すフローチャートである。
図1において、1は空間中の目標の位置を観測して観測ベクトルを得るセンサとしての目標観測装置であり、2はこの目標観測装置1より入力された観測ベクトルより目標の航跡を決定する目標追尾装置、3はこの目標追尾装置2が決定した目標の航跡をディスプレイ上に表示して、追尾している目標の状態を使用者に示す目標表示装置である。
【0057】
上記目標追尾装置2内において、4は既存の各クラスタに含まれる各航跡に対して現時刻におけるゲートを算出するゲート算出部であり、5は目標観測装置1から目標追尾装置2に入力された現時刻の観測ベクトル全体から、ゲート算出部4にて算出された各航跡のゲートに含まれる観測ベクトルを選択する観測ベクトル選択部である。6はこの目標追尾装置2内のクラスタの全体を示したシステム内クラスタ表であり、7は観測ベクトル選択部5の出力とシステム内クラスタ表6に示された既存のクラスタとの関係から、既存のクラスタを統合し、また新しいクラスタを作成するクラスタ新設・統合部である。8は目標観測装置1から入力された観測ベクトルのうち、各クラスタに属する観測ベクトル群をクラスタ毎に示したクラスタ内観測ベクトル表である。9(9a,9b,...,9m)はクラスタ内の既存仮説の数がMである場合に、このクラスタ内の既存仮説の数Mに対応してM個設けられ、その各々が、個々の既存仮説から生まれる子仮説群を作成し、最善のものから1個ずつ出力する個別仮説更新部である。10は各個別仮説更新部9から出力される子仮説の中から最善の仮説を現時刻のクラスタ内仮説として採択する仮説採択部である。
【0058】
11はクラスタ内の既存仮説の状況を示すデータ群によるクラスタ内仮説状況データ群である。このクラスタ内仮説状況データ群11内において、12はクラスタ内にあるすべての仮説を示したクラスタ内仮説表であり、13は各仮説毎に仮説内にあるすべての航跡を示した仮説内航跡表、14はクラスタ内にあるすべての航跡に対して航跡を構成する観測ベクトルを示したクラスタ内航跡−観測ベクトル表である。
【0059】
15はクラスタ内仮説状況データ群11の中に十分な数の仮説が蓄積されているか否かを判定する仮説蓄積状況判定部であり、16はクラスタ内に複数の仮説が存在する場合にその中から最善の仮説を1つ選択し、目標の数とその航跡を決定する航跡決定部である。なお、この図1においては、図7に示した従来の目標追尾装置と同一の構成部位には同一の符号を付している。
【0060】
また、図2において、ステップST1は目標観測装置1より現時刻の観測ベクトルを入力する入力ステップであり、ステップST2はゲート算出部4が既存の各クラスタに含まれる航跡から、観測ベクトルの存在が期待される現時刻のゲートを算出するゲート算出工程としてのゲート算出のステップである。ステップST3は観測ベクトル選択部5が、目標観測装置1より入力された現時刻の観測ベクトルの全体から、ゲート算出部4にて算出された各航跡のゲートに含まれる観測ベクトルを選択する観測ベクトル選択工程としての観測ベクトル選択のステップである。ステップST4はクラスタ新設・統合部7が、観測ベクトル選択部5で各航跡毎に選択した観測ベクトル群と既存のクラスタの関係から、入力された全体の観測ベクトルに既存の各クラスタ内の航跡と対応がとれない観測ベクトルがある場合に、その観測ベクトルに応じて新しいクラスタを作成し、複数の既存のクラスタ内の航跡と対応づけられた観測ベクトルがある場合に、それら複数の既存のクラスタを統合するクラスタ新設・統合工程としてのクラスタ新設・統合のステップである。
【0061】
ステップST5a,ST5b,...,ST5mはクラスタ内の既存仮説の数がMである場合に、M個の個別仮説更新部9a〜9mにおいてそれらM個の既存仮説の処理を並行に進めて、それぞれの既存仮説から生まれる新たな子仮説群を作成し、クラスタの仮説として未だ採択されていない最善の仮説を1個ずつ選択する、新仮説算出工程としての新仮説算出のステップである。ステップST6は上記ステップST5a〜ST5mにおいて各個別仮説更新部9a〜9mで選択された、各既存仮説毎の子仮説の中から、仮説採択部10がさらに最善の仮説を現時刻のクラスタ内仮説として採択する、仮説採択工程としての仮説採択のステップである。ステップST7は仮説蓄積状況判定部15によって、現時刻のクラスタ内仮説が十分に蓄積されたか否かを判定する、仮説蓄積量判定工程としての仮説蓄積量判定のステップである。
【0062】
ステップST8は上記ステップST5〜ST7の一連の処理をすべてのクラスタについて実行したかを判断する判断ステップである。ステップST9は航跡決定部16が各クラスタの中から最善の仮説を1つ選択して目標の数とその航跡を決定する、航跡決定工程としての航跡決定のステップである。ステップST10は追尾終了か否かを判断する終了判定のステップである。なお、この図2においても、図8に示した従来の目標追尾装置の処理手順と同一のステップには同一の符号を付している。
【0063】
次に動作について説明する。
目標観測装置1は空間中の目標の位置を観測しており、入力ステップST1において、時刻tにその目標位置の観測結果による観測ベクトルを目標追尾装置2へ入力する。それを受けた目標追尾装置2ではステップST2において、既存の各クラスタに含まれるすべての航跡に対して、現時刻tにおける観測ベクトルの存在期待領域であるゲートをゲート算出部4にて算出する。次に、観測ベクトル選択部5がステップST3において、各航跡のゲート内にいずれの観測ベクトルが存在するかを調べることにより、各航跡に相関し得る観測ベクトルを決定する。
【0064】
次にステップST4に進み、いずれのクラスタ内の航跡とも相関し得ない独立した観測ベクトルについては、クラスタ新設・統合部7がこの観測ベクトルによって構成される新たなクラスタの新設を行い、それをシステム内クラスタ表6に定義する。また、ある観測ベクトルが互いに異なるクラスタに含まれる複数の航跡のゲート内に存在した場合には、クラスタ新設・統合部7がそれらのクラスタを1つのクラスタとして統合し、それをシステム内クラスタ表6に再定義する。さらに、このクラスタ新設・統合のステップST4では、システム内クラスタ表6に定義されている各クラスタに対して、観測ベクトル選択部5により、このクラスタ内のいずれかの航跡と相関し得る観測ベクトルとして選択されたものの全体を、クラスタ内観測ベクトル表8に書き込む。
【0065】
次に、システム内クラスタ表6に定義された各クラスタの状態を更新するために、ステップST5(ST5a,ST5b,...,ST5m)〜ST7の一連の処理に進む。ここで、ステップST5は、図2に示すように、クラスタ内のM個の既存仮説にそれぞれ対応したM個の新仮説算出のステップST5a〜ST5mによって、クラスタ内のM個の既存仮説について並行して処理が進められる。これら各既存仮説に対する処理は、各既存仮説毎に設けられたM個の個別仮説更新部9a〜9mがそれぞれ担当して実行する。この新仮説算出のステップST5a〜ST5mでは、各個別仮説更新部9a〜9mがそれぞれ、当該既存仮説から生まれる子仮説群を作成し、それらの評価値を算出するとともに、作成した子仮説の中で、現時刻のクラスタ内仮説として未だ採択されていないものの内から最善の仮説を選び出し、それを仮説採択部10に出力する。
【0066】
次にステップST6において、個別仮説更新部9a〜9mによって選択されて入力された子仮説の中から、仮説採択部10が最善の1個を現時刻tの新たなクラスタ内仮説として採択し、それをクラスタ内仮説状況データ群11に登録する。次にステップST7に進み、仮説蓄積状況判定部15がクラスタ内仮説状況データ群11の内容を調べて、現時刻のクラスタ内仮説の蓄積量が十分であるか否かを判定する。このステップST7において仮説の蓄積量が不十分であると判定された場合にはステップST5a〜ST5mに戻り、さらに次の順位の子仮説をクラスタ内仮説として追加登録するための処理を実行する。
【0067】
なお、このような繰り返し処理の過程において、仮説採択部10は、毎回、いずれか1個の個別仮説更新部9a〜9mからの出力を採択する。このため、M個の個別仮説更新部9a〜9m内で前回と異なる子仮説が出力されるのは、前回採択を受けた、個別仮説更新部9a〜9mのうちの1個のみである。その結果、クラスタ内仮説状況データ群11には、評価値の高いものから順に取りこぼしなく仮説を収集することができる。
【0068】
一方、ステップST7において十分なクラスタ内仮説が蓄積されたと判定された場合には、処理はステップST8に移る。この判断ステップST8では、システム内クラスタ表6に定義されたすべてのクラスタについて、ステップST5〜ST7の一連の処理の実行を終了したか否かを判断する。その結果、終了していない場合にはステップST5に戻り、上記処理を繰り返す。また、終了した場合にはステップST9に移り、航跡決定部16において、各クラスタ内の現時刻tの仮説の中から最善の仮説を1つ選択することによって目標の数および航跡を決定する。このようにしてステップST9で決定された航跡群は、航跡決定部16より目標表示装置3に送られてそのディスプレイ上に表示される。
【0069】
以上述べた一連の処理は、終了判定ステップST10により、追尾終了が検出されるまで繰り返し実行される。
【0070】
以上のように、この実施の形態1によれば、クラスタ内の各既存仮説毎に設けた複数の個別仮説更新部9a〜9mを使用することにより、クラスタ内の複数の既存仮説から現時刻tの新たな仮説群を作成する処理を、各既存仮説毎に並行して独立に進めることができ、目標の追尾処理を効率的に実行することができるという効果が得られる。
【0071】
実施の形態2.
図3はこの発明の実施の形態2による目標追尾装置における個別仮説更新部の詳細構成を示すブロック図であり、図4はその動作手順を示すフローチャートである。図3において、8は図1に同一符号を付して示したクラスタ内観測ベクトル表と同一のクラスタ内観測ベクトル表、9は図1に符号9a〜9mを付して示した各個別仮説更新部の1つを代表的に示した個別仮説更新部であり、10は図1に同一符号を付して示した仮説採択部と同一の仮説採択部、11は図1に同一符号を付して示したクラスタ内仮説状況データ群と同一のクラスタ内仮説状況データ群である。
【0072】
上記個別仮説更新部9内において、21はクラスタ内観測ベクトル表8とクラスタ内仮説状況データ群11からの既存仮説の状況を示すデータ群を入力として、クラスタ内の現時刻の観測ベクトルと当該既存仮説に係わる航跡との関係を示す仮説内ゲート内判定行列を算出するゲート内判定行列算出部であり、22はこのゲート内判定行列算出部21によって算出された上記仮説内ゲート内判定行列である。23はこの仮説内ゲート内判定行列22を入力として、当該既存仮説の拡張可能性を示す仮説内航跡相関行列を算出する航跡相関行列算出部であり、24はこの航跡相関行列算出部23によって算出された上記仮説内航跡相関行列である。25はクラスタ内仮説状況データ群11からの当該既存仮説の状況と算出された仮説内航跡相関行列24より、現時刻に入力された観測ベクトルに対応する新たな仮説である子仮説を作成し、さらにこの子仮説の評価値を算出する子仮説作成部である。
【0073】
26はこの子仮説作成部25にて作成された子仮説の状況を示すデータ群による子仮説状況データ群である。この子仮説状況データ群26内において、27は当該既存仮説から作成されたすべての子仮説をその評価値とともに示した子仮説表であり、28は各子仮説毎に仮説内にあるすべての航跡を示した仮説内航跡表、29はいずれかの子仮説に含まれるすべての航跡に対して、航跡を構成する観測ベクトルを示した仮説内航跡−観測ベクトル表である。また、30はこの子仮説状況データ群26に登録された子仮説の中から、現時刻のクラスタ内仮説として未だ採択されていないもので、評価値の最も高いものを選択し、それを仮説採択部10に出力する子仮説選択出力部である。なお、この図3においては、図1に示した実施の形態1による目標追尾装置と同一の構成部位には同一の符号を付している。
【0074】
また、図4において、ステップST11は当該既存仮説から導かれる子仮説群が既に作成済みであるか否かを判断する判断ステップであり、ステップST12はクラスタ内の現時刻の観測ベクトルと当該既存仮説に係わる航跡の関係を示す仮説内ゲート内判定行列22を算出する仮説内ゲート内判定行列算出工程としての仮説内ゲート内判定行列算出のステップである。ステップST13はその仮説内ゲート内判定行列22から、それぞれが該既存仮説の拡張可能性を示す複数の仮説内航跡相関行列24を算出する仮説内航跡相関行列算出工程としての仮説内航跡相関行列算出のステップである。ステップST14は既に選択されていない任意の1つの仮説内航跡相関行列24を選択する仮説内航跡相関行列選択のステップ、ステップST15は当該既存仮説と上記ステップST14にて選択された仮説内航跡相関行列24を組み合わせて1つの子仮説を新たに作成する子仮説作成のステップであり、これら仮説内航跡相関行列選択のステップST14と子仮説作成のステップST15とによって仮説作成工程が形成されている。
【0075】
ステップST16は上記子仮説作成のステップST15において作成された子仮説の尤もらしさを示す評価値を算出する仮説評価値算出工程としての仮説評価値算出のステップであり、ステップST17はすべての仮説内航跡相関行列24を選択したか否かを判断する判断ステップである。ステップST18は上記子仮説作成のステップST15にて作成された子仮説の内から、現時刻のクラスタ内仮説として未だ採択されていないものの中で、仮説評価値算出のステップST16で算出された評価値が最も高い子仮説を選択して出力する子仮説選択工程としての子仮説選択のステップである。
【0076】
次に動作について説明する。
新仮説算出工程(図2に示したステップST5a〜ST5m)の処理が開始されると、個別仮説更新部9はステップST11において、まず当該既存仮説に対する子仮説群が既に作成済みであるか否かの判断を行う。判定の結果、子仮説群が作成済みである場合にはそのままステップST18に進み、作成済みでない場合には子仮説群を作成するためのステップST12〜ST17の一連の処理に進む。なお、このステップST11は、個別仮説更新部9が各クラスタの処理において最初に動作する時にのみ、当該既存仮説の子仮説の作成処理を行うようにするためのものである。
【0077】
処理がステップST12に進むと、ゲート内判定行列算出部21は、クラスタ内の現時刻tの各観測ベクトルと当該既存仮説に係わる航跡との相関可能性を示す仮説内ゲート内判定行列22を算出する。ここで、この実施の形態2にて使用される仮説内ゲート内判定行列22が、従来の目標追尾装置で使用していたクラスタ内ゲート内判定行列51と異なる点は、上記クラスタ内ゲート内判定行列51がクラスタ内のすべての既存航跡を対象としていたのに対し、この仮説内ゲート内判定行列22は当該既存仮説に含まれる既存航跡のみを対象とする点である。このため、一般に、従来のクラスタ内ゲート内判定行列51と比べて、この実施の形態2による仮説内ゲート内判定行列22の方が行列の列数が減少して小規模となる。すなわち、仮説内ゲート内判定行列22は、現時刻tでのクラスタ内の観測ベクトル数がm、現時刻tでの当該既存仮説に含まれる既存航跡の数がN’k−1(N’k−1=0の場合を含む)、現時刻tでの当該既存仮説から派生する航跡数がN’=N’k−1+m(ここで、N’<N)の時、次の式(10)に示される行列Ω(Hのように定義される。
【0078】
【数10】
Figure 0003649978
【0079】
ここで、上記式(10)で示す仮説内ゲート内判定行列22の各行は、現時刻tの観測ベクトルZk,j(j=1,2,...,m)に対応し、各列は現時刻tでの当該既存仮説から派生する航跡Ti(i=0,1,2,...,N’)に対応する。行列の各要素はそれぞれの観測ベクトルがそれぞれの航跡のゲート内にあるか否かを表し、具体的には以下のように設定する。まず、i=0の列は観測ベクトルが誤信号である場合を示す。実際にすべての観測ベクトルは誤信号である可能性があるとして、次に示す式(11)のように設定する。
【0080】
【数11】
Figure 0003649978
【0081】
次に、1≦i≦N’k−1の各列は当該既存仮説に含まれる既存航跡に対応する。観測ベクトルZk,j(j=1,2,...,m)が既存航跡Ti(i=1,2,...,N’k−1)のゲートに含まれる場合には、次の式(12)のように設定する。
【0082】
【数12】
Figure 0003649978
【0083】
また、観測ベクトルZk,jが既存航跡Tiのゲートに含まれない場合には、次の式(13)のように設定する。
【0084】
【数13】
Figure 0003649978
【0085】
さらに、N’k−1+1≦i≦N’の各列は現時刻tで新たに現れたクラスタ内の航跡に対応する。これらは、すべての観測ベクトルがそれぞれ新たに発見された目標である可能性を表すための列であり、1個の観測ベクトルが1本の新航跡に対応するように要素を設定する。すなわち、j=i−N’k−1である場合は、次の式(14)のように設定する。
【0086】
【数14】
Figure 0003649978
【0087】
また、逆にj≠i−N’k−1である場合には、次の式(15)のように設定する。
【0088】
【数15】
Figure 0003649978
【0089】
次に、ステップST14では、航跡相関行列算出部23が仮説内ゲート内判定行列22からすべての仮説内航跡相関行列24を算出する。仮説内航跡相関行列24は、実際に当該既存仮説からの子仮説として取り得る観測ベクトルと航跡の相関関係を示すものである。一般に、1つの仮説内ゲート内判定行列22から複数の仮説内航跡相関行列24が生成される。ただし、従来の目標追尾装置の場合と比べると、前述のように、仮説内ゲート内判定行列22がクラスタ内ゲート内判定行列51に比べて小規模となるため、一般に、仮説内航跡相関行列24の総数は、従来の目標追尾装置にて算出されるクラスタ内航跡相関行列52の総数に比べて少数となる。現時刻tにおける仮説内航跡相関行列24は仮説内ゲート内判定行列22から、次の式(16)に示される行列Ω(Hk,sのように定義される。
【0090】
【数16】
Figure 0003649978
【0091】
ここで、前に述べた仮説内ゲート内判定行列22の場合と同様に、上記仮説内航跡相関行列24の各行は現時刻tでのクラスタ内の観測ベクトル、各列は当該既存仮説から派生する航跡に対応する。また、行列の各要素はそれぞれの観測ベクトルがそれぞれの航跡と相関しているか否かを示すもので、具体的には以下のように定義する。すなわち、観測ベクトルZk,j(j=1,2,...,m)が航跡Ti(i=0,1,2,...,N’)と相関がある場合には、次の式(17)のように定義する。
【0092】
【数17】
Figure 0003649978
【0093】
また、観測ベクトルZk,jと航跡Tiとの間に相関がない場合には、次に示す式(18)のように定義する。
【0094】
【数18】
Figure 0003649978
【0095】
実際に仮説内ゲート内判定行列22から仮説内航跡相関行列24を作成する際には、次に示す(ア)〜(ウ)の3つの基準に従い、この3条件を同時に満たすすべての組み合わせを、それぞれ別の仮説内航跡相関行列24として算出する。(ア)仮説内ゲート内判定行列22において1である要素に対応する仮説内航跡相関行列24の要素のみを1とでき、その他の要素は0とする。
(イ)仮説内航跡相関行列24のi=0の列以外のすべての列では、高々1つの要素のみを1とし他の要素は0とする。
(ウ)仮説内航跡相関行列24のすべての行では、必ず1つの要素を1とし他の要素は0とする。
【0096】
次に、子仮説作成部25が、クラスタ内の既存仮説の状況を示すデータ群によるクラスタ内仮説状況データ群11の、当該既存仮説から導かれる子仮説群を作成するため、ステップST14〜ST17の一連の処理を実行する。まずステップST14において、上記航跡相関行列算出部23がステップST13で算出した複数の仮説内航跡相関行列24のうちの1個を選択する。次にステップST15において、当該既存仮説と上記ステップST14で選択された仮説内航跡相関行列24とを組み合わせ、既存仮説内の既存の航跡に対して、この航跡と相関のある新しい観測ベクトルを追加して航跡を伸張すること、新航跡とされた航跡を仮説に追加すること、ある観測ベクトルを誤信号と扱うこと、によって新たに子仮説を作成する。
【0097】
さらに、ステップST16において、上記ステップST15で作成した子仮説の尤もらしさを、その子仮説が成立する確率を求めるなどの、何らかの方式により評価してその評価値の算出を行う。このステップST15で作成された子仮説およびステップST16で算出された子仮説の評価値は、子仮説状況データ群26に登録される。子仮説作成部25による上記ステップST14〜ST16の処理は、判断ステップST17によって、ステップST13で算出した仮説内航跡相関行列24のすべてを選択し終わったことが検出されるまで繰り返し実行される。これにより、子仮説状況データ群26に子仮説およびその評価値を蓄積してゆく。
【0098】
この判断ステップST17ですべての仮説内航跡相関行列24の選択が終わったことが検出された場合、もしくはステップST11で子仮説群が作成済みであると判断された場合にはステップST18に進む。ステップST18では、子仮説選択出力部30が、子仮説状況データ群26の中から、現時刻tのクラスタ内仮説として未だ採択されていない子仮説のうちの、評価値が最も高いものを1個選択して、その子仮説を評価値とともに仮説採択部10に出力して、この新仮説算出工程の一連の処理を終了する。
【0099】
以上のように、この実施の形態2によれば、個別仮説更新部9にて当該既存仮説に含まれる既存航跡のみを対象として仮説内ゲート内判定行列22を算出し、その仮説内ゲート内判定行列22から、当該既存仮説に含まれる既存航跡のみを対象とした仮説内航跡相関行列24を算出しているため、従来の目標追尾装置における、クラスタ内のすべての既存航跡を対象としたクラスタ内ゲート内判定行列51とクラスタ内航跡相関行列52の場合に比べて、行列の規模が小規模となり、特に、従来の目標追尾装置におけるクラスタ内航跡相関行列52は、クラスタ内のすべての既存仮説の拡張可能性を示す行列群であるのに対し、この実施の形態2による目標追尾装置の仮説内航跡相関行列24は、当該既存仮説についてのみの拡張可能性を示す行列群であるため、算出される行列の数が少数となるため、処理効率が向上するという効果が得られる。
【0100】
また、既存仮説より子仮説を実際に作成する処理においても、従来の目標追尾装置の場合には、各既存仮説に対して、クラスタ内航跡相関行列52群のいずれの行列が組み合わせ可能であるかを探索しながら、子仮説を作成する必要があったのに対し、この実施の形態2による個別仮説更新部9を使用した場合には、すべてが当該既存仮説と組み合わせ可能な仮説内航跡相関行列24群と組み合わせて子仮説を作成するため、上記のような探索が不要となり、結果的に処理効率を向上させることができるという効果が得られる。
【0101】
さらに、従来の目標追尾装置では、仮説を縮小するために、クラスタ内の仮説の全体を対象に、例えば評価値の高い順に並べ替える等の処理を必要としたが、この実施の形態2による個別仮説更新部9を使用した場合には、最善の仮説から順に選択して出力する際にも、当該既存仮説から導かれた子仮説群のみを対象として、上記のような並べ替えの処理を行えばよいため、結果的に処理効率を向上させることができるという効果が得られる。
【0102】
実施の形態3.
図5はこの発明の実施の形態3による目標追尾装置における個別仮説更新部の詳細構成を示すブロック図であり、図6はその動作手順を示すフローチャートである。図5において、8はクラスタ内観測ベクトル表、9は個別仮説更新部、10は仮説採択部、11はクラスタ内仮説状況データ群であり、これらは図1もしくは図3に同一符号を付して示した各構成部位に相当するものである。
【0103】
上記個別仮説更新部9内において、21はクラスタ内観測ベクトル表8と、クラスタ内仮説状況データ群11からの既存仮説の状況を示すデータ群を入力として、クラスタ内の現時刻の観測ベクトルと当該既存仮説に係わる航跡との関係を示す仮説内ゲート内判定行列を算出するゲート内判定行列算出部であり、22はこのゲート内判定行列算出部21によって算出された上記仮説内ゲート内判定行列である。31はゲート内判定行列算出部21にて算出された仮説内ゲート内判定行列22を入力として、未算出の最善の仮説内航跡相関行列を算出する優良順仮説内航跡相関行列算出部である。25はクラスタ内仮説状況データ群11からの当該既存仮説の状況と、この優良順仮説内航跡相関行列算出部31にて算出された仮説内航跡相関行列から、現時刻に入力した観測ベクトルに対応する新たな仮説である子仮説を作成し、さらにその子仮説の評価値の算出を行って、それらを仮説採択部10に出力する子仮説作成部である。なお、この図5においては、図3に示した実施の形態2による目標追尾装置と同一の構成部位には同一の符号を付している。
【0104】
また、図6において、ステップST21はゲート内判定行列算出部21による仮説内ゲート内判定行列22の作成が済んでいるか否かを判断する判断ステップであり、ステップST22は前回動作時に出力した子仮説が現時刻のクラスタ内仮説として採択されたか否かを判断する判断ステップである。ステップST12はクラスタ内の現時刻の観測ベクトルと当該既存仮説に係わる航跡との関係を示す仮説内ゲート内判定行列22を算出する仮説内ゲート内判定行列算出工程としての仮説内ゲート内判定行列算出のステップである。ステップST23は当該既存仮説の拡張可能性を示す仮説内航跡相関行列のうちの、未算出で最善のものを算出する優良順仮説内航跡相関行列算出工程としての仮説内航跡相関行列算出のステップである。ステップST15は当該既存仮説と上記ステップST23で算出された仮説内航跡相関行列を組み合わせて子仮説を作成する仮説作成工程としての子仮説作成のステップであり、ステップST16は上記ステップST15で作成された子仮説の尤もらしさを評価し、その評価値を算出する仮説評価値算出工程としての子仮説評価値算出のステップである。ステップST24は上記ステップST15で作成した子仮説と、ステップST16で算出したその子仮説の評価値を仮説採択部10に出力する出力ステップである。なお、この図6においても、図4に示した実施の形態2による目標追尾装置の処理手順と同一のステップには同一の符号を付している。
【0105】
次に動作について説明する。
新仮説算出工程が開始されると、個別仮説更新部9は判断ステップST21において、まず当該既存仮説に対する仮説内ゲート内判定行列22の作成が既に済んでいるか否かの判断を行う。判定の結果、仮説内ゲート内判定行列22が作成済みである場合にはステップST22に進み、作成済みでない場合にはステップST12に進む。なお、このステップST21は、この個別仮説更新部9が各クラスタの処理において最初に動作する時にのみ、仮説内ゲート内判定行列22の作成処理を行うようにするためのものである。
【0106】
ステップST22においては、この個別仮説更新部9が前回動作した際に算出し出力した子仮説が、仮説採択部10によって、現時刻のクラスタ内仮説として採択されたか否かを判断する。このステップST22にて、前回動作時に出力した子仮説が採択されなかったと判断された場合には、この時点での、当該既存仮説から導かれる最善の子仮説は既に前回動作時までに作成済みである(この子仮説は、子仮説作成部25に保持されているようにしておくものとする)。従って、この場合にはステップST24に進む。また、前回動作時に出力した子仮説が仮説採択部10によって採択されたと判断された場合には、新たに次の順位の子仮説を作成する必要がある。従って、この場合にはステップST23に進む。
【0107】
一方、ステップST12においては、ゲート内判定行列算出部21にて仮説内ゲート内判定行列22の作成を行う。なお、このステップST12における仮説内ゲート内判定行列22の作成方法は、実施の形態2で説明したものと同様である。
【0108】
仮説内ゲート内判定行列22が作成されると、新たに次の順位の子仮説を作成するために、まず、優良順仮説内航跡相関行列算出部31がステップST23において、前回までの動作時に既に算出済みのものを除いた仮説内航跡相関行列の中で最善のものを1個算出する。次に、ステップST15において子仮説作成部25が、クラスタ内仮説状況データ群11からの当該既存仮説と、上記ステップST23で算出された仮説内航跡相関行列とを組み合わせ、既存仮説内の既存航跡に対して、その航跡と相関のある新しい観測ベクトルを追加して航跡を伸張すること、新航跡とされた航跡を仮説に追加すること、ある観測ベクトルを誤信号と扱うことによって、子仮説の作成を行う。子仮説作成部25はステップST16においてさらに、上記ステップST15で作成した子仮説の尤もらしさを、その子仮説が成立する確率を求めるなどの、何らかの方式で評価し、その評価値を算出する。次に、ステップST24において、上記ステップST15で作成した子仮説を上記ステップST16で算出した評価値とともに仮説採択部10に出力する。
【0109】
なお、上記のように、仮説内航跡相関行列を優良順に算出することにより、子仮説を評価値の高いものから順に作成できるとする原理は、以下に述べる通りである。
すなわち、実施の形態2の説明でも述べたように、個別仮説更新部9が当該既存仮説から子仮説群を導く際の処理は、当該既存仮説の拡張可能性を示す複数の仮説内航跡相関行列の中から1個の行列を選択して、当該既存仮説とその選択された仮説内航跡相関行列を組み合わせることにより1個の子仮説を作成し、この手順をすべての仮説内航跡相関行列について選択し終わるまで繰り返すことによって実行される。このため、上記手順で作成される各子仮説の尤もらしさの優劣は、この子仮説を導く際に選択された仮説内航跡相関行列の優劣によって決定される。従って、優良順仮説内航跡相関行列算出部31によって仮説内航跡相関行列を優良順に算出することにより、評価値の高いものから順に子仮説を作成することができる。
なお、上記動作の説明では、ステップST22において、この個別仮説更新部9が前回動作時に算出し出力した子仮説が、仮説採択部10によって採択されなかった場合には、ステップST23、ST15、ST16の処理を行わず、ステップST24に進むとしたが、別の方法として、上記のように前回の子仮説が採択されなかった場合にも、ステップST23、ST15、ST16の処理を実行し、次の順位の子仮説を予め作成しておいて個別仮説更新部9内に蓄積しておく方法も考えられる。
【0110】
以上のように、この実施の形態3によれば、当該既存仮説に含まれる既存航跡のみを対象とした仮説内ゲート内判定行列22を算出し、この仮説内ゲート内判定行列22から、当該既存仮説に含まれる既存航跡のみを対象とした仮説内航跡相関行列を算出しているため、従来の目標追尾装置におけるクラスタ内のすべての既存航跡を対象としたクラスタ内ゲート内判定行列51とクラスタ内航跡相関行列52を算出する場合に比べて、算出される行列の規模が小規模となって、処理効率が向上するという効果が得られる。
【0111】
また、この個別仮説更新部9では、優先順仮説内航跡相関行列算出部31を設けることにより、評価値の高い順に必要数の子仮説を作成するようにしているので、従来の目標追尾装置の場合のように、既存仮説から派生する子仮説のすべてを作成したり、これらの仮説を評価値に基づいて縮小するといった無駄な処理を行う必要がなくなるため、結果的に処理効率が向上するという効果が得られる。
【0112】
【発明の効果】
以上のように、この発明によれば、個別仮説更新部を複数個用意して、それぞれを各クラスタ内の既存の仮説に対応させ、その各々が1個の既存の仮説から新たな仮説を作成するように構成したので、クラスタ内の複数の既存仮説から現時刻の新たな仮説群を作成する際に、その処理を各既存仮説毎に並行して独立に進めることが可能となるため、効率的に目標の追尾処理を行うことができる目標追尾装置が得られる効果がある。
【0113】
この発明によれば、個別仮説更新部にゲート内判定行列算出部、航跡相関行列算出部、子仮説作成部、および子仮説選択出力部を持たせ、当該既存仮説に含まれる既存航跡のみを対象として算出した仮説内ゲート内判定行列から複数の仮説内航跡相関行列を算出するように構成したので、行列の規模を従来の目標追尾装置に比べて小規模化することができ、また、既存仮説より子仮説を実際に作成する処理においても、すべてが当該既存仮説と組み合わせ可能な仮説内航跡相関行列群と組み合わせて子仮説を作成しているため、従来の目標追尾装置のような探索が不要となり、さらに、最善の仮説から順に選択して出力する際にも、仮説を縮小するための並べ替えの処理を、当該既存仮説から導かれた子仮説群のみを対象として行えばよいため、目標追尾装置の処理効率を向上させることが可能になるという効果がある。
【0114】
この発明によれば、個別仮説更新部にゲート内判定行列算出部、優良順仮説内航跡相関行列算出部、および子仮説作成部を持たせ、当該既存仮説に含まれる既存航跡のみを対象として算出した仮説内ゲート内判定行列から、未だ算出されていないもののうちで最善の仮説内航跡相関行列を算出するように構成したので、行列の規模を従来の目標追尾装置に比べて小規模にすることができ、また、従来の目標追尾装置の場合のように、既存仮説から派生する子仮説のすべてを作成したり、これらの仮説を評価値に基づいて縮小するといった無駄な処理を行う必要がなくなるため、目標追尾装置の処理効率を向上させることが可能になるという効果がある。
【0115】
この発明によれば、クラスタ内の複数の既存仮説から現時刻の新仮説を作成する処理を、各既存仮説に対応する新仮説算出工程によって、各既存仮説毎に独立して実行するように構成したので、各既存仮説の現時刻の新仮説の作成処理を同時に並行して進めることが可能となり、目標の追尾処理を効率的に行うことができる目標追尾方法が得られる効果がある。
【0116】
この発明によれば、仮説内ゲート内判定行列から算出された複数の仮説内航跡相関行列より新仮説を作成し、それらのうちの尤もらしさの評価が最も高い未採択の仮説を選択するように構成したので、従来の目標追尾装置に比べて行列を小規模化することができ、また、子仮説の作成処理においても従来の目標追尾装置のような探索が不要となり、さらに、並べ替えの処理も当該既存仮説から導かれた子仮説群のみを対象として行えばよくなるため、目標追尾方法における処理効率を向上させることが可能になるという効果がある。
【0117】
この発明によれば、仮説内ゲート内判定行列から算出された複数の仮説内航跡相関行列中で、未だ算出されていないもののうちの最善の仮説内航跡相関行列を算出し、それより作成した新仮説の評価値を算出するように構成したので、従来の目標追尾装置に比べて行列を小規模化することができ、また、既存仮説から派生する子仮説のすべてを作成したり、これらの仮説を評価値に基づいて縮小するといった無駄な処理を行う必要がなくなって、目標追尾方法における処理効率を向上させることが可能になるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1による目標追尾装置の全体構成を示すブロック図である。
【図2】 実施の形態1による目標追尾装置における動作手順を示すフローチャートである。
【図3】 この発明の実施の形態2による目標追尾装置における個別仮説更新部の詳細構成を示すブロック図である。
【図4】 実施の形態2による目標追尾装置の個別仮説更新部における動作手順を示すフローチャートである。
【図5】 この発明の実施の形態3による目標追尾装置における個別仮説更新部の詳細構成を示すブロック図である。
【図6】 実施の形態3による目標追尾装置の個別仮説更新部における動作手順を示すフローチャートである。
【図7】 従来の目標追尾装置の全体構成を示すブロック図である。
【図8】 従来の目標追尾装置における全体的な動作手順を示すフローチャートである。
【図9】 従来の目標追尾装置における仮説更新のステップの詳細な処理手順を示すフローチャートである。
【図10】 従来の目標追尾装置における仮説縮小のステップの詳細な処理手順を示すフローチャートである。
【図11】 目標追尾にて各航跡と観測ベクトルの相関の処理が困難となる状況を示す説明図である。
【符号の説明】
1 目標観測装置(センサ)、2 目標追尾装置、3 目標表示装置、4 ゲート算出部、5 観測ベクトル選択部、6 システム内クラスタ表、7 クラスタ新設・統合部、8 クラスタ内観測ベクトル表、9,9a,9b,...,9m 個別仮説更新部、10 仮説採択部、11 クラスタ内仮説状況データ群、12 クラスタ内仮説表、13 仮説内航跡表、14 クラスタ内航跡−観測ベクトル表、15 仮説蓄積状況判定部、16 航跡決定部、21 ゲート内判定行列算出部、22 仮説内ゲート内判定行列、23 航跡相関行列算出部、24仮説内航跡相関行列、25 子仮説作成部、26 子仮説状況データ群、27子仮説表、28 仮説内航跡表、29 仮説内航跡−観測ベクトル表、30 子仮説選択出力部、31 優良順仮説内航跡相関行列算出部、ST1 入力ステップ、ST2 ゲート算出のステップ(ゲート算出工程)、ST3 観測ベクトル選択のステップ(観測ベクトル選択工程)、ST4 クラスタ新設・統合のステップ(クラスタ新設・統合工程)、ST5a,ST5b,...,ST5m 新仮説算出のステップ(新仮説算出工程)、ST6 仮説採択のステップ(仮説採択工程)、ST7 仮説蓄積量判定のステップ(仮説蓄積量判定工程)、ST8 判断ステップ、ST9 航跡決定のステップ(航跡決定工程)、ST10 終了判定のステップ、ST11 判断ステップ、ST12 仮説内ゲート内判定行列算出のステップ(仮説内ゲート内判定行列算出工程)、ST13 仮説内航跡相関行列算出のステップ(仮説内航跡相関行列算出工程)、ST14 仮説内航跡相関行列選択のステップ(仮説作成工程)、ST15 子仮説作成のステップ(仮説作成工程)、ST16 仮説評価値算出のステップ(仮説評価値算出工程)、ST17 判断ステップ、ST18 子仮説選択のステップ(子仮説選択工程)、ST21 判断ステップ、ST22 判断ステップ、ST23 優良仮説内航跡相関行列算出のステップ(優良仮説内航跡相関行列算出工程)、ST24 出力ステップ。

Claims (6)

  1. 既存の各クラスタに含まれる既存の航跡から観測ベクトルの存在期待領域を算出するゲート算出部と、
    前記観測ベクトルの全体から、前記ゲート算出部によって算出された存在期待領域に含まれる観測ベクトルを、各クラスタ毎に航跡対応に選択する観測ベクトル選択部と、
    前記観測ベクトル選択部で各クラスタ毎に航跡に対応して選択された観測ベクトルと既存のクラスタとの関係から、いずれのクラスタ内の航跡とも対応がとれない観測ベクトルによって新たなクラスタを作成し、複数のクラスタ内の航跡と対応づけられた観測ベクトルがある場合には対応するクラスタを統合するクラスタ新設・統合部と、
    前記クラスタ内の既存の仮説の数に対応して設けられ、その各々が1個の既存の仮説から新しい仮説を作成する複数の個別仮説更新部と、
    複数の前記個別仮説更新部から入力された新たな仮説の中から最善の仮説を選択し、それをクラスタ内の仮説として採択する仮説採択部と、
    前記クラスタ内の仮説の蓄積量を評価する仮説蓄積状況判定部と、
    前記クラスタ内の仮説が複数存在する場合に、その仮説の中から1つを選択して航跡を決定する航跡決定部とを備えた目標追尾装置。
  2. 個別仮説更新部は、
    各クラスタ毎に対応するすべての観測ベクトルが、誤信号、既存の仮説に属する既存の航跡、新目標のいずれに対応する可能性があるかを示す仮説内ゲート内判定行列を算出するゲート内判定行列算出部と、
    前記ゲート内判定行列算出部の算出した仮説内ゲート内判定行列から、それぞれが既存の仮説の1つの拡張方法を示す複数の仮説内航跡相関行列を算出する航跡相関行列算出部と、
    前記航跡相関行列算出部の算出した仮説内航跡相関行列と既存仮説より、新たな仮説を作成する子仮説作成部と、
    前記子仮説作成部の作成した複数の新たな仮説の中から、クラスタの仮説として未だ採択されていない、最も評価値の高い仮説を選択して出力する子仮説選択出力部とを有するものであることを特徴とする請求項1記載の目標追尾装置。
  3. 個別仮説更新部は、
    各クラスタ毎に対応するすべての観測ベクトルが、誤信号、既存の仮説に属する既存の航跡、新目標のいずれに対応する可能性があるかを示す仮説内ゲート内判定行列を算出するゲート内判定行列算出部と、
    前記ゲート内判定行列算出部の算出した仮説内ゲート内判定行列から、それぞれが既存仮説の1つの拡張方法を示す複数の仮説内航跡相関行列中で、未だ算出されていないもののうちの、最善の仮説内航跡相関行列を算出する優良順仮説内航跡相関行列算出部と、
    前記優良順仮説内航跡相関行列算出部の算出した仮説内航跡相関行列と既存仮説より、新たな仮説を作成して出力する子仮説作成部とを有するものであることを特徴とする請求項1記載の目標追尾装置。
  4. センサによって得られた目標位置の観測ベクトルより、複数の目標の航跡を推定する目標追尾方法において、
    ゲート算出工程にて、既存の各クラスタに含まれる既存の航跡から前記観測ベクトルの存在期待領域を算出し、
    観測ベクトル選択工程にて、入力された前記観測ベクトルの全体から、既存の各クラスタ毎の航跡対応の観測ベクトルを、前記算出された存在期待領域に応じて選択し、
    クラスタ新設・統合工程にて、入力された前記観測ベクトルの全体中に、前記既存の各クラスタ内の航跡と対応がとれない観測ベクトルがある場合には、その観測ベクトルに応じて新たなクラスタを作成し、複数の前記既存のクラスタ内の航跡と対応づけられた観測ベクトルがある場合には、それら複数の既存のクラスタを統合し、
    前記クラスタ内の既存の仮説の数に対応して設けられた複数の新仮説算出工程にて、その各々が1個の既存の仮説から複数の新しい仮説を作成して、クラスタの仮説として未だ採択されていない最善の仮説を1個出力し、
    仮説採択工程にて、前記各個別の既存の仮説から作成された複数の新たな仮説の中から最善の仮説を選択してそれをクラスタ内の仮説として採択し、
    仮説蓄積量判定工程にて、前記クラスタ内の仮説が十分に蓄積されたか否かを判定し、
    航跡決定工程にて、前記クラスタ内の仮説が複数存在する場合に、その仮説の中から1つを選択して航跡を決定することを特徴とする目標追尾方法。
  5. 新仮説算出工程では、
    仮説内ゲート内判定行列算出工程にて、各クラスタ毎に対応するすべての観測ベクトルが、誤信号、既存の仮説に属する既存の航跡、新目標のいずれに対応する可能性があるかを示す仮説内ゲート内判定行列を算出し、
    仮説内航跡相関行列算出工程にて、前記算出された仮説内ゲート内判定行列から、それぞれが既存仮説の1つの拡張方法を示す複数の仮説内航跡相関行列を算出し、
    仮説作成工程にて、前記算出された1つの仮説内航跡相関行列と既存仮説より1つの新たな仮説を作成し、
    仮説評価値算出工程にて、前記作成された新たな仮説の尤もらしさを評価してその評価値を算出し、
    子仮説選択工程にて、前記作成された複数の新たな仮説の中から、クラスタの仮説として未だ採択されておらず、算出された前記評価値の最も高い仮説を選択することを特徴とする請求項4記載の目標追尾方法。
  6. 新仮説算出工程では、
    仮説内ゲート内判定行列算出工程にて、各クラスタ毎に対応するすべての観測ベクトルが、誤信号、既存の仮説に属する既存の航跡、新目標のいずれに対応する可能性があるかを示す仮説内ゲート内判定行列を算出し、
    優良順仮説内航跡相関行列算出工程にて、前記算出された仮説内ゲート内判定行列から、それぞれが既存仮説の1つの拡張方法を示す複数の仮説内航跡相関行列中の、未だ算出されていないもののうちから、最善の仮説内航跡相関行列を算出し、
    仮説作成工程にて、前記算出された1つの仮説内航跡相関行列と既存仮説より1つの新たな仮説を作成し、
    仮説評価値算出工程にて、前記作成された新たな仮説の尤もらしさを評価してその評価値を算出することを特徴とする請求項4記載の目標追尾方法。
JP34931499A 1999-12-08 1999-12-08 目標追尾装置および目標追尾方法 Expired - Lifetime JP3649978B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34931499A JP3649978B2 (ja) 1999-12-08 1999-12-08 目標追尾装置および目標追尾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34931499A JP3649978B2 (ja) 1999-12-08 1999-12-08 目標追尾装置および目標追尾方法

Publications (2)

Publication Number Publication Date
JP2001166048A JP2001166048A (ja) 2001-06-22
JP3649978B2 true JP3649978B2 (ja) 2005-05-18

Family

ID=18402943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34931499A Expired - Lifetime JP3649978B2 (ja) 1999-12-08 1999-12-08 目標追尾装置および目標追尾方法

Country Status (1)

Country Link
JP (1) JP3649978B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665320B2 (ja) * 2010-01-12 2015-02-04 三菱電機株式会社 多目標追尾装置
CN114963879B (zh) * 2022-05-20 2023-11-17 中国电子科技集团公司电子科学研究院 无人机综合反制系统及综合反制方法

Also Published As

Publication number Publication date
JP2001166048A (ja) 2001-06-22

Similar Documents

Publication Publication Date Title
Edwards et al. Hospitalization of individuals with systemic lupus erythematosus: characteristics and predictors of outcome
JP2008219570A (ja) カメラ間連結関係情報生成装置
JP3649978B2 (ja) 目標追尾装置および目標追尾方法
JPWO2008111349A1 (ja) 生存分析システム、生存分析方法および生存分析用プログラム
Garg et al. Non-homogeneous Markov models for sequential pattern mining of healthcare data
JP3616029B2 (ja) 追尾装置
US20070033083A1 (en) User activity estimation system and a user activity estimating method
JP3126928B2 (ja) 目標追尾装置
JP3145893B2 (ja) 目標追尾装置
JP2009199446A (ja) 時系列パターン発見装置及び方法
JP3146156B2 (ja) 目標追尾装置
JPH10104349A (ja) 目標追尾装置
JP3146155B2 (ja) 目標追尾装置
JP3638854B2 (ja) 目標追尾装置
JP6649584B2 (ja) パラメータ化方法、情報処理装置およびパラメータ化プログラム
JP3110322B2 (ja) 目標追尾装置
Nguyen et al. Ensemble learning of myocardial displacements for myocardial infarction detection in echocardiography
JPH11304916A (ja) 目標追尾装置および目標追尾方法
JP3886773B2 (ja) 目標追尾装置
JP2000206236A (ja) 目標追尾装置とその目標追尾処理方法
JP2004037262A (ja) 目標追尾装置
JP3650326B2 (ja) 追尾処理装置及び追尾処理方法
JP2004093533A (ja) 多目標追尾装置
JP3369106B2 (ja) 目標追尾装置および追尾目標表示方法
JP3430047B2 (ja) 目標追尾装置および目標追尾方法、並びに記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050216

R150 Certificate of patent or registration of utility model

Ref document number: 3649978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130225

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130225

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term