JP4279697B2 - 目標追尾装置 - Google Patents

目標追尾装置 Download PDF

Info

Publication number
JP4279697B2
JP4279697B2 JP2004018771A JP2004018771A JP4279697B2 JP 4279697 B2 JP4279697 B2 JP 4279697B2 JP 2004018771 A JP2004018771 A JP 2004018771A JP 2004018771 A JP2004018771 A JP 2004018771A JP 4279697 B2 JP4279697 B2 JP 4279697B2
Authority
JP
Japan
Prior art keywords
hypothesis
detection data
wake
target
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004018771A
Other languages
English (en)
Other versions
JP2005214665A (ja
Inventor
良二 前川
康 小幡
正義 系
義夫 小菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004018771A priority Critical patent/JP4279697B2/ja
Publication of JP2005214665A publication Critical patent/JP2005214665A/ja
Application granted granted Critical
Publication of JP4279697B2 publication Critical patent/JP4279697B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Description

この発明は、センサからの探知データを使って目標を追尾する目標追尾装置に関するものである。
目標の軌道である航跡を推定する目標追尾では、センサから得られる探知データについて、まず、目標からのものかまたは不要信号であるかを判定する。目標からのものと判定した場合は、それが既に追尾を行っている目標のものであるのか(既存の目標が複数ある場合はそのうちのどれであるのか)、または新たに発生した目標なのかを判定する。この判定には、既存目標の速度から該当時刻における位置を算出した予測値を中心とする空間領域であるゲートを利用する。
このゲート内に入った探知データは既存目標からのものである可能性が高く、どのゲートにも入らなかった探知データは不要信号または新目標である可能性が高いといえる。既存航跡から得られたと判定した探知データについては、既存航跡が持つ予測値を利用して探知データが探知された時刻における目標の真の位置と速度の推定値を計算する。
しかし、例えば、ゲート内に複数の探知データが得られると、航跡と探知データの相関について、いろいろな可能性が考えられる。可能性が多くある状況で、どれか一つに決定してしまうと、それが誤りであった場合には目標の追跡に失敗する危険性が高くなる。
そこで、割り当て方(仮説)を複数考えて、探知データと航跡の相関を仮説ごとに決定し、最終的に最も良い仮説を残せば、より正確な目標追尾が可能である。このやり方に基づいた従来の目標追尾装置として、探知データとそれの組み合わせである航跡と、航跡の組み合わせである仮説を互いに探知データを共有しないクラスタごとに処理を行うことによって、処理の効率化を図るものがある(例えば、特許文献1参照)。
ここで本発明が問題とする、「既追尾目標から複数の目標が分離される」状況とその対処方法について説明する。センサから得られる探知データを利用して目標の軌道である航跡を推定する目標追尾の機能は、
1.未知の目標を探知する追尾初期化機能
2.既知の目標を追跡する追尾維持機能
に大別することができる。前者については、各探知データについて新たに発生した目標からのものであるとする可能性を考慮する必要があるが、後者については、それが維持対象目標からのものであるかどうかのみを考えればよい。
追尾初期化機能では、各探知データについて新航跡を考慮し、新航跡から更新された仮航跡が本航跡に昇格されることにより目標が探知されたとすればよい。これに対して、追尾維持機能では、本航跡が始めからあることを仮定しており、各探知データについて新航跡を考慮せずに維持対象の本航跡との相関の有無のみを検査する。
遠方からセンサに近づく複数目標を観測する場合、センサの分解能が原因で遠方では1目標として観測されていたものが、ある時点から複数の目標として観測されるという場合が起こる。このような目標を追尾維持対象とする場合、維持対象目標から一つまたはそれ以上の別目標が分離され、それらと元の既追尾目標と併せて追尾しなければならない。このような場合、上記の追尾維持機能を適用しようとすると、追尾維持機能のみでは、分離された目標のどれか一つのみしか追尾できない。
また、追尾維持、初期化の両機能を備えた追尾方式では、分離された目標のうちのどれか一つを既追尾目標、他を分離発生した目標として扱う。新航跡として開始した航跡は仮航跡から成長して本航跡に昇格する。この方式により、分離後の全てを追尾することが可能である。しかし、この追尾初期化は、既存の本航跡からの分離を想定していないので、誤った航跡を本航跡に昇格させる可能性が高くなる。
そこで、分離発生した目標の可能性を考慮する探知データを追尾維持航跡のゲート内に入る探知データに限定することで、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを効率よく生成する装置が提供されている(例えば、特許文献2参照)。
また、前時刻における全仮説中の本航跡が持つ予測に関する諸元を使って、代表的な予測に関する諸元を計算し、それを新航跡の運動諸元とすることで、精度の良い運動諸元を持った仮航跡を生成することができ、追尾処理を正確にかつ効率的に行う装置も提供されている。
特開平8−271617号公報 特開2003−139851号公報
従来は、上述したように、既追尾目標から複数の目標が分離される状況に対処してきた。しかし、従来の装置では、仮説ごとに、探知データと航跡の相関を決定し、航跡の真の位置と速度の推定値を計算するため、仮説ごとに航跡の運動諸元が異なる。それにもかかわらず、新航跡の運動諸元を、全仮説もしくは一部の仮説における本航跡の予測値の代表値としているため、各仮説に応じた新航跡の運動諸元を正確に与えられていない可能性がある。これにより、誤った運動諸元が与えられた新航跡は、次以降の探知データとの相関時、誤相関を起こし、誤った航跡を本航跡に昇格させる可能性があるという問題点があった。
この発明は上記のような問題点を解決するためになされたもので、新航跡の運動諸元を各仮説に応じて算出することで、従来より精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確にかつ効率的に生成することができる目標追尾装置を提供することを目的とする。
この発明に係る目標追尾装置は、センサからの探知データに基づいて目標を追尾する目標追尾装置であって、各クラスタに含まれる既存航跡から探知データの存在可能領域を算出するゲート算出部と、前記センサからの探知データ全体と前記ゲート算出部からの存在可能領域からクラスタ毎に航跡対応の探知データを選択する探知データ選択部と、前記探知データ選択部により選択された探知データと既存の本航跡の相関を検査して、その探知データが分離発生した目標となる可能性が高いか否かを決定する新目標用探知データ選択部と、前記新目標用探知データ選択部からの探知データが既存のクラスタ内の航跡と対応がとれない場合に新クラスタを作成すると共に、複数のクラスタ内の航跡と対応付けられる探知データがある場合に対応するクラスタを統合するクラスタ新設統合部と、既存航跡と探知データの相関具合よりゲート内判定行列を算出するゲート内判定行列算出部と、前記ゲート内判定行列算出部により算出されたゲート内判定行列を基に、各探知データに対する解釈の可能な組合せ全てを抽出して航跡相関行列を算出する航跡相関行列算出部と、前記航跡相関行列算出部により算出された航跡相関行列を既存の仮説と組み合わせて新たに仮説を生成更新する仮説更新部と、信頼度の低い仮説の削除、似た仮説の統合によって仮説数を削減する仮説縮小部と、航跡間の探知データの共有具合を基にクラスタを分離するクラスタ分離部と、目標である可能性の高い航跡を選択して本航跡とする航跡決定部と、仮説ごとに仮説に応じた新航跡の運動諸元を算出する分離目標運動諸元算出部とを備えたものである。
この発明によれば、新航跡の運動諸元を各仮説に応じて算出することで、従来より精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確にかつ効率的に生成することができる。
以下、この発明を各実施の形態に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1による目標追尾装置の構成を示すブロック図である。図1に示す目標追尾装置100は、空間中の目標を観測して探知データを得るためのセンサである目標観測装置200から入力された探知データ全体と各航跡の存在可能領域からクラスタごとに航跡対応の探知データを選択する探知データ選択部1と、探知データ選択部1の出力に基づいて探知データと既存の本航跡の相関を検査して、その探知データが分離発生した目標となる可能性が高いか否かを決定する新目標用探知データ選択部18と、目標追尾装置100内全体のクラスタの状態を示すシステム内クラスタ表を格納したシステム内クラスタ表格納部2と、探知データ選択部1の出力とシステム内クラスタ表格納部2に格納されたクラスタ表に示された既存のクラスタの関係から、複数のクラスタ内の航跡と対応付けられる探知データがある場合に対応するクラスタを統合し、また既存のクラスタ内の航跡と対応がとれない探知データについて新クラスタを作成し、クラスタ内に含まれる探知データの全体を示すクラスタ内探知データ表を作成しクラスタ内探知データ表格納部4に格納するクラスタ新設統合部3とを備えている。
また、後述するクラスタ内仮説状況データ群格納部10からの既存航跡とクラスタ内探知データ表格納部4からの探知データとの相関具合によりクラスタ内のゲート内判定行列を算出するゲート内判定行列算出部5と、クラスタ内の探知データと航跡の関係を示すクラスタ内ゲート内判定行列表を格納するクラスタ内ゲート内判定行列表格納部6と、クラスタ内ゲート内判定行列を基に各探知データに対する解釈の可能な組み合わせ全てを抽出する、クラスタ内の航跡相関行列を算出する航跡相関行列算出部7と、そのクラスタ内で仮説の拡張可能性を示すクラスタ内航跡相関行列表を格納するクラスタ内航跡相関行列表格納部8と、前時刻までの探知データによる既存の仮説状況とクラスタ内航跡相関行列を組み合わせて現時刻に入力した新たな探知データに対応して仮説を更新し、その仮説の信頼度を算出する仮説更新部9と、仮説ごとに新航跡の運動諸元を算出する分離目標運動諸元算出部21とを備えている。
また、クラスタ内仮説状況データ群格納部10を備えており、このクラスタ内仮説状況データ群格納部10は、クラスタ内にある全ての仮説を示したクラスタ内仮説表を格納するクラスタ内仮説表格納部11と、仮説ごとに仮説内にある全ての航跡を示した仮説内航跡表を格納する仮説内航跡表格納部12と、クラスタ内にある全ての航跡に対して航跡を構成する探知データを示したクラスタ内航跡−探知データ表を格納するクラスタ内航跡−探知データ表格納部13とを有する。
さらに、各クラスタに含まれる全ての既存航跡に対して次の探知データの存在可能領域を算出するゲート算出部14と、信頼度の低い仮説の削除、似た仮説の統合によって仮説群を縮小する準最適化処理を実行する仮説縮小部15と、航跡間の探知データの共有具合を基にクラスタ分離の処理を実行するクラスタ分離部16と、仮航跡群の中から目標を追跡している可能性が極めて高い航跡を本航跡に昇格させ状況を出力する航跡決定部17とを備えており、航跡決定部17からの出力に基づいて目標表示装置300は、ディスプレイ上に航跡を表示し目標の状態を使用者に示すようになされている。
次に、上記構成を備える実施の形態1に係る目標追尾装置100の追尾手順動作を、図2に示すフローチャートに従って説明する。まず、「次サンプリングデータの読込」ステップ001において、探知データ選択部1は、その時刻の探知データを、センサである目標観測装置200から読み込む。次の「ゲート内判定」ステップ002において、探知データ選択部1は、既存航跡のゲートと探知データの相関具合を調べ、入ってきた探知データがどのクラスタに属するのか決定する。ここで、クラスタとは、仮説作成の処理の単位となる航跡の集合を表す。
以下、図3に示す航跡と探知データの例を用いて説明する。あるクラスタにおいて時刻t2までに1回航跡が確立して、図3のような本航跡と仮航跡が一つずつ存在する状態であったとする。ここで、目標であると判定された航跡を本航跡、判定保留中の航跡を仮航跡と呼ぶ。この時、各航跡を以下のように表記する。
Tt1:(本航跡)
Tp1:d11−d21
また、航跡を採択する仮説は、「ID:{航跡組}信頼度」なる形式で表記して、
H1:{Tt1,Tp1}rel1
H2:{Tt1}rel2
とする。
時刻t3において、「次サンプリングデータの読込」ステップ001でこのクラスタと相関を持つ探知データとしてd31,d32,d33が入力され、「ゲート内判定」ステップ002でd31,d32が本航跡のゲートに、d32,d33が仮航跡のゲートに入ったとする。
次の「新目標用探知データの選択」ステップ003では、新目標用探知データ選択部18が、前ステップ002で相関有りと判定された探知データの集合より、分離発生した目標としての可能性を考慮する探知データを選択する。この選択は「本航跡のゲートに入ったか否か」という条件による判定で実施される。この例では、d31とd32が分離発生した目標の可能性を考慮する探知データとして選択される。
次の「航跡および新クラスタの作成」ステップ004では、クラスタ新設統合部3により、既存航跡ゲートと探知データの相関具合を元に、航跡が作成される。作成される航跡は以下の3つの種類がある。
(1)更新航跡:ゲート内に入った探知データを既存航跡に追加してできる航跡
(2)新航跡 :既存航跡から分離発生した新規の航跡であり、ゲート内に入った探知データを既存航跡に追加してできる航跡
(3)メモリトラック航跡:既存航跡に対し「該当する時刻には相関する探知データがなかった」とする航跡
ただし、(2)の新航跡について、航跡に追加される探知データは、前ステップ003において分離発生した目標の可能性を考慮する探知データに限られる。
航跡(1)、(3)において、既存航跡が本航跡の場合は、前時刻の本航跡のIDをひきつぐ。本航跡のIDとは、各本航跡固有のものであり、後述する航跡決定部17で付与される。(2)の新航跡には、どの本航跡から分離発生したか記憶しておくため、分離元の本航跡のIDを分離元IDとして付与する。
図3の例では、まず、更新航跡として、下記のように表記する。
Tt11:Tt1−d31
Tt12:Tt1−d32
Tp21:d11−d21−d32
Tp22:d11−d21−d33
新航跡としては、
Tp31:Tt1−d31
Tp32:Tt1−d32
が生成され、メモリトラック航跡としては、
Tt41: Tt1
Tp42: d11−d21
が作成される。
また、本ステップでは、どのクラスタとも相関がなかった探知データについては、その探知データを起点とする新たなクラスタを生成する。また、本ステップでは、この時刻における探知データにより後述する同値関係が複数のクラスタ間で発生した場合、それらのクラスタを統合する処理が行われる。
次の「クラスタ毎の航跡相関行列生成」ステップ005では、まず、ゲート内判定行列算出部5によってゲート内判定行列が生成される。ゲート内判定行列は、探知データと航跡の可能な相関関係を示す表である。
このゲート内判定行列は、その各行が該当時刻にクラスタと相関した探知データを示している。図4に本例におけるゲート内判定行列とそれより得られる航跡相関行列のいくつかの例を示す。図4の(a)に示す例では、第1行が探知データd31、第2行が探知データd32、第3行が探知データd33に相当する。また、列に関しては、第1列は不要信号であることを示し、第2、3列が既存航跡Tt1、Tp1を示し、第4、5列が既存航跡Tt1、Tp1から分離発生した新航跡を示す。全ての探知データは不要信号である可能性を持っているので、第1列の要素は全て1となる。第2列については、既存航跡Tt1と相関する探知データはd31,d32であるので第1,2行が1となり第3行は0となる。第3列については、既存航跡Tp1と相関する探知データはd32,d33であるので第2,3行が1となり第1行は0となる。第4列は、既存航跡Tt1から分離発生した新航跡を示すのだが、「新目標用探知データの選択」ステップ003で、分離発生した目標の可能性を考慮する探知データとして選択されたのはd31とd32であるため、第1,2行が1となり第3行は0となる。第5列は、既存航跡Tp1から分離発生した新航跡を示すのだが、「新目標用探知データの選択」ステップ003で仮航跡からは分離発生しないと考えているので、全行とも0となる。もちろん、ゲート内判定行列を作成する際、第5列のように、仮航跡から分離発生した新航跡を示す列は設けなくても良い。
次に、航跡相関行列算出部7により、このゲート内判定行列から航跡相関行列が作られる。航跡相関行列は、
・1となる要素と同一のゲート内判定行列の要素は必ず1となっている
・各行で1となる要素の数は1つのみ
・各列は高々1つの要素が1となる(ただし、第1列ならびに分離発生した新航跡の列はいくつ1の要素があってもよい)
という条件を満たす全ての行列である。これは、各探知データの互いに矛盾しない解釈の組み合わせである。
次の「仮説の作成」ステップ006で、仮説更新部9が既存仮説を航跡相関行列によって更新する処理を実行する。各仮説の更新では、その仮説の中に含まれている航跡以外の航跡の存在を仮定している航跡相関行列を除いた全ての航跡相関行列を使用する。例えば、仮説H2ではTt1のみが参照されている。図4の(b)〜(f)の航跡相関行列では、(e)と(f)が航跡Tp1の存在を仮定しているので、この2つの航跡相関行列は仮説H2の更新には用いられない。H1を図4の(b)によって更新すると、これはt3の探知データが全て不要信号であることを示しているので、
H11:{Tt41,Tp42}
となる。また、H1を(e)によって更新すると、
H12:{Tt11,Tp22}
となる。また、H1を(f)によって更新すると、
H13:{Tt41,Tp22,Tp32}
となる。このようにして、可能な仮説と航跡相関行列の組み合わせによって既存仮説を更新し、新たな仮説を生成する。
更に、仮説更新部9では、このようにして更新した全ての仮説に対して仮説の信頼度を算出する。なお、仮説の信頼度はそれぞれの仮説が現実的なものであるかどうかを判断するための評価尺度となるものである。ここで、例えば、仮説H13のように、新航跡を含む場合、次の「分離目標運動諸元計算」ステップ0065で、分離目標運動諸元算出部21が新航跡の運動諸元を算出する。この例では、仮説H13に含まれる新航跡Tp32の運動諸元は、既存航跡Tt1と、分離発生した目標の可能性のある探知データd32との平滑処理で算出される。こうすることで、新航跡の運動諸元を各仮説に応じて算出することができる。
次の「準最適化とクラスタ分離」ステップ007において、仮説縮小部15は、信頼度の低い仮説の削除、似た仮説の統合によって仮説群を縮小する準最適化処理を実行し、さらに、クラスタ分離部16は、それに伴うクラスタ分離の処理を実行する。
準最適化には様々な手法があり、
・信頼度に閾値を設け、それに満たない信頼度を持つ仮説を全て削除する
・仮説数の上限を設け、信頼度が高い順に、設定した個数の仮説のみを残し、その他を削除する
・過去N回の時刻における探知データの相関内容が同一の仮説を統合する
といった手法が知られている。
次の「本航跡判定」ステップ008において、航跡決定部17は、仮航跡群の中から、目標を追跡している可能性が極めて高い仮航跡を本航跡に昇格させる処理を行う。仮航跡を本航跡に昇格させた場合、各本航跡固有のIDを付与する。
以上のように、実施の形態1によれば、新航跡の運動諸元を各仮説に応じて算出するので、精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確に、かつ効率的に生成することができる。
実施の形態2.
図5は、この発明の実施の形態2による目標追尾装置の構成を示すブロック図である。図5に示す目標追尾装置には、図1に示す実施の形態1の航跡相関行列算出部7の代わりに、ゲート内判定行列を基に、新航跡数に関する制限を考慮しながら、各探知データに対する解釈の可能な組合せ全てを抽出する分離目標数制限航跡相関行列算出部22が備えられている。さらに、図1に示す実施の形態1の仮説更新部9の代わりに、新航跡数に関する制限を考慮した上で、既存仮説を航跡相関行列によって更新する分離目標数制限仮説更新部23が備えられている。その他の構成は、図1に示す実施の形態1と同一なのでその説明を省略し、図1に示す実施の形態1と同一符号を付して示す。
また、図6は、分離目標数制限航跡相関行列算出部22の構成を示す図である。図6に示すように、分離目標数制限航跡相関行列算出部22は、ゲート内判定行列を基に各探知データに対する解釈の可能な組合せ全てを抽出する航跡相関行列算出部7と、この航跡相関行列算出部7が生成した航跡相関行列中の分離発生した目標数を検査し、指定数を超えていたらその航跡相関行列を除外する分離目標数検査部101とを有する。
次に、実施の形態2に係る目標追尾装置の追尾手順動作を、図7に示すフローチャートに従って説明する。図7においては、「分離目標数制限付き航跡相関行列生成」ステップ0051、ならびに「分離目標数制限付き仮説の作成」ステップ0061以外は、図2に示す実施の形態1のフローチャートにおける同名のステップと同一処理であるので、新たなステップのみについて説明する。
「分離目標数制限付き航跡相関行列生成」ステップ0051では、分離目標数制限航跡相関行列算出部22により、前ステップの「ゲート内判定行列生成」ステップ004で作成されたゲート内判定行列を基に航跡相関行列が作成される。この航跡相関行列は、以下の条件を満たす。
・1となる要素と同一のゲート内判定行列の要素は必ず1となっている
・各行で1となる要素の数は1つのみ
・各列は高々1つの要素が1となる(ただし、第1列ならびに分離発生した新航跡の列はいくつ1の要素があってもよい)
・分離発生した新航跡が選択されている行数は予め指定された整数値以下である
この最後の条件で、特に、指定整数値を1とした場合を考える。なお、このとき、上記の3番目の条件は、下記のようになる。
・各列は高々1つの要素が1となる(ただし、第1列はいくつ1の要素があってもよい)
図3の例において作成されるゲート内判定行列、航跡相関行列は図8のようになる。新航跡の数は1以下としてあるため、(g)に示す航跡相関行列は作成されない。この最後の条件を満たすか否かは図6に示す分離目標数制限航跡相関行列算出部22の詳細構成図における分離目標数検査部101が行い、その他の処理は航跡相関行列算出部7が行う。後者は実施の形態1における構成図の同名の部分と同じものである。
次の「分離目標数制限付き仮説の作成」ステップ0061で、分離目標数制限仮説更新部23は、既存仮説を航跡相関行列によって更新する処理を実行する。実施の形態1における「仮説の作成」ステップ0061と同様、各仮説の更新では、その中に含まれている航跡以外の航跡の存在を仮定している航跡相関行列を除いた全ての航跡相関行列を使用する。更に、分離目標数制限仮説更新部23では、更新した全ての仮説に対して仮説の信頼度を算出する。
今、分離発生した新航跡の指定整数値を1とした場合を考えると、次の式(1)で仮説の信頼度βを算出できる。
Figure 0004279697
但し、βp(i):前時刻の仮説の信頼度
TRK :前時刻の仮説内の既存航跡数
DT :前時刻の仮説内の既存航跡と相関した現サンプリングの探知データ数
FT :仮説に含まれる不要信号数
SP :仮説に含まれる分離発生した新航跡数
g :既存航跡に対する探知データの尤度
:探知確率
:ゲート内捕捉確率
βFTm :不要信号密度(発生率)で、単位体積当たりの平均個数
CTRK:前時刻の仮説内の既存本航跡数
SP :目標が分離する確率
ここで、βp(i)はクラスタ内仮説表格納部11に保存されている値、NTRK、NCTRKは仮説内航跡表格納部12に保存されている値、NDT、NFT、NSPは分離目標数制限航跡相関行列算出部22で作成する航跡相関行列によって決まる値、gは既存航跡と探知データとの位置関係等で求められる値であり、分離目標数制限仮説更新部23が既存仮説を航跡相関行列によって更新する際算出する値、P、P、βFTm、PSPは予め設定しておくパラメータである。
以上のように、実施の形態2によれば、実施の形態1と同様に、新航跡の運動諸元を各仮説に応じて算出するので、精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確に、かつ効率的に生成することができる。さらに、仮説中の新航跡数を予め制限することにより予想した分離数以上の新航跡を持つ仮説の生成が抑制されるため、分離目標を想定した追尾処理を効率的に行うことができる。また、余計な新航跡を作って誤った確立判定をしてしまう可能性が少なくなるため、より正確な追尾が可能となる。
実施の形態3.
図9は、この発明の実施の形態3による目標追尾装置の構成を示すブロック図である。図9に示す目標追尾装置には、図1に示す実施の形態1の航跡相関行列算出部7の代わりに、ゲート内判定行列を基に各探知データに対する解釈を制限しながら、可能な組合せ全てを抽出する仮説制限航跡相関行列算出部24が備えられている。その他の構成は、図1に示す実施の形態1と同一なのでその説明を省略し、図1に示す実施の形態1と同一符号を付して示す。
また、図10は、仮説制限航跡相関行列算出部24の構成を示す図である。図10に示すように、仮説制限航跡相関行列算出部24は、ゲート内判定行列を基に各探知データに対する解釈の可能な組合せ全てを抽出する航跡相関行列算出部7と、この航跡相関行列算出部7が生成した航跡相関行列から各探知データに対する解釈を行い、想定しえない状況であるならばその航跡相関行列を除外する航跡相関行列検査部102とを有する。
ここで、想定しえない状況とは、例えば、次のような各探知データに対する解釈である。ゲート内に探知データが一つ得られた場合に、その探知データは分離発生した目標であり、既存航跡の探知データは得られなかったと解釈する。ゲート内に探知データが二つ得られた場合に、一つの探知データは分離発生した目標であり、もう一つの探知データは不要信号であり、既存航跡の探知データは得られなかったと解釈する。
次に、実施の形態3に係る目標追尾装置の追尾手順動作を、図11に示すフローチャートに従って説明する。図11においては、「仮説制限付き航跡相関行列生成」ステップ0052以外は、図2に示す実施の形態1のフローチャートにおける同名のステップと同一処理であるので、新たなステップのみについて説明する。
「仮説制限付き航跡相関行列生成」ステップ0052では、仮説制限航跡相関行列算出部24が、前ステップの「ゲート内判定行列生成」ステップ004で作成されたゲート内判定行列を基に、航跡相関行列を作成する。この航跡相関行列は、以下の条件を満たす。
・1となる要素と同一のゲート内判定行列の要素は必ず1となっている
・各行で1となる要素の数は1つのみ
・各列は高々1つの要素が1となる(ただし、第1列ならびに分離発生した新航跡の列はいくつ1の要素があってもよい)
・各探知データに対する解釈が、想定しうる状況である
この最後の条件を満たすか否かは、図10に示す仮説制限航跡相関行列算出部24の詳細構成図における航跡相関行列検査部102が行い、その他の処理は、航跡相関行列算出部7が行う。後者は実施の形態1における構成図の同名の部分と同じものである。
図3の例において作成されるゲート内判定行列、航跡相関行列は、図12のようになる。ここで、例えば、下記のような状況は想定しないと予め設定していたとする。ゲート内に探知データが二つ得られた場合に、一つの探知データは分離発生した目標であり、もう一つの探知データは不要信号であり、既存航跡の探知データは得られなかったと解釈する。このとき、(f)に示す航跡相関行列は作成されない。
以上のようにこの実施の形態3によれば、実施の形態1と同様に、新航跡の運動諸元を各仮説に応じて算出するので、精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確に、かつ効率的に生成することができる。さらに、想定しうる状況を予め設定しておくことにより、想定しえない仮説の生成が抑制されるため、分離目標を想定した追尾処理を効率的に行うことができる。また、余計な新航跡を作って誤った確立判定をしてしまう可能性が少なくなるため、より正確な追尾が可能となる。
実施の形態4.
図13は、この発明の実施の形態4による目標追尾装置の構成を示すブロック図である。図13に示す目標追尾装置には、図1に示す実施の形態1の構成の他に、クラスタ内仮説状況データ群格納部10に同一内容の仮説がないか検査し、同一内容とみなせる仮説がある場合は、一つを残して他の仮説を削除する同一仮説削除部25がさらに備えられている。その他の構成は、図1に示す実施の形態1と同一なのでその説明を省略し、図1に示す実施の形態1と同一符号を付して示す。
次に、実施の形態4に係る目標追尾装置の追尾手順動作を、図14に示すフローチャートに従って説明する。図14においては、「同一内容仮説削除」ステップ0070以外は、図2に示す実施の形態1のフローチャートにおける同名のステップと同一処理であるので、新たなステップのみについて説明する。
「同一内容仮説削除」ステップ0070では、同一仮説削除部25が、クラスタ内仮説状況データ群10に同一内容の仮説がないか検査し、同一内容とみなせる仮説がある場合は、一つを残して他の仮説を削除する。
例えば、実施の形態1で記した図3の例で示すと、仮説H1(H1:{Tt1,Tp1})を図15の(b)によって更新した仮説H14と、図15の(c)によって更新した仮説H15は同一内容の仮説とみなせる。
H14:{Tt11、Tp32、Tp42}
H15:{Tt12、Tp31、Tp42}
仮説H14は、既存本航跡Tt1が分離し、Tt1の探知データはd31であり、分離発生した探知データはd32であることを示す。一方、仮説H15は、既存本航跡Tt1が分離し、Tt1の探知データはd32であり、分離発生した探知データはd31であることを示す。なお、仮説H14、H15とも、探知データd33は不要信号であり、仮航跡Tp2に対する探知データがなかったことを示す。よって、仮説H14、H15は、既存本航跡Tt1が、探知データd31、d32に分離し、探知データd33は不要信号であったという同一内容の仮説であるとみなせる。
同様に、実施の形態1で記した図3の例で示すと、仮説H1(H1:{Tt1,Tp1})を図15の(d)によって更新した仮説H16と、図15の(e)によって更新した仮説H17は、既存本航跡Tt1が、探知データd31、d32に分離し、探知データd33は仮航跡Tp2に対する探知データであったという同一内容の仮説であるとみなせる。
以上のように、実施の形態4によれば、実施の形態1と同様に、新航跡の運動諸元を各仮説に応じて算出するので、精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確に、かつ効率的に生成することができる。さらに、同様の仮説を一つにすることで、多様な仮説の生成が抑制されるため、分離目標を想定した追尾処理を効率的に行うことができる。
実施の形態5.
図16は、この発明の実施の形態5による目標追尾装置の構成を示すブロック図である。図16に示す目標追尾装置には、図1に示す実施の形態1の構成の他に、クラスタ内仮説状況データ群格納部10に過去N回の時刻における探知データの相関内容が同一の仮説がないか検査し、同一内容とみなせる仮説がある場合は、一つの仮説に統合する同一仮説統合部26がさらに備えられている。その他の構成は、図1に示す実施の形態1と同一なのでその説明を省略し、図1に示す実施の形態1と同一符号を付して示す。
次に、実施の形態5に係る目標追尾装置の追尾手順動作を、図17に示すフローチャートに従って説明する。図17においては、「同一内容仮説統合付き本航跡判定」ステップ0081以外は、図2に示す実施の形態1のフローチャートにおける同名のステップと同一処理であるので、新たなステップのみについて説明する。
「同一内容仮説統合付き本航跡判定」ステップ0081において、航跡決定部17が仮航跡群の中から、目標を追跡している可能性が極めて高い仮航跡を本航跡に昇格させる処理が行われる。
このとき、同一仮説統合部26が、クラスタ内仮説状況データ群10に、過去N回の時刻における探知データの相関内容が同一の仮説がないか検査する。ある仮説H1に含まれている仮航跡に付与された分離元IDと、別の仮説H2に含まれている本航跡のIDが同一の場合は、その仮航跡と本航跡は同一の航跡とみなす。そして、過去N回の時刻において、それらの航跡がつないできた探知データが同一かどうかを検査する。
探知データが同一の場合は、仮説H1とH2が同一内容とみなすことができ、かつ、仮説H1とH2を一つの仮説に統合することで仮航跡の信頼度が十分高くなる場合は、それらの仮説を統合し、仮航跡を本航跡に昇格させる。例えば、図18で示した状況を考える。時刻t1において、本航跡Tt1(ID=11)が存在し、時刻t2からt5で探知データが2つずつ得られたとする。
仮説H1では、本航跡Tt51と仮航跡Tp51が含まれ、仮説H2では、本航跡Tt52と仮航跡Tp52が含まれるものとする。
Tt51:Tt1−d21−d31−d41−d51
Tp51:Tt1−d22−d32−d42−d52
Tt52:Tt1−d21−d32−d42−d52
Tp52:Tt1−d22−d31−d41−d51
仮航跡Tp51の分離元IDは11であり、本航跡Tt52のIDと同一である。一方、仮航跡Tp52の分離元IDは11であり、本航跡Tt51のIDと同一である。よって、仮航跡Tp51と本航跡Tt52、仮航跡Tp52と本航跡Tt51はそれぞれ同一航跡であるとみなせる。
さらに、過去N(ここではN=3)回の時刻において各航跡がつないできた探知データを調べると、仮航跡Tp51と本航跡Tt52はd32−d42−d52で同一、仮航跡Tp52と本航跡Tt51はd31−d41−d51で同一である。
これらより、仮説H1とH2は同一内容とみなすことができ、仮航跡Tp51、Tp52が目標を追跡している可能性が極めて高い場合は、一つの仮説に統合する。ここでは、仮説H2を仮説H1に統合するとして、仮航跡Tp51を本航跡に昇格させる。
以上のように、実施の形態5によれば、実施の形態1と同様に、新航跡の運動諸元を各仮説に応じて算出するので、精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確に、かつ効率的に生成することができる。さらに、仮航跡の本航跡判定時、過去N回の時刻における探知データの相関内容、ならびに本航跡ID、分離元IDが同一とみなせる本航跡、仮航跡を統合することで、より早期に分離発生した仮航跡を本航跡に昇格させることができる。
実施の形態6.
図19は、この発明の実施の形態6による目標追尾装置の構成を示すブロック図である。図19に示す目標追尾装置には、図1に示す実施の形態1の構成の他に、探知データのS/N(信号対雑音電力比)などの属性情報と、その時刻までに航跡がつないできた探知データの属性情報の類似度を算出する類似度算出部29がさらに備えられており、また、図1に示す実施の形態1の仮説更新部7の代わりに、前時刻までの探知データによる既存の仮説状況とクラスタ内航跡相関行列を組み合わせて現時刻に入力した新たな探知データに対応して仮説を更新し、類似度算出部29が算出した属性情報の類似度も用いて仮説の信頼度を算出する仮説更新部30が備えられている。その他の構成は、図1に示す実施の形態1と同一なのでその説明を省略し、図1に示す実施の形態1と同一符号を付して示す。
次に、実施の形態6に係る目標追尾装置の追尾手順動作を、図20に示すフローチャートに従って説明する。図20においては、「類似度算出」ステップ0054以外は、図2に示す実施の形態1のフローチャートにおける同名のステップと同一処理であるので、新たなステップのみについて説明する。
「類似度算出」ステップ0054では、類似度算出部29が、その探知データの属性情報と、その探知データと相関する航跡がその時刻までにつないできた探知データの属性情報の類似度を算出する。探知データと航跡との相関関係は、前ステップの「クラスタ毎の航跡相関行列生成」ステップ005で作成する航跡相関行列で表される。
そして、次の「仮説の作成」ステップ0060で、仮説更新部30が既存仮説を航跡相関行列によって更新する処理を実行する。各仮説の更新では、その中に含まれている航跡以外の航跡の存在を仮定している航跡相関行列を除いた全ての航跡相関行列を使用する。
さらに、仮説更新部30では、前ステップ「類似度算出」ステップ0054で算出した、属性情報類似度も用いて、更新した全ての仮説に対して仮説の信頼度を算出する。例えば、航跡がつないできた探知データのS/Nがすべて大きいときを考える。航跡と相関するとした探知データのS/Nが大きく、不要信号であるとした探知データのS/Nが小さい場合は、その仮説は確からしいと考えられる。
逆に、航跡と相関するとした探知データのS/Nが小さく、不要信号であるとした探知データのS/Nが大きい場合は、その仮説は確からしくないと考えられる。
また、航跡と相関するとした探知データのS/Nが中、航跡が分離して発生したとした探知データのS/Nも中の場合は、その仮説は確からしいと考えられる。
以上のように、実施の形態6によれば、実施の形態1と同様に、新航跡の運動諸元を各仮説に応じて算出するので、精度の良い運動諸元を持った仮航跡を生成することができ、維持対象目標から分離した目標を追尾している可能性が高い航跡のみを正確に、かつ効率的に生成することができる。さらに、探知データの属性情報と、その時刻までに航跡がつないできた探知データの属性情報の類似度を算出し、その類似度も用いて仮説の信頼度を算出することで、仮説の確からしさをより正確に求めることができるため、分離目標を想定した追尾処理を効率的に行うことができる。また、余計な新航跡を作って誤った確立判定をしてしまう可能性が少なくなるため、より正確な追尾が可能となる。
この発明の実施の形態1による目標追尾装置の構成を示すブロック図である。 この発明の実施の形態1における目標追尾装置の動作の概略を説明するためのフローチャートである。 この発明の実施の形態1における航跡と探知データの例を説明する図である。 この発明の実施の形態1におけるゲート内判定行列と航跡相関行列の例を説明する図である。 この発明の実施の形態2による目標追尾装置の構成を示すブロック図である。 図5に示す分離目標数制限航跡相関行列算出部22の構成図である。 この発明の実施の形態2における目標追尾装置の動作の概略を説明するためのフローチャートである。 この発明の実施の形態2におけるゲート内判定行列と航跡相関行列の例を説明する図である。 この発明の実施の形態3による目標追尾装置の構成を示すブロック図である。 図9に示す仮説制限航跡相関行列算出部24の構成図である。 この発明の実施の形態3における目標追尾装置の動作の概略を説明するためのフローチャートである。 この発明の実施の形態3におけるゲート内判定行列と航跡相関行列の例を説明する図である。 この発明の実施の形態4による目標追尾装置の構成を示すブロック図である。 この発明の実施の形態4における目標追尾装置の動作の概略を説明するためのフローチャートである。 この発明の実施の形態4におけるゲート内判定行列と航跡相関行列の例を説明する図である。 この発明の実施の形態5による目標追尾装置の構成を示すブロック図である。 この発明の実施の形態5における目標追尾装置の動作の概略を説明するためのフローチャートである。 この発明の実施の形態5の概念図である。 この発明の実施の形態6による目標追尾装置の構成を示すブロック図である。 この発明の実施の形態6における目標追尾装置の動作の概略を説明するためのフローチャートである。
符号の説明
1 探知データ選択部、2 システム内クラスタ表格納部、3 クラスタ新設統合部、4 クラスタ内探知データ表格納部、5 ゲート内判定行列算出部、6 クラスタ内ゲート内判定行列表格納部、7 航跡相関行列算出部、8 クラスタ内航跡相関行列表格納部、9 仮説更新部、10 クラスタ内仮説状況データ群格納部、11 クラスタ内仮説表格納部、12 仮説内航跡表格納部、13 クラスタ内航跡−探知データ表格納部、14 ゲート算出部、15 仮説縮小部、16 クラスタ分離部、17 航跡決定部、18 新目標用探知データ選択部、21 分離目標運動諸元算出部、22 分離目標数制限航跡相関行列算出部、24 仮説制限航跡相関行列算出部、25 同一仮説削除部、26 同一仮説統合部、29 類似度算出部、30 仮説更新部、100 目標追尾装置、101 分離目標数検査部、200 目標観測装置(センサ)、300 目標表示装置。

Claims (6)

  1. センサからの探知データに基づいて目標を追尾する目標追尾装置であって、
    各クラスタに含まれる既存航跡から探知データの存在可能領域を算出するゲート算出部と、
    前記センサからの探知データ全体と前記ゲート算出部からの存在可能領域からクラスタ毎に航跡対応の探知データを選択する探知データ選択部と、
    前記探知データ選択部により選択された探知データと既存の本航跡の相関を検査して、その探知データが分離発生した目標となる可能性が高いか否かを決定する新目標用探知データ選択部と、
    前記新目標用探知データ選択部からの探知データが既存のクラスタ内の航跡と対応がとれない場合に新クラスタを作成すると共に、複数のクラスタ内の航跡と対応付けられる探知データがある場合に対応するクラスタを統合するクラスタ新設統合部と、
    既存航跡と探知データの相関具合よりゲート内判定行列を算出するゲート内判定行列算出部と、
    前記ゲート内判定行列算出部により算出されたゲート内判定行列を基に、各探知データに対する解釈の可能な組合せ全てを抽出して航跡相関行列を算出する航跡相関行列算出部と、
    前記航跡相関行列算出部により算出された航跡相関行列を既存の仮説と組み合わせて新たに仮説を生成更新する仮説更新部と、
    信頼度の低い仮説の削除、似た仮説の統合によって仮説数を削減する仮説縮小部と、
    航跡間の探知データの共有具合を基にクラスタを分離するクラスタ分離部と、
    目標である可能性の高い航跡を選択して本航跡とする航跡決定部と、
    仮説ごとに仮説に応じた新航跡の運動諸元を算出する分離目標運動諸元算出部と
    を備えた目標追尾装置。
  2. 請求項1に記載の目標追尾装置において、
    前記航跡相関行列算出部の代わりに、ゲート内判定行列を基に、新航跡数に関する制限を考慮しながら、各探知データに対する解釈の可能な組合せ全てを抽出する分離目標数制限航跡相関行列算出部を備えると共に、
    前記仮説更新部の代わりに、新航跡数に関する制限を考慮した上で、既存の仮説と航跡相関行列を組み合わせて仮説を更新する仮説更新部を備え、
    前記仮説更新部は、更新した全ての仮説に対して仮説の信頼度βを、下式に従って算出する
    Figure 0004279697
    但し、βp(i):前時刻の仮説の信頼度
    TRK :前時刻の仮説内の既存航跡数
    DT :前時刻の仮説内の既存航跡と相関した現サンプリングの探知データ数
    FT :仮説に含まれる不要信号数
    SP :仮説に含まれる分離発生した新航跡数
    g :既存航跡に対する探知データの尤度
    :探知確率
    :ゲート内捕捉確率
    βFTm :不要信号密度(発生率)で、単位体積当たりの平均個数
    CTRK:前時刻の仮説内の既存本航跡数
    SP :目標が分離する確率
    ことを特徴とする目標追尾装置。
  3. 請求項1に記載の目標追尾装置において、
    前記航跡相関行列算出部の代わりに、ゲート内判定行列を基に各探知データに対する解釈を制限しながら、可能な組合せ全てを抽出する仮説制限航跡相関行列算出部を備えた
    ことを特徴とする目標追尾装置。
  4. 請求項1に記載の目標追尾装置において、
    クラスタ内仮説状況データ群格納部に同一内容の仮説がないか検査し、同一内容とみなせる仮説がある場合は、一つを残して他の仮説を削除する同一仮説削除部をさらに備えた
    ことを特徴とする目標追尾装置。
  5. 請求項1に記載の目標追尾装置において、
    クラスタ内仮説状況データ群格納部に、過去N回の時刻における探知データの相関内容が同一の仮説がないか検査し、同一内容とみなせる仮説がある場合は、一つの仮説に統合する同一仮説統合部をさらに備えた
    ことを特徴とする目標追尾装置。
  6. 請求項1に記載の目標追尾装置において、
    探知データの属性情報と、その時刻までに航跡がつないできた探知データの属性情報の類似度を算出する類似度算出部をさらに備え、
    前記仮説更新部は、前記類似度算出部が算出した属性情報の類似度も用いて仮説の信頼度を算出する
    ことを特徴とする目標追尾装置。
JP2004018771A 2004-01-27 2004-01-27 目標追尾装置 Expired - Lifetime JP4279697B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004018771A JP4279697B2 (ja) 2004-01-27 2004-01-27 目標追尾装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004018771A JP4279697B2 (ja) 2004-01-27 2004-01-27 目標追尾装置

Publications (2)

Publication Number Publication Date
JP2005214665A JP2005214665A (ja) 2005-08-11
JP4279697B2 true JP4279697B2 (ja) 2009-06-17

Family

ID=34903190

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004018771A Expired - Lifetime JP4279697B2 (ja) 2004-01-27 2004-01-27 目標追尾装置

Country Status (1)

Country Link
JP (1) JP4279697B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5501555B2 (ja) * 2007-04-12 2014-05-21 三菱電機株式会社 多目標追尾装置
JP5665320B2 (ja) * 2010-01-12 2015-02-04 三菱電機株式会社 多目標追尾装置
CN113687347B (zh) * 2021-06-22 2023-11-17 中国电子科技集团公司电子科学研究院 一种航迹簇数据处理方法、系统及可读存储介质
CN116300985B (zh) * 2023-05-24 2023-09-05 清华大学 控制方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP2005214665A (ja) 2005-08-11

Similar Documents

Publication Publication Date Title
JP6972757B2 (ja) 制御プログラム、制御方法、及び情報処理装置
JP6759411B2 (ja) 物体追跡方法および装置
JP6972756B2 (ja) 制御プログラム、制御方法、及び情報処理装置
CN109670523B (zh) 用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置
EP3189469B1 (en) A method for selecting frames from video sequences based on incremental improvement
JP5148457B2 (ja) 異常判定装置、方法、及びプログラム
US8908915B2 (en) Devices and methods for tracking moving objects
TW201816362A (zh) 障礙物的檢測方法及相關裝置
JP6003705B2 (ja) 情報処理装置及び情報処理プログラム
JP2015041382A (ja) 対象追跡方法及び対象追跡装置
US11216064B2 (en) Non-transitory computer-readable storage medium, display control method, and display control apparatus
JP2008122093A (ja) 多目標追尾装置
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
JP4279697B2 (ja) 目標追尾装置
JP2010238008A (ja) 映像特徴抽出装置、及びプログラム
JP5501555B2 (ja) 多目標追尾装置
JP2012185655A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5288915B2 (ja) 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP3886773B2 (ja) 目標追尾装置
JP6098320B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101790544B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 기억 매체
JP4140706B2 (ja) 目標追尾装置
JP3881214B2 (ja) 目標追尾装置
JP2007213255A (ja) 表認識装置、及びコンピュータプログラム
JP4519617B2 (ja) 追尾装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4279697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term