JP6641534B2 - Target tracking device - Google Patents
Target tracking device Download PDFInfo
- Publication number
- JP6641534B2 JP6641534B2 JP2019531835A JP2019531835A JP6641534B2 JP 6641534 B2 JP6641534 B2 JP 6641534B2 JP 2019531835 A JP2019531835 A JP 2019531835A JP 2019531835 A JP2019531835 A JP 2019531835A JP 6641534 B2 JP6641534 B2 JP 6641534B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- target tracking
- value
- target
- degeneration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 92
- 230000007850 degeneration Effects 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 50
- 238000005259 measurement Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 16
- 238000007476 Maximum Likelihood Methods 0.000 claims description 10
- 230000008030 elimination Effects 0.000 claims description 8
- 238000003379 elimination reaction Methods 0.000 claims description 8
- 239000002245 particle Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、複数の目標を追尾する目標追尾装置に関するものである。 The present invention relates to a target tracking device that tracks a plurality of targets.
高分解能測角による複数目標の測角において、目標から到来した到来波が高い相関をもち、なおかつ各目標が近接している場合、複数目標が1個の観測値として表現されるという問題がある。これを以下では観測値の縮退と呼ぶ。縮退した観測値を用いて追尾処理を行うと、目標の位置推定値や速度推定値の誤差の増大や、誤航跡の生成が発生する。さらに、これにより航跡の個数、すなわち目標数の推定を誤るという問題がある。従って目標追尾装置において観測値の縮退の解決は重要な課題である。 In the angle measurement of a plurality of targets by the high-resolution angle measurement, there is a problem that when the arriving waves arriving from the targets have a high correlation and the respective targets are close to each other, the plurality of targets are represented as one observation value. . This is hereinafter referred to as degeneration of the observed value. When the tracking processing is performed using the degenerated observation values, an error in the target position estimated value and the speed estimated value increases, and a false navigation track is generated. Furthermore, this causes a problem that the number of wakes, that is, the target number is incorrectly estimated. Therefore, the solution of the degeneration of the observation value in the target tracking device is an important issue.
従来、このような課題に対処する技術として、例えば特許文献1に示すものがあった。特許文献1に記載の技術ではMUSIC法で測角を行う。MUSIC法で測角を行うには目標数が必要であるため、一般に相関行列の固有値を用いて目標数を推定する。MUSIC法による測角では目標数の推定を誤ると観測値が縮退する場合があることから、特許文献1に記載の技術では航跡を用いて推定した目標数をMUSIC法に与えることで、観測値の縮退を防止している。 Conventionally, as a technique for addressing such a problem, for example, there is a technique disclosed in Patent Document 1. In the technique described in Patent Document 1, angle measurement is performed by the MUSIC method. Since a target number is required to perform angle measurement by the MUSIC method, the target number is generally estimated using eigenvalues of a correlation matrix. In the angle measurement by the MUSIC method, the observation value may degenerate if the estimation of the target number is erroneous. Therefore, the technique described in Patent Document 1 provides the MUSIC method with the target number estimated using the wake. To prevent degeneration.
しかしながら、上記特許文献1に記載された従来の技術では、到来波の相関が低いことを前提としており、到来波間の相関が高い場合には観測値の縮退を避けることは困難であった。 However, the conventional technique described in Patent Document 1 is based on the assumption that the correlation between incoming waves is low, and it has been difficult to avoid degeneration of observed values when the correlation between incoming waves is high.
この発明は、かかる問題を解決するためになされたもので、到来波間の相関が高い場合でも観測値の縮退を避けることのできる目標追尾装置を提供することを目的とする。 The present invention has been made in order to solve such a problem, and an object of the present invention is to provide a target tracking device that can avoid degeneration of an observed value even when the correlation between incoming waves is high.
この発明に係る目標追尾装置は、複数目標の観測信号を取得するセンサ処理部と、センサ処理部で取得された観測信号から観測値を生成する観測値抽出部と、観測値抽出部で生成された観測値を用いて、設定された位置推定手法を用いて複数目標の、航跡と観測値と相関仮説の評価値とを備える相関仮説を求めると共に、当該相関仮説から観測値の縮退の有無を判定する多目標追尾処理部と、多目標追尾処理部で観測値の縮退があると判定された場合は、一つの観測値に対して多目標の予測値を基に、多目標追尾処理部により用いられた位置推定手法とは異なる目標推定を行う位置推定手法を用いて複数目標の縮退のない観測値を求める縮退解消部とを備え、多目標追尾処理部は、観測値の縮退がないと判定した場合は、当該観測値の縮退がないと判定した相関仮説の航跡を、この相関仮説に含まれる観測値を用いて更新し、観測値の縮退があると判定した場合は、当該観測値の縮退があると判定した相関仮説の航跡を、この相関仮説に含まれる、縮退解消部で求められた縮退のない観測値を用いて更新するようにしたものである。 A target tracking device according to the present invention includes a sensor processing unit that acquires observation signals of a plurality of targets, an observation value extraction unit that generates an observation value from the observation signals acquired by the sensor processing unit, and an observation value extraction unit that generates an observation value. Using the obtained observation values, a correlation hypothesis including the wake, the observation value, and the evaluation value of the correlation hypothesis of a plurality of targets is obtained by using the set position estimation method , and the presence or absence of degeneration of the observation value is determined from the correlation hypothesis. When the multi-target tracking processing unit to be determined and the multi-target tracking processing unit determine that there is degeneration of the observation value , the multi-target tracking processing unit A decompression elimination unit that obtains observation values without degeneration of multiple targets using a position estimation method that performs target estimation different from the used position estimation method, and a multi-target tracking processing unit, if there is no degeneration of observation values If it is determined, the degeneration of the observation The track of the correlation hypothesis determines the Most updates with observations included in the correlation hypothesis, if it is determined that there is degeneracy observations, the track of the correlation hypothesis is determined that there is degeneracy of the observations The update is performed using the observation values without degeneration that are included in the correlation hypothesis and obtained by the degeneration elimination unit.
この発明に係る目標追尾装置は、多目標追尾処理部が観測値の縮退があると判定した場合に、一つの観測値に対して多目標の予測値を基に、多目標追尾処理部により用いられた位置推定手法とは異なる目標推定を行う位置推定手法を用いて複数目標の縮退のない観測値を求める縮退解消部を備え、多目標追尾処理部は、観測値の縮退がないと判定した場合は、当該観測値の縮退がないと判定した相関仮説の航跡を、この相関仮説に含まれる観測値を用いて更新し、観測値の縮退があると判定した航跡を、この相関仮説に含まれる、縮退解消部で求められた縮退のない観測値を用いて更新するようにしたものである。これにより、到来波間の相関が高く観測値の縮退が生じる場合でも、その影響を避けることができる。 The target tracking device according to the present invention is used by the multi-target tracking processing unit based on the predicted value of the multi-target for one observation value when the multi-target tracking processing unit determines that the observed value is degenerated. The multi-target tracking processing unit has determined that there is no degeneration of the observed value by using a degeneration eliminating unit that obtains observation values without degeneration of multiple targets using a position estimation method that performs target estimation different from the obtained position estimation method . In this case, the wake of the correlation hypothesis determined to have no degeneration of the observation value is updated using the observation value included in the correlation hypothesis, and the wake determined to have degeneration of the observation value is included in the correlation hypothesis. The update is performed using the observed value without degeneration obtained by the degeneration elimination unit. As a result, even when the correlation between the incoming waves is high and the observed value degenerates, the influence can be avoided.
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、本実施の形態による目標追尾装置を示す構成図である。
本実施の形態による目標追尾装置は、センサ処理部10と観測値抽出部20と追尾処理部30とを備える。センサ処理部10は、目標の観測信号を取得する処理部であり、受信アンテナ部11と受信回路12とを備える。受信アンテナ部11は、目標からの電波を受信するためのアンテナであり、超分解能測角を行うために複数のアンテナを備えている。受信回路12は受信アンテナ部11からのアナログ信号をデジタル信号に変換して出力する回路である。観測値抽出部20は、受信回路12から出力された観測信号から観測値を生成する処理部である。追尾処理部30は、多目標追尾処理部40と縮退解消部50からなる。多目標追尾処理部40は、観測値抽出部20で求められた観測値を用いて複数目標の位置諸元推定値を管理する処理部であり、相関仮説生成部41、観測値縮退判定部42、相関仮説評価部43、航跡更新部44、相関仮説保存部45、航跡決定部46を備えている。Hereinafter, in order to explain this invention in greater detail, the preferred embodiments of the present invention will be described with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a configuration diagram showing a target tracking device according to the present embodiment.
The target tracking device according to the present embodiment includes a
相関仮説生成部41は、観測値抽出部20からの観測値と相関仮説保存部45からの相関仮説とに基づいて、新たな相関仮説を生成する処理部である。観測値縮退判定部42は、相関仮説生成部41で生成された相関仮説において、観測値が縮退しているか否かを判定し、判定した相関仮説とその相関仮説の判定結果とを対応付けて出力する処理部である。相関仮説評価部43は、観測値縮退判定部42または縮退解消部50の相関仮説更新部52から相関仮説を取得し、相関仮説の尤もらしさについて評価を行い、相関仮説に含まれる評価値を更新し、評価値を更新した相関仮説を出力する処理部である。航跡更新部44は、相関仮説評価部43から相関仮説を取得し、相関仮説に含まれる各航跡を、相関する観測値を用いて更新する処理部である。相関仮説保存部45は、航跡更新部44から出力された全ての相関仮説を保存するための記憶部である。航跡決定部46は、航跡更新部44から出力された全ての相関仮説のうち、最も高い評価値をもつ相関仮説に含まれる航跡を目標の航跡として出力する処理部である。
The correlation
縮退解消部50は、一つの観測値に対して多目標の予測値を基に目標推定を行う位置推定手法を用いて、位置諸元推定値として縮退のない観測値を求める処理部であり、超分解能測角部51、相関仮説更新部52を備えている。超分解能測角部51は、観測値縮退判定部42から判定した相関仮説とその相関仮説の判定結果とが出力された場合、これを受けて受信回路12からのデジタル信号を取得し、このデジタル信号と相関仮説が含む航跡を用いて、一つの観測値に対して多目標の予測値を基に目標推定を行う位置推定手法である超分解能測角を行い、その超分解能測角結果と観測値縮退判定部42からの相関仮説を出力する処理部である。相関仮説更新部52は、超分解能測角部51から取得した相関仮説に含まれる観測値を、超分解能測角部51から取得した測角結果から算出した観測値で置き換えた相関仮説を生成し、生成した相関仮説を多目標追尾処理部40に出力する処理部である。
The
図2は、本実施の形態の目標追尾装置における観測値抽出部20と追尾処理部30とを実現するためのハードウェア構成を示す図である。
目標追尾装置における観測値抽出部20と追尾処理部30は、プロセッサ101、メモリ102、入出力I/F(入出力インタフェース)103、ストレージ104、バス105で構成される。プロセッサ101は、観測値抽出部20と追尾処理部30の機能に対応したプログラムを実行することにより、これら観測値抽出部20と追尾処理部30を実現するためのプロセッサである。メモリ102は、各種のプログラムを記憶するプログラムメモリ及びプロセッサ101がデータ処理を行う際に使用するワークメモリ等として使用するROM及びRAM等の記憶部である。入出力I/F103は、センサ処理部10からの観測信号を入力したり、多目標追尾処理部40の処理結果を外部に出力するといった外部との入出力を行うための通信インタフェースである。ストレージ104は、各種データや観測値抽出部20と追尾処理部30の機能に対応したプログラムを格納するための記憶装置である。バス105は、プロセッサ101〜ストレージ104を相互に接続するための通信路である。FIG. 2 is a diagram illustrating a hardware configuration for realizing the observation
The observation
図1における観測値抽出部20と追尾処理部30が行う処理は、ストレージ104に格納されたプログラムをプロセッサ101がメモリ102上に展開して実行することにより行われる。センサ処理部10の受信回路12から出力されるデジタル信号は入出力I/F103を介してメモリ102またはストレージ104に格納される。また、追尾処理部30の処理結果は、必要に応じてストレージ104に格納し、入出力I/F103を介して外部に出力される。
The processing performed by the observation
次に、実施の形態1の目標追尾装置の動作について説明する。
受信アンテナ部11は、目標から通信などの用途で出力された電波信号を受信し、受信した電波信号に対応したアナログ信号を出力する。受信回路12は、受信アンテナ部11から取得したアナログ信号をデジタル信号に変換して、デジタル信号を観測値抽出部20と縮退解消部50の超分解能測角部51へ出力する。
観測値抽出部20は受信回路12から入力されたデジタル信号を用いて測角値を算出し、座標上での目標の推定位置を出力する。この推定位置のことを以下では観測値と呼ぶ。観測値はベクトルで表されるものとする。Next, the operation of the target tracking device according to the first embodiment will be described.
The receiving
The observation
次に追尾処理部30の処理について説明する。図3は、この発明の実施の形態1の追尾処理部30の処理を示すフローチャートである。図3は時刻kにおける処理フローを表している。
相関仮説生成部41は、相関仮説保存部45から時刻k−1における全ての相関仮説を取得する。また、観測値抽出部20から、時刻kにおける観測値を取得する。相関仮説は、航跡と観測値と相関仮説の評価値とを備える。航跡とは、各時刻における目標の位置と速度の推定値であり、ベクトルを用いて表される。相関仮説生成部41において、入力された個々の相関仮説を親相関仮説と呼ぶ。相関仮説生成部41では、親相関仮説毎に次の処理を行う。すなわち、ある親相関仮説から航跡を抽出し、観測値抽出部20から入力された観測値を各航跡に割り当てる。このとき、観測値を割り当てない航跡や、同一の観測値に割り当てられる複数の航跡があってもよい。Next, the processing of the
The
上記の航跡と観測値の割り当て方は複数通り存在する。割り当て方の個数がN個であるとき、各割り当て方と親相関仮説の評価値を用いて、N個の新たな相関仮説を生成する。この相関仮説を子相関仮説と呼ぶ。
相関仮説生成部41から出力された相関仮説毎に次のステップST2〜ステップST6の処理を行う。There are several ways to assign the wakes and observations. When the number of allocation methods is N, N new correlation hypotheses are generated using each allocation method and the evaluation value of the parent correlation hypothesis. This correlation hypothesis is called the child correlation hypothesis.
The following steps ST2 to ST6 are performed for each correlation hypothesis output from the correlation
観測値縮退判定部42は、相関仮説生成部41から取得した相関仮説において観測値が縮退しているか否かを判定し、判定した相関仮説とその相関仮説の判定結果とを対応付けて出力する(ステップST2)。例えば、複数の航跡に同一の観測値が割り当てられている場合、観測値が縮退したとの判定結果を出力する(ステップST2−縮退あり)。そうでない場合、観測値が縮退していないとの判定結果を出力する(ステップST2−縮退なし)。
縮退解消部50における超分解能測角部51は、観測値縮退判定部42から出力された判定結果が観測値の縮退を示している場合に、観測値縮退判定部42から相関仮説を取得し、受信回路12からデジタル信号を取得する。超分解能測角部51は、取得したデジタル信号と、取得した相関仮説が含む航跡を用いて超分解能測角を行い、測角結果と観測値縮退判定部42から入力された相関仮説を出力する(ステップST3)。The observation value
The super-resolution
方位角の尤度関数は例えば次のように表現される。
最尤法による測角は、尤度関数を最大とするような方位角ベクトルθkの探索によって行われる。探索方法としては、例えばEM(Expectation Maximization)アルゴリズムがある。
The azimuth likelihood function is expressed, for example, as follows.
Angle measurement by the maximum likelihood method is performed by searching for an azimuth vector θ k that maximizes the likelihood function. As a search method, for example, there is an EM (Expectation Maximization) algorithm.
航跡の予測位置の期待値の方位角を用いた最尤法のイメージを図4に示す。図4では、相関仮説に含まれる航跡数が2である場合を示しており(航跡401、航跡402)、この図では説明のために目標がx,yの2次元に存在する場合を考えている。この平面に直交する軸は、方位角の尤度を表す軸であり、ここでは一例として、最尤法の尤度関数を実線403で、FB−SSP MUSIC法の尤度関数を点線404で表している。各測角方式において、尤度関数の山となる部分が測角値の候補となる。図4のFB−SSP MUSIC法の尤度関数は、各目標の出力した信号が高い相関をもち、かつこれらが近接している場合等の、空間平均法によって各目標の信号間の相関を低減できない場合の例を示している。図4から、FB−SSP MUSIC法で測角を行う場合、尤度関数の形状が単峰であるから、得られる測角値は1個(図4の■印405)となり、観測値が縮退することがわかる。また、最尤法で局所解となる方位角付近から探索を始めた場合、最尤法はその局所解(図4の▲印406)を測角値として出力してしまうことがわかる。ここで、航跡の予測位置407,408が大域解(図4の★印409,410)に十分近い場合、航跡の予測位置の方位角を初期値411,412として尤度関数の最大値を探索する(矢印413,414)ことで、最尤法の尤度関数の大域解にあたる測角値409,410が得られ、観測値が縮退しないと考えられる。図中、○印415,416が探索の収束値を示している。
FIG. 4 shows an image of the maximum likelihood method using the azimuth angle of the expected value of the predicted position of the wake. FIG. 4 shows a case where the number of tracks included in the correlation hypothesis is 2 (
以上では最尤法の初期値として航跡の予測位置の期待値の方位角を用いる方法を説明したが、航跡の予測の分布から複数回サンプリングしたサンプル毎に、サンプルを初期値とした最尤法による測角を行い、測角値のなかで最も尤度が高くなる値を超分解能測角部51の測角結果とする方式を用いてもよい。
In the above, the method of using the azimuth of the expected value of the predicted position of the track as the initial value of the maximum likelihood method has been described. May be used, and the value having the highest likelihood among the angle measurement values may be used as the angle measurement result of the super-resolution
相関仮説更新部52では、超分解能測角部51から入力された相関仮説に含まれる観測値を、超分解能測角部51から入力された測角結果から算出した観測値で置き換えた相関仮説を生成し、生成した相関仮説を出力する(ステップST4)。観測値と航跡の相関方法は、例えば超分解能測角部51で得られた測角値毎に、それぞれの初期値として用いた航跡を記憶しておくことで、各航跡に割り当てる観測値を決定する方法が考えられる。
The correlation
相関仮説評価部43は、観測値縮退判定部42または相関仮説更新部52から相関仮説を取得し、相関仮説の尤もらしさについて評価を行い、相関仮説に含まれる評価値を更新し、評価値を更新した相関仮説を出力する(ステップST5)。相関仮説の評価は、例えば、文献:B. T. Vo and B. N. Vo, “Labeled Random Finite Set and Multi-Object Conjugate Priors”, IEEE Trans. on Signal Processing, vol. 61, no. 13, pp. 3460-3475, 2013.の多目標追尾アルゴリズムと同様に行うことができる。
The correlation
航跡更新部44は、相関仮説評価部43から相関仮説を取得し、相関仮説に含まれる各航跡を、相関する観測値を用いて更新する(ステップST6)。例えば、次式(3)のように、カルマンフィルタを用いて航跡を更新することが可能である。
The
以上のステップST2〜ステップST6を相関仮説毎に行う。
相関仮説保存部45は、航跡更新部44から出力された全ての相関仮説が入力され、これらをメモリ等に出力する処理を行う(ステップST7)。
航跡決定部46は、航跡更新部44から出力された全ての相関仮説が入力され、そのなかで最も高い評価値をもつ相関仮説に含まれる航跡を時刻kでの目標の航跡として出力する(ステップST8)。出力された航跡は、例えば表示用航跡として図示しない表示器等に出力される。The above steps ST2 to ST6 are performed for each correlation hypothesis.
The correlation
The
このように、実施の形態1における目標追尾装置は、観測値が縮退したと考える仮説において超分解能測角を行い、相関仮説を更新することで、到来波間の相関が高い場合においても、縮退していない観測値を用いた航跡更新が可能となるため、目標の位置と速度の推定誤差を低減できる。これにより誤航跡の発生を防ぐことができるため、目標数の推定誤差を低減できる。 As described above, the target tracking apparatus according to Embodiment 1 performs super-resolution angle measurement in the hypothesis that the observation value is degenerated, and updates the correlation hypothesis. Since it is possible to update the track using unobserved observation values, errors in estimating the target position and speed can be reduced. As a result, the occurrence of a wrong track can be prevented, so that the estimation error of the target number can be reduced.
以上説明したように実施の形態1の目標追尾装置によれば、複数目標の観測信号を取得するセンサ処理部と、センサ処理部で取得された観測信号から観測値を生成する観測値抽出部と、観測値抽出部で生成された観測値を用いて、設定された位置推定手法を用いて複数目標の位置諸元推定値を求めると共に、位置諸元推定値から観測値の縮退の有無を判定する多目標追尾処理部と、多目標追尾処理部で観測値の縮退があると判定された場合は、一つの観測値に対して多目標の予測値を基に目標推定を行う位置推定手法を用いて複数目標の位置諸元推定値を求める縮退解消部とを備え、多目標追尾処理部は、観測値の縮退があると判定した場合は、観測値の縮退があると判定した相関仮説の航跡を、縮退解消部で求められた位置諸元推定値で更新するようにしたので、到来波間の相関が高い場合においても、縮退していない観測値を用いた航跡更新が可能となり、従って、目標の位置と速度の推定誤差を低減することができる。これにより、誤航跡の発生を防ぐことができ、目標数の推定誤差を低減することができる。 As described above, according to the target tracking device of the first embodiment, the sensor processing unit that acquires observation signals of a plurality of targets, and the observation value extraction unit that generates observation values from the observation signals acquired by the sensor processing unit , Using the observation values generated by the observation value extraction unit, determine the position specification estimates of multiple targets using the set position estimation method, and determine whether the observed values have degenerated from the position specification estimates When the multi-target tracking processing unit determines that there is degeneration of the observed value, a position estimation method that performs target estimation based on the predicted value of the multi-target for one observation value. A multivariate tracking processing unit, when it is determined that there is degeneration of the observed value, the multi-target tracking processing unit uses a correlation hypothesis that determines that there is degeneration of the observed value. The wake is updated with the position specification estimated value Since the way, in the case where the correlation of the incoming waves is higher, it is possible to track updates using the observed values does not degenerate, hence, it is possible to reduce the estimation error of the target position and velocity. As a result, the occurrence of a wrong track can be prevented, and the estimation error of the target number can be reduced.
また、実施の形態1の目標追尾装置によれば、多目標追尾処理部は、観測値抽出部から入力された観測値と航跡について、複数の航跡が単一の観測値に相関する相関仮説を生成し、縮退解消部は、多目標追尾処理部で生成された相関仮説に含まれる航跡を用いて観測値の更新を行うようにしたので、到来波間の相関が高い場合でも観測値の縮退を避けることができる。 Further, according to the target tracking device of the first embodiment, the multi-target tracking processing unit determines a correlation hypothesis that a plurality of wakes correlates with a single observation value for the observation values and the wakes input from the observation value extraction unit. The generation and degeneration elimination unit updates the observation value using the wake included in the correlation hypothesis generated by the multi-target tracking processing unit, so even if the correlation between the incoming waves is high, the observation value degeneration is performed. Can be avoided.
また、実施の形態1の目標追尾装置によれば、縮退解消部は、多目標追尾処理部から入力された航跡の予測の期待値を用いて観測値を更新するようにしたので、到来波間の相関が高い場合でも観測値の縮退を避けることができる。 According to the target tracking device of the first embodiment, the degeneration elimination unit updates the observation value using the expected value of the wake prediction input from the multi-target tracking processing unit. Even if the correlation is high, it is possible to avoid degeneration of the observed value.
また、実施の形態1の目標追尾装置によれば、縮退解消部は、多目標追尾処理部から入力された航跡の予測の分布から複数回サンプリングし、サンプル毎に観測値の更新処理を行い、更新処理結果のなかで、尤もらしい観測値を更新後の観測値として出力するようにしたので、到来波間の相関が高い場合でも観測値の縮退を避けることができる。 Further, according to the target tracking device of the first embodiment, the degeneration cancellation unit samples a plurality of times from the distribution of predicted wakes input from the multi-target tracking processing unit, performs an update process of an observation value for each sample, Since the likely observation value is output as the updated observation value in the update processing result, degeneration of the observation value can be avoided even when the correlation between the incoming waves is high.
また、実施の形態1の目標追尾装置によれば、一つの観測値に対して多目標の予測値を基に目標推定を行う位置推定手法は超分解能測角であるようにしたので、到来波間の相関が高い場合でも観測値の縮退を避けることができる。 Further, according to the target tracking apparatus of the first embodiment, since the position estimation method for estimating a target based on the prediction values of multiple targets for one observation value is a super-resolution angle measurement, the distance between arriving waves Even when the correlation is high, degeneration of the observed value can be avoided.
また、実施の形態1の目標追尾装置によれば、超分解能測角を最尤法による測角としたので、到来波間の相関が高い場合でも観測値の縮退を避けることができる。 Further, according to the target tracking device of the first embodiment, since the super-resolution angle measurement is the angle measurement by the maximum likelihood method, it is possible to avoid degeneration of the observed value even when the correlation between the incoming waves is high.
実施の形態2.
実施の形態1では、目標自体が出力する信号を受信して目標の追尾を行う例であるが、センサ処理部が送信部を持ち、目標に信号を照射し、目標で反射された信号から目標の追尾を行うようにしても良く、この例を実施の形態2として次に示す。
図5は、実施の形態2の目標追尾装置の構成図である。実施の形態2におけるセンサ処理部10aは、送信部14と受信部13を備える。送信部14は送信アンテナ部15と送信回路16とを備える。送信アンテナ部15は、送信回路16で生成されたアナログ信号を電波に変換し、空間に放射するアンテナである。送信回路16は、送信アンテナ部15から空間に放射する電波のアナログ信号を生成する回路である。受信部13は、受信アンテナ部11と受信回路12を備え、これら受信アンテナ部11及び受信回路12は実施の形態1と同様の構成である。観測値抽出部20と追尾処理部30の構成は実施の形態1と同様であるため、対応する部分に同一符号を付してその説明を省略する。また、実施の形態2の目標追尾装置のハードウェア構成については、図2のハードウェア構成において、送信回路16の機能に対応したプログラムがストレージ104に格納され、プロセッサ101がこれをメモリ102に読み込んで実行することで送信回路16の機能を実現するよう構成されている他は実施の形態1と同様である。Embodiment 2 FIG.
The first embodiment is an example in which a signal output from the target itself is received and the target is tracked. However, the sensor processing unit has a transmission unit, irradiates the target with a signal, and outputs the target from the signal reflected by the target. May be performed, and this example will be described below as a second embodiment.
FIG. 5 is a configuration diagram of the target tracking device according to the second embodiment. The
次に、実施の形態2の目標追尾装置の動作について説明する。
送信回路16は、目標に対して照射するためのアナログ信号を生成し、送信アンテナ部15はこのアナログ信号を電波に変換し、空間に放射する。実施の形態2では、受信部13の受信回路12において、送信回路16で生成された信号を参照することで、受信回路12で生成したデジタル信号から目標で反射した電波に対応する部分を検出し、検出した信号のみを出力する。なお、実施の形態1の受信回路12と同様、実施の形態2においても、目標から通信などの用途で出力された電波信号も出力するようにしても良い。
観測値抽出部20は受信回路12から入力されたデジタル信号を用いて測距値と測角値を算出し、座標上での目標の推定位置を出力する。追尾処理部30の動作は実施の形態1と同様であるため、ここでの説明は省略する。Next, the operation of the target tracking device according to the second embodiment will be described.
The transmitting
The observation
以上説明したように、実施の形態2の目標追尾装置によれば、センサ処理部は、目標に照射する信号を出力する送信部を備え、送信部から出力されて目標から反射された信号を観測信号とするようにしたので、目標追尾装置から信号を送信し、この信号が目標で反射された信号を受信して目標の追尾を行うことから、目標自身が信号を出力していない場合でも追尾を行うことができる。 As described above, according to the target tracking device of the second embodiment, the sensor processing unit includes the transmission unit that outputs the signal for irradiating the target, and monitors the signal output from the transmission unit and reflected from the target. Since the signal is transmitted from the target tracking device, the signal is reflected by the target and the target is tracked, so that the target is tracked even when the target itself does not output a signal. It can be performed.
実施の形態3.
実施の形態1及び実施の形態2では、全ての相関仮説を相関仮説保存部45で記憶するようにしたものであったが、一部の相関仮説のみを保存するようにしてもよく、これを実施の形態3として以下に示す。Embodiment 3 FIG.
In the first embodiment and the second embodiment, all the correlation hypotheses are stored in the correlation
図6は、実施の形態3の目標追尾装置の構成図である。実施の形態3における追尾処理部30aの多目標追尾処理部40aが相関仮説選択部47を備えている。この相関仮説選択部47は、相関仮説の評価値に基づいて相関仮説保存部45に保存する相関仮説を選択するよう構成されている。これ以外の多目標追尾処理部40a内の構成と、センサ処理部10、観測値抽出部20及びの縮退解消部50の構成は図1に示した実施の形態1の構成と同様であるため、対応する部分に同一符号を付してその説明を省略する。
FIG. 6 is a configuration diagram of the target tracking device according to the third embodiment. The multi-target tracking processing unit 40a of the
また、実施の形態3の目標追尾装置におけるハードウェア構成は、図2のハードウェア構成において、相関仮説選択部47の機能に対応したプログラムがストレージ104に格納され、プロセッサ101がこれをメモリ102に読み込んで実行することで相関仮説選択部47の機能を実現するよう構成されている他は実施の形態1と同様である。
In the hardware configuration of the target tracking device according to the third embodiment, a program corresponding to the function of the correlation
実施の形態3の相関仮説選択部47は、航跡更新部44から出力された相関仮説毎の評価値を用いて、相関仮説保存部45に記憶する相関仮説を選択する。例えば、シミュレーション等を元に事前に決定した閾値を上回る評価値をもつ相関仮説のみを選択する、といった動作を行う。これにより、相関仮説保存部45には相関仮説選択部47で選択された相関仮説のみが保存され、相関仮説生成部41は、相関仮説保存部45に保存された相関仮説に基づいて動作を行う。これ以外の動作については実施の形態1と同様であるため、ここでの説明は省略する。
The correlation
なお、上記例では、実施の形態1の構成に対して相関仮説選択部47を適用した例を示したが、実施の形態2の構成に対して適用してもよい。
In the above example, the example in which the correlation
以上説明したように、実施の形態3の目標追尾装置によれば、多目標追尾処理部は、相関仮説の評価値に基づいて保存する相関仮説を選択する相関仮説選択部と、選択された相関仮説と観測値を用いて新たな相関仮説を生成する相関仮説生成部とを備え、相関仮説生成部で生成された相関仮説に基づいて観測値の縮退の有無を判定するようにしたので、相関仮説を保存するためのメモリの容量を小さくすることができる。また、各時刻に目標追尾装置で処理する相関仮説の個数も減少させることができるため、計算負荷を低減することができる。 As described above, according to the target tracking device of the third embodiment, the multi-target tracking processing unit includes a correlation hypothesis selecting unit that selects a correlation hypothesis to be stored based on the evaluation value of the correlation hypothesis, and a selected correlation hypothesis. A correlation hypothesis generation unit that generates a new correlation hypothesis using the hypothesis and the observed value is provided, and the presence or absence of degeneration of the observed value is determined based on the correlation hypothesis generated by the correlation hypothesis generation unit. The capacity of the memory for storing the hypothesis can be reduced. Further, the number of correlation hypotheses to be processed by the target tracking device at each time can be reduced, so that the calculation load can be reduced.
実施の形態4.
実施の形態1〜3では、航跡の更新に観測値と航跡の1対1相関を前提としてカルマンフィルタを用いた更新を行うが、1対多相関を実現する航跡の更新方法として粒子フィルタを用いた例を実施の形態4として以下に示す。
図7は実施の形態4の目標追尾装置の構成図である。
図7は図1の縮退解消部50の超分解能測角部51と相関仮説更新部52を縮退仮説航跡更新部53に置き換えて、縮退解消部50aとしたものである。縮退仮説航跡更新部53では、多目標追尾処理部40bの観測値縮退判定部42で観測値の縮退が発生したと判定した場合、非線形フィルタである粒子フィルタを用いて縮退仮説の航跡を更新する処理部である。すなわち、実施の形態4では、一つの観測値に対して多目標の予測値を基に目標推定を行う位置推定手法として粒子フィルタを用いており、縮退解消部50aは位置諸元推定値として更新された航跡を出力する。また、これにより、相関仮説評価部43aは、縮退仮説航跡更新部53の尤度計算結果を用いて相関仮説の評価を行うよう構成されている。これ以外のセンサ処理部10と観測値抽出部20の構成は実施の形態1と同様であるため、ここでの説明は省略する。Embodiment 4 FIG.
In the first to third embodiments, a wake is updated using a Kalman filter on the assumption that a one-to-one correlation between an observed value and a wake is used. However, a particle filter is used as a wake update method that achieves one-to-many correlation. An example is shown below as Embodiment 4.
FIG. 7 is a configuration diagram of a target tracking device according to the fourth embodiment.
FIG. 7 is a diagram in which the super-resolution
また、実施の形態4の目標追尾装置のハードウェア構成については、図2のハードウェア構成において、縮退解消部50aと多目標追尾処理部40bの相関仮説評価部43aの機能に対応したプログラムがストレージ104に格納され、プロセッサ101がこれをメモリ102に読み込んで実行することで縮退解消部50aと相関仮説評価部43aの機能を実現するよう構成されている他は実施の形態1と同様である。
Further, regarding the hardware configuration of the target tracking device of the fourth embodiment, in the hardware configuration of FIG. 2, a program corresponding to the function of the correlation
次に実施の形態4の目標追尾装置の動作について説明する。センサ処理部10及び観測値抽出部20の動作は実施の形態1と同様であるため、ここでの説明は省略し、追尾処理部30bの動作について説明する。図8は、実施の形態4の追尾処理部30bの動作を示すフローチャートである。先ず、ステップST1〜ステップST2(縮退なし)〜ステップST5〜ステップST6〜ステップST7〜ステップST8の動作については実施の形態1と同様である。すなわち、観測値の縮退が起こらない場合は実施の形態1の追尾処理部30の動作と同様である。
Next, the operation of the target tracking device according to the fourth embodiment will be described. The operations of the
このように、実施の形態4では非線形な縮退の観測過程に対応するため、粒子フィルタを用いて縮退仮説の航跡の更新を行うため、縮退ありと判定された観測値に対して精度良く航跡を推定できる。また、観測値が縮退しない仮説の航跡更新は実施の形態1と同様の構成としたため、計算時間を抑えることができる。
なお、上記例では、実施の形態1の構成に対して縮退解消部50aを適用した例を示したが、実施の形態2または実施の形態3の構成に対して適用してもよい。As described above, in order to cope with the non-linear degeneration observation process in the fourth embodiment, the wake of the degeneracy hypothesis is updated using the particle filter. Can be estimated. In addition, the wake update of the hypothesis that the observation value does not degenerate has the same configuration as in the first embodiment, so that the calculation time can be reduced.
In the above example, the example in which the
以上説明したように、実施の形態4の目標追尾装置によれば、一つの観測値に対して多目標の予測値を基に目標推定を行う位置推定手法を粒子フィルタとしたので、到来波間の相関が高い場合においても、縮退に対応した非線形フィルタによる航跡更新が可能となり、従って、目標の位置と速度の推定誤差を低減することができる。これにより、誤航跡の発生を防ぐことができ、目標数の推定誤差を低減することができる。 As described above, according to the target tracking apparatus of the fourth embodiment, the position estimation method for performing target estimation based on the prediction values of multiple targets with respect to one observation value is a particle filter. Even when the correlation is high, it is possible to update the track using a nonlinear filter corresponding to the degeneration, and therefore, it is possible to reduce the estimation error of the target position and speed. As a result, the occurrence of a wrong track can be prevented, and the estimation error of the target number can be reduced.
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, any combination of the embodiments, a modification of an arbitrary component of each embodiment, or an omission of an arbitrary component in each embodiment is possible within the scope of the invention. .
以上のように、この発明に係る目標追尾装置は、観測値の縮退の有無に応じて目標の位置推定手法を切り替える構成に関するものであり、複数の目標を追尾するのに適している。 As described above, the target tracking device according to the present invention relates to a configuration for switching the position estimation method of a target according to the presence or absence of degeneration of an observed value, and is suitable for tracking a plurality of targets.
10,10a センサ処理部、11 受信アンテナ部、12 受信回路、13 受信部、14 送信部、15 送信アンテナ部、16 送信回路、20 観測値抽出部、30,30a,30b 追尾処理部、40,40a,40b 多目標追尾処理部、41 相関仮説生成部、42 観測値縮退判定部、43,43a 相関仮説評価部、44 航跡更新部、45 相関仮説保存部、46 航跡決定部、47 相関仮説選択部、50,50a 縮退解消部、51 超分解能測角部、52 相関仮説更新部、53 縮退仮説航跡更新部。 10, 10a sensor processing section, 11 receiving antenna section, 12 receiving circuit, 13 receiving section, 14 transmitting section, 15 transmitting antenna section, 16 transmitting circuit, 20 observation value extracting section, 30, 30a, 30b tracking processing section, 40, 40a, 40b Multi-target tracking processing unit, 41 correlation hypothesis generation unit, 42 observation value degeneracy determination unit, 43, 43a correlation hypothesis evaluation unit, 44 wake update unit, 45 correlation hypothesis storage unit, 46 wake determination unit, 47 correlation hypothesis selection , 50, 50a Degeneration cancellation unit, 51 Super-resolution angle measurement unit, 52 Correlation hypothesis update unit, 53 Degeneration hypothesis track update unit.
Claims (9)
前記センサ処理部で取得された観測信号から観測値を生成する観測値抽出部と、
前記観測値抽出部で生成された観測値を用いて、設定された位置推定手法を用いて
複数目標の、航跡と観測値と相関仮説の評価値とを備える相関仮説を求めると共に、当該相関仮説から観測値の縮退の有無を判定する多目標追尾処理部と、
前記多目標追尾処理部で観測値の縮退があると判定された場合は、一つの観測値に対して多目標の予測値を基に、前記多目標追尾処理部により用いられた位置推定手法とは異なる目標推定を行う位置推定手法を用いて複数目標の縮退のない観測値を求める縮退解消部とを備え、
前記多目標追尾処理部は、前記観測値の縮退がないと判定した場合は、当該観測値の縮退がないと判定した相関仮説の航跡を、この相関仮説に含まれる観測値を用いて更新し、前記観測値の縮退があると判定した場合は、当該観測値の縮退があると判定した相関仮説の航跡を、この相関仮説に含まれる、前記縮退解消部で求められた縮退のない観測値を用いて更新することを特徴とする目標追尾装置。 A sensor processing unit for acquiring observation signals of a plurality of targets,
An observation value extraction unit that generates an observation value from the observation signal acquired by the sensor processing unit,
Using the observation value generated by the observed value extractor, multiple targets using the set position estimation method, the correlating hypothesis comprising a track and the observed value and the evaluation value of the correlation hypothesis, the correlation hypothesis A multi-target tracking processing unit for determining whether or not the observed value has degenerated from
If it is determined that there is degeneration of the observation value in the multi-target tracking processing unit, based on the prediction value of the multi-target for one observation value, the position estimation method used by the multi-target tracking processing unit Comprises a degeneracy elimination unit that obtains an observation value without degeneration of a plurality of targets using a position estimation method that performs different target estimations,
The multi-target tracking processing unit, when it is determined that there is no degeneration of the observation value, updates the wake of the correlation hypothesis determined that there is no degeneration of the observation value using the observation value included in the correlation hypothesis. the case where it is determined that there is a degeneration of the observations, the track of the correlation hypothesis is determined that there is degeneracy of the observations, are included in the correlation hypothesis, the no degeneracy obtained in a degraded resolution block observations A target tracking device characterized by updating using a target.
前記縮退解消部により求められる縮退のない観測値は、前記多目標追尾処理部で生成された相関仮説に含まれる航跡を用いて求められることを特徴とする請求項1記載の目標追尾装置。 The multi-target tracking processing unit, for the observation values and wakes input from the observation value extraction unit, the correlation hypothesis that allocates a plurality of wakes per observation value to the observation value input from the observation value extraction unit Generate
The no observed value degeneracy obtained by degeneration canceller, the multi-target tracking process target tracking apparatus according to claim 1, wherein the determined using the track contained in the generated correlation hypothesis unit.
前記多目標追尾処理部により求められる航跡は、前記相関仮説選択部により選択された相関仮説を用いて求められることを特徴とする請求項1から請求項6のうちのいずれか1項記載の目標追尾装置。 The multi-target tracking processing unit includes a correlation hypothesis selection unit that selects a correlation hypothesis to be stored based on the evaluation value of the correlation hypothesis ,
The target according to any one of claims 1 to 6 , wherein the track obtained by the multi-target tracking processing unit is obtained using a correlation hypothesis selected by the correlation hypothesis selecting unit. Tracking device.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/028590 WO2019030800A1 (en) | 2017-08-07 | 2017-08-07 | Target tracking device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019030800A1 JPWO2019030800A1 (en) | 2019-11-07 |
JP6641534B2 true JP6641534B2 (en) | 2020-02-05 |
Family
ID=65272113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019531835A Active JP6641534B2 (en) | 2017-08-07 | 2017-08-07 | Target tracking device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6641534B2 (en) |
WO (1) | WO2019030800A1 (en) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5909189A (en) * | 1996-11-14 | 1999-06-01 | Raytheon Company | Group tracking |
JP3447587B2 (en) * | 1998-11-10 | 2003-09-16 | 三菱電機株式会社 | Tracking device and tracking method |
JP3829659B2 (en) * | 2001-07-02 | 2006-10-04 | 三菱電機株式会社 | Radar equipment |
JP2003149328A (en) * | 2001-11-14 | 2003-05-21 | Mitsubishi Electric Corp | Target correlation device of radar |
IN2012DN00691A (en) * | 2008-07-08 | 2015-06-19 | Thales Sa | |
JP5601881B2 (en) * | 2010-05-17 | 2014-10-08 | 三菱電機株式会社 | Passive radar system and passive radar method |
JP2014169865A (en) * | 2013-03-01 | 2014-09-18 | Hitachi Ltd | Target tracking device, target tracking program and target tracking method |
JP6523790B2 (en) * | 2015-05-28 | 2019-06-05 | 株式会社東芝 | Target detection device |
-
2017
- 2017-08-07 WO PCT/JP2017/028590 patent/WO2019030800A1/en active Application Filing
- 2017-08-07 JP JP2019531835A patent/JP6641534B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2019030800A1 (en) | 2019-11-07 |
WO2019030800A1 (en) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kutschbach et al. | Sequential sensor fusion combining probability hypothesis density and kernelized correlation filters for multi-object tracking in video data | |
Gostar et al. | Robust multi-Bernoulli sensor selection for multi-target tracking in sensor networks | |
US10935653B2 (en) | Multi-target tracking method and tracking system applicable to clutter environment | |
JP2007249309A (en) | Obstacle tracking system and method | |
US8325086B2 (en) | Methods and systems to diminish false-alarm rates in multi-hypothesis signal detection through combinatoric navigation | |
JP2008096137A (en) | Radar device and angle measuring instrument | |
Taghavi et al. | Multisensor-multitarget bearing-only sensor registration | |
CN111220960B (en) | Target feature extraction method and device under multi-station radar | |
JP2014089058A (en) | Tracking processing device and tracking processing method | |
JP6084810B2 (en) | Tracking processing apparatus and tracking processing method | |
JP5737831B2 (en) | Moving target detection device | |
US20150323305A1 (en) | Observation supporting apparatus and observation supporting method | |
JP2009128288A (en) | Image data processor, image data processing method and program | |
CN110766725A (en) | Template image updating method and device, target tracking method and device, electronic equipment and medium | |
JP6641534B2 (en) | Target tracking device | |
US8326081B1 (en) | Correlation image detector | |
JP2017151076A (en) | Sound source survey device, sound source survey method, and program therefor | |
JP2015121473A (en) | Target tracking device and target tracking method | |
US8634653B1 (en) | Object identification system | |
Musicki et al. | Linear multitarget finite resolution tracking in clutter | |
Dyckman et al. | Particle filtering to improve GPS/INS integration | |
US20180372857A1 (en) | Target tracking apparatus | |
JP5618566B2 (en) | Tracking device | |
JP2012194044A (en) | Radar system | |
JP2003149328A (en) | Target correlation device of radar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190613 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190613 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6641534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |