JP4549929B2 - Sensor signal processing system - Google Patents
Sensor signal processing system Download PDFInfo
- Publication number
- JP4549929B2 JP4549929B2 JP2005152630A JP2005152630A JP4549929B2 JP 4549929 B2 JP4549929 B2 JP 4549929B2 JP 2005152630 A JP2005152630 A JP 2005152630A JP 2005152630 A JP2005152630 A JP 2005152630A JP 4549929 B2 JP4549929 B2 JP 4549929B2
- Authority
- JP
- Japan
- Prior art keywords
- signal source
- trajectory
- hypothesis
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Description
この発明は信号源数を推定してから観測情報の計測処理を行う信号処理アルゴリズムを使用するセンサ信号処理システムに関するものである。 The present invention relates to a sensor signal processing system that uses a signal processing algorithm that performs measurement processing of observation information after estimating the number of signal sources.
信号源数を推定してから観測情報の計測処理を行う信号処理アルゴリズムとして、例えば非特許文献1では、MUSIC(MUltiple SIgnal Classification)アルゴリズムを用いた信号処理装置が提案されている。このMUSICアルゴリズムでは、受信信号の相関行列を計算し、さらに相関行列を固有値分解して、固有値及び固有ベクトルを得る。固有値及び固有ベクトルは、信号源よりの信号成分を表す信号固有値と信号固有ベクトル、及び雑音成分を表す雑音固有値と雑音固有ベクトルで構成されている。一般的に、固有値の大きさをもって信号固有値と雑音固有値を判別し、信号固有値の個数から信号源数を推定する。推定結果に基づき、評価関数、例えばMUSICの場合はMUSICスペクトルを計算して、そのピーク値から観測情報を得る。
As a signal processing algorithm for measuring observation information after estimating the number of signal sources, for example, Non-Patent
信号固有値と雑音固有値の判別方法としては、固有値を大きい順に並べ、最も急激に大きさが減少した固有値より大きいものを信号固有値とする方法、最小固有値の一定倍以上の大きさの固有値を信号固有値とする方法、受信機の雑音を予め計測しておき、その電力から適正な閾値を見積もって、それ以上の固有値を信号固有値とする方法等がある。 The signal eigenvalues and noise eigenvalues can be distinguished by arranging the eigenvalues in descending order, and setting the eigenvalues larger than the eigenvalues whose magnitude has decreased most rapidly as signal eigenvalues. And a method in which the noise of the receiver is measured in advance, an appropriate threshold value is estimated from the power, and a higher eigenvalue is used as the signal eigenvalue.
従来のセンサ信号処理システムでは、信号源数が正しく推定されれば正しい観測情報が得られるものの、例えば著しく低S/N環境である等、信号源数の推定に適さない環境下では信号源数の推定を誤ることがあり、その結果、偽目標や誤った観測情報を生じる場合があるという課題があった。 In the conventional sensor signal processing system, correct observation information can be obtained if the number of signal sources is correctly estimated, but the number of signal sources is not suitable for estimation of the number of signal sources, for example, in a very low S / N environment. As a result, there is a problem that a false target or incorrect observation information may be generated.
この課題を解決するため、例えば特許文献1では、信号源数の推定に過去の追尾情報を利用することによって、正しい信号源数を推定する方法を提案している。この特許文献1に記載されたセンサ信号処理システムは、センサを有する受信器を用いて信号源からの受信信号を取得し、信号源の観測情報を取得する際に、信号源数を推定してから観測情報の計測処理を行うもので、信号源数の仮説を予め蓄積する信号源数仮説メモリと、A/D変換器を介して受信信号を取り込み、信号源数の推定に必要な値を算出する信号前処理部と、信号前処理部の出力情報を用いて、信号源数仮説メモリ内の複数の仮説に基づく信号源数における所望の観測情報を全て算出する観測情報抽出部と、観測情報抽出部により抽出された観測情報に基づき、各仮説における信号源の信号空間における時間的な軌跡を、追尾フィルタを用いて作成する軌跡推定部と、軌跡推定部により作成された軌跡が追尾フィルタの運動モデルにどの程度合致しているかを表す軌跡の尤もらしさを求める軌跡評価部と、軌跡の尤もらしさから算出される仮説の適合度を比較することにより、信号源数を延期決定する仮設評価部と、仮説の適合度が低下した仮説を信号源数仮説メモリから削除する仮説削除部とを備えたものである。
In order to solve this problem, for example,
この特許文献1に示す方法は、信号源数の仮説に基づき観測情報推定アルゴリズムで抽出した観測情報を追尾フィルタで処理して得られる軌跡が、予め追尾フィルタに設定されている運動モデルに合致しているほど仮説の信頼性が高いと考えて、正しい信号源数を延期決定する方法である。この方法によれば、信号源数の推定に過去の情報も利用できるので、信号源がアルゴリズムによって分解可能な状態にあれば、ある程度信号源数の推定が困難な環境下においても、正しく信号源数を推定することができる。
In the method disclosed in
ここで、これらの信号源数推定方法によって推定される信号源数は、いずれもアルゴリズムにより分解可能な波源数である。例えば、2個の信号源が分解不能な状態にまで接近している場合には、信号源数を2個と考えて検出処理を行っても、正しい観測値は得られない。この場合、一般的に観測値は1個しか得られず、もう1個は信号源とは無関係な偽像を検出することになる。そのため、分解可能な状態から信号源の接近等により分解不能な状態に変化した場合には、分解可能な信号源数を素早く推定して観測情報を得る必要がある。逆に、分解不能であった複数の信号源が離反等して、分解可能な信号源数が変化した場合も同様である。 Here, the number of signal sources estimated by these signal source number estimation methods is the number of wave sources that can be resolved by an algorithm. For example, when two signal sources are approaching a state where they cannot be disassembled, a correct observation value cannot be obtained even if detection processing is performed assuming that the number of signal sources is two. In this case, generally only one observation value is obtained, and the other one detects a false image that is unrelated to the signal source. For this reason, when the state is changed from a resolvable state to an unresolvable state due to the approach of a signal source or the like, it is necessary to quickly estimate the number of resolvable signal sources and obtain observation information. Conversely, the same applies to the case where the number of signal sources that can be decomposed changes due to separation of a plurality of signal sources that could not be resolved.
従来のセンサ信号処理システムは以上のように構成され、特許文献1の方法では、過去の追尾情報を用いて分解可能な信号源数の推定を行うため、信号源の接近離反等によって分解可能な信号源数が変化した場合、その検出に時間がかかるという課題があった。具体的には、2個の信号源が接近して分解できない場合を例とすると、信号源数が2の仮説においては、1個の観測値と1個の偽像が得られるようになる。そのため、分解できなくなった直後はメモリトラック処理(予測値で軌跡を継続する追尾フィルタ処理)等によって軌跡が維持されるが、いずれ一方の信号源の軌跡が途切れると、信頼度が低下して信号源数が変化したことが検出される。このように過去の追尾情報を利用しているため、信号源数が変化した場合には、かえって検出に時間がかかるのである。そして、その間、目標検知性能、追尾維持性能が劣化するという課題もあわせて発生する。
The conventional sensor signal processing system is configured as described above. In the method of
しかも、このような接近離反による信号源数変化は一時的なものであるため、本来は接近離反の間を通して、継続して信号源を追尾できることが望ましい。しかし、従来の方式では、信号源数が変化したと認識するため軌跡が途切れてしまうという課題があった。 In addition, since the change in the number of signal sources due to such approach and separation is temporary, it is desirable that the signal source can be continuously tracked during the approach and separation. However, the conventional method has a problem that the trajectory is interrupted to recognize that the number of signal sources has changed.
また、特許文献1の方法では、各信号源数仮説の追尾結果は全て独立に管理されており、仮説間で追尾結果を共有するということはなされない。そのため、新たに正解となった信号源数仮説では、過去の誤った観測値の影響を受けて追尾性能がなかなか向上しないことがある上、それまでの正解仮説における追尾情報も有効活用されていないという課題もあった。
Further, in the method of
この発明は上記のような課題を解決するためになされたもので、信号源数を正しく推定し、目標検知性能及び追尾維持性能を向上させることができるセンサ信号処理システムを得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to obtain a sensor signal processing system capable of correctly estimating the number of signal sources and improving target detection performance and tracking maintenance performance. .
また、信号源数仮説間で追尾結果を共有することにより追尾情報の有効活用を図り、迅速に信号源数の変化に対処することができるセンサ信号処理システムを得ることを目的とする。 It is another object of the present invention to provide a sensor signal processing system that can effectively utilize tracking information by sharing tracking results among signal source number hypotheses and can quickly cope with changes in the number of signal sources.
この発明に係るセンサ信号処理システムは、信号源数を推定してから観測情報の計測処理を行う信号処理アルゴリズムを使用するものにおいて、分解可能軌跡メモリに記憶されている前回時刻において分解可能であると予測された追尾中の信号源の追尾情報から、信号源数仮説毎に追尾中の信号源が現在時刻において分解可能であるかを判定する分解可能軌跡予測部と、分解不能軌跡メモリに記憶されている前回時刻において分解不能であると予測された追尾中の信号源の追尾情報と現在時刻において抽出された観測値から、信号源数仮説毎に追尾中の信号源が離反したか否かを判定する離反信号源判定部と、上記分解可能軌跡予測部及び上記離反信号源判定部の判定結果に基づき、追尾中の信号源と現在時刻において抽出された観測値との相関を決定する相関決定部とを備えたものである。 The sensor signal processing system according to the present invention uses a signal processing algorithm that performs measurement processing of observation information after estimating the number of signal sources, and can be decomposed at the previous time stored in the decomposable locus memory. The tracking information of the tracking signal source predicted as follows and stored in the unresolvable track memory for determining whether the tracking signal source can be resolved at the current time for each signal source hypothesis. Whether the signal source being tracked is separated for each signal source hypothesis from the tracking information of the signal source being tracked that is predicted to be indecomposable at the previous time and the observed value extracted at the current time Based on the determination results of the separation signal source determination unit, the resolvable trajectory prediction unit, and the separation signal source determination unit, the signal source being tracked and the observation value extracted at the current time It is obtained by a correlation determination unit for determining the relationship.
この発明により、信号源数を正しく推定することができ、目標検知性能及び追尾維持性能を向上させることができるという効果が得られる。 According to the present invention, it is possible to correctly estimate the number of signal sources and to improve the target detection performance and tracking maintenance performance.
実施の形態1.
まず、この発明の基本的な考え方について、MUSICアルゴリズムを例として説明する。この発明は、信号源数を仮定した仮説(以下、信号源数仮説)を複数考慮し、各信号源数仮説で得られる観測値を追尾処理した結果に基づいて、各信号源数仮説の尤もらしさの尺度である仮説信頼度を計算し、正しい信号源数仮説を延期的に決定する方法に関するものである。その中でも特に信号源数の変化が生じた場合に、その変化を早期に検知して対応する信号処理を行うことによって、正しい観測情報を取得する方法を示している。
First, the basic concept of the present invention will be described using the MUSIC algorithm as an example. The present invention takes into account a plurality of hypotheses assuming the number of signal sources (hereinafter referred to as signal source number hypotheses), and based on the result of tracking the observation values obtained by each signal source number hypothesis, the likelihood of each signal source number hypothesis. The present invention relates to a method of calculating the hypothesis reliability, which is a measure of the likelihood, and deferring the correct signal source number hypothesis. In particular, when a change in the number of signal sources occurs, a method is shown in which correct observation information is acquired by detecting the change early and performing corresponding signal processing.
ここで、信号源数が変化する場合として、以下のケースが想定される。
(A)信号源が接近して分解不能になることにより分解可能な信号源数が減少する場合
(B)接近していた信号源が離反することにより分解可能な信号源数が増加する場合
(C)信号源が分離する場合(例:ブースターの切り離し等)
(D)信号源が消失する場合
(E)新たな信号源が覆域に進入してくる場合
このうち、上記(E)については、従来方式で信号源数の推定をする方法が効果的であるが、上記(A)〜(D)については、この発明の適用により、従来方式より早く正確に信号源数の推定及び追尾維持が可能となる。なお、上記(E)についても、信号源数の推定は従来方式で行うが、この発明の一部を適用することにより追尾性能の向上が期待できる。これについては後述する。
Here, the following cases are assumed as the number of signal sources changes.
(A) When the number of signal sources that can be decomposed decreases because the signal source approaches and becomes incapable of decomposition, (B) When the number of signal sources that can be decomposed increases because the signal source that has approached separates ( C) When the signal source is separated (eg, disconnecting the booster)
(D) When the signal source disappears (E) When a new signal source enters the coverage area Among these, for (E), the method of estimating the number of signal sources by the conventional method is effective. However, with regard to the above (A) to (D), the application of the present invention makes it possible to estimate the number of signal sources and maintain tracking faster and more accurately than the conventional method. As for (E), the number of signal sources is estimated by the conventional method. However, by applying a part of the present invention, improvement in tracking performance can be expected. This will be described later.
以下、MUSICアルゴリズムの例を用いて具体的な考え方の概要を説明する。
図1は上記(A),(B)の信号源の接近・離反の場合のMUSICスペクトルの時系列変化例を示す図である。上記(A)において、図1(a),(b)では2個の信号源が次第に接近し、図1(c)では分解不能になっていく様子を時系列で表示したもので、真の信号源数仮説(信号源数2)におけるMUSICスペクトルを示している。信号源が分解不能になると、ピークが1個しか得られず偽像が発生する。しかし、時系列でみると、信号源の運動を追尾していれば、事前に接近していくことがわかるので分解不能となることが予測可能である。このような場合には、1個のピークを2つの信号源に割り当てて偽像を破棄したり、あるいは信号源が1少ない信号源数仮説で得られるピークを2つの信号源に割り当てる等の対処をすることにより、信号源の追尾維持が可能となる。
Hereinafter, an outline of a specific concept will be described using an example of the MUSIC algorithm.
FIG. 1 is a diagram showing an example of a time-series change of the MUSIC spectrum when the signal sources (A) and (B) are approaching and separating. In (A) above, the two signal sources gradually approach in FIGS. 1 (a) and 1 (b), and the state in FIG. The MUSIC spectrum in the signal source number hypothesis (signal source number 2) is shown. When the signal source cannot be resolved, only one peak is obtained and a false image is generated. However, when looking at the time series, it can be predicted that if the movement of the signal source is tracked, it will be approached in advance, so that it cannot be resolved. In such a case, a single peak is assigned to two signal sources and a false image is discarded, or a peak obtained by a hypothesis of the number of signal sources with one signal source is assigned to two signal sources. By doing so, tracking of the signal source can be maintained.
一方、上記(B)において、接近していた信号源が離反する場合のMUSICスペクトルの時系列変化は、上記(A)と逆に、図1(c)〜図1(a)のようになる。図1(c)の分解不能な状態では、偽像が出る位置は一定ではない。これに対し分解可能な状態になると、図1(b)、図1(a)に示すように、追尾中の分解不能な信号源の近くに新たなピークが得られるようになり、分解可能な信号源数が変化したことが検出できる。 On the other hand, in (B) above, the time-series change of the MUSIC spectrum when the approaching signal source is separated is as shown in FIGS. 1 (c) to 1 (a), contrary to (A) above. . In the state where disassembly is impossible in FIG. 1C, the position where the false image appears is not constant. On the other hand, when the state becomes decomposable, as shown in FIGS. 1 (b) and 1 (a), a new peak can be obtained near the unresolvable signal source being tracked and can be resolved. It can be detected that the number of signal sources has changed.
図2は上記(C)の信号源の分離の場合のMUSICスペクトルの時系列変化例を示す図であり、図2(a)の真の信号源数が1の状態から、図2(b)の目標の分離(離反以外)によって真の信号源数が2となった場合の信号源数が2の仮説のMUSICスペクトルを表している。分離前の状態では、信号源数が2の仮説では偽像が不定位置に発生する。これに対し分離後は、不定位置に発生する偽像がなくなり、分離前の信号源の近くから新たなピークが発生するようになり、信号源が分離したことが検出可能である。なお、図2では、上記(B)に述べた信号源の離反の場合とスペクトル変化の様子は同一であるが、上記(B)は真の目標数そのものは変化しておらず、過去に上記(A)のような信号源数の減少の事実があった場合に限られる。これに対し、上記(C)では、真の目標数すなわち正解の信号源数仮説が変化している点が異なっている。よってそれまでの正解の信号源数仮説から、新たな正解の信号源数仮説へと追尾情報の引継ぎを行うことが可能であり、過去の情報をより無駄なく利用できる。 FIG. 2 is a diagram showing an example of a time-series change of the MUSIC spectrum in the case of separation of the signal source of (C) above, from the state where the number of true signal sources in FIG. Represents the MUSIC spectrum of the hypothesis that the number of signal sources is 2 when the number of true signal sources is 2 due to separation of targets (other than separation). In the state before separation, a false image is generated at an indefinite position under the hypothesis that the number of signal sources is two. On the other hand, after separation, a false image generated at an indefinite position disappears, and a new peak is generated near the signal source before separation, and it is possible to detect that the signal source is separated. In FIG. 2, the state of the spectrum change is the same as in the case of separation of the signal source described in (B) above, but in (B), the true target number itself has not changed, and in the past, Only when there is a decrease in the number of signal sources as in (A). On the other hand, in (C), the true target number, that is, the number of correct signal source hypotheses is different. Therefore, it is possible to take over the tracking information from the correct signal source number hypothesis up to that time to the new correct signal source number hypothesis, and the past information can be used more efficiently.
図3は上記(D)の信号源の消失の場合のMUSICスペクトルの時系列変化例を示す図であり、2つの信号源のうち1つが消失する場合を想定している。図3(a)が消失前で、図3(b)が消失後である。1つが消失すると、信号源数が2の信号源数仮説では、偽像が発生するため、消失したほうの信号源はメモリトラックが続く。この消失した信号源に対応した航跡のメモリトラック回数をモニターすることによって、信号源数が変化したことが検出できる。なお、従来の方式でも、信号源数仮説の尤度が下がるのを待つことによって信号源が消失したことを検知することは可能であるが、特にMUSICアルゴリズムへの適用を想定している場合には、信号源を1つ多く誤っている信号源数仮説の場合、正しい信号源の観測値と偽像が1個得られるため、残った信号源については追尾が継続可能である場合が多く、1個の航跡のメモリトラックが信号源数仮説の尤度に与える影響は小さいため、仮説の尤度が下がるのには時間がかかる。よって、信号源数仮説全体ではなく、ある軌跡に着目するこの発明には適用効果がある。また、一方の信号源がレーダの覆域を出たため消失する場合には、追尾結果の時系列を見ることにより事前に信号源がレーダの覆域を出ることを予測することも可能である。これにより、速やかに信号源数の変化を検知することができる。 FIG. 3 is a diagram showing a time-series change example of the MUSIC spectrum in the case of the disappearance of the signal source (D), and assumes a case where one of the two signal sources disappears. FIG. 3A is before the disappearance, and FIG. 3B is after the disappearance. If one signal source disappears, a false image is generated in the signal source number hypothesis where the number of signal sources is 2, so that the memory track continues in the signal source that has disappeared. By monitoring the number of track memory tracks corresponding to the lost signal source, it can be detected that the number of signal sources has changed. Even in the conventional method, it is possible to detect the disappearance of the signal source by waiting for the likelihood of the signal source number hypothesis to be lowered, but particularly when application to the MUSIC algorithm is assumed. In the case of the hypothesis of the number of signal sources in which one signal source is mistaken a lot, since one observation value and one false image of the correct signal source are obtained, tracking of the remaining signal sources can often be continued. Since the influence of the memory track of one wake on the likelihood of the signal source number hypothesis is small, it takes time to reduce the likelihood of the hypothesis. Therefore, the present invention which focuses on a certain trajectory rather than the entire signal source number hypothesis has an application effect. When one signal source disappears because it has gone out of the radar coverage, it is also possible to predict in advance that the signal source will leave the radar coverage by looking at the time series of the tracking results. Thereby, a change in the number of signal sources can be detected quickly.
ところで、上記(E)については、過去の追尾情報から予め信号源数の変化を検知することはできないが、従来方式によって新たな信号源を検知した後、新たに正解となった信号源数仮説の追尾情報として、それまで正解であった信号源数仮説の追尾情報を移管して使用することにより、従来方式よりも迅速に追尾性能を向上することができるので、この発明の適用効果が期待できる。 By the way, with regard to (E), it is impossible to detect a change in the number of signal sources in advance from the past tracking information. However, after detecting a new signal source by the conventional method, the number of signal sources newly hypothesized becomes a correct answer. As tracking information, the tracking information of the signal source hypothesis that was correct until then can be transferred and used, so that the tracking performance can be improved more quickly than the conventional method. it can.
以上の考え方を適用したこの発明を実施する最良の形態について、以下、具体的なシステム構成を説明する。
まず、この発明の説明において使用する用語の定義を示す。
「真の信号源数」とは、分解の可否にかかわらず、実際の信号源がいくつあるかを表したものである。「分解可能である信号源数」とは、使用する信号処理アルゴリズムで分解可能な信号源の数を示す。例えば、実際には信号源が2個であるが、接近しすぎて1個にしか見えない場合には、真の信号源数=2で、分解可能である信号源数=1となる。
A specific system configuration will be described below with regard to the best mode for carrying out the present invention to which the above concept is applied.
First, definitions of terms used in the description of the present invention will be given.
“The number of true signal sources” represents the number of actual signal sources regardless of whether or not decomposition is possible. The “number of signal sources that can be decomposed” indicates the number of signal sources that can be decomposed by a signal processing algorithm to be used. For example, if there are actually two signal sources but only one signal source can be seen because it is too close, the number of true signal sources = 2 and the number of signal sources that can be resolved = 1.
「信号源数仮説」とは、真の信号源がいくつあるかを仮説として表したものである。「軌跡の評価関数」とは、ここでは、各信号源数仮説において作成される各信号源の軌跡について、信号源がどのような動きをするのかを予め想定しておく運動モデルとどの程度合致しているかを評価する関数のことを指している。「仮説信頼度」とは、上記評価関数を用いて、各信号源数仮説がどの程度正解に近いか、信号源数仮説間で比較できるように正規化して表したものである。「追尾情報」とは、追尾フィルタの出力である予測値、推定値(平滑値)、ゲイン行列、誤差共分散行列、残差共分散行列、相関観測値といった軌跡に付随する全情報を示している。 The “signal source number hypothesis” expresses how many true signal sources exist as a hypothesis. Here, the “trajectory evaluation function” refers to the degree to which the motion model assumes in advance how the signal source will move with respect to the trajectory of each signal source created in each signal source number hypothesis. It refers to a function that evaluates whether it is doing. The “hypothesis reliability” is expressed by using the above evaluation function, normalized so that each signal source number hypothesis is close to the correct answer so that the signal source number hypotheses can be compared. “Tracking information” refers to all information attached to the trajectory such as predicted values, estimated values (smooth values), gain matrix, error covariance matrix, residual covariance matrix, and correlation observation values that are output from the tracking filter. Yes.
次に、この発明を実施するための最良の形態について説明する。
図4はこの発明の実施の形態1によるセンサ信号処理システムの構成を示すブロック図である。なお、信号処理アルゴリズムとして、MUSICアルゴリズムを使用した場合を想定しているが、信号源数を推定してから、その情報に基づいて観測値を抽出する方式であれば、この発明は適用可能である。
Next, the best mode for carrying out the present invention will be described.
FIG. 4 is a block diagram showing the configuration of the sensor signal processing system according to
図4に示すセンサ信号処理システムは、受信部101、A/D変換部102、信号前処理部103、分解不能軌跡メモリ104、分解可能軌跡メモリ105、信号源数仮説メモリ106、観測情報抽出部107、分解可能軌跡予測部108、離反信号源判定部109、相関決定部110、軌跡推定部111、軌跡予測部112、軌跡評価部113、仮説評価部114、仮説削除部115、仮説設定部116、表示用軌跡選択部117、表示部118及び仮説間メモリ移管部119を備えている。
The sensor signal processing system shown in FIG. 4 includes a reception unit 101, an A / D conversion unit 102, a
図4において、受信部101は図示しない送信源よりの送信波が物標に反射して得られた反射波を受信する。A/D変換部102は受信部101が取得する受信信号をA/D変換する。信号前処理部103はA/D変換された受信信号から信号源数の推定に必要な前処理を行う。分解不能軌跡メモリ104は分解不能であると予測された追尾中の信号源の追尾情報を記憶する。分解可能軌跡メモリ105は分解可能であると予測された追尾中の信号源の追尾情報を記憶する。信号源数仮説メモリ106は真の信号源数がいくつであるかという信号源数仮説を記憶する。観測情報抽出部107は信号前処理部103による前処理結果から信号源数仮説メモリ106に記憶されている信号源数仮説の数だけの観測値を抽出する。
In FIG. 4, the receiving unit 101 receives a reflected wave obtained by reflecting a transmission wave from a transmission source (not shown) on a target. The A / D converter 102 performs A / D conversion on the received signal acquired by the receiver 101. The
分解可能軌跡予測部108は、信号源数仮説メモリ106に記憶されている信号源数仮説毎に、分解可能軌跡メモリ105に記憶されている前回時刻に分解可能であると予測された追尾中の信号源の追尾情報の中の予測値から、追尾中の信号源が現在時刻に分解可能であるかを判定し、分解可能と判定された追尾中の信号源の予測値を出力する。離反信号源判定部109は、観測情報抽出部107により抽出された観測値の中から、分解不能軌跡メモリ104に記憶されている分解不能であると予測された追尾中の信号源の追尾情報の中の予測値からの所定範囲を示す相関ゲート内に存在する観測値を、信号源数仮説メモリ106に記憶されている信号源数仮説毎に抽出して、追尾中の信号源が離反したか否かを判定し、追尾中の信号源の予測値とその判定結果を出力する。
The decomposable
相関決定部110は、観測情報抽出部107から出力された観測値、分解可能軌跡予測部108から出力された分解可能と判定された追尾中の信号源の予測値、離反信号源判定部109から出力された追尾中の信号源の予測値とその判定結果、及び分解不能軌跡メモリ104に記憶されている分解不能であると予測された追尾中の信号源の追尾情報の中の過去の推定値を入力し、信号源数仮説メモリ106に記憶されている信号源数仮説毎に、分解可能軌跡予測部108から出力された分解可能と判定された追尾中の信号源の予測値からの所定範囲を示す相関ゲート内に存在する観測値を相関ありと決定し、離反信号源判定部109から出力された離反していないと判定された追尾中の信号源の予測値からの所定範囲を示す相関ゲート内に存在する観測値を相関ありと決定し、離反信号源判定部109から出力された離反したと判定された追尾中の信号源の過去の推定値から求めた予測値からの所定範囲を示す相関ゲート内に存在する観測値を相関ありと決定することにより、追尾中の信号源と観測値との相関を決定して、分解可能軌跡予測部108から出力された分解可能と判定された追尾中の信号源の予測値、離反信号源判定部109から出力された追尾中の信号源の予測値とその判定結果、及び相関が決定された観測値を出力する。
The
軌跡推定部111は、相関決定部110から出力された、分解可能軌跡予測部108からの分解可能と判定された追尾中の信号源の予測値、離反信号源判定部109からの追尾中の信号源の予測値とその判定結果、及び相関が決定された観測値、内部に保持しているゲイン行列に基づき、信号源数仮説メモリ106に記憶されている信号源数仮説毎に、信号源の時間的な軌跡を推定し推定値を出力する。軌跡予測部112は、軌跡推定部111から出力された推定値と内部に保持している推移行列に基づき、次回観測時における軌跡を予測し信号源の予測値を算出し、分解不能であると予測された追尾中の信号源の追尾情報(次回観測時における信号源の予測値を含む)を分解不能軌跡メモリ104に記憶し、分解可能であると予測された追尾中の信号源の追尾情報(次回観測時における信号源の予測値を含む)を分解可能軌跡メモリ105に記憶する。
The
軌跡評価部113は、相関決定部110から出力された、分解可能軌跡予測部108からの分解可能と判定された追尾中の信号源の予測値、離反信号源判定部109からの追尾中の信号源の予測値とその判定結果、及び相関が決定された観測値に基づき、信号源数仮説メモリ106に記憶されている信号源数仮説の各軌跡毎に、実際の観測値の検出確率を求め、求めた実際の観測値の検出確率と、事前に定義されている信号源の検出確率に基づき、所定の評価関数により各軌跡の尤度を計算する。仮説評価部114は、軌跡評価部113により計算された各軌跡の尤度に基づき、信号源数仮説メモリ106に記憶されている信号源数仮説毎の仮説信頼度を計算することにより各信号源数仮説を評価し、各信号源数仮説の仮説信頼度を評価結果として出力する。
The
仮説削除部115は、仮説評価部114により評価された各信号源数仮説の仮説信頼度に基づき削除すると判定された信号源数仮説を、信号源数仮説メモリ106から削除する。仮説設定部116は、仮説評価部114により評価された各信号源数仮説の仮説信頼度に基づき、適合する信号源数仮説が記憶されておらず、新設を要すると判定された場合には、オペレータからの指示に基づき又は自動的に、信号源数仮説メモリ106に新たな信号源数仮説を設定する。表示用軌跡選択部117は、軌跡推定部111により推定された信号源の時間的な軌跡の推定値と仮説評価部114により評価された各信号源数仮説の仮説信頼度に基づき、仮説信頼度の最も高い軌跡を、例えばPPI(Plan-Position Indicator)等に表示する表示用軌跡として選択する。表示部118は表示用軌跡選択部117により選択された表示用軌跡を表示する。
The
仮説間メモリ移管部119は、表示用軌跡選択部117により選択された表示用軌跡、すなわち、今回時刻において表示用であると選択された信号源数仮説の番号、及び前回時刻において表示用であると選択された信号源数仮説の番号を比較し、今回時刻において、前回時刻と異なる表示用軌跡を選択している場合に、分解不能軌跡メモリ104及び分解可能軌跡メモリ105に記憶されている過去に高い仮説信頼度が与えられた信号源数仮設における過去の追尾情報を、今回新たに高い仮説信頼度が与えられた信号源数仮説に移管する。
The inter-hypothesis
次に動作について説明する。
図5はこの発明の実施の形態1によるセンサ信号処理システムの処理の流れを示すフローチャートである。
ステップST1において、観測を開始する前に、まず、仮説設定部116は予め決められた信号源数仮説を信号源数仮説メモリ106に設定する。ここで設定する信号源数仮説は、センサ数等より定まる最大信号源数を上限として、考えられる全ての信号源数を信号源数仮説としても良いし、任意の値を信号源数仮説としても良い。
Next, the operation will be described.
FIG. 5 is a flowchart showing a process flow of the sensor signal processing system according to the first embodiment of the present invention.
In step ST1, before starting the observation, first, the hypothesis setting unit 116 sets a predetermined signal source number hypothesis in the signal source
ステップST2からステップST20までの処理は時刻ループであり、時刻毎の処理手順を示している。
ステップST2おいて、このセンサ信号処理システムの時刻取得部(図示せず)は現在時刻を取得する。ステップST3において、受信部101は送信源よりの送信波が物標に反射して得られた反射波を受信し、A/D変換部102は受信部101により受信されたアナログの受信信号をデジタルの受信信号にA/D変換する。
The processing from step ST2 to step ST20 is a time loop, and shows a processing procedure for each time.
In step ST2, a time acquisition unit (not shown) of the sensor signal processing system acquires the current time. In step ST3, the reception unit 101 receives a reflected wave obtained by reflecting a transmission wave from a transmission source on a target, and the A / D conversion unit 102 digitally converts an analog reception signal received by the reception unit 101. A / D conversion to the received signal.
ステップST4において、信号前処理部103はA/D変換されたデジタルの受信信号から信号源数の推定に必要な前処理を行う。この前処理は、信号源数にかかわらず必要な信号処理で、MUSICアルゴリズムの場合は、デジタルの受信信号の相関行列計算と固有値解析に相当する。他のアルゴリズムに適用する例としては、例えば、FMCW(Frequency Modulated Continuous Wave)レーダのビート信号のピーク検出に適用する場合には、ビート信号のFFT(Fast Fourier Transform)によりビート周波数スペクトルを求めることに相当する。
In step ST4, the
ステップST5からステップST15までの処理は仮説ループであり、信号源数仮説毎に抽出される観測値が異なるので信号源数仮説毎に行う処理である。
ステップST5において、観測情報抽出部107は、信号前処理部103による前処理結果から信号源数仮説メモリ106に記憶されている信号源数仮説の数だけの観測値を抽出する。ここで、MUSICアルゴリズムを使用する場合には、デジタルの受信信号の相関行列計算と固有値解析の結果からMUSICスペクトルを計算し、信号源数仮説の数だけのピークを観測値として抽出する。FMCWレーダへの適用を想定した場合には、FFT処理後のビート周波数スペクトルから信号源数仮説の数だけのピークを観測値として抽出する。
The processing from step ST5 to step ST15 is a hypothesis loop, and the observation value extracted for each signal source number hypothesis is different, so that the processing is performed for each signal source number hypothesis.
In step ST <b> 5, the observation
ステップST6からステップST14までの処理は軌跡ループであり、軌跡毎に行われる処理である。
ステップST6において、現在追尾中である信号源が、前回時刻において分解可能と判定されて分解可能軌跡メモリ104に記憶されている場合にはステップST7に移行し、前回時刻において分解不能と判定されて分解不能軌跡メモリ105に記憶されている場合にはステップST9に移行する。
The processing from step ST6 to step ST14 is a trajectory loop, which is performed for each trajectory.
In step ST6, when the signal source currently being tracked is determined to be decomposable at the previous time and stored in the
上記ステップST6で、現在追尾中である信号源が、前回時刻において分解可能と判定された場合には、ステップST7において、分解可能軌跡予測部108は、信号源数仮説メモリ106に記憶されている信号源数仮説毎に、分解可能軌跡メモリ105に記憶されている前回時刻において分解可能であると予測された追尾中の信号源の追尾情報の中の予測値から、現在追尾中の信号源が今回時刻において分解可能であるかを判定し、分解可能と判定された追尾中の信号源の予測値を出力する。分解可能軌跡メモリ105には、時刻、信号源数仮説番号、軌跡番号、各奇跡との分解可否結果等のデータが記憶されており、分解可能軌跡予測部108は、これらのデータに基づき、現在追尾中の信号源が今回時刻において分解可能であるかを判定する。ステップST8において、分解可能軌跡予測部108は今回時刻における分解可能な信号源数を推定する。
If it is determined in step ST6 that the signal source currently being tracked is decomposable at the previous time, the decomposable
図6は分解可能軌跡予測部108の内部構成を示すブロック図である。この分解可能軌跡予測部108は、予測諸元差算出部201、分解可否判定部202、スイッチ203、分解不能軌跡予測値算出部204、分解可能信号源数推定部205及び出力部206を備えている。
FIG. 6 is a block diagram showing an internal configuration of the resolvable
図6において、予測諸元差算出部201は、分解可能軌跡メモリ105に記憶されている追尾情報に含まれる前回時刻における予測値により、軌跡間の予測諸元(予測値)の差を計算する。分解可否判定部202は、予測諸元差算出部201により算出された軌跡間の予測諸元(予測値)の差により、今回時刻における軌跡の分解可否を判定し、今回時刻における分解可能軌跡の予測値を算出する。スイッチ203は、分解可否判定部202からの分解可否判定結果と分解可能軌跡の予測値を入力し、分解可能軌跡群については分解可能軌跡の予測値を合成部206に出力し、分解不能軌跡群についてはそれらの各軌跡を分解不能軌跡予測値算出部204に出力する。
In FIG. 6, a prediction specification
分解不能軌跡予測値算出部204は、分解不能軌跡群の各軌跡について、分解可能軌跡メモリ105に記憶されている追尾情報に含まれる前回時刻における予測値により、今回時刻における分解不能軌跡群のグループの予測値を計算する。分解可能信号源数推定部205は分解可否判定部202から分解可能軌跡の予測値を入力し分解可能な信号源数を推定する。出力部206は、スイッチ203からの分解可能軌跡の予測値と、分解不能軌跡予測値算出部204からの分解不能軌跡のグループの予測値と、分解可能信号源数推定部205からの分解可能な信号源数をまとめて、分解可能と判定された信号源の予測値として出力する。なお、出力部206により出力される分解可能と判定された信号源の予測値の中には、分解不能軌跡のグループの予測値も含まれているが、グループの予測値となった軌跡はグループとして他の軌跡とは分離可能となるために、分解可能と判定された信号源の予測値に含めている。
The non-decomposable trajectory predicted
予測諸元差算出部201は、次の(1)式により、軌跡i,j間の予測諸元の差dXpij,k を計算する。
dXpij,k=|Xpi ,k−Xpj ,k| (1)
ここで、Xpi ,k,Xpj ,k は分解可能軌跡メモリ105に記憶されている軌跡の予測値である。
Prediction specifications
dXp ij, k = | Xp i , k−Xp j , k | (1)
Here, Xp i, k, Xp j , k is the predicted value of the locus stored in the
分解可否判定部202は、予測諸元差算出部201により計算された軌跡i,j間の予測諸元の差dXpij,kに基づいて分解の可否を判定する。例えば、次の(2)式に示すように、軌跡i、j間の予測諸元の差dXpij,kが予め設定した固定又は可変の分解可否を判定する閾値Thdiv よりも小さい場合には、分解不能とする方法がある。
dXpij,k<Thdiv (2)
ここで、Thdiv を可変とする場合には、例えばS/Nが比較的高い場合には小さく設定し、著しく低S/Nである場合には大きく設定する等の方法がある。
The decomposition
dXp ij, k <Th div (2)
Here, when making Th div variable, for example, there is a method of setting it small when the S / N is relatively high, and setting it large when the S / N is extremely low.
分解可否判定部202が分解不能であると判定すると、スイッチ203を介して、分解不能軌跡予測値算出部204は、分解不能軌跡の予測値Xgpm,kを次の(3)式により算出する。この予測値は、分解不能となった軌跡群を1つのグループと考えた際に、グループ全体としての予測値の役割を果たすもので、後述する分解不能軌跡に相関する観測値を取得する際に相関ゲートの中心となる。
重み係数Wq は1としても良いし、各軌跡の予測誤差の分散や残差の分散に応じて、分散が小さいほど重みが大きくなるように計算しても良い。具体的には次の(4)式で与えることができる。
Wq =1/Ppq (4)
ここで、Ppqは軌跡qの予測誤差の分散又は残差の分散であり、分解可能軌跡メモリ105に記憶されている。
The weighting factor Wq may be set to 1, or may be calculated so that the weight becomes larger as the variance is smaller according to the variance of the prediction error and the variance of the residuals of each trajectory. Specifically, it can be given by the following equation (4).
W q = 1 / Ppq (4)
Here, Ppq is the variance of the prediction error or the residual variance of the trajectory q, and is stored in the
一方、図5のステップST6で、現在追尾中である信号源が前回時刻において分解不能と判定された場合には、今回時刻において信号源が離反する可能性があるためステップST9へ移行する。ステップST9において、離反信号源判定部109は今回時刻において離反する信号源数を推定する。ステップST10において、離反信号源判定部109は今回時刻において離反する信号源の軌跡がどれかを推定する。 On the other hand, if it is determined in step ST6 of FIG. 5 that the signal source currently being tracked cannot be disassembled at the previous time, the signal source may be separated at the current time, and the process proceeds to step ST9. In step ST9, the separation signal source determination unit 109 estimates the number of signal sources that separate at the current time. In step ST10, the separation signal source determination unit 109 estimates which is the locus of the signal source that separates at the current time.
図7は離反信号源判定部109の内部構成を示すブロック図である。この離反信号源判定部109は、分解不能軌跡予測値算出部301、離反判定部302、スイッチ303、離反軌跡決定部304、軌跡予測値再計算部305及び出力部306を備えている。
FIG. 7 is a block diagram showing an internal configuration of the separation signal source determination unit 109. The separation signal source determination unit 109 includes an unresolvable locus predicted value calculation unit 301, a separation determination unit 302, a
図7において、分解不能軌跡予測値算出部301は、信号源数仮説メモリ106に記憶されている信号源数仮説毎に、分解不能軌跡メモリ104に記憶されている前回時刻における分解不能軌跡の追尾情報に含まれる予測値を読み出して、今回時刻における分解不能軌跡の予測値を算出する。離反判定部302は、分解不能軌跡予測値算出部301により得られた予測値を中心としたゲート内に、観測情報抽出部107により抽出された観測値が2個以上存在するか否かにより離反の有無を判定し、ゲート内の観測値の数により離反信号源数を推定し、離反の有無の判定結果と、推定した離反信号源数と、分解不能軌跡メモリ104からの前回時刻における分解不能軌跡の予測値と、離反ありと判定された分解不能軌跡の予測値と、離反なしと判定された分解不能軌跡の予測値とを出力する。
In FIG. 7, the unresolvable locus predicted value calculation unit 301 tracks the unresolvable locus at the previous time stored in the
スイッチ303は、離反の有無の判定結果により、離反ありと判定された分解不能軌跡の予測値と、離反なしと判定された分解不能軌跡の予測値を切り替えて出力する。離反軌跡決定部304は、離反ありと判定された分解不能軌跡の中から、離反ありと判定された分解不能軌跡の予測値を中心としたゲート内の観測情報抽出部107により抽出された観測値と離反判定部302により推定された離反信号源数とを用いて離反する軌跡を決定する。軌跡予測値再計算部305は、スイッチ303からの離反ありと判定された分解不能軌跡の予測値から、離反軌跡決定部304により決定された離反する軌跡を除いて、分解不能軌跡の予測値を再計算する。出力部306は、スイッチ303からの離反なしと判定された分解不能軌跡の予測値と、軌跡予測値再計算部305により計算された分解不能軌跡の予測値をまとめて、追尾中の信号源の予測値として出力すると共に、離反の有無の判定結果を出力する。
The
次に図5のステップST9〜ステップST10の詳細な動作について説明する。
まず、分解不能軌跡予測値算出部301は分解不能軌跡の予測値Xgpm,k を算出する。分解不能軌跡の予測値Xgpm,k は、上記(3)式で求めることができるほか、分解不能軌跡メモリ104からの追尾情報に含まれる前回時刻における分解不能軌跡の平滑値Xgsm,k-1を、推移行列Φを用いて外挿した値を使用して次の(5)式により求めることもできる。
Xgpm,k =Φ・Xgsm,k-1 (5)
ここで、推移行列Φは、信号源がどのように動くかを(例えば等速直進運動をする等)予め規定する運動モデルによって定まる行列であり、分解不能軌跡予測値算出部301が内部に保持している。
Next, detailed operations of step ST9 to step ST10 in FIG. 5 will be described.
First, the unresolvable trajectory predicted value calculation unit 301 calculates a predicted value Xgpm, k of the unresolvable trajectory. The predicted value Xgpm, k of the non-decomposable locus can be obtained by the above equation (3), and the smooth value Xgsm, k-1 of the unresolvable locus at the previous time included in the tracking information from the
Xgpm, k = Φ · Xgsm, k-1 (5)
Here, the transition matrix Φ is a matrix determined by a motion model that prescribes how the signal source moves (for example, at a constant speed linear motion, etc.), and is stored in the indecomposable trajectory predicted value calculation unit 301 internally. is doing.
離反判定部302は信号源離反の有無を調べる。例えば、分解不能であった2つの信号源が離反した場合、信号源数2の信号源数仮説では、上記図1に示したように、分解不能軌跡の予測値Xgpm,k の近くに、分解不能である信号源に相関する観測情報と、離反した信号源に相関する観測情報の2つが得られるようになる。すなわち、次の(6)式を満たす観測値Zi,k が、分離不能軌跡の予測値Xgpm,k を中心とした規定のゲートサイズGatediv の中に複数あれば、離反する信号源があると判定する。
|Xgpm,k−Zi,k|<Gatediv (6)
ここで、Zi,k は観測値(i=1,2,…,M)で、Mは観測値数である。
離反判定部302は、上記(6)式で判定された離反ありの軌跡の予測値と離反なしの軌跡の予測値を出力する。
The separation determination unit 302 checks whether or not the signal source is separated. For example, when two signal sources that could not be resolved are separated, the signal source number hypothesis of the number of
| Xgpm, k-Zi, k | <Gate div (6)
Here, Zi, k is an observed value (i = 1, 2,..., M), and M is the number of observed values.
The separation determination unit 302 outputs the predicted value of the trajectory with separation and the predicted value of the trajectory without separation determined by the above equation (6).
離反判定部302による判定の結果、離反する信号源があると判定された場合には、スイッチ303を介して、離反ありの軌跡予測値と離反ありの情報と離反する信号源数と前回時刻における追尾情報が、離反軌跡決定部304に入力される。離反軌跡決定部304は、分解不能軌跡の中から、どの軌跡が離反するか、観測情報抽出部からの観測値とスイッチ303を介して入力された各情報を用いて決定する。具体的な決定方法例としては、分解不能となる直前の時刻における軌跡の平滑値を、今回の時刻まで外挿して得られる外挿予測値と、今回得られた観測値との差を比較し、最も観測値に近いものを選択する方法がある。なお、外挿予測値は軌跡の平滑値と離反軌跡決定部304が保持する推移行列により計算される。
As a result of the determination by the separation determination unit 302, when it is determined that there is a signal source that is separated, the predicted trajectory value with separation and the information with separation and the number of signal sources that are separated and the previous time are determined via the
図8は離反軌跡決定部304による離反軌跡決定方法を説明する図である。図8において、Xgpm,k は、軌跡h、軌跡i、軌跡jにより構成されている分解不能軌跡のグループの予測値である。Xgpm,k を中心としたゲート内には、2つの観測値Zon1,k,Zon2,kが得られている。すなわち、軌跡h、軌跡i、軌跡jが時刻kstartで分解不能となり、今回時刻kで、2つの観測値Zon1,k,Zon2,k が得られているので、3つのうちいずれかが分解可能になった状態を表している。各軌跡の外挿予測値Xph_ex,k,Xpi_ex,k,Xpj_ex,kは次の(7)式で得られる。
Xptemp_ex,k=Φ(k-kstart)・Xstemp,kstart (7)
ここで、Xptemp_ex,k は今回時刻(k)における軌跡tempの外挿予測値(temp=h,i,j)で、Xstemp,kstart は分解不能となる直前の時刻(kstart)の軌跡tempの平滑値で、Φ(k-kstart)は時刻kstartから時刻kまでの推移行列である。
FIG. 8 is a diagram for explaining a method for determining a separation locus by the separation
Xptemp_ex, k = Φ (k-kstart) / Xstemp, kstart (7)
Here, Xptemp_ex, k is the extrapolated predicted value (temp = h, i, j) of the trajectory temp at the current time (k), and Xstemp, kstart is the smoothing of the trajectory temp at the time (kstart) immediately before the decomposition becomes impossible. Φ (k-kstart) is a transition matrix from time kstart to time k.
この場合、離反するとして選択される軌跡tempは、次の(8)式を満たすものを選択する。また、相関する観測値はZj,kとなり、図8では、それぞれ軌跡j、観測値Zon2,kが該当する。
min(|Xptemp_ex,k−Zj,k|) (8)
つまり、図8では、グループの予測値Xgpm,kに最も近い観測値がZon1,k なので、分解できないグループにZon1,k が相関する観測値として割り当てられ、残りの観測値Zon2,k に最も近い外挿予測値Xpj_ex,k は軌跡jの外挿予測値となっているために、離反するとして選択される軌跡は軌跡jと決定される。
In this case, the trajectory temp selected as being separated is selected to satisfy the following equation (8). Further, the correlated observed values are Zj, k, and in FIG. 8, the locus j and the observed values Zon2, k correspond, respectively.
min (| Xptemp_ex, k−Zj, k |) (8)
That is, in FIG. 8, since the observation value closest to the predicted value Xgpm, k of the group is Zon1, k, Zon1, k is assigned as the correlated observation value to the group that cannot be decomposed, and is closest to the remaining observation value Zon2, k. Since the extrapolated predicted value Xpj_ex, k is the extrapolated predicted value of the trajectory j, the trajectory selected as being separated is determined as the trajectory j.
離反する軌跡jが決定したら、軌跡予測値再計算部305は、軌跡jを除いた分解不能軌跡を用いて分解不能軌跡の予測値を再計算する。具体的な計算方法は、分解不能軌跡予測値算出部301の計算方法と同様である。なお、離反できない状態が長く続いた場合には、各軌跡の予測値の精度は劣化する可能性があり、その場合、軌跡予測値再計算部305における再計算は省略することも可能である。 When the separated trajectory j is determined, the trajectory predicted value recalculation unit 305 recalculates the predicted value of the indissolvable trajectory using the indissolvable trajectory excluding the trajectory j. A specific calculation method is the same as the calculation method of the unresolvable trajectory predicted value calculation unit 301. In addition, when the state which cannot leave | separate continues for a long time, the precision of the predicted value of each locus | trajectory may deteriorate, and it is also possible to abbreviate | omit the recalculation in the locus | trajectory estimated value recalculation part 305 in that case.
離反する信号源がないと判断された場合は、分解不能軌跡の予測値に対する処理を行わず、スイッチ303を介して、分解不能軌跡の予測値がそのまま信号源の予測値として出力される。
If it is determined that there is no signal source that is separated, the predicted value of the unresolvable locus is not processed, and the predicted value of the unresolvable locus is output as it is as the predicted value of the signal source via the
図5のステップST11において、相関決定部110は、観測値と軌跡の相関を決定する。なお、今回離反する軌跡に関しては、上記ステップST9,ST10で既に相関は決定しているので実際には作業は不要である。具体的な決定方法としては、例えば、分解可能軌跡予測部108からの予測値Xpi,k に最も近い観測情報抽出部107からの観測値Zj,k がその軌跡に相関すると考えて割り当てる方法がある。この場合、次の(9)式を満たす観測値Zj,k が軌跡iに相関すると考える。
min(|Xpi,k−Zj,k|) (9)
ここで、Xpi,k が分解不能軌跡の予測値である場合には、分解不能である全軌跡に同一の観測値Zj,k を割り当てるものとする。なお、割り当てる観測値は、見かけの信号源数仮説で得られるものを用いても良いし、真の信号源数仮説で得られるものを使用しても良い。
In step ST11 of FIG. 5, the
min (| Xpi, k−Zj, k |) (9)
Here, if Xpi, k is a predicted value of a trajectory that cannot be resolved, the same observed value Zj, k is assigned to all trajectories that cannot be resolved. Note that the observation values to be assigned may be those obtained by the apparent signal source number hypothesis or those obtained by the true signal source number hypothesis.
なお、アルゴリズムとしてMUSICアルゴリズムを用いている場合、信号源数を少なく誤った仮説では誤った観測値を発生することがあるが、多く誤った信号源数仮説では誤った信号源数分の偽像が発生するものの、正しい観測値も得られるので、相関さえ正しく決定して偽像を排除できれば、真の信号源数仮説で得られる観測値を使用しても問題はない。ただし、真の信号源数仮説で得られる観測値を使用する場合、同一の観測値を複数の軌跡に割り当てると、その分、観測値が余る。これは偽像に相当するので、全軌跡に相関観測値を割り当てた後、仮説信号源数を超えて余った観測値からは新たな軌跡を作成せず、捨てる処理を行う。
なお、仮説目標数分の軌跡が作成されていないために観測値が余った場合は、新たな信号源であるから観測値を捨てないでおく。
Note that when the MUSIC algorithm is used as an algorithm, an erroneous observation value may be generated in an incorrect hypothesis with a small number of signal sources, but a false image corresponding to the number of erroneous signal sources in an erroneous hypothesis of many signal sources. However, since correct observations can be obtained, there is no problem even if the observations obtained by the true signal source number hypothesis are used as long as the correlation can be correctly determined and false images can be eliminated. However, when using the observation values obtained by the true signal source number hypothesis, if the same observation value is assigned to a plurality of trajectories, the observation value remains. Since this corresponds to a false image, after assigning correlation observation values to all the trajectories, a new trajectory is not created from the surplus observation values exceeding the number of hypothesis signal sources, and is discarded.
Note that if there are extra observation values because the number of hypothetical target trajectories has not been created, the observation values are not discarded because they are new signal sources.
ステップST12〜ステップST14は、軌跡推定部111が行う処理である。
ステップ12において、軌跡推定部111は信号源の消失判定を行う。ステップST11において、相関が得られない状態が一定期間続く軌跡については、信号源が消失したものと考え、次回時刻において消失した軌跡の過去の情報を使わないようにする。消失判定方法の例としては、例えば次の(10)式を用いて、一定時間内の観測値の検出回数TQをカウントし、TQi,kが閾値ThTQ以下になったら消失したと考える方法がある。
検出時 : TQi,k=TQi,k-1+tq_dtct
非検出時 : TQi,k=TQi,k-1+tq_nondtct (10)
ここで、前回時刻における観測値の検出回数TQi,k-1は分解可能軌跡メモリ105に記憶されている分解可能と判定された追尾情報に含まれており、tq_dtctは観測値検出時のTQi の増加量で、tq_nondtct は観測値非検出時のTQi の増加量(非検出時はマイナスとする等の差異を持たせる)である。
Steps ST12 to ST14 are processes performed by the
In step 12, the
At detection: TQi, k = TQi, k-1 + tq_dtct
When not detected: TQi, k = TQi, k-1 + tq_nondtct (10)
Here, the number of detections TQi, k-1 of the observed value at the previous time is included in the tracking information determined to be decomposable stored in the
ステップST13において、軌跡推定部111は信号源の時間的な軌跡を推定し推定値Xsi,k を出力する。推定方法としてカルマンフィルタやα−βフィルタを用いる場合、推定値Xsi,k は次の(11)式で与えられる。
Xsi,k =Xpi,k +Gi,k(Zi,k −H・Xpi,k ) (11)
ここで、軌跡の予測値Xpi,k 及び観測値Zj,k は相関決定部110から与えられ、Hは観測行列で、Gi,k はゲイン行列であり、軌跡推定部111が共に内部に保持している。
なお、分解不能軌跡の平滑値については、分解不能軌跡を構成する個々の軌跡について、個々の予測値Xpi,k と割り当てられた観測値(全て同じ)を用いて(11)式により求めても良いし、分解不能軌跡を構成する軌跡は、全て同一の平滑値であると考えて、分解不能軌跡の予測値Xgpm,k を用いて(11)式により求めても良い。
なお、上記ステップST11で、仮説目標数分の軌跡が作成されていないために観測値が余った場合に残しておいて観測値(新たな信号源)に対して、このステップ13において、軌跡推定部111は新軌跡の作成を行う。
In step ST13, the
Xsi, k = Xpi, k + Gi, k (Zi, k-H.Xpi, k) (11)
Here, the predicted value Xpi, k and the observed value Zj, k of the trajectory are given from the
The smooth value of the non-decomposable trajectory can be obtained by the equation (11) using the individual predicted values Xpi, k and the observed values (all the same) for the individual trajectories constituting the non-decomposable trajectory. Alternatively, the trajectories constituting the indecomposable trajectory are all considered to be the same smooth value, and may be obtained by the equation (11) using the predicted value Xgpm, k of the indecomposable trajectory.
It should be noted that in step ST11, since the number of hypotheses for the hypothetical target number has not been created, the observation value (new signal source) is left in the case where the observation value remains, and in this step 13, the locus estimation is performed. The
ステップST14において、軌跡予測部112は、軌跡推定部111から出力された推定値Xsi,k と内部に保持している推移行列Φに基づき、次回観測時k+1における軌跡を予測し信号源の予測値Xpi,k+1 を算出する。予測の式は次の(12)式で与えられる。
Xpi,k+1 =Φ・Xsik (12)
分解不能軌跡の予測値については、平滑値の場合と同様に、個々の平滑値(推定値)Xsi,kを用いて(12)式により求めても良いし、分解不能軌跡を構成する軌跡は、全て同一の平滑値であると考えて、分解不能軌跡の平滑値Xgsm,k を用いて(12)式により求めても良い。
また、予測は、このように次回観測に先立ち、予め設定したサンプリングで行っておくこともできるし、次回の観測値を取得した後、今回観測時刻と次回観測時刻との差であるサンプリング間隔を計算してから行うこともできる。
In step ST14, the
Xpi, k + 1 = Φ · Xsik (12)
As with the smooth value, the predicted value of the non-decomposable trajectory may be obtained by the equation (12) using the individual smoothed values (estimated values) Xsi, k. These may all be considered to be the same smooth value, and may be obtained from the equation (12) using the smooth value Xgsm, k of the non-decomposable locus.
In addition, the prediction can be performed by sampling set in advance prior to the next observation as described above, or after obtaining the next observation value, the sampling interval that is the difference between the current observation time and the next observation time is set. It can also be done after calculating.
ステップST15において、軌跡評価部113は、追尾結果を用いて、所定の評価関数を用いて軌跡の尤度fの計算を行って出力する。例えば特許文献1では、観測値の尤度分布が予測値を中心とした正規分布であると仮定して、観測値が予測値の近くに得られる軌跡ほど、軌跡の尤度fの値が大きくなるようにしている。このほか、軌跡の尤度fの定義方法として、検出回数が多いほど軌跡が運動モデルに合致すると考えて、上記(10)式で与えられるTQそのものを軌跡の尤度fとすることもできる。
In step ST15, the
また、事前に信号源の検出確率(観測値が相関ゲート内にある確率)Pd を定義しておき、実際の観測値の検出確率Pdo がPd に近いほど、軌跡の尤度fが高くなるようにすることもできる。この場合、軌跡の尤度fは、例えば次の(13)式で与えられる。
f=Pd /|Pd −Pdo | (13)
ここで、実際の観測値の検出確率Pdo は次の(14)式により、追尾結果のうち検出の有無、すなわち相関ある観測値が検出されたか否かの結果を使用して求める。
f = Pd / | Pd-Pdo | (13)
Here, the actual observation value detection probability Pdo is obtained by the following equation (14) using the presence or absence of detection, that is, the result of whether or not a correlated observation value is detected among the tracking results.
ステップST16以降の処理は全信号源数仮説の追尾処理が終了した後の処理である。
ステップST16において、仮説評価部114は軌跡の尤度fの計算結果に基づき、仮説信頼度Relm,k の計算を行う。基本的には、仮説内の全軌跡の尤度fが全て高いものを、信頼性の高い信号源数仮説であると考えて、高い仮説信頼度を与える。具体例としては、次の(15)式に示すように、信号源数仮説内の全軌跡の尤度fの平均値で定義する方法がある。
In step ST16, the
また、軌跡の尤度fに対して閾値を設けておき、閾値以上の軌跡の尤度fのみを(15)式における評価対象としても良い。例えば、軌跡の尤度fとして検出回数TQを使用した場合、追尾開始直後の軌跡等、検出回数TQが一定以下である軌跡は信頼性が高くないので、評価の対象から外したほうが良い場合等もあるからである。 Alternatively, a threshold may be provided for the likelihood f of the trajectory, and only the likelihood f of the trajectory greater than or equal to the threshold may be an evaluation target in the equation (15). For example, when the detection count TQ is used as the likelihood f of the trajectory, a trajectory immediately after the start of tracking, such as a trajectory with the detection count TQ of a certain value or less, is not highly reliable, and should be excluded from the evaluation target. Because there is also.
ステップST17において、表示用軌跡選択部117はレーダのPPIに軌跡を表示する等の目的で正解と思われる信号源数仮説を選択する。単純に最も仮説信頼度が高い信号源数仮説を選択しても良いが、仮説信頼度に対して閾値を設けておき、仮説信頼度が閾値以上の信号源数仮説のうち、最も信号源数の多い信号源数仮説を選択することもできる。これは、一般的に信号源数が多いほど、全信号源を追尾することが困難になることが多いため、信号源数が多い信号源数仮説が不当に低く評価されることを防ぐ目的がある。ここで、表示用として選択された信号源数仮説の信号源数が真の信号源数に相当する。
In step ST17, the display
また、過去の仮説信頼度の選択結果も勘案して、今回時刻の仮説を選択することもできる。具体的には、移動平均処理によって次の(16)式で仮説信頼度を再計算し、その中から最も仮説信頼度の高いもの、あるいは閾値以上で信号源数の多いもの等を選択する。
ステップST18において、仮説削除部115は仮説信頼度が著しく低下した信号源数仮説を信号源数仮説メモリ106から削除する。削除にあたっては、予め設定しておいた仮説信頼度の閾値をもって判断すれば良い。
In step ST18, the
ステップST19において、仮説信頼度の高い信号源数仮説が信号源数仮説メモリ106にないと判断される場合に、仮説設定部116は、オペレータからの指示に基づき、又は自動的に新たな信号源数仮説を信号源数仮説メモリ106に設定する。仮説信頼度の高い仮説が信号源数仮説メモリ106にないと判断される場合とは、全信号源数仮説の仮説信頼度が全て同程度になった場合や、仮説信頼度の高い信号源数仮説が存在していても、軌跡の検出回数が全て低い場合等、正しく信号源を追尾維持できているとは考えられない場合を想定している。
In step ST19, when it is determined that the signal source number hypothesis having a high hypothesis reliability is not in the signal source
ステップST20において、仮説間メモリ移管部119は、表示用軌跡選択部117により選択された表示用軌跡、すなわち、今回時刻において表示用であると選択された信号源数仮説の番号、及び前回時刻において表示用であると選択された信号源数仮説の番号を比較し、今回時刻において、前回時刻と異なる表示用軌跡を選択している場合に、分解不能軌跡メモリ104及び分解可能軌跡メモリ105に記憶されている過去に高い仮説信頼度が与えられた信号源数仮説における過去の追尾情報を、今回新たに高い信頼度が与えられた信号源数仮説に移管する。
In step ST20, the inter-hypothesis
例えば、信号源数3の状態から、1つが消失して信号源数が2となったため、表示用として選択される信号源数仮説が信号源数3から信号源数2に変化した場合を考える。このとき、信号源数3における追尾軌跡のうち、消失しなかった軌跡の過去の追尾結果を、信号源数2の信号源数仮説における過去の追尾結果に代えて使用する。そうすれば、信号源数3の信号源数仮説における過去の正確な追尾軌跡を、信号源数2の信号源数仮説でも利用できるので、信号源数2の信号源数仮説の仮説信頼度が早く上昇し、結果として正解の信号源数仮説を早く推定できる。このように、仮説信頼度の高い信号源数仮説の過去の情報を信号源数仮説間で利用することにより、データが有効活用され、追尾性能が向上するので、仮説信頼度の高い信号源数仮説を速やかに判定することが可能となる。
For example, consider a case where the number of signal sources is changed from 3 to 2 because the number of signal sources is 2 and the number of signal sources is 2 from the state of 3 signal sources. . At this time, the past tracking result of the trajectory that has not disappeared among the tracking trajectories in the number of signal sources 3 is used in place of the past tracking result in the signal source number hypothesis of the
この実施の形態1によれば、分解可能軌跡予測部108が、分解可能軌跡メモリ105に記憶されている前回時刻において分解可能であると予測された追尾中の信号源の追尾情報から、信号源数仮説毎に追尾中の信号源が現在時刻に分解可能であるかを判定し、離反信号源判定部109が、分解不能軌跡メモリ104に記憶されている前回時刻において分解不能であると予測された追尾中の信号源の追尾情報と抽出された観測値から、信号源数仮説毎に追尾中の信号源が離反したか否かを判定し、相関決定部110が、分解可能軌跡予測部108及び離反信号源判定部109の判定結果に基づき、追尾中の信号源と観測情報抽出部により抽出された観測値との相関を決定することにより、信号源数を正しく推定することができ、目標検知性能及び追尾維持性能を向上させることができるという効果が得られる。
According to the first embodiment, the signal source is determined based on the tracking information of the signal source that is being tracked that the resolvable
また、この実施の形態1によれば、仮説間メモリ移管部119が、分解不能軌跡メモリ104及び分解可能軌跡メモリ105に記憶されている過去に高い仮説信頼度が与えられた信号源数仮説における過去の追尾情報を、今回新たに高い仮説信頼度が与えられた信号源数仮説に移管することにより、追尾情報を有効に活用することができ、信号源数の変化に迅速に対処することができるという効果が得られる。
In addition, according to the first embodiment, the inter-hypothesis
101 受信部、102 A/D変換部、103 信号前処理部、104 分解不能軌跡メモリ、105 分解可能軌跡メモリ、106 信号源数仮説メモリ、107 観測情報抽出部、108 分解可能信号源推定部、109 離反信号源判定部、110 相関決定部、111 軌跡推定部、112 軌跡予測部、113 軌跡評価部、114 仮説評価部、115 仮説削除部、116 仮説設定部、117 仮説間メモリ移管部、118 表示用軌跡選択部、119 表示部、201 予測諸元差算出部、202 分解可否判定部、203 スイッチ、204 分解不能軌跡予測値算出部、205 分解可能信号源数推定部、206 出力部、301 分解不能軌跡予測値算出部、302 離反判定部、303 スイッチ、304 離反軌跡決定部、305 軌跡予測値再計算部、306 出力部。 DESCRIPTION OF SYMBOLS 101 Reception part, 102 A / D conversion part, 103 Signal pre-processing part, 104 Decomposable locus memory, 105 Decomposable locus memory, 106 Signal source number hypothesis memory, 107 Observation information extraction part, 108 Decomposable signal source estimation part, 109 separation signal source determination unit, 110 correlation determination unit, 111 locus estimation unit, 112 locus prediction unit, 113 locus evaluation unit, 114 hypothesis evaluation unit, 115 hypothesis deletion unit, 116 hypothesis setting unit, 117 inter-hypothesis memory transfer unit, 118 Display trajectory selection unit, 119 display unit, 201 prediction specification difference calculation unit, 202 decomposability determination unit, 203 switch, 204 unresolvable trajectory predicted value calculation unit, 205 decomposable signal source number estimation unit, 206 output unit, 301 Unresolvable locus predicted value calculation unit, 302 separation determination unit, 303 switch, 304 separation locus determination unit, 305 Trajectory predicted value recalculation unit, 306 output unit.
Claims (7)
分解可能軌跡メモリに記憶されている前回時刻において分解可能であると予測された追尾中の信号源の追尾情報から、信号源数仮説毎に追尾中の信号源が現在時刻において分解可能であるかを判定する分解可能軌跡予測部と、
分解不能軌跡メモリに記憶されている前回時刻において分解不能であると予測された追尾中の信号源の追尾情報と現在時刻において抽出された観測値から、信号源数仮説毎に追尾中の信号源が離反したか否かを判定する離反信号源判定部と、
上記分解可能軌跡予測部及び上記離反信号源判定部の判定結果に基づき、追尾中の信号源と現在時刻において抽出された観測値との相関を決定する相関決定部とを備えたことを特徴とするセンサ信号処理システム。 In a sensor signal processing system that uses a signal processing algorithm that performs measurement processing of observation information after estimating the number of signal sources,
Whether the signal source being tracked can be resolved at the current time for each signal source number hypothesis from the tracking information of the signal source being tracked that is predicted to be decomposable at the previous time stored in the resolvable trajectory memory A resolvable trajectory prediction unit for determining
The signal source being tracked for each hypothesis of the number of signal sources from the tracking information of the signal source being tracked that was predicted to be unresolvable at the previous time stored in the unresolvable trajectory memory and the observed value extracted at the current time A separation signal source determination unit that determines whether or not the
A correlation determining unit that determines a correlation between the signal source being tracked and the observed value extracted at the current time based on the determination results of the resolvable trajectory predicting unit and the separation signal source determining unit; Sensor signal processing system.
上記相関決定部は、上記分解可能軌跡予測部によりグループ化された複数の軌跡に対して、現在時刻において抽出された同一の観測値を割り当てることにより相関を決定することを特徴とする請求項1記載のセンサ信号処理システム。 The decomposable trajectory predicting unit determines that the trajectory is not resolvable when a difference in predicted values between trajectories in the tracking information of the signal source being tracked stored in the decomposable trajectory memory is smaller than a predetermined threshold. Group multiple trajectories that have been determined to be unresolvable,
2. The correlation determination unit determines a correlation by assigning the same observation value extracted at a current time to a plurality of trajectories grouped by the resolvable trajectory prediction unit. The described sensor signal processing system.
該軌跡評価部により計算された各軌跡の尤度に基づき信号源数仮説の仮説信頼度を計算する仮説評価部とを備えたことを特徴とする請求項1記載のセンサ信号処理システム。 Based on the correlation between the signal source being tracked determined by the correlation determination unit and the observed value extracted at the current time, the detection probability of the actual observed value is obtained, and the likelihood of each trajectory is calculated using a predetermined evaluation function A trajectory evaluation unit to perform,
The sensor signal processing system according to claim 1, further comprising: a hypothesis evaluation unit that calculates a hypothesis reliability of the signal source number hypothesis based on the likelihood of each locus calculated by the locus evaluation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005152630A JP4549929B2 (en) | 2005-05-25 | 2005-05-25 | Sensor signal processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005152630A JP4549929B2 (en) | 2005-05-25 | 2005-05-25 | Sensor signal processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006329771A JP2006329771A (en) | 2006-12-07 |
JP4549929B2 true JP4549929B2 (en) | 2010-09-22 |
Family
ID=37551611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005152630A Expired - Fee Related JP4549929B2 (en) | 2005-05-25 | 2005-05-25 | Sensor signal processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4549929B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5013949B2 (en) * | 2007-04-27 | 2012-08-29 | 三菱電機株式会社 | Rocket tracking radar device |
JP5057840B2 (en) * | 2007-05-01 | 2012-10-24 | 三菱電機株式会社 | Spectrum analyzer |
JP2009109293A (en) * | 2007-10-29 | 2009-05-21 | Mitsubishi Electric Corp | Target tracking device, target observation system, target tracking method, and program |
JP5725701B2 (en) * | 2009-10-20 | 2015-05-27 | 三菱電機株式会社 | Tracking device |
JP5618566B2 (en) * | 2010-02-18 | 2014-11-05 | 三菱電機株式会社 | Tracking device |
JP5660362B2 (en) * | 2010-04-05 | 2015-01-28 | 株式会社国際電気通信基礎技術研究所 | Sound source localization apparatus and computer program |
JP6173660B2 (en) * | 2012-06-20 | 2017-08-02 | 株式会社東芝 | Direction of arrival estimation device |
JP7357217B2 (en) * | 2018-12-28 | 2023-10-06 | パナソニックIpマネジメント株式会社 | Estimation method, estimation device, and program |
WO2020166064A1 (en) * | 2019-02-15 | 2020-08-20 | 三菱電機株式会社 | Positioning value classification device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004309209A (en) * | 2003-04-03 | 2004-11-04 | Mitsubishi Electric Corp | Sensor signal processing system |
-
2005
- 2005-05-25 JP JP2005152630A patent/JP4549929B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004309209A (en) * | 2003-04-03 | 2004-11-04 | Mitsubishi Electric Corp | Sensor signal processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2006329771A (en) | 2006-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4549929B2 (en) | Sensor signal processing system | |
US11435443B2 (en) | Integration of tracking with classifier in mmwave radar | |
US9288632B2 (en) | Simultaneous localization and mapping using spatial and temporal coherence for indoor location | |
CN103048654A (en) | Radar sensor and method for detecting objects using the same | |
JP2018173285A (en) | Activity recognition system and activity recognition method | |
US20160030006A1 (en) | Characteristic-value calculating device, characteristic-value calculating method, and recording medium | |
CN106291534B (en) | A kind of improved track confirmation method | |
JP4220821B2 (en) | Sensor signal processing system | |
JP5708294B2 (en) | Signal detection apparatus, signal detection method, and signal detection program | |
WO2015146592A1 (en) | Pulse detection device | |
JP5896823B2 (en) | Target tracking device and target tracking method | |
CN112907975B (en) | Detection method for abnormal parking based on millimeter wave radar and video | |
JP2014211330A (en) | Target tracking device and target tracking method | |
JP6513310B1 (en) | Track estimation device and portable information terminal | |
JP4196684B2 (en) | Target tracking device | |
JP3571309B2 (en) | Target tracking method and radar system | |
JP4879202B2 (en) | TRACKING DEVICE, PROGRAM, AND TRACKING METHOD | |
JP5701152B2 (en) | TRACKING DEVICE, COMPUTER PROGRAM, AND TRACKING METHOD | |
WO2016000487A1 (en) | Target tracking method and tracking system based on variable coefficient α-β filter | |
JP6400251B1 (en) | Radio wave detector | |
US20220146659A1 (en) | Biological detection device | |
JP5623253B2 (en) | Multi-target tracking device | |
US11846702B2 (en) | Image processing device and image processing method | |
JP4541817B2 (en) | Radar signal processing device | |
JP4294504B2 (en) | Target identification device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071009 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080411 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100707 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130716 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |