JP7173735B2 - Radar device and signal processing method - Google Patents
Radar device and signal processing method Download PDFInfo
- Publication number
- JP7173735B2 JP7173735B2 JP2018028186A JP2018028186A JP7173735B2 JP 7173735 B2 JP7173735 B2 JP 7173735B2 JP 2018028186 A JP2018028186 A JP 2018028186A JP 2018028186 A JP2018028186 A JP 2018028186A JP 7173735 B2 JP7173735 B2 JP 7173735B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- cluster
- window
- unit
- target data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、物標の検出を行うレーダ装置及び信号処理方法に関する。 The present invention relates to a radar device and signal processing method for detecting a target.
従来より、車載カメラを用いた歩行者認識技術が検討されている。しかしながら、車載カメラを用いた歩行者認識技術は、(1)単眼カメラである場合には歩行者までの距離を計測できず、ステレオカメラである場合には遠方の歩行者までの距離に関して計測精度が低い、(2)霧、雪、逆光などのシーンに弱く環境ロバスト性が低い、という問題を有している。 Pedestrian recognition technology using an in-vehicle camera has been studied. However, pedestrian recognition technology using in-vehicle cameras has the following drawbacks: (1) When monocular cameras are used, the distance to pedestrians cannot be measured. (2) It is weak against scenes such as fog, snow, and backlight, and has low environmental robustness.
そのため、近年、車載カメラを用いた歩行者認識技術の代替技術として、物標までの距離の計測精度が高く環境ロバスト性も高いレーダ装置を用いた歩行者認識技術の研究が行われている。 Therefore, in recent years, as a substitute technology for pedestrian recognition technology using in-vehicle cameras, research has been conducted on pedestrian recognition technology using a radar device that has high accuracy in measuring distances to targets and high environmental robustness.
レーダ装置で歩行者のドップラ周波数を検出すると、主に胴体からの反射波によって検出される中心ドップラ成分の周辺に腕や脚の振りによるドップラ変動が発生することが知られており、一般的にマイクロドップラ効果と呼ばれている。 When a pedestrian's Doppler frequency is detected by a radar device, it is known that Doppler fluctuations due to swinging of arms and legs occur around the central Doppler component, which is detected mainly by reflected waves from the body. This is called the micro-Doppler effect.
例えば非特許文献1で開示されているレーダ装置を用いた歩行者認識技術は、上記のマイクロドップラ効果を利用した歩行者認識技術であって、近接距離の瞬時的に発生する検出ピーク情報を束ねたグループ情報での距離広がりや速度広がり等の特徴量に基づいて、歩行者と移動車両とを分類している。
For example, the pedestrian recognition technology using a radar device disclosed in Non-Patent
しかしながら、非特許文献1で開示されているレーダ装置を用いた歩行者認識技術には、主に物標が遠方に存在する場合、グループ情報での検出ピーク情報が1個しか得られず、距離広がりや速度広がり等の特徴量を計算することができないという課題があった。
However, in the pedestrian recognition technology using the radar device disclosed in Non-Patent
本発明は、上記課題に鑑みて、遠方の物標でも種類を識別することができるレーダ装置及び信号処理方法を提供することを目的とする。 SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide a radar apparatus and a signal processing method capable of identifying the type of a distant target.
本発明に係るレーダ装置は、送信波が物標に反射した反射波を受信して取得される受信信号に基づいて前記物標に係る物標データを導出する導出部と、 前記物標データの所定の計測値に基づいて前記物標データをクラスタにクラスタリングするクラスタリング部と、同一の前記クラスタに属する前記物標データを時系列的に取得して得られる時系列情報に基づく第1の特徴量を抽出する抽出部と、前記第1の特徴量に基づいて前記物標の種類を識別する識別部と、を備える構成(第1の構成)である。 A radar apparatus according to the present invention includes: a derivation unit that derives target data related to the target based on a received signal obtained by receiving a reflected wave of a transmitted wave reflected by a target; a clustering unit that clusters the target data into clusters based on a predetermined measurement value; and a first feature value based on time-series information obtained by time-series acquisition of the target data belonging to the same cluster. and an identification unit that identifies the type of the target based on the first feature amount (first configuration).
上記第1の構成のレーダ装置において、前記抽出部は、同一の前記クラスタに属する前記物標データの瞬時的な特徴量である第2の特徴量を抽出し、前記識別部は、前記第1の特徴量及び前記第2の特徴量に基づいて前記物標の種類を識別する構成(第2の構成)であってもよい。 In the radar device having the first configuration, the extraction unit extracts a second feature amount that is an instantaneous feature amount of the target data belonging to the same cluster, and the identification unit extracts the first and the second feature amount to identify the type of the target (second configuration).
上記第1又は第2の構成のレーダ装置において、前記抽出部は、同一の前記クラスタに属する前記物標データの瞬時的な特徴量である第2の特徴量を抽出し、前記抽出部が前記第1の特徴量を抽出できない期間、前記識別部は、前記第2の特徴量のみに基づいて前記物標の種類を識別する構成(第3の構成)であってもよい。 In the radar device having the first or second configuration, the extraction unit extracts a second feature amount that is an instantaneous feature amount of the target data belonging to the same cluster, and the extraction unit extracts the A configuration (a third configuration) may be employed in which the identification unit identifies the type of the target based only on the second feature amount during a period in which the first feature amount cannot be extracted.
上記第1又は第2の構成のレーダ装置において、前記抽出部が前記第1の特徴量を抽出できない期間、前記識別部は識別を行わない構成(第4の構成)であってもよい。 In the radar device having the first or second configuration, the identification section may not perform identification during a period when the extraction section cannot extract the first feature amount (fourth configuration).
上記第1~第4いずれかの構成のレーダ装置において、前記抽出部は、前記第1の特徴量として複数種類の特徴量を抽出し、前記識別部は、教師あり機械学習によって前記物標の種類を識別する構成(第5の構成)であってもよい。 In the radar device having any one of the first to fourth configurations, the extraction unit extracts a plurality of types of feature amounts as the first feature amount, and the identification unit identifies the target by supervised machine learning. A configuration (fifth configuration) for identifying the type may be used.
上記第5の構成のレーダ装置において、前記抽出部は、前記第1の特徴量として、前記受信信号の電力及び前記物標までの距離の少なくとも2種類の特徴量を抽出する構成(第6の構成)であってもよい。 In the radar device of the fifth configuration, the extraction unit extracts at least two types of feature quantities, ie, the power of the received signal and the distance to the target, as the first feature quantity (the sixth configuration).
上記第1~第6いずれかの構成のレーダ装置において、前記物標を追尾する追尾処理部を備え、前記識別部によって識別された前記物標の種類に応じて、前記追尾処理部で用いられるパラメータの値が変更される構成(第7の構成)であってもよい。 In the radar device having any one of the first to sixth configurations, a tracking processing unit that tracks the target is provided, and used in the tracking processing unit according to the type of the target identified by the identification unit A configuration (seventh configuration) in which the value of the parameter is changed may be used.
本発明に係る信号処理方法は、送信波が物標に反射した反射波を受信して取得される受信信号に基づいて前記物標に係る物標データを導出する導出工程と、 前記物標データの所定の計測値に基づいて前記物標データをクラスタにクラスタリングするクラスタリング工程と、同一の前記クラスタに属する前記物標データを時系列的に取得して得られる時系列情報に基づく第1の特徴量を抽出する抽出工程と、前記第1の特徴量に基づいて前記物標の種類を識別する識別工程と、を備える構成(第8の構成)である。 A signal processing method according to the present invention includes a deriving step of deriving target data related to the target based on a received signal obtained by receiving a reflected wave of a transmitted wave reflected by a target; a clustering step of clustering the target data into clusters based on a predetermined measurement value of; A configuration (eighth configuration) comprising an extraction step of extracting an amount, and an identification step of identifying the type of the target based on the first feature amount.
本発明に係るレーダ装置及び信号処理方法によると、遠方の物標に対しても第1の特徴量を検出することができるため、遠方の物標でも種類を識別することができる。 According to the radar device and the signal processing method of the present invention, the first feature amount can be detected even for a distant target, so the type of the distant target can be identified.
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。 Exemplary embodiments of the invention are described in detail below with reference to the drawings.
<1.レーダ装置の構成>
図1は本実施形態に係るレーダ装置1の構成を示す図である。レーダ装置1は、例えば自動車などの車両に搭載されている。以下、レーダ装置1が搭載される車両を「自車両」という。また、自車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方」という。また、自車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方」という。また、自車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」という。また、自車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」という。
<1. Configuration of Radar Device>
FIG. 1 is a diagram showing the configuration of a
レーダ装置1が自車両の前端に搭載されている場合、レーダ装置1は、送信波を用いて、自車両の前方に存在する物標に係る物標データを取得する。
When the
レーダ装置1は、物標から反射した反射波がレーダ装置1の受信アンテナに受信されるまでの距離[m]、自車両に対する物標の相対速度[km/h]、自車両の前後方向におけるレーダ装置1から物標までの距離(以下、「縦位置」という。)[m]、自車両の左右方向におけるレーダ装置1から物標までの距離(以下、「横位置」という。)[m]などのパラメータを有する物標データを導出する。縦位置は、例えば、自車両のレーダ装置1を搭載している位置を原点Oとし、自車両の前方では正の値、自車両の後方では負の値で表現される。横位置は、例えば、自車両のレーダ装置1を搭載している位置を原点Oとし、自車両の右側では正の値、自車両の左側では負の値で表現される。
The
レーダ装置1は、FCM(Fast Chirp Modulation)方式で物標を検出する。FCM方式は、FMCW方式で必要なアップピークとダウンピークのペアリング処理が不要であることから、誤ペアリングによる物標の誤認識という問題が発生せず、より正確な物標検出が期待できる。
The
ここで、FCM方式における距離と相対速度の算出方法について簡単に説明する。FCM方式は、のこぎり波状に周波数が変化する送信波の一つの波形を1チャープとし、複数チャープをFMCW方式と比べて短い周期で送信し、物標からの反射波を受信信号として受信し、この受信信号と送信波の差分をとることでビート信号を得、このビート信号を2次元FFTすることで物標との距離及び相対速度を得る。具体的には、送信波に対して、物標の距離が遠いほど受信信号の時間遅延が大きくなるため、ビート信号の周波数は距離に比例する。そのため、ビート信号をFFT処理することで物標の距離に対応する周波数の位置にピークが出現する。尚、FFTは所定の周波数間隔で設定された周波数ポイント(以下、レンジビンという場合がある)ごとに受信レベルや位相情報が抽出されるため、正確には物標の距離に対応する周波数のレンジビンにピークが出現する。従って、ピーク周波数を検出することで物標までの距離が求められる。この距離を求めるためのFFT処理は、各ビート信号について行うため、ビート信号の数、即ちチャープの数だけ繰り返す。 Here, a method for calculating the distance and relative velocity in the FCM method will be briefly described. In the FCM method, one chirp is one waveform of a transmission wave whose frequency changes like a sawtooth wave. A beat signal is obtained by taking the difference between the received signal and the transmitted wave, and the distance and relative velocity to the target are obtained by performing a two-dimensional FFT on this beat signal. Specifically, the frequency of the beat signal is proportional to the distance because the longer the target is, the greater the time delay of the received signal with respect to the transmitted wave. Therefore, by subjecting the beat signal to FFT processing, a peak appears at the position of the frequency corresponding to the distance to the target. FFT extracts the reception level and phase information for each frequency point (hereinafter sometimes referred to as range bin) set at a predetermined frequency interval. A peak appears. Therefore, the distance to the target can be obtained by detecting the peak frequency. Since the FFT processing for obtaining this distance is performed for each beat signal, it is repeated by the number of beat signals, that is, the number of chirps.
次に、相対速度の算出であるが、FCM方式では物標の相対速度が0km/hでない場合は、ビート信号間にドップラ周波数に応じた位相の変化が現れることを利用してドップラ周波数を検出し相対速度を算出している。即ち、自車両と物標との速度差が略生じない場合(例えば、相対速度が0km/hの場合)であれば、受信信号にドップラ成分は生じていないため、各チャープに対する受信信号の位相は全て同じになる。ところが、物標との間に速度差が生じている場合(例えば、相対速度が0km/h以外で、相対速度がある場合)は、各チャープに対する受信信号の間にドップラ周波数に応じた位相変化が生じる。ビート信号をFFT処理して得られたピーク情報にはこの位相情報が含まれているため、各ビート信号から得られた同じ物標のピーク情報を時系列に並べて2回目のFFT処理を行えば、位相情報からドップラ周波数が求まり、その周波数位置にピークが出現する。このピーク周波数が相対速度に対応する。 Next, regarding the calculation of the relative velocity, in the FCM method, when the relative velocity of the target is not 0 km/h, the Doppler frequency is detected using the phase change that appears between the beat signals according to the Doppler frequency. and calculate the relative velocity. That is, when there is almost no speed difference between the vehicle and the target (for example, when the relative speed is 0 km/h), no Doppler component is generated in the received signal, so the phase of the received signal for each chirp is will all be the same. However, when there is a speed difference with the target (for example, when the relative speed is other than 0 km/h and there is a relative speed), the phase change according to the Doppler frequency between the received signals for each chirp occurs. Since this phase information is included in the peak information obtained by FFT processing the beat signal, if the peak information of the same target obtained from each beat signal is arranged in time series and the second FFT processing is performed, , the Doppler frequency is obtained from the phase information, and a peak appears at that frequency position. This peak frequency corresponds to the relative velocity.
このように、ビート信号に対して2次元FFTを行うことで、距離と相対速度を算出することができる。この相対速度を求めるためのFFT処理は、1回目のFFT処理の結果についてレンジビン毎に行うため、レンジビンの数だけ繰り返す。 By performing two-dimensional FFT on the beat signal in this manner, the distance and the relative velocity can be calculated. The FFT processing for obtaining the relative velocity is repeated for the number of range bins because the result of the first FFT processing is performed for each range bin.
図1に示すように、レーダ装置1は、送信部2と、受信部3と、信号処理装置4と、を主に備えている。
As shown in FIG. 1, the
送信部2は、信号生成部21と発信器22とを備えている。信号生成部21は、基準値から時間の経過に伴って一定の割合で電圧が減少し最小値に達してから直ちに基準値へ戻る一波形(1チャープ)が複数連続する変調信号を生成し、発信器22に供給する。1チャープの周期は例えば数十μsecとすればよい。発信器22は、信号生成部21で生成された変調信号に基づいて連続波の信号を周波数変調し、時間の経過に従って周波数が変化する送信信号を生成し、送信アンテナ23に出力する。
The
送信アンテナ23は、発信器22からの送信信号に基づいて、送信波TWを自車両の前方に出力する。送信アンテナ23が出力する送信波TWでは、図2に示すように、各チャープ間にTFT処理を実施しない期間である空走時間t0が設けられる。送信アンテナ23から自車両の前方に送信された送信波TWは、人、他車両などの物体で反射されて反射波RWとなる。
The
受信部3は、アレーアンテナを形成する複数の受信アンテナ31と、その複数の受信アンテナ31に接続された複数の個別受信部32とを備えている。本実施形態では、受信部3は、例えば、4つの受信アンテナ31と4つの個別受信部32とを備えている。4つの個別受信部32は、4つの受信アンテナ31にそれぞれ対応している。各受信アンテナ31は物体からの反射波RWを受信して受信信号を取得し、各個別受信部32は対応する受信アンテナ31で得られた受信信号を処理する。
The receiving
各個別受信部32は、ミキサ33とA/D変換器34とを備えている。受信アンテナ31で得られた受信信号は、ローノイズアンプ(図示省略)で増幅された後にミキサ33に送られる。ミキサ33には送信部2の発信器22からの送信信号が入力され、ミキサ33において送信信号と受信信号とがミキシングされる。これにより、送信信号の周波数と受信信号の周波数との差となるビート周波数を有するビート信号が生成される。ミキサ33で生成されたビート信号は、A/D変換器34でデジタルの信号に変換された後に、信号処理装置4に出力される。
Each
信号処理装置4は、CPU(Central Processing Unit)及びメモリ41などを含むマイクロコンピュータを備えている。信号処理装置4は、演算の対象とする各種のデータを、記憶装置であるメモリ41に記憶する。メモリ41は、例えばRAM(Random Access Memory)などである。信号処理装置4は、マイクロコンピュータでソフトウェア的に実現される機能として、送信制御部42、フーリエ変換部43、及び、データ処理部44を備えている。送信制御部42は、送信部2の信号生成部21を制御する。
The
フーリエ変換部43は、複数の個別受信部32のそれぞれから出力されるビート信号を対象に、高速フーリエ変換(FFT)を実行する。これにより、フーリエ変換部43は、複数の受信アンテナ31それぞれの受信信号に係るビート信号を、周波数領域のデータである周波数スペクトラムに変換する。フーリエ変換部43で得られた周波数スペクトラムは、データ処理部44に入力される。
The
データ処理部44は、物標データ取得処理を実行し、複数の受信アンテナ31それぞれの周波数スペクトラムに基づいて、自車両の前方の物標に係る物標データを取得する。また、データ処理部44は、物標データを車両制御ECU51などに出力する。
The
図1に示すように、データ処理部44は、主な機能として、物標データ導出部45、物標データ処理部46、及び物標データ出力部47を備えている。
As shown in FIG. 1, the
物標データ導出部45は、フーリエ変換部43で得られた周波数スペクトラムに基づいて物標に係る物標データを導出する。
The target
物標データ処理部46は、導出された物標データを対象にしてクラスタリングなどの各種の処理を行う。物標データ処理部46は、クラスタリング部46a、抽出部46b、識別部46c、及び追尾処理部46dを備えている。クラスタリング部46a、抽出部46b、識別部46c、及び追尾処理部46dそれぞれが実行する処理の詳細については後述する。
The target
物標データ出力部47は、物標データを車両制御ECU51などに出力する。これにより、車両制御ECU51などは、物標データを例えばACC(Adaptive Cruise Control)やPCS(Pre-crash Safety System)に用いることができる。
The target
<2.信号処理装置の動作>
次に、信号処理装置4の動作について説明する。図3は、信号処理装置4の動作を示すフローチャートである。信号処理装置4は、図3に示す処理を一定時間ごとに周期的に繰り返す。
<2. Operation of Signal Processing Device>
Next, the operation of the
信号処理装置4は、所定数のビート信号を取得する(ステップS10)。次に、フーリエ変換部43は、ビート信号を対象に、二次元FFTを実行する(ステップS20)。
The
ビート信号をFFT処理することで、物標の距離に対応する周波数の位置にピークが出現する。尚、FFTは所定の周波数間隔で設定されたレンジビンごとに受信レベルや位相情報が抽出されるため、正確には物標の距離に対応する周波数のレンジビンにピークが出現する。従って、ピーク周波数を検出することで物標までの距離が求められる。この距離を求めるためのFFT処理は、各ビート信号について行うため、ビート信号の数、即ちチャープの数だけ繰り返す。図4は、このFFT処理の結果をレンジビン方向に並べ、各ビート信号の結果をレンジビンと直交する方向に並べてマトリクス状に示し、高さ方向に各処理結果の値(Spectrum[dB])を示した例である。図4では、二つのピーク61及び62が生じた例を示している。
By subjecting the beat signal to FFT processing, a peak appears at the position of the frequency corresponding to the distance to the target. Since the FFT extracts the reception level and phase information for each range bin set at predetermined frequency intervals, a peak appears in the frequency range bin corresponding to the target distance. Therefore, the distance to the target can be obtained by detecting the peak frequency. Since the FFT processing for obtaining this distance is performed for each beat signal, it is repeated by the number of beat signals, that is, the number of chirps. FIG. 4 shows the results of this FFT processing arranged in the direction of the range bins, the results of each beat signal arranged in the direction perpendicular to the range bins in a matrix form, and the value of each processing result (Spectrum [dB]) in the height direction. This is an example. FIG. 4 shows an example in which two
次に、相対速度の算出であるが、FCM方式では物標の相対速度が0km/hでない場合は、ビート信号間にドップラ周波数に応じた位相の変化が現れることを利用してドップラ周波数を検出し相対速度を算出している。即ち、相対速度が0km/hであれば、受信信号にドップラ成分は生じていないため、各チャープに対する受信信号の位相は全て同じになる。ところが、物標との間に相対速度がある場合は、各チャープに対する受信信号の間にドップラ周波数に応じた位相変化が生じる。ビート信号をFFT処理して得られたピーク情報にはこの位相情報が含まれているため、各ビート信号から得られた同じ物標のピーク情報を時系列に並べて2回目のFFT処理を行えば、位相情報からドップラ周波数が求まり、その周波数位置にピークが出現する。このFFT処理は、速度分解能に応じて所定の周波数間隔で設定されたベロシティビンごとに位相情報が抽出されるため、物標の相対速度に対応する周波数のベロシティビンにピークが出現する。従って、ピーク周波数を検出することで物標との相対速度が求められる。図5は、二回目のFFT処理の結果をベロシティビン方向に並べ、この二回目のFFT処理の結果を距離の周波数ポイント毎にレンジビン方向に並べてマトリクス状に示し、高さ方向に各処理結果の値(Spectrum[dB])を示した例である。図5では、二つのピーク63及び64が生じた例を示している。
Next, regarding the calculation of the relative velocity, in the FCM method, when the relative velocity of the target is not 0 km/h, the Doppler frequency is detected using the phase change that appears between the beat signals according to the Doppler frequency. and calculate the relative velocity. That is, if the relative velocity is 0 km/h, no Doppler component is generated in the received signal, and the phases of the received signals for each chirp are all the same. However, when there is a relative velocity between the object and the target, a phase change corresponding to the Doppler frequency occurs between the received signals for each chirp. Since this phase information is included in the peak information obtained by FFT processing the beat signal, if the peak information of the same target obtained from each beat signal is arranged in time series and the second FFT processing is performed, , the Doppler frequency is obtained from the phase information, and a peak appears at that frequency position. In this FFT processing, since phase information is extracted for each velocity bin set at predetermined frequency intervals according to velocity resolution, peaks appear in velocity bins of frequencies corresponding to the relative velocity of the target. Therefore, the relative velocity with respect to the target can be obtained by detecting the peak frequency. FIG. 5 shows the results of the second FFT processing arranged in the velocity bin direction, the results of the second FFT processing arranged in the range bin direction for each frequency point of distance in a matrix form, and each processing result in the height direction. It is an example showing a value (Spectrum [dB]). FIG. 5 shows an example in which two
図3に戻って、ステップS20に続くステップS30において、物標データ導出部45は、二次元FFTの結果からピークを抽出する。さらに、物標データ導出部45は、受信アンテナ31を介して受信した受信信号に基づいて物標の存在する方位(角度)を推定する。そして、物標データ導出部45は、ステップS30で抽出したピークのレンジビン、ベロシティビンから物標の距離及び相対速度を算出する(ステップS50)。
Returning to FIG. 3, in step S30 following step S20, the target
ステップS50に続くステップS60において、クラスタリング部46aは、物標データの所定の計測値に基づいて物標データをクラスタにクラスタリングする。具体的は、クラスタリング部46aは、物標データに含まれる縦位置及び横位置から求まる物標の位置同士が近接(所定距離以内)である物標データを数珠つなぎにつないで同一のクラスタとする。クラスタ1個が物標1個に対応する。
In step S60 following step S50, the
ステップS60に続くステップS70において、追尾処理部46dは、過去に検出されている物標を追尾する追尾処理を行う。追尾処理の方式は特に限定されない。ここでは、一例として、αβフィルタを用いた追尾処理について説明する。図6は、αβフィルタを用いた追尾処理の概要を示す模式図である。
In step S70 following step S60, the
前回の平滑値(平滑位置及び平滑速度)V1から今回の予測値(予測位置及び予測速度)V2が算出される。次に、今回の予測値V2を中心にゲートG1が設定され、相関候補(追尾候補)となる観測値V3がゲートG1内に制限される。ゲートG1内の観測値V3のうち今回の予測値V2に最も近接する観測値が今回の相関点として選択される。今回の相関点と所定数の過去の相関点を平滑化することによって今回の平滑値V4が算出される。ゲートG1の大きさ等はαβフィルタのパラメータの値によって定まる。 A current predicted value (predicted position and predicted speed) V2 is calculated from the previous smoothed value (smoothed position and smoothed speed) V1. Next, a gate G1 is set around the current predicted value V2, and the observed value V3, which is a correlation candidate (tracking candidate), is limited within the gate G1. Of the observed values V3 in the gate G1, the observed value closest to the current predicted value V2 is selected as the current correlation point. The current smoothed value V4 is calculated by smoothing the current correlation point and a predetermined number of past correlation points. The size of the gate G1 and the like are determined by the parameter values of the αβ filter.
図3に戻って、ステップS70に続くステップS80において、物標データ処理部46は、検出した物標を、静止物標、後方から前方に向かう方向に移動する移動物標、前方から後方に向かう方向に移動する移動物標の3種類に分類する。
Returning to FIG. 3, in step S80 following step S70, the target
次に、物標データ処理部46は、不要物に対応する物標データを除去する(ステップS90)。不要物としては、例えば、所定の高さよりも高い(例えば自車両の車高よりも高い)位置に存在する静止物、自車両の車高よりも低い位置に存在する静止物等を挙げることができる。
Next, the target
次に、識別部46cは、物標の種類を識別する(ステップS100)。例えば、識別部46cは、物標が歩行者であるか他車両であるかを識別する。ステップS100の識別処理の詳細については後述する。
Next, the
次に、物標データ処理部46は、物標データのパラメータ(距離、相対速度、縦位置、横位置等)に基づいて、同一の物体に関する物標データであると推測できる複数の物標データを1つのグループに纏める(ステップS110)。
Next, the target
最後に物標データ出力部47が、このように処理された物標データを車両制御ECU51などに送る。物標データ出力部47は、グループ化された物標データから所定数(例えば、10個)の物標データを出力対象として選択する(ステップS120)。物標データ出力部47は、物標データの距離及び横位置を考慮して、自車両に近い物標に係る物標データを優先的に選択する。
Finally, the target
以上のような処理で出力対象として選択された物標データはメモリ41に記憶され、次回以降の物標データ取得処理において過去の物標データとして用いられることになる。
The target data selected as an output target in the above process is stored in the
<3.識別処理の詳細>
図7は、識別処理の一例を示すフローチャートである。識別処理が開始されると、抽出部46bは、同一のクラスタに属する物標データの瞬時的な特徴量(以下、「クラスタ特徴量」という。)をクラスタ毎に抽出する(ステップS110)。クラスタ特徴量としては、例えば、物標までの距離の広がり、縦位置の広がり、横位置の広がり、相対速度の広がり、受信信号の電力(受信電力)の広がり等を挙げることができる。
<3. Details of Identification Processing>
FIG. 7 is a flowchart illustrating an example of identification processing. When the identification process is started, the
次に、抽出部46bは、同一のクラスタに属する物標データを時系列的に取得して得られる時系列情報をウィンドウとして蓄積する(ステップS120)。1つのウィンドウを構成するクラスタの数は複数であれば任意である。以下の説明では、適宜1つのウィンドウを構成するクラスタの数を3つとする。
Next, the
次に、識別部46cは、最初のウィンドウの蓄積が完了しているか否かを判定する(ステップS130)。
Next, the
最初のウィンドウの蓄積が完了していれば(ステップS130のYES)、抽出部46bは、最新のウィンドウについて、ウィンドウに基づく特徴量(以下、「ウィンドウ特徴量」という。)を抽出する(ステップS140)。ウィンドウ特徴量としては、例えば、ウィンドウ内での物標までの距離の広がり、ウィンドウ内での縦位置の広がり、ウィンドウ内での横位置の広がり、ウィンドウ内での相対速度の広がり、ウィンドウ内での受信電力の広がり等を挙げることができる。
If the accumulation of the first window has been completed (YES in step S130), the
例えば、図8に示すウィンドウW1は、1つの検出ピーク情報を有する1スキャン目のクラスタC1と、2つの検出ピーク情報をそれぞれ有する2スキャン目のクラスタC2及び3スキャン目のクラスタC3とによって構成されている。図8に示すウィンドウW1におけるウィンドウ内での相対速度の広がりは1.3[m/s]である。 For example, the window W1 shown in FIG. 8 is composed of a first scan cluster C1 having one detected peak information, and a second scan cluster C2 and a third scan cluster C3 each having two detected peak information. ing. The spread of the relative velocity within the window W1 shown in FIG. 8 is 1.3 [m/s].
また例えば、図9に示すウィンドウW2は、1つの検出ピーク情報をそれぞれ有する1スキャン目のクラスタC4、2スキャン目のクラスタC5、及び3スキャン目のクラスタC6によって構成されている。図9に示すウィンドウW2におけるウィンドウ内での相対速度の広がりは1.0[m/s]である。 Further, for example, the window W2 shown in FIG. 9 is composed of a cluster C4 of the first scan, a cluster C5 of the second scan, and a cluster C6 of the third scan each having one detected peak information. The spread of the relative velocity within the window W2 shown in FIG. 9 is 1.0 [m/s].
ステップS140に続くステップS150において、識別部46cは、クラスタ特徴量及びウィンドウ特徴量に基づいて物標の種類を識別する。なお、ステップS150において、識別部46cは、ウィンドウ特徴量のみに基づいて物標の種類を識別するようにしてもよい。
In step S150 following step S140, the
ステップS150に続くステップS160において、抽出部46bは、ウィンドウのスライディングシフトを行う。すなわち、抽出部46bは、スライディングウィンドウ方式を採用しており、最新の所定数のクラスタでウィンドウを構成することでウィンドウを図10に示すように1スキャンずつスライディングさせながら(図10ではΔで示す)ウィンドウを蓄積する。例えばウィンドウを構成するクラスタ数を3とし、nスキャン目のクラスタをCnとすると、今回のスキャンにおけるクラスタCn、1回前のスキャンにおけるクラスタCn-1、2回前のスキャンにおけるCn-2とでウィンドウを構成する。スライディングウィンドウ方式では、最初のウィンドウを得るまでの時間遅延が必要となるが、その後は図10に示すk~k+3スキャン目のウィンドウW11~14それぞれにおけるウィンドウ特徴量の抽出タイミングt1~t4のように、ウィンドウ特徴量を一定周期で抽出することができる。
In step S160 following step S150, the
一方、最初のウィンドウの蓄積が完了していなければ(ステップS130のNO)、識別部46cは、クラスタ特徴量のみに基づいて物標の種類を識別する(ステップS170)。
On the other hand, if the accumulation of the first window has not been completed (NO in step S130), the
ステップS160又はステップS170の処理が終了すると、識別処理が終了する。 When the process of step S160 or step S170 ends, the identification process ends.
以上説明した図7に示すフローチャートの動作によると、最初のウィンドウの蓄積が完了した後は、識別部46cがウィンドウ特徴量に基づいて物標の種類を識別する。これにより、図9に示す例のように1つの検出ピーク情報しか有さないクラスタが続いた場合でも物標の種類の識別が可能となる。したがって、特に、遠方の物標が歩行者のようなレーダ反射断面積(RCS)が小さく検出ピーク情報を多く取得し難い物標に対する識別精度が向上する。
According to the operation of the flowchart shown in FIG. 7 described above, after the accumulation of the first window is completed, the
また以上説明した図7に示すフローチャートの動作によると、最初のウィンドウの蓄積が完了した後は、識別部46cがウィンドウ特徴量のみならずクラスタ特徴量にも基づいて物標の種類を識別する。これにより、クラスタが複数の検出ピーク情報を有する場合における物標の種類の識別精度を向上させることができる。
Further, according to the operation of the flow chart shown in FIG. 7 described above, after the accumulation of the first window is completed, the
また以上説明した図7に示すフローチャートの動作によると、最初のウィンドウの蓄積が完了する迄は、識別部46cがクラスタ特徴量に基づいて物標の種類を識別する。これにより、最初のウィンドウの蓄積が完了する前であっても識別部46cが物標の種類を識別できる場合がある。
Further, according to the operation of the flow chart shown in FIG. 7 explained above, until the accumulation of the first window is completed, the
なお、信号処理装置4が図7に示すフローチャートの代わりに図11に示すフローチャートの動作を実行してもよい。図11に示すフローチャートは、図7に示すフローチャートからステップS170の処理を除いたフローチャートである。図11に示すフローチャートの動作によると、最初のウィンドウの蓄積が完了する迄は、識別部46cが物標の種類を識別しない。これにより、識別部46cによる識別処理がステップS150のみになり、識別部46cによる識別処理を簡素化できる。
It should be noted that the
識別部46cの識別結果をどのように利用するかについては特に限定されないが、例えば、識別部46cによって識別された物標の種類に応じて、追尾処理部46dで用いられるパラメータの値が変更されてよい。これにより、追尾処理性能の向上を図ることができる。また例えば、識別部46cの識別結果がレーダ装置1の外部に提供され、識別部46cによって識別された物標の種類に応じたAEB(Advanced Emergency Braking System)制御が実行されたり、識別部46cの識別結果をHUD(Head-Up Display)等に表示されたりしてもよい。
Although there is no particular limitation on how the identification result of the
本実施形態では、識別部46cは、例えばサポートベクターマシン、ランダムフォレスト等の教師あり機械学習によって物標の種類を識別する。教師あり機械学習を用いることにより、識別精度を向上させることができる。図12は、教師あり機械学習の概要を示す模式図である。識別部46cは、図12に示す様に事前に教師データの特徴量から学習結果(識別平面を形成するためのパラメータ)を作成し、オンライン処理で抽出した推定対象特徴量からクラス(物標の種類)を推定する。ステップS150の識別処理では、教師データの特徴量はクラスタ特徴量及び少なくとも2種類のウィンドウ特徴量であり、推定対象特徴量もクラスタ特徴量及び少なくとも2種類のウィンドウ特徴量である。ステップS170の識別処理では、教師データの特徴量は少なくとも2種類のクラスタ特徴量であり、推定対象特徴量も少なくとも2種類のクラスタ特徴量である。
In this embodiment, the identifying
なお、教師あり機械学習において教師データの特徴量及び推定対象特徴量それぞれに、受信電力(クラスタ又はウィンドウの代表受信電力)及び物標までの距離(クラスタ又はウィンドウの代表距離)を含めてもよい。受信電力及び物標までの距離それぞれは、クラスタ特徴量、ウィンドウ特徴量のいずれであってもよい。 Note that in supervised machine learning, the received power (representative received power of a cluster or window) and the distance to a target (representative distance of a cluster or window) may be included in each of the feature amount of teacher data and the feature amount to be estimated. . Each of the received power and the distance to the target may be either a cluster feature amount or a window feature amount.
図13は受信電力の距離特性を示す図である。図13中の太線は物標として歩行者を想定した受信電力の距離特性であり、図13中の細線は物標として他車両を想定した受信電力の距離特性である。図13から明らかな通り、受信電力は物標までの距離に依存して値が変動するため、レーダ装置1との距離が異なる別物標(歩行者及び他車両)で同じ値をとる場合がある。そのため、受信電力で単純に物標の種類を識別しようとすれば、図13に示す点線で区分した距離範囲毎で物標の種類を識別する必要があり、メモリ41の負荷が高くなってしまう。一方、上記のように教師あり機械学習において教師データの特徴量及び推定対象特徴量それぞれに、受信電力及び物標までの距離を含めることで、図13に示す点線での区分が不要となり、メモリ41の負荷を低くすることができる。
FIG. 13 is a diagram showing distance characteristics of received power. The thick line in FIG. 13 is the distance characteristic of the received power assuming a pedestrian as the target, and the thin line in FIG. 13 is the distance characteristic of the received power assuming another vehicle as the target. As is clear from FIG. 13, the value of the received power fluctuates depending on the distance to the target, so different targets (pedestrians and other vehicles) at different distances from the
<4.その他>
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。
<4. Others>
Various modifications can be made to the various technical features disclosed in this specification without departing from the gist of the technical creation in addition to the above-described embodiments. In addition, multiple embodiments and modifications shown in this specification may be implemented in combination to the extent possible.
例えば、ドプラシフトをビート信号の周波数ではなく複数のチャープ信号間の位相変化として検出するFCM方式の代わりに、ドプラシフトをビート信号の周波数ではなく複数の変調信号間の位相変化として検出する他の方式を採用してもよい。ドプラシフトをビート信号の周波数ではなく複数の変調信号間の位相変化として検出する他の方式としては、例えばドプラシフトをビート信号の周波数ではなく複数のパルス信号間の位相変化として検出するパルスドップラー方式が挙げられる。 For example, instead of the FCM method in which the Doppler shift is detected as the phase change between multiple chirp signals rather than the frequency of the beat signal, another method is used in which the Doppler shift is detected as the phase change between multiple modulated signals rather than the frequency of the beat signal. may be adopted. Another method that detects the Doppler shift not as the frequency of the beat signal but as the phase change between multiple modulated signals is the pulse Doppler method that detects the Doppler shift as the phase change between multiple pulse signals instead of the frequency of the beat signal. be done.
また例えば、レーダ装置において、FCM方式やパルスドップラー方式等の代わりに、FMCW方式(Frequency Modulated Continuous Wave)等を採用してもよい。 Further, for example, in the radar apparatus, instead of the FCM method, the pulse Doppler method, or the like, the FMCW method (Frequency Modulated Continuous Wave) or the like may be adopted.
また上述した実施形態では車載レーダ装置について説明したが、本発明は、道路等に設置されるインフラレーダ装置、航空機監視レーダ装置等にも適用可能である。 In the above-described embodiment, the vehicle-mounted radar system has been described, but the present invention can also be applied to an infrastructure radar system installed on a road or the like, an aircraft surveillance radar system, and the like.
1 レーダ装置
2 送信部
3 受信部
4 信号処理装置
46a クラスタリング部
46b 抽出部
46c 識別部
46d 追尾処理部
1
Claims (5)
前記導出部にて導出された前記物標データに含まれる前記位置情報に基づいて前記物標データをクラスタリングするクラスタリング部と、
前記クラスタリング部でのクラスタリングによって生成されるクラスタである現クラスタのそれぞれを、前回の処理サイクルで生成された前記クラスタに対応づける追尾処理部と、
前記追尾処理部によって前記現クラスタ毎に時系列的にグループ化される一群の前記クラスタをクラスタ群とし、前記クラスタ群において前記現クラスタを含む所定個のクラスタをウィンドウとして、前記クラスタ群毎に、前記ウィンドウに属する前記所定個のクラスタから前記物標データの時系列情報を取得し、前記時系列情報に基づく1つ以上の第1の特徴量を抽出すると共に、前記現クラスタ毎に、前記現クラスタに属する前記物標データに基づく1つ以上の第2の特徴量を抽出する抽出部と、
前記現クラスタ毎に、前記1つ以上の第1の特徴量及び前記1つ以上の第2の特徴量のうち少なくとも一方に基づいて前記現クラスタに対応づけられる前記物標について、歩行者であるか車両であるかを含む前記物標の種類を識別する識別部と、
を備え、
前記ウィンドウの形成に必要な前記所定個のクラスタの蓄積が完了していないことで前記抽出部が前記1つ以上の第1の特徴量を抽出できない期間、前記識別部は、前記1つ以上の第2の特徴量のみに基づいて前記物標の種類を識別する、
レーダ装置。 a derivation unit for deriving target object data including position information , relative velocity information, and received power information of the target object based on a received signal obtained by receiving a reflected wave of the transmitted wave reflected by the target object;
a clustering unit that clusters the target data based on the position information included in the target data derived by the deriving unit;
a tracking processing unit that associates each current cluster, which is a cluster generated by clustering in the clustering unit, with the cluster generated in the previous processing cycle;
A group of the clusters grouped chronologically for each current cluster by the tracking processing unit as a cluster group, and a predetermined number of clusters including the current cluster in the cluster group as a window, for each cluster group, acquiring time-series information of the target data from the predetermined number of clusters belonging to the window, extracting one or more first feature amounts based on the time-series information; an extraction unit that extracts one or more second feature amounts based on the target data belonging to the cluster;
For each current cluster, the target associated with the current cluster based on at least one of the one or more first feature amounts and the one or more second feature amounts is a pedestrian. an identification unit that identifies the type of the target including whether it is a vehicle or a vehicle;
with
During a period in which the extraction unit cannot extract the one or more first feature quantities because the accumulation of the predetermined number of clusters necessary for forming the window is not completed, the identification unit performs the one or more Identifying the type of the target based only on the second feature amount;
radar equipment.
前記識別部は、教師あり機械学習によって前記物標の種類を識別する、請求項1に記載
のレーダ装置。 The extraction unit extracts a plurality of feature amounts as the one or more first feature amounts,
The radar device according to claim 1, wherein the identification unit identifies the type of target by supervised machine learning.
前記導出工程にて導出された前記物標データに含まれる前記位置情報に基づいて前記物標データをクラスタリングするクラスタリング工程と、
前記クラスタリング工程でのクラスタリングによって生成されるクラスタである現クラスタのそれぞれを、前回の処理サイクルで生成された前記クラスタに対応づける追尾工程と、
前記追尾工程によって前記現クラスタ毎に時系列的にグループ化される一群の前記クラスタをクラスタ群とし、前記クラスタ群において前記クラスタを含む所定個のクラスタをウィンドウとして、前記クラスタ群毎に、前記ウィンドウに属する前記所定個のクラスタから前記物標データの時系列情報を取得し、前記時系列情報に基づく1つ以上の第1の特徴量を抽出すると共に、前記現クラスタ毎に、前記現クラスタに属する前記物標データに基づく1つ以上の第2の特徴量を抽出する抽出工程と、
前記現クラスタ毎に、前記1つ以上の第1の特徴量及び前記1つ以上の第2の特徴量のうち少なくとも一方に基づいて前記現クラスタに対応づけられる前記物標について、歩行者であるか車両であるかを含む前記物標の種類を識別する識別工程と、
を備え、
前記ウィンドウの形成に必要な前記所定個のクラスタの蓄積が完了していないことで前記抽出工程にて前記1つ以上の第1の特徴量を抽出できない期間、前記識別工程では、前記1つ以上の第2の特徴量のみに基づいて前記物標の種類を識別する、
信号処理方法。 a derivation step of deriving target data including position information, velocity information and received power information of the target based on a received signal obtained by receiving a reflected wave of the transmitted wave reflected by the target;
a clustering step of clustering the target data based on the position information included in the target data derived in the deriving step;
a tracking step of matching each current cluster, which is a cluster generated by clustering in the clustering step, with the cluster generated in the previous processing cycle;
A group of the clusters chronologically grouped for each current cluster by the tracking step is defined as a cluster group, and a predetermined number of clusters including the cluster in the cluster group are defined as a window, and the window is set for each cluster group. acquire time-series information of the target data from the predetermined number of clusters belonging to the current cluster, extract one or more first feature amounts based on the time-series information, and for each current cluster, an extraction step of extracting one or more second feature amounts based on the target data belonging to
For each current cluster, the target associated with the current cluster based on at least one of the one or more first feature amounts and the one or more second feature amounts is a pedestrian. an identification step of identifying the type of the target, including whether it is a vehicle or a vehicle;
with
During the period in which the one or more first feature values cannot be extracted in the extraction step because the accumulation of the predetermined number of clusters required for forming the window is not completed, the identification step includes the one or more identifying the target type based only on the second feature of
Signal processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018028186A JP7173735B2 (en) | 2018-02-20 | 2018-02-20 | Radar device and signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018028186A JP7173735B2 (en) | 2018-02-20 | 2018-02-20 | Radar device and signal processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019144094A JP2019144094A (en) | 2019-08-29 |
JP7173735B2 true JP7173735B2 (en) | 2022-11-16 |
Family
ID=67772328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018028186A Active JP7173735B2 (en) | 2018-02-20 | 2018-02-20 | Radar device and signal processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7173735B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019214383A1 (en) * | 2019-09-20 | 2021-03-25 | Conti Temic Microelectronic Gmbh | Object tracking method |
JP7359706B2 (en) * | 2020-01-24 | 2023-10-11 | Jrcモビリティ株式会社 | Object marking device |
JP7338497B2 (en) * | 2020-02-06 | 2023-09-05 | 株式会社デンソー | signal processor |
JP7463820B2 (en) | 2020-04-14 | 2024-04-09 | 日本電気株式会社 | Target tracking device, target tracking system, target tracking method, and target tracking program |
JP7338559B2 (en) * | 2020-05-26 | 2023-09-05 | 株式会社デンソー | signal processor |
JP7560419B2 (en) | 2021-08-30 | 2024-10-02 | 京セラ株式会社 | Electronic device, electronic device control method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017129410A (en) | 2016-01-19 | 2017-07-27 | パナソニック株式会社 | Object detection device and object detection method |
JP2017151043A (en) | 2016-02-26 | 2017-08-31 | 株式会社デンソー | Object recognition device and program |
-
2018
- 2018-02-20 JP JP2018028186A patent/JP7173735B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017129410A (en) | 2016-01-19 | 2017-07-27 | パナソニック株式会社 | Object detection device and object detection method |
JP2017151043A (en) | 2016-02-26 | 2017-08-31 | 株式会社デンソー | Object recognition device and program |
Also Published As
Publication number | Publication date |
---|---|
JP2019144094A (en) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7173735B2 (en) | Radar device and signal processing method | |
US10234541B2 (en) | FMCW radar device | |
KR101737590B1 (en) | Method and apparatus for radar signal processing | |
KR102490991B1 (en) | Systems for detecting moving objects | |
EP1681583B1 (en) | Vehicle radar process | |
CN110431436B (en) | Method for determining the radial relative acceleration of at least one object and radar device | |
KR102445130B1 (en) | Method and apparatus for determining the lateral relative velocity component of a radar target | |
JP4561507B2 (en) | Road shape recognition device | |
KR20200067629A (en) | Method and device to process radar data | |
EP3553552B1 (en) | Method for the recognition of a moving pedestrian | |
US9977126B2 (en) | Radar apparatus | |
US10473760B2 (en) | Radar device and vertical axis-misalignment detecting method | |
CN115575922B (en) | Moving target detection method and device based on vehicle-mounted FMCW millimeter wave radar | |
JP6231803B2 (en) | Radar apparatus and signal processing method | |
US10983195B2 (en) | Object detection apparatus | |
JP2018115931A (en) | Radar device and method for detecting target | |
JP2019109179A (en) | Object detection device for vehicle | |
JP7188894B2 (en) | Radar device and signal processing method | |
JP2018115930A (en) | Radar device and method for detecting target | |
JP2019074424A (en) | Radar device and signal processing method | |
US12061285B2 (en) | Detecting a parking row with a vehicle radar system | |
KR20160034753A (en) | Apparatus and method for controlling driving of vehicle | |
CN113661406A (en) | Radar apparatus | |
US20240280692A1 (en) | Fine-near-range estimation method for automotive radar applications | |
JP7424548B2 (en) | Vehicle radar equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180305 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210203 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20211018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211018 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7173735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |