JP7119628B2 - Target object detection method and device for vehicle - Google Patents

Target object detection method and device for vehicle Download PDF

Info

Publication number
JP7119628B2
JP7119628B2 JP2018116268A JP2018116268A JP7119628B2 JP 7119628 B2 JP7119628 B2 JP 7119628B2 JP 2018116268 A JP2018116268 A JP 2018116268A JP 2018116268 A JP2018116268 A JP 2018116268A JP 7119628 B2 JP7119628 B2 JP 7119628B2
Authority
JP
Japan
Prior art keywords
data
vehicle
predetermined
radar
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018116268A
Other languages
Japanese (ja)
Other versions
JP2019219253A (en
Inventor
友和 奥木
秀行 山田
将太 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2018116268A priority Critical patent/JP7119628B2/en
Publication of JP2019219253A publication Critical patent/JP2019219253A/en
Application granted granted Critical
Publication of JP7119628B2 publication Critical patent/JP7119628B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、自車両から発信されるレーダを用いて自車両周辺の物標を検出する技術に関する。 The present invention relates to a technology for detecting targets around a vehicle using radar transmitted from the vehicle.

近年、車両の安全性向上の観点から、自車両の周囲の障害物をレーダにより認識し、必要に応じて自動ブレーキ等の回避措置をとる運転支援機能を搭載した車両が増えてきている。このような運転支援機能付きの車両において、自車両の周囲に歩行者とそれ以外の障害物(例えば他車両やガードレールなど)との双方が存在する場合には、両者を区別して認識すること(特に歩行者を他の障害物と区別して認識すること)が望ましく、そのための技術が種々提案されている。 2. Description of the Related Art In recent years, from the viewpoint of improving vehicle safety, an increasing number of vehicles are equipped with a driving support function that recognizes obstacles around the vehicle using radar and takes avoidance measures such as automatic braking as necessary. In such a vehicle with a driving support function, if there are both pedestrians and other obstacles (for example, other vehicles, guardrails, etc.) around the vehicle, the two must be recognized separately ( In particular, it is desirable to recognize pedestrians by distinguishing them from other obstacles, and various techniques for that purpose have been proposed.

例えば、下記特許文献1には、自車両からレーダを照射してその反射信号を受信する信号取得手段と、受信された反射信号をFFT処理することにより、歩行者からの反射信号に由来する周波数成分と先行車両からの反射信号に由来する周波数成分とを含んだ離散的な第1のスペクトル信号を得るスペクトル信号取得手段と、自車両と先行車両との相対距離および相対速度の計測結果を用いた所定の演算により、先行車両の周波数成分を示す離散的な第2のスペクトル信号を得るスペクトル信号算出手段と、第1のスペクトル信号から第2のスペクトル信号を減算するスペクトル信号減算手段と、減算後のスペクトル信号に基づいて歩行者を検出する(自車両と歩行者との相対距離および相対速度を算出する)距離速度算出手段とを備えたレーダ装置が開示されている。 For example, in Patent Document 1 below, a signal acquisition means for radiating radar from the vehicle and receiving the reflected signal, and performing FFT processing on the received reflected signal, the frequency derived from the reflected signal from the pedestrian spectrum signal acquisition means for obtaining a discrete first spectrum signal containing a component and a frequency component derived from a reflected signal from a preceding vehicle; spectral signal calculating means for obtaining a discrete second spectral signal indicating the frequency component of the preceding vehicle by a predetermined calculation; spectral signal subtracting means for subtracting the second spectral signal from the first spectral signal; A radar apparatus is disclosed that includes a distance/velocity calculation means for detecting pedestrians (calculating the relative distance and relative velocity between the own vehicle and pedestrians) based on the subsequent spectral signals.

特開2016-102675号公報JP 2016-102675 A

上記特許文献1では、反射信号をFFT処理することで得られるスペクトルデータ(第1のスペクトル信号)から、理論的に(演算により)求められる他車両のスペクトルデータ(第2のスペクトル信号)が減算されるので、自車両の周囲に他車両と歩行者とが混在する状況であっても、上記減算後のデータに基づいて精度よく歩行者を検出できるとされている。 In the above Patent Document 1, spectral data (second spectral signal) of another vehicle, which is theoretically (by calculation) obtained, is subtracted from spectral data (first spectral signal) obtained by subjecting a reflected signal to FFT processing. Therefore, even in a situation where other vehicles and pedestrians coexist around the own vehicle, pedestrians can be accurately detected based on the data after the subtraction.

ここで、自車両が走行する道路上には、他車両以外にも、ガードレールや電柱、標識などの構造物が存在する(以下、これらを総称して道路構造物という)。このような道路構造物は、車両に比べてサイズが小さく、また平面部分も少ない。したがって、当該道路構造物からの反射信号は、他車両からの反射信号に比べて信号強度がかなり小さくなる傾向にある。このような性質の道路構造物からの反射信号は、強度が相対的に小さいという意味において、歩行者からの反射信号と類似している。このため、仮に上記のように他車両のスペクトルデータを減算する処理を行ったところで、残った周波数成分が歩行者に由来するのか道路構造物に由来するのかは、これを判断することが困難である。このように、上記特許文献1の方法では、歩行者の検出精度が期待通りには向上しないと考えられる。 In addition to other vehicles, structures such as guardrails, utility poles, and signs (hereinafter collectively referred to as road structures) exist on the road on which the host vehicle travels. Such road structures are smaller in size than vehicles and have less flat areas. Therefore, the reflected signal from the road structure tends to have a significantly lower signal strength than the reflected signal from the other vehicle. Reflected signals from road structures of this nature are similar to reflected signals from pedestrians in the sense that their intensity is relatively low. Therefore, even if the spectral data of other vehicles are subtracted as described above, it is difficult to determine whether the remaining frequency components are derived from pedestrians or road structures. be. Thus, it is considered that the method of Patent Document 1 does not improve the pedestrian detection accuracy as expected.

本発明は、上記のような事情に鑑みてなされたものであり、歩行者を道路構造物と区別して検出することが可能な車両用物標検出方法および装置を提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a vehicle target detection method and apparatus capable of detecting pedestrians separately from road structures.

前記課題を解決するためのものとして、本発明は、レーダを発信する送信部と、前記送信部からのレーダの反射信号を受信する受信部と、前記受信部が受信した信号を解析する処理部と、を備えた自車両の前記送信部から発信されるレーダを用いて自車両周辺の物標を検出する方法であって、前記受信部が、前記レーダの反射信号を受信する受信ステップと、前記処理部が、前記受信ステップで受信された信号を極形式データに変換し、当該極形式データにおける位相の情報を所定期間に亘り抽出した位相の時系列データを生成するデータ生成ステップと、前記処理部が、前記データ生成ステップで生成された位相の時系列データから、当該時系列データの分散と、当該時系列データの最大値と最小値との差分であるダイナミックレンジとを算出し、算出した前記分散が予め定められた第1閾値よりも大きく、かつ算出した前記ダイナミックレンジが予め定められた第2閾値よりも大きい場合に、自車両の周囲に歩行者が存在すると判定し、前記分散が前記第1閾値以下であるかまたは前記ダイナミックレンジが前記第2閾値以下である場合に、自車両の周囲に道路構造物が存在すると判定する判定ステップとを含む、ことを特徴とするものである(請求項1)。 In order to solve the above-mentioned problems, the present invention provides a transmitting unit that transmits radar, a receiving unit that receives a reflected radar signal from the transmitting unit, and a processing unit that analyzes the signal received by the receiving unit. A method of detecting a target around the own vehicle using the radar transmitted from the transmitting unit of the own vehicle, comprising: a receiving step in which the receiving unit receives a reflected signal of the radar; a data generating step in which the processing unit converts the signal received in the receiving step into polar format data and generates phase time-series data by extracting phase information in the polar format data over a predetermined period ; A processing unit, from the phase time series data generated in the data generation step, calculates the variance of the time series data and the dynamic range that is the difference between the maximum value and the minimum value of the time series data, and calculates When the calculated variance is larger than a predetermined first threshold and the calculated dynamic range is larger than a predetermined second threshold, it is determined that a pedestrian exists around the vehicle, and the variance is equal to or less than the first threshold value or the dynamic range is equal to or less than the second threshold value, a determination step of determining that a road structure exists around the vehicle. There is (claim 1).

ガードレールや電柱、標識などの道路構造物からの反射信号は、信号強度が比較的小さい(例えば他車両からの反射信号に比べて大幅に小さい)という意味において、歩行者からの反射信号と類似している。このため、受信されたレーダの反射信号をそのまま解析したのでは、歩行者と道路構造物とを区別することは困難である。 Reflected signals from road structures such as guardrails, utility poles, and signs are similar to reflected signals from pedestrians in the sense that the signal strength is relatively low (e.g., much smaller than reflected signals from other vehicles). ing. For this reason, it is difficult to distinguish pedestrians from road structures by directly analyzing the reflected signals of the received radar .

これに対し、物標が歩行者であった場合に得られるレーダの反射信号を極形式データに変換すると、物標が道路構造物であった場合の極形式データとは明確に異なる特徴を有することが分かっている。このことを利用して、本発明では、受信信号が極形式データに変換されるとともに、変換後の極形式データから位相の時系列データが生成され、生成された時系列データに基づいて物標が判別される。これにより、反射信号がいずれも弱くなりがちな歩行者および道路構造物を明瞭に区別することができ、歩行者の検出精度を効果的に向上させることができる。 On the other hand , when the radar reflection signal obtained when the target is a pedestrian is converted into polar format data, it has characteristics that are clearly different from the polar format data when the target is a road structure. I know that. Utilizing this, in the present invention, the received signal is converted into polar format data, phase time-series data is generated from the converted polar format data, and the target object is detected based on the generated time-series data. is determined. As a result, it is possible to clearly distinguish pedestrians and road structures, both of which tend to have weak reflected signals, and to effectively improve pedestrian detection accuracy.

ここで、前記位相の時系列データに関するより詳しい知見として、物標が歩行者であった場合に得られる前記時系列データ分散は、物標が道路構造物であった場合のそれよりも大きくなることが分かっている。また、前記時系列データのダイナミックレンジ(最大値と最小値との差分も、物標が道路構造物であった場合のそれよりも大きくなることが分かっている。これは、歩行者である人間の特性、つまり、表面形状が生物特有の複雑な凹凸形状であることや、皮膚、筋肉、内蔵、骨などの多様な物質によって身体が構成されていることに由来するものと考えられる。 Here, as more detailed knowledge about the time-series data of the phase, the variance of the time-series data obtained when the target is a pedestrian is larger than that when the target is a road structure. I know it will be Also, it is known that the dynamic range ( difference between the maximum value and the minimum value ) of the time-series data is larger than that when the target is a road structure. This is due to the characteristics of humans as pedestrians, that is, the surface shape is a complex uneven shape unique to living organisms, and the body is composed of various substances such as skin, muscles, internal organs, and bones. It is considered that

そこで、本発明では、前記分散が第1閾値より大きくかつ前記ダイナミックレンジが第2閾値よりも大きい場合に、自車両の周囲に歩行者が存在すると判定される。これにより、歩行者を精度よく検出することができる。 Therefore, in the present invention, it is determined that a pedestrian exists around the vehicle when the variance is greater than the first threshold and the dynamic range is greater than the second threshold. Thereby, a pedestrian can be detected accurately.

本発明の物標検出方法は、好ましくは、前記処理部が、前記受信ステップで受信された信号にフーリエ変換を含む所定の処理を施すことにより、自車両からの距離と信号強度との関係を表す距離スペクトルを生成するとともに、当該距離スペクトルの中に予め定められた所定強度範囲に収まるピークをもったピーク波形が存在するか否かを判定する第1準備ステップと、前記第1準備ステップにおいて前記所定強度範囲に収まるピークをもったピーク波形が確認された場合に、前記処理部が、当該ピーク波形のピーク位置を含む所定距離範囲における距離スペクトルのデータを、逆フーリエ変換を含む所定の処理によって時系列の極形式データに変換する第2準備ステップとをさらに含み、前記データ生成ステップでは、前記第2準備ステップにより前記所定距離範囲について生成された極形式データに基づいて、前記位相の時系列データを生成する(請求項2)。 In the target detection method of the present invention, preferably, the processing unit performs predetermined processing including Fourier transform on the signal received in the receiving step to obtain the relationship between the distance from the own vehicle and the signal strength. a first preparation step of generating a distance spectrum representing the When a peak waveform having a peak falling within the predetermined intensity range is confirmed, the processing unit performs predetermined processing including inverse Fourier transform on distance spectrum data in a predetermined distance range including the peak position of the peak waveform. and a second preparation step of converting into time-series polar format data by, in the data generation step, based on the polar format data generated for the predetermined distance range by the second preparation step, the time of the phase Generate series data ( claim 2 ).

この構成によれば、距離スペクトルのデータのうち歩行者(または道路構造物)に由来すると考えられるピーク波形の部分に限定して極形式データへの変換処理が施されるので、処理負担を効果的に軽減することができる。また、歩行者に由来する疑いのある極形式データのみを対象に位相の時系列データが調べられるので、余分なデータを処理することに起因した誤判定の可能性を排除でき、歩行者の有無をより精度よく判定することができる。 According to this configuration, conversion processing to polar format data is performed only on the portion of the peak waveform that is considered to be derived from pedestrians (or road structures) in the data of the distance spectrum, thus reducing the processing burden. can be effectively reduced. In addition, since phase time-series data can be examined only for polar format data suspected of originating from pedestrians, it is possible to eliminate the possibility of misjudgment caused by processing extra data, thereby eliminating the possibility of pedestrian presence or absence. can be determined more accurately.

また、本発明は、自車両から発信されるレーダを用いて自車両周辺の物標を検出する装置であって、前記レーダを発信する送信部と、前記送信部からのレーダの反射信号を受信する受信部と、前記受信部が受信した信号を解析することにより歩行者の存在の有無を判定する処理部とを備え、前記処理部は、前記受信部が受信した信号を極形式データに変換し、当該極形式データにおける位相の情報を所定期間に亘り抽出した位相の時系列データを生成するデータ生成処理と、前記データ生成処理で生成された位相の時系列データから、当該時系列データの分散と、当該時系列データの最大値と最小値との差分であるダイナミックレンジとを算出し、算出した前記分散が予め定められた第1閾値よりも大きく、かつ算出した前記ダイナミックレンジが予め定められた第2閾値よりも大きい場合に、自車両の周囲に歩行者が存在すると判定し、前記分散が前記第1閾値以下であるかまたは前記ダイナミックレンジが前記第2閾値以下である場合に、自車両の周囲に道路構造物が存在すると判定する判定処理とを実行する、ことを特徴とするものである(請求項3)。 Further, the present invention is a device for detecting a target around the own vehicle using radar transmitted from the own vehicle, comprising: a transmitter for transmitting the radar; and a reflected signal of the radar from the transmitter. and a processing unit for determining the presence or absence of a pedestrian by analyzing the signal received by the receiving unit, wherein the processing unit converts the signal received by the receiving unit into polar format data. a data generation process for generating phase time-series data obtained by extracting phase information in the polar format data over a predetermined period; and generating the phase time-series data generated by the data generation process . Calculate the variance and the dynamic range that is the difference between the maximum value and the minimum value of the time-series data, and the calculated variance is greater than a predetermined first threshold, and the calculated dynamic range is predetermined If it is larger than the second threshold value, it is determined that there is a pedestrian around the vehicle, and if the variance is the first threshold value or less or the dynamic range is the second threshold value or less, ( Claim 3 ).

この物標検出装置によれば、上述した物標検出方法の発明と同様に、歩行者を道路構造物と明瞭に区別することができ、歩行者の検出精度を向上させることができる。 According to this target detection device, similarly to the invention of the target detection method described above, pedestrians can be clearly distinguished from road structures, and the pedestrian detection accuracy can be improved.

以上説明したように、本発明によれば、歩行者を道路構造物と区別して検出することができる。 As described above, according to the present invention, pedestrians can be detected separately from road structures.

本発明の物標検出方法(または装置)が適用された車両の好ましい実施形態を示す概略平面図である。1 is a schematic plan view showing a preferred embodiment of a vehicle to which a target object detection method (or device) of the present invention is applied; FIG. 上記車両の制御系統を示すブロック図である。3 is a block diagram showing a control system of the vehicle; FIG. 上記車両の走行中に実行される歩行者の検出処理の前半部を示すフローチャートである。It is a flowchart which shows the first half part of the pedestrian detection process performed while the said vehicle is driving|running|working. 上記歩行者の検出処理の後半部を示すフローチャートである。It is a flow chart which shows the second half part of the above-mentioned pedestrian detection processing. IQデータの概念を説明するための説明図である。FIG. 4 is an explanatory diagram for explaining the concept of IQ data; 図3のステップS6の処理により得られる距離スペクトルの一例を示す図である。It is a figure which shows an example of the distance spectrum obtained by the process of step S6 of FIG. 図4のステップS11の処理により得られるIQデータの一例を示す図であり、(a)はIQデータの直交成分、(b)はIQデータの同相成分を示している。FIG. 5 is a diagram showing an example of IQ data obtained by the process of step S11 in FIG. 4, where (a) shows the quadrature component of the IQ data and (b) shows the in-phase component of the IQ data. 図4のステップS11の処理により得られるIQデータの別の一例を示す図であり、(a)はIQデータの直交成分、(b)はIQデータの同相成分を示している。5 is a diagram showing another example of IQ data obtained by the process of step S11 in FIG. 4, where (a) shows the quadrature component of the IQ data and (b) shows the in-phase component of the IQ data; FIG. 図7(a)(b)に示されるIQデータから図4のステップS12を経て生成される位相の時系列データを示す図であり、物標が歩行者であった場合に得られる当該時系列データの一例を示す図である。FIG. 7A is a diagram showing phase time-series data generated through step S12 in FIG. 4 from the IQ data shown in FIGS. 7A and 7B, and the time-series data obtained when the target is a pedestrian It is a figure which shows an example of data. 図8(a)(b)に示されるIQデータから図4のステップS12を経て生成される位相の時系列データを示す図であり、物標が道路構造物であった場合に得られる当該時系列データの一例を示す図である。FIG. 8A is a diagram showing phase time-series data generated from the IQ data shown in FIGS. 8A and 8B through step S12 in FIG. It is a figure which shows an example of series data.

図1は、本発明の物標検出方法(または装置)が適用された車両の好ましい実施形態を示す概略平面図である。本図に示される車両は、自車両の周囲の障害物を検出するための複数のレーダユニット1(1A~1E)および複数のカメラユニット2(2A,2B)を備えている。 FIG. 1 is a schematic plan view showing a preferred embodiment of a vehicle to which the target object detection method (or device) of the present invention is applied. The vehicle shown in this figure comprises a plurality of radar units 1 (1A to 1E) and a plurality of camera units 2 (2A, 2B) for detecting obstacles around the vehicle.

上記複数のレーダユニット1は、車両の前端部の中央に配置された第1レーダユニット1Aと、車両の前端部の左端に配置された第2レーダユニット1Bと、車両の前端部の右端に配置された第3レーダユニット1Cと、車両の後端部の左端に配置された第4レーダユニット1Dと、車両の後端部の右端に配置された第5レーダユニット1Eとを含んでいる。第1レーダユニット1Aは、例えばフロントグリルに配置され、第2・第3レーダユニット1B,1Cは、例えばフロントバンパーフェースの裏面に配置され、第4・第5レーダユニット1D,1Eは、例えばリヤバンパーフェースの裏面に配置されている。 The plurality of radar units 1 are a first radar unit 1A arranged at the center of the front end of the vehicle, a second radar unit 1B arranged at the left end of the front end of the vehicle, and a right end of the front end of the vehicle. a fourth radar unit 1D arranged at the left end of the rear end of the vehicle; and a fifth radar unit 1E arranged at the right end of the rear end of the vehicle. The first radar unit 1A is arranged, for example, on the front grille, the second and third radar units 1B, 1C are arranged, for example, on the rear surface of the front bumper face, and the fourth and fifth radar units 1D, 1E are arranged, for example, on the rear bumper. Located on the back of the face.

第1~第5レーダユニット1A~1Eは、それぞれ、自車両の周囲に向けてレーダ(例えばミリ波レーダ)を発信する送信部5と、送信部5から発信されたレーダの反射信号、つまり周囲の障害物等で反射して自車両に返ってくるレーダを受信する受信部6とを有している(いずれも図2参照)。各レーダユニット1A~1Eは、それぞれ、自身を中心に扇状に拡がる領域を検出範囲とするレーダ検出器であり、これら各レーダユニット1A~1Eが図1に示した車両の各位置に分散して配置されることにより、車両のほぼ全周囲がレーダによる検出範囲とされている。なお、以下では、第1~第5レーダユニット1A~1Eを特に区別せずに指すときは、単にレーダユニット1というものとする。 The first to fifth radar units 1A to 1E respectively include a transmitter 5 that transmits radar (for example, millimeter wave radar) toward the surroundings of the vehicle, and a reflected radar signal transmitted from the transmitter 5, that is, the surroundings. and a receiver 6 for receiving the radar reflected by an obstacle or the like and returned to the own vehicle (see FIG. 2 for both). Each of the radar units 1A to 1E is a radar detector whose detection range is a fan-shaped area centered on itself. By arranging them, almost the entire circumference of the vehicle is made the detection range of the radar. In the following description, the first to fifth radar units 1A to 1E are simply referred to as the radar unit 1 when they are referred to without particular distinction.

上記複数のカメラユニット2は、車室内からフロントガラスを通じて車両の前方を撮像する第1カメラユニット2Aと、車両の後端部から車両の後方を撮像する第2カメラユニット2Bとを含んでいる。第1カメラユニット2Aは、例えばフロントガラスの上端部における車室内側の面に配置されており、第2カメラユニット2Bは、例えばリヤゲートに配置されている。 The plurality of camera units 2 include a first camera unit 2A that captures an image of the front of the vehicle through the windshield from inside the vehicle, and a second camera unit 2B that captures an image of the rear of the vehicle from the rear end of the vehicle. The first camera unit 2A is arranged, for example, at the upper end of the windshield on the inside of the vehicle interior, and the second camera unit 2B is arranged, for example, at the rear gate.

図示を省略するが、第1・第2カメラユニット2A,2Bは、それぞれ、レンズ部と、レンズ部を通じて入光された光を電気信号に変換するイメージセンサと、イメージセンサからの信号を処理して画像データとして出力するデータ処理部とを有している。各カメラユニット2A,2Bは、それぞれ、自身を中心に扇状に拡がる領域を撮像範囲とする撮像装置であり、これら各カメラユニット2A,2Bが車両の前後に分かれて配置されることにより、車両の前方および後方の比較的広角な範囲がカメラによる撮像範囲とされている。なお、以下では、第1・第2カメラユニット2A,2Bを特に区別せずに指すときは、単にカメラユニット2というものとする。 Although illustration is omitted, the first and second camera units 2A and 2B each have a lens portion, an image sensor that converts light incident through the lens portion into an electrical signal, and a signal that is processed from the image sensor. and a data processing unit for outputting as image data. Each of the camera units 2A and 2B is an imaging device whose imaging range is a fan-shaped area centered on itself. A relatively wide-angle range in front and rear is taken as an imaging range by the camera. In the following description, when referring to the first and second camera units 2A and 2B without distinguishing them, they will simply be referred to as the camera unit 2. As shown in FIG.

図2は、当実施形態の車両の制御系統を示すブロック図である。本図に示されるコントローラ10は、車両の各部を制御するためのマイクロプロセッサであり、周知のCPU、RAM、ROM等から構成されている。 FIG. 2 is a block diagram showing the vehicle control system of this embodiment. A controller 10 shown in this figure is a microprocessor for controlling each part of the vehicle, and is composed of a well-known CPU, RAM, ROM and the like.

コントローラ10は、レーダユニット1およびカメラユニット2と電気的に接続されており、各ユニット1,2との間で種々の信号を送受信する。例えば、コントローラ10は、レーダユニット1の送信部5に対し所定の制御信号を出力するとともに、レーダユニット1の受信部6からレーダの反射信号を示すデータを受け付ける。また、コントローラ10は、カメラユニット2に対し所定の制御信号を出力するとともに、カメラユニット2から画像データを受け付ける。 The controller 10 is electrically connected to the radar unit 1 and camera unit 2 and transmits and receives various signals to and from each unit 1 and 2 . For example, the controller 10 outputs a predetermined control signal to the transmitter 5 of the radar unit 1 and receives data representing a radar reflected signal from the receiver 6 of the radar unit 1 . The controller 10 also outputs a predetermined control signal to the camera unit 2 and receives image data from the camera unit 2 .

コントローラ10は、処理部11および記憶部12を機能的に有している。処理部11は、レーダユニット1およびカメラユニット2の各動作を制御しつつ各ユニット1,2から入力されるデータに基づいて種々の解析や判定等を行うものである。記憶部12は、処理部11による処理に必要な各種データを記憶するものである。 The controller 10 functionally has a processing unit 11 and a storage unit 12 . The processing section 11 controls each operation of the radar unit 1 and the camera unit 2 and performs various analyzes and judgments based on the data input from each unit 1 and 2 . The storage unit 12 stores various data necessary for processing by the processing unit 11 .

図3および図4は、以上のようなコントローラ10によって実行される歩行者の検出処理の具体的手順を示すフローチャートである。なお、このフローチャートは、レーダを用いて歩行者を検出する処理を示しているが、当実施形態の車両では、このフローチャートに示す処理以外にも、カメラを用いて歩行者、他車両、または道路構造物(ガードレールや電柱、標識など)を検出したり、レーダを用いて他車両または道路構造物を検出する処理を併せて実行することが可能である。言い換えると、このフローチャートは、カメラでは見逃すおそれのある歩行者をレーダを用いて検出するための処理を示しているといえる。また、このフローチャートの処理は、第1~第5レーダユニット1A~1Eごとに個別に行われるが、いずれのレーダユニット1A~1Eを用いた場合の処理も基本的に同じであるので、以下では、第1~第5レーダユニット1A~1Eを総称して単に「レーダユニット1」というものとする。 3 and 4 are flow charts showing specific procedures of pedestrian detection processing executed by the controller 10 as described above. Although this flowchart shows a process of detecting pedestrians using radar, in the vehicle of the present embodiment, in addition to the processes shown in this flowchart, a camera is used to detect pedestrians, other vehicles, or roads. It is also possible to execute processing for detecting structures (guardrails, utility poles, signs, etc.) and detecting other vehicles or road structures using radar. In other words, it can be said that this flowchart shows processing for detecting a pedestrian, which may be overlooked by the camera, using the radar. Further, the processing of this flowchart is performed individually for each of the first to fifth radar units 1A to 1E. , and the first to fifth radar units 1A to 1E will be collectively referred to simply as "radar unit 1".

図3に示す処理がスタートすると、コントローラ10の処理部11は、ステップS1において、レーダユニット1の送信部5からレーダを発信させる。 When the process shown in FIG. 3 starts, the processing section 11 of the controller 10 causes the transmitting section 5 of the radar unit 1 to transmit radar in step S1.

次いで、処理部11は、ステップS2に移行して、送信部5から発信されたレーダの反射信号、つまり自車両の周囲で反射してレーダユニット1の受信部6で受信されたレーダの信号を取り込む。 Next, the processing unit 11 shifts to step S2 to transmit the reflected radar signal transmitted from the transmitting unit 5, that is, the radar signal reflected around the own vehicle and received by the receiving unit 6 of the radar unit 1. take in.

次いで、処理部11は、ステップS3に移行して、受信部6から取り込んだデータをアナログデータからデジタルデータに変換するAD変換を実行する。 Next, the processing unit 11 proceeds to step S3 and performs AD conversion for converting the data fetched from the receiving unit 6 from analog data to digital data.

次いで、処理部11は、ステップS4に移行して、上記ステップS3によるAD変換後のデータに基づいて、IQデータを生成する。IQデータとは、時系列の信号を正弦波の振幅、周波数、位相の時間関数で表した極形式(極座標形式)のデータのことであり、下記の式(1)で表すことができる。 Next, the processing unit 11 proceeds to step S4 and generates IQ data based on the data after AD conversion in step S3. The IQ data is polar format (polar coordinate format) data in which a time-series signal is expressed as a time function of the amplitude, frequency, and phase of a sine wave, and can be expressed by the following formula (1).

Figure 0007119628000001
Figure 0007119628000001

ここに、
A(t)は正弦波の振幅、
f(t)は周波数、
φ(t)は位相であり、それぞれ時間tの関数である。
Here,
A(t) is the amplitude of the sine wave,
f(t) is the frequency;
φ(t) is the phase, each a function of time t.

上記式(1)で表現される正弦波は、図5に示すように、複素数(I+jQ)を用いた極形式で表すことができる。また、この図5では、実軸(I軸)の投影値であるA(t)・cos(φ(t))をViとし、虚軸(Q軸)の投影値であるA(t)・sin(φ(t))をVqとしている。なお、Viは同相成分、Vqは直交成分と呼ばれる。 The sine wave expressed by Equation (1) above can be expressed in polar form using complex numbers (I+jQ), as shown in FIG. In FIG. 5, the projection value of the real axis (I-axis) A(t)·cos(φ(t)) is Vi, and the projection value of the imaginary axis (Q-axis) A(t)· Let sin(φ(t)) be Vq. Note that Vi is called an in-phase component and Vq is called a quadrature component.

処理部11は、上記ステップS4において、上記ステップS3によるAD変換後のデータ(デジタル化された入力信号)に所定の演算処理を施すことにより、上述した同相成分Viおよび直交成分Vqの時間関数を特定し、これをIQデータとして保持する。 In step S4, the processing unit 11 performs predetermined arithmetic processing on the data (digitized input signal) after the AD conversion in step S3, thereby obtaining the time functions of the above-described in-phase component Vi and quadrature component Vq. specified and retained as IQ data.

次いで、処理部11は、ステップS5に移行して、上記ステップS4の処理により得られたIQデータをフーリエ変換することにより、周波数と信号強度(振幅)との関係を示す周波数スペクトルを生成するFFT処理を実行する。 Next, the processing unit 11 proceeds to step S5, and Fourier transforms the IQ data obtained by the processing of step S4 to generate a frequency spectrum indicating the relationship between frequency and signal strength (amplitude) FFT Execute the process.

次いで、処理部11は、ステップS6に移行して、上記ステップS5の処理により得られた周波数スペクトルに基づいて、自車両からの距離と信号強度との関係を表す距離スペクトルを生成する。すなわち、周波数と距離との間にはレーダの送受信方式(例えばFMCW方式など)に応じて定まる1対1の相関関係があるので、この相関関係に基づいた所定の演算処理を施すことにより、上記周波数スペクトルから上記距離スペクトルを生成することができる。 Next, the processing unit 11 proceeds to step S6, and generates a distance spectrum representing the relationship between the distance from the own vehicle and the signal intensity based on the frequency spectrum obtained by the process of step S5. That is, since there is a one-to-one correlation between the frequency and the distance that is determined according to the radar transmission/reception system (for example, the FMCW system), by performing a predetermined arithmetic processing based on this correlation, the above-mentioned The distance spectrum can be generated from the frequency spectrum.

図6は、上記ステップS6の処理により得られる距離スペクトルの一例を示している。本図に示すように、距離スペクトルは、自車両からの距離が連続的に変化した場合の信号強度(受信電力)の連続的な変化を示すデータとなって得られる。 FIG. 6 shows an example of the distance spectrum obtained by the process of step S6. As shown in this figure, the distance spectrum is obtained as data showing continuous changes in signal strength (received power) when the distance from the vehicle changes continuously.

次いで、処理部11は、ステップS7に移行して、上記ステップS6の処理により得られた距離スペクトルの中に、図6に示す所定強度範囲W(図6)に収まるピークをもったピーク波形が存在するか否かを判定する。所定強度範囲Wは、レーダユニット1による受信信号(つまり距離スペクトルの基になる入力信号)に歩行者からの反射信号が含まれていた場合に得られるピーク波形を想定して予め定められている。すなわち、歩行者からの反射信号に基づくピーク波形が距離スペクトル内に存在する場合、このピーク波形の最大値(ピーク)は、経験上、所定強度範囲W内に収まることが分かっている。言い換えると、この所定強度範囲W内にピークが存在するということは、自車両の周囲に歩行者が存在する可能性があることを意味する。例えば、図6に示す距離スペクトルには、所定強度範囲Wに収まるピークをもったピーク波形が2つ存在しており(それぞれ符号A1,A2で示す)、これら各ピーク波形A1,A2のピーク位置(ピークに対応する横軸上の位置)は約10mと約12mである。これは、自車両から距離約10mの位置と距離約12mの位置とにそれぞれ歩行者が存在する可能性があることを示している。なお、自車両からの距離が長いほど反射信号の強度が小さくなることから、所定強度範囲Wの上限値W1と下限値W2とは、それぞれ、自車両から距離が長くなるほど(図6の右側ほど)小さくなるように設定されている。 Next, the processing unit 11 proceeds to step S7, and the distance spectrum obtained by the processing of step S6 includes a peak waveform having a peak within the predetermined intensity range W (FIG. 6) shown in FIG. Determine if it exists. The predetermined intensity range W is predetermined based on the assumption of a peak waveform obtained when the signal received by the radar unit 1 (that is, the input signal on which the distance spectrum is based) includes a reflected signal from a pedestrian. . That is, it is empirically known that the maximum value (peak) of the peak waveform falls within the predetermined intensity range W when the peak waveform based on the reflected signal from the pedestrian exists in the distance spectrum. In other words, the presence of a peak within the predetermined intensity range W means that pedestrians may be present around the vehicle. For example, the distance spectrum shown in FIG. 6 has two peak waveforms having peaks within a predetermined intensity range W (indicated by symbols A1 and A2, respectively). (Positions on the horizontal axis corresponding to peaks) are about 10 m and about 12 m. This indicates that there is a possibility that a pedestrian exists at a distance of about 10 m and a distance of about 12 m from the own vehicle. Since the intensity of the reflected signal decreases as the distance from the own vehicle increases, the upper limit value W1 and the lower limit value W2 of the predetermined intensity range W increase as the distance from the own vehicle increases (to the right in FIG. 6). ) is set to be small.

ここで、歩行者からの反射信号の強度は、車両からの反射信号に比べれば大幅に小さくなる傾向にある。上記所定強度範囲Wは、歩行者からの反射信号におけるこのような性質に合わせて予め定められている。すなわち、所定強度範囲Wの上限値W1は、反射体(物標)が車両であった場合に得られるピーク値よりも十分に小さい値に設定されている。図6に例示する距離スペクトルには、所定強度範囲Wに収まるピークをもったピーク波形が2つ存在しているが(符号A1,A2)、所定強度範囲Wが上記のような大きさに設定されていることにより、これら2つのピーク波形A1,A2は、少なくとも、車両からの反射信号に由来するものではないということができる。なお、仮に自車両の周囲に他車両が存在する場合には、距離スペクトルの中に所定強度範囲W(その上限値W1)よりも大きいピークが含まれるはずであるが、図6の例にそのようなピークは見られない。このことは、自車両の周囲に他車両が存在しないことを意味する。 Here, the intensity of reflected signals from pedestrians tends to be significantly smaller than that of reflected signals from vehicles. The predetermined intensity range W is predetermined according to such characteristics of the reflected signal from the pedestrian. That is, the upper limit W1 of the predetermined intensity range W is set to a value sufficiently smaller than the peak value obtained when the reflector (target) is a vehicle. In the distance spectrum illustrated in FIG. 6, there are two peak waveforms having peaks within the predetermined intensity range W (marks A1 and A2), and the predetermined intensity range W is set to the above size. Therefore, it can be said that these two peak waveforms A1 and A2 are not derived from reflected signals from the vehicle. If there are other vehicles around the subject vehicle, the distance spectrum should include a peak larger than the predetermined intensity range W (its upper limit value W1). No such peak is seen. This means that there are no other vehicles around the own vehicle.

一方、ガードレールや電柱、標識などの道路構造物からの反射信号の強度は、歩行者からの反射信号と同様に、他車両からの反射信号よりも大幅に小さくなる傾向にある。これは、道路構造物は、箱状の車両とは異なり、レーダを強く反射する平面部分の面積が小さいためと考えられる。このため、単純に信号の強度だけを比較したのでは、歩行者と道路構造物とを区別することは困難である。例えば、図6に示す距離スペクトルには、所定強度範囲Wに収まるピークをもったピーク波形が2つ存在しているが(符号A1,A2)、これらのピーク波形A1,A2が歩行者からの反射信号に由来するのか道路構造物からの反射信号に由来するのかは、その信号強度を調べただけでは判断することができない。そこで、上記ステップS7でYESと判定された場合、つまり所定強度範囲Wに収まるピークをもったピーク波形が少なくとも1つ存在することが確認された場合、処理部11は、そのピーク波形が歩行者または道路構造物のいずれに由来するのかを確定するため、次の図4のフローチャートに示す処理に移行する。 On the other hand, the intensity of reflected signals from road structures such as guardrails, utility poles, and signs tends to be much lower than reflected signals from other vehicles, as is the case with pedestrians. This is probably because, unlike a box-shaped vehicle, a road structure has a small flat area that strongly reflects radar. For this reason, it is difficult to distinguish between pedestrians and road structures simply by comparing signal intensities. For example, the distance spectrum shown in FIG. 6 has two peak waveforms having peaks within a predetermined intensity range W (marks A1 and A2). It cannot be determined whether the signal originates from the reflected signal or from the reflected signal from the road structure only by examining the signal intensity. Therefore, when it is determined YES in step S7, that is, when it is confirmed that there is at least one peak waveform having a peak within the predetermined intensity range W, the processing unit 11 determines that the peak waveform is a pedestrian. Alternatively, in order to determine which of the road structures it originates from, the processing shown in the flow chart of FIG. 4 follows.

図4の処理に移行すると、処理部11は、まずステップS10において、後述するステップS11で実行される逆フーリエ変換の対象範囲(所定距離範囲)を決定する。具体的に、処理部11は、図6に示したような所定強度のピーク波形(ピークが所定強度範囲Wに収まるピーク波形A1,A2)を対象に、当該ピーク波形のピークに対応する横軸上の位置をピーク位置として特定するとともに、このピーク位置を少なくとも含む比較的狭い距離範囲を、上記所定距離範囲として決定する。例えば、処理部11は、ピーク位置より30cm手前の位置から、ピーク位置から30cm遠ざかった位置までを、上記所定距離範囲として決定する。 4, first, in step S10, the processing unit 11 determines a target range (predetermined distance range) for inverse Fourier transform to be performed in step S11, which will be described later. Specifically, the processing unit 11 targets peak waveforms of a predetermined intensity (peak waveforms A1 and A2 whose peaks fall within a predetermined intensity range W) as shown in FIG. The upper position is specified as the peak position, and a relatively narrow distance range including at least this peak position is determined as the predetermined distance range. For example, the processing unit 11 determines the predetermined distance range from a position 30 cm before the peak position to a position 30 cm away from the peak position.

図6に例示される距離スペクトルにおいて、ピーク位置が約10mのピーク波形A1を第1のピーク波形、ピーク位置が約12mのピーク波形A2を第2のピーク波形とする。この場合、上記所定距離範囲は、第1および第2のピーク波形A1,A2に対してそれぞれ個別に設定される。例えば、第1のピーク波形A1に対し設定される所定距離範囲をZ1とすると、この所定距離範囲Z1は、約10±0.3mとされる。同様に、第2のピーク波形A2に対し設定される所定距離範囲をZ2とすると、この所定距離範囲Z2は、約12±0.3mとされる。 In the distance spectrum illustrated in FIG. 6, the peak waveform A1 having a peak position of about 10 m is defined as a first peak waveform, and the peak waveform A2 having a peak position of about 12 m is defined as a second peak waveform. In this case, the predetermined distance ranges are individually set for the first and second peak waveforms A1 and A2. For example, assuming that the predetermined distance range set for the first peak waveform A1 is Z1, this predetermined distance range Z1 is approximately 10±0.3 m. Similarly, assuming that the predetermined distance range set for the second peak waveform A2 is Z2, this predetermined distance range Z2 is approximately 12±0.3 m.

次いで、処理部11は、ステップS11に移行して、上記ステップS10で決定された所定距離範囲(例えば図6のZ1,Z2)における距離スペクトルのデータを、逆フーリエ変換によってIQデータに変換する。具体的に、処理部11は、上記所定距離範囲における距離スペクトルのデータ(つまり自車両からの距離と信号強度との関係を示すデータ)を、周波数と信号強度との関係を示す周波数スペクトルのデータにまず変換し、この変換後のデータ(周波数スペクトルのデータ)に逆フーリエ変換を施すことにより、極形式の時系列データであるIQデータ(上述した図5および式(1)参照)を復元する。なお、図6に示した例のように、2つのピーク波形A1,A2に対応した2つの所定距離範囲Z1,Z2が特定されている場合、逆フーリエ変換後のIQデータとしては、所定距離範囲Z1に対応する第1のIQデータと、所定距離範囲Z2に対応する第2のIQデータとがそれぞれ復元されることになる。 Next, the processing unit 11 proceeds to step S11, and transforms the distance spectrum data in the predetermined distance range (for example, Z1 and Z2 in FIG. 6) determined in step S10 into IQ data by inverse Fourier transform. Specifically, the processing unit 11 converts the distance spectrum data (that is, the data indicating the relationship between the distance from the host vehicle and the signal strength) in the predetermined distance range to the frequency spectrum data indicating the relationship between the frequency and the signal strength. , and subjecting the data after this transformation (frequency spectrum data) to an inverse Fourier transform to restore the IQ data (see FIG. 5 and formula (1) described above), which is time-series data in polar format. . Note that, as in the example shown in FIG. 6, when two predetermined distance ranges Z1 and Z2 corresponding to the two peak waveforms A1 and A2 are specified, the IQ data after the inverse Fourier transform is the predetermined distance range The first IQ data corresponding to Z1 and the second IQ data corresponding to the predetermined distance range Z2 are respectively restored.

図7(a)(b)は、図6に示した第2のピーク波形A2(所定距離範囲Z2)に対応して生成されたIQデータの直交成分Vqおよび同相成分Viのそれぞれの時系列データを示しており、図8(a)(b)は、図6に示した第1のピーク波形A1(所定距離範囲Z1)に対応して生成されたIQデータの直交成分Vqおよび同相成分Viのそれぞれの時系列データを示している。なお、既に述べたとおり、IQデータの直交成分Vqとは、極座標の虚軸(Q軸)の投影値(=A(t)・sin(φ(t)))のことであり、同相成分Viとは、極座標の虚軸(I軸)の投影値(=A(t)・cos(φ(t)))のことである。 FIGS. 7A and 7B are time-series data of the quadrature component Vq and the in-phase component Vi of the IQ data generated corresponding to the second peak waveform A2 (predetermined distance range Z2) shown in FIG. 8A and 8B show the quadrature component Vq and the in-phase component Vi of the IQ data generated corresponding to the first peak waveform A1 (predetermined distance range Z1) shown in FIG. Each time-series data is shown. As already described, the orthogonal component Vq of the IQ data is the projection value (=A(t)·sin(φ(t))) of the imaginary axis (Q axis) of the polar coordinates, and the in-phase component Vi is a projection value (=A(t)·cos(φ(t))) of the imaginary axis (I-axis) of the polar coordinates.

次いで、処理部11は、ステップS12に移行して、上記ステップS11で得られたIQデータに基づいて、位相の時系列データを生成する。なお、位相の時系列データとは、下記の式(2)で表される位相の時間関数φ(t)のことである。 Next, the processing unit 11 proceeds to step S12 and generates phase time-series data based on the IQ data obtained in step S11. The phase time-series data is the phase time function φ(t) represented by the following equation (2).

Figure 0007119628000002
Figure 0007119628000002

図9は、図7(a)(b)に示したIQデータから算出された位相φ(t)、つまり、図6中の第2のピーク波形A2(所定距離範囲Z2)に対応して生成されたIQデータ(そのVq,Vi)から上記式(2)により算出された位相φ(t)の時系列データを示しており、図10は、図8(a)(b)に示したIQデータから算出された位相φ(t)、つまり、図6中の第1のピーク波形A1(所定距離範囲Z1)に対応して生成されたIQデータ(そのVq,Vi)から上記式(2)により算出された位相φ(t)の時系列データを示している。なお、図9および図10の位相のグラフは、図7および図8の直交/同相成分のグラフよりも横軸(時間軸)を拡大した状態で示している。 FIG. 9 is generated corresponding to the phase φ(t) calculated from the IQ data shown in FIGS. 7A and 7B, that is, the second peak waveform A2 (predetermined distance range Z2) in FIG. 10 shows the time-series data of the phase φ(t) calculated by the above formula (2) from the IQ data (its Vq and Vi) obtained, and FIG. 10 shows the IQ data shown in FIGS. From the phase φ(t) calculated from the data, that is, the IQ data (its Vq and Vi) generated corresponding to the first peak waveform A1 (predetermined distance range Z1) in FIG. 4 shows time-series data of the phase φ(t) calculated by . The phase graphs in FIGS. 9 and 10 are shown with the horizontal axis (time axis) enlarged as compared to the quadrature/in-phase component graphs in FIGS. 7 and 8 .

次いで、演算部11は、ステップS13に移行して、上記ステップS12で得られた位相の時系列データにおける分散およびダイナミックレンジを算出する。 Next, the calculation unit 11 proceeds to step S13 to calculate the dispersion and dynamic range of the phase time-series data obtained in step S12.

ここで、分散とは、データの散らばり度合いを示す指標であり、統計学上の一般的な分散の定義と同義である。すなわち、分散とは、下式(3)のσのことであり、母集団を構成する複数のデータの平均値(μ)と各データの数値(x)との差の2乗を平均したものである。 Here, the variance is an index indicating the degree of data scattering, and is synonymous with the general statistical definition of variance. That is, the variance is σ 2 in the following formula (3), and the average of the square of the difference between the average value (μ) of the multiple data that constitutes the population and the numerical value (x i ) of each data It is what I did.

Figure 0007119628000003
Figure 0007119628000003

ここに、
nは母集団のデータの総数、
は個々のデータの数値
μはデータの平均値である。
Here,
n is the total number of data in the population,
x i is the numerical value of each data μ is the average value of the data.

また、ダイナミックレンジとは、母集団のデータの最大値と最小値との差分のことである。 Also, the dynamic range is the difference between the maximum value and the minimum value of population data.

例えば、位相の時系列データとして図9または図10のグラフに示すデータが得られた場合、演算部11は、グラフ中に符号Tで示す範囲(つまりグラフ両端部において縦長の帯状を呈する発散部分S1,S2を除いた部分)を対象として、この有効範囲Tに含まれる多数のデータの値を調べ、当該データの分散とダイナミックレンジとをそれぞれ算出する。 For example, when the data shown in the graph of FIG. 9 or 10 is obtained as phase time-series data, the calculation unit 11 calculates the range indicated by symbol T in the graph A large number of data values included in this effective range T are examined for the portion excluding S1 and S2), and the variance and dynamic range of the data are calculated.

次いで、演算部11は、ステップS14に移行して、上記ステップS13で得られた位相の時系列データの分散およびダイナミックレンジを、予め定められた閾値と比較する処理を実行する。具体的に、演算部11は、分散が第1閾値αよりも大きくかつダイナミックレンジが第2閾値βよりも大きいか否かを判定する。 Next, the calculation unit 11 proceeds to step S14 and executes a process of comparing the dispersion and dynamic range of the phase time-series data obtained in step S13 with a predetermined threshold value. Specifically, the calculation unit 11 determines whether the variance is greater than the first threshold value α and the dynamic range is greater than the second threshold value β.

第1閾値αおよび第2閾値βは、検出の対象である物標(反射体)が歩行者であった場合に典型的に得られる位相の時系列データ(以下、これを歩行者モデルデータという)に基づき予め設定されている。すなわち、物標が歩行者であった場合に得られる位相の時系列データと、物標が道路構造物であった場合に得られる位相の時系列データとを比較すると、経験上、物標が歩行者であった場合の方が、物標が道路構造物であった場合と比べて、位相およびダイナミックレンジの双方が大きくなることが分かっている。このような傾向を利用して、上記第1閾値αおよび第2閾値βは、歩行者と道路構造物とを区別し得る値(つまり歩行者のときの標準値と道路構造物のときの標準値との中間の値)にそれぞれ設定されている。言い換えると、分散が第1閾値αより大きくかつダイナミックレンジが第2閾値βより大きいということは、得られた位相の時系列データと歩行者モデルデータとの一致度が高く、物標が歩行者であるとの予測が成立することを意味する。なお、第1閾値αおよび第2閾値βは、自車両から物標までの距離(図6に示した距離スペクトルのピーク位置から特定される距離)が長いほど小さい値に設定される。 The first threshold α and the second threshold β are phase time-series data typically obtained when the target (reflector) to be detected is a pedestrian (hereinafter referred to as pedestrian model data). ) is set in advance. That is, when comparing the phase time-series data obtained when the target is a pedestrian and the phase time-series data obtained when the target is a road structure, empirically, the target is It has been found that both phase and dynamic range are greater when the target is a pedestrian than when the target is a road structure. Using this tendency, the first threshold value α and the second threshold value β are set to values capable of distinguishing between pedestrians and road structures (that is, standard values for pedestrians and standard values for road structures). values) are set respectively. In other words, if the variance is greater than the first threshold value α and the dynamic range is greater than the second threshold value β, the obtained phase time-series data and the pedestrian model data have a high degree of agreement, and the target is a pedestrian. It means that the prediction that it is is established. The first threshold value α and the second threshold value β are set to smaller values as the distance from the host vehicle to the target (the distance specified from the peak position of the distance spectrum shown in FIG. 6) increases.

上記ステップS14でYESと判定されて分散が第1閾値αより大きくかつダイナミックレンジが第2閾値βより大きいことが確認された場合、つまり、位相の時系列データと歩行者モデルデータとの一致度が高いことが確認された場合、処理部11は、自車両の周囲に歩行者が存在すると判定する(ステップS15)。例えば、位相の時系列データとして、図9に示したデータ、つまり縦軸方向の比較的広い範囲に分布するデータが得られたと仮定する。この場合、分散およびダイナミックレンジは、それぞれ閾値α,βよりも大きくなるので、これに応じて処理部11は、自車両の周囲に歩行者が存在すると判定する。なお、図9のデータは、図6に示した第2のピーク波形A2、つまり、距離約12mの位置にピークを有するピーク波形A2のデータが基になっている。したがって、この場合は、自車両から約12m離れた位置に歩行者が存在すると判定されることになる。 If it is determined as YES in step S14 and it is confirmed that the variance is greater than the first threshold value α and the dynamic range is greater than the second threshold value β, that is, the matching degree between the phase time-series data and the pedestrian model data is high, the processing unit 11 determines that there are pedestrians around the vehicle (step S15). For example, it is assumed that the data shown in FIG. 9, that is, the data distributed over a relatively wide range along the vertical axis, is obtained as the phase time-series data. In this case, the variance and the dynamic range are larger than the thresholds α and β, respectively, so the processing unit 11 accordingly determines that there are pedestrians around the vehicle. The data of FIG. 9 is based on the second peak waveform A2 shown in FIG. 6, that is, the data of the peak waveform A2 having a peak at a distance of about 12 m. Therefore, in this case, it is determined that the pedestrian exists at a position about 12 m away from the vehicle.

一方、上記ステップS14でNOと判定されて分散が第1閾値α以下であることとダイナミックレンジが第2閾値β以下であることとの少なくも一方が確認された場合、つまり、位相の時系列データと歩行者モデルデータとの一致度が低いことが確認された場合、処理部11は、自車両の周囲に道路構造物が存在すると判定する(ステップS16)。例えば、位相の時系列データとして、図10に示したデータ、つまり縦軸方向の比較的狭い範囲に分布するデータが得られたと仮定する。この場合、分散およびダイナミックレンジは、それぞれ閾値α,β以下になるので、これに応じて処理部11は、自車両の周囲に道路構造物が存在すると判定する。なお、図10のデータは、図6に示した第1のピーク波形A1、つまり、距離約10mの位置にピークを有するピーク波形A1のデータが基になっている。したがって、この場合は、自車両から約10m離れた位置に道路構造物が存在すると判定されることになる。 On the other hand, when it is determined to be NO in step S14 and at least one of the variance is equal to or less than the first threshold value α and the dynamic range is equal to or less than the second threshold value β, that is, the phase time series When it is confirmed that the degree of matching between the data and the pedestrian model data is low, the processing unit 11 determines that there is a road structure around the own vehicle (step S16). For example, it is assumed that the data shown in FIG. 10, that is, the data distributed in a relatively narrow range along the vertical axis, is obtained as the phase time-series data. In this case, the variance and the dynamic range are equal to or less than the thresholds α and β, respectively, and accordingly the processing unit 11 determines that there are road structures around the vehicle. The data of FIG. 10 is based on the first peak waveform A1 shown in FIG. 6, that is, the data of the peak waveform A1 having a peak at a distance of about 10 m. Therefore, in this case, it is determined that the road structure exists at a position about 10 m away from the host vehicle.

以上説明したように、当実施形態では、受信されたレーダの反射信号が極形式のIQデータに変換され、このIQデータにおける位相の情報が所定期間に亘り抽出されて位相の時系列データが生成される(図9、図10参照)。そして、この位相の時系列データの分散およびダイナミックレンジ(最大値と最小値との差分)が調べられ、分散が第1閾値αより大きくかつダイナミックレンジが第2閾値βより大きい場合に、自車両の周囲に歩行者が存在すると判定される。このような構成によれば、歩行者を道路構造物と区別して検出することができ、歩行者の検出精度を向上させることができるという利点がある。 As described above, in this embodiment, the received radar reflection signal is converted into polar format IQ data, and phase information in the IQ data is extracted over a predetermined period to generate phase time-series data. (See FIGS. 9 and 10). Then, the variance and dynamic range (the difference between the maximum value and the minimum value) of the time-series data of this phase are examined, and if the variance is greater than the first threshold value α and the dynamic range is greater than the second threshold value β, It is determined that there are pedestrians around. According to such a configuration, pedestrians can be detected separately from road structures, and there is an advantage that pedestrian detection accuracy can be improved.

すなわち、ガードレールや電柱、標識などの道路構造物からの反射信号は、信号強度が比較的小さい(例えば他車両からの反射信号に比べて大幅に小さい)という意味において、歩行者からの反射信号と類似している。このため、受信されたレーダの反射信号をそのまま解析したのでは、歩行者と道路構造物とを区別することは困難である。これに対し、上記実施形態では、受信信号が極形式のIQデータに変換されるとともに、変換後のIQデータから位相の時系列データが生成されるので、この位相の時系列データの分散およびダイナミックレンジを調べることにより、歩行者を道路構造物と明瞭に区別して検出することができる。 In other words, reflected signals from road structures such as guardrails, utility poles, and signs have relatively low signal strength (e.g., much smaller than reflected signals from other vehicles). Similar. For this reason, it is difficult to distinguish pedestrians from road structures by directly analyzing the received reflected radar signals. On the other hand, in the above-described embodiment, the received signal is converted into polar format IQ data, and phase time-series data is generated from the converted IQ data. By checking the range, pedestrians can be detected clearly distinguishable from road structures.

ここで、物標が歩行者であった場合に得られるレーダの反射信号をIQデータに変換すると、当該IQデータの位相の時系列データにおける分散およびダイナミックレンジは、物標が道路構造物であった場合のそれよりも大きくなることが分かっている。これは、歩行者である人間の特性、つまり、表面形状が生物特有の複雑な凹凸形状であることや、皮膚、筋肉、内蔵、骨などの多様な物質によって身体が構成されていることに由来するものと考えられる。このように、物標が歩行者であった場合の位相の時系列データの傾向を考慮して、上記実施形態では、位相の時系列データにおける分散およびダイナミックレンジが調べられ、分散が第1閾値αより大きくかつダイナミックレンジが第2閾値βよりも大きいことが確認された場合、つまり、物標が歩行者であった場合に得られる典型的な位相の時系列データ(歩行者モデルデータ)との一致度が高い場合に、歩行者が存在すると判定される。このため、反射信号がいずれも弱くなりがちな歩行者および道路構造物を明瞭に区別することができ、歩行者の検出精度を効果的に向上させることができる。 Here, if the radar reflection signal obtained when the target is a pedestrian is converted into IQ data, the dispersion and dynamic range in the time series data of the phase of the IQ data will be different if the target is a road structure. It is known to be larger than that in the case of This is due to the characteristics of humans as pedestrians, that is, the surface shape is a complex uneven shape unique to living organisms, and the body is composed of various substances such as skin, muscles, internal organs, and bones. It is considered that Thus, in consideration of the tendency of the phase time-series data when the target is a pedestrian, in the above embodiment, the variance and the dynamic range in the phase time-series data are examined, and the variance is the first threshold. When it is confirmed that the dynamic range is larger than α and the dynamic range is larger than the second threshold β, that is, when the target is a pedestrian, typical phase time-series data (pedestrian model data) and is high, it is determined that there is a pedestrian. Therefore, it is possible to clearly distinguish pedestrians and road structures, both of which tend to have weak reflected signals, and to effectively improve pedestrian detection accuracy.

特に、上記実施形態では、受信されたレーダの反射信号に対しフーリエ変換を含む所定の処理が施されることにより、自車両からの距離と信号強度との関係を表す連続的な距離スペクトル(図6)が生成され、この距離スペクトルの中に所定強度範囲Wに収まるピークをもったピーク波形(A1,A2)が確認された場合に、当該ピーク波形のピーク位置を含む所定距離範囲(Z1,Z2)における距離スペクトルのデータが、逆フーリエ変換を含む所定の処理によって時系列のIQデータに変換される。そして、この所定距離範囲(Z1,Z2)について生成されたIQデータに基づいて、上述した位相の時系列データが生成される(図9、図10)。このような構成によれば、距離スペクトルのデータのうち歩行者(または道路構造物)に由来すると考えられるピーク波形の部分に限定してIQデータへの変換処理が施されるので、処理負担を効果的に軽減することができる。また、歩行者に由来する疑いのあるIQデータのみを対象に位相の時系列データが調べられるので、余分なデータを処理することに起因した誤判定の可能性を排除でき、歩行者の有無をより精度よく判定することができる。 In particular, in the above-described embodiment, the received radar reflection signal is subjected to predetermined processing including Fourier transform, resulting in a continuous distance spectrum (Fig. 6) is generated, and when a peak waveform (A1, A2) having a peak within a predetermined intensity range W is confirmed in this distance spectrum, a predetermined distance range (Z1, Z2) is converted into time-series IQ data by predetermined processing including inverse Fourier transform. Based on the IQ data generated for this predetermined distance range (Z1, Z2), the above-described phase time-series data is generated (FIGS. 9 and 10). According to such a configuration, the conversion processing to IQ data is performed only on the peak waveform part considered to be derived from the pedestrian (or road structure) in the distance spectrum data, so the processing load is reduced. can be effectively mitigated. In addition, since the phase time-series data can be examined only for IQ data suspected to be derived from pedestrians, the possibility of misjudgment due to processing extra data can be eliminated, and the presence or absence of pedestrians can be eliminated. More accurate determination can be made.

以上、本発明の好ましい実施形態について説明したが、本発明はこの実施形態に限定して解釈されるべきものでなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。 Although the preferred embodiments of the present invention have been described above, the present invention should not be construed as being limited to these embodiments, and various modifications can be made without departing from the scope of the present invention.

例えば、上記実施形態では、レーダの反射信号から得られる極形式データ(IQデータ)に基づいて位相の時系列データ(図9、図10)を生成し、この位相の時系列データにおける分散およびダイナミックレンジ(最大値と最小値との差分)を調べ、分散が第1閾値αより大きくかつダイナミックレンジが第2閾値βより大きい場合に、自車両の周囲に歩行者が存在すると判定したが、位相の時系列データと歩行者のモデルデータ(物標が歩行者であった場合に典型的に得られる位相の時系列データ)との一致度に基づいて歩行者を検出すればよく、その具体的方法は上記実施形態の方法に限られない。例えば、分散およびダイナミックレンジのいずれか一方のみに基づいて歩行者を検出してもよいし、分散およびダイナミックレンジのいずれもでもない他の指標を算出し、当該他の指標に基づいて歩行者を検出してもよい。さらに、分散およびダイナミックレンジと当該他の指標とを含む3つ以上の指標に基づいて歩行者を検出してもよい。 For example, in the above embodiment, phase time-series data (FIGS. 9 and 10) are generated based on polar format data (IQ data) obtained from radar reflected signals, and variance and dynamics in this phase time-series data are generated. The range (the difference between the maximum value and the minimum value) is examined, and when the variance is greater than the first threshold value α and the dynamic range is greater than the second threshold value β, it is determined that there are pedestrians around the vehicle. Pedestrians can be detected based on the degree of matching between time-series data and pedestrian model data (phase time-series data typically obtained when the target is a pedestrian). The method is not limited to the method of the above embodiment. For example, a pedestrian may be detected based on only one of the variance and the dynamic range, or another index that is neither the variance nor the dynamic range may be calculated, and the pedestrian may be detected based on the other index. may be detected. Additionally, pedestrians may be detected based on more than two metrics, including variance and dynamic range and such other metrics.

5 送信部
6 受信部
11 処理部
W 所定強度範囲
Z1 所定距離範囲
Z2 所定距離範囲
5 transmitter 6 receiver 11 processor W predetermined intensity range Z1 predetermined distance range Z2 predetermined distance range

Claims (3)

レーダを発信する送信部と、前記送信部からのレーダの反射信号を受信する受信部と、前記受信部が受信した信号を解析する処理部と、を備えた自車両の前記送信部から発信されるレーダを用いて自車両周辺の物標を検出する方法であって、
前記受信部が、前記レーダの反射信号を受信する受信ステップと、
前記処理部が、前記受信ステップで受信された信号を極形式データに変換し、当該極形式データにおける位相の情報を所定期間に亘り抽出した位相の時系列データを生成するデータ生成ステップと、
前記処理部が、前記データ生成ステップで生成された位相の時系列データから、当該時系列データの分散と、当該時系列データの最大値と最小値との差分であるダイナミックレンジとを算出し、算出した前記分散が予め定められた第1閾値よりも大きく、かつ算出した前記ダイナミックレンジが予め定められた第2閾値よりも大きい場合に、自車両の周囲に歩行者が存在すると判定し、前記分散が前記第1閾値以下であるかまたは前記ダイナミックレンジが前記第2閾値以下である場合に、自車両の周囲に道路構造物が存在すると判定する判定ステップとを含む、ことを特徴とする車両用物標検出方法。
transmitted from the transmitting unit of the own vehicle, which includes a transmitting unit that transmits radar, a receiving unit that receives a reflected radar signal from the transmitting unit, and a processing unit that analyzes the signal received by the receiving unit A method of detecting a target around the own vehicle using a radar that
a receiving step in which the receiving unit receives the reflected signal of the radar;
a data generating step in which the processing unit converts the signal received in the receiving step into polar format data and generates phase time-series data by extracting phase information in the polar format data over a predetermined period;
The processing unit, from the phase time-series data generated in the data generation step, calculates the variance of the time-series data and the dynamic range, which is the difference between the maximum value and the minimum value of the time-series data, When the calculated variance is larger than a predetermined first threshold and the calculated dynamic range is larger than a predetermined second threshold, it is determined that a pedestrian exists around the vehicle, and and determining that a road structure exists around the vehicle when the variance is equal to or less than the first threshold value or the dynamic range is equal to or less than the second threshold value. target detection method.
請求項1に記載の車両用物標検出方法において、
前記処理部が、前記受信ステップで受信された信号にフーリエ変換を含む所定の処理を施すことにより、自車両からの距離と信号強度との関係を表す距離スペクトルを生成するとともに、当該距離スペクトルの中に予め定められた所定強度範囲に収まるピークをもったピーク波形が存在するか否かを判定する第1準備ステップと、
前記第1準備ステップにおいて前記所定強度範囲に収まるピークをもったピーク波形が確認された場合に、前記処理部が、当該ピーク波形のピーク位置を含む所定距離範囲における距離スペクトルのデータを、逆フーリエ変換を含む所定の処理によって時系列の極形式データに変換する第2準備ステップとをさらに含み、
前記データ生成ステップでは、前記第2準備ステップにより前記所定距離範囲について生成された極形式データに基づいて、前記位相の時系列データを生成する、ことを特徴とする車両用物標検出方法。
In the vehicle target object detection method according to claim 1 ,
The processing unit performs predetermined processing including Fourier transform on the signal received in the receiving step to generate a distance spectrum representing the relationship between the distance from the host vehicle and the signal strength, and the distance spectrum. a first preparation step for determining whether or not there is a peak waveform having a peak within a predetermined intensity range;
When a peak waveform having a peak falling within the predetermined intensity range is confirmed in the first preparation step, the processing unit converts distance spectrum data in a predetermined distance range including the peak position of the peak waveform into an inverse Fourier a second preparation step of converting to time-series polar format data by a predetermined process including conversion,
The vehicle target detection method, wherein in the data generation step, the phase time-series data is generated based on the polar format data generated for the predetermined distance range in the second preparation step.
自車両から発信されるレーダを用いて自車両周辺の物標を検出する装置であって、
前記レーダを発信する送信部と、
前記送信部からのレーダの反射信号を受信する受信部と、
前記受信部が受信した信号を解析することにより歩行者の存在の有無を判定する処理部とを備え、
前記処理部は、
前記受信部が受信した信号を極形式データに変換し、当該極形式データにおける位相の情報を所定期間に亘り抽出した位相の時系列データを生成するデータ生成処理と、
前記データ生成処理で生成された位相の時系列データから、当該時系列データの分散と、当該時系列データの最大値と最小値との差分であるダイナミックレンジとを算出し、算出した前記分散が予め定められた第1閾値よりも大きく、かつ算出した前記ダイナミックレンジが予め定められた第2閾値よりも大きい場合に、自車両の周囲に歩行者が存在すると判定し、前記分散が前記第1閾値以下であるかまたは前記ダイナミックレンジが前記第2閾値以下である場合に、自車両の周囲に道路構造物が存在すると判定する判定処理とを実行する、ことを特徴とする車両用物標検出装置。
A device for detecting targets around the own vehicle using radar transmitted from the own vehicle,
a transmitter that transmits the radar;
a receiving unit that receives a reflected radar signal from the transmitting unit;
A processing unit that determines the presence or absence of a pedestrian by analyzing the signal received by the receiving unit,
The processing unit is
A data generation process of converting the signal received by the receiving unit into polar format data and generating phase time-series data by extracting phase information in the polar format data over a predetermined period;
From the phase time-series data generated in the data generation process, the variance of the time-series data and the dynamic range that is the difference between the maximum value and the minimum value of the time-series data are calculated, and the calculated variance is When it is larger than a predetermined first threshold and the calculated dynamic range is larger than a predetermined second threshold, it is determined that there are pedestrians around the vehicle, and the variance is the first and determining that a road structure exists around the vehicle when the dynamic range is equal to or less than the second threshold or the dynamic range is equal to or less than the second threshold. Device.
JP2018116268A 2018-06-19 2018-06-19 Target object detection method and device for vehicle Active JP7119628B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018116268A JP7119628B2 (en) 2018-06-19 2018-06-19 Target object detection method and device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018116268A JP7119628B2 (en) 2018-06-19 2018-06-19 Target object detection method and device for vehicle

Publications (2)

Publication Number Publication Date
JP2019219253A JP2019219253A (en) 2019-12-26
JP7119628B2 true JP7119628B2 (en) 2022-08-17

Family

ID=69096316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018116268A Active JP7119628B2 (en) 2018-06-19 2018-06-19 Target object detection method and device for vehicle

Country Status (1)

Country Link
JP (1) JP7119628B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240019539A1 (en) * 2020-10-08 2024-01-18 Sony Group Corporation Information processing device, information processing method, and information processing system
KR102557621B1 (en) * 2020-12-30 2023-07-21 주식회사 비트센싱 Radar device, method and computer program for detecting pedestrian

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325113A (en) 2003-04-22 2004-11-18 Suzuki Motor Corp Pedestrian detection method for vehicle, and apparatus therefor
JP2013054036A (en) 2012-11-02 2013-03-21 Toyota Motor Corp Radar device
JP2013072865A (en) 2011-09-29 2013-04-22 Oki Electric Ind Co Ltd Detection device, detection method and program
CN104502894A (en) 2014-11-28 2015-04-08 无锡儒安科技有限公司 Method for passive detection of moving objects based on physical layer information
JP2016148515A (en) 2015-02-10 2016-08-18 株式会社豊田中央研究所 Radar device
JP2016217992A (en) 2015-05-25 2016-12-22 日本無線株式会社 Positioning device, speed detection device, and state event discrimination device
US20170294121A1 (en) 2016-04-12 2017-10-12 Ford Global Technologies, Llc Detecting available parking spaces
JP2017194357A (en) 2016-04-20 2017-10-26 パナソニックIpマネジメント株式会社 Detector and monitoring system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004325113A (en) 2003-04-22 2004-11-18 Suzuki Motor Corp Pedestrian detection method for vehicle, and apparatus therefor
JP2013072865A (en) 2011-09-29 2013-04-22 Oki Electric Ind Co Ltd Detection device, detection method and program
JP2013054036A (en) 2012-11-02 2013-03-21 Toyota Motor Corp Radar device
CN104502894A (en) 2014-11-28 2015-04-08 无锡儒安科技有限公司 Method for passive detection of moving objects based on physical layer information
JP2016148515A (en) 2015-02-10 2016-08-18 株式会社豊田中央研究所 Radar device
JP2016217992A (en) 2015-05-25 2016-12-22 日本無線株式会社 Positioning device, speed detection device, and state event discrimination device
US20170294121A1 (en) 2016-04-12 2017-10-12 Ford Global Technologies, Llc Detecting available parking spaces
JP2017194357A (en) 2016-04-20 2017-10-26 パナソニックIpマネジメント株式会社 Detector and monitoring system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
岡村 慎一郎 ほか,マイクロ波測距技術の開発 "ひと"に適した測距アルゴリズムについて,OMRON TECHNICS,日本,オムロン株式会社,2004年03月20日,第44巻 第1号,Pages: 37-41,ISSN: 0474-1315

Also Published As

Publication number Publication date
JP2019219253A (en) 2019-12-26

Similar Documents

Publication Publication Date Title
JP7394582B2 (en) Apparatus and method for processing radar data
EP3332265B1 (en) Apparatus and method for detecting blockage of an automotive radar sensor
US11131766B2 (en) Method for the recognition of an object
TWI504916B (en) Signal processing method and device for frequency-modulated continuous waveform radar system
CN105980880B (en) The axle offset detection device of beam sensor
US10061017B2 (en) Target recognition apparatus
JP2012533741A (en) Ultrasonic measuring apparatus and ultrasonic signal evaluation method
US20200124706A1 (en) System for detecting a moving object
JP7173735B2 (en) Radar device and signal processing method
JP5061814B2 (en) Vehicle width detection method and device, vehicle control device
US11002850B2 (en) Radar device
JP7119628B2 (en) Target object detection method and device for vehicle
WO2020103264A1 (en) Method and device for detecting living body
JP2011099683A (en) Body detector
JP5992574B1 (en) Object detection device
JP6358155B2 (en) Axis misalignment judgment device
JP2013541696A (en) Human identification device and identification method
US20140125510A1 (en) Method for detecting the motion of object by ultra-wideband radar imaging and system thereof
JP3400971B2 (en) FM-CW radar device and target detection method
JP2009210337A (en) Radar device
JP7119627B2 (en) Target object detection method and device for vehicle
JP2001141812A (en) Fm-cw radar
KR20140064489A (en) Target recognition based on track information
JP3853642B2 (en) Automotive radar equipment
JP4882329B2 (en) Reliability calculation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7119628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150