JP5630377B2 - Object identification device and object identification program - Google Patents

Object identification device and object identification program Download PDF

Info

Publication number
JP5630377B2
JP5630377B2 JP2011117104A JP2011117104A JP5630377B2 JP 5630377 B2 JP5630377 B2 JP 5630377B2 JP 2011117104 A JP2011117104 A JP 2011117104A JP 2011117104 A JP2011117104 A JP 2011117104A JP 5630377 B2 JP5630377 B2 JP 5630377B2
Authority
JP
Japan
Prior art keywords
reflection intensity
vehicle
identification
identification device
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011117104A
Other languages
Japanese (ja)
Other versions
JP2012247215A (en
Inventor
豊史 野沢
豊史 野沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011117104A priority Critical patent/JP5630377B2/en
Publication of JP2012247215A publication Critical patent/JP2012247215A/en
Application granted granted Critical
Publication of JP5630377B2 publication Critical patent/JP5630377B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、車両の周囲に存在する物体の種別を識別する物体識別装置、および物体識別プログラムに関する。   The present invention relates to an object identification device for identifying a type of an object existing around a vehicle, and an object identification program.

車両の周囲に存在する物体の種別を識別する物体識別装置として、レーダにて検出される反射波の反射強度(以下、単に「反射強度」という。)と、物体の幅とに基づいて物体の種別を識別するものが知られている(例えば、特許文献1参照)。   As an object identification device for identifying the type of an object existing around a vehicle, the object is identified based on the reflection intensity of the reflected wave detected by the radar (hereinafter simply referred to as “reflection intensity”) and the width of the object. One that identifies the type is known (see, for example, Patent Document 1).

特開2008−002817号公報JP 2008-002817 A

しかしながら、特許文献1に記載の装置では、反射強度をそのまま利用して物体を識別するが、同じ物体からの反射波であっても距離に応じて反射強度が変化するため、反射強度をそのまま利用する構成では物体を正確に識別できない虞があった。   However, in the apparatus described in Patent Document 1, an object is identified using the reflection intensity as it is, but the reflection intensity changes according to the distance even if the reflected wave is from the same object, so the reflection intensity is used as it is. In such a configuration, there is a possibility that the object cannot be accurately identified.

そこで、このような問題点を鑑み、車両の周囲に存在する物体の種別を識別する物体識別装置、および物体識別プログラムにおいて、物体を正確に識別できるようにすることを本発明の目的とする。   Therefore, in view of such problems, it is an object of the present invention to enable an object to be accurately identified in an object identification apparatus and an object identification program for identifying the type of an object existing around a vehicle.

かかる目的を達成するために成された第1の構成の物体識別装置において、物体情報取得手段は、自車両の周囲に音波または電磁波を照射して該音波または電磁波の反射波を検出することによって得られた、反射強度および自車両周囲の物体までの距離の情報を含む物体情報を取得し、物体高取得手段は、距離の情報が対応する物体についての物体の高さの情報を取得する。そして、強度補正手段は、物体の高さおよび物体までの距離に応じて反射強度を補正し、識別手段は、補正後の反射強度に応じて物体の種別を識別する。 In the object identification device having the first configuration configured to achieve such an object, the object information acquisition unit irradiates a sound wave or an electromagnetic wave around the host vehicle and detects a reflected wave of the sound wave or the electromagnetic wave. The obtained object information including information on the reflection intensity and the distance to the object around the host vehicle is acquired, and the object height acquisition unit acquires the information on the height of the object for the object corresponding to the distance information . The intensity correction unit corrects the reflection intensity according to the height of the object and the distance to the object, and the identification unit identifies the type of the object according to the corrected reflection intensity.

このような物体識別装置によれば、反射強度を正常に検出することを妨害する要素を除外するように反射強度を補正することができる。ここで、物体の種別に応じて音波や電磁波の反射強度が異なることが知られているため、本発明では、正確に反射強度を検出できるようにすることで、物体を正確に識別することができる。   According to such an object identification device, it is possible to correct the reflection intensity so as to exclude an element that hinders normal detection of the reflection intensity. Here, since it is known that the reflection intensity of sound waves and electromagnetic waves varies depending on the type of object, the present invention can accurately identify an object by enabling accurate detection of the reflection intensity. it can.

また、上記物体識別装置においては、第2の構成のように、強度補正手段は、物体までの距離と物体の高さとに応じて反射波のマルチパスの影響を除去する補正を行うようにしてもよい。   In the object identification device, as in the second configuration, the intensity correction unit performs correction to remove the influence of the multipath of the reflected wave according to the distance to the object and the height of the object. Also good.

このような物体識別装置によれば、反射強度を正常に検出することを妨害するパラメータとしてのマルチパスの影響を除去することができる。
なお、反射強度を正常に検出することを妨害する他のパラメータとしては、反射面の向き等が挙げられる。
According to such an object identification device, it is possible to remove the influence of multipath as a parameter that hinders normal detection of reflection intensity.
Other parameters that hinder the normal detection of the reflection intensity include the orientation of the reflecting surface.

さらに、上記物体識別装置においては、第3の構成のように、物体高取得手段は、物体情報を検出するための手法とは異なる手法を利用して検出された物体の高さの情報を取得するようにしてもよい。特に、第4の構成のように、物体高取得手段は、画像処理によって検出された物体の高さを取得するようにしてもよい。   Further, in the object identification device, as in the third configuration, the object height acquisition unit acquires information on the height of the detected object using a method different from the method for detecting object information. You may make it do. In particular, as in the fourth configuration, the object height acquisition unit may acquire the height of the object detected by the image processing.

このような物体識別装置によれば、物体情報を検出するための手法と同じ手法で物体高さを検出する構成と比較して、物体高さの情報をより正確に検出することができる。
なお、物体高さの情報を取得する際には、物体や物体に付随する施設と通信を行うことにより、物体高さの情報を取得するようにしてもよい。
According to such an object identification device, information on the object height can be detected more accurately as compared with a configuration in which the object height is detected by the same method as the method for detecting object information.
When acquiring the object height information, the object height information may be acquired by communicating with the object or a facility attached to the object.

また、上記物体識別装置においては、第5の構成のように、識別手段は、反射強度が、車両を識別するための車両識別範囲内である場合に物体の種別が車両であると識別するようにしてもよい。   In the object identification device, as in the fifth configuration, the identification unit identifies that the type of the object is a vehicle when the reflection intensity is within a vehicle identification range for identifying the vehicle. It may be.

このような物体識別装置によれば、物体の種別が車両であることを識別することができる。
さらに、上記物体識別装置においては、第6の構成のように、識別手段は、反射強度が、歩行者を識別するために車両識別範囲の下限値未満の範囲に設定された歩行者識別範囲内である場合に物体の種別が歩行者であると識別するようにしてもよい。
According to such an object identification device, it can be identified that the type of the object is a vehicle.
Further, in the object identification device, as in the sixth configuration, the identification means is within a pedestrian identification range in which the reflection intensity is set to a range below the lower limit value of the vehicle identification range in order to identify the pedestrian. In this case, the object type may be identified as a pedestrian.

このような物体識別装置によれば、歩行者による反射強度が車両による反射強度よりも小さいことを鑑みながら、物体の種別が歩行者であることを識別することができる。
また、上記物体識別装置においては、第7の構成のように、物体情報取得手段は、繰り返し物体情報を取得し、識別手段は、反射強度が歩行者識別範囲内であって、かつ反射強度が基準変動幅以上変動している場合に、物体の種別が歩行者であると識別するようにしてもよい。
According to such an object identification device, it is possible to identify that the type of the object is a pedestrian while considering that the reflection intensity by the pedestrian is smaller than the reflection intensity by the vehicle.
In the object identification device, as in the seventh configuration, the object information acquisition unit repeatedly acquires object information, and the identification unit has a reflection intensity within the pedestrian identification range and a reflection intensity of You may make it identify that the kind of object is a pedestrian when it fluctuates more than a reference | standard fluctuation range.

すなわち、反射強度が歩行者識別範囲内である場合であっても、物体の種別が歩行者でない場合があることを考慮して、反射強度が変化するか否かについても物体の種別が歩行者であるか否かを識別する際の条件としている。歩行者は手や足を動かしながら歩行するため、反射面の面積が変化し、反射強度が変化するからである。   That is, even when the reflection intensity is within the pedestrian identification range, the object type is also determined as to whether the reflection intensity changes in consideration of the fact that the object type may not be a pedestrian. This is a condition for identifying whether or not. This is because pedestrians walk while moving their hands and feet, so that the area of the reflective surface changes and the reflection intensity changes.

このような物体識別装置によれば、物体の種別が歩行者であるか否かをより精度よく識別することができる。
さらに、上記物体識別装置においては、第8の構成のように、物体の識別結果に応じた報知を行う報知部、を備えていてもよい。
According to such an object identification device, it can be more accurately identified whether or not the type of the object is a pedestrian.
Further, the object identification device may include a notification unit that performs notification according to the object identification result as in the eighth configuration.

このような物体識別装置によれば、物体の種別に応じた報知を行うことができる。
また、上記目的を達成するため成された第9の構成としての物体識別プログラムは、コンピュータを、上記物体識別装置を構成する各手段として機能させるためのプログラムであることを特徴としている。
According to such an object identification device, notification according to the type of object can be performed.
In addition, an object identification program as a ninth configuration made to achieve the above object is a program for causing a computer to function as each means constituting the object identification device.

このような物体識別プログラムによれば、上記物体識別装置と同様の効果を享受することができる。   According to such an object identification program, the same effect as that of the object identification device can be obtained.

衝突防止システム1の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a collision prevention system 1. FIG. 識別処理を示すフローチャートである。It is a flowchart which shows an identification process. 物標までの距離と反射強度との関係を示すグラフである。It is a graph which shows the relationship between the distance to a target, and reflection intensity. 反射強度を演算する際の数式の一例を示す説明図である。It is explanatory drawing which shows an example of the numerical formula at the time of calculating reflection intensity. 車両および歩行者までの距離と反射強度との関係をそれぞれ示すグラフである。It is a graph which shows the relationship between the distance to a vehicle and a pedestrian, and reflection intensity, respectively.

以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
図1は本発明が適用された衝突防止システム1の概略構成を示すブロック図である。衝突防止システム1は、例えば乗用車等の車両に搭載され、このシステム1が搭載された車両(自車両)と自車両外部の物体(物標)とが衝突する虞があるか否かを検出し、衝突する虞があると判断した場合に、衝突回避制御や警報を行うシステムである。
Embodiments according to the present invention will be described below with reference to the drawings.
[Configuration of this embodiment]
FIG. 1 is a block diagram showing a schematic configuration of a collision prevention system 1 to which the present invention is applied. The collision prevention system 1 is mounted on a vehicle such as a passenger car, for example, and detects whether or not there is a possibility of collision between a vehicle (the host vehicle) on which the system 1 is mounted and an object (target) outside the host vehicle. This is a system for performing collision avoidance control and warning when it is determined that there is a possibility of collision.

特に、衝突防止システム1では、自車両と物標とが衝突する虞があるか否かを検出する際に、自車両の進行方向に存在する物標を識別する。つまり、物標が車両であるか、歩行者であるか等、物標の種別を特定する。   In particular, the collision prevention system 1 identifies a target that exists in the traveling direction of the host vehicle when detecting whether or not the host vehicle and the target may collide. That is, the type of the target is specified, such as whether the target is a vehicle or a pedestrian.

詳細には図1に示すように、衝突防止システム1は、演算部10(物体識別装置)と、レーダ21と、カメラ22と、自車状態検知部23と、衝突回避制御実行部24と、警報報知部25(報知部)と、を備えている。   Specifically, as shown in FIG. 1, the collision prevention system 1 includes a calculation unit 10 (object identification device), a radar 21, a camera 22, a host vehicle state detection unit 23, a collision avoidance control execution unit 24, An alarm notification unit 25 (notification unit).

レーダ21は、例えば、周知のレーダ装置としての機能を備えており、ミリ波等の電磁波からなる送信波を自車両の進行方向に送信し、その反射波を受信する作動を繰り返すことにより物標の自車両に対する相対移動ベクトル(位置、速度、方向)、および物標による反射波の強度(反射強度)を検出する。そして、レーダ21は、得られた検出結果を演算部10に送る。   For example, the radar 21 has a function as a well-known radar device, and transmits a transmission wave composed of an electromagnetic wave such as a millimeter wave in the traveling direction of the host vehicle, and repeats an operation of receiving the reflected wave to repeat the target. The relative movement vector (position, speed, direction) of the vehicle and the intensity of the reflected wave by the target (reflection intensity) are detected. Then, the radar 21 sends the obtained detection result to the calculation unit 10.

また、カメラ22は、レーダ21による物標の検出可能領域を撮像し、得られた撮像画像を演算部10に送る。
また、自車状態検知部23は、周知の速度センサや舵角センサ等(図示省略)を備え、少なくとも自車両の速度の情報と自車両の舵角の情報とを演算部10に送る。
In addition, the camera 22 captures an area where the radar 21 can detect the target, and sends the obtained captured image to the calculation unit 10.
The own vehicle state detection unit 23 includes a known speed sensor, rudder angle sensor, and the like (not shown), and sends at least information on the speed of the own vehicle and information on the rudder angle of the own vehicle to the calculation unit 10.

衝突回避制御実行部24は、自車両のブレーキ油圧やアクセル開度、或いはシートベルトの張力を制御する機能を有し、演算部10から衝突回避制御を実施するよう指示を受けると、自車両の加速を抑制したり、自車両を減速させたり、或いは衝撃の影響を軽減するために自車両の運転者をシートベルトで拘束したりする。   The collision avoidance control execution unit 24 has a function of controlling the brake hydraulic pressure, the accelerator opening, or the seat belt tension of the host vehicle, and when receiving an instruction from the calculation unit 10 to perform the collision avoidance control, In order to suppress acceleration, decelerate the host vehicle, or restrain the driver of the host vehicle with a seat belt in order to reduce the impact.

警報報知部25は、図示しないディスプレイやスピーカを備えており、演算部10から警報を実施するよう指示を受けると、ディスプレイに画像を表示させたり、スピーカから音(音声を含む)を出力させたりすることにより、自車両の運転者に対して警報等の報知を行う。   The alarm notification unit 25 includes a display and a speaker (not shown), and when receiving an instruction from the calculation unit 10 to perform an alarm, the alarm notification unit 25 displays an image on the display or outputs sound (including sound) from the speaker. By doing so, a warning or the like is notified to the driver of the host vehicle.

演算部10は、CPU11、ROM12、RAM13等を備えた周知のマイコンとして構成されている。また、演算部10は、反射強度補正データベース(DB)14を備えている。   The calculation unit 10 is configured as a well-known microcomputer including a CPU 11, a ROM 12, a RAM 13, and the like. Further, the calculation unit 10 includes a reflection intensity correction database (DB) 14.

反射強度補正DB14には、レーダ21による反射強度を補正するためのデータベースであって、物標までの距離と物標の高さとを入力すると、反射強度の補正量が得られるようなマップが記録されている。   The reflection intensity correction DB 14 is a database for correcting the reflection intensity by the radar 21, and a map is recorded so that when the distance to the target and the height of the target are input, a correction amount of the reflection intensity can be obtained. Has been.

CPU11は、ROM12に格納されたプログラムやRAM13にロードされたプログラム、およびレーダ21、カメラ22、自車状態検知部23等による検知結果を利用して、後述する各種処理を実行する。ここで、各種処理には、自車両の進行方向に存在する物体の種別を特定する識別処理(物体識別プログラム)、自車両と識別した物体との相対移動ベクトル等を利用して自車両と物体とが衝突する確度を演算する確度演算処理、物体との衝突する確度が一定以上の場合に衝突を回避するための制動や操舵或いは報知を衝突回避制御実行部24や警報報知部25に実施させる衝突回避処理、を含む。   The CPU 11 executes various processes to be described later using the programs stored in the ROM 12, the programs loaded in the RAM 13, and the detection results obtained by the radar 21, the camera 22, the own vehicle state detection unit 23, and the like. Here, in various processes, an identification process (object identification program) for identifying the type of an object existing in the traveling direction of the own vehicle, a relative movement vector between the object identified as the own vehicle, and the like are used. The collision avoidance control execution unit 24 and the alarm notification unit 25 perform the accuracy calculation processing for calculating the accuracy of collision with the vehicle, and the braking avoidance control execution unit 24 and the alarm notification unit 25 to avoid the collision when the accuracy of collision with the object is equal to or higher than a certain level. Including collision avoidance processing.

なお、各種処理のうちの確度演算処理および衝突回避処理については、物体の種別に応じて異なる確度を求める、或いは異なる報知を行う等の処理を実行することができるが、基本的には周知の処理を用いることができるため詳細な説明については省略し、本実施形態では識別処理について詳細に説明する。   As for the accuracy calculation process and the collision avoidance process among various processes, it is possible to execute a process such as obtaining a different accuracy depending on the type of the object or performing a different notification. Since the processing can be used, detailed description thereof will be omitted, and the identification processing will be described in detail in the present embodiment.

[本実施形態の処理]
図2は演算部10のCPU11が実行する識別処理を示すフローチャートである。
識別処理は、図示しないイグニッションスイッチ等の車両の電源が投入されると開始され、その後、所定周期(例えば100ms毎)に繰り返し実施される処理である。認識処理では、図2に示すように、まず、レーダ21による検出結果を取得する(S110:物体情報取得手段)。
[Process of this embodiment]
FIG. 2 is a flowchart showing identification processing executed by the CPU 11 of the arithmetic unit 10.
The identification process is a process that is started when a vehicle such as an ignition switch (not shown) is turned on, and then repeatedly performed at a predetermined cycle (for example, every 100 ms). In the recognition process, as shown in FIG. 2, first, the detection result by the radar 21 is acquired (S110: object information acquisition means).

この処理では、自車両の周囲に音波または電磁波を照射して該音波または電磁波の反射波を検出することによって得られた、反射強度および自車両周囲の物標(物体)までの距離の情報を含む物体情報を取得する。   In this process, information on the reflection intensity and the distance to the target (object) around the vehicle is obtained by irradiating the surroundings of the vehicle with sound waves or electromagnetic waves and detecting the reflected waves of the sound waves or electromagnetic waves. Get object information including.

続いて、カメラ22による撮像画像を取得し(S120)、物標の高さを演算する(S130:物体高取得手段)。ここで、S130の処理では、レーダ21によって検出された物標の位置に対応する物標を撮像画像中から抽出し、この撮像画像中の物標の見える部分の面積(反射断面積)、および鉛直方向の大きさ(物標の高さ)を演算する。このとき、物標までの距離を利用して、撮像画像中の物標の大きさを特定する。   Subsequently, an image captured by the camera 22 is acquired (S120), and the height of the target is calculated (S130: object height acquisition means). Here, in the process of S130, the target corresponding to the position of the target detected by the radar 21 is extracted from the captured image, and the area of the visible portion of the captured image (reflection cross section), and Calculate the vertical size (the height of the target). At this time, the size of the target in the captured image is specified using the distance to the target.

このようにS130の処理では、物体情報を検出するための手法(レーダ21)とは異なる手法(カメラ22からの撮像画像を利用した画像処理)を利用して物標の高さの情報を演算することになる。   As described above, in the process of S130, the height information of the target is calculated using a method (image processing using a captured image from the camera 22) different from the method for detecting object information (radar 21). Will do.

続いて、物標の高さと物標までの距離とに応じて反射強度を補正し、補正後の反射強度をRAM13等のメモリに記録する(S140:強度補正手段)。なお、この補正後の反射強度は、一定時間分(例えば1秒間分)蓄積される。また、この処理では、反射強度補正DB14を利用して反射強度の補正量を求め、反射強度に対して補正量を加減算することにより補正後の反射強度を得る。   Subsequently, the reflection intensity is corrected according to the height of the target and the distance to the target, and the corrected reflection intensity is recorded in a memory such as the RAM 13 (S140: intensity correction means). The corrected reflection intensity is accumulated for a fixed time (for example, for 1 second). In this process, the reflection intensity correction DB 14 is used to obtain the correction amount of the reflection intensity, and the corrected reflection intensity is obtained by adding / subtracting the correction amount to / from the reflection intensity.

ここで、反射強度補正DB14において、物標までの距離および物標の高さと反射強度の補正量との関係は、例えば、次のようにして設定される。図3は物標までの距離と反射強度との関係を示すグラフであり、特に、図3(a)は補正前の反射強度を示すもの、図3(b)は補正後の反射強度を示すものである。   Here, in the reflection intensity correction DB 14, the relationship between the distance to the target, the height of the target, and the correction amount of the reflection intensity is set as follows, for example. FIG. 3 is a graph showing the relationship between the distance to the target and the reflection intensity. In particular, FIG. 3A shows the reflection intensity before correction, and FIG. 3B shows the reflection intensity after correction. Is.

なお、図3(a)において、実線は比較的物標の高さが高いものにおける反射強度を示し、破線は比較的物標の高さが低いものにおける反射強度を示し、実線および破線で示す物標の反射強度は、高さのみが異なり、同じ種別の物標からのものを示す。また図4は、反射強度を演算する際の数式の一例を示す説明図である。   In FIG. 3A, the solid line indicates the reflection intensity at a relatively high target height, and the broken line indicates the reflection intensity at a relatively low target height, indicated by a solid line and a broken line. The reflection intensity of the target is different only in height, and indicates the same type of target. FIG. 4 is an explanatory diagram showing an example of a mathematical expression for calculating the reflection intensity.

図3(a)に示すように、物標の高さに応じて反射強度の変動幅が異なり、物標までの距離が変化すると反射強度は一定の範囲内で増減を繰り返すことが分かる。また、物標の高さが高くなるにつれて反射強度の変動幅が大きくなる傾向があることが分かる。   As shown in FIG. 3A, it can be seen that the fluctuation range of the reflection intensity varies depending on the height of the target, and that the reflection intensity repeatedly increases and decreases within a certain range when the distance to the target changes. It can also be seen that the fluctuation range of the reflection intensity tends to increase as the height of the target increases.

ここで、反射強度(受信電力P)は、一般的には図4に示す式(1)で表すことができるが、物標までの距離が変化すると反射強度が一定の範囲内で増減を繰り返すことから、反射強度が変化する原因の1つとしては、複数の方向から電波が受信されるマルチパスの影響が考えられる。なお、図4に示す式(1)において、Pは受信電力、λはレーダ波(ミリ波)の波長、Ptは送信電力、Gtは送信アンテナゲイン、σは反射断面積、Rは物標までの距離を示す。   Here, the reflection intensity (reception power P) can be generally expressed by the equation (1) shown in FIG. 4, but when the distance to the target changes, the reflection intensity repeatedly increases and decreases within a certain range. For this reason, one of the causes of the change in the reflection intensity is considered to be the influence of multipath in which radio waves are received from a plurality of directions. In Equation (1) shown in FIG. 4, P is the received power, λ is the radar wave (millimeter wave) wavelength, Pt is the transmission power, Gt is the transmission antenna gain, σ is the reflection cross section, and R is the target. Indicates the distance.

さて、マルチパスの影響を考慮する場合には、図4に示す式(2)を利用して反射強度を求める。なお、式(2)において、Kは定数、ρは路面の反射率、φは経路長差である。また、式(2)中で利用されている各経路長(RAB、RAC、RCB、RACB)の詳細については、式(3)で示す。 When the influence of multipath is taken into consideration, the reflection intensity is obtained using the equation (2) shown in FIG. In Equation (2), K is a constant, ρ is a road surface reflectance, and φ is a path length difference. The details of each path length (R AB , R AC , R CB , R ACB ) used in formula (2) are shown in formula (3).

式(2)で求められた反射強度(受信電力P)のうち、路面を反射して得られる反射強度の成分(RACB経由で得られる受信電力)を、補正量とすることができる。この場合には、検出された反射強度からこの補正量(路面を反射して得られる反射強度の成分)を減算することでマルチパスの影響を除去した補正後の反射強度を得る。 Of the reflection intensity (reception power P) obtained by the equation (2), the component of the reflection intensity obtained by reflecting the road surface (reception power obtained via R ACB ) can be used as the correction amount. In this case, the corrected reflection intensity that removes the influence of multipath is obtained by subtracting this correction amount (a component of the reflection intensity obtained by reflecting the road surface) from the detected reflection intensity.

ここで、補正後の反射強度では、図3(b)に示すように、同じ種別の物標であれば、物標の高さにかかわらず、同じ反射強度となる。ただし、物標までの距離が遠くなるに従って、反射強度は弱くなる。   Here, with respect to the corrected reflection intensity, as shown in FIG. 3B, if the target is the same type, the same reflection intensity is obtained regardless of the height of the target. However, the reflection intensity decreases as the distance to the target increases.

このように、マルチパス等の反射強度に影響を与えるパラメータを考慮して、反射強度DB14におけるマップが設定されている。
続いて、図2に戻り、補正後の反射強度に応じて物体の種別を識別する(S170〜S280:識別手段)。この処理の要旨について図5に示す。図5は車両および歩行者までの距離と反射強度との関係をそれぞれ示すグラフである。ただし、図5においては、車両および歩行者は同じ高さに設定されている。特に図5(a)は補正前の反射強度を示すもの、図5(b)は補正後の反射強度を示すものである。
In this way, a map in the reflection intensity DB 14 is set in consideration of parameters that affect the reflection intensity such as multipath.
Subsequently, returning to FIG. 2, the type of the object is identified according to the corrected reflection intensity (S170 to S280: identification means). The summary of this process is shown in FIG. FIG. 5 is a graph showing the relationship between the distance to the vehicle and the pedestrian and the reflection intensity. However, in FIG. 5, the vehicle and the pedestrian are set at the same height. In particular, FIG. 5A shows the reflection intensity before correction, and FIG. 5B shows the reflection intensity after correction.

図5(a)に示すように、同じ距離において車両による反射強度は歩行者による反射強度よりも大きくなっている。そこで、このような特性を利用して、車両および歩行者を含む物標の種別を識別する。ただし、自車両と物標との距離に応じて反射強度が変化し、図5(a)に示すように、車両による反射強度の極小値は歩行者による反射強度の極大値よりも小さくなることがある。このため、このまま反射強度を利用する場合には、車両と歩行者とを識別することが難しい。   As shown in FIG. 5A, the reflection intensity by the vehicle is larger than the reflection intensity by the pedestrian at the same distance. Therefore, the type of the target including the vehicle and the pedestrian is identified using such characteristics. However, the reflection intensity changes according to the distance between the host vehicle and the target, and as shown in FIG. 5A, the minimum value of the reflection intensity by the vehicle is smaller than the maximum value of the reflection intensity by the pedestrian. There is. For this reason, when the reflection intensity is used as it is, it is difficult to identify the vehicle and the pedestrian.

そこで、上記S140による処理を実施しておくと、図5(b)に示すような反射強度が得られ、物標までの距離と反射強度との関係を一次関数で表すことができる。この場合、車両による反射強度と歩行者による反射強度との中間の位置に一次関数で示される閾値(車両閾値および車両閾値と一致する歩行者閾値)を設けることで、容易に車両と歩行者とを識別することができるようになる。   Therefore, when the processing in S140 is performed, a reflection intensity as shown in FIG. 5B is obtained, and the relationship between the distance to the target and the reflection intensity can be expressed by a linear function. In this case, by providing a threshold value represented by a linear function (a vehicle threshold value and a pedestrian threshold value that matches the vehicle threshold value) at an intermediate position between the reflection intensity by the vehicle and the reflection intensity by the pedestrian, Can be identified.

詳細な処理について以下に説明する(図2参照)。まず、補正後の反射強度と車両閾値とを比較する(S170)。補正後の反射強度が車両閾値以上であれば(S170:YES)、反射強度が極めて大きいか否かを、反射強度が車両閾値よりも大きな値に設定された看板閾値以上であるか否かによって判定する(S180)。   Detailed processing will be described below (see FIG. 2). First, the corrected reflection intensity and the vehicle threshold are compared (S170). If the corrected reflection intensity is greater than or equal to the vehicle threshold (S170: YES), whether or not the reflection intensity is extremely high depends on whether or not the reflection intensity is greater than or equal to the signboard threshold set to a value greater than the vehicle threshold. Determination is made (S180).

反射強度が看板閾値以上であれば(S180:YES)、物標の種別が看板であると識別して識別結果をRAM13等のメモリに記録し(S190)、識別処理を終了する。また、反射強度が看板閾値未満であれば(S180:NO)、物標の種別が車両であると識別して識別結果をRAM13等のメモリに記録し(S200)、識別処理を終了する。   If the reflection intensity is greater than or equal to the signboard threshold (S180: YES), the target type is identified as a signboard, the identification result is recorded in a memory such as the RAM 13 (S190), and the identification process is terminated. If the reflection intensity is less than the sign threshold (S180: NO), the target type is identified as a vehicle, the identification result is recorded in a memory such as the RAM 13 (S200), and the identification process is terminated.

また、S170の処理にて、補正後の反射強度が車両閾値未満であれば(S170:NO)、補正後の反射強度と車両閾値や後述する歩行者閾値よりも小さな値に設定されたノイズ閾値とを比較する(S220)。補正後の反射強度がノイズ閾値未満であれば(S220:NO)、この物標をノイズとして除外し(S230)、識別処理を終了する。   In addition, if the corrected reflection intensity is less than the vehicle threshold value in the process of S170 (S170: NO), the corrected reflection intensity and the noise threshold value set to a value smaller than the vehicle threshold value or a pedestrian threshold value described later. Are compared (S220). If the corrected reflection intensity is less than the noise threshold (S220: NO), this target is excluded as noise (S230), and the identification process is terminated.

また、補正後の反射強度がノイズ閾値以上であれば(S220:YES)、補正後の反射強度と歩行者閾値とを比較する(S250)。なお、本実施形態において歩行者閾値は車両閾値と一致する値としているが、車両閾値未満の値に設定されていてもよい。   If the corrected reflection intensity is greater than or equal to the noise threshold (S220: YES), the corrected reflection intensity is compared with the pedestrian threshold (S250). In the present embodiment, the pedestrian threshold value is a value that matches the vehicle threshold value, but may be set to a value less than the vehicle threshold value.

補正後の反射強度が歩行者閾値以上であれば(S250:YES)、補正後の反射強度の変動があるか否かを判定する(S260)。この処理においては、過去において検出された反射強度に対して、最新の反射強度と同じ距離における反射強度となるようにさらに補正を行い、この補正後の反射強度と、最新の反射強度とを比較することによって変動閾値以上の反射強度の変化(例えば1割程度以上の反射強度の変化)があるか否かを判定する。すなわち、反射強度が歩行者閾値未満である場合(歩行者識別範囲内である場合)であっても、物体の種別が歩行者でない場合があることを考慮して、反射強度が変化するか否かについても物体の種別が歩行者であるか否かを識別する際の条件としている。歩行者は手や足を動かしながら歩行するため、反射面の面積が変化し、反射強度が変化するからである。   If the corrected reflection intensity is greater than or equal to the pedestrian threshold (S250: YES), it is determined whether there is a change in the corrected reflection intensity (S260). In this process, the reflection intensity detected in the past is further corrected so that it becomes the reflection intensity at the same distance as the latest reflection intensity, and the corrected reflection intensity is compared with the latest reflection intensity. Thus, it is determined whether or not there is a change in the reflection intensity that is equal to or greater than the variation threshold (for example, a change in the reflection intensity that is approximately 10% or more). That is, whether or not the reflection intensity changes even when the reflection intensity is less than the pedestrian threshold (in the pedestrian identification range), considering that the object type may not be a pedestrian. This is also a condition for identifying whether or not the type of the object is a pedestrian. This is because pedestrians walk while moving their hands and feet, so that the area of the reflective surface changes and the reflection intensity changes.

変動閾値以上の反射強度の変化がない場合(S260:NO)、或いは、S250の処理にて、補正後の反射強度が歩行者閾値未満である場合(S250:NO)には、物標の種別を、車両でも歩行者でもないもの(例えば街路樹等)として識別して識別結果をRAM13等のメモリに記録し(S270)、識別処理を終了する。   If there is no change in the reflection intensity equal to or greater than the fluctuation threshold (S260: NO), or if the corrected reflection intensity is less than the pedestrian threshold in the processing of S250 (S250: NO), the type of the target Is identified as not being a vehicle or a pedestrian (for example, a roadside tree, etc.), the identification result is recorded in a memory such as the RAM 13 (S270), and the identification process is terminated.

また、変動閾値以上の反射強度の変化がある場合には(S260:YES)、物標の種別が歩行者であると識別して識別結果をRAM13等のメモリに記録し(S280)、識別処理を終了する。   If there is a change in the reflection intensity that is greater than or equal to the variation threshold (S260: YES), the target type is identified as a pedestrian and the identification result is recorded in a memory such as the RAM 13 (S280). Exit.

[本実施形態による効果]
以上のように詳述した衝突防止システム1において、演算部10のCPU11は、自車両の周囲に電磁波を照射して該電磁波の反射波を検出することによって得られた、反射強度および自車両周囲の物体までの距離の情報を含む物体情報を取得し、物体の高さの情報を取得する。そして、CPU11は、物体の高さおよび物体までの距離に応じて反射強度を補正し、補正後の反射強度に応じて物体の種別を識別する。
[Effects of this embodiment]
In the collision prevention system 1 described in detail above, the CPU 11 of the calculation unit 10 radiates electromagnetic waves around the host vehicle and detects the reflected wave of the electromagnetic waves, and the reflection intensity and the surroundings of the host vehicle. Object information including information on the distance to the object is acquired, and information on the height of the object is acquired. Then, the CPU 11 corrects the reflection intensity according to the height of the object and the distance to the object, and identifies the type of the object according to the corrected reflection intensity.

このような衝突防止システム1によれば、反射強度を正常に検出することを妨害する要素を除外するように反射強度を補正することができる。ここで、物体の種別に応じて電磁波の反射強度が異なることが知られているため、上記実施形態では、正確に反射強度を検出できるようにすることで、物体を正確に識別することができる。   According to such a collision prevention system 1, the reflection intensity can be corrected so as to exclude an element that hinders normal detection of the reflection intensity. Here, since it is known that the reflection intensity of electromagnetic waves varies depending on the type of the object, in the above embodiment, the object can be accurately identified by making it possible to accurately detect the reflection intensity. .

また、上記衝突防止システム1においてCPU11は、物体までの距離と物体の高さとに応じて反射波のマルチパスの影響を除去する補正を行う。
このような衝突防止システム1によれば、反射強度を正常に検出することを妨害するパラメータとしてのマルチパスの影響を除去することができる。なお、反射強度を正常に検出することを妨害する他のパラメータとしては、反射面の向き等が挙げられる。
In the collision prevention system 1, the CPU 11 performs correction to remove the multipath effect of the reflected wave according to the distance to the object and the height of the object.
According to such a collision prevention system 1, it is possible to remove the influence of multipath as a parameter that hinders normal detection of reflection intensity. Other parameters that hinder the normal detection of the reflection intensity include the orientation of the reflecting surface.

また、上記衝突防止システム1においてCPU11は、反射強度が、車両を識別するための車両識別範囲内である場合に物体の種別が車両であると識別し、反射強度が、歩行者を識別するために車両識別範囲の下限値未満の範囲に設定された歩行者識別範囲内である場合に物体の種別が歩行者であると識別する。   In the collision prevention system 1, the CPU 11 identifies that the type of the object is a vehicle when the reflection intensity is within the vehicle identification range for identifying the vehicle, and the reflection intensity identifies the pedestrian. When the object type is within a pedestrian identification range set to a range less than the lower limit of the vehicle identification range, the object type is identified as a pedestrian.

このような衝突防止システム1によれば、物体の種別が車両であることを識別することができる。また、歩行者による反射強度が車両による反射強度よりも小さいことを鑑みながら、物体の種別が歩行者であることを識別することができる。   According to such a collision prevention system 1, it can be identified that the type of the object is a vehicle. In addition, it is possible to identify that the type of the object is a pedestrian while considering that the reflection intensity by the pedestrian is smaller than the reflection intensity by the vehicle.

また、上記衝突防止システム1においてCPU11は、繰り返し物体情報を取得し、反射強度が歩行者識別範囲内であって、かつ反射強度が基準変動幅以上変動している場合に、物体の種別が歩行者であると識別する。   In the collision prevention system 1, the CPU 11 repeatedly acquires object information, and when the reflection intensity is within the pedestrian identification range and the reflection intensity fluctuates more than the reference fluctuation range, the object type is walking. Identify as a person.

このような衝突防止システム1によれば、物体の種別が歩行者であるか否かをより精度よく識別することができる。
さらに、上記衝突防止システム1においては、物体と衝突する虞がある場合に、物体の識別結果に応じた報知を行う警報報知部25を備えている。
According to such a collision prevention system 1, it is possible to more accurately identify whether or not the type of the object is a pedestrian.
Further, the collision prevention system 1 includes an alarm notification unit 25 that performs notification according to the object identification result when there is a possibility of collision with the object.

このような衝突防止システム1によれば、物体の種別に応じた報知を行うことができる。
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
According to such a collision prevention system 1, notification according to the type of object can be performed.
[Other Embodiments]
Embodiments of the present invention are not limited to the above-described embodiments, and can take various forms as long as they belong to the technical scope of the present invention.

例えば、上記実施形態において、上記実施形態において物体高さの情報を取得する際には、画像処理によって検出された物体の高さを取得するよう構成したが、物体や物体に付随する施設と通信を行うことにより、物体高さの情報を取得するよう構成してもよい。   For example, in the above embodiment, when the object height information is acquired in the above embodiment, the height of the object detected by the image processing is acquired. However, the object is communicated with the facility associated with the object. It may be configured to acquire the object height information by performing the above.

また、上記衝突防止システム1においては、画像処理によって物体の高さを検出するよう構成したが、他の手法を利用して物体の高さを検出するようにしてもよい。
さらに、上記実施形態においては、物体と衝突する虞がある場合に物体の種別に応じて報知を行うよう構成したが、物体と衝突するか否かに拘わらず、単に物体の種別に応じて報知を行うようにしてもよい。
In the collision prevention system 1, the height of the object is detected by image processing. However, the height of the object may be detected by using another method.
Furthermore, in the above-described embodiment, the notification is made according to the type of the object when there is a possibility of collision with the object. However, the notification is simply made according to the type of the object regardless of whether or not it collides with the object. May be performed.

また、上記実施絵形態においては、電磁波による反射波を検出するよう構成したが、音波等の反射波を検出するよう構成してもよい。   Moreover, in the said embodiment, although comprised so that the reflected wave by electromagnetic waves might be detected, you may comprise so that reflected waves, such as a sound wave, may be detected.

1…衝突防止システム、10…演算部、11…CPU、12…ROM、13…RAM、14…反射強度補正DB、21…レーダ、22…カメラ、23…自車状態検知部、24…衝突回避制御実行部、25…警報報知部。   DESCRIPTION OF SYMBOLS 1 ... Collision prevention system, 10 ... Operation part, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Reflection intensity correction DB, 21 ... Radar, 22 ... Camera, 23 ... Own vehicle state detection part, 24 ... Collision avoidance Control execution unit, 25 ... alarm notification unit.

Claims (9)

車両に搭載され、自車両の周囲に存在する物体の種別を識別する物体識別装置であって、
自車両の周囲に音波または電磁波を照射して該音波または電磁波の反射波を検出することによって得られた、反射強度および自車両周囲の物体までの距離の情報を含む物体情報を取得する物体情報取得手段と、
前記距離の情報が対応する物体についての物体の高さの情報を取得する物体高取得手段と、
前記物体の高さおよび前記物体までの距離に応じて前記反射強度を補正する強度補正手段と、
前記補正後の反射強度に応じて物体の種別を識別する識別手段と、
を備えたことを特徴とする物体識別装置。
An object identification device for identifying a type of an object mounted on a vehicle and existing around the own vehicle,
Object information for obtaining object information including information on the reflection intensity and the distance to an object around the vehicle obtained by irradiating the surrounding of the vehicle with a sound wave or an electromagnetic wave and detecting a reflected wave of the sound wave or the electromagnetic wave Acquisition means;
An object height acquisition means for acquiring object height information for an object to which the distance information corresponds ;
Intensity correction means for correcting the reflection intensity according to the height of the object and the distance to the object;
Identifying means for identifying the type of the object according to the corrected reflection intensity;
An object identification device comprising:
請求項1に記載の物体識別装置において、
前記強度補正手段は、前記物体までの距離と前記物体の高さとに応じて前記反射波のマルチパスの影響を除去する補正を行うこと
を特徴とする物体識別装置。
The object identification device according to claim 1,
The object identification apparatus according to claim 1, wherein the intensity correction unit performs correction to remove the multipath effect of the reflected wave according to a distance to the object and a height of the object.
請求項1または請求項2に記載の物体識別装置において、
前記物体高取得手段は、前記物体情報を検出するための手法とは異なる手法を利用して検出された物体の高さの情報を取得すること
を特徴とする物体識別装置。
In the object identification device according to claim 1 or 2,
The object height acquisition unit acquires information on the height of an object detected using a method different from the method for detecting the object information.
請求項3に記載の物体識別装置において、
前記物体高取得手段は、画像処理によって検出された物体の高さを取得すること
を特徴とする物体識別装置。
The object identification device according to claim 3.
The object height acquisition means acquires the height of an object detected by image processing.
請求項1〜請求項4の何れか1項に記載の物体識別装置において、
前記識別手段は、前記反射強度が、車両を識別するための車両識別範囲内である場合に前記物体の種別が車両であると識別すること
を特徴とする物体識別装置。
In the object identification device according to any one of claims 1 to 4,
The identification means identifies the type of the object as a vehicle when the reflection intensity is within a vehicle identification range for identifying a vehicle.
請求項5に記載の物体識別装置において、
前記識別手段は、前記反射強度が、歩行者を識別するために前記車両識別範囲の下限値未満の範囲に設定された歩行者識別範囲内である場合に前記物体の種別が歩行者であると識別すること
を特徴とする物体識別装置。
In the object identification device according to claim 5,
The identification means, when the reflection intensity is within a pedestrian identification range set to a range less than a lower limit value of the vehicle identification range in order to identify a pedestrian, the type of the object is a pedestrian An object identification device characterized by identifying.
請求項6に記載の物体識別装置において、
前記物体情報取得手段は、繰り返し前記物体情報を取得し、
前記識別手段は、前記反射強度が前記歩行者識別範囲内であって、かつ前記反射強度が基準変動幅以上変動している場合に、前記物体の種別が歩行者であると識別すること
を特徴とする物体識別装置。
In the object identification device according to claim 6,
The object information acquisition means repeatedly acquires the object information,
The identification means identifies that the type of the object is a pedestrian when the reflection intensity is within the pedestrian identification range and the reflection intensity fluctuates more than a reference fluctuation range. An object identification device.
請求項1〜請求項7の何れか1項に記載の物体識別装置において、
前記物体の識別結果に応じた報知を行う報知部、を備えたこと
を特徴とする物体識別装置。
In the object identification device according to any one of claims 1 to 7,
An object identification apparatus comprising: a notification unit that performs notification according to the object identification result.
コンピュータを、請求項1〜請求項8の何れか1項に記載の物体識別装置を構成する各手段として機能させるための物体識別プログラム。   The object identification program for functioning a computer as each means which comprises the object identification device of any one of Claims 1-8.
JP2011117104A 2011-05-25 2011-05-25 Object identification device and object identification program Active JP5630377B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011117104A JP5630377B2 (en) 2011-05-25 2011-05-25 Object identification device and object identification program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011117104A JP5630377B2 (en) 2011-05-25 2011-05-25 Object identification device and object identification program

Publications (2)

Publication Number Publication Date
JP2012247215A JP2012247215A (en) 2012-12-13
JP5630377B2 true JP5630377B2 (en) 2014-11-26

Family

ID=47467807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011117104A Active JP5630377B2 (en) 2011-05-25 2011-05-25 Object identification device and object identification program

Country Status (1)

Country Link
JP (1) JP5630377B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6411942B2 (en) * 2015-04-23 2018-10-24 株式会社デンソー Object recognition device
JP6319361B2 (en) * 2016-05-26 2018-05-09 マツダ株式会社 Pedestrian detection device for vehicles
DE102019215393A1 (en) * 2019-10-08 2021-04-08 Robert Bosch Gmbh Method and device for classifying an object, in particular in the vicinity of a motor vehicle
CN113465626A (en) * 2020-03-31 2021-10-01 比亚迪半导体股份有限公司 Image output method and apparatus for navigation, medium, device, and vehicle
JP2022149199A (en) 2021-03-25 2022-10-06 パナソニックIpマネジメント株式会社 Object identification device, vehicle, and object identification method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4016826B2 (en) * 2002-12-10 2007-12-05 株式会社デンソー Object labeling method and apparatus, program
JP4314262B2 (en) * 2006-10-24 2009-08-12 三菱電機株式会社 Automotive radar equipment
JP2010127717A (en) * 2008-11-26 2010-06-10 Sumitomo Electric Ind Ltd Object detection device and object detection system

Also Published As

Publication number Publication date
JP2012247215A (en) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5870908B2 (en) Vehicle collision determination device
US9460627B2 (en) Collision determination device and collision mitigation device
JP5835490B2 (en) Collision prediction device
JP6533040B2 (en) Object identification method using radar sensor
JP5878491B2 (en) Driving assistance device
JP5910434B2 (en) Collision prediction device
JP5910046B2 (en) Obstacle detection device
JP5630377B2 (en) Object identification device and object identification program
KR20140128236A (en) Vehicle-use collision mitigation apparatus
US20150219761A1 (en) Collision determination device and collision determination method
US10960877B2 (en) Object detection device and object detection method
US9499156B2 (en) On-board apparatus
JP6413898B2 (en) Pedestrian determination device
JP2011164989A (en) Apparatus for determining unstable state
US9643576B2 (en) Collision avoidance assist device and collision avoidance assist method
US20140136097A1 (en) Anti-collision system of vehicle
JP2012220377A (en) Object identification apparatus and object identification program
JP2014102165A (en) Target determination device
JP2014078107A (en) Collision prediction device
US11420624B2 (en) Vehicle control apparatus and vehicle control method
US9809220B2 (en) Drive assist device, and drive assist method
US20050004719A1 (en) Device and method for determining the position of objects in the surroundings of a motor vehicle
JP6555132B2 (en) Moving object detection device
JP5783163B2 (en) Target detection device
KR20180000965A (en) System and method for Autonomous Emergency Braking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140922

R151 Written notification of patent or utility model registration

Ref document number: 5630377

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250