JP5054547B2 - Vehicle driving support device - Google Patents

Vehicle driving support device Download PDF

Info

Publication number
JP5054547B2
JP5054547B2 JP2008004798A JP2008004798A JP5054547B2 JP 5054547 B2 JP5054547 B2 JP 5054547B2 JP 2008004798 A JP2008004798 A JP 2008004798A JP 2008004798 A JP2008004798 A JP 2008004798A JP 5054547 B2 JP5054547 B2 JP 5054547B2
Authority
JP
Japan
Prior art keywords
vehicle
coordinate point
probability
distribution
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008004798A
Other languages
Japanese (ja)
Other versions
JP2009169535A (en
Inventor
弘幸 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP2008004798A priority Critical patent/JP5054547B2/en
Publication of JP2009169535A publication Critical patent/JP2009169535A/en
Application granted granted Critical
Publication of JP5054547B2 publication Critical patent/JP5054547B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、車外環境を認識し、認識した車外環境情報に基づいて自車の運転支援制御を行う車両用運転支援装置に関する。   The present invention relates to a vehicle driving support device that recognizes an environment outside the vehicle and performs driving support control of the host vehicle based on the recognized vehicle environment information.

近年、車載したミリ波レーダや赤外線レーザレーダ等のレーダ手段、ステレオカメラや単眼カメラ等の撮像手段、或いは、これらレーダ手段と撮像手段との併用によって車両前方の車外情報を認識し、認識した車外情報に基づいて車両の各種制御等を行う運転支援装置については様々な提案がなされている。   In recent years, on-board radar means such as millimeter wave radar and infrared laser radar, imaging means such as stereo cameras and monocular cameras, or combination of these radar means and imaging means recognizes information outside the vehicle and recognizes outside the vehicle. Various proposals have been made for driving support devices that perform various types of vehicle control based on information.

この種の運転支援装置では、一般に、自車に作用するヨーレートや舵角、白線やガードレール等に基づいて自車走行路が推定される。例えば、特許文献1には、自車走行路前方での先行車の捕捉(検出)状態に応じて、追従走行制御と定速走行制御とを選択的に行う車間距離制御付クルーズコントロール(ACC;Adaptive Cruise Control)機能を備えた車両の制御装置において、操舵角センサおよびヨーレートセンサからの信号に基づいて進行路(自車走行路)を予測する技術が開示されている。
特開2006−347507号公報
In this type of driving support device, the own vehicle traveling path is generally estimated based on the yaw rate, rudder angle, white line, guardrail, and the like acting on the own vehicle. For example, Patent Document 1 discloses a cruise control with an inter-vehicle distance control (ACC;) that selectively performs a follow-up running control and a constant speed running control according to the capture (detection) state of a preceding vehicle in front of the own vehicle running path. In a vehicle control apparatus having an Adaptive Cruise Control function, a technique for predicting a traveling path (own vehicle traveling path) based on signals from a steering angle sensor and a yaw rate sensor is disclosed.
JP 2006-347507 A

しかしながら、上述の特許文献1に開示された技術のようにヨーレートや舵角等に基づいて自車走行路を推定する場合、実際の道路形状とは異なる領域を自車走行路として推定する等の虞がある。   However, when estimating the own vehicle travel path based on the yaw rate, the rudder angle, or the like as in the technique disclosed in Patent Document 1 described above, an area different from the actual road shape is estimated as the own vehicle travel path. There is a fear.

一方、白線やガードレール等に基づいて自車走行路を推定する場合、白線等の認識が困難な状況では自車走行路を推定できなくなる等の虞がある。   On the other hand, when the host vehicle travel route is estimated based on a white line, a guardrail, or the like, there is a possibility that the host vehicle travel route cannot be estimated in a situation where it is difficult to recognize the white line or the like.

さらに、上述のように推定された自車走行路に基づいてACC制御等の運転支援制御を行う場合において、自車走行路上に障害物等が検出された際に、実際には障害物等を迂回可能な領域が自車進行路に隣接して存在するにも拘わらず過剰な減速制御が行われる等、ドライバのフィーリングとはかけ離れた運転支援制御が行われてしまう虞がある。   Furthermore, when driving support control such as ACC control is performed based on the vehicle traveling path estimated as described above, when an obstacle is detected on the vehicle traveling path, There is a possibility that driving support control far from the feeling of the driver may be performed, for example, excessive deceleration control is performed even though a detourable area exists adjacent to the own vehicle traveling path.

本発明は上記事情に鑑みてなされたもので、実際の車外環境やドライバのフィーリングに合った運転支援制御を実現することができる車両用運転支援装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle driving support device capable of realizing driving support control that matches the actual outside environment and the driver's feeling.

本発明の一形態による車両用運転支援装置は、自車前方の対象物の情報として白線に関する情報と立体物に関する情報とを認識する車外情報認識手段と、自車に対して前記白線が及ぼすリスクポテンシャルの分布を演算するとともに、自車に対して前記立体物が及ぼすリスクポテンシャルの分布を演算し、これらのトータルリスクポテンシャルの分布を演算するリスク分布演算手段と、自車の前方に当該自車との相対位置に応じて異なる複数組の座標点群を設定する座標点設定手段と、自車の直前に所定の走行確率を設定し当該走行確率を前記トータルリスクポテンシャルの分布状態に応じた分配比に従って自車近傍の前記座標点群の座標点から遠方に隣接する前記座標点群の複数の座標点へと順次シフトさせて前記各座標点に自車の走行確率を設定する走行確率設定手段と、前記座標点の走行確率が閾値以上で自車前方に連続する領域を自車が走行することが可能な走行領域として設定する走行領域設定手段とを備えたものである。 A vehicle driving support device according to an aspect of the present invention includes a vehicle outside information recognition unit that recognizes information related to a white line and information related to a three-dimensional object as information on an object ahead of the vehicle, and a risk that the white line exerts on the vehicle. Calculating the distribution of potential, calculating the distribution of risk potential exerted by the three-dimensional object on the own vehicle, calculating the distribution of these total risk potentials, and the vehicle in front of the own vehicle Coordinate point setting means for setting different sets of coordinate points according to the relative position of the vehicle, and a predetermined driving probability set immediately before the host vehicle, and the driving probability is distributed according to the distribution state of the total risk potential According to the ratio, the vehicle is sequentially shifted from a coordinate point of the coordinate point group in the vicinity of the host vehicle to a plurality of coordinate points of the coordinate point group that are distantly adjacent to each other. A traveling probability setting means for setting a, which regions traveling probability of the coordinate point is continuous with the front of the vehicle above the threshold and a travel area setting means for setting a travel area which can be the vehicle is traveling It is.

本発明の車両用運転支援装置によれば、実際の車外環境やドライバのフィーリングに合った運転支援制御を実現することができる。   According to the vehicle driving support device of the present invention, it is possible to realize driving support control that matches the actual outside environment and the driver's feeling.

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図1は運転支援装置を搭載した車両の概略構成図、図2は走行領域設定ルーチンを示すフローチャート、図3はリスクポテンシャル分布演算サブルーチンを示すフローチャート、図4は各座標点に対する走行確率演算サブルーチンを示すフローチャート、図5は自車前方のリスクマップの一例を示す説明図、図6は自車前方のリスクマップ上に設定した座標点の一例を示す説明図、図7は走行確率の演算方法の一例を示す説明図、図8は各座標点の走行確率に基づいて設定された走行領域の一例を示す説明図である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The drawings relate to an embodiment of the present invention, FIG. 1 is a schematic configuration diagram of a vehicle equipped with a driving support device, FIG. 2 is a flowchart showing a travel region setting routine, and FIG. 3 is a flowchart showing a risk potential distribution calculation subroutine. 4 is a flowchart showing a driving probability calculation subroutine for each coordinate point, FIG. 5 is an explanatory diagram showing an example of a risk map ahead of the host vehicle, and FIG. 6 is an explanation showing an example of coordinate points set on the risk map ahead of the host vehicle. FIG. 7 is an explanatory diagram illustrating an example of a method for calculating a travel probability, and FIG. 8 is an explanatory diagram illustrating an example of a travel region set based on the travel probability of each coordinate point.

図1において、符号1は自動車等の車両(自車両)を示し、この車両1には、運転支援装置2が搭載されている。この運転支援装置2は、例えば、ステレオカメラ3、ステレオ画像認識装置4、制御ユニット5等を主要部として構成されている。   In FIG. 1, reference numeral 1 denotes a vehicle such as an automobile (own vehicle), and a driving support device 2 is mounted on the vehicle 1. The driving support device 2 is configured with, for example, a stereo camera 3, a stereo image recognition device 4, a control unit 5 and the like as main parts.

また、自車両1には、自車速Vを検出する車速センサ11、運転支援制御のON−OFF信号が入力されるメインスイッチ13等が設けられており、自車速Vはステレオ画像認識装置4と制御ユニット5に入力され、運転支援制御のON−OFF信号等は制御ユニットに入力される。   In addition, the host vehicle 1 is provided with a vehicle speed sensor 11 that detects the host vehicle speed V, a main switch 13 to which an ON / OFF signal for driving support control is input, and the host vehicle speed V is the same as that of the stereo image recognition device 4. An ON-OFF signal and the like for driving support control are input to the control unit 5 and input to the control unit.

ステレオカメラ3は、ステレオ光学系として例えば電荷結合素子(CCD)等の固体撮像素子を用いた1組の(左右の)CCDカメラで構成されている。これら左右のCCDカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置4に入力する。   The stereo camera 3 is composed of a set of (left and right) CCD cameras using a solid-state imaging device such as a charge coupled device (CCD) as a stereo optical system. These left and right CCD cameras are each mounted at a certain distance in front of the ceiling in the vehicle interior, take a stereo image of an object outside the vehicle from different viewpoints, and input image data to the stereo image recognition device 4.

ステレオ画像認識装置4は、先ず、ステレオカメラ3で撮像した自車両1の進行方向の1組のステレオ画像対に対し、対応する位置のずれ量から距離情報を求め、距離画像を生成する。そして、このデータを基に、周知のグルーピング処理を行い、予め記憶しておいた3次元的な道路形状データ、側壁データ、立体物データ等の枠(ウインドウ)と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出するとともに、立体物を、2輪車、普通車両、大型車両、歩行者、電柱等その他の各種立体物に分類して抽出する。   First, the stereo image recognition device 4 obtains distance information from a corresponding positional shift amount for a pair of stereo images in the traveling direction of the host vehicle 1 captured by the stereo camera 3 and generates a distance image. Then, based on this data, a well-known grouping process is performed and compared with frames (windows) such as three-dimensional road shape data, side wall data, and three-dimensional object data stored in advance. Side wall data such as guardrails and curbs that exist along the road are extracted, and three-dimensional objects are classified and extracted into other three-dimensional objects such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, and utility poles.

上述の認識した各データは、自車両1を原点とし、自車両1の前後方向をX軸、幅方向をY軸とする座標系において、それぞれの位置が演算され、特に、2輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、3m、4.5m、10m等と予め推定されて、また、幅方向は検出した幅の中心位置を用いて、その車両の現在存在する中心位置が(xobs,yobs)の座標で演算される。なお、車車間通信等により、車両の前後方向長さが精度良く得られる場合には、その長さデータを用いて、上述の中心位置を演算するようにしてもよい。   Each of the recognized data is calculated in a coordinate system in which the own vehicle 1 is the origin, the front-rear direction of the own vehicle 1 is the X axis, and the width direction is the Y axis. In the vehicle data of a vehicle or a large vehicle, the length in the front-rear direction is estimated in advance, for example, 3 m, 4.5 m, 10 m, etc., and the width direction uses the center position of the detected width, and the vehicle The currently existing center position is calculated with the coordinates (xobs, yobs). In addition, when the longitudinal length of the vehicle can be obtained with high accuracy by inter-vehicle communication or the like, the above-described center position may be calculated using the length data.

さらに、立体物データにおいては、自車両1からの距離のX軸方向変化及びY軸方向変化から自車両1に対する相対速度が演算され、この相対速度と自車両1の速度Vとに基づいて、それぞれの立体物のX軸方向速度、Y軸方向速度(vxobs,vyobs)が演算される。   Further, in the three-dimensional object data, a relative speed with respect to the host vehicle 1 is calculated from a change in the X-axis direction and a change in the Y-axis direction of the distance from the host vehicle 1, and based on the relative speed and the speed V of the host vehicle 1, The X-axis direction speed and Y-axis direction speed (vxobs, vyobs) of each three-dimensional object are calculated.

こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ(種別、自車両1からの距離、中心位置(xobs,yobs)、速度(vxobs,vyobs)等)の各データは制御ユニット5に入力される。このように、本実施形態において、ステレオカメラ3及びステレオ画像認識装置4は、車外情報認識手段としての機能を有する。   Each information obtained in this way, ie white line data, guardrails existing along the road, side walls such as curbs, and three-dimensional object data (type, distance from own vehicle 1, center position (xobs, yobs), speed (Vxobs, vyobs) etc.) is input to the control unit 5. Thus, in the present embodiment, the stereo camera 3 and the stereo image recognition device 4 have a function as vehicle outside information recognition means.

制御ユニット5には、車速センサ11から自車速V、ステレオ画像認識装置4から白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ(種別、自車両1からの距離、中心位置(xobs,yobs)、速度(vxobs,vyobs)等の各データが入力される。そして、制御ユニット5は、ステレオ画像認識装置4から入力される各対象物が自車1に対して及ぼすリスクポテンシャルの分布を演算する。また、制御ユニット5は、自車前方に、自車1との相対位置(例えば、X軸方向の相対位置)に応じて異なる複数組の座標点群を設定する。さらに、制御ユニット5は、自車1の直前に所定の走行確率(例えば、走行確率100%)を設定し、当該走行確率を自車前方のリスクポテンシャルの分布状態に応じた分配比に従って自車近傍の座標点群の座標点から遠方に隣接する座標点群の複数の座標点へと順次シフトさせて各座標点に自車の走行確率を設定する。そして、制御ユニット5は、座標点に設定された走行確率が閾値以上で自車前方に連続する領域を自車1が走行することが可能な走行領域として設定する。このように、本実施形態において、制御ユニット5は、リスク分布演算手段、座標点設定手段、走行確率設定手段、及び、走行領域設定手段としての各機能を有する。   The control unit 5 includes the vehicle speed sensor 11 from the own vehicle speed V, the stereo image recognition device 4 from the white line data, guardrails existing along the road, side walls such as curbs, and three-dimensional object data (type, from the vehicle 1). Data such as distance, center position (xobs, yobs), speed (vxobs, vyobs), etc. are input, and the control unit 5 receives each object input from the stereo image recognition device 4 with respect to the own vehicle 1. In addition, the control unit 5 sets a plurality of sets of coordinate points in front of the host vehicle according to the relative position with respect to the host vehicle 1 (for example, the relative position in the X-axis direction). Furthermore, the control unit 5 sets a predetermined travel probability (for example, a travel probability of 100%) immediately before the host vehicle 1, and distributes the travel probability according to the distribution state of the risk potential in front of the host vehicle. And sequentially shifting from the coordinate point group of the coordinate point group near the host vehicle to a plurality of coordinate points of the coordinate point group distantly adjacent to each other to set the traveling probability of the host vehicle at each coordinate point. A region in which the traveling probability set at the coordinate point is equal to or greater than the threshold and continues in front of the host vehicle is set as a traveling region in which the host vehicle 1 can travel. Each function as a risk distribution calculation means, a coordinate point setting means, a travel probability setting means, and a travel area setting means is provided.

このようにして自車両1の前方に走行領域を設定すると、制御ユニット5は、設定した走行領域に基づく車両1の運転支援制御を行う。この運転支援制御として、本実施形態では、例えば、ACC制御が行われる。すなわち、メインスイッチ13がONされると、制御ユニット5は、ステレオ画像認識装置4で認識した立体物データに基づいて走行領域上の先行車検出を行い、先行車が検出されていない定速走行制御時には、ドライバがセットした設定車速Vsetを目標車速Vtrgtとして設定し、電子制御スロットル弁15の開閉制御(エンジンの出力制御)を行うことで、自車速Vを目標車速Vtrgtに収束させる。さらに、制御ユニット5は、エンジンの出力制御のみでは十分な減速度が得られないと判断した場合に、アクティブブースタ16からの出力液圧の制御(ブレーキの自動介入制御)を併用し、自車速Vを目標車速Vtrgtに収束させる。また、制御ユニット5は、定速走行制御を行っている際に、先行車を検出した場合には、追従走行制御へと移行する。そして、追従走行制御へと移行すると、制御ユニット5は、追従目標車間距離Dtuijuに基づいて目標車速Vtrgtを設定し、電子制御スロットル弁15の開閉制御(エンジンの出力制御)を行うことで、車間距離Dnowを追従目標車間距離Dtuijuに収束させる。さらに、制御ユニット5は、エンジンの出力制御のみでは十分な減速度が得られないと判断した場合に、アクティブブースタ16からの出力液圧の制御(ブレーキの自動介入制御)を併用し、車間距離Dnowを追従目標車間距離Dtuijuに収束させる。ここで、追従目標車間距離Dtuijuは、例えば、自車速Vに応じて可変設定される。すなわち、制御ユニット5には、例えば、追従目標車間距離設定用のマップが予め設定され格納されており、制御ユニット5は、このマップを参照して、自車速Vが大きくなるほど追従目標車間距離Dtuijuを長く設定する。   When the travel region is set in front of the host vehicle 1 in this way, the control unit 5 performs driving support control of the vehicle 1 based on the set travel region. In this embodiment, for example, ACC control is performed as the driving support control. In other words, when the main switch 13 is turned on, the control unit 5 detects the preceding vehicle on the traveling area based on the three-dimensional object data recognized by the stereo image recognition device 4 and travels at a constant speed where no preceding vehicle is detected. At the time of control, the set vehicle speed Vset set by the driver is set as the target vehicle speed Vtrgt, and the opening / closing control (engine output control) of the electronic control throttle valve 15 is performed, so that the host vehicle speed V is converged to the target vehicle speed Vtrgt. Further, when the control unit 5 determines that sufficient deceleration cannot be obtained only by the engine output control, the control unit 5 also uses the control of the output hydraulic pressure from the active booster 16 (automatic brake intervention control) to control the vehicle speed. V is converged to the target vehicle speed Vtrgt. Further, when the control unit 5 detects the preceding vehicle during the constant speed traveling control, the control unit 5 shifts to the following traveling control. When the control unit 5 shifts to the follow-up traveling control, the control unit 5 sets the target vehicle speed Vtrgt based on the follow-up target inter-vehicle distance Dtuiju, and performs opening / closing control (engine output control) of the electronic control throttle valve 15 to The distance Dnow is converged to the following target inter-vehicle distance Dtuiju. Further, when the control unit 5 determines that sufficient deceleration cannot be obtained only by the engine output control, the control unit 5 also uses the control of the output hydraulic pressure from the active booster 16 (the automatic intervention control of the brake), and the inter-vehicle distance Dnow is converged to the following target inter-vehicle distance Dtuiju. Here, the following target inter-vehicle distance Dtuiju is variably set according to the own vehicle speed V, for example. That is, for example, a map for setting a target tracking distance between vehicles is set and stored in advance in the control unit 5, and the control unit 5 refers to this map, and the tracking target vehicle distance Dtuiju increases as the vehicle speed V increases. Set a longer time.

次に、制御ユニット5で行われる走行領域設定について、図2に示す走行領域設定ルーチンに従って説明する。このルーチンは、設定時間毎に繰り返し実行されるもので、ルーチンがスタートすると、制御ユニット5は、先ず、ステップS101において、ステレオ画像認識装置4で認識された車外情報の取得を行う。すなわち、制御ユニット5は、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ(種別、自車両1からの距離、中心位置(xobs,yobs)、速度(vxobs,vyobs)等)の各データをステレオ画像認識装置4から読み込む。   Next, the travel area setting performed by the control unit 5 will be described according to the travel area setting routine shown in FIG. This routine is repeatedly executed every set time. When the routine is started, the control unit 5 first acquires information outside the vehicle recognized by the stereo image recognition device 4 in step S101. That is, the control unit 5 includes white line data, side walls data such as guardrails and curbs that exist along the road, and solid object data (type, distance from the vehicle 1, center position (xobs, yobs), speed (vxobs). , Vyobs), etc.) is read from the stereo image recognition device 4.

続くステップS102において、制御ユニット5は、取得した車外情報に基づいて自車前方のリスクポテンシャルの分布(リスクマップ)を演算する。このリスクポテンシャル分布の演算は、例えば、図3に示すリスクポテンシャル演算サブルーチンに従って行われ、サブルーチンがスタートすると、制御ユニット5は、先ず、ステップS201において、白線(ガードレール、側壁も白線と同等に扱うものとする)を対象とする現在のリスク関数Rlineを、以下の(1)式により、演算する。
Rline=Kline・y …(1)
ここで、Klineは、予め設定したゲインである。すなわち、白線を対象とする現在のリスク関数Rlineは、左右の白線(ガードレール、側壁も白線と同等に扱う)で認識される走行路の中央を中心軸とする2次関数で与えられる。なお、本実施形態では、リスク関数Rlineを2次関数としているが、リスク関数Rlineは、走行路の中央から白線に近いほど、より大きなリスク値を導く関数であれば良く、例えば、4次或いは6次の関数とすることもできる。また、本実施形態では、ガードレール、側壁も白線と同等に扱って2次のリスク関数Rlineを与えるようにしているが、ガードレール、側壁の場合は、白線に対するリスク関数Rlineとは異なる関数に変更し、白線の場合よりも大きなリスク値を導くようにしてもよい。例えば、左右の白線に対するリスク関数Rlineを2次関数で与えた場合、ガードレール、側壁に対しては4次或いは6次の関数に変更する。また、同じ2次関数であってもゲインKlineの値を大きな値に変更するようにしてもよい。さらに、白線に対するリスク関数Rlineは、走行路の中央を中心軸とする例に限らず、中心軸をオフセットさせて、左側と右側の白線とでリスク値を互いに異ならせるようにしてもよい。
In subsequent step S102, the control unit 5 calculates a risk potential distribution (risk map) ahead of the host vehicle based on the acquired outside-vehicle information. The calculation of the risk potential distribution is performed in accordance with, for example, the risk potential calculation subroutine shown in FIG. The current risk function Rline for ”is calculated by the following equation (1).
Rline = Kline · y 2 (1)
Here, Kline is a preset gain. That is, the current risk function Rline for the white line is given by a quadratic function centered on the center of the travel path recognized by the left and right white lines (guardrails and side walls are also treated as white lines). In the present embodiment, the risk function Rline is a quadratic function. However, the risk function Rline may be a function that leads to a larger risk value as it approaches the white line from the center of the travel path. It can also be a 6th order function. In this embodiment, the guard rail and the side wall are also treated in the same way as the white line so as to give a secondary risk function Rline. A larger risk value than the white line may be derived. For example, when the risk function Rline for the left and right white lines is given as a quadratic function, the guardrail and the side wall are changed to a quartic or sixth-order function. Further, the gain Kline value may be changed to a large value even with the same quadratic function. Further, the risk function Rline for the white line is not limited to the example in which the center of the travel path is the central axis, but the central axis may be offset to make the risk values different between the left and right white lines.

次いで、ステップS202に進むと、制御ユニット5は、立体物(2輪車、普通車両、大型車両、歩行者、電柱等その他の各種立体物)を対象とする現在のリスク関数Robsを、以下の(2)式により、演算する。
Robs=Kobs・exp(−((xobs−x)/(2・σxobs))
−((yobs−y)/(2・σyobs))) …(2)
ここで、Kobsは、予め設定したゲインである。また、σxobsは予め設定しておいた対象のX軸方向の分散を示し、σyobsは、予め設定しておいた対象のY軸方向の分散を示し、これら分散σxobs、σyobsは、例えば、ステレオカメラ3による認識精度が低いほど大きく設定するようにしてもよい。また、分散σxobs、σyobsは、対象の種別が、普通車両及び大型車両の場合を基準として、歩行者、2輪車である場合は大きく設定し、それ以外の立体物の場合は小さくするようにしてもよい。さらに、自車両1と対象となる立体物の幅方向のラップ率に応じて設定するようにしても良い。
Next, when proceeding to step S202, the control unit 5 determines the current risk function Robs for a three-dimensional object (two-wheeled vehicle, ordinary vehicle, large vehicle, pedestrian, utility pole, and other various three-dimensional objects) as follows: Calculation is performed according to equation (2).
Robs = Kobs · exp (− ((xobs−x) 2 / (2 · σxobs 2 ))
− ((Yobs−y) 2 / (2 · σyobs 2 ))) (2)
Here, Kobs is a preset gain. Also, σxobs indicates a preset dispersion in the X-axis direction of the object, σyobs indicates a preset dispersion in the Y-axis direction of the object, and these dispersions σxobs and σyobs are, for example, a stereo camera 3 may be set larger as the recognition accuracy by 3 is lower. The variances σxobs and σyobs should be set large when the target type is a pedestrian or two-wheeled vehicle, and small for other three-dimensional objects. May be. Furthermore, you may make it set according to the lap | wrap rate of the width direction of the own vehicle 1 and the target solid object.

さらに、実際の走行においては、立体物が自車両1に対する順方向の速度成分を有する移動物(順方向移動物)である場合にはリスクが小さく、立体物が自車両1に対する逆方向の速度成分を有する移動物(逆方向移動物)である場合にはリスクが大きくなることが考えられるため、上述の(2)式において、自車両1との相対速度に応じてリスク値を増減させる補正項を加えることが望ましい。   Further, in actual traveling, when the three-dimensional object is a moving object having a forward speed component with respect to the own vehicle 1 (forward moving object), the risk is small, and the three-dimensional object has a reverse speed with respect to the own vehicle 1. In the case of a moving object having a component (reverse direction moving object), it is considered that the risk increases. Therefore, in the above equation (2), the risk value is increased or decreased according to the relative speed with the own vehicle 1. It is desirable to add terms.

次いで、ステップS203に進むと、制御ユニット5は、現在のトータルリスク関数Rを、以下の(3)式により、演算する。
R=Rline+Robs …(3)
次いで、ステップS204に進み、t秒後の立体物位置(xobs(t),yobs(t))を、以下の(4)式により推定する。
(xobs(t),yobs(t))=(xobs+vxobs・t,yobs+vyobs・t) …(4)
次に、ステップS205に進み、上述のステップS204で推定したt秒後の立体物位置(xobs(t),yobs(t))を、上述のステップS203で演算したトータルリスク関数Rのx及びyにそれぞれ代入し、t秒後のトータルリスク関数R(xobs(t),yobs(t))を設定した後、サブルーチンを抜ける。これにより、例えば、図5に示すように、自車両1の前方の領域にリスクマップが設定される。
Next, in step S203, the control unit 5 calculates the current total risk function R according to the following equation (3).
R = Rline + Robs (3)
Next, the process proceeds to step S204, and the position of the three-dimensional object (xobs (t), yobs (t)) after t seconds is estimated by the following equation (4).
(Xobs (t), yobs (t)) = (xobs + vxobs.t, yobs + vyobs.t) (4)
Next, the process proceeds to step S205, where the solid object position (xobs (t), yobs (t)) estimated after t seconds estimated in the above step S204 is calculated using the x and y of the total risk function R calculated in the above step S203. Respectively, and after setting the total risk function R (xobs (t), yobs (t)) after t seconds, the subroutine is exited. Thereby, for example, as shown in FIG. 5, a risk map is set in a region in front of the host vehicle 1.

メインルーチンにおいて、ステップS102からステップS103に進むと、制御ユニット5は、リスクマップが設定された自車前方の領域に、複数の座標点を設定する。本実施形態において、各座標点は、例えば、自車両1を基準として設定間隔毎(例えば、5m毎)に設定されるメッシュ上の格子点で構成され、各座標点(格子点)は、自車両1に対してX軸方向の距離が互いに等しいもの同士が、格子点群G0,G1,…,Gmaxとしてそれぞれグループ分けされている(例えば、図6参照)。   In the main routine, when the process proceeds from step S102 to step S103, the control unit 5 sets a plurality of coordinate points in the area in front of the vehicle where the risk map is set. In the present embodiment, each coordinate point is composed of, for example, lattice points on a mesh set at a set interval (for example, every 5 m) with the host vehicle 1 as a reference, and each coordinate point (lattice point) is Those having the same distance in the X-axis direction with respect to the vehicle 1 are grouped as lattice point groups G0, G1,..., Gmax (see, for example, FIG. 6).

次いで、ステップS104に進むと、制御ユニット5は、各座標点上を自車両1が走行する確率を演算する。この走行確率の演算は、例えば、図4に示す走行確率演算サブルーチンに従って行われ、サブルーチンがスタートすると、制御ユニット5は、先ず、ステップS301において、自車直前の座標点(0,G0)を選択し、当該座標点に所定の走行確率n(0,G0)(例えば、走行確率n(0,G0)=100)を設定する。   Next, in step S104, the control unit 5 calculates the probability that the host vehicle 1 will travel on each coordinate point. The calculation of the driving probability is performed, for example, according to the driving probability calculation subroutine shown in FIG. 4. When the subroutine starts, the control unit 5 first selects the coordinate point (0, G0) immediately before the own vehicle in step S301. Then, a predetermined traveling probability n (0, G0) (for example, traveling probability n (0, G0) = 100) is set at the coordinate point.

次いで、ステップS302に進むと、現在選択中の座標点に対応する次グループの座標点を抽出する。本実施形態において、現在選択中の座標点に対応する座標点としては、当該選択中の座標点に対し、次グループ(次の座標点群G)中で最も近い3つの座標点が抽出される。すなわち、図7において、例えば、現在選択中の座標点が(0,G0)である場合、対応する座標点として、座標点群G1の中から、(-1,G1)、(0,G1)、(1,G1)が抽出される。   In step S302, the next group coordinate point corresponding to the currently selected coordinate point is extracted. In the present embodiment, as coordinate points corresponding to the currently selected coordinate point, three coordinate points closest to the selected coordinate point in the next group (next coordinate point group G) are extracted. . That is, in FIG. 7, for example, when the currently selected coordinate point is (0, G0), (-1, G1), (0, G1) are selected from the coordinate point group G1 as corresponding coordinate points. , (1, G1) are extracted.

そして、ステップS303に進むと、制御ユニット5は、抽出した各座標点でのリスクポテンシャルrをそれぞれ読み込み、続くステップS304において、現在選択中の座標点における走行確率を、次座標点群Gから抽出した各座標点に対し、各リスクポテンシャルrに応じた配分比で分配する。   In step S303, the control unit 5 reads the risk potential r at each extracted coordinate point, and extracts the running probability at the currently selected coordinate point from the next coordinate point group G in the subsequent step S304. Each coordinate point is distributed at a distribution ratio corresponding to each risk potential r.

例えば、現在選択中の座標点の走行確率をN、選択中の座標点に対応して次座標点群Gから抽出された各座標点の走行確率をn1,n2,n3、抽出された各座標点上のリスクポテンシャルをr1,r2,r3とし、リスクマップ上でとり得るリスクポテンシャルの最大値を100とすると、各走行確率n1〜n3は、以下の(5)〜(7)式により、演算される。
n1=N・(100−r1)/(300−(r1+r2+r3)) …(5)
n2=N・(100−r2)/(300−(r1+r2+r3)) …(6)
n3=N・(100−r3)/(300−(r1+r2+r3)) …(7)
但し、本実施形態において、抽出された座標点でのリスクポテンシャルが予め設定された閾値以上である場合には、当該座標点への走行確率の分配はキャンセルされる。なお、走行確率の分配の際には、リスクポテンシャルのみならず、例えば、操舵角やヨーレート等を参照して自車1の旋回方向を判定し、判定した旋回方向の配分率を高くする補正を行っても良い。
For example, the running probability of the currently selected coordinate point is N, the running probability of each coordinate point extracted from the next coordinate point group G corresponding to the selected coordinate point is n1, n2, n3, and each extracted coordinate Assuming that the risk potential on the points is r1, r2, r3 and the maximum risk potential that can be taken on the risk map is 100, the respective driving probabilities n1 to n3 are calculated by the following equations (5) to (7). Is done.
n1 = N · (100−r1) / (300− (r1 + r2 + r3)) (5)
n2 = N · (100−r2) / (300− (r1 + r2 + r3)) (6)
n3 = N · (100−r3) / (300− (r1 + r2 + r3)) (7)
However, in this embodiment, when the risk potential at the extracted coordinate point is equal to or greater than a preset threshold value, the distribution of the travel probability to the coordinate point is canceled. When the travel probability is distributed, not only the risk potential, but also, for example, the turning direction of the host vehicle 1 is determined with reference to the steering angle, the yaw rate, etc., and a correction to increase the distribution rate of the determined turning direction is performed. You can go.

そして、ステップS305に進むと、制御ユニット5は、同一座標点群Gの全ての座標点を選択したか否かを調べ、未だ全ての座標点を選択していないと判定した場合には、ステップS306に進み、同一座標点群Gの中から新たな座標点を選択した後、ステップS302に戻る。   In step S305, the control unit 5 checks whether all coordinate points in the same coordinate point group G have been selected. If it is determined that all coordinate points have not been selected, the control unit 5 proceeds to step S305. Proceeding to S306, after selecting a new coordinate point from the same coordinate point group G, the process returns to step S302.

一方、ステップS305において、同一座標点群Gの全ての座標点を選択したと判定すると、制御ユニット5は、ステップS307に進み、現在の座標点群がG(max-1)の座標点群であるか否かを調べる。   On the other hand, if it is determined in step S305 that all coordinate points of the same coordinate point group G have been selected, the control unit 5 proceeds to step S307, where the current coordinate point group is a G (max-1) coordinate point group. Check if there is any.

そして、ステップS307において、現在の座標点群がG(max-1)の座標点群ではないと判定すると、制御ユニット5は、ステップS308に進み、自車1の遠方で現在の座標点群Gに隣接する座標点群を新たに選択した後、ステップS306に進む。   If it is determined in step S307 that the current coordinate point group is not the G (max-1) coordinate point group, the control unit 5 proceeds to step S308, and the current coordinate point group G is far away from the host vehicle 1. After the coordinate point group adjacent to is newly selected, the process proceeds to step S306.

一方、ステップS307において、現在の座標点群がG(max-1)であると判定すると、制御ユニット5は、そのままサブルーチンを抜ける。   On the other hand, if it is determined in step S307 that the current coordinate point group is G (max-1), the control unit 5 directly exits the subroutine.

これにより、自車前方に設定された全ての座標点上に自車1の走行確率が設定される。なお、図7からも明らかなように、例えば、座標点(0,G2)における走行確率n(0,G2)は、座標点(-1,G1),(0,G1),(1,G1)からそれぞれ分配された走行確率の和で構成される。このように、本実施形態において、各座標点における走行確率は、自車1の直前の座標点(0,G0)に設定された走行確率n(0,G0)が各座標点で離合集散しながら遠方の座標点群Gへとシフトすることにより設定される。   Thereby, the driving | running | working probability of the own vehicle 1 is set on all the coordinate points set ahead of the own vehicle. As is clear from FIG. 7, for example, the running probability n (0, G2) at the coordinate point (0, G2) is expressed by the coordinate points (-1, G1), (0, G1), (1, G1). ) From the sum of the driving probabilities distributed. As described above, in the present embodiment, the driving probability at each coordinate point is that the driving probability n (0, G0) set at the coordinate point (0, G0) immediately before the host vehicle 1 is mixed and scattered at each coordinate point. However, it is set by shifting to a distant coordinate point group G.

メインルーチンにおいて、ステップS104からステップS105に進むと、制御ユニット5は、ステップS104で各座標点に設定した走行確率nに基づいて自車が走行することが可能な走行領域を設定した後、ルーチンを抜ける。すなわち、例えば、図8に示すように、制御ユニット5は、走行確率が予め設定した閾値以上である座標点を抽出し、抽出した座標点(例えば、図中で○印を付した座標点)で囲まれた領域を自車1の走行領域として設定する。   In the main routine, when the process proceeds from step S104 to step S105, the control unit 5 sets the travel area in which the host vehicle can travel based on the travel probability n set at each coordinate point in step S104, and then the routine. Exit. That is, for example, as shown in FIG. 8, the control unit 5 extracts coordinate points whose running probability is equal to or higher than a preset threshold value, and extracts the extracted coordinate points (for example, coordinate points marked with ○ in the figure). The area surrounded by is set as the travel area of the vehicle 1.

このような実施形態によれば、自車1の前方で認識した対象物に基づいてリスクポテンシャルの分布を生成するとともに、自車前方に自車1との相対位置に応じて異なる複数組の座標点群を設定し、自車1の直前に設定した走行確率n(0,G0)をリスクポテンシャルの分布状態に応じた分配比に従って自車近傍の座標点群の座標点から遠方に隣接する座標点群の複数の座標点へと順次シフトさせることにより、簡単な演算により各座標点に自車1の走行確率を設定することができる。そして、このように走行確率を設定した各座標点に基づいて、走行確率が閾値以上で自車前方に座標点が連続する領域を自車1が走行可能な走行領域として設定(推定)することにより、実際の車外環境やドライバのフィーリングに合った走行領域を設定して好適な運転支援制御を実現することができる。   According to such an embodiment, the risk potential distribution is generated based on the object recognized in front of the host vehicle 1, and a plurality of sets of coordinates different according to the relative position with the host vehicle 1 in front of the host vehicle. A point cloud is set, and the driving probability n (0, G0) set immediately before the vehicle 1 is adjacent to the coordinate point of the coordinate point group near the vehicle far away according to the distribution ratio according to the distribution state of the risk potential. By sequentially shifting to a plurality of coordinate points of the point group, the traveling probability of the vehicle 1 can be set at each coordinate point by a simple calculation. Then, based on each coordinate point where the travel probability is set in this way, an area in which the travel probability is equal to or greater than the threshold and the coordinate points continue in front of the host vehicle is set (estimated) as a travel region where the host vehicle 1 can travel. Thus, it is possible to realize suitable driving support control by setting a travel region that matches the actual outside environment and the driver's feeling.

この場合、特に、ヨーレート等や白線等のみに依存することなく走行領域を設定することができるので、様々な走行状態や車外環境においても好適な走行領域の設定を実現することができる。また、走行領域は障害物等に起因したリスクの高い領域を回避することを前提として推定されるので、ドライバのフィーリングに合った運転支援制御を実現することができる。   In this case, in particular, since the travel area can be set without depending only on the yaw rate or the white line or the like, it is possible to realize the setting of a suitable travel area even in various travel conditions and outside environments. In addition, since the travel region is estimated on the assumption that a high-risk region caused by an obstacle or the like is avoided, driving support control that matches the driver's feeling can be realized.

運転支援装置を搭載した車両の概略構成図Schematic configuration diagram of a vehicle equipped with a driving support device 走行領域設定ルーチンを示すフローチャートFlowchart showing travel region setting routine リスクポテンシャル分布演算サブルーチンを示すフローチャートFlow chart showing risk potential distribution calculation subroutine 各座標点に対する走行確率演算サブルーチンを示すフローチャートA flowchart showing a driving probability calculation subroutine for each coordinate point 自車前方のリスクマップの一例を示す説明図Explanatory drawing showing an example of the risk map ahead of the vehicle 自車前方のリスクマップ上に設定した座標点の一例を示す説明図Explanatory drawing which shows an example of the coordinate point set on the risk map ahead of the own vehicle 走行確率の演算方法の一例を示す説明図Explanatory drawing which shows an example of the calculation method of driving probability 各座標点の走行確率に基づいて設定された走行領域の一例を示す説明図Explanatory drawing which shows an example of the driving | running | working area | region set based on the driving | running probability of each coordinate point.

符号の説明Explanation of symbols

1 … 車両(自車両)
2 … 運転支援装置
3 … ステレオカメラ(車外情報認識手段)
4 … ステレオ画像認識装置(車外情報認識手段)
5 … 制御ユニット(リスク分布演算手段、座標点設定手段、走行確率設定手段、走行領域設定手段)
11 … 車速センサ
13 … メインスイッチ
15 … 電子制御スロットル弁
16 … アクティブブースタ
1 ... Vehicle (own vehicle)
2 ... Driving assistance device 3 ... Stereo camera (vehicle outside information recognition means)
4 ... Stereo image recognition device (external vehicle information recognition means)
5. Control unit (risk distribution calculation means, coordinate point setting means, travel probability setting means, travel area setting means)
DESCRIPTION OF SYMBOLS 11 ... Vehicle speed sensor 13 ... Main switch 15 ... Electronically controlled throttle valve 16 ... Active booster

Claims (1)

自車前方の対象物の情報として白線に関する情報と立体物に関する情報とを認識する車外情報認識手段と、
自車に対して前記白線が及ぼすリスクポテンシャルの分布を演算するとともに、自車に対して前記立体物が及ぼすリスクポテンシャルの分布を演算し、これらのトータルリスクポテンシャルの分布を演算するリスク分布演算手段と、
自車の前方に当該自車との相対位置に応じて異なる複数組の座標点群を設定する座標点設定手段と、
自車の直前に所定の走行確率を設定し当該走行確率を前記トータルリスクポテンシャルの分布状態に応じた分配比に従って自車近傍の前記座標点群の座標点から遠方に隣接する前記座標点群の複数の座標点へと順次シフトさせて前記各座標点に自車の走行確率を設定する走行確率設定手段と、
前記座標点の走行確率が閾値以上で自車前方に連続する領域を自車が走行することが可能な走行領域として設定する走行領域設定手段とを備えたことを特徴とする車両用運転支援装置。
Vehicle information recognition means for recognizing white line information and solid object information as information on an object ahead of the vehicle;
Risk distribution calculation means for calculating the distribution of risk potential exerted by the white line on the own vehicle, calculating the distribution of risk potential exerted by the three-dimensional object on the own vehicle, and calculating the distribution of these total risk potentials When,
Coordinate point setting means for setting different sets of coordinate point groups in front of the host vehicle according to the relative position with the host vehicle;
A predetermined driving probability is set immediately before the host vehicle, and the driving probability is determined based on a distribution ratio according to the distribution state of the total risk potential, in the coordinate point group distantly adjacent to the coordinate point group of the coordinate point group near the host vehicle. Traveling probability setting means for sequentially shifting to a plurality of coordinate points and setting the traveling probability of the vehicle at each coordinate point;
And a driving area setting unit that sets a driving area in which the vehicle can travel in a region where the driving probability of the coordinate point is equal to or greater than a threshold and continues in front of the vehicle. .
JP2008004798A 2008-01-11 2008-01-11 Vehicle driving support device Active JP5054547B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008004798A JP5054547B2 (en) 2008-01-11 2008-01-11 Vehicle driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008004798A JP5054547B2 (en) 2008-01-11 2008-01-11 Vehicle driving support device

Publications (2)

Publication Number Publication Date
JP2009169535A JP2009169535A (en) 2009-07-30
JP5054547B2 true JP5054547B2 (en) 2012-10-24

Family

ID=40970657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008004798A Active JP5054547B2 (en) 2008-01-11 2008-01-11 Vehicle driving support device

Country Status (1)

Country Link
JP (1) JP5054547B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5336800B2 (en) * 2008-09-24 2013-11-06 富士重工業株式会社 Vehicle driving support device
JP5338640B2 (en) * 2009-11-30 2013-11-13 トヨタ自動車株式会社 Route creation device
JP6533343B2 (en) * 2017-04-25 2019-06-26 博隆 北川 Automatic Driving Calculation Method of a Car Using Gravitational Field Theory
US11300968B2 (en) 2018-05-16 2022-04-12 Massachusetts Institute Of Technology Navigating congested environments with risk level sets

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4604683B2 (en) * 2004-11-25 2011-01-05 日産自動車株式会社 Hazardous situation warning device
JP2007099237A (en) * 2005-10-07 2007-04-19 Fuji Heavy Ind Ltd Vehicle drive support device

Also Published As

Publication number Publication date
JP2009169535A (en) 2009-07-30

Similar Documents

Publication Publication Date Title
US11703876B2 (en) Autonomous driving system
US10466701B2 (en) Autonomous driving system
JP4970156B2 (en) Vehicle driving support device
US20120078484A1 (en) Vehicle cruise control apparatus
JP7128623B2 (en) Vehicle predictive control
JP4949063B2 (en) Vehicle driving support device
JP7180426B2 (en) vehicle control system
US11077853B2 (en) Apparatus and method for controlling lane-keeping
JP5185663B2 (en) Vehicle driving support device
US20190118809A1 (en) Driving assistance device
JP2010083312A (en) Vehicle drive assist system
JP2020163900A (en) Vehicle control device, vehicle control method, and program
JP7071250B2 (en) Vehicle control devices, vehicle control methods, and programs
JP6913716B2 (en) Vehicle control devices, vehicle control methods, and programs
JP2020163907A (en) Vehicle control device, vehicle control method, and program
JP6494020B2 (en) Vehicle driving support control device
US10854083B2 (en) Vehicle control device, vehicle control method, and storage medium
JP4980030B2 (en) Vehicle travel control device
JP2021028210A (en) Vehicle control device, vehicle control method, and program
JP4926859B2 (en) Vehicle driving support device
JP5054547B2 (en) Vehicle driving support device
JP2019217846A (en) Vehicle control device, vehicle control method, and program
JP5118468B2 (en) Vehicle travel control device.
JP5083959B2 (en) Vehicle driving support device
JP4884929B2 (en) Vehicle travel control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120727

R150 Certificate of patent or registration of utility model

Ref document number: 5054547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150803

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250