JP5167016B2 - Vehicle driving support device - Google Patents

Vehicle driving support device Download PDF

Info

Publication number
JP5167016B2
JP5167016B2 JP2008196584A JP2008196584A JP5167016B2 JP 5167016 B2 JP5167016 B2 JP 5167016B2 JP 2008196584 A JP2008196584 A JP 2008196584A JP 2008196584 A JP2008196584 A JP 2008196584A JP 5167016 B2 JP5167016 B2 JP 5167016B2
Authority
JP
Japan
Prior art keywords
vehicle
oncoming vehicle
intersection
oncoming
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008196584A
Other languages
Japanese (ja)
Other versions
JP2010033441A (en
Inventor
慎司 澤田
勝 小暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP2008196584A priority Critical patent/JP5167016B2/en
Publication of JP2010033441A publication Critical patent/JP2010033441A/en
Application granted granted Critical
Publication of JP5167016B2 publication Critical patent/JP5167016B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車両周辺の走行環境を認識し、障害物との衝突回避のための運転支援を行う車両の運転支援装置に関する。   The present invention relates to a driving support device for a vehicle that recognizes a driving environment around the host vehicle and performs driving support for avoiding a collision with an obstacle.

近年、自動車等の車両においては、車載のカメラやレーザレーダ装置等により外界の走行環境を検出して先行車等の障害物を認識し、警報・自動ブレーキ・自動操舵といった運転支援制御を実行することで衝突を回避し、安全性を向上させる技術が開発・実用化されている。   In recent years, in vehicles such as automobiles, on-board cameras, laser radar devices, etc., detect the driving environment in the outside world to recognize obstacles such as preceding vehicles, and execute driving support control such as warning, automatic braking, and automatic steering. Therefore, technology that avoids collision and improves safety has been developed and put to practical use.

このような運転支援制御では、特に、交差点において、例えば自車両が停止して右折待ちの状態にあり、対向車両が直進で停止しているような場合、自車両が発進した場合を仮定しても衝突が起こるという判定にならない場合がある。   In such driving support control, in particular, it is assumed that the host vehicle is in a state where the host vehicle is stopped and waiting for a right turn, and the oncoming vehicle is stopped straight ahead, for example, when the host vehicle starts. May not be determined that a collision will occur.

このため、特許文献1(特開平3−197252号公報)には、自車両が右折時等に対向車線を横断する際、対向車両が移動するものと見なして衝突の危険性を評価する技術が開示されている。また、特許文献2(特開2002−260193号公報)には、対向車両が一定のアクセル開度で発進すると仮定し、対向車両の交差点までの所要時間であるギャップを計算することで、右折時の事故を防止する技術が開示されている。
特開平3−197252号公報 特開2002−260193号公報
For this reason, Patent Document 1 (Japanese Patent Laid-Open No. 3-197252) discloses a technique for evaluating the risk of collision when it is assumed that the oncoming vehicle moves when the host vehicle crosses the oncoming lane when turning right. It is disclosed. Patent Document 2 (Japanese Patent Laid-Open No. 2002-260193) assumes that the oncoming vehicle starts with a certain accelerator opening, and calculates the gap, which is the required time to the intersection of the oncoming vehicle. Techniques for preventing accidents are disclosed.
JP-A-3-197252 JP 2002-260193 A

しかしながら、特許文献1や特許文献2の技術では、対向車両が常に移動・発進するものと仮定しているため、対向車両が発進しない場合や右左折する場合においても直進してくると仮定されてしまい、衝突危険性を評価する不要な処理が行われて処理負荷が無駄に増加するばかりでなく、不必要な警報や制御介入が行われてしまう虞がある。   However, since the techniques of Patent Document 1 and Patent Document 2 assume that the oncoming vehicle always moves and starts, it is assumed that the oncoming vehicle goes straight even when the oncoming vehicle does not start or makes a right or left turn. Thus, unnecessary processing for evaluating the risk of collision not only increases the processing load unnecessarily, but also may cause unnecessary warnings and control interventions.

本発明は上記事情に鑑みてなされたもので、交差点における対向車両の発進を適切に判断し、不要な警報や制御介入を防止することのできる車両の運転支援装置を提供することを目的としている。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle driving support device that can appropriately determine the start of an oncoming vehicle at an intersection and prevent unnecessary warnings and control interventions. .

上記目的を達成するため、本発明による車両の運転支援装置は、自車両周辺の走行環境を認識し、障害物との衝突回避のための運転支援を行う車両の運転支援装置において、交差点及び該交差点周辺の情報を交差点情報として取得する交差点情報取得部と、上記交差点における対向車両の情報を対向車両情報として取得する対向車両情報取得部と、上記交差点での上記対向車両の停止からの発進を予測し、上記障害物としての上記対向車両の発進に伴う衝突可能性を判断する衝突判断部と、上記交差点情報と上記対向車両情報との少なくとも一方に基づいて、上記対向車両の発進予測を中止させるか否かを判断する発進予測中止判断部とを備えたことを特徴とする。   In order to achieve the above object, a vehicle driving support device according to the present invention recognizes a traveling environment around the host vehicle and provides driving support for avoiding a collision with an obstacle. An intersection information acquisition unit that acquires information around the intersection as intersection information, an oncoming vehicle information acquisition unit that acquires information on the oncoming vehicle at the intersection as oncoming vehicle information, and a start from the stop of the oncoming vehicle at the intersection Predicting and determining the collision possibility associated with the start of the oncoming vehicle as the obstacle, and canceling the onset prediction of the oncoming vehicle based on at least one of the intersection information and the oncoming vehicle information And a start prediction stop determination unit that determines whether or not to start.

本発明によれば、交差点における対向車両の発進を適正に判断して不必要な警報や制御の介入を防止することができ、衝突危険性の演算処理の負荷を軽減しながら適切な運転支援を行うことが可能となる。   According to the present invention, it is possible to appropriately determine the start of an oncoming vehicle at an intersection to prevent unnecessary warning and control intervention, and to provide appropriate driving support while reducing the burden of collision risk calculation processing. Can be done.

以下、図面を参照して本発明の実施の形態を説明する。図1〜図3は本発明の実施の一形態に係り、図1は車両に搭載した運転支援装置の概略構成図、図2は交差点の一例を示す説明図、図3は対向車両発進予測及び衝突判断処理のフローチャートである。   Embodiments of the present invention will be described below with reference to the drawings. 1 to 3 relate to an embodiment of the present invention, FIG. 1 is a schematic configuration diagram of a driving support device mounted on a vehicle, FIG. 2 is an explanatory diagram showing an example of an intersection, FIG. It is a flowchart of a collision judgment process.

図1において、符号1は自動車等の車両(自車両)であり、この車両1に、外部の走行環境を認識して障害物との衝突回避のための運転支援を行う運転支援装置2が搭載されている。本実施の形態においては、運転支援装置2は、ステレオカメラ3とステレオ画像認識装置4と走行環境情報取得装置5とによる外部環境の認識のための装置群と、各装置からの情報に基づいて運転支援のための各種処理を行うマイクロコンピュータ等からなる制御ユニット6を主要部として備えている。制御ユニット6には、警報装置を兼用するディスプレイ21、自動ブレーキ制御装置22、自動操舵制御装置23等の運転支援に係る各装置が接続されている。   In FIG. 1, reference numeral 1 denotes a vehicle such as an automobile (own vehicle), and a driving support device 2 that recognizes an external traveling environment and performs driving support for avoiding a collision with an obstacle is mounted on the vehicle 1. Has been. In the present embodiment, the driving support device 2 is based on a device group for recognition of the external environment by the stereo camera 3, the stereo image recognition device 4, and the traveling environment information acquisition device 5, and information from each device. A control unit 6 including a microcomputer or the like that performs various processes for driving support is provided as a main part. The control unit 6 is connected to various devices related to driving support such as a display 21 that also serves as an alarm device, an automatic brake control device 22, and an automatic steering control device 23.

尚、ステレオ画像認識装置4、走行環境情報取得装置5、制御ユニット6、自動ブレーキ制御装置22、自動操舵制御装置23等は、それぞれ、単一或いは複数のコンピュータシステムからなる制御ユニットとして構成され、互いに通信バスを介してデータを相互に交換する。   The stereo image recognition device 4, the driving environment information acquisition device 5, the control unit 6, the automatic brake control device 22, the automatic steering control device 23, and the like are each configured as a control unit including a single or a plurality of computer systems. Data is exchanged with each other via a communication bus.

また、自車両1には、自車速Vを検出する車速センサ11、ヨーレートを検出するヨーレートセンサ12、運転支援制御のON−OFF信号が入力されるメインスイッチ13等が設けられている。自車速Vはステレオ画像認識装置4と制御ユニット6に入力され、ヨーレートは制御ユニット6に入力され、運転支援制御のON−OFF信号等は制御ユニット6に入力される。   Further, the host vehicle 1 is provided with a vehicle speed sensor 11 that detects the host vehicle speed V, a yaw rate sensor 12 that detects a yaw rate, a main switch 13 to which an ON-OFF signal for driving support control is input, and the like. The own vehicle speed V is input to the stereo image recognition device 4 and the control unit 6, the yaw rate is input to the control unit 6, and the ON / OFF signal for driving support control is input to the control unit 6.

ステレオカメラ3は、例えばCCDやCMOS等の固体撮像素子を用いた1組の(左右の)カメラで構成され、それぞれ車室内の天井前方に一定の基線長をもって取り付けられている。ステレオカメラ3は、車外の対象を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置4に出力する。ステレオ画像認識装置4は、ステレオカメラ3で撮像した画像を高速処理する画像処理エンジンを備え、この画像処理エンジンの出力結果に基づいて認識処理を行う処理ユニットとして構成されている。ステレオ画像認識装置4におけるステレオカメラ3の画像処理は、例えば、次のように行われる。   The stereo camera 3 is composed of a pair of (left and right) cameras using, for example, a solid-state imaging device such as a CCD or a CMOS, and is attached to the front of the ceiling in the passenger compartment with a certain baseline length. The stereo camera 3 takes a stereo image of an object outside the vehicle from different viewpoints, and outputs image data to the stereo image recognition device 4. The stereo image recognition device 4 includes an image processing engine that processes an image captured by the stereo camera 3 at a high speed, and is configured as a processing unit that performs a recognition process based on an output result of the image processing engine. Image processing of the stereo camera 3 in the stereo image recognition device 4 is performed as follows, for example.

すなわち、ステレオ画像認識装置4は、先ず、ステレオカメラ3で撮像した自車両1の進行方向の1組のステレオ画像対に対し、対応する位置のずれ量から距離情報を求め、距離画像を生成する。そして、この距離画像を基に、周知のグルーピング処理等を行い、予め記憶しておいた3次元的な道路形状データ、側壁データ、立体物データ等の枠(ウインドウ)と比較し、白線データ、道路に沿って存在するガードレール、縁石等の路側物のデータを抽出すると共に、立体物を、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。これらのデータは、自車両1を原点として、自車両1の前後方向をX軸、幅方向をY軸とする自車両基準の座標系でのデータとして演算され、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物の種別、自車両1からの距離、中心位置、速度等が障害物情報として制御ユニット6へ送信される。   That is, first, the stereo image recognition device 4 obtains distance information from a corresponding position shift amount with respect to a pair of stereo images in the traveling direction of the host vehicle 1 captured by the stereo camera 3, and generates a distance image. . Then, based on this distance image, a known grouping process or the like is performed, and compared with frames (windows) such as three-dimensional road shape data, side wall data, and three-dimensional object data stored in advance, white line data, Data on roadside objects such as guardrails and curbs that exist along the road are extracted, and three-dimensional objects are classified and extracted into other three-dimensional objects such as two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, and utility poles. These data are calculated as data in a coordinate system based on the own vehicle with the own vehicle 1 as the origin, the longitudinal direction of the own vehicle 1 as the X axis, and the width direction as the Y axis, and exist along the white line data and the road. Sidewall data such as guardrails, curbs, and the like, the type of the three-dimensional object, the distance from the host vehicle 1, the center position, the speed, and the like are transmitted to the control unit 6 as obstacle information.

尚、ステレオカメラ3及びステレオ画像認識装置4に代えて、単眼カメラ、ミリ波レーダ等の他の認識センサを用いて周辺環境を認識するようにしても良い。   Instead of the stereo camera 3 and the stereo image recognition device 4, the surrounding environment may be recognized using another recognition sensor such as a monocular camera or millimeter wave radar.

走行環境情報取得装置5は、ステレオカメラ3の検出範囲よりも広範囲での物体の検出、道路情報や交差点の有無、渋滞情報等の各種情報の取得を行うものである。具体的には、走行環境情報取得装置5は、道路付帯設備からの光や電波ビーコンを受信して交通渋滞情報、気象情報、特定区域の交通規制情報等の各種情報を取得する路車間通信装置、自車両周辺に存在する他の車両との通信(車車間通信)を行い、車両種別、車両位置、車速、加減速状態、ブレーキ作動状態、ウィンカ状態等の車両情報を相互に交換する車車間通信装置、GPS等の測位装置、ナビゲーション装置等からの各情報を収集して広範囲の走行環境情報を取得可能な装置として構成されている。   The travel environment information acquisition device 5 detects an object in a wider range than the detection range of the stereo camera 3, and acquires various information such as road information, the presence / absence of an intersection, and traffic jam information. Specifically, the traveling environment information acquisition device 5 receives light and radio wave beacons from road incidental facilities and acquires various information such as traffic congestion information, weather information, and traffic regulation information for a specific area. Communicate with other vehicles around the vehicle (vehicle-to-vehicle communication), and exchange vehicle information such as vehicle type, vehicle position, vehicle speed, acceleration / deceleration state, brake operation state, blinker state, etc. It is configured as a device capable of acquiring a wide range of travel environment information by collecting information from a communication device, a positioning device such as a GPS, and a navigation device.

制御ユニット6は、車速センサ11からの自車速V、ヨーレートセンサ12からのヨーレート、ステレオ画像認識装置4からの障害物情報、走行環境情報取得装置5からの障害物情報に基づいて、自車両周辺の障害物との衝突の危険度を示す衝突リスクを演算して衝突可能性を判断する。そして、衝突リスクが設定値以上で衝突可能性がある状況であるときには、ディスプレイ21を介してドライバに警報を出力したり、自動ブレーキ制御装置22を介した強制減速や、自動操舵制御装置23を介した回避操舵を行うことで、衝突回避のための運転支援を行う。   Based on the vehicle speed V from the vehicle speed sensor 11, the yaw rate from the yaw rate sensor 12, the obstacle information from the stereo image recognition device 4, and the obstacle information from the traveling environment information acquisition device 5, the control unit 6 The possibility of collision is determined by calculating the collision risk indicating the risk of collision with the obstacle. When the collision risk is equal to or higher than the set value and there is a possibility of collision, an alarm is output to the driver via the display 21, forced deceleration via the automatic brake control device 22, or the automatic steering control device 23. Driving assistance for collision avoidance is performed by performing avoidance steering through the vehicle.

また、制御ユニット6には、特に、交差点において、右折時等の衝突事故を確実に回避するための支援機能が備えられている。この制御ユニット6の交差点での支援機能は、交差点において停止している対向車両の発進を予測し、対向車両の発進に伴う自車両との衝突を確実に防止する衝突判断部としての機能により実現されるが、制御ユニット6には、更に、交差点における状況から対向車両の発進予測を中止するか否かを判断する発進予測中止判断部としての機能が備えられており、自車両の進路を遮る可能性の無い対向車両を障害物として扱って衝突判断する無駄な処理を無くし、不要な警報や制御介入が行われることを防止するようにしている。   In addition, the control unit 6 is provided with a support function for reliably avoiding a collision accident such as a right turn at an intersection. The support function at the intersection of the control unit 6 is realized by a function as a collision determination unit that predicts the start of an oncoming vehicle stopped at the intersection and reliably prevents a collision with the host vehicle accompanying the start of the oncoming vehicle. However, the control unit 6 is further provided with a function as a start prediction stop determination unit that determines whether to stop the start prediction of the oncoming vehicle from the situation at the intersection, and blocks the course of the host vehicle. The useless processing of judging collision by handling an oncoming vehicle with no possibility as an obstacle is eliminated, and unnecessary warnings and control interventions are prevented.

判断対象となる対向車両が発進すると予測するか否かは、交差点及び交差点周辺の情報を取得する交差点情報取得部、交差点における対向車両の情報を取得する対向車両情報取得部として機能する外部環境認識のための装置群からの情報、すなわち、ステレオカメラ3、ステレオ画像認識装置4、走行環境情報取得装置5で取得した交差点情報と対向車両情報との少なくとも一方に基づいて判断される。   Whether or not the oncoming vehicle to be judged is predicted to start is determined by the external environment recognition functioning as an intersection information acquisition unit that acquires information about the intersection and the vicinity of the intersection, and an oncoming vehicle information acquisition unit that acquires information on the oncoming vehicle at the intersection Is determined based on at least one of the intersection information acquired by the stereo camera 3, the stereo image recognition device 4, and the traveling environment information acquisition device 5 and the oncoming vehicle information.

具体的には、例えば、以下の(1)〜(6)に示すように、交差点の形状、信号機の表示状態、渋滞状態、対象とする対向車両の位置やランプ類の点灯状態等の条件に応じて、発進予測を行うか否かを判断する。   Specifically, for example, as shown in the following (1) to (6), the conditions such as the shape of the intersection, the display state of the traffic light, the traffic congestion state, the position of the target oncoming vehicle and the lighting state of the lamps, etc. In response, it is determined whether or not to make a start prediction.

(1)対向車両が交差点の右折専用レーン或いは左折専用レーンにいる場合
例えば、図2に示すように、右折専用レーンLNr、左折専用レーンLNlがある交差点では、この専用レーンにいる対向車両50,51が自車両の進路を遮る可能性は小さいため、対向車両50,51の発進予測を行うことなく、他の車両や歩行者等の衝突リスクを演算して安全を確認した上で交差点を通過(直進或いは右折)することにより、不要な警報や制御介入を防止しつつ、安全を確保する。
(1) When the oncoming vehicle is in the right turn lane or left turn lane at the intersection For example, as shown in FIG. 2, at the intersection with the right turn lane LNr and the left turn lane LNl, the oncoming vehicle 50, Since 51 is unlikely to block the course of its own vehicle, it passes through the intersection after calculating the collision risk of other vehicles and pedestrians, etc. without predicting the start of oncoming vehicles 50 and 51 (Go straight or turn right) to ensure safety while preventing unnecessary alarms and control interventions.

(2)対向車両が左折或いは右折のウィンカ(方向指示器)を点滅させている場合
この場合も(1)と同様であり、右折専用レーンLNr、左折専用レーンLNlが無い交差点であっても、対向車両50,51の進行方向がわかるため、対向車両の発進予測は中止する。
(2) When the oncoming vehicle blinks the left or right turn flasher (direction indicator) This case is also the same as (1), even if it is an intersection where there is no right turn lane LNr or left turn lane LNl. Since the traveling direction of the oncoming vehicles 50 and 51 is known, the start prediction of the oncoming vehicle is stopped.

(3)対向車両のハザードランプ(非常点滅表示灯)が点滅、或いは駐車灯が点灯している場合
図2に破線で示すように、対向車両50ではなく対向車両52が交差点前で停止しており、この対向車両52がハザードランプや駐車灯を点灯している場合、対向車両52は発進しないものとして発進予測を中止する。
(3) When the hazard lamp (emergency blinking indicator light) of the oncoming vehicle is flashing or the parking light is lit, as shown by the broken line in FIG. 2, the oncoming vehicle 52, not the oncoming vehicle 50, stops before the intersection. If the oncoming vehicle 52 lights a hazard lamp or parking light, the oncoming vehicle 52 is assumed not to start and the start prediction is stopped.

(4)対向車両側の信号機の点灯色が赤の場合
対向車両側の信号機SG2が赤を点灯している場合、当然、対向車両は停止状態にあることから、対向車両の発進予測を中止することで不要な処理を排除する。
(4) When the oncoming vehicle side traffic light is red When the oncoming vehicle side traffic light SG2 is lit red, naturally, the oncoming vehicle is in a stopped state, so the start prediction of the oncoming vehicle is stopped. This eliminates unnecessary processing.

(5)自車両側の信号機の右折可の矢印表示が点灯している場合
自車両1が交差点を右折する場合、自車両側の信号機SG1が右折可の表示を点灯(矢印表示の点灯等)している場合には、対向車両側の信号機SG2は直進禁止を示していることから、対向車両の発進予測を中止することで、不要な警報や制御介入を防止する。
(5) When the right-turnable arrow display of the traffic light on the own vehicle side is lit When the own vehicle 1 turns right at the intersection, the traffic light SG1 on the own-vehicle side lights a right-turnable display (lighting of the arrow display, etc.) In this case, since the traffic signal SG2 on the oncoming vehicle indicates prohibition of going straight ahead, unnecessary warnings and control intervention are prevented by stopping the start prediction of the oncoming vehicle.

(6)対向車両側の交差点先が渋滞している場合
この場合、図2に示すように、直進レーンLNcに対向車両53がいても、対向車両側の交差点先の道路が他の複数の車両54,…で渋滞している場合には、対向車両53は交差点内には進入できないと判断することが妥当である。従って、この場合には、対向車両53の発進予測は行わず、他の障害物との衝突リスクを判断しながら交差点を通過(右折或いは直進)することで、不要な警報や制御介入を防止する。
(6) When the oncoming vehicle side intersection is congested In this case, as shown in FIG. 2, even if the oncoming vehicle 53 is on the straight lane LNc, the oncoming vehicle side road is the other multiple vehicles. When there is a traffic jam at 54,..., It is appropriate to determine that the oncoming vehicle 53 cannot enter the intersection. Therefore, in this case, the start of the oncoming vehicle 53 is not predicted, and unnecessary warnings and control interventions are prevented by passing through the intersection (turning right or going straight) while judging the collision risk with other obstacles. .

一方、以上の条件が成立しない場合には、対向車両の発進を予測し、この発進に伴う衝突リスクを演算する。対向車両の発進予測処理では、例えば、所定の時間刻み毎の自車両及び対向車両の位置を予測し、この位置が同一となるまでの時間や存在確率等によって衝突リスクを演算する。   On the other hand, when the above conditions are not satisfied, the start of the oncoming vehicle is predicted, and the collision risk associated with this start is calculated. In the oncoming vehicle start prediction process, for example, the positions of the host vehicle and the oncoming vehicle at every predetermined time interval are predicted, and the collision risk is calculated based on the time until the position becomes the same, the existence probability, and the like.

例えば、時間に基づく衝突リスクを採用する場合には、自車両及び対向車両が一定のアクセル開度で一定の経路(例えば、自車両が右折で対向車両が直進の場合、自車両は交差点の形状データから定まる一定の旋回半径、対向車両は直進)を移動すると仮定し、以下の(1)式に示すように、対向車両が所定位置に到達するまでの時間Tiに、自車両が同位置に到達するまでの時間Tとの時間差を加算して逆数を取ることにより、自車両の位置が対向車両の位置と重なる危険性を表現した衝突リスクRとして演算する。
R=1/(Ti+│Ti−T|) …(1)
For example, when adopting a time-based collision risk, the host vehicle and the oncoming vehicle have a certain accelerator opening and a certain route (for example, if the host vehicle is turning right and the oncoming vehicle is going straight, the host vehicle is in the shape of an intersection. Assuming that the vehicle moves within a certain turning radius determined by the data, and the oncoming vehicle is going straight), as shown in the following equation (1), the host vehicle is at the same position at the time Ti until the oncoming vehicle reaches the predetermined position. By calculating the reciprocal by adding the time difference with the time T until the vehicle arrives, it is calculated as a collision risk R expressing the danger that the position of the host vehicle overlaps the position of the oncoming vehicle.
R = 1 / (Ti + | Ti-T |) (1)

また、対向車両の存在確率に基づいて衝突リスクRを演算する場合には、以下の(2)式に示すように、予測される対向車両の存在位置(x,y)に対して、対向車両の認識精度や存在状況に応じて設定されるXY軸方向の分散σx,σyを用いた関数として衝突リスクRを演算する。
R=G・exp(−((Xi−x)2/(2・σx2))−((Yi−y)2/(2・σy2))) …(2)
但し、G:予め設定したゲイン
Xi:対向車両iのX座標位置(中心位置)
Yi:対向車両iのY座標位置(中心位置)
Further, when the collision risk R is calculated based on the existence probability of the oncoming vehicle, as shown in the following equation (2), the oncoming vehicle is compared with the predicted oncoming vehicle existence position (x, y). The collision risk R is calculated as a function using the variances σx and σy in the XY axis direction set in accordance with the recognition accuracy and presence status of the.
R = G · exp (− ((Xi−x) 2 / (2 · σx 2 )) − ((Yi−y) 2 / (2 · σy 2 ))) (2)
Where G is a preset gain
Xi: X coordinate position (center position) of oncoming vehicle i
Yi: Y coordinate position (center position) of oncoming vehicle i

尚、対向車両が発進しないと判断した場合(発進予測を中止した場合)であっても、他の車両や歩行者等が存在する場合には、同様に衝突リスクを演算して衝突可能性を判断し、衝突の可能性がある場合には、必要な運転支援を行う。   Even when it is determined that the oncoming vehicle does not start (when the start prediction is stopped), if there are other vehicles or pedestrians, the collision risk is calculated in the same manner to determine the possibility of collision. Judgment is made, and if there is a possibility of collision, necessary driving assistance is performed.

以上の対向車両発進予測及び衝突判断処理は、具体的には、図3のフローチャートに示すプログラム処理によって実行される。以下、図3のフローチャートに示す対向車両発進予測及び衝突判断処理について説明する。   Specifically, the oncoming vehicle start prediction and the collision determination process are executed by the program process shown in the flowchart of FIG. Hereinafter, the oncoming vehicle start prediction and the collision determination process shown in the flowchart of FIG. 3 will be described.

このプログラム処理では、先ず、ステップS1において、GPS装置等により自車両の絶対位置を取得する。次に、ステップS2へ進み、自車両の絶対位置からナビゲーション装置が保有する地図データをマップマッチング等して近辺の交差点の有無を調べ、交差点の位置、大きさ、信号機の有無、車線数、種別等の交差点情報を取得する。   In this program processing, first, in step S1, the absolute position of the host vehicle is acquired by a GPS device or the like. Next, proceeding to step S2, the map data held by the navigation device is checked from the absolute position of the host vehicle by map matching or the like to check for the presence or absence of a nearby intersection, and the position, size, presence or absence of traffic lights, number of lanes, type Get intersection information such as.

その後、交差点に近づくと、ステップS3でステレオカメラ3や路車間通信等により信号機の点灯色等の信号情報を取得し、ステップS4で先行車両、対向車両、2輪車、歩行者等の障害物情報を取得する。この障害物情報は、ステレオカメラ3等の自車両単独で認識可能な自律センサ、或いは車車間通信や路車間通信等の外部通信によって取得し、更に、ステップS5で交差点周辺の渋滞情報をVICS(Vehicle Information and Communication System;道路交通情報通信システム)等からの受信情報によって取得する。   Thereafter, when approaching the intersection, signal information such as the lighting color of the traffic light is acquired by the stereo camera 3 or road-to-vehicle communication in step S3, and obstacles such as preceding vehicles, oncoming vehicles, two-wheeled vehicles, pedestrians, etc. in step S4 Get information. The obstacle information is acquired by an autonomous sensor that can be recognized by the own vehicle such as the stereo camera 3 or by external communication such as vehicle-to-vehicle communication or road-to-vehicle communication. Further, in step S5, traffic jam information around the intersection is obtained as VICS ( Obtained from information received from the Vehicle Information and Communication System.

続くステップS6では、交差点に達したか否かを調べ、交差点でない場合には、対向車両の発進予測処理を中止するステップS16へジャンプし、交差点に達した場合、ステップS7〜S14において各条件を調べることにより、交差点における対向車両の発進予測を行うか否かを判断する。   In the following step S6, it is checked whether or not an intersection has been reached. If it is not an intersection, the process jumps to step S16 to cancel the oncoming vehicle start prediction process. If the intersection has been reached, each condition is set in steps S7 to S14. By examining, it is determined whether or not to start the oncoming vehicle at the intersection.

すなわち、ステップS7で対向車両の有無を調べ、対向車両がいない場合、ステップS16へジャンプし、対向車両がいる場合、ステップS8で自車両のウィンカの作動状態から自車両が交差点を右折するのか、直進或いは左折するのかを調べ、直進或いは左折の場合には、対向車両の発進予測中止と判断してステップS16へジャンプし、自車両が交差点を右折する場合、ステップS9へ進んで、対向車両の位置が右折専用レーン或いは左折専用レーンであるかを調べる。   That is, the presence or absence of an oncoming vehicle is checked in step S7. If there is no oncoming vehicle, the process jumps to step S16. If there is an oncoming vehicle, whether the own vehicle turns right at the intersection from the operating state of the turn signal of the own vehicle in step S8. It is determined whether the vehicle is going straight or left, and if it is straight or left, it is determined that the start of the oncoming vehicle is canceled and the process jumps to step S16. If the own vehicle turns right at the intersection, the process proceeds to step S9. Check if the position is a right turn lane or a left turn lane.

そして、対向車両が右折専用レーン或いは左折専用レーンにいる場合には、発進予測中止と判断してステップS9からステップS16へジャンプし、交差点に右左折の専用レーンが無かったり、専用レーンがあっても対向車両が直進レーンにいる場合には、ステップS10,S11で、それぞれ、対向車両の左折或いは右折のウィンカが点滅しているか否か、ハザードランプが点滅或いは駐車灯が点灯しているか否かを調べる。   If the oncoming vehicle is in a right turn lane or a left turn lane, it is determined that the start prediction is stopped and the process jumps from step S9 to step S16. There is no right / left turn lane at the intersection or there is a dedicated lane. If the oncoming vehicle is in a straight lane, in step S10 and S11, whether the left turn or right turn blinker of the oncoming vehicle is flashing, whether the hazard lamp is flashing or the parking light is lit. Check out.

ステップS10において対向車両の左折或いは右折のウィンカが点滅している場合、或いはウィンカが点滅していなくとも、ステップS11においてハザードランプが点滅或いは駐車灯が点灯している場合には、対向車両の発進予測中止と判断してステップS16へジャンプする。一方、ステップS10,S11において、対向車両のウィンカ、ハザードランプ、駐車灯が非点灯である場合には、ステップS12ヘ進む。   If the left or right turn blinker of the oncoming vehicle is blinking in step S10, or if the hazard lamp blinks or the parking light is lit in step S11 even if the blinker is not blinking, the oncoming vehicle starts. It is determined that the prediction is stopped, and the process jumps to step S16. On the other hand, when the winker, the hazard lamp, and the parking lamp of the oncoming vehicle are not lit in steps S10 and S11, the process proceeds to step S12.

ステップS12では、自車両側の信号機が右折を許可する矢印等を点灯表示しているか否かを調べる。そして、自車両側の信号機が右折可の表示を点灯している場合には、対向車両側の信号機は直進禁止の赤を点灯していることから、ステップS16へジャンプして対向車両の発進予測を中止し、信号機の右折可の表示が非点灯の場合、或いは信号機に右折可の表示が無い場合には、ステップS13へ進んで、対向車両側の信号機が赤を点灯しているか否かを調べる。   In step S12, it is checked whether or not the traffic light on the own vehicle side lights up an arrow or the like that permits a right turn. When the traffic light on the own vehicle side lights up the right turn indicator, the oncoming vehicle side signal lights in red forbidden to go straight, so jump to step S16 to predict the start of the oncoming vehicle. If the right turn indicator on the traffic light is not lit, or if there is no right turn indication on the traffic light, the process proceeds to step S13 to check whether the traffic light on the oncoming vehicle is lit red. Investigate.

その結果、ステップS13において、対向車両側の信号機が赤の表示である場合、同様に対向車両の発進予測中止としてステップS16へジャンプし、信号機が赤でなく青或いは黄を点灯している場合には、ステップS14へ進む。ステップS14では、対向車両側の交差点の先の道路が渋滞しているか否かを調べ、渋滞していなければ、ステップS15で対向車両の発進予測処理を実行し、渋滞している場合、対向車両は交差点に進入しないものと判断してステップS16で対向車両の発進予測処理を中止する。   As a result, when the traffic light on the oncoming vehicle is displayed in red in step S13, similarly, jumping to step S16 as the start prediction stop of the oncoming vehicle, and when the traffic light is lit in blue or yellow instead of red Advances to step S14. In step S14, it is checked whether or not the road ahead of the oncoming vehicle intersection is congested. If there is no congested traffic, an oncoming vehicle start prediction process is executed in step S15. Determines that the vehicle does not enter the intersection and stops the start prediction process for the oncoming vehicle in step S16.

次に、ステップS15或いはステップS16からステップS17へ進み、障害物の衝突リスクを演算する。この場合、対向車両の発進予測を実施している場合には、対向車両を障害物として扱って衝突リスクを演算し、発進予測を中止した場合には、対向車両は障害物としては扱わず、他の歩行者等を対象として衝突リスクを演算する。   Next, the process proceeds from step S15 or step S16 to step S17 to calculate an obstacle collision risk. In this case, when the start prediction of the oncoming vehicle is carried out, the oncoming vehicle is treated as an obstacle, the collision risk is calculated, and when the start prediction is stopped, the oncoming vehicle is not handled as an obstacle. The collision risk is calculated for other pedestrians.

ステップS17で衝突リスクを演算した後は、ステップS18へ進み、衝突リスクを予め設定した閾値と比較する等して衝突可能性があるか否かを判断する。その結果、衝突の可能性が無い場合には、ステップS18から本処理を抜け、衝突の可能性がある場合、ステップS18からステップS19へ進み、ディスプレイ21を介した音声や表示による警報出力、自動ブレーキ制御装置22を介した強制制動、自動操舵制御装置23を介した回避操舵等の運転支援制御を実行し、安全を確保する。   After calculating the collision risk in step S17, the process proceeds to step S18 to determine whether or not there is a possibility of collision by comparing the collision risk with a preset threshold value. As a result, if there is no possibility of a collision, the process exits from step S18, and if there is a possibility of a collision, the process proceeds from step S18 to step S19. Driving support control such as forced braking via the brake control device 22 and avoidance steering via the automatic steering control device 23 is executed to ensure safety.

このように、本実施の形態においては、自車両が交差点を通過する際に、交差点の情報と対向車両の情報との少なくとも一方から交差点で停止している対向車両が発進するか否かを判断し、発進の可能性が無い対向車両に対しては発進予測を中止するため、自車両の進路を遮る可能性の無い対向車両を障害物として扱って衝突判断する無駄な処理を無くすことができ、不要な警報や制御介入が行われることを防止することができる。   As described above, in the present embodiment, when the host vehicle passes through the intersection, it is determined whether or not the oncoming vehicle stopped at the intersection starts from at least one of the intersection information and the oncoming vehicle information. In addition, since the start prediction is canceled for an oncoming vehicle that has no possibility of starting, it is possible to eliminate the useless process of determining a collision by treating the oncoming vehicle that does not have the possibility of blocking the course of the host vehicle as an obstacle. Unnecessary alarms and control interventions can be prevented.

特に、自車両が交差点を右折する場合には、対向車両が直進するか否かを適切に判断して不要な処理による負荷の増加を回避することができるため、必要な警報や制御を迅速に行うことが可能となり、極めて有効である。   In particular, when the host vehicle turns right at the intersection, it is possible to appropriately determine whether the oncoming vehicle goes straight and avoid an increase in load due to unnecessary processing. It can be done and is extremely effective.

車両に搭載した運転支援装置の概略構成図Schematic configuration diagram of a driving support device mounted on a vehicle 交差点の一例を示す説明図Explanatory diagram showing an example of an intersection 対向車両発進予測及び衝突判断処理のフローチャートFlow chart of oncoming vehicle start prediction and collision determination processing

符号の説明Explanation of symbols

1 自車両
2 運転支援装置
4 ステレオ画像認識装置(交差点情報取得部、対向車両情報取得部)
5 走行環境情報取得装置(交差点情報取得部、対向車両情報取得部)
6 制御ユニット(衝突判断部、発進予測中止判断部)
DESCRIPTION OF SYMBOLS 1 Own vehicle 2 Driving assistance apparatus 4 Stereo image recognition apparatus (intersection information acquisition part, oncoming vehicle information acquisition part)
5 Driving environment information acquisition device (intersection information acquisition unit, oncoming vehicle information acquisition unit)
6 Control unit (collision judgment unit, start prediction stop judgment unit)

Claims (7)

自車両周辺の走行環境を認識し、障害物との衝突回避のための運転支援を行う車両の運転支援装置において、
交差点及び該交差点周辺の情報を交差点情報として取得する交差点情報取得部と、
上記交差点における対向車両の情報を対向車両情報として取得する対向車両情報取得部と、
上記交差点での上記対向車両の停止からの発進を予測し、上記障害物としての上記対向車両の発進に伴う衝突可能性を判断する衝突判断部と、
上記交差点情報と上記対向車両情報との少なくとも一方に基づいて、上記対向車両の発進予測を中止させるか否かを判断する発進予測中止判断部と
を備えたことを特徴とする車両の運転支援装置。
In a vehicle driving support device that recognizes the driving environment around the host vehicle and performs driving support for avoiding a collision with an obstacle,
An intersection information acquisition unit that acquires information on an intersection and information around the intersection as intersection information;
An oncoming vehicle information acquisition unit for acquiring oncoming vehicle information at the intersection as oncoming vehicle information;
A collision determination unit that predicts a start from a stop of the oncoming vehicle at the intersection and determines a collision possibility associated with the start of the oncoming vehicle as the obstacle;
A vehicle driving support device comprising: a start prediction stop determination unit that determines whether to stop start prediction of the oncoming vehicle based on at least one of the intersection information and the oncoming vehicle information .
上記交差点の自車両側の信号機が右折可の表示である場合、上記対向車両の発進予測を中止させることを特徴とする請求項1記載の車両の運転支援装置。   2. The vehicle driving support device according to claim 1, wherein when the traffic signal on the own vehicle side of the intersection is a right-turnable display, the start prediction of the oncoming vehicle is stopped. 上記交差点の自車両側の信号機が青或いは黄の表示状態で、対向車線側の信号機が赤の表示である場合、上記対向車両の発進予測を中止させることを特徴とする請求項1記載の車両の運転支援装置。   2. The vehicle according to claim 1, wherein when the traffic signal on the own vehicle side of the intersection is in a blue or yellow display state and the traffic signal on the oncoming lane side is in red, the start prediction of the oncoming vehicle is stopped. Driving assistance device. 上記対向車両の位置が右折或いは左折の専用レーンである場合、上記対向車両の発進予測を中止させることを特徴とする請求項1記載の車両の運転支援装置。   2. The vehicle driving support device according to claim 1, wherein when the position of the oncoming vehicle is a right lane or a left turn dedicated lane, the start prediction of the oncoming vehicle is stopped. 上記対向車両の方向指示器或いは非常点滅表示灯或いは駐車灯がONの場合、上記対向車両の発進予測を中止させることを特徴とする請求項1記載の車両の運転支援装置。   2. The vehicle driving support device according to claim 1, wherein when the direction indicator of the oncoming vehicle, the emergency flashing indicator light, or the parking light is ON, the start prediction of the oncoming vehicle is stopped. 上記対向車両の上記交差点の先の車線が渋滞している場合、上記対向車両の発進予測を中止させることを特徴とする請求項1記載の車両の運転支援装置。   The vehicle driving support device according to claim 1, wherein when the lane ahead of the intersection of the oncoming vehicle is congested, the start prediction of the oncoming vehicle is stopped. 上記対向車両の発進予測を、自車両が上記交差点を右折する場合の処理とすることを特徴とする請求項1〜6の何れか一に記載の車両の運転支援装置。   The vehicle driving support device according to any one of claims 1 to 6, wherein the start prediction of the oncoming vehicle is processing when the host vehicle turns right at the intersection.
JP2008196584A 2008-07-30 2008-07-30 Vehicle driving support device Active JP5167016B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008196584A JP5167016B2 (en) 2008-07-30 2008-07-30 Vehicle driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008196584A JP5167016B2 (en) 2008-07-30 2008-07-30 Vehicle driving support device

Publications (2)

Publication Number Publication Date
JP2010033441A JP2010033441A (en) 2010-02-12
JP5167016B2 true JP5167016B2 (en) 2013-03-21

Family

ID=41737806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008196584A Active JP5167016B2 (en) 2008-07-30 2008-07-30 Vehicle driving support device

Country Status (1)

Country Link
JP (1) JP5167016B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012921A1 (en) * 2017-07-11 2019-01-17 株式会社デンソー Braking assistance device in vehicle, and braking assistance control method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5565303B2 (en) * 2010-12-27 2014-08-06 トヨタ自動車株式会社 Driving support device and driving support method
GB2510698A (en) * 2013-12-18 2014-08-13 Daimler Ag Driver assistance system
JP6180968B2 (en) * 2014-03-10 2017-08-16 日立オートモティブシステムズ株式会社 Vehicle control device
JP2016130099A (en) * 2015-01-14 2016-07-21 株式会社ニコン Imaging device
JP6607110B2 (en) * 2016-03-23 2019-11-20 トヨタ自動車株式会社 Vehicle alert device
WO2018211582A1 (en) * 2017-05-16 2018-11-22 日産自動車株式会社 Movement prediction method for travel assistance device and movement prediction device
JP2019001314A (en) * 2017-06-15 2019-01-10 株式会社デンソー Driving support equipment and control program
US10386856B2 (en) 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
WO2019021422A1 (en) * 2017-07-27 2019-01-31 日産自動車株式会社 Right-left turn determination device and right-left turn determination method for drive assist vehicle
US10065638B1 (en) 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
JP7049808B2 (en) 2017-11-08 2022-04-07 株式会社デンソー Braking control device
JP7037956B2 (en) * 2018-02-26 2022-03-17 日産自動車株式会社 Vehicle course prediction method, vehicle travel support method, and vehicle course prediction device
JP7262702B2 (en) * 2019-04-19 2023-04-24 マツダ株式会社 vehicle controller
JP7404925B2 (en) * 2020-02-21 2023-12-26 株式会社デンソー Driving support device, driving support method, and driving support program
JP7444099B2 (en) * 2021-02-17 2024-03-06 トヨタ自動車株式会社 Vehicle, traffic light control method and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2833085B2 (en) * 1989-12-27 1998-12-09 いすゞ自動車株式会社 Oncoming lane crossing support device
JP2722865B2 (en) * 1991-06-26 1998-03-09 日産自動車株式会社 Right / left turn decision support device
JPH09270097A (en) * 1996-04-02 1997-10-14 Nippon Signal Co Ltd:The Right turn driving support device using road-vehicle communication
JP3499817B2 (en) * 2000-10-11 2004-02-23 公一郎 児玉 Right turn driving support device
JP3401566B2 (en) * 2001-03-05 2003-04-28 国土交通省国土技術政策総合研究所長 Right turn driving support device
JP4747457B2 (en) * 2001-07-31 2011-08-17 日産自動車株式会社 Information processing apparatus for vehicle
JP3988545B2 (en) * 2002-06-10 2007-10-10 日産自動車株式会社 SERVICE PROVIDING SYSTEM, SERVICE PROVIDING METHOD, AND OPERATION STATUS JUDGING DEVICE
JP2004171152A (en) * 2002-11-18 2004-06-17 Mazda Motor Corp Vehicular information providing device
JP4222106B2 (en) * 2003-05-27 2009-02-12 アイシン・エィ・ダブリュ株式会社 Navigation system and navigation program
JP2006106955A (en) * 2004-10-01 2006-04-20 Nissan Motor Co Ltd Driving support device
JP2006209637A (en) * 2005-01-31 2006-08-10 Nissan Motor Co Ltd Warning device for vehicle
JP2007315851A (en) * 2006-05-24 2007-12-06 Sanyo Electric Co Ltd On-board navigation apparatus
JP4862502B2 (en) * 2006-06-08 2012-01-25 日産自動車株式会社 Driving support system and driving support method
JP4763537B2 (en) * 2006-07-13 2011-08-31 株式会社デンソー Driving support information notification device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012921A1 (en) * 2017-07-11 2019-01-17 株式会社デンソー Braking assistance device in vehicle, and braking assistance control method
JP2019014454A (en) * 2017-07-11 2019-01-31 株式会社デンソー Braking assist device and braking assist control method for vehicle

Also Published As

Publication number Publication date
JP2010033441A (en) 2010-02-12

Similar Documents

Publication Publication Date Title
JP5167016B2 (en) Vehicle driving support device
US10176720B2 (en) Auto driving control system
JP6470346B2 (en) Danger notification control device for vehicle
JP5345350B2 (en) Vehicle driving support device
CN110662683B (en) Driving support device and driving support method
CN110632917A (en) Automatic driving assistance system
JP2010083314A (en) Driving support device for vehicle
KR20180086632A (en) Apparatus amd method of determining action of an autonomous vehicle
JP2010188981A (en) Driving support device of vehicle
CN111213193B (en) Vehicle control device
CN111201556B (en) Vehicle control device
JP2016009201A (en) Driving assisting device for vehicle
JP2017068461A (en) Vehicle driving assistance device
JP2016002893A (en) Travel control device of vehicle
JP5088127B2 (en) On-vehicle alarm device and vehicle alarm method
CN111434551A (en) Travel control device, travel control method, and storage medium storing program
CN109969191B (en) Driving assistance system and method
CN111469845B (en) Vehicle control system, vehicle control method, and medium
JP5210064B2 (en) Vehicle collision prevention device
JP2004280453A (en) Vehicular right turn safety confirming system
JP2014089588A (en) Operation support device
JP2016224553A (en) Traffic information display system for vehicle
CN111469844A (en) Vehicle control system, vehicle control method, and medium
JP2020006818A (en) Traveling control device
JP2010211712A (en) Vehicle controller and vehicle control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5167016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250