JP4715790B2 - Driving support method and driving support device - Google Patents

Driving support method and driving support device Download PDF

Info

Publication number
JP4715790B2
JP4715790B2 JP2007084964A JP2007084964A JP4715790B2 JP 4715790 B2 JP4715790 B2 JP 4715790B2 JP 2007084964 A JP2007084964 A JP 2007084964A JP 2007084964 A JP2007084964 A JP 2007084964A JP 4715790 B2 JP4715790 B2 JP 4715790B2
Authority
JP
Japan
Prior art keywords
vehicle
data
arrow
light
signal lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007084964A
Other languages
Japanese (ja)
Other versions
JP2008242987A (en
Inventor
孝幸 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2007084964A priority Critical patent/JP4715790B2/en
Publication of JP2008242987A publication Critical patent/JP2008242987A/en
Application granted granted Critical
Publication of JP4715790B2 publication Critical patent/JP4715790B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、運転支援方法及び運転支援装置に関する。   The present invention relates to a driving support method and a driving support device.

従来、前方の信号機を画像認識して、赤色の信号灯を認識し車両を走行制御する交通信号認識装置(運転支援装置)が提案されている(特許文献1)。この特許文献1では、3色の信号灯に矢印信号灯が付設された信号機では、その矢印信号灯まで画像認識して走行制御を行っている。例えば、右折可能信号灯の点灯を認識したとき、ドライバーに右折可能を伝え、車両を減速させて右折走行させるようになっている。
特開平3−201100号 公報
Conventionally, there has been proposed a traffic signal recognition device (driving support device) that recognizes an image of a front traffic light, recognizes a red signal light, and controls the vehicle to travel (Patent Document 1). In Patent Document 1, in a traffic light in which an arrow signal lamp is attached to a three-color signal lamp, the image is recognized up to the arrow signal lamp and traveling control is performed. For example, when recognizing that a right turn possible signal light is lit, the driver is notified that a right turn is possible, and the vehicle is decelerated and travels to the right.
Japanese Patent Laid-Open No. 3-201100

ところで、矢印信号灯の画像認識では、点灯表示されている矢印の形状を、パターン認識を行うことによって、「右折矢印」、「左折矢印」、又は「直進矢印」かどうかの判断を行っていた。つまり、矢印信号灯に映し出される矢印の形状とその向きを、それぞれ画像認識しなければならないため、判断に時間を要し高速処理が可能な高価な信号処理装置が必要になっていた。また、形状及びその向きまで認識する必要から、画像認識のために使用されるカメラは高精細なカメラが使用され、非常に高価なものを使用せざるを得なかった。その結果、システムとして、非常に高価なシステムとなっていた。   By the way, in the image recognition of the arrow signal lamp, it is determined whether or not the shape of the lit arrow is “right turn arrow”, “left turn arrow”, or “straight forward arrow” by pattern recognition. In other words, since it is necessary to recognize the image of the shape of the arrow projected on the arrow signal lamp and its direction, an expensive signal processing device that requires time and can be processed at high speed is required. In addition, since it is necessary to recognize the shape and its orientation, a high-definition camera is used as the camera used for image recognition, and a very expensive camera must be used. As a result, the system has become very expensive.

本発明の目的は、処理速度も速く、しかも、精度も落とすことなく安価に各種矢印信号灯を判別し、適切な運転支援を実行することができる運転支援方法及び運転支援装置を提供するにある。   An object of the present invention is to provide a driving support method and a driving support device that can determine various arrow signal lights at a low processing speed and perform appropriate driving support at a low cost without reducing accuracy.

請求項1の発明は、矢印信号灯を付設した信号機において車両の運転を支援する運転支援方法であって、矢印信号灯を付設した信号機の設置位置情報と、該矢印信号灯の指示する方向とその方向に対応する走行レーンに関する種別情報とを含む信号機データを読み出し、自車位置及び自車両が走行している自車両走行レーンを認識し、前記自車位置に基づいて前記自車両前方の信号機の前記信号機データを取得し、前記信号機の赤色信号灯が点灯しているか否かを判定し、前記赤色信号灯が点灯していると判定されたとき、前記矢印信号灯が点灯しているか否かを判定し、前記矢印信号灯が点灯していると判定されたとき、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致するか否かを判定し、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致すると判定された場合に、前記種別情報に応じて車両の運転を支援する。   The invention according to claim 1 is a driving support method for supporting driving of a vehicle in a traffic signal with an arrow signal light, the installation position information of the traffic signal with an arrow signal light, the direction indicated by the arrow signal light, and the direction thereof The traffic light data including the type information related to the corresponding travel lane is read, the host vehicle position and the host vehicle travel lane in which the host vehicle is traveling are recognized, and the traffic signal of the traffic signal ahead of the host vehicle is based on the host vehicle position. Acquiring data, determining whether or not the red signal light of the traffic light is lit, determining whether or not the arrow signal light is lit when it is determined that the red signal light is lit; When it is determined that the arrow signal light is lit, it is determined whether or not the traveling lane corresponding to the direction indicated by the arrow signal light matches the own vehicle traveling lane, and the arrow When the traveling lane corresponding to the direction instructed by the issue lamp and the host vehicle travel lane is determined to match, to assist the operation of the vehicle in accordance with the type information.

請求項2の発明は、矢印信号灯を付設した信号機において車両の運転を支援する運転支援装置であって、矢印信号灯を付設した信号機の設置位置情報と、該矢印信号灯の指示する方向とその方向に対応する走行レーンに関する種別情報とを含む信号機データを記憶する信号機データ記憶手段と、自車両の自車位置及び走行レーンを検出する自車位置及び走行レーン検出手段と、前記信号機データを取得する信号機データ取得手段と、前記自車両から前方の信号機を撮影する撮影手段と、前記撮影手段が撮影した画像データに基づいて、前方に位置する信号機の赤色信号灯及び矢印信号灯が点灯しているか否かを判定する点灯判定手段と、前記赤色信号灯及び前記矢印信号灯が点灯していると判定すると、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致するか否
かを判定し、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致すると判定された場合に、前記種別情報に応じて車両の運転を支援する支援手段とを備えた。
The invention of claim 2 is a driving support device that supports driving of a vehicle in a traffic light with an arrow signal light, the installation position information of the traffic light with an arrow signal light, the direction indicated by the arrow signal light, and the direction thereof Traffic light data storage means for storing traffic signal data including type information relating to the corresponding travel lane, own vehicle position and travel lane detection means for detecting the own vehicle position and travel lane of the host vehicle, and a traffic signal for acquiring the traffic signal data Based on the data acquisition means, the photographing means for photographing the traffic signal ahead from the host vehicle, and the image data photographed by the photographing means, whether or not the red signal lamp and the arrow signal light of the traffic light located in front are lit. If it is determined that the lighting determination means and the red signal lamp and the arrow signal lamp are lit, it corresponds to the direction indicated by the arrow signal lamp If the travel lane corresponding to the direction indicated by the arrow signal light and the travel lane corresponding to the vehicle lane are determined to match, And support means for supporting driving of the vehicle according to the information.

請求項3の発明は、請求項3に記載の運転支援装置において、前記赤色信号灯が点灯したパターンデータと、前記矢印信号灯の点灯したパターンデータとを記憶する記憶手段を有し、前記点灯判定手段は、前記画像データと前記パターンデータとを比較して、前記赤色信号灯及び前記矢印信号灯が点灯しているか否か判定する。   A third aspect of the present invention is the driving support device according to the third aspect, further comprising storage means for storing pattern data in which the red signal light is lit and pattern data in which the arrow signal light is lit, and the lighting determination means. Compares the image data with the pattern data to determine whether the red signal lamp and the arrow signal lamp are lit.

請求項4の発明は、請求項2又は3に記載の運転支援装置において、前記支援手段は、自車両運転手段を駆動制御する走行制御手段を有し、前記支援装置は、前記赤色信号灯及び前記矢印信号灯が点灯していると判定され、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致すると判定された場合に、前記自車両運転手段を介して自車両の車速を制御する。   According to a fourth aspect of the present invention, in the driving support apparatus according to the second or third aspect, the support means includes travel control means for driving and controlling the own vehicle driving means, and the support apparatus includes the red signal lamp and the red light When it is determined that the arrow signal lamp is lit, and it is determined that the traveling lane corresponding to the direction indicated by the arrow signal lamp matches the own vehicle traveling lane, the vehicle's driving means Control the vehicle speed.

請求項1の発明によれば、矢印信号灯は、少なくとも赤色信号灯が点灯している時に点灯し、それ以外の青色信号灯や黄色信号灯が点灯している時に点灯しない。赤色信号灯が点灯していて、矢印信号灯がしているとき、前記種別情報から前記点灯している矢印信号灯の指示する方向であってその方向に対応する走行レーンとその矢印方向を認識することができる。従って、自車両が走行している自車両走行レーンがわかれば、その矢印信号灯が自車両に対するものかどうかがわかる。   According to the invention of claim 1, the arrow signal lamp is lit at least when the red signal lamp is lit, and is not lit when the other blue signal lamp or yellow signal lamp is lit. When the red signal light is on and the arrow signal light is on, the travel lane corresponding to the direction indicated by the lighted arrow signal light and the direction of the arrow can be recognized from the type information. it can. Therefore, if the host vehicle traveling lane in which the host vehicle is traveling is known, it can be determined whether the arrow signal light is for the host vehicle.

その結果、矢印信号灯の指示する方向であってその方向に対応する走行レーンを走行している自車両は、点灯している矢印信号灯の矢印形状をいちいち画像認識を行わなくても簡単かつ短時間にしかも安価に判別することができる。   As a result, the host vehicle traveling in the direction indicated by the arrow signal light and corresponding to the direction of the direction can easily and quickly perform the image recognition of the arrow shape of the lit arrow signal light. Moreover, it can be discriminated at low cost.

請求項2の運転支援装置によれば、点灯判定手段が赤色信号灯及び矢印信号灯の点灯を判定すると、支援手段は、自車位置及び走行レーン検出手段から自車両の自車位置及び自車両走行レーンを取得検出し、その自車位置及び自車両走行レーンに基づいて、信号機データ記憶手段から当該信号機の種別情報を取得する。支援手段は、取得した種別情報に基づいて、自車両走行レーンに対する矢印信号灯が点灯しているかどうか判定する。   According to the driving support device of the second aspect, when the lighting determination unit determines that the red signal lamp and the arrow signal lamp are turned on, the support unit determines the own vehicle position and the own vehicle travel lane from the own vehicle position and the travel lane detection unit. And the type information of the traffic signal is acquired from the traffic signal data storage means based on the vehicle position and the vehicle lane. Based on the acquired type information, the support means determines whether or not the arrow signal lamp for the vehicle lane is lit.

そして、支援手段は、自車両走行レーンに対する矢印信号灯が点灯していると判定すると、矢印信号灯の点灯に即した運転支援をする。
請求項3の発明によれば、赤色信号灯及び矢印信号灯が点灯しているか否かの判定は、点灯している矢印信号灯の矢印形状をいちいち画像認識を行わなくても、画像データと点灯のパターンデータを比較するだけなので短時間にしかも安価に判別することができる。
And if a support means determines with the arrow signal light with respect to the own vehicle driving | running | working lane turning on, it will perform the driving assistance according to lighting of the arrow signal light.
According to the invention of claim 3, whether or not the red signal lamp and the arrow signal lamp are lit is determined by the image data and the lighting pattern without performing the image recognition for each arrow shape of the lit arrow signal lamp. Since only the data is compared, the determination can be made in a short time and at a low cost.

請求項4の発明によれば、走行制御手段によって車両の車速が制御され、矢印信号灯が付設された信号機が設置された交差点での走行が安全に行える。   According to the fourth aspect of the present invention, the vehicle speed of the vehicle is controlled by the travel control means, and the vehicle can safely travel at the intersection where the traffic light equipped with the arrow signal lamp is installed.

以下、本発明の運転支援装置を具体化した実施形態を図1〜図10に従って説明する。図1は、自動車(自車両)に搭載された運転支援装置の構成を説明するブロック図である。   DESCRIPTION OF EMBODIMENTS Hereinafter, an embodiment in which a driving support device of the present invention is embodied will be described with reference to FIGS. FIG. 1 is a block diagram illustrating a configuration of a driving support device mounted on a car (own vehicle).

図1に示す運転支援装置1は、主制御を行う信号機データ取得手段及び支援手段としてのCPU2、CPU2の演算結果等を一時記憶するRAM3、経路案内プログラム、信号機検出支援プログラム等、各種の運転支援プログラムを記憶するROM4を備えている。
また。運転支援装置1は、GPS受信部5及び車両側センサ入力インターフェース(車両側センサ入力I/F部6)を備えている。
The driving support apparatus 1 shown in FIG. 1 has various driving assistances such as a CPU 2 as a traffic signal data acquisition means for performing main control and a RAM 3 for temporarily storing calculation results of the CPU 2, a route guidance program, a traffic light detection support program, and the like. A ROM 4 for storing the program is provided.
Also. The driving support device 1 includes a GPS receiving unit 5 and a vehicle side sensor input interface (vehicle side sensor input I / F unit 6).

CPU2は、同CPU2とともに自車位置及び走行レーン検出手段を構成するGPS受信部5と接続され、そのGPS受信部5から入力した位置検出信号に基づいて、絶対座標を算出する。さらに、CPU2は、車両側センサ入力I/F部6を介して、自車両C(図5参照)に設けられた自車位置及び走行レーン検出手段を構成する車速センサ6a及びジャイロ6bから、車速パルス信号及び方位検出信号を入力して、自律航法により基準位置からの相対座標を演算する。そして、CPU2は、GPS受信部5に基づく絶対座標と合わせて現在位置、即ち、自車位置を特定するとともに、後記する経路データRD及び地図データMDに基づいて自車両Cが走行している走行レーン(自車両走行レーン)を特定する。尚、車両用のXY座標系は、路面上の自車両Cの位置を示すための座標系(路面座標)である。CPU2は、その時々の自車位置の路面座標値をRAM3の所定の記憶領域に更新記憶する。また、CPU2は、車速センサ6aからの車速パルス信号に基づいてその時々の自車両Cの車速を演算している。   The CPU 2 is connected to the GPS receiving unit 5 that constitutes the vehicle position and traveling lane detecting means together with the CPU 2, and calculates absolute coordinates based on the position detection signal input from the GPS receiving unit 5. Further, the CPU 2 receives the vehicle speed from the vehicle speed sensor 6a and the gyro 6b that constitute the vehicle position and travel lane detection means provided in the host vehicle C (see FIG. 5) via the vehicle side sensor input I / F unit 6. A pulse signal and a direction detection signal are input, and relative coordinates from the reference position are calculated by autonomous navigation. Then, the CPU 2 specifies the current position, that is, the own vehicle position together with the absolute coordinates based on the GPS receiver 5, and travels by the own vehicle C based on route data RD and map data MD described later. Specify the lane (vehicle lane). The XY coordinate system for vehicles is a coordinate system (road surface coordinates) for indicating the position of the host vehicle C on the road surface. The CPU 2 updates and stores the road surface coordinate value of the vehicle position at that time in a predetermined storage area of the RAM 3. Moreover, CPU2 is calculating the vehicle speed of the own vehicle C at that time based on the vehicle speed pulse signal from the vehicle speed sensor 6a.

また、車両側センサ入力I/F部6は、自車両Cに設けられたステアリングセンサ6c及びイグニッションスイッチ6dと接続されている。CPU2は、車両側センサ入力I/F部6を介して、ステアリングセンサ6cから、操舵角信号を入力して、その時の操舵角を演算するようになっている。   The vehicle-side sensor input I / F unit 6 is connected to a steering sensor 6c and an ignition switch 6d provided on the host vehicle C. The CPU 2 inputs a steering angle signal from the steering sensor 6c via the vehicle side sensor input I / F unit 6, and calculates the steering angle at that time.

また、運転支援装置1は、地理データ記憶部7を備えて、その地理データ記憶部7には経路データRD及び地図データMDが格納されている。経路データRDは、全国を各区域に区画したリージョン毎のデータであって、図2に示すように、ヘッダRDa、ノードデータRDb、リンクデータRDc、リンクコストRDd、座標データRDeを有している。ヘッダRDaは、各経路データRDを管理するためのデータを有している。ノードデータRDbは、交差点、道路の端点等を示す各ノードの識別データ、隣接するノードの識別データ等を有している。リンクデータRDcは、リンク列を構成し、接続ノードを示す各リンクレコード、通行規制を示すデータ等を有している。リンクコストRDdは、各リンクレコードに対して付与されたリンクID、リンク長、走行レーンの数(車線数)、平均旅行時間等から構成されたデータ群である。座標データRDeは、各ノードの絶対座標を示す。   Further, the driving support device 1 includes a geographic data storage unit 7 in which route data RD and map data MD are stored. The route data RD is data for each region that divides the whole country into regions, and includes a header RDa, node data RDb, link data RDc, link cost RDd, and coordinate data RDe, as shown in FIG. . The header RDa has data for managing each route data RD. The node data RDb includes identification data of each node indicating an intersection, a road end point, and the like, identification data of adjacent nodes, and the like. The link data RDc constitutes a link string, and includes link records indicating connection nodes, data indicating traffic restrictions, and the like. The link cost RDd is a data group composed of a link ID assigned to each link record, a link length, the number of lanes (number of lanes), an average travel time, and the like. The coordinate data RDe indicates the absolute coordinates of each node.

一方、地図データMDは、全国の地図を分割したエリア毎に格納され、広域の地図から狭域の地図まで各階層に分かれている。図3に示すように、各地図データMDは、ヘッダMDa、道路データMDb、背景データMDcを有している。ヘッダMDaは、その地図データMDの階層、エリア等を示し、管理目的のデータである。道路データMDbは、道路の形状・種類を示すデータであって、道路属性データMDd、リンク形状データMDe、接続データMDfを有している。道路属性データMDdは、道路名称、道路の方向、道路幅、車線数を有している。接続データMDfは、各リンクと各ノードの接続状態を表わすデータである。   On the other hand, the map data MD is stored for each area obtained by dividing the map of the whole country, and is divided into each layer from a wide area map to a narrow area map. As shown in FIG. 3, each map data MD has a header MDa, road data MDb, and background data MDc. The header MDa indicates the hierarchy, area, etc. of the map data MD, and is management purpose data. The road data MDb is data indicating the shape and type of the road, and includes road attribute data MDd, link shape data MDe, and connection data MDf. The road attribute data MDd has a road name, a road direction, a road width, and the number of lanes. The connection data MDf is data representing the connection state between each link and each node.

リンク形状データMDeは、座標データMDg、形状補間データMDhを有している。座標データMDgはリンク及びノードの座標を示している。形状補間データMDhは、リンクの途中に設定され、道路のカーブ形状を示すために設定された形状補間点に関するデータであり、形状補間点の座標、リンクの方位等のデータである。また、背景データMDcは、道路、市街地、河川等を描画する描画データである。   The link shape data MDe includes coordinate data MDg and shape interpolation data MDh. The coordinate data MDg indicates the coordinates of links and nodes. The shape interpolation data MDh is data relating to the shape interpolation point set in the middle of the link and set to indicate the curve shape of the road, and is data such as the coordinates of the shape interpolation point and the direction of the link. The background data MDc is drawing data for drawing roads, urban areas, rivers, and the like.

また、地理データ記憶部7は、記憶手段及び信号機データ記憶手段を構成する記憶部であって、信号機データSDを格納している。信号機データSDは、全国の交差点CR(図
5参照)に設置した各信号機SGに対して設けられ、図4に示すように、ヘッダSDa、設置位置情報としての設置位置座標データSDb、付設有無情報としての矢印信号灯付設データSDc、種別情報としての種別データSDdを有している。ヘッダSDaは、各信号機SGを指標するIDデータである。設置位置座標データSDbは、該信号機SGの設置位置の座標を示す。矢印信号灯付設データSDcは、該信号機SGに矢印信号灯ALが付設されているかを示すデータである。
The geographic data storage unit 7 is a storage unit that constitutes a storage unit and a traffic light data storage unit, and stores traffic signal data SD. The traffic light data SD is provided for each traffic light SG installed at intersections CR (see FIG. 5) nationwide. As shown in FIG. 4, the header SDa, installation position coordinate data SDb as installation position information, and presence / absence information As the data SDc with the arrow signal lamp and the classification data SDd as the classification information. The header SDa is ID data indicating each traffic light SG. The installation position coordinate data SDb indicates the coordinates of the installation position of the traffic light SG. The arrow signal lamp-attached data SDc is data indicating whether an arrow signal lamp AL is attached to the traffic light SG.

種別データSDdは、付設されている矢印信号灯の数データSDe、対象走行レーンデータSDf及び矢印方向を示す方向データSDgから構成されている。
矢印信号灯の数データSDeは、付設されている矢印信号灯ALの数を指標するデータである。例えば、図6(a)に示すように、青色信号灯BL、黄色信号灯YL、赤色信号灯RLからなる信号機SGに、3個の矢印信号灯AL(図6(a)では左折矢印信号灯AL1、直進矢印信号灯AL2、右折矢印信号灯AL3)が付設されている場合には、その3の数がデータとなる。
The type data SDd is composed of attached arrow signal lamp number data SDe, target travel lane data SDf, and direction data SDg indicating the arrow direction.
The arrow signal light number data SDe is data indicating the number of attached arrow signal lights AL. For example, as shown in FIG. 6A, a traffic light SG composed of a blue signal lamp BL, a yellow signal lamp YL, and a red signal lamp RL has three arrow signal lamps AL (in FIG. 6A, a left turn arrow signal lamp AL1, a straight arrow signal lamp). If AL2 and a right turn arrow signal lamp AL3) are attached, the number of 3 is data.

図6(b)に示すように、信号機SGに、2個の矢印信号灯AL(図6(b)では左折矢印信号灯AL1、直進矢印信号灯AL2)が付設されている場合には、その2の数がデータとなる。   As shown in FIG. 6B, if the traffic light SG is provided with two arrow signal lights AL (left turn arrow signal light AL1 and straight arrow signal light AL2 in FIG. 6B), the number of the two Becomes the data.

さらに、図6(c)に示すように、信号機SGに、1個の矢印信号灯AL(図6(c)では右折矢印信号灯AL3)が付設されている場合には、その1の数がデータとなる。
対象走行レーンデータSDfは、付設された矢印信号灯ALの指示する方向に対応する走行レーン(以下、対象走行レーンという)を指標するデータである。
Further, as shown in FIG. 6 (c), when the traffic light SG is provided with one arrow signal light AL (right turn arrow signal light AL3 in FIG. 6 (c)), the number of 1 is the data. Become.
The target travel lane data SDf is data indicating a travel lane (hereinafter referred to as a target travel lane) corresponding to the direction indicated by the attached arrow signal light AL.

例えば、図7に示すように、交差点CRにおいて、信号機SGで走行指示される道路に3つの走行レーンTL1,TL2,TL3がある。そして、左側の走行レーンTL1は直進と右折可能な走行レーン、中央の走行レーンTL2は直進可能な走行レーン、右側の走行レーンTL3は左折と直進が可能な走行レーンである。このとき、該信号機SGに矢印信号灯ALとして右折矢印信号灯AL3が付設されているとき、対象走行レーンデータSDfは、右側の走行レーンTL3がデータとなる。   For example, as shown in FIG. 7, at an intersection CR, there are three travel lanes TL1, TL2, and TL3 on a road that is instructed to travel by a traffic light SG. The left travel lane TL1 is a travel lane that can go straight and turn right, the center travel lane TL2 is a travel lane that can go straight, and the right travel lane TL3 is a travel lane that can turn left and go straight. At this time, when the traffic light SG is provided with a right turn arrow signal lamp AL3 as an arrow signal lamp AL, the target travel lane data SDf is data on the right travel lane TL3.

尚、図7において、例えば右側の走行レーンTL3と中央の走行レーンTL2が直進と右折可能な走行レーンであるとすると、対象走行レーンデータSDfは、中央の走行レーンTL2と右側の走行レーンTL3がデータとなる。   In FIG. 7, for example, assuming that the right travel lane TL3 and the central travel lane TL2 are travel lanes that can go straight and turn right, the target travel lane data SDf includes the central travel lane TL2 and the right travel lane TL3. It becomes data.

矢印方向を示す方向データSDgは、対象走行レーンデータSDfに対応づけられた設けられたものであって矢印信号灯ALの向き、つまり、「左折可能」、「直進可能」又は「右折可能」等を指標するデータである。例えば、図6(a)の場合では、左折矢印信号灯AL1は「左折可能」、直進矢印信号灯AL2は「直進可能」、右折矢印信号灯AL3は「右折可能」が方向データSDgとなる。   The direction data SDg indicating the direction of the arrow is provided in association with the target travel lane data SDf, and indicates the direction of the arrow signal light AL, that is, “possible to turn left”, “possible to go straight”, “possible to turn right”, etc. It is data to index. For example, in the case of FIG. 6 (a), the left turn arrow signal lamp AL1 is “turnable left”, the straight arrow signal lamp AL2 is “ready”, and the right turn arrow signal lamp AL3 is “right turn”.

また、運転支援装置1は、点灯判定手段としての画像プロセッサ8及び外部入出力インターフェース(外部入出力I/F部9)を備えている。CPU2は、画像プロセッサ8を介してタッチパネルであるディスプレイDSPと接続されている。ディスプレイDSPは、そのディスプレイDSPに隣接した位置に設けられた操作スイッチSW1の入力操作により、外部入出力I/F部9を介して、目的地を示すデータを受信する。この目的地のデータを受信すると、CPU2は、経路データRDを用いて、目的地と自車位置とを接続する推奨経路を探索する。   In addition, the driving support device 1 includes an image processor 8 as an illumination determination unit and an external input / output interface (external input / output I / F unit 9). The CPU 2 is connected to a display DSP that is a touch panel via the image processor 8. The display DSP receives data indicating the destination via the external input / output I / F unit 9 by an input operation of the operation switch SW1 provided at a position adjacent to the display DSP. When the destination data is received, the CPU 2 searches for a recommended route connecting the destination and the vehicle position using the route data RD.

また、CPU2は、前記車両側センサ入力I/F部6を介して、イグニッションスイッ
チ6dからのオンを入力すると、画像プロセッサ8を制御して、自車両Cの自車位置周辺の地図データMDを読出す。そして、CPU2は、画像プロセッサ8を介してその地図データMDに基づく地図画面P(道路案内画像)をディスプレイDSPに出力する。このとき、画像プロセッサ8は、地図画面Pに、その地図内での道路(探索して選択した目的地までの道路R)上に自車位置を示す指標Poを重畳して表示する。またこのとき、CPU2は、道路Rが図7に示すように複数の走行レーンTL1,TL2,TL3を有している場合、自車両Cがどの走行レーンを走行しているかを特定しRAM3に逐次更新し記憶している。
When the CPU 2 inputs ON from the ignition switch 6d via the vehicle-side sensor input I / F unit 6, the CPU 2 controls the image processor 8 to obtain the map data MD around the vehicle position of the vehicle C. Read. Then, the CPU 2 outputs a map screen P (road guidance image) based on the map data MD to the display DSP via the image processor 8. At this time, the image processor 8 superimposes and displays an index Po indicating the vehicle position on the road (the road R to the destination selected by searching) on the map screen P. At this time, when the road R has a plurality of travel lanes TL1, TL2, and TL3 as shown in FIG. 7, the CPU 2 identifies which travel lane the host vehicle C is traveling and sequentially stores it in the RAM 3. Update and remember.

運転支援装置1は、CPU2とともに音声案内手段としての音声プロセッサ10を備えている。CPU2は、音声プロセッサ10と接続され、その音声プロセッサ10にはスピーカSPが接続されている。音声プロセッサ10は、CPU2の制御により、スピーカSPを駆動して、その時々に経路案内や、交差点CRでの信号機SGに付設した矢印信号灯ALに基づく走行指示のための音声案内をする。その音声案内のための音声データは、予め音声プロセッサ10の記憶部に記憶されている。   The driving support device 1 includes a voice processor 10 as a voice guidance unit together with the CPU 2. The CPU 2 is connected to the sound processor 10, and the speaker SP is connected to the sound processor 10. The voice processor 10 drives the speaker SP under the control of the CPU 2 to provide voice guidance for driving guidance based on the route guidance or the arrow signal lamp AL attached to the traffic light SG at the intersection CR from time to time. The voice data for the voice guidance is stored in advance in the storage unit of the voice processor 10.

運転支援装置1は、画像データ入力部11を備えている。画像データ入力部11は、撮影手段としての前方カメラCAが接続されている。CPU2は、画像データ入力部11と接続され、画像データ入力部11を介して、常時、前方カメラCAを起動させる。前方カメラCAは、広角レンズ、ミラー等から構成される光学機構と、CCD撮像素子と(いずれも図示せず)を備えている。   The driving support device 1 includes an image data input unit 11. The image data input unit 11 is connected to a front camera CA as a photographing unit. The CPU 2 is connected to the image data input unit 11 and always activates the front camera CA via the image data input unit 11. The front camera CA includes an optical mechanism including a wide-angle lens, a mirror, and the like, and a CCD image sensor (none of which are shown).

前方カメラCAは、図8に示すように、自車両Cのルームミラーを支持する支持部材が固着されている部分のルーフの前側に取付けられ、自車両Cのフロントガラスから前方に向いた光軸を有し、前方に広がる撮像領域Z1を撮像する。CPU2は、画像データ入力部11を制御して、前方カメラCAが撮像した前方画像の画像データを前方画像データG1として取得すると、画像プロセッサ8の図示しないVRAMに一時記憶する。   As shown in FIG. 8, the front camera CA is attached to the front side of the roof where the support member that supports the rear mirror of the host vehicle C is fixed, and the optical axis is directed forward from the windshield of the host vehicle C. And imaging the imaging region Z1 that spreads forward. When the CPU 2 controls the image data input unit 11 to acquire the image data of the front image captured by the front camera CA as the front image data G1, the CPU 2 temporarily stores it in a VRAM (not shown) of the image processor 8.

画像プロセッサ8は、VRAMに一時記憶した前方画像データG1を補正処理し、補正した前方画像データG1に基づいて、前方に設置された信号機SGを画像認識する。まず、信号機SGがあるかどうかの判断は、本実施形態では、前方画像中の映った像の水平エッジと垂直エッジを前方画像データG1に基づいて検出し、その水平エッジ及び垂直エッジ検出に基づいて像が信号機SGかどうか判断する。   The image processor 8 corrects the forward image data G1 temporarily stored in the VRAM, and recognizes an image of the traffic light SG installed in the front based on the corrected forward image data G1. First, in the present embodiment, whether or not there is a traffic light SG is determined based on the detection of the horizontal edge and the vertical edge of the front image based on the detection of the horizontal edge and the vertical edge of the image reflected on the front image data G1. To determine whether the image is a traffic light SG.

そして、信号機SGが映っていると判断したとき、画像プロセッサ8は、その信号機SGの青色信号灯BL、黄色信号灯YL、赤色信号灯RLのうちどれが点灯しているか判定する。この判定は、予め用意したパターンデータと比較して行う。つまり、本実施形態では、図9(a)に示すように、青色信号灯BLが点灯しているパターンPT1、図9(b)に示すように、黄色信号灯YLが点灯しているパターンPT2、図9(c)に示すように、赤色信号灯RLが点灯しているパターンPT3の3種類のパターンデータと比較して
行う。この3つのパターンPT1〜PT3のパターンデータは、予め地理データ記憶部7に記憶されている。
When it is determined that the traffic light SG is reflected, the image processor 8 determines which one of the blue signal light BL, the yellow signal light YL, and the red signal light RL of the traffic light SG is lit. This determination is made in comparison with pattern data prepared in advance. That is, in this embodiment, as shown in FIG. 9A, the pattern PT1 in which the blue signal lamp BL is lit, as shown in FIG. 9B, the pattern PT2 in which the yellow signal lamp YL is lit, As shown in FIG. 9C, the comparison is made with three types of pattern data of the pattern PT3 in which the red signal lamp RL is lit. The pattern data of these three patterns PT1 to PT3 is stored in the geographic data storage unit 7 in advance.

また、CPU2は、信号機SGに付設した矢印信号灯ALが点灯しているか判定する。この判定は、本実施形態では、赤色信号灯RLが点灯していると判定したときに実行されるようになっている。そして、判定は、予め用意したパターンデータと比較して行う。つまり、本実施形態では、図9(d)に示すように、3つの矢印信号灯ALが点灯しているパターンPT4、図9(e)に示すように、2つの矢印信号灯ALが点灯しているパターンPT5、図9(f)に示すように、1つの矢印信号灯ALが点灯しているパターンPT6の3種類のパターンデータと比較して行う。つまり、本実施形態では、矢印信号灯AL
の矢印形状を特定するのではなく、矢印信号灯ALの点灯のパターンマッチングをするだけである。なお、この3つのパターンPT4〜PT6のパターンデータも、予め地理データ記憶部7に記憶されている。
Further, the CPU 2 determines whether or not the arrow signal lamp AL attached to the traffic light SG is lit. In this embodiment, this determination is performed when it is determined that the red signal lamp RL is lit. The determination is made by comparing with pattern data prepared in advance. That is, in the present embodiment, as shown in FIG. 9D, the pattern PT4 in which the three arrow signal lights AL are lit, and the two arrow signal lights AL are lit as shown in FIG. 9E. As shown in FIG. 9F, the pattern PT5 is compared with the three types of pattern data of the pattern PT6 in which one arrow signal lamp AL is lit. That is, in this embodiment, the arrow signal light AL
Instead of specifying the shape of the arrow, only the pattern matching of lighting of the arrow signal lamp AL is performed. The pattern data of these three patterns PT4 to PT6 are also stored in advance in the geographic data storage unit 7.

CPU2は、画像プロセッサ8が赤色信号灯RLの点灯を判定するとともに矢印信号灯ALの点灯を判定すると、その矢印信号灯ALの対象走行レーンに自車両Cが走行しているかどうかを判定するようになっている。   When the image processor 8 determines that the red signal lamp RL is turned on and the arrow signal lamp AL is turned on, the CPU 2 determines whether or not the host vehicle C is traveling in the target travel lane of the arrow signal lamp AL. Yes.

運転支援装置1は、車両用入出力インターフェース(車両用入出力I/F部12)を備えている。車両用入出力I/F部12は、走行制御手段を構成する車両用電子制御装置(車両用ECU)13に接続されている。車両用ECU13は、自車両Cの走行に関する駆動系を制御する制御装置であって、同じく走行制御手段を構成するブレーキ制御装置14、燃料噴射量制御装置15及び変速制御装置16と接続されている。   The driving support device 1 includes a vehicle input / output interface (vehicle input / output I / F unit 12). The vehicle input / output I / F unit 12 is connected to a vehicle electronic control device (vehicle ECU) 13 that constitutes a travel control means. The vehicle ECU 13 is a control device that controls a drive system related to the traveling of the host vehicle C, and is connected to the brake control device 14, the fuel injection amount control device 15, and the transmission control device 16 that also constitute the traveling control means. .

ブレーキ制御装置14は、ブレーキペダルの操作量を調整して自車両Cに所定のブレーキを掛ける自車両運転手段としてのブレーキ装置(図示しない)を駆動制御する。燃料噴射量制御装置15は、エンジンの噴射量を調整し、自車両Cの加速度を制御する自車両運転手段としての燃料噴射装置(図示せず)を駆動制御する。変速制御装置16は、変速機の変速値を制御する自車両運転手段としてのシフト駆動装置(図示せず)を制御する。   The brake control device 14 drives and controls a brake device (not shown) as own vehicle driving means for applying a predetermined brake to the own vehicle C by adjusting the operation amount of the brake pedal. The fuel injection amount control device 15 adjusts the injection amount of the engine and drives and controls a fuel injection device (not shown) as own vehicle driving means for controlling the acceleration of the own vehicle C. The shift control device 16 controls a shift drive device (not shown) as own vehicle driving means for controlling the shift value of the transmission.

そして、車両用ECU13は、車両用入出力I/F部12を介して、CPU2からのブレーキ信号を入力すると、そのブレーキ信号をブレーキ制御装置14に出力する。ブレーキ制御装置14は、該ブレーキ信号に基づいてブレーキ装置を駆動制御し自車両Cにブレーキ力を加える。従って、自車両Cは、該ブレーキ力によって制動する。   When the vehicle ECU 13 receives a brake signal from the CPU 2 via the vehicle input / output I / F unit 12, the vehicle ECU 13 outputs the brake signal to the brake control device 14. The brake control device 14 drives and controls the brake device based on the brake signal and applies a braking force to the host vehicle C. Accordingly, the host vehicle C brakes with the braking force.

また、車両用ECU13は、CPU2からの加速度信号を入力すると、その加速度信号を燃料噴射量制御装置15に出力する。燃料噴射量制御装置15は、入力した該加速度信号に対する燃料噴射量を演算し、燃料噴射装置を駆動制御し自車両Cのエンジンに該燃料噴射量を供給する。従って、自車両Cは、エンジンに供給される燃料噴射量に基づいて加減速する。   Further, when the acceleration signal from the CPU 2 is input, the vehicle ECU 13 outputs the acceleration signal to the fuel injection amount control device 15. The fuel injection amount control device 15 calculates the fuel injection amount with respect to the input acceleration signal, controls the drive of the fuel injection device, and supplies the fuel injection amount to the engine of the host vehicle C. Accordingly, the host vehicle C accelerates and decelerates based on the fuel injection amount supplied to the engine.

また、車両用ECU13は、CPU2からの変速信号を入力すると、該変速信号を変速制御装置16に出力する。変速制御装置16は、入力した該変速信号に対する変速値を演算し、シフト駆動装置を駆動制御し変速機をシフトする。従って、自車両Cは、変速機をシフトダウンさせてエンジンブレーキをかけて減速させることができる。   Further, when the vehicle ECU 13 receives a shift signal from the CPU 2, the vehicle ECU 13 outputs the shift signal to the shift control device 16. The shift control device 16 calculates a shift value for the input shift signal, drives the shift drive device, and shifts the transmission. Therefore, the host vehicle C can decelerate by shifting down the transmission and applying the engine brake.

次に、本実施形態の運転支援装置1の信号機検出支援処理を、図10に示す運転支援装置1の処理手順を示すフローチャートに従って説明する。
今、運転者によるイグニッションスイッチ6dのオン操作に基づいて、CPU2は「信号機検出支援モード」となり、図10のフローチャートに示す信号機検出支援プログラムを実行する。
Next, the traffic light detection support processing of the driving support device 1 of the present embodiment will be described according to the flowchart showing the processing procedure of the driving support device 1 shown in FIG.
Now, based on the ON operation of the ignition switch 6d by the driver, the CPU 2 enters the “signal detection support mode” and executes the signal detection support program shown in the flowchart of FIG.

まず、CPU2は、GPS受信部5、車速センサ6a及びジャイロ6bからの各信号に基づいて自車両Cの自車位置を求める(ステップS1)。また、CPU2は、画像データ入力部11を介して、前方カメラCAを撮像動作させ前方画像データG1を画像データ入力部11に取り込ませている(ステップS2)。   First, the CPU 2 obtains the own vehicle position of the own vehicle C based on the signals from the GPS receiver 5, the vehicle speed sensor 6a, and the gyro 6b (step S1). Further, the CPU 2 causes the front camera CA to perform an imaging operation via the image data input unit 11 and causes the image data input unit 11 to capture the front image data G1 (step S2).

なお、本実施形態では、目的地までの案内経路が複数探索されその中の選択された1つの案内経路Rを案内表示する経路案内プログラムは実行されていないものとする。従って、CPU2は算出した自車位置に基づいて自車位置を示す指標Poを合わせた地図画面P
をディスプレイDSPに表示しているだけで、目的地までの案内経路Rは表示されていない。勿論、経路案内プログラムを実行して走行してもよい。
In the present embodiment, it is assumed that a route guidance program that searches for a plurality of guidance routes to a destination and guides and displays one selected guidance route R is not executed. Accordingly, the CPU 2 maps the map screen P on which the index Po indicating the vehicle position is combined based on the calculated vehicle position.
Is displayed on the display DSP, and the guide route R to the destination is not displayed. Of course, you may run by running a route guidance program.

続いて、CPU2は、求めた自車位置と地理データ記憶部7に記憶した信号機データSD、経路データRD及び地図データMDに基づいて、自車両Cが走行している前方であって予め定めた距離(本実施形態では100メートル)の先に交差点CRがあって、その交差点CRに矢印信号灯ALが付設された信号機SGが設置してあるかどうかを判断する(ステップS3)。   Subsequently, the CPU 2 determines in advance the vehicle C traveling ahead based on the determined vehicle position and the traffic signal data SD, route data RD, and map data MD stored in the geographic data storage unit 7. It is determined whether or not there is an intersection CR ahead of the distance (100 meters in the present embodiment), and a traffic light SG with an arrow signal lamp AL is installed at the intersection CR (step S3).

前方に交差点CRがあって矢印信号灯ALが付設された信号機SGが設置してあると判断すると(ステップS3でYES)、CPU2は、その信号機SGに関する信号機データSDを地理データ記憶部7から読み出してRAM3に一時記憶する(ステップS4)。なお、前方に交差点CRがない、交差点CRがあっても信号機SGが設置してない、又は、信号機SGに矢印信号灯ALが付設されてない場合(ステップS3でNO)、CPU2は、ステップS11に移り、イグニッションスイッチ6dがオフされたかどうか判断し、オフ操作されてない場合には、ステップS1に戻る。すなわち、矢印信号灯ALが付設されている信号機SGが見つかるまで、自車位置を更新しながら走行する。   If it is determined that a traffic light SG with an intersection CR ahead and an arrow signal light AL is installed (YES in step S3), the CPU 2 reads the traffic light data SD related to the traffic light SG from the geographic data storage unit 7. Temporary storage in the RAM 3 (step S4). If there is no intersection CR ahead, no traffic light SG is installed even if there is an intersection CR, or no arrow signal light AL is attached to the traffic light SG (NO in step S3), the CPU 2 proceeds to step S11. Then, it is determined whether or not the ignition switch 6d has been turned off. If the ignition switch 6d has not been turned off, the process returns to step S1. That is, the vehicle travels while updating its own vehicle position until a traffic light SG with an arrow signal light AL is found.

ステップS4で信号機データSDを取得すると、CPU2は、ステップS1で求めた自車位置と、地理データ記憶部7に記憶した経路データRD及び地図データMDに基づいて、自車両Cが走行している自車両走行レーンを特定してRAM3に一時記憶する(ステップS5)。   When the traffic signal data SD is acquired in step S4, the CPU 2 is traveling based on the vehicle position obtained in step S1 and the route data RD and map data MD stored in the geographic data storage unit 7. The own vehicle travel lane is specified and temporarily stored in the RAM 3 (step S5).

続いて、CPU2は、前方カメラCAを撮像している前方画像の前方画像データG1を画像プロセッサ8に逐次転送して、画像プロセッサ8において前方画像データG1を使って前方の信号機SGの各信号灯BL,YL,RLの点灯の有無と矢印信号灯ALの点灯の有無を判定するための画像認識を実行させる(ステップS6)。そして、画像プロセッサ8が、赤色信号灯RLが点灯していると判定すると(ステップS7でYES)、CPU2は、ステップS8に移り、矢印信号灯ALが点灯しているかどうかを画像プロセッサ8にて画像認識させて判断させる。   Subsequently, the CPU 2 sequentially transfers the front image data G1 of the front image captured by the front camera CA to the image processor 8, and the signal lights BL of the front traffic light SG using the front image data G1 in the image processor 8. , YL, and RL and image recognition for determining whether or not the arrow signal lamp AL is lit are executed (step S6). If the image processor 8 determines that the red signal lamp RL is lit (YES in step S7), the CPU 2 moves to step S8, and the image processor 8 recognizes whether or not the arrow signal lamp AL is lit. Let them judge.

画像プロセッサ8が、矢印信号灯ALが点灯していると画像認識すると(ステップS8でYES)、CPU2は、ステップS5で取得した自車両走行レーンとステップS4で取得した信号機データSD(対象走行レーンデータSDf)と比較し、自車両走行レーンが点灯していると判定された矢印信号灯ALの対象走行レーンと一致しているかどうか判定する(ステップS9)。   When the image processor 8 recognizes that the arrow signal lamp AL is lit (YES in step S8), the CPU 2 detects the own vehicle travel lane acquired in step S5 and the traffic signal data SD (target travel lane data acquired in step S4). Compared with SDf), it is determined whether or not the vehicle traveling lane matches the target traveling lane of the arrow signal light AL determined to be lit (step S9).

自車両走行レーンが対象走行レーンと一致していると判定すると(ステップS9でYES)、CPU2は、その対象走行レーンに対応する方向データSDgを読み出し、音声プロセッサ10を介してスピーカSPから、注意を喚起するアナウンスする(ステップS10)。   If it is determined that the host vehicle travel lane matches the target travel lane (YES in step S9), the CPU 2 reads the direction data SDg corresponding to the target travel lane, and from the speaker SP via the voice processor 10, Is announced (step S10).

例えば、自車両走行レーンが右折走行レーンTL3であって、矢印信号灯ALの対象走行レーンが右折走行レーンTL3である場合には、対象走行レーンデータSDfに対する方向データSDgに基づいて「対向車を確認しながら右折して下さい。」という音声案内する。また、自車両走行レーンが左折走行レーンTL1であって、矢印信号灯ALの対象走行レーンが左折走行レーンTL1である場合には、「歩行者に確認しながら左折して下さい。」という音声案内する。また、自車両走行レーンが直進走行レーンTL2であって、矢印信号灯ALの対象走行レーンが直進走行レーンTL2である場合には、「直進して下さい。」という音声案内する。   For example, when the host vehicle driving lane is the right turn driving lane TL3 and the target driving lane of the arrow signal lamp AL is the right turning driving lane TL3, the “check oncoming vehicle is confirmed based on the direction data SDg with respect to the target driving lane data SDf. Make a right turn while saying " Also, when the host vehicle travel lane is the left turn travel lane TL1 and the target travel lane of the arrow signal lamp AL is the left turn travel lane TL1, the voice guidance “Please turn left while confirming with the pedestrian” is provided. . Further, when the host vehicle travel lane is the straight travel lane TL2 and the target travel lane of the arrow signal lamp AL is the straight travel lane TL2, the voice guidance “Please go straight” is provided.

その後、イグニッションスイッチ6dがオフされたかどうか判断し(ステップS11)し、オフ操作されてない場合には、ステップS1に戻り、新たな矢印信号灯ALを付設した信号機SGのための支援処理を行う。   Thereafter, it is determined whether or not the ignition switch 6d has been turned off (step S11). If the ignition switch 6d has not been turned off, the process returns to step S1 to perform support processing for the traffic light SG provided with a new arrow signal lamp AL.

一方、自車両走行レーンが対象走行レーンと一致していないと判定すると(ステップS9でNO)、CPU2は、自車両Cが自車位置から交差点CRの停止線で停止できる速度を演算し、停止できるように減速・停止制御を実行する(ステップS12)。詳述すると、CPU2は、車両用入出力I/F部12を介して減速・停止制御のための制御信号(ブレーキ信号、加速度信号、変速信号)を車両用ECU13に出力する。車両用ECU13は、制御信号(ブレーキ信号、加速度信号、変速信号)に基づいて、ブレーキ制御装置14、燃料噴射量制御装置15及び変速制御装置16を介して、ブレーキ装置、燃料噴射装置、シフト駆動装置を駆動制御して、交差点CRの停止線で停止できるように自車両Cを減速・停止制御する。   On the other hand, if it is determined that the host vehicle lane does not match the target vehicle lane (NO in step S9), the CPU 2 calculates the speed at which the host vehicle C can stop on the stop line at the intersection CR from the host vehicle position, and stops. Deceleration / stop control is executed as possible (step S12). More specifically, the CPU 2 outputs control signals (brake signal, acceleration signal, shift signal) for deceleration / stop control to the vehicle ECU 13 via the vehicle input / output I / F unit 12. Based on the control signals (brake signal, acceleration signal, and shift signal), the vehicle ECU 13 drives the brake device, the fuel injection device, and the shift drive via the brake control device 14, the fuel injection amount control device 15, and the shift control device 16. The device is driven and controlled, and the host vehicle C is decelerated and stopped so that it can be stopped at the stop line at the intersection CR.

なお、ステップS8において、矢印信号灯ALが点灯していないと判定すると(ステップS8でNO)、CPU2は、前方の信号機SGは走行レーンに関係なく全て「交差点CRで停止である」としてステップS12に移る。そして、CPU2は、前記と同様に、自車両Cが自車位置から交差点CRの停止線で停止できる速度を演算し、停止できるように減速・停止制御を実行する(ステップS12)。   If it is determined in step S8 that the arrow signal lamp AL is not lit (NO in step S8), the CPU 2 determines that all the traffic lights SG in front of the vehicle are “stopped at the intersection CR” regardless of the travel lane. Move. Then, as described above, the CPU 2 calculates the speed at which the host vehicle C can stop on the stop line at the intersection CR from the host vehicle position, and executes deceleration / stop control so that the host vehicle C can stop (step S12).

さらに、ステップS7において、画像プロセッサ8が、赤色信号灯RL以外の青色信号灯BL又は黄色信号灯YLが点灯していると判定すると(ステップS7でNO)、CPU2は、ステップS11に移り、イグニッションスイッチ6dがオフされたかどうか判断し、オフ操作されてない場合には、ステップS1に戻り、新たな矢印信号灯ALを付設した信号機SGのための支援処理を行う。   Furthermore, when the image processor 8 determines in step S7 that the blue signal lamp BL or the yellow signal lamp YL other than the red signal lamp RL is lit (NO in step S7), the CPU 2 moves to step S11, and the ignition switch 6d is turned on. It is determined whether or not it has been turned off. If it has not been turned off, the process returns to step S1 to perform support processing for the traffic light SG provided with a new arrow signal light AL.

次に、上記のように構成した本実施形態の効果を以下に記載する。
(1)本実施形態では、各交差点CRに設置した信号機SGに対してヘッダSDa、設置位置座標データSDb、矢印信号灯付設データSDc、種別データSDdからなる信号機データSDを、地理データ記憶部7に記憶した。そして、種別データSDdは、数データSDe、対象走行レーンデータSDf及び矢印方向を示す方向データSDgから構成した。
Next, effects of the present embodiment configured as described above will be described below.
(1) In the present embodiment, the traffic signal data SD including the header SDa, the installation position coordinate data SDb, the arrow signal lamp-attached data SDc, and the type data SDd is stored in the geographic data storage unit 7 for the traffic signal SG installed at each intersection CR. I remembered it. The type data SDd is composed of number data SDe, target travel lane data SDf, and direction data SDg indicating an arrow direction.

従って、自車両Cの自車位置と信号機データSD(設置位置座標データSDb及び矢印信号灯付設データSDc)から、前方の矢印信号灯ALが付設された信号機SGが特定できる。さらに、矢印信号灯ALが付設された信号機SGが特定されると、種別データSDd(数データSDe、対象走行レーンデータSDf及び方向データSDg)から、該信号機SGの矢印信号灯ALの種別がわかる。   Accordingly, the traffic light SG to which the front arrow signal light AL is attached can be identified from the own vehicle position of the own vehicle C and the traffic light data SD (installation position coordinate data SDb and arrow signal light-attached data SDc). Further, when the traffic light SG to which the arrow signal lamp AL is attached is specified, the type of the arrow signal lamp AL of the traffic light SG can be known from the type data SDd (number data SDe, target travel lane data SDf, and direction data SDg).

その結果、前方カメラCAが撮影した前方の矢印信号灯ALが付設された信号機SGの画像データG1とパターンデータPT1〜PT6を比較することで、画像プロセッサ8は、赤色信号灯RL及び矢印信号灯ALが点灯しているかどうかを非常に簡単な画像認識処理で判定でき、しかも、前方の信号機SGに付設された矢印信号灯ALがどんな種別かを判定することができる。そのため、画像プロセッサ8は、の負荷は小さなり、判定時間の短縮化を図ることができる。   As a result, the image processor 8 compares the pattern data PT1 to PT6 with the image data G1 of the traffic light SG provided with the front arrow signal light AL photographed by the front camera CA, so that the image processor 8 turns on the red signal light RL and the arrow signal light AL. Can be determined by a very simple image recognition process, and the type of the arrow signal lamp AL attached to the traffic signal SG ahead can be determined. Therefore, the image processor 8 has a small load and can shorten the determination time.

(2)本実施形態では、画像プロセッサ8が赤色信号灯RL及び矢印信号灯ALの点灯を認識すると、CPU2が、自車両Cの自車位置に基づいて信号機データSDが読み出される。そして、矢印信号灯ALの点灯が判定されたとき、自車両Cが走行している自車両
走行レーンと種別データSDdの対象走行レーンデータSDfとに基づいて、CPU2は該矢印信号灯ALが自車両Cに対するものと簡単に判定することができる。
(2) In the present embodiment, when the image processor 8 recognizes the lighting of the red signal lamp RL and the arrow signal lamp AL, the CPU 2 reads the traffic light data SD based on the own vehicle position of the own vehicle C. When it is determined that the arrow signal lamp AL is turned on, the CPU 2 determines that the arrow signal lamp AL is the own vehicle C based on the own vehicle traveling lane in which the own vehicle C is traveling and the target traveling lane data SDf of the type data SDd. Can be easily determined.

そして、種別データSDdに矢印方向を示す方向データSDgを設けたので、点灯した矢印信号灯ALに即した走行をアナウンスすることができる。
また、自車両走行レーンが、点灯している矢印信号灯ALの対象走行レーンと一致していないとき、CPU2は、自車両Cが自車位置から交差点CRの停止線で停止できる速度を演算し、停止できるように減速・停止制御を実行するようにした。従って、矢印信号灯ALの消灯を見逃しても、交差点CRへの進入を未然に防止できる。
Since the direction data SDg indicating the direction of the arrow is provided in the type data SDd, it is possible to announce the travel according to the lit arrow signal lamp AL.
Further, when the own vehicle traveling lane does not coincide with the target traveling lane of the lit arrow signal light AL, the CPU 2 calculates a speed at which the own vehicle C can stop at the stop line of the intersection CR from the own vehicle position, Deceleration / stop control is executed so that it can be stopped. Therefore, even if the turn-off of the arrow signal light AL is missed, entry to the intersection CR can be prevented in advance.

尚、上記実施形態は、以下のように変更してもよい。
・上記実施形態では、信号機検出支援処理において、交差点CRの信号機SGに矢印信号灯ALが付設されていないとき、何も処理しなかった。これを、赤色信号灯RLが点灯しているときには、自車両Cの車速が、交差点CRに進入する車速として適切でない速い車速であるとき、CPU2は、車両用入出力I/F部12を介して減速制御のための制御信号(ブレーキ信号、加速度信号、変速信号)を車両用ECU13に出力して、自車両Cを減速制御してもよい。
In addition, you may change the said embodiment as follows.
In the above embodiment, in the traffic signal detection support process, when the arrow signal lamp AL is not attached to the traffic signal SG at the intersection CR, nothing is processed. When the red signal lamp RL is lit, when the vehicle speed of the host vehicle C is a high vehicle speed that is not appropriate as the vehicle speed entering the intersection CR, the CPU 2 passes through the vehicle input / output I / F unit 12. A control signal (brake signal, acceleration signal, shift signal) for deceleration control may be output to the vehicle ECU 13 to perform deceleration control of the host vehicle C.

・上記実施形態では、信号機検出支援処理において、交差点CRの信号機SGに矢印信号灯ALが付設されていないとき、何も処理しなかった。これを、例えば、「矢印信号灯ALがありません。右折又は左折する場合は、注意して走行して下さい。」という旨を音声案内して注意を喚起してもよい。   In the above embodiment, in the traffic signal detection support process, when the arrow signal lamp AL is not attached to the traffic signal SG at the intersection CR, nothing is processed. For example, the user may be alerted by voice guidance to the effect that “there is no arrow signal light AL. If you turn right or left, please drive carefully.”

・上記実施形態では、信号機検出支援処理において、青色信号灯BL又は黄色信号灯YLが点灯しているとき、何も処理しなかった。これを、音声で青色信号灯BL又は黄色信号灯YLが点灯している旨を音声案内して注意を喚起してもよい。   In the above embodiment, in the traffic light detection support process, when the blue signal lamp BL or the yellow signal lamp YL is lit, nothing is processed. This may be alerted by voice guidance that the blue signal lamp BL or the yellow signal lamp YL is lit.

・上記実施形態では、撮像手段の前方カメラCAを、自車両Cのルームミラーを支持する支持部材が固着されている部分のルーフの前側に取付けて実施した。これを、自車両Cの前端部のグリル中央位置や、前部バンパーのコーナー部に取付けて実施してもよい。要は前方の信号機SGが撮像できる位置であればどんな位置でもよい。   In the above embodiment, the front camera CA of the image pickup means is mounted on the front side of the roof where the support member that supports the rear mirror of the host vehicle C is fixed. You may implement this by attaching to the grill center position of the front end part of the own vehicle C, or the corner part of a front bumper. In short, any position can be used as long as the front traffic light SG can capture an image.

本実施形態の運転支援装置の構成を説明するブロック図。The block diagram explaining the structure of the driving assistance device of this embodiment. 経路データのデータ構成を説明するための説明図。Explanatory drawing for demonstrating the data structure of path | route data. 地図データのデータ構成を説明するための説明図。Explanatory drawing for demonstrating the data structure of map data. 信号機データのデータ構成を説明するための説明図。Explanatory drawing for demonstrating the data structure of traffic signal data. 交差点に設置された信号機を説明するための説明図。Explanatory drawing for demonstrating the traffic signal installed in the intersection. (a)は3種類の矢印信号灯が付設された信号機の図、(b)は2種類の矢印信号灯が付設された信号機の図、(c)は1種類の矢印信号灯が付設された信号機の図。(A) is a diagram of a traffic signal with three types of arrow signal lights, (b) is a diagram of a traffic signal with two types of arrow signal lights, and (c) is a diagram of a traffic signal with one type of arrow signal lights. . 走行レーンと矢印信号灯との関係を説明するための説明図。Explanatory drawing for demonstrating the relationship between a driving | running lane and an arrow signal light. 前方カメラの撮像範囲を説明するための説明図。Explanatory drawing for demonstrating the imaging range of a front camera. 信号灯の点灯のパターンを説明するための説明図であって、(a)は青色信号灯が点灯しているパターン、(b)は黄色信号灯が点灯しているパターン、(c)は赤色信号灯が点灯しているパターン、(d)は3つの矢印信号灯が点灯しているパターン、(e)は2つの矢印信号灯が点灯しているパターン、(f)は1つの矢印信号灯が点灯しているパターンを説明する図。It is explanatory drawing for demonstrating the lighting pattern of a signal lamp, (a) is a pattern in which a blue signal lamp is lit, (b) is a pattern in which a yellow signal lamp is lit, (c) is a red signal lamp being lit. (D) is a pattern in which three arrow signal lights are lit, (e) is a pattern in which two arrow signal lights are lit, and (f) is a pattern in which one arrow signal light is lit. Illustration to explain. 交差点での支援動作を説明するためのフローチャート。The flowchart for demonstrating the assistance operation | movement in an intersection.

符号の説明Explanation of symbols

1…運転支援装置、1…CPU、3…RAM、4…ROM、5…GPS受信部、6a…車速センサ、6b…ジャイロ、6d…イグニッションスイッチ、7…地図データ記憶部、8…画像プロセッサ、10…音声プロセッサ、13…車両用電子制御装置(車両用ECU)、14…ブレーキ制御装置、15…燃料噴射量制御装置、16…変速制御装置、AL,AL1,AL2,AL3…矢印信号灯、C…自車両、CA…前方カメラ、CR…交差点、BL…青色信号灯、YL…黄色信号灯、RL…赤色信号灯、TL1,TL2,TL3…走行レーン、SG…信号機、G1…前方画像データ、MD…地図データ、RD…経路データ、SD…信号機データ、SDb…設置位置座標データ、SDe…種別データ、Df…対象走行レーンデータ、SDg…方向データ、SP…スピーカ。   DESCRIPTION OF SYMBOLS 1 ... Driving assistance device, 1 ... CPU, 3 ... RAM, 4 ... ROM, 5 ... GPS receiving part, 6a ... Vehicle speed sensor, 6b ... Gyro, 6d ... Ignition switch, 7 ... Map data storage part, 8 ... Image processor, DESCRIPTION OF SYMBOLS 10 ... Voice processor, 13 ... Vehicle electronic control device (Vehicle ECU), 14 ... Brake control device, 15 ... Fuel injection amount control device, 16 ... Shift control device, AL, AL1, AL2, AL3 ... Arrow signal light, C ... own vehicle, CA ... front camera, CR ... intersection, BL ... blue signal light, YL ... yellow signal light, RL ... red signal light, TL1, TL2, TL3 ... travel lane, SG ... traffic light, G1 ... front image data, MD ... map Data, RD: Route data, SD: Traffic signal data, SDb ... Installation position coordinate data, SDe ... Type data, Df ... Target travel lane data, SDg ... Data, SP ... speaker.

Claims (4)

矢印信号灯を付設した信号機において車両の運転を支援する運転支援方法であって、
矢印信号灯を付設した信号機の設置位置情報と、該矢印信号灯の指示する方向とその方向に対応する走行レーンに関する種別情報とを含む信号機データを読み出し、
自車位置及び自車両が走行している自車両走行レーンを認識し、
前記自車位置に基づいて前記自車両前方の信号機の前記信号機データを取得し、
前記信号機の赤色信号灯が点灯しているか否かを判定し、
前記赤色信号灯が点灯していると判定されたとき、前記矢印信号灯が点灯しているか否かを判定し、
前記矢印信号灯が点灯していると判定されたとき、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致するか否かを判定し、
前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致すると判定された場合に、前記種別情報に応じて車両の運転を支援することを特徴とする運転支援方法。
A driving support method for supporting driving of a vehicle in a traffic light with an arrow signal light,
Read the traffic signal data including the installation position information of the traffic light attached with the arrow signal light, the direction indicated by the arrow signal light and the type information relating to the traveling lane corresponding to the direction,
Recognize the vehicle position and the vehicle lane where the vehicle is traveling,
Obtaining the traffic signal data of the traffic signal ahead of the host vehicle based on the host vehicle position;
Determine whether the red light on the traffic light is lit,
When it is determined that the red signal light is lit, determine whether the arrow signal light is lit,
When it is determined that the arrow signal light is lit, it is determined whether or not the traveling lane corresponding to the direction indicated by the arrow signal light and the own vehicle traveling lane match.
A driving support method, wherein driving of a vehicle is supported according to the type information when it is determined that a traveling lane corresponding to a direction indicated by the arrow signal lamp matches the traveling lane of the host vehicle.
矢印信号灯を付設した信号機において車両の運転を支援する運転支援装置であって、
矢印信号灯を付設した信号機の設置位置情報と、該矢印信号灯の指示する方向とその方向に対応する走行レーンに関する種別情報とを含む信号機データを記憶する信号機データ記憶手段と、
自車両の自車位置及び走行レーンを検出する自車位置及び走行レーン検出手段と、
前記信号機データを取得する信号機データ取得手段と、
前記自車両から前方の信号機を撮影する撮影手段と、
前記撮影手段が撮影した画像データに基づいて、前方に位置する信号機の赤色信号灯及び矢印信号灯が点灯しているか否かを判定する点灯判定手段と、
前記赤色信号灯及び前記矢印信号灯が点灯していると判定すると、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致するか否かを判定し、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致すると判定された場合に、前記種別情報に応じて車両の運転を支援する支援手段と、
を備えたことを特徴とする運転支援装置。
A driving support device that supports driving of a vehicle in a traffic light with an arrow signal light,
Traffic signal data storage means for storing traffic signal data including installation position information of a traffic signal provided with an arrow signal lamp, a direction indicated by the arrow signal lamp, and type information relating to a traveling lane corresponding to the direction,
Own vehicle position and traveling lane detecting means for detecting the own vehicle position and traveling lane of the own vehicle;
Traffic light data obtaining means for obtaining the traffic light data;
Photographing means for photographing a traffic light ahead from the host vehicle;
Based on the image data photographed by the photographing means, lighting determination means for determining whether or not the red signal lamp and the arrow signal lamp of the traffic light located ahead are lit,
When it is determined that the red signal lamp and the arrow signal lamp are lit, it is determined whether or not the traveling lane corresponding to the direction indicated by the arrow signal lamp matches the own vehicle traveling lane, and the instruction of the arrow signal lamp is determined. A support means for supporting driving of the vehicle according to the type information when it is determined that the traveling lane corresponding to the direction to be matched and the own vehicle traveling lane match.
A driving support apparatus comprising:
請求項2に記載の運転支援装置において、
前記赤色信号灯が点灯したパターンデータと、前記矢印信号灯の点灯したパターンデータとを記憶する記憶手段を有し、
前記点灯判定手段は、前記画像データと前記パターンデータとを比較して、前記赤色信号灯及び前記矢印信号灯が点灯しているか否か判定することを特徴とする運転支援装置。
In the driving assistance device according to claim 2,
Storage means for storing pattern data in which the red signal lamp is lit and pattern data in which the arrow signal lamp is lit;
The lighting determination unit compares the image data with the pattern data to determine whether or not the red signal lamp and the arrow signal lamp are lit.
請求項2又は3に記載の運転支援装置において、
前記支援手段は、自車両運転手段を駆動制御する走行制御手段を有し、
前記支援装置は、前記赤色信号灯及び前記矢印信号灯が点灯していると判定され、前記矢印信号灯の指示する方向に対応する走行レーンと前記自車両走行レーンとが一致すると判定された場合に、前記自車両運転手段を介して自車両の車速を制御することを特徴とする運転支援装置。
In the driving assistance device according to claim 2 or 3,
The support means includes travel control means for driving and controlling the vehicle driving means,
The support device determines that the red signal light and the arrow signal light are lit, and when it is determined that the traveling lane corresponding to the direction indicated by the arrow signal light matches the own vehicle traveling lane, A driving support device that controls the vehicle speed of the host vehicle through the host vehicle driving means.
JP2007084964A 2007-03-28 2007-03-28 Driving support method and driving support device Expired - Fee Related JP4715790B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007084964A JP4715790B2 (en) 2007-03-28 2007-03-28 Driving support method and driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007084964A JP4715790B2 (en) 2007-03-28 2007-03-28 Driving support method and driving support device

Publications (2)

Publication Number Publication Date
JP2008242987A JP2008242987A (en) 2008-10-09
JP4715790B2 true JP4715790B2 (en) 2011-07-06

Family

ID=39914223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007084964A Expired - Fee Related JP4715790B2 (en) 2007-03-28 2007-03-28 Driving support method and driving support device

Country Status (1)

Country Link
JP (1) JP4715790B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5523250B2 (en) * 2010-08-24 2014-06-18 三菱電機株式会社 Driving assistance device
JP2012068821A (en) * 2010-09-22 2012-04-05 Mitsubishi Heavy Ind Ltd Control situation notification system, on-board device, and control method
JP5591730B2 (en) * 2011-02-10 2014-09-17 富士重工業株式会社 Environment recognition device
JP5797293B2 (en) * 2014-03-03 2015-10-21 三菱電機株式会社 Driving assistance device
JP6262618B2 (en) * 2014-08-12 2018-01-17 株式会社ゼンリン Driving support system, data structure
WO2016181519A1 (en) * 2015-05-13 2016-11-17 日産自動車株式会社 Arrow traffic-signal detection device and arrow traffic-signal detection method
JP6728634B2 (en) * 2015-11-04 2020-07-22 株式会社リコー Detecting device, detecting method and program
JP6494729B2 (en) * 2017-11-24 2019-04-03 株式会社ゼンリン Driving support system, program
JP6505199B2 (en) * 2017-11-24 2019-04-24 株式会社ゼンリン Driving support system, program
JP7156252B2 (en) * 2019-11-13 2022-10-19 トヨタ自動車株式会社 Driving support device
CN112327855A (en) * 2020-11-11 2021-02-05 东软睿驰汽车技术(沈阳)有限公司 Control method and device for automatic driving vehicle and electronic equipment
WO2023037894A1 (en) * 2021-09-09 2023-03-16 株式会社デンソー Vehicle control device and vehicle control method
WO2023037893A1 (en) * 2021-09-09 2023-03-16 株式会社デンソー Vehicle data generation server and vehicle control device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201100A (en) * 1989-12-28 1991-09-02 Matsushita Electric Ind Co Ltd Traffic signal recognition device
JPH08315290A (en) * 1995-05-19 1996-11-29 Aqueous Res:Kk On-vehicle navigation device
JP2006048624A (en) * 2004-07-09 2006-02-16 Aisin Aw Co Ltd Method of producing traffic signal information, method of providing traffic signal guidance information and navigation apparatus
JP2006155319A (en) * 2004-11-30 2006-06-15 Equos Research Co Ltd Travelling support device
JP2006162409A (en) * 2004-12-07 2006-06-22 Aisin Aw Co Ltd Lane determination device of crossing advancing road
JP2006171831A (en) * 2004-12-13 2006-06-29 Denso Corp Signal state display device
JP2006273231A (en) * 2005-03-30 2006-10-12 Aisin Aw Co Ltd Vehicle controller and vehicle control method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03201100A (en) * 1989-12-28 1991-09-02 Matsushita Electric Ind Co Ltd Traffic signal recognition device
JPH08315290A (en) * 1995-05-19 1996-11-29 Aqueous Res:Kk On-vehicle navigation device
JP2006048624A (en) * 2004-07-09 2006-02-16 Aisin Aw Co Ltd Method of producing traffic signal information, method of providing traffic signal guidance information and navigation apparatus
JP2006155319A (en) * 2004-11-30 2006-06-15 Equos Research Co Ltd Travelling support device
JP2006162409A (en) * 2004-12-07 2006-06-22 Aisin Aw Co Ltd Lane determination device of crossing advancing road
JP2006171831A (en) * 2004-12-13 2006-06-29 Denso Corp Signal state display device
JP2006273231A (en) * 2005-03-30 2006-10-12 Aisin Aw Co Ltd Vehicle controller and vehicle control method

Also Published As

Publication number Publication date
JP2008242987A (en) 2008-10-09

Similar Documents

Publication Publication Date Title
JP4715790B2 (en) Driving support method and driving support device
JP6788634B2 (en) Automatic driving support system
CN107430807B (en) Automatic driving assistance system, automatic driving assistance method, and computer program
US8886364B2 (en) Method and apparatus for determining traveling condition of vehicle
US7363130B2 (en) Parking assist systems, methods, and programs
US7899589B2 (en) Control information storage apparatus and program for same
JP5136500B2 (en) Driving support device, driving support method, and driving support program
US20050143911A1 (en) Navigation apparatus, navigation system and navigation method providing guidance for lane changes
JP2006177862A (en) Navigation apparatus
JP2005170154A (en) Vehicle drive assisting device
JPH10339646A (en) Guide display system for car
JP2006112962A (en) Method and apparatus for supporting driving operation
JP4848991B2 (en) Driving support method and driving support device
JP7193948B2 (en) Automated driving support device
JP4983335B2 (en) Traffic light data creation method and traffic light data creation system
JP4561338B2 (en) Driving support device
JP4888285B2 (en) Driving support device, driving support method, and computer program
JP2006162409A (en) Lane determination device of crossing advancing road
JP2022117882A (en) Automatic drive assisting system
JP4891745B2 (en) Exit detection device
AU2019348095A1 (en) Prompting method and system for vehicle, and vehicle
US20090248251A1 (en) Headlight control device
WO2018173512A1 (en) Display control device for vehicle and display unit for vehicle
JP2020045039A (en) Vehicle control method and vehicle control apparatus
JP2005189009A (en) Navigation device and navigation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110314

R150 Certificate of patent or registration of utility model

Ref document number: 4715790

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150408

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees