JP5454179B2 - Driving assistance device - Google Patents
Driving assistance device Download PDFInfo
- Publication number
- JP5454179B2 JP5454179B2 JP2010021086A JP2010021086A JP5454179B2 JP 5454179 B2 JP5454179 B2 JP 5454179B2 JP 2010021086 A JP2010021086 A JP 2010021086A JP 2010021086 A JP2010021086 A JP 2010021086A JP 5454179 B2 JP5454179 B2 JP 5454179B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- vehicle
- lane
- warning
- host vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、運転支援装置に関し、より特定的には、車両に搭載され、当該車両の乗員に対して警告を行うことができる運転支援装置に関する。 The present invention relates to a driving support device, and more particularly to a driving support device that is mounted on a vehicle and can warn an occupant of the vehicle.
従来、車両に搭載されたカメラなどにより、上記車両が走行している走行路面の区画線を認識し、当該認識結果に基づいてドライバーが行うハンドル操作を支援したり、上記車両が区画線から逸脱する可能性が高い場合に、ドライバーに警告したりする装置が実用化されている。 Conventionally, a lane marking on the road surface on which the vehicle is traveling is recognized by a camera or the like mounted on the vehicle, and a steering operation performed by the driver based on the recognition result is supported, or the vehicle deviates from the lane marking. Devices that warn drivers when there is a high probability of doing so have been put into practical use.
具体的には、車両に搭載されたカメラにより撮像されたから画像から右側区画線と左側区画線とを認識し、車両の走行すべきレーン(右側区画線と左側区画線との間のエリア)、つまり目標軌道を設定し、当該目標軌道に沿った走行ができるようにハンドル操作を支援する制御である(以下、LKA(Lane keep Assist)制御と称すことがある)。また、車両に搭載されたカメラにより撮像された画像から車両の走行すべきレーン(右側区画線と左側区画線との間のエリア)を認識し、車両のドライバーが意図せずに、当該レーンから逸脱しそうであると判断した場合や、逸脱すると判断した場合、事前に車両のドライバーに対して、警告装置等を介して警告を行う制御である(以下、LDW(Lane Departure Warning)制御と称すことがある)。 Specifically, the right lane line and the left lane line are recognized from the image captured by the camera mounted on the vehicle, and the lane to be traveled by the vehicle (the area between the right lane line and the left lane line), In other words, this is control that sets a target trajectory and assists the steering operation so that the vehicle can travel along the target trajectory (hereinafter, referred to as LKA (Lane keep Assist) control). In addition, the lane (the area between the right lane marking and the left lane marking) on which the vehicle should travel is recognized from the image captured by the camera mounted on the vehicle, and the vehicle driver unintentionally When it is determined that the vehicle is likely to deviate or when it is determined that the vehicle will deviate, the vehicle driver is warned in advance via a warning device or the like (hereinafter referred to as LDW (Lane Departure Warning) control). Is).
このような装置の一例として、例えば特許文献1に開示された装置がある。
As an example of such an apparatus, there is an apparatus disclosed in
上記特許文献1に開示されている技術は、例えば、信号機、道路標識、道路標示、交差点、及びカーブ路の少なくとも1つに関する情報を取得し、車線維持制御(例えば、上記LKA制御、LDW制御等)における制御方針を設定するものである。
The technology disclosed in
ところで、上記LKA制御およびLDW制御においては、車両に搭載されたカメラにより撮像されたから画像から右側区画線と左側区画線とを認識し、当該車両の走行すべきレーンを設定するが、右側区画線と左側区画線との認識の妨げとなるようものが走行路面に存在していることがある。そのため、右側区画線と左側区画線との認識の妨げとなるようものが走行路面に存在している場合に、上記LKA制御およびLDW制御を精度良く行うことができない。そこで、右側区画線と左側区画線との認識の妨げとなるようものが走行路面に存在している場合には、上記LKA制御およびLDW制御を抑制することが望ましい。 By the way, in the LKA control and the LDW control, the right lane line and the left lane line are recognized from the image captured by the camera mounted on the vehicle, and the lane to be traveled by the vehicle is set. There may be something on the road surface that hinders the recognition of the left lane marking. For this reason, the LKA control and the LDW control cannot be performed with high accuracy when there is something on the road surface that hinders recognition of the right lane marking and the left lane marking. Therefore, when there is something on the road surface that hinders recognition of the right lane marking and the left lane marking, it is desirable to suppress the LKA control and LDW control.
しかしながら、上記特許文献1に開示されている技術は、例えば、信号機、道路標識、道路標示、交差点、及びカーブ路の少なくとも1つに関する情報を取得し、車線維持制御(例えば、上記LKA制御、LDW制御等)における制御方針を設定するものであり、右側区画線と左側区画線との認識の妨げとなるようものが走行路面に存在している場合に、上記LKA制御およびLDW制御を抑制するものではない。
However, the technique disclosed in
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、簡易な方法で、画像認識の妨げとなるようなものが走行路面に存在していても、安定したLKA制御およびLDW制御を行うことのできる運転支援装置を提供することにある。 The present invention has been made in view of the above circumstances, and the object of the present invention is to provide a stable LKA control in a simple manner, even if an object that hinders image recognition is present on the road surface. And it is providing the driving assistance device which can perform LDW control.
上記目的を達成するために、本発明は、以下の構成を採用した。すなわち、第1の発明は、走行レーンに沿って走行できるように車両を制御する運転支援装置である。上記運転支援装置は、上記車両前方を撮像する撮像手段と、上記撮像手段が撮像した画像から走行路面の区画線を検出し、上記走行レーンを設定する設定手段と、当該走行レーンに沿って走行できるように上記車両の運転者が行うハンドル操作を補助する操舵補助手段と、上記車両が上記区画線から逸脱することが予想される場合に警告する警告手段と、上記撮像手段が撮像した画像から道路標識および道路標示の少なくとも一方を検出し、当該検出結果に基づいた情報を道路情報として算出する道路情報算出手段と、当該道路情報に基づき上記警告動作の動作条件を変更する動作抑制手段とを備え、上記動作抑制手段は、上記道路情報が中央線または交互通行の道路標識であることを示す情報であった場合、右側の上記区画線から逸脱することが予想される場合に行う上記警告動作のタイミングと左側の上記区画線から逸脱することが予想される場合に行う上記警告動作のタイミングとを予め定められた条件に基づいて異ならせる。 In order to achieve the above object, the present invention employs the following configuration. That is, the first invention is a driving support device that controls a vehicle so that the vehicle can travel along a traveling lane. The driving support device includes an imaging unit that images the front of the vehicle, a setting unit that detects a lane marking on the road surface from an image captured by the imaging unit, sets the traveling lane, and travels along the traveling lane. Steering assisting means for assisting the steering operation performed by the driver of the vehicle, warning means for warning when the vehicle is expected to deviate from the lane marking, and an image captured by the imaging means detecting at least one of the road signs and road markings, the detection result information based on the road information calculating means for calculating as a road information, the operation inhibition of changing the operating conditions of the upper Symbol warning operation-out based on the road information and means, said operation inhibiting means, when the road information is information indicating that it is a road sign of the center line or alternating way, deviating from the right side of the lane line Doo is varied based on the warning to deviate from the separation lines of the timing and the left operation predetermined and the timing of the warning operation performed when the expected condition for when it is expected.
第2の発明は、走行レーンに沿って走行できるように車両を制御する運転支援装置であって、上記車両前方を撮像する撮像手段と、上記撮像手段が撮像した画像から走行路面の区画線を検出し、上記走行レーンを設定する設定手段と、上記走行レーンに沿って走行できるように上記車両の運転者が行うハンドル操作を補助する操舵補助手段と、上記車両が上記区画線から逸脱することが予想される場合に警告する警告手段と、上記撮像手段が撮像した画像から道路標識および道路標示の少なくとも一方を検出し、当該検出結果に基づいた情報を道路情報として算出する道路情報算出手段と、上記道路情報に基づき上記区画線の認識精度が低下すると予想される場合に上記操舵補助手段が行う補助動作および上記警告手段が行う警告動作を抑制する動作抑制手段とを備え、上記動作抑制手段は、上記道路情報が車速制限の道路標識であることを示す情報であり、当該車速制御の道路標識に表示されている制限速度を示す数値が予め定められた値以下であった場合、上記操舵補助手段が行う補助動作および上記警告手段が行う警告動作を抑制することを特徴とする。 A second aspect of the invention is a driving support device for controlling a vehicle so that the vehicle can travel along a traveling lane, the imaging unit imaging the front of the vehicle, and the lane markings on the traveling road surface from the image captured by the imaging unit. Detecting means for setting the traveling lane, steering assisting means for assisting a steering operation performed by the driver of the vehicle so that the vehicle can travel along the traveling lane, and the vehicle deviating from the lane marking. Warning means for warning when the image is expected, road information calculation means for detecting at least one of a road sign and a road marking from an image captured by the imaging means, and calculating information based on the detection result as road information; , If the recognition accuracy of the lane marking is expected to be reduced based on the road information, the auxiliary action performed by the steering auxiliary means and the warning action performed by the warning means are suppressed. And a switching restraining means that, the operation suppressing means is information indicating that the road information is a road sign of the vehicle speed limiting a numerical value indicating the speed limit displayed on road signs of the vehicle speed control in advance When the value is equal to or less than a predetermined value, the auxiliary operation performed by the steering auxiliary unit and the warning operation performed by the warning unit are suppressed.
第3の発明は、走行レーンに沿って走行できるように車両を制御する運転支援装置であって、上記車両前方を撮像する撮像手段と、上記撮像手段が撮像した画像から走行路面の区画線を検出し、上記走行レーンを設定する設定手段と、上記走行レーンに沿って走行できるように上記車両の運転者が行うハンドル操作を補助する操舵補助手段と、上記車両が上記区画線から逸脱することが予想される場合に警告する警告手段と、上記撮像手段が撮像した画像から道路標識および道路標示の少なくとも一方を検出し、当該検出結果に基づいた情報を道路情報として算出する道路情報算出手段と、上記道路情報に基づき上記区画線の認識精度が低下すると予想される場合に上記操舵補助手段が行う補助動作および上記警告手段が行う警告動作を抑制する動作抑制手段とを備え、上記動作抑制手段は、上記道路情報が路面凹凸を示す道路標識を示す情報であった場合、上記操舵補助手段が行う上記補助動作および上記警告手段が行う上記警告動作を抑制することを特徴とする。 A third invention is a driving support device for controlling a vehicle so as to be able to travel along a traveling lane, the imaging means for imaging the front of the vehicle, and the lane marking on the road surface from the image captured by the imaging means. Detecting means for setting the traveling lane, steering assisting means for assisting a steering operation performed by the driver of the vehicle so that the vehicle can travel along the traveling lane, and the vehicle deviating from the lane marking. Warning means for warning when the image is expected, road information calculation means for detecting at least one of a road sign and a road marking from an image captured by the imaging means, and calculating information based on the detection result as road information; , If the recognition accuracy of the lane marking is expected to be reduced based on the road information, the auxiliary action performed by the steering auxiliary means and the warning action performed by the warning means are suppressed. That a switching restraining means, said operation inhibiting means, when the road information is information indicating a road-labeled indicating the road surface unevenness, above the auxiliary operation and the warning means said steering assist means performs performs It is characterized by suppressing the warning operation.
第4の発明は、走行レーンに沿って走行できるように車両を制御する運転支援装置であって、上記車両前方を撮像する撮像手段と、上記撮像手段が撮像した画像から走行路面の区画線を検出し、上記走行レーンを設定する設定手段と、上記走行レーンに沿って走行できるように上記車両の運転者が行うハンドル操作を補助する操舵補助手段と、上記車両が上記区画線から逸脱することが予想される場合に警告する警告手段と、上記撮像手段が撮像した画像から道路標識および道路標示の少なくとも一方を検出し、当該検出結果に基づいた情報を道路情報として算出する道路情報算出手段と、上記道路情報に基づき上記操舵補助手段が行う補助動作および上記警告手段が行う警告動作を抑制する動作抑制手段とを備え、上記動作抑制手段は、上記道路情報が合流交通ありの道路標識であることを示す情報である場合、上記操舵補助手段が行う補助動作および上記警告手段が行う警告動作を抑制することを特徴とする。 A fourth aspect of the invention is a driving support device for controlling a vehicle so that the vehicle can travel along a traveling lane, the imaging unit capturing an image of the front of the vehicle, and a lane marking on the traveling road surface from the image captured by the imaging unit. Detecting means for setting the traveling lane, steering assisting means for assisting a steering operation performed by the driver of the vehicle so that the vehicle can travel along the traveling lane, and the vehicle deviating from the lane marking. Warning means for warning when the image is expected, road information calculation means for detecting at least one of a road sign and a road marking from an image captured by the imaging means, and calculating information based on the detection result as road information; , and a suppressing operation suppressing means a warning operation assistance operation and the warning means said steering assist means performs, based on the road information performed, the operation suppressing means includes an upper If the road information is information indicating the road signs there merging traffic, which comprises suppressing the warning operation assistance operation and the warning means said steering assist means performs performed.
第5の発明は、上記第2乃至第4の何れか1の発明において、上記動作抑制手段は、上記操舵補助手段が行う上記補助動作を禁止、または上記補助動作を弱めることを特徴とする。 According to a fifth invention, in any one of the second to fourth inventions, the operation suppressing means prohibits the auxiliary operation performed by the steering auxiliary means or weakens the auxiliary operation.
第6の発明は、上記第2乃至第4の何れか1の発明において、上記動作抑制手段は、上記警告手段が行う上記警告動作を禁止、または上記警告動作を行うタイミングを遅くすることを特徴とする。 According to a sixth invention, in any one of the second to fourth inventions, the operation suppressing means prohibits the warning operation performed by the warning means or delays a timing for performing the warning operation. And
第1の発明は、上記動作抑制手段は、上記道路情報が中央線または交互通行の道路標識であることを示す情報であった場合、右側の上記区画線から逸脱することが予想される場合に行う上記警告動作のタイミングと左側の上記区画線から逸脱することが予想される場合に行う上記警告動作のタイミングとを予め定められた条件に基づいて異ならせることを特徴とする。 The first invention, the upper Symbol operation suppressing means, when the road information is information indicating that it is a road sign of the center line or alternating traffic, if that is expected to deviate from the right side of the lane line The timing of the warning operation to be performed in the above and the timing of the warning operation to be performed when it is expected to deviate from the lane marking on the left side are made different based on a predetermined condition.
上記第1の発明によれば、道路上に既に設置してあるインフラ設備等を用いて、画像認識の妨げとなるようなものの存在を認識するので、簡易な方法で、安定したLKA制御およびLDW制御を行うことができる。 According to the first aspect of the present invention, since the existence of an obstacle that hinders image recognition is recognized by using infrastructure equipment already installed on the road, stable LKA control and LDW can be performed in a simple manner. Control can be performed.
上記第3の発明によれば、カメラにより撮像されたから画像から車両の走行すべきレーンを認識する場合において、車両の走行すべきレーンの基準となる区画線を誤認識してしまうことを防ぐことができる。言い換えると、車両の走行すべきレーンの基準となる区画線を精度良く認識することができる。 According to the above Symbol third invention, preventing in the case of recognizing the lane should travel of the vehicle from the image, that misrecognition partition line to be running to be lane reference the vehicle from being captured by the camera be able to. In other words, it is possible to accurately recognize a lane marking that serves as a reference for a lane on which the vehicle should travel.
上記第2の発明によれば、道路の制限速度に応じて、例えば、LKA制御やLDW制御を抑制することができる。 According to the second aspect of the invention, for example, LKA control and LDW control can be suppressed according to the speed limit of the road.
上記第5の発明によれば、LKA制御が抑制されるので、ドライバーが感じる違和感を低減させることができる。 According to the fifth aspect, since LKA control is suppressed, the uncomfortable feeling felt by the driver can be reduced.
上記第6の発明によれば、LDW制御が抑制されるので、不要警報を低減することができる。 According to the sixth aspect, since LDW control is suppressed, unnecessary alarms can be reduced.
上記第1の発明によれば、交互通行である道路を走行するときの運転者の運転状態(対向車が向かってきた場合、安全にすれ違うことのできるように予め道路の左側に寄って走行)に応じたLKA制御やLDW制御を行うことができる。 According to the first aspect of the present invention, the driving state of the driver when driving on a road that is alternately passing (running on the left side of the road in advance so that it can be safely passed if an oncoming vehicle comes) LKA control and LDW control according to the above can be performed.
以下、図面を参照しつつ、本発明の一実施形態に係る運転支援装置について説明する。なお、本実施形態では、当該運転支援装置が車両(具体的には、乗用車を想定し、以下、自車両mvと称す)に搭載される例について説明する。 Hereinafter, a driving support apparatus according to an embodiment of the present invention will be described with reference to the drawings. In the present embodiment, an example will be described in which the driving support device is mounted on a vehicle (specifically, a passenger car is assumed and is hereinafter referred to as a host vehicle mv).
本発明に係る運転支援装置は、自車両mvに搭載されたカメラを用いて、当該自車両mvが走行している走行環境を示す情報を認識し、後述するLKA制御およびLDW制御の少なくとも一方の制御を変更するものである。 The driving assistance apparatus according to the present invention recognizes information indicating a traveling environment in which the host vehicle mv is traveling using a camera mounted on the host vehicle mv, and at least one of LKA control and LDW control described later. The control is changed.
なお、詳細は後述するが、自車両mvが走行している走行環境を示す情報とは、自車両mvが走行している走行環境に設置されたインフラ設備等であり、例えば、規制等を示す文字看板やイラストで描かれた看板(いわゆる道路標識)、路面上に描かれた文字やイラスト(いわゆる道路標示)などである。 Although details will be described later, the information indicating the traveling environment in which the host vehicle mv is traveling is infrastructure equipment or the like installed in the traveling environment in which the host vehicle mv is traveling. These are signboards drawn with character signs and illustrations (so-called road signs), characters and illustrations drawn on road surfaces (so-called road markings), and the like.
さらに、以下の説明において、LKA制御およびLDW制御等の総称として車線維持制御と称すことがある。 Further, in the following description, lane keeping control may be referred to as a general term for LKA control, LDW control, and the like.
以下、図面を参照しつつ、本発明の一実施形態に係る運転支援装置について説明する。図1は、当該運転支援装置の構成の一例を示すブロック図である。 Hereinafter, a driving support apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating an example of the configuration of the driving support device.
図1において、運転支援装置は、運転支援ECU(Electrical Control Unit)1を備えている。この運転支援ECU1には、レーダ装置2と、カメラ3と、車速検出装置4と、操舵トルク検出装置5と、ブレーキ装置6と、ウィンカースイッチ7と、LKA(Lane keep Assist)メインスイッチ8と、LDW(Lane Departure Warning)メインスイッチ9と、電動パワーステアリング(Electric Power Steering、以下、略してEPSと称す)10と、エンジンECU(Electrical Control Unit)11と、表示装置12と、音声出力装置13とが接続されている。
In FIG. 1, the driving support apparatus includes a driving support ECU (Electrical Control Unit) 1. The driving assistance ECU 1 includes a
運転支援ECU1は、レーダ装置2、カメラ3、車速検出装置4、操舵トルク検出装置5、およびブレーキ装置6、ウィンカースイッチ7、LKAメインスイッチ8、LDWメインスイッチ9等から出力される情報を用いて、自車両mvに搭載されたEPS10、エンジンECU11、表示装置12および音声出力装置13等を制御し、ドライバーの運転をサポートする。
The driving assistance ECU 1 uses information output from the
レーダ装置2は、自車両mvの所定の位置(例えば、前照灯や方向指示器などが搭載されている位置)に設置され、自車両mvの外側に向けて電磁波を照射し、自車両mv前方の周囲を監視している。具体的には、レーダ装置2は、自車両mvの前方の周囲に向けて電磁波を照射し、当該レーダ装置2の検出範囲内に存在するターゲット(他車両、自転車、歩行者、建造物などの物体)を検出する。そして、レーダ装置2は、例えば、自車両mvの前方および側方周囲に存在するターゲットを検出し、当該ターゲットを検出した信号を、運転支援ECU1に出力する。
The
カメラ3は、例えばCCDカメラ、CMOSカメラ、赤外線カメラ等であり、自車両mvの前方を撮像する。そして、カメラ3は、例えば、所定時間間隔で自車両mvの前方を撮像し、当該撮像した画像を運転支援ECU1に出力する。なお、カメラ3が設置される位置は、自車両mvの前方を撮像するため、当該自車両mvの進行方向に向けられており、ドライバーの運転の妨げにならない、例えばバックミラー裏側等に設置される。
The
車速検出装置4は、自車両mvが走行する際の車速を検出する。そして、車速検出装置4は、検出した車速を運転支援ECU1に出力する。また、操舵トルク検出装置5は、例えば、自車両mvのステアリングハンドルに接続されたステアリングロッドに取り付けられている。そして、操舵トルク検出装置5は、当該ステアリングハンドルに与えられた操舵トルクを検出し、当該検出した操舵トルクを運転支援ECU1に出力する。さらに、ブレーキ装置6は、自車両mvのブレーキに取り付けられ、ドライバーが行うブレーキ操作をアシストしたり、ドライバーがブレーキ操作を行ったりした場合、当該ブレーキが駆動、操作されたことを示す情報を運転支援ECU1に出力する。
The vehicle
ウィンカースイッチ7は、方向指示器を点灯させるためのスイッチであり、自車両mvのドライバーが方向指示器を点灯させたり消灯させたりした場合、当該操作をしたことを示す情報を運転支援ECU1に出力する。
The
LKAメインスイッチ8およびLDWメインスイッチ9は、LKA制御およびLDW制御を開始させるためのスイッチである。具体的には、LKAメインスイッチ8およびLDWメインスイッチ9は、自車両mvのドライバーが運転席に着席した状態で操作できる位置に設置される。そして、ドライバーが上記各スイッチをそれぞれ操作することにより、運転支援ECU1によって各制御(LKA制御および/またはLDW制御)がそれぞれ開始される。なお、LKAメインスイッチ8およびLDWメインスイッチ9は、一例であり、例えば、ドライバーが操作して、運転支援ECU1に対して、車線維持制御を開始または中止させることができるものであればよい。
The LKA
EPS10は、ドライバーが行うハンドル操作を補助したり、自車両mvが走行すべきレーンから逸脱する可能性が高い場合などに運転支援ECU1からの指示に従って自車両mvが上記走行すべきレーンを走行するようにドライバーのハンドル操作を支援する。また、エンジンECU11は、自車両mvのエンジンを制御するための装置であり、運転支援ECU1からの指示に従って、自車両mvのエンジンのトルクを制御する。つまり、EPS10およびエンジンECU11は、自車両mvを動的に制御する装置である。
The
なお、図1には、一例として、EPS10とエンジンECU11とを示したが、動的に制御する装置は、これに限られるものではない。例えば、自車両mvと物体との衝突が避けられないと運転支援ECU1が判断した場合に、自車両mvの乗員の拘束性を高め、被害を低減するシートベルト装置や座席シート等も含まれる。
In addition, although EPS10 and engine ECU11 were shown in FIG. 1 as an example, the apparatus controlled dynamically is not restricted to this. For example, when the driving
表示装置12は、一例として、自車両mvの運転席に着席して当該自車両mvを運転するドライバーから視認可能な位置(運転席前面の計器盤112の中)に設けられる、液晶ディスプレイ、発光ダイオード(LED)、有機ELディスプレイなどの表示媒体である(図2参照)。また、表示装置12は、ハーフミラー(反射ガラス)を運転席前面のフロントガラスの一部に設け、当該ハーフミラーに情報等の虚像を蛍光表示するヘッドアップディスプレイ(Head-Up Display)等、他の表示装置(それぞれ図示せず)であってもよい。これによって、自車両mvのドライバーは、運転席に着席し正面(走行方向)を向いたまま、表示装置12に表示された情報を確認することができる。なお、表示装置12に表示される情報については後述する。
As an example, the
音声出力装置13は、各種情報を音声で自車両mvのドライバーに提供するものである。具体的には、音声出力装置13は、運転支援ECU1からの指示に応じた警告や情報をドライバーに報知する。また、音声出力装置13は、具体的には、自車両mvに備わっているスピーカー等である。
The
なお、運転支援ECU1からの指示に応じた警告を行う装置は、音声出力装置13に限られず、例えば、運転支援ECU1からの指示に従って、座席シートやステアリングハンドル等に振動を加え、自車両mvのドライバーに警告をする振動装置(図示せず)等も含まれる。
Note that a device that issues a warning in response to an instruction from the driving
(第1の実施形態)
次に、図3〜図10を参照しつつ、本発明に係る第1の実施形態について説明する。具体的には、本発明に係る第1の実施形態は、カメラ3により撮像された画像を認識し、予め定められた条件に従って自車両mvが走行している道路標識を表示装置12に表示させたり、予め定められた条件に従って上記車線維持制御の条件を変更したりするものである。
(First embodiment)
Next, a first embodiment according to the present invention will be described with reference to FIGS. Specifically, the first embodiment according to the present invention recognizes an image captured by the
以下、図3を参照しつつ、第1の実施形態に係る運転支援装置の運転支援ECU1において行われる処理の流れの一例を説明する。図3は、第1の実施形態に係る運転支援装置の運転支援ECU1における処理の流れの一例を示したフローチャートである。
Hereinafter, an example of the flow of processing performed in the
図3に示すフローチャートは、例えば、運転支援ECU1が当該運転支援ECU1内に備えられている図示しない記憶部に記憶されている所定のプログラムを実行することにより行われる。また、図3に示すフローチャートの処理は、運転支援ECU1の電源がON(例えば、運転支援装置が搭載された自車両mvのイグニッションスイッチがON)されることによって開始される。また、当該フローチャートに示した処理は、運転支援ECU1の電源がOFF(例えば、運転支援装置が搭載された自車両mvのイグニッションスイッチがOFF)されることによって終了される。なお、以下の説明において、イグニッションスイッチをIGと称す。
The flowchart shown in FIG. 3 is performed, for example, when the driving
図3のステップS11において、運転支援ECU1は、IGがONであるか否かを判断する。そして、IGがONであると判断した場合(YES)、次のステップS12に処理を進める。一方、運転支援ECU1は、IGがONではない、つまりIGがOFFであると判断した場合(NO)、当該フローチャートでの処理を終了する。
In step S11 of FIG. 3, the driving
ステップS12において、運転支援ECU1は、自車両mvの車両情報を取得する。なお、当該ステップS12において、運転支援ECU1が取得する車両情報とは、例えば、車線維持制御を行わせるためのスイッチ(例えば、LKAメインスイッチ8やLDWメインスイッチ9等)が、ドライバーによって押下されていることを示す情報などである。
In step S12, the driving
ステップS13において、運転支援ECU1は、車線維持制御を開始するか否かを判断する。具体的には、運転支援ECU1は、上記ステップS12で取得した車両情報を参照して、車線維持制御を開始するか否かを判断する。そして、例えば、運転支援ECU1は、上記ステップS12で取得した車両情報から、例えばLKAメインスイッチ8やLDWメインスイッチ9がドライバーによって押下されている場合など、判断を肯定し(YES)、次のステップS14に処理を進める。一方、例えば、運転支援ECU1は、ステップS12で取得した車両情報から、例えばLKAメインスイッチ8やLDWメインスイッチ9がドライバーによって押下されていなかった場合など、判断を否定し(NO)、上記ステップS12に処理を戻す。
In step S13, the driving
図3のステップS14において、運転支援ECU1は、カメラ3が撮像した画像を取得する。具体的には、運転支援ECU1は、カメラ3によって撮像された自車両mv前方の画像を当該カメラ3から取得する。そして、運転支援ECU1は、次のステップS15に処理を進める。
In step S14 of FIG. 3, the driving
ステップS15において、運転支援ECU1は、カメラ3によって撮像された自車両mv前方の画像について画像処理を行う。具体的には、当該ステップS15において、運転支援ECU1は、自車両mvの前方の道路標識を認識する処理を行う。以下、ステップS15において行われる処理について説明する。
In step S15, the driving
図4は、自車両mvに搭載されたカメラ3が撮像した、自車両mvの前方画像14の一例を示した図である。ステップS15において、運転支援ECU1は、上記前方画像14の所定方向(例えば、縦方向)にソーベルフィルタ処理を施し、当該処理後のソーベル画像内における輝度の差を用いて、当該ソーベル画像内から縦方向のエッジ点を抽出する処理を行う。なお、このとき、運転支援ECU1は、上記前方画像14において道路標識が存在する範囲を推定してもよい。
FIG. 4 is a diagram illustrating an example of a
具体的には、上記前方画像14において道路標識が存在する範囲の推定に関して、例えば、当該運転支援装置が搭載された自車両mvが左側通行である日本国内で使用される場合、当該自車両mvの進行方向の左側に存在する物体は道路標識である可能性が高いとして、当該物体は道路標識であると推定してもよいし、自車両mvが走行している走行路面上に描かれた区画線(特に左側区画線)の位置を基準として、道路標識が存在すると推定してもよい。つまり、車両が走行する走行路面に設置されている標識は、当該走行路面において、どの位置(高さ)に設置されていることが多いのか等を予め運転支援ECU1の記憶部(図示せず)に記憶させておき、カメラ3の撮像画像(例えば前方画像14)中で道路標識を認識する範囲を予め決めておいてもよい。
Specifically, regarding the estimation of the range in which the road sign is present in the
そして、運転支援ECU1は、上記前方画像14から道路標識15を探す。例えば、運転支援ECU1は、当該運転支援ECU1内の図示しない記憶部に予め記憶されている道路標識のテンプレートを参照して、上記前方画像14から抽出されたエッジ点およびエッジラインと上記テンプレートとでパターンマッチング処理を行うことに上記前方画像14から道路標識15を認識する。
Then, the driving
例えば、運転支援ECU1内の図示しない記憶部には、図5に示すような道路標識のテンプレートが予め記憶されている。ここで、運転支援ECU1内の図示しない記憶部に記憶されているテンプレートの一例を説明する。例えば、図5の(a)は、自動車専用道路を示す道路標識の一例である。また、図5に示してある自動車専用道路を示す道路標識以外の説明、つまり他の道路標識についての説明は後述の説明において適宜する。
For example, a road sign template as shown in FIG. 5 is stored in advance in a storage unit (not shown) in the
なお、図5で示した道路標識は一例であり、実際には、運転支援ECU1内の図示しない記憶部には、日本国内および外国において存在しうる道路標識のテンプレートが予め記憶されていてもよい。
Note that the road sign shown in FIG. 5 is an example, and in fact, a road sign template that may exist in Japan and abroad may be stored in advance in a storage unit (not shown) in the
また、上述した説明は、運転支援装置が搭載された車両が左側通行である日本国内で使用される場合を想定したが、これに限らず、同様の考え方で自車両mv(車両)が右側通行である外国においても道路標識を認識することができる。さらに、カメラ3が撮像した画像から道路標識を認識する手法は一例であり、上述した例に限らず既知の手法を用いても構わない。
Moreover, although the above-mentioned description assumed the case where the vehicle in which the driving assistance device was mounted was used in Japan which is left-hand traffic, it is not restricted to this, and the own vehicle mv (vehicle) is right-hand traffic by the same way of thinking. In other countries, road signs can be recognized. Furthermore, the method of recognizing the road sign from the image captured by the
以下の説明において、特に断りのない限り、まず自車両mvに搭載されたカメラ3が撮像した当該自車両mvの前方画像14中の道路標識15は、自動車専用道路を示す標識(例えば図5の(a))であると、言い換えると、自車両mvの前方には自動車専用道路を示す標識が設置されていると仮に想定して、図3のステップS16から説明を続ける。
In the following description, unless otherwise specified, a
図3の説明に戻って、ステップS16において、運転支援ECU1は、上記ステップS15で自車両mvの前方の道路標識を認識する処理を行った結果、信頼度の値はC1以上であるか否かを判断する。そして、運転支援ECU1は、当該ステップS16の判断を肯定した場合(YES)、次のステップS17に処理を進める。一方、運転支援ECU1は、当該ステップS16での判断を否定した場合(NO)、ステップS110に処理を進める。
Returning to the description of FIG. 3, in step S <b> 16, as a result of performing the process of recognizing the road sign ahead of the host vehicle mv in step S <b> 15, the driving
ステップS17において、運転支援ECU1は表示を実行する。具体的には、当該ステップS17において、運転支援ECU1は、表示装置12を制御し、例えば計器盤112の中に設けられた液晶ディスプレイに自動車専用道路の標識のイラストや、図5の(a)を模した画像を表示する。そして、運転支援ECU1は、次のステップS18に処理を進める。
In step S17, the driving
ステップS18において、運転支援ECU1は、上記ステップS15で自車両mvの前方の道路標識を認識する処理を行った結果、信頼度の値はC2以上であるか否かを、さらに判断する。そして、運転支援ECU1は、当該ステップS18の判断を肯定した場合(YES)、次のステップS19に処理を進める。一方、運転支援ECU1は、当該ステップS18での判断を否定した場合(NO)、ステップS110に処理を進める。
In step S18, the driving
なお、上記ステップS18における信頼度の値は、上記ステップS16における信頼度の値よりも大きい値である(信頼度の値C2>信頼度の値C1)。 The reliability value in step S18 is larger than the reliability value in step S16 (reliability value C2> reliability value C1).
ここで、上記ステップS16およびステップS18における信頼度について説明する。上記ステップS16およびステップS18における信頼度とは、上記ステップS15において、運転支援ECU1がカメラ3によって撮像された自車両mv前方の画像について画像処理を行った結果、上記前方画像14から道路標識15を正しく認識・識別できたか否かの度合いを示す値のことである。一例として、信頼度の値が1〜10の範囲で設定されていると仮に想定し、上記信頼度の値が大きいほど、信頼度が高いとする。そして、上述したように、運転支援ECU1が、当該運転支援ECU1内の図示しない記憶部に予め記憶されている道路標識のテンプレートを参照する。その後、例えば、上記前方画像14から抽出されたエッジ点およびエッジラインと上記テンプレートとでパターンマッチング処理を行った結果、一致度に応じて信頼度が決定される。そして、当該一致度が高かった場合、信頼度の値は大きくなる、つまり上記前方画像14に示された道路標識15は、自動車専用道路を示す標識である可能性が高いと判断されることになる。
Here, the reliability in step S16 and step S18 will be described. The reliability in the step S16 and the step S18 means that the driving
このように、運転支援ECU1は、まず、画像処理における信頼度の値がC1以上であった場合に表示を実行し、さらに信頼度の値がC2以上であった場合に表示し、さらに後述する車線維持制御の条件を変更する。
As described above, the driving
なお、仮に、上記ステップS16での画像処理における信頼度評価を第1の評価、上記ステップS18での画像処理における信頼度評価を第2の評価と称する。また、上述したように、信頼度の値は、信頼度の値C2>信頼度の値C1の関係にあるので、第2の評価の基準は第1の評価の基準に比べて厳しく設定されている。つまり、第1の評価の基準を満たした場合、運転支援ECU1は、自車両mvに搭載されたカメラ3が撮像した当該自車両mvの前方画像14における道路標識15は、自動車専用道路を示す標識である可能性が高いと判断し、表示を行う。さらに、第2の評価の基準を満たした場合、運転支援ECU1は、自車両mvに搭載されたカメラ3が撮像した当該自車両mvの前方画像14における道路標識15は、自動車専用道路を示す標識である可能性が、より高いと判断し、後述するステップS19での処理で車線維持制御を自動車専用道路に対応したものに変更する。
Note that the reliability evaluation in the image processing in step S16 is referred to as a first evaluation, and the reliability evaluation in the image processing in step S18 is referred to as a second evaluation. Further, as described above, since the reliability value is in the relationship of reliability value C2> reliability value C1, the second evaluation criterion is set stricter than the first evaluation criterion. Yes. That is, when the first evaluation criterion is satisfied, the driving
言い換えると、自車両mvに搭載されたカメラ3が撮像した当該自車両mvの前方画像14における道路標識15は、自動車専用道路を示す標識である可能性が低かった場合、表示や車線維持制御の条件の変更は行わない。
In other words, when the
図3の説明に戻って、ステップS19において、運転支援ECU1は、車線維持制御の条件を変更し、次のステップS110に処理を進める。
Returning to the description of FIG. 3, in step S <b> 19, the driving
具体的には、自車両mvに搭載されたカメラ3が撮像した当該自車両mvの前方画像14における道路標識15は、自動車専用道路を示す標識であるとの基準を満たしたので、運転支援ECU1は、車線維持制御を自動車専用道路に対応したものに変更する。
Specifically, since the
車線維持制御、特にLKA制御は、自車両mvが安全に上記レーン内を走行できるように、EPS10が小さな操舵力を連続的に付加し上記レーン中央付近を走行できるように支援するものである。しかし、自動車専用道路を走行する自車両mvは、一般道を走行している場合と比べて自動車専用道路では、不要動作が発生しにくい。従って、安全に上記レーン内を走行するための、EPS10による操舵力は、強くても煩わしさを与えにくい。
Lane maintenance control, particularly LKA control, is provided to assist the
そのため、ステップS19において、運転支援ECU1は、自車両mvが安全にレーン内を走行できるように付加される操舵力を一般道にて行われるものと比べて強くするようにLKA制御の条件を変更する。つまり、前方画像14における道路標識15は、自動車専用道路を示す標識である基準を満たした場合は、自車両mvは自動車専用道路を走行しているものと想定して、自動車専用道路以外の走行路面を走行している場合とは異なり、自車両mvが安全にレーン内を走行できるように付加される操舵力を強いものに変更する。
Therefore, in step S19, the driving
さらに、車線維持制御、特にLDW制御は、一般的に自車両mvのドライバーが意図せずに、レーンから逸脱しそうであると判断した場合や、逸脱すると判断した場合、事前に自車両mvのドライバーに対して、音声出力装置13等を介して警告を行うものである。具体的には、例えば、T秒後に自車両mvの前輪が右側区画線、または左側区画線に到達すると判断した場合等である。つまり、T秒後には自車両mvの前輪が右側区画線、または左側区画線に到達する(区画線を逸脱する)ことが予想されるので、予め自車両mvのドライバーに対して警告を行うものである。しかし、自動車専用道路を走行する自車両mvは、一般道を走行している場合と比べて自動車専用道路では、不要動作が発生しにくい。従って、自車両mvの前輪が右側区画線、または左側区画線に到達する旨の警告をするタイミングは、一般道を走行している場合と比べて早いタイミングで行っても煩わしさを与えにくい。
Further, in the lane keeping control, in particular, LDW control, in general, when the driver of the host vehicle mv unintentionally determines that the vehicle is about to depart from the lane, or when it is determined that the driver will depart, the driver of the host vehicle mv in advance In response to this, a warning is issued via the
そのため、ステップS19において、運転支援ECU1は、自車両mvの前輪が右側区画線、または左側区画線に到達する旨の警告をするタイミングを一般道にて行われるものと比べて早くなるようにLDW制御の条件を変更する。具体的には、運転支援ECU1は、一般道では1秒後に自車両mvの前輪が右側区画線、または左側区画線に到達すると判断した場合に警告していたものを、例えば2秒後に自車両mvの前輪が右側区画線、または左側区画線に到達すると判断した場合に警告するようにLDW制御の条件を変更する。これによって、運転支援ECU1は、自車両mvの前輪が右側区画線、または左側区画線に到達する旨の警告をするタイミングを早いものにすることができる。
Therefore, in step S19, the driving
このようにすることで、例えば、自動車専用道路を走行している場合に操舵アシストの操舵力を一般道を走行している場合と比べて強くしたり、自車両mvの前輪が右側区画線、または左側区画線に到達する旨の警告をするタイミングを一般道を走行している場合と比べて早くしたりすることができる。従って、自車両mvの走行環境に応じたLKA制御およびLDW制御を行うことができ、より安全なドライビングを支援することができる。 By doing so, for example, when driving on an automobile-only road, the steering force of the steering assist is made stronger than when driving on a general road, or the front wheels of the host vehicle mv are Alternatively, it is possible to make the timing for giving a warning to reach the left lane line earlier than when driving on a general road. Therefore, LKA control and LDW control corresponding to the traveling environment of the host vehicle mv can be performed, and safer driving can be supported.
図3の説明に戻って、ステップS110において、運転支援ECU1は、自車両mvのIGがOFFされたか否かを判断する。そして、IGがOFFであると判断した場合(YES)、当該フローチャートでの処理を終了する。一方、運転支援ECU1は、自車両mvのIGがOFFされていないと判断した場合(NO)、上記ステップS12に処理を戻す。
Returning to the description of FIG. 3, in step S <b> 110, the driving
ところで、自車両mvの走行環境、つまり前方画像14における道路標識15に応じて、上記ステップS19においてLKA制御およびLDW制御の条件をそれぞれ変更することが望まれる場面は、上述した自動車専用道路に限られない。つまり、車線維持制御において、自車両mvに搭載されたカメラ3により撮像されたから画像から当該自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線との認識の妨げとなるようなものの存在を示す道路標識の場合、LKA制御およびLDW制御の条件をそれぞれ変更してもよい。
By the way, the scene where it is desired to change the conditions of the LKA control and the LDW control in step S19 according to the traveling environment of the host vehicle mv, that is, the
以下、図面を参照しつつ、車線維持制御において、自車両mvに搭載されたカメラ3により撮像されたから画像から当該自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線との認識の妨げとなるようなものの存在を示す道路標識の場合についてのLKA制御およびLDW制御の条件の変更態様について説明する。つまり、走行路面に描かれた右側区画線および左側区画線以外の存在のため、自車両mvの走行すべきレーンの認識精度が低下する可能性を示唆する道路標識の場合についのLKA制御およびLDW制御の条件の変更態様について説明する。
Hereinafter, with reference to the drawings, in the lane keeping control, since the image is captured by the
まず、図5の(b)および(c)に示したような横断歩道があることを示す道路標識が挙げられる。この場合についても、LKA制御およびLDW制御の条件をそれぞれ変更してもよい。 First, there is a road sign indicating that there is a pedestrian crossing as shown in (b) and (c) of FIG. Also in this case, the conditions for the LKA control and the LDW control may be changed.
ここで、図6、および再度図3を参照して、横断歩道があることを示す道路標識の場合における、LKA制御およびLDW制御の条件の変更態様について説明する。図6は、横断歩道のある走行路面の一例を示した図である。例えば、自車両mvに搭載されたカメラ3が撮像した当該自車両mvの前方画像14における道路標識15は、横断歩道があることを示す標識(例えば図5の(b)、(c))であると想定し、図3のステップS18の処理が肯定された後の処理から説明する。なお、この場合、図3のステップS11〜ステップS18の処理は、上述した処理と同様に行えばよいので説明は省略し、図3のステップS19からの処理について説明する。
Here, with reference to FIG. 6 and FIG. 3 again, how to change the conditions of LKA control and LDW control in the case of a road sign indicating that there is a pedestrian crossing will be described. FIG. 6 is a diagram showing an example of a traveling road surface with a pedestrian crossing. For example, the
図3のステップS19において、自車両mvに搭載されたカメラ3が撮像した当該自車両mvの前方画像14における道路標識15は、横断歩道を示す標識である基準を満たしたので、運転支援ECU1は、車線維持制御を横断歩道に対応したものに変更する。具体的には、以下の通りである。
In step S19 in FIG. 3, the
上述したように、車線維持制御は、自車両mvに搭載されたカメラ3により撮像されたから画像から自車両mvの走行すべきレーン(右側区画線と左側区画線との間のエリア)を認識し、自車両mvが安全に当該レーン内を走行できるように然るべき措置を行ったり(LKA制御)、当該レーンから逸脱しそうであると判断した場合や、逸脱すると判断した場合、事前に自車両mvのドライバーに対して、音声出力装置13等を介して警告を行ったり(LDW制御)するものである。つまり、車線維持制御は、自車両mvが走行している走行路面に描かれた右側区画線および左側区画線を自車両mvに搭載されたカメラ3により撮像されたから画像から認識することにより行われる。
As described above, the lane keeping control recognizes the lane (the area between the right lane line and the left lane line) on which the host vehicle mv should travel from the image captured by the
そのため、図6の破線Lで囲み示したように、横断歩道のために走行路面に描かれた白線を自車両mvが走行している右側区画線および/または左側区画線と認識してしまう可能性があり、自車両mvの走行すべきレーンの認識精度が低下することがある。そこで、運転支援ECU1は、車線維持制御を自車両mvの走行路面に横断歩道があるとしたものに変更する。
Therefore, as surrounded by the broken line L in FIG. 6, the white line drawn on the road surface for the pedestrian crossing may be recognized as the right lane line and / or the left lane line on which the vehicle mv is traveling. There is a possibility that the recognition accuracy of the lane in which the host vehicle mv should travel may be lowered. Therefore, the driving
具体的には、運転支援ECU1は、自車両mvが安全に当該走行レーン内を走行できるように付加される操舵力を一般道にて行われるものと比べて弱くするようにLKA制御の条件を変更する。つまり、自車両mvは横断歩道のある走行路面を走行している、または走行しようとしているものと想定して、運転支援ECU1は、自車両mvが安全に当該レーン内を走行できるように付加される操舵力が弱くなるように一時的にLKA制御の条件を変更したり、一時的に操舵アシストを禁止したりする。また、運転支援ECU1は、LDW制御(具体的には警告)を一時的に禁止する。
Specifically, the driving
さらに、自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線との認識の妨げとなるようなものが走行路面上に存在するであろうことを示す道路標識として、図7に示す各標識も挙げることができる。具体的には、図7に示す各標識も横断歩道があることを示す道路標識の場合と同様の車線維持制御の条件の変更が行われる。以下、図7を参照しつつ、さらに説明する。 Furthermore, as a road sign indicating that there is an obstacle on the road surface that may obstruct the recognition of the right lane line and the left lane line as a reference of the lane on which the host vehicle mv should travel, FIG. Each of the labels shown in FIG. Specifically, the lane keeping control conditions are changed in the same manner as in the case of road signs indicating that each sign shown in FIG. 7 also has a pedestrian crossing. Hereinafter, further description will be given with reference to FIG.
図7は、横断歩道があることを示す道路標識の場合と同様の車線維持制御の条件の変更が行われる例の一覧表であり、各標識と当該標識の場合におけるLKA制御、LDW制御を示すものである。なお、上述したので説明は省略するが、図7に再度、図5の(b)および(c)に示したような横断歩道があることを示す道路標識を示した。 FIG. 7 is a list of examples in which the lane keeping control condition is changed similarly to the case of a road sign indicating that there is a pedestrian crossing, and shows LKA control and LDW control in the case of each sign and the sign. Is. Although not described because it has been described above, FIG. 7 again shows a road sign indicating that there is a pedestrian crossing as shown in (b) and (c) of FIG.
図7の(d)示すように示したような踏切があることを示す道路標識の場合についても、横断歩道があることを示す道路標識と同様に自車両mvが安全に当該走行レーン内を走行できるように付加される操舵力が弱くなるように一時的に変更したり、操舵アシストを一時的に禁止したり、LDW制御を一時的に禁止してもよい。 In the case of a road sign indicating that there is a railroad crossing as shown in FIG. 7D, the vehicle mv travels safely in the travel lane in the same manner as the road sign indicating that there is a pedestrian crossing. It may be changed temporarily so that the applied steering force becomes weak, the steering assist may be temporarily prohibited, or the LDW control may be temporarily prohibited.
また、図7の(e)に示したような路面電車レーン(路面電車軌道)内走行可を示す道路標識や、右左折レーンがあること示す標識(図7の(f)では一例として左折レーンがあることを示す標識を示した)や、図7の(g)に示したような工事中を示す標識や、図7の(h)、(i)に示したような交差点があることを示すような標識や、図7の(j)に示したようなロータリーがあることを示す標識の場合、運転支援ECU1は、自車両mvが安全に当該走行レーン内を走行できるように付加される一時的に操舵アシストを禁止したり、LDW制御を一時的に禁止してもよい。
Further, as shown in FIG. 7E, a road sign indicating that the vehicle can travel in a tram lane (tram track), or a sign indicating that there is a right / left turn lane (in FIG. 7F, as an example, a left turn lane There is a sign indicating that there is a sign), a sign indicating that the work is underway as shown in FIG. 7G, and an intersection as shown in FIG. 7H and i. In the case of a sign as shown or a sign as shown in FIG. 7J indicating that there is a rotary, the driving
なお、図7の(e)〜(j)に示した標識の場合は、自車両mvが安全に当該レーン内を走行できるように付加される操舵力が弱くなるように一時的にLKA制御の条件を変更せず、操舵アシストを禁止するのが好ましい。これは、図7の(b)〜(d)の標識の場合に比べて、走行路面に描かれた白線等を自車両mvが走行している右側区画線および/または左側区画線と認識してしまう可能性がより高くなるためである。 In the case of the signs shown in FIGS. 7E to 7J, the LKA control is temporarily performed so that the steering force applied so that the host vehicle mv can safely travel in the lane is weakened. It is preferable to prohibit the steering assist without changing the conditions. This is because the white line drawn on the road surface is recognized as the right lane line and / or the left lane line on which the host vehicle mv is traveling, as compared with the signs in FIGS. 7B to 7D. This is because there is a higher possibility of being lost.
例えば、図7の(g)に示したような工事中を示す標識がある走行路面の場合、当該走行路面上には工事用のパイロンが設置されていたり、工事のために走行路面上の右側区画線、左側区画線が不規則な描かれ方をしている場合があり、自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線とを正確に認識できない可能性が大きいからである。 For example, in the case of a traveling road surface with a sign indicating that the construction is in progress as shown in FIG. 7G, a construction pylon is installed on the traveling road surface or the right side on the traveling road surface for the construction. The lane marking and the left lane marking may be drawn irregularly, and there is a high possibility that the right lane marking and the left lane marking as the reference of the lane on which the vehicle mv should travel cannot be accurately recognized. Because.
また、交差点内は、自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線とが描かれておらず、自車両mvに搭載されたカメラ3により撮像されたから画像中には当該右側区画線と左側区画線とが存在しないことがあり、車線維持制御においてレーンの基準になる右側区画線と左側区画線とを認識できない可能性がある。そのため、図7の(h)、(i)に示したような交差点があることを示すような標識の場合、自車両mvが安全に当該レーン内を走行できるように付加される操舵力が弱くなるように一時的にLKA制御の条件を変更せず、操舵アシストを禁止するのが好ましい。
In addition, in the intersection, the right lane line and the left lane line, which serve as a reference for the lane on which the host vehicle mv should travel, are not drawn and are captured by the
このように、自車両mvに搭載されたカメラ3により撮像されたから画像から当該自車両mvの走行すべき走行レーンの基準となる右側区画線と左側区画線との認識の妨げとなるようなものの存在を示す道路標識の場合についてもLKA制御およびLDW制御の条件変更を行うので、自車両mvの走行環境に応じたLKA制御およびLDW制御を行うことができ、より安全なドライビングを支援することができる。
As described above, since the image is captured by the
また、車線維持制御において、自車両mvに搭載されたカメラ3により撮像されたから画像から当該自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線との認識の妨げとなるようなものの存在を示す道路標識以外に、道路環境によって走行レーンの基準となる右側区画線および/または左側区画線自体が変化することを示す道路標識の場合も、LKA制御およびLDW制御の条件をそれぞれ変更してもよい。
Further, in the lane keeping control, since the image is taken by the
以下、図面を参照しつつ、車線維持制御において、自車両mvに搭載されたカメラ3により撮像されたから画像から当該自車両mvの走行すべきレーンの基準となる右側区画線および/または左側区画線自体が変化することを示す道路標識の場合についてのLKA制御およびLDW制御の条件の変更態様について説明する。
Hereinafter, in the lane keeping control, with reference to the drawings, the right lane line and / or the left lane line that serves as a reference for the lane on which the host vehicle mv should travel from the image captured by the
まず、図8の(k)に示したような合流を示す道路標識が挙げられる。以下、図9および図10を参照して、合流を示す道路標識の場合におけるLKA制御およびLDW制御の条件の変更態様について説明する。 First, there is a road sign indicating a merge as shown in FIG. Hereinafter, with reference to FIG. 9 and FIG. 10, a description will be given of how the LKA control and LDW control conditions are changed in the case of a road sign indicating merging.
図9は、合流区間を走行している自車両mvおよび他車両ovの一例を示した図である。具体的には、図9は、自車両mvは本線を走行しており、他車両ovは当該本線に合流するために合流車線を走行している様子を示した図である。 FIG. 9 is a diagram illustrating an example of the host vehicle mv and the other vehicle ov that are traveling in the merging section. Specifically, FIG. 9 is a diagram illustrating a situation where the host vehicle mv is traveling on the main line and the other vehicle ov is traveling on the merged lane in order to merge with the main line.
まず、図9について説明する。図9に示すように、他車両ovは本線に合流するために合流車線を矢印arS1方向に走行していると仮に想定する。この場合、自車両mvのドライバーは、安全のため、本線に合流しようとしてくる他車両ovとの間隔をとるため矢印arCに示すように、右側(他車両ovが進入してくる方向とは逆の方向)に操舵トルクを加え易い傾向がある。一方で、LKA制御は自車両mvが本線の中央付近を走行するようにEPS10によって、小さな操舵力が付加される。そのため、ドライバーの上記のようなハンドル操作を妨げることになる。そこで、運転支援ECU1は、図8の(k)に示したような合流を示す道路標識の場合、本線の中央付近を走行するように付加される操舵力が弱くなるように一時的にLKA制御の条件を変更したり、操舵アシストを一時的に禁止したりする。
First, FIG. 9 will be described. As shown in FIG. 9, it is temporarily assumed that the other vehicle ov is traveling in the direction of the arrow arS1 in order to join the main line. In this case, for the sake of safety, the driver of the host vehicle mv is on the right side (opposite to the direction in which the other vehicle ov enters, as indicated by the arrow arC, in order to keep a distance from the other vehicle ov trying to join the main line. The steering torque tends to be easily applied in the direction of On the other hand, in the LKA control, a small steering force is applied by the
また、自車両mvのドライバーが、安全のため、本線に合流しようとしてくる他車両ovとの間隔をとるために右側方向に寄ると、右側区画線RL1に近づいてしまうためLDW制御(具体的には警告)がなされることもある。そこで、運転支援ECU1は、図8の(k)に示したような合流を示す道路標識の場合、LDW制御の警告をするタイミングを遅くしたり、LDW制御を一時的に禁止したりする。
In addition, if the driver of the host vehicle mv approaches the right lane line RL1 for safety, the driver will approach the right lane line RL1 if he / she moves to the right to take a distance from the other vehicle ov trying to join the main line. May be warned). Therefore, in the case of a road sign indicating a merge as shown in FIG. 8 (k), the driving
次に、図10について説明する。図10は、本線に合流するために合流車線を矢印arS2方向に走行している自車両mvの一例を示した図である。上述したように、車線維持制御は、自車両mvに搭載されたカメラ3により撮像されたから画像から自車両mvの走行すべきレーンを認識し然るべき措置を行うものである。図10において、自車両mvの走行すべきレーンの基準となる区画線は、右側区画線RL2および左側区画線LL2である。
Next, FIG. 10 will be described. FIG. 10 is a diagram illustrating an example of the host vehicle mv traveling in the merge lane in the direction of the arrow arS2 in order to merge with the main line. As described above, the lane keeping control is performed by recognizing the lane on which the host vehicle mv should travel from the image taken by the
しかしながら、本線に合流するために、矢印arS2方向に自車両mvが走行した場合、車線維持制御では、図10に示すように、合流車線の終了を示す破線Rfを自車両mvの走行すべきレーンの基準となる区画線として認識してしまう可能性がある。言い換えると、自車両mvに搭載されたカメラ3により撮像されたから画像から自車両mvの走行すべきレーンを認識する際に、自車両mvの走行すべきレーンの基準となる区画線を、左側区画線LL2および破線Rfとしてしまう可能性がある。
However, when the host vehicle mv travels in the direction of the arrow arS2 in order to join the main line, in the lane keeping control, as shown in FIG. 10, a broken line Rf indicating the end of the merged lane is shown on the lane where the host vehicle mv should travel. May be recognized as a lane marking that serves as a reference. In other words, when recognizing the lane to be traveled by the host vehicle mv from the image captured by the
そのため、矢印arS2方向に走行している自車両mvからすると、破線Rfが当該自車両mvに寄ってくるため、LKA制御では、自車両mvが左側区画線LL2と破線Rfとの間を走行するようにEPS10によって、左側区画線LL2方向に小さな操舵力が付加されることになる。また、図10に示すように、仮に自車両mvの走行すべきレーンの基準となる区画線を、左側区画線LL2および破線Rfとしてしまった場合、左側区画線LL2と破線Rfとの間隔は次第に狭くなるので(図10の間隔w1から間隔w2)、自車両mvの走行すべき走行レーンを認識することができなり、LKA制御が終了してしまうこともある。
Therefore, since the broken line Rf approaches the own vehicle mv from the own vehicle mv traveling in the direction of the arrow arS2, the own vehicle mv travels between the left partition line LL2 and the broken line Rf in the LKA control. In this way, a small steering force is applied in the direction of the left lane marking LL2 by the
そこで、ドライバーの違和感を低減させるために、運転支援ECU1は、図8の(k)に示したような合流を示す道路標識の場合、付加される操舵力が弱くなるようにLKA制御条件を一時的に変更したり、一時的に操舵アシストを禁止したりする。また、運転支援ECU1は、LDW制御の警告をするタイミングを遅くしたり、LDW制御を一時的に禁止したりする。
Therefore, in order to reduce the driver's uncomfortable feeling, the driving
なお、図9および図10の説明では、車両が左側通行である国(例えば日本国内)を想定、つまり自車両mvの左側から合流のため他車両ovが進入してくる場合を想定したが、これに限らず、車両が右側通行である国(例えば米国、欧州など)、つまり自車両mvの右側から合流のため他車両ovが進入してくる場合も適用できることは言うまでもない。 In the description of FIGS. 9 and 10, it is assumed that the vehicle is a left-hand traffic (for example, Japan), that is, the case where another vehicle ov enters from the left side of the own vehicle mv. The present invention is not limited to this, and it goes without saying that the present invention can also be applied to a case in which another vehicle ov enters from a country (for example, the United States, Europe, etc.) where the vehicle is on the right side, that is, the right side of the own vehicle mv.
また、道路環境によって走行レーンの基準となる右側区画線および/または左側区画線自体が変化することを示す道路標識として、図8の(l)に示したような車線数減少を示す道路標識や、図8の(m)に示したような車線幅減少を示す道路標識等も挙げることができる。図8の(l)および(m)で示した標識がある走行路面においても、同様に、自車両mvに搭載されたカメラ3により撮像されたから画像から自車両mvの走行すべきレーンを認識する際に、自車両mvの走行すべきレーンの基準となる区画線を誤認識してしまう可能性がある。つまり、図8の(l)および(m)で示した標識がある走行路面においても、自車両mvの走行すべきレーンの基準となる区画線が変化するために、自車両mvの走行すべきレーンの基準となる区画線を誤認識してしまう可能性がある。
Further, as a road sign indicating that the right lane line and / or the left lane line itself as a reference of the driving lane changes depending on the road environment, a road sign indicating a decrease in the number of lanes as shown in FIG. A road sign indicating a decrease in lane width as shown in FIG. Similarly, on the road surface with the signs shown in (l) and (m) of FIG. 8, the lane to be traveled by the host vehicle mv is recognized from the image captured by the
この場合も、運転支援ECU1は、ハンドルに付加される操舵力が弱くなるようにLKA制御を一時的に変更したり、一時的に操舵アシストを禁止したりする。また、運転支援ECU1は、LDW制御の警告をするタイミングを遅くしたり、LDW制御を一時的に禁止したりしてもよい。
Also in this case, the driving
さらに、自車両mvの走行すべきレーンの基準となる区画線を誤認識してしまう可能性がある走行路面を示す道路標識として、図8の(n)に示したような路面凹凸があることを示す道路標識等も挙げることができる。例えば、図8の(n)に示したような路面凹凸があることを示す道路標識がある走行路面を自車両mvが走行する場合、路面凹凸のため自車両mvが上下に揺れ動くことにより当該自車両mvに搭載されたカメラ3も上下に揺れ動くことが予想される。
Furthermore, road markings that indicate a road surface that may misrecognize a lane marking serving as a reference for a lane on which the host vehicle mv should travel include road surface unevenness as shown in FIG. There may also be mentioned road signs and the like. For example, when the host vehicle mv travels on a traveling road surface with a road sign indicating that there is a road surface unevenness as shown in FIG. 8 (n), the vehicle mv swings up and down due to the road surface unevenness. The
そのため、自車両mvに搭載されたカメラ3は、当該自車両mv前方の画像を正確に撮像できなくなり、結果として自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線とを正確に認識できない可能性がある。そこで、この場合も、運転支援ECU1は、付加される操舵力が弱くなるようにLKA制御条件を一時的に変更したり、一時的に操舵アシストを禁止したりしてもよい。また、運転支援ECU1は、LDW制御の警告をするタイミングを遅くしたり、LDW制御を一時的に禁止したりしてもよい。
For this reason, the
なお、運転支援ECU1の指示により、LDW制御、特に、振動装置により警告をする場合は、路面の凹凸のため振動装置による振動に自車両mvのドライバーは気付かないことがあるので、振動装置による振動の強さを大きくしてもよい。
It should be noted that when a warning is given by LDW control, particularly by a vibration device, according to an instruction from the driving
なお、上述したような、道路環境によって走行レーンの基準となる右側区画線および/または左側区画線自体が変化することを示す道路標識とは異なり、例えば、図8の(o)に示したような速度制限を示す道路標識等の場合も、車線維持制御の条件を変更してもよい。 Unlike the road sign indicating that the right lane marking and / or the left lane marking as a reference of the driving lane changes depending on the road environment as described above, for example, as shown in FIG. Also in the case of a road sign or the like indicating a serious speed limit, the condition of the lane keeping control may be changed.
なお、図8の(o)では、一例として、制限速度が50km/hであることを示す道路標識を示した。例えば、制限速度が30km/hである道路(制限速度が30km/hであることを示す道路標識のある道路)と、制限速度が60km/hである道路(制限速度が60km/hであることを示す道路標識のある道路)とを比較すると、一般的に制限速度が60km/hである道路の方が、制限速度が30km/hである道路に比べてインフラ設備(区画線等)が比較的整備されていることが多い。言い換えると、一般的に制限速度が30km/hである道路の方は、制限速度が60km/hである道路に比べてインフラ設備(区画線等)が劣ることがある。そのため、インフラ設備(区画線等)が劣っている道路では、自車両mvに搭載されたカメラ3は、当該自車両mv前方の画像を正確に撮像できなくなり、結果として自車両mvの走行すべきレーンの基準となる右側区画線と左側区画線とを正確に認識できない可能性がある。
In FIG. 8 (o), a road sign indicating that the speed limit is 50 km / h is shown as an example. For example, a road with a speed limit of 30 km / h (a road with a road sign indicating that the speed limit is 30 km / h) and a road with a speed limit of 60 km / h (the speed limit is 60 km / h) Compared with roads with a speed limit of 30 km / h, infrastructure facilities (partition lines, etc.) are generally compared with roads with a speed limit of 60 km / h. Are often maintained. In other words, in general, a road with a speed limit of 30 km / h may be inferior in infrastructure facilities (partition line, etc.) to a road with a speed limit of 60 km / h. Therefore, on a road with inferior infrastructure (such as a lane marking), the
そこで、制限速度を示す標識を認識した結果、制限速度が、例えば、30km/h以下の道路標識であった場合、運転支援ECU1は、付加される操舵力が弱くなるようにLKA制御条件を一時的に変更したり、一時的に操舵アシストを禁止したりしてもよい。また、運転支援ECU1は、LDW制御の警告をするタイミングを遅くしたり、LDW制御を一時的に禁止したりしてもよい。
Therefore, as a result of recognizing the sign indicating the speed limit, if the speed limit is, for example, a road sign of 30 km / h or less, the driving
(第2の実施形態)
次に、図11〜図14を参照しつつ、本発明に係る第2の実施形態について説明する。具体的には、本発明に係る第2の実施形態は、カメラ3により撮像されたから画像から道路標識を認識する。そして、当該認識された道路標識が、例えば、図11の(p)に示したような対向車線を分けるセンターラインの位置を示す標識(以下、単に中央線を示す標識と称す)であった場合、上記車線維持制御、特にLDW制御の条件を変更するものである。
(Second Embodiment)
Next, a second embodiment according to the present invention will be described with reference to FIGS. Specifically, the second embodiment according to the present invention recognizes a road sign from the image taken by the
以下、図12を参照しつつ、第2の実施形態に係る運転支援装置の運転支援ECU1において行われる処理の流れの一例を説明する。図12は、第2の実施形態に係る運転支援装置の運転支援ECU1における処理の流れの一例を示したフローチャートである。図12に示すフローチャートは、例えば、運転支援ECU1が当該運転支援ECU1内に備えられている図示しない記憶部に記憶されている所定のプログラムを実行することにより行われる。また、図12に示すフローチャートの処理は、運転支援ECU1の電源がON(例えば、運転支援装置が搭載された自車両mvのイグニッションスイッチがON)されることによって開始される。また、当該フローチャートに示した処理は、運転支援ECU1の電源がOFF(例えば、運転支援装置が搭載された自車両mvのイグニッションスイッチがOFF)されることによって終了される。なお、以下の説明において、イグニッションスイッチをIGと称す。
Hereinafter, an example of the flow of processing performed in the
なお、以下、図12の説明において、上述した第1の実施形態に係る運転支援装置の運転支援ECU1における処理の流れの一例を示したフローチャートの処理と異なる点についてのみ説明する。
In the following description of FIG. 12, only differences from the process of the flowchart illustrating an example of the process flow in the
図12のステップS26において、運転支援ECU1は、カメラ3によって撮像された自車両mv前方の画像について画像処理を行った結果(図12のステップS25)、当該自車両mvの前方画像における道路標識は、中央線を示す標識であるか否かを判断する。
In step S26 of FIG. 12, as a result of performing image processing on the image ahead of the host vehicle mv captured by the camera 3 (step S25 in FIG. 12), the driving
そして、運転支援ECU1は、当該ステップS26の判断を肯定した場合(YES)、つまり、自車両mvの前方画像における道路標識は、中央線を示す標識であった場合、次のステップS27に処理を進める。一方、運転支援ECU1は、当該ステップS26の判断を否定した場合(NO)、ステップS28に処理を進める。
If the determination in step S26 is affirmative (YES), that is, if the road sign in the front image of the host vehicle mv is a sign indicating the center line, the driving
ステップS27において、運転支援ECU1は、上記車線維持制御、特にLDW制御の条件を変更する。
In step S27, the driving
例えば、図13に示すように、自車両mvが、矢印arS3方向に直進していると仮に想定する。この場合、運転支援ECU1は、左側区画線LL3と中央線CLとを認識し、LKA制御中は、自車両mvが当該左側区画線LL3と中央線CLとの間を走行するようにEPS10によって、小さな操舵力が付加される。一方、LDW制御中は、自車両mvが左側区画線LL3または中央線CLから逸脱しそうであると判断した場合や、逸脱すると判断した場合、事前に自車両mvのドライバーに対して、音声出力装置13等を介して警告が行われる。
For example, as shown in FIG. 13, it is assumed that the host vehicle mv is traveling straight in the direction of the arrow arS3. In this case, the driving
ところで、一般的に、自車両mvが区画線を逸脱した場合に想定される被害の規模は、例えば、図13に示すように、左側区画線LL3を逸脱した場合に比べて中央線CLを逸脱した場合の方が大きくなる傾向がある。つまり、左側区画線LL3を逸脱した場合に比べて中央線CLを逸脱した場合、図13に示したように、矢印arS4方向に直進してくる対向車(他車両ov)と自車両mvとの正面衝突が予想される。その被害規模は、左側区画線LL3を逸脱した場合に想定される路外停止物(ガードレール等)との衝突と比べてが大きい。 By the way, in general, the magnitude of damage assumed when the host vehicle mv deviates from the lane line, for example, deviates from the center line CL as compared to the case of deviating from the left lane line LL3 as shown in FIG. There is a tendency for the case to be larger. In other words, when the vehicle departs from the center line CL as compared with the vehicle deviating from the left lane line LL3, as shown in FIG. 13, the oncoming vehicle (other vehicle ov) that travels straight in the direction of the arrow arS4 and the host vehicle mv A frontal collision is expected. The scale of the damage is larger than a collision with an out-of-road stop (guardrail or the like) that is assumed when the vehicle departs from the left marking line LL3.
そこで、中央線を示す標識が認識された場合、LDW制御において、より安全なドライビングを支援するため、自車両mvの前輪が中央線CLに到達する旨の警告をするタイミングは、自車両mvの前輪が左側区画線LL3に到達する旨の警告をするタイミングに比べて、早いタイミングで行う。 Therefore, when a sign indicating the center line is recognized, in order to support safer driving in LDW control, the timing for warning that the front wheel of the host vehicle mv reaches the center line CL is the timing of the host vehicle mv. This is performed at an earlier timing than the timing at which a warning that the front wheel reaches the left lane marking LL3.
具体的には、運転支援ECU1は、ステップS27において、例えば、1秒後に自車両mvの前輪が右側区画線、または左側区画線に到達すると判断した場合に警告していたものを、自車両mvの進行方向右側の区画線(図13の例では中央線CL)については、例えば、2秒後に自車両mvの進行方向右側の区画線に自車両mvの前輪が到達すると判断した場合に警告するように、LDW制御の条件を変更する。
Specifically, in step S27, for example, the driving
なお、図13の説明では、車両が左側通行である国(例えば日本国内)を想定、つまり中央線が自車両mvの右側にある場合を想定したが、これに限らず、車両が右側通行である国(例えば米国、欧州など)、つまり中央線が自車両mvの左側にある場合も適用できることは言うまでもない。 In the description of FIG. 13, it is assumed that the vehicle has left-hand traffic (for example, Japan), that is, the center line is on the right side of the host vehicle mv. Needless to say, the present invention can also be applied to a certain country (for example, the United States, Europe, etc.), that is, a case where the center line is on the left side of the host vehicle mv.
このようにすれば、自車両mvが、例えば、中央線CLを逸脱しそうである場合に、当該自車両mvのドライバーに対して早期にLDW制御(具体的には警告)がなさるので、より安全なドライビングを支援することができる。なお、中央線であるか否かを当該中央線の形状や色彩等、具体的には、実線と破線とを区別したり、白線と黄色線とを区別したりして認識する手法もあるが、中央線の形状や色彩等は各国異なることがあり、処理が複雑になる。そのため、上述したように、カメラ3により撮像されたから画像から中央線を示す標識を認識した場合に、LDW制御の条件を変更する手法は、形状や色彩等から中央線を認識する手法に比べて簡便である。
In this way, when the host vehicle mv is likely to deviate from the center line CL, for example, LDW control (specifically, a warning) is given to the driver of the host vehicle mv at an early stage. Can assist in driving. In addition, there is a method of recognizing whether it is a center line by distinguishing between the shape and color of the center line, specifically, distinguishing a solid line from a broken line or distinguishing a white line from a yellow line. The shape and color of the center line may differ from country to country, which complicates processing. Therefore, as described above, when the sign indicating the center line is recognized from the image captured by the
なお、カメラ3により撮像されたから画像から道路標識を認識し、当該認識された道路標識に応じて、上記車線維持制御、特にLDW制御の条件を変更する標識は、上述した中央線を示す標識に限られない。例えば、図11の(r)に示す交互通行を示す標識も挙げることができる。
In addition, the sign which recognizes a road sign from the image captured by the
図14は、交互通行の道路を自車両mvが走行している場面を示した図である。交互通行の道路では、一般的に、自車両mvのドライバーは、図14の破線で示すような当該交互通行の道路の中央付近を走行するのではなく、図14の実線で示すように当該交互通行の道路の左側に寄って走行することが多い。つまり、自車両mvを運転するドライバーは、対向車が向かってきた場合、安全にすれ違うことのできるように、予め道路の左側に寄って走行することが多い。 FIG. 14 is a diagram showing a scene in which the host vehicle mv is traveling on an alternately passing road. On an alternating road, in general, the driver of the vehicle mv does not travel near the center of the alternating road as shown by the broken line in FIG. 14, but instead of the alternating road as shown by the solid line in FIG. I often drive to the left side of the road. That is, the driver who drives the host vehicle mv often approaches the left side of the road in advance so that the driver can pass safely when the oncoming vehicle comes.
そこで、交互通行を示す標識が認識された場合、LDW制御においては、自車両mvの前輪が左側区画線LL4に到達する旨の警告をするタイミングは、自車両mvの前輪が右側区画線RL4に到達する旨の警告をするタイミングに比べて、遅いタイミングで行う。 Therefore, when a sign indicating alternate traffic is recognized, in LDW control, the timing for giving a warning that the front wheels of the host vehicle mv reach the left lane line LL4 is the same as when the front wheels of the host vehicle mv are on the right lane line RL4. Compared to the timing for warning of arrival, the timing is delayed.
さらに、上述したように、LKA制御は、例えば、図14で示した場合では、右側区画線LL4と左側区画線RL4との中間のエリアを設定し、当該エリアを走行できるように支援するものである。交互通行を示す標識が認識された場合、右側区画線LL4と左側区画線RL4との中間のエリアではなく、当該エリアをやや左側に設定してもよい。 Furthermore, as described above, the LKA control is, for example, in the case shown in FIG. 14, by setting an intermediate area between the right lane marking LL4 and the left lane marking RL4 and assisting in traveling in the area. is there. When a sign indicating alternate traffic is recognized, the area may be set slightly to the left instead of an intermediate area between the right lane marking LL4 and the left lane marking RL4.
これによって、対向車が向かってきた場合、安全にすれ違うことのできるように、予め道路の左側に寄って走行していることによる不要なLDW制御を抑制することができたり、自車両mvが左側区画線LL4と右側区画線RL4との間を走行するようにEPS10によって、当該右側区画線LL4と左側区画線RL4との中間のエリア方向に小さな操舵力が付加されることがなくなる。
As a result, when an oncoming vehicle is headed, unnecessary LDW control due to traveling near the left side of the road in advance can be suppressed, or the host vehicle mv can be moved to the left side so that it can pass safely. By the
(第3の実施形態)
次に、図15〜図17を参照しつつ、本発明に係る第3の実施形態について説明する。
(Third embodiment)
Next, a third embodiment according to the present invention will be described with reference to FIGS.
一般的に、LKA制御では、自車両mvが安全に走行レーン内を走行できるようにカーブ半径に応じた操舵力を付加する。ここで、区画線からカーブ半径を求める方法の一例を説明する。 In general, in LKA control, a steering force corresponding to a curve radius is added so that the host vehicle mv can travel safely in a travel lane. Here, an example of a method for obtaining the curve radius from the lane marking will be described.
例えば、運転支援ECU1は、図15に示すように、右側区画線RL5と左側区画線LL5とから車線幅Wを求め、当該車線幅Wから自車両mvが走行するときの目標軌道となる、仮想的な中央線ALを設定する。そして、運転支援ECU1は、当該設定した仮想的な中央線ALと自車両mvとのズレ幅Dを算出する。
For example, as shown in FIG. 15, the driving
なお、この処理の一例として、図15に示すように、運転支援ECU1は、自車両mvの重心Gから横に線を引いたときに、上記仮想的な中央線ALと交わる点Pを求める。さらに、運転支援ECU1は、上記重心Gから上記点Pまでの距離を横方向のズレ幅Dとして算出する。
As an example of this process, as shown in FIG. 15, the driving
さらに、運転支援ECU1は、上記重心Gから上記自車両mvの進行方向に引いた線と上記点Pでの接線とがなす角θ(以下、ヨー角θと称す)、すなわち、上記仮想的な中央線ALに対する上記自車両mvの向きを算出する。そして、運転支援ECU1は、自車両mvが現在走行している道路の上記仮想的な中央線ALと少しだけ過去に走行していた道路の上記仮想的な中央線ALとに基づいて、当該仮想的な中央線ALを円弧として近似し、当該円弧の半径を求めることによってカーブ半径Rを算出する。
Further, the driving
以上が自車両mvの走行路面に描かれた区画線からカーブ半径を求める方法の一例である。本発明に係る第3の実施形態は、カメラ3により撮像されたから画像から、例えば高速道路等に設置してあるカーブ半径を示す標識に示されている数値(例えば、図16に示したカーブ半径を示す標識ではR=500)を認識し、自車両mvに搭載されたカメラ3により撮像されたから画像から自車両mvの走行すべきレーン(右側区画線と左側区画線との間のエリア)を認識する際のフィルタ処理の条件を変更するものである。
The above is an example of a method for obtaining a curve radius from a lane marking drawn on the traveling road surface of the host vehicle mv. In the third embodiment according to the present invention, the numerical value (for example, the curve radius shown in FIG. 16) indicated by the sign indicating the curve radius installed on, for example, an expressway is taken from the image taken by the
以下、図17を参照しつつ、第3の実施形態に係る運転支援装置の運転支援ECU1において行われる処理の流れの一例を説明する。図17は、第3の実施形態に係る運転支援装置の運転支援ECU1における処理の流れの一例を示したフローチャートである。図17に示すフローチャートは、例えば、運転支援ECU1が当該運転支援ECU1内に備えられている図示しない記憶部に記憶されている所定のプログラムを実行することにより行われる。また、図17に示すフローチャートの処理は、運転支援ECU1の電源がON(例えば、運転支援装置が搭載された自車両mvのイグニッションスイッチがON)されることによって開始される。また、当該フローチャートに示した処理は、運転支援ECU1の電源がOFF(例えば、運転支援装置が搭載された自車両mvのイグニッションスイッチがOFF)されることによって終了される。なお、以下の説明において、イグニッションスイッチをIGと称す。
Hereinafter, an example of the flow of processing performed in the
なお、以下、図17の説明において、上述した第1の実施形態に係る運転支援装置の運転支援ECU1における処理の流れの一例を示したフローチャートの処理と異なる点についてのみ説明する。
Hereinafter, in the description of FIG. 17, only differences from the processing of the flowchart illustrating an example of the processing flow in the
図17のステップS35において、運転支援ECU1は、カメラ3によって撮像された自車両mv前方の画像について画像処理を行い、例えば、高速道路等に設置してあるカーブ半径を示す標識に示されている数値を認識する。
In step S35 of FIG. 17, the driving
ステップS36において、運転支援ECU1は、高速道路等に設置してあるカーブ半径を示す標識に示されている数値はR以上であるか否かを判断する。そして、運転支援ECU1は、当該ステップS36での判断を肯定した場合(YES)、次のステップS37においてカーブフラグをONにセットする。一方、運転支援ECU1は、当該ステップS36での判断を否定した場合(NO)、次のステップS38においてカーブフラグをOFFにセットする。
In step S36, the driving
ステップS39において、運転支援ECU1は、カーブフラグはONであるか否かを判断する。そして、運転支援ECU1は、当該ステップS39での判断を肯定した場合(YES)、次のステップS310でフィルタ処理(A)にセットする。一方、運転支援ECU1は、当該ステップS39での判断を否定した場合(NO)、次のステップS311でフィルタ処理(B)にセットする。
In step S39, the driving
なお、フィルタ処理(A)にセットとは、運転支援ECU1が、自車両mvの走行路面に描かれた区画線からカーブ半径を求めるときに、カメラ3により撮像されたから画像について画像処理をする際のローパスフィルタのカットオフ周波数を、例えば、5Hzにセットする。一方、フィルタ処理(B)にセットとは、運転支援ECU1が、自車両mvの走行路面に描かれた区画線からカーブ半径を求めるときに、カメラ3により撮像されたから画像について画像処理をする際のローパスフィルタのカットオフ周波数を、例えば、1Hzにセットする。
Note that “set to filter processing (A)” means that when the driving
つまり、カーブが急になればなるほど(カーブ半径の値が大きいほど)、運転支援ECU1が、自車両mvの走行路面に描かれた区画線からカーブ半径を求める処理が安定するので、高速道路等に設置してあるカーブ半径を示す標識に示されている数値により、自車両mvがカーブ区間に入ることが予め分かっている場合、運転支援ECU1は、フィルタを緩める。これによって、運転支援ECU1が、自車両mvの走行路面に描かれた区画線からカーブ半径を求める処理の負荷を低減することができる。
In other words, the steeper curve (the larger the radius of the curve), the more stable the
なお、自車両mvの走行路面に描かれた区画線からカーブ半径を算出したときの値と、高速道路等に設置してあるカーブ半径を示す標識に示されている数値とが相違した場合、運転支援ECU1は、自車両mvの走行路面に描かれた区画線からカーブ半径を算出したときの値を優先させる。つまり、自車両mvの走行路面に描かれた区画線からカーブ半径を算出したときの値より、高速道路等に設置してあるカーブ半径を示す標識に示されている数値の方が大きかった場合、運転支援ECU1は、フィルタを緩める処理は行わない。
In addition, when the value when the curve radius is calculated from the lane marking drawn on the road surface of the host vehicle mv is different from the numerical value shown on the sign indicating the curve radius installed on the expressway or the like, The driving
また、上述した第1〜第3の各実施形態では道路標識を認識する例を説明したが、例えば、路面上に描かれた文字等によっても車線維持制御の条件を変更してもよい。 Moreover, although the example which recognizes a road sign was demonstrated in each 1st-3rd embodiment mentioned above, you may change the conditions of lane maintenance control also by the character etc. which were drawn on the road surface, for example.
さらに、上述の説明では、車両を運転するドライバーに見せることを目的とした道路標識(規制等を示す文字看板やイラストで描かれた看板等である)や路面上に描かれた文字などに応じて車線維持制御の条件を変更した。しかしながら、車両を運転するドライバーに見せることを目的としないものをカメラによって認識し、車線維持制御の条件を変更してもよい。例えば、(画像処理によって認識ができる)単なる記号等を描いた看板等を車線維持制御の条件のために設置することができる場合、当該記号等に応じて設定された車線維持制御の条件に変更してもよい。 Furthermore, in the above explanation, depending on road signs (character signs indicating regulations etc. or signs drawn with illustrations) intended to be shown to the driver who drives the vehicle, characters drawn on the road surface, etc. The lane keeping control conditions were changed. However, what is not intended to be shown to the driver who drives the vehicle may be recognized by the camera, and the conditions of the lane keeping control may be changed. For example, if a sign or the like depicting a simple symbol (recognizable by image processing) can be installed for the lane maintenance control condition, the lane maintenance control condition set according to the symbol is changed. May be.
なお、運転支援ECU1は、認識することのできた道路標識に応じて、自車両mvに搭載されたカメラにより撮像されたから画像から自車両mvの走行すべきレーン(右側区画線と左側区画線との間のエリア)を認識する処理を変化させてもよい。例えば、図7に示した各標識は、自車両mvの走行すべき走行レーンの基準となる右側区画線と左側区画線との認識の妨げとなるようなものが走行路面上に存在するであろうことを示すものであるため、例えば、図3の上記ステップS18での判断が肯定された場合、LKA制御およびLDW制御の条件を変更するのではなく、一時的に中断してもよいし、高速道路を示す標識等が認識された場合は、カメラ3の感度を高めてもよい。
The driving
上記実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって、本願の効果を奏する範囲において、任意の構成を採用することが可能である。 The aspect demonstrated by the said embodiment shows a specific example only, and does not limit the technical scope of this invention at all. Therefore, any configuration can be adopted within a range where the effect of the present application is achieved.
本発明に係る運転支援装置は、簡易な方法で、画像認識の妨げとなるようなものが走行路面に存在していても、安定したLKA制御およびLDW制御を行うことのできる、車両に搭載される運転支援装置等に好適である。 The driving support device according to the present invention is mounted on a vehicle that can perform stable LKA control and LDW control even if there is something on the road surface that hinders image recognition in a simple manner. This is suitable for a driving support device.
1…運転支援ECU
2…カメラ
3…レーダ装置
4…車速検出装置
5…操舵トルク検出装置
6…ブレーキ装置
7…ウィンカースイッチ
8…LKAメインスイッチ
9…LDWメインスイッチ
10…EPS
11…エンジンECU
12…表示装置
13…音声出力装置
1 ... Driving assistance ECU
DESCRIPTION OF
11 ... Engine ECU
12 ...
Claims (5)
前記車両前方を撮像する撮像手段と、
前記撮像手段が撮像した画像から走行路面の区画線を検出し、前記走行レーンを設定する設定手段と、
前記走行レーンに沿って走行できるように前記車両の運転者が行うハンドル操作を補助する操舵補助手段と、
前記車両が前記区画線から逸脱することが予想される場合に警告する警告手段と、
前記撮像手段が撮像した画像から道路標識および道路標示の少なくとも一方を検出し、当該検出結果に基づいた情報を道路情報として算出する道路情報算出手段と、
前記道路情報に基づき前記警告手段が行う警告動作の動作条件を変更する動作抑制手段とを備え、
前記動作抑制手段は、前記道路情報が中央線または交互通行の道路標識であることを示す情報であった場合、右側の前記区画線から逸脱することが予想される場合に行う前記警告動作のタイミングと左側の前記区画線から逸脱することが予想される場合に行う前記警告動作のタイミングとを予め定められた条件に基づいて異ならせる、運転支援装置。 A driving support device for controlling a vehicle so as to be able to travel along a traveling lane,
Imaging means for imaging the front of the vehicle;
A setting unit for detecting a lane marking on the road surface from an image captured by the imaging unit and setting the traveling lane;
Steering assist means for assisting a steering operation performed by a driver of the vehicle so that the vehicle can travel along the travel lane;
Warning means for warning if the vehicle is expected to deviate from the lane marking;
Road information calculation means for detecting at least one of a road sign and a road marking from an image captured by the imaging means, and calculating information based on the detection result as road information;
An operation suppression means for changing an operation condition of a warning operation performed by the warning means based on the road information,
When the road information is information indicating that the road information is a center line or an alternating traffic road sign, the operation suppression means performs timing of the warning operation performed when it is expected to deviate from the right lane marking. And the timing of the warning operation performed when it is expected to deviate from the left lane marking, based on a predetermined condition.
前記車両前方を撮像する撮像手段と、
前記撮像手段が撮像した画像から走行路面の区画線を検出し、前記走行レーンを設定する設定手段と、
前記走行レーンに沿って走行できるように前記車両の運転者が行うハンドル操作を補助する操舵補助手段と、
前記車両が前記区画線から逸脱することが予想される場合に警告する警告手段と、
前記撮像手段が撮像した画像から道路標識および道路標示の少なくとも一方を検出し、当該検出結果に基づいた情報を道路情報として算出する道路情報算出手段と、
前記道路情報に基づき前記区画線の認識精度が低下すると予想される場合に前記操舵補助手段が行う補助動作および前記警告手段が行う警告動作を抑制する動作抑制手段とを備え、
前記動作抑制手段は、前記道路情報が車速制限の道路標識であることを示す情報であり、当該車速制御の道路標識に表示されている制限速度を示す数値が予め定められた値以下であった場合、前記操舵補助手段が行う補助動作および前記警告手段が行う警告動作を抑制する、運転支援装置。 A driving support device for controlling a vehicle so as to be able to travel along a traveling lane,
Imaging means for imaging the front of the vehicle;
A setting unit for detecting a lane marking on the road surface from an image captured by the imaging unit and setting the traveling lane;
Steering assist means for assisting a steering operation performed by a driver of the vehicle so that the vehicle can travel along the travel lane;
Warning means for warning if the vehicle is expected to deviate from the lane marking;
Road information calculation means for detecting at least one of a road sign and a road marking from an image captured by the imaging means, and calculating information based on the detection result as road information;
An operation suppressing unit that suppresses an auxiliary operation performed by the steering auxiliary unit and a warning operation performed by the warning unit when it is predicted that the recognition accuracy of the lane marking is expected to decrease based on the road information;
The operation suppression means is information indicating that the road information is a road sign for vehicle speed restriction, and a numerical value indicating the speed limit displayed on the road sign for the vehicle speed control is equal to or less than a predetermined value. In this case, the driving support device suppresses the auxiliary operation performed by the steering auxiliary unit and the warning operation performed by the warning unit.
前記車両前方を撮像する撮像手段と、
前記撮像手段が撮像した画像から走行路面の区画線を検出し、前記走行レーンを設定する設定手段と、
前記走行レーンに沿って走行できるように前記車両の運転者が行うハンドル操作を補助する操舵補助手段と、
前記車両が前記区画線から逸脱することが予想される場合に警告する警告手段と、
前記撮像手段が撮像した画像から道路標識および道路標示の少なくとも一方を検出し、当該検出結果に基づいた情報を道路情報として算出する道路情報算出手段と、
前記道路情報に基づき前記区画線の認識精度が低下すると予想される場合に前記操舵補助手段が行う補助動作および前記警告手段が行う警告動作を抑制する動作抑制手段とを備え、
前記動作抑制手段は、前記道路情報が路面凹凸を示す道路標識を示す情報であった場合、前記操舵補助手段が行う前記補助動作および前記警告手段が行う前記警告動作を抑制する、運転支援装置。 A driving support device for controlling a vehicle so as to be able to travel along a traveling lane,
Imaging means for imaging the front of the vehicle;
A setting unit for detecting a lane marking on the road surface from an image captured by the imaging unit and setting the traveling lane;
Steering assist means for assisting a steering operation performed by a driver of the vehicle so that the vehicle can travel along the travel lane;
Warning means for warning if the vehicle is expected to deviate from the lane marking;
Road information calculation means for detecting at least one of a road sign and a road marking from an image captured by the imaging means, and calculating information based on the detection result as road information;
An operation suppressing unit that suppresses an auxiliary operation performed by the steering auxiliary unit and a warning operation performed by the warning unit when it is predicted that the recognition accuracy of the lane marking is expected to decrease based on the road information;
When the road information is information indicating a road sign indicating road surface unevenness, the operation suppressing unit suppresses the auxiliary operation performed by the steering auxiliary unit and the warning operation performed by the warning unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021086A JP5454179B2 (en) | 2010-02-02 | 2010-02-02 | Driving assistance device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010021086A JP5454179B2 (en) | 2010-02-02 | 2010-02-02 | Driving assistance device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013236179A Division JP5692668B2 (en) | 2013-11-14 | 2013-11-14 | Driving assistance device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011159147A JP2011159147A (en) | 2011-08-18 |
JP5454179B2 true JP5454179B2 (en) | 2014-03-26 |
Family
ID=44591036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010021086A Active JP5454179B2 (en) | 2010-02-02 | 2010-02-02 | Driving assistance device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5454179B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9607513B1 (en) | 2015-12-03 | 2017-03-28 | Denso International America, Inc. | Systems and methods for informing driver of lane passing regulations |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2583263B1 (en) * | 2010-06-15 | 2014-03-19 | Conti Temic Microelectronic GmbH | Method for combining a road sign recognition system and a lane detection system of a motor vehicle |
JP5646980B2 (en) * | 2010-12-16 | 2014-12-24 | クラリオン株式会社 | Ambient condition monitoring device for vehicles |
JP6006574B2 (en) * | 2012-07-30 | 2016-10-12 | クラリオン株式会社 | In-vehicle environment recognition device |
JP5966965B2 (en) * | 2013-02-19 | 2016-08-10 | 株式会社デンソー | Lane boundary departure control device and lane boundary departure suppression method |
JP6087687B2 (en) * | 2013-03-26 | 2017-03-01 | 株式会社日本自動車部品総合研究所 | Driving support device |
JP6098548B2 (en) * | 2014-02-27 | 2017-03-22 | マツダ株式会社 | Lane departure prevention support device |
JP6325365B2 (en) * | 2014-06-19 | 2018-05-16 | 株式会社Subaru | Steering support control device |
JP6663547B2 (en) * | 2014-06-30 | 2020-03-13 | Case特許株式会社 | Vehicle control device |
WO2016052507A1 (en) * | 2014-09-30 | 2016-04-07 | エイディシーテクノロジー株式会社 | Automatic-driving control device |
KR102363393B1 (en) * | 2015-11-19 | 2022-02-16 | 주식회사 만도모빌리티솔루션즈 | Method and system for entry a rotary road automatically using a recognition of road sign |
JP6707887B2 (en) * | 2016-02-12 | 2020-06-10 | 株式会社デンソー | Vehicle equipment |
JP7279308B2 (en) * | 2018-06-29 | 2023-05-23 | マツダ株式会社 | Vehicle control device and vehicle control method |
JP7318614B2 (en) * | 2020-09-07 | 2023-08-01 | トヨタ自動車株式会社 | Information processing device, information processing method, and road marking system |
CN114435367A (en) * | 2022-03-14 | 2022-05-06 | 东风汽车集团股份有限公司 | Intersection auxiliary transverse control method based on lane indication board and lane line and vehicle |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002318130A (en) * | 2001-02-13 | 2002-10-31 | Alpine Electronics Inc | Traveling lane detecting device and navigation apparatus |
JP3818641B2 (en) * | 2001-11-30 | 2006-09-06 | トヨタ自動車株式会社 | Vehicle runway determination device and vehicle control device |
JP4019865B2 (en) * | 2002-09-06 | 2007-12-12 | 日産自動車株式会社 | Vehicle information presentation device |
JP4730406B2 (en) * | 2008-07-11 | 2011-07-20 | トヨタ自動車株式会社 | Driving support control device |
-
2010
- 2010-02-02 JP JP2010021086A patent/JP5454179B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9607513B1 (en) | 2015-12-03 | 2017-03-28 | Denso International America, Inc. | Systems and methods for informing driver of lane passing regulations |
Also Published As
Publication number | Publication date |
---|---|
JP2011159147A (en) | 2011-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5454179B2 (en) | Driving assistance device | |
JP5692668B2 (en) | Driving assistance device | |
US10688993B2 (en) | Vehicle control system with traffic driving control | |
KR101406457B1 (en) | Drive assistance device and drive assistance method | |
JP5831585B2 (en) | Driving support device and driving support method | |
EP3372466B1 (en) | Autonomous vehicle operating apparatus and autonomous vehicle operating method | |
WO2017060978A1 (en) | Automatic drive control device and automatic drive control method | |
EP2746137B1 (en) | Method and system for assisting a driver | |
JP2020187765A (en) | Vehicle controller and vehicle | |
JP2009166691A (en) | Vehicle traveling control device | |
JP2018045482A (en) | Imaging apparatus, signal processing apparatus, and vehicle control system | |
JP2009166691A5 (en) | ||
CN105408181A (en) | Method for operating driver assistance system of motor vehicle and driver assistance system for motor vehicle | |
JP2011210102A (en) | Driving support device for vehicle | |
JP2008179251A (en) | Traveling support device for vehicle and traveling support method for vehicle | |
JP2011108175A (en) | Driving support system, driving support method and driving support program | |
CN109712388B (en) | Street crossing intention detection system and method for non-motor vehicle or pedestrian | |
JP5768335B2 (en) | Driving support device for turning right of vehicle and driving support method for turning right | |
JP2010002953A (en) | Lane departure alarm device of vehicle | |
JP2013037601A (en) | Operation support device | |
CN107111955A (en) | Operating control device | |
JP5210064B2 (en) | Vehicle collision prevention device | |
JP2010049535A (en) | Vehicular running support apparatus | |
JP2009051346A (en) | Display control device for peripheral monitoring and image display control system | |
JP4692831B2 (en) | Peripheral situation recognition device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110901 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130729 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130823 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131114 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131223 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5454179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |