JP5716945B2 - Vehicle control device - Google Patents

Vehicle control device Download PDF

Info

Publication number
JP5716945B2
JP5716945B2 JP2010064810A JP2010064810A JP5716945B2 JP 5716945 B2 JP5716945 B2 JP 5716945B2 JP 2010064810 A JP2010064810 A JP 2010064810A JP 2010064810 A JP2010064810 A JP 2010064810A JP 5716945 B2 JP5716945 B2 JP 5716945B2
Authority
JP
Japan
Prior art keywords
lane
vehicle
line
camera
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010064810A
Other languages
Japanese (ja)
Other versions
JP2011198110A (en
Inventor
潮矢 影山
潮矢 影山
友康 玉置
友康 玉置
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2010064810A priority Critical patent/JP5716945B2/en
Publication of JP2011198110A publication Critical patent/JP2011198110A/en
Application granted granted Critical
Publication of JP5716945B2 publication Critical patent/JP5716945B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両制御装置に関し、より特定的には車両に搭載され、当該車両のドライバーに対して警告を行うことができる車両制御装置に関する。   The present invention relates to a vehicle control device, and more particularly to a vehicle control device that is mounted on a vehicle and can warn a driver of the vehicle.

従来、車両に搭載されたカメラなどにより、上記車両が走行している走行路面の区画線を検出し、当該検出結果に基づいてドライバーが行うハンドル操作を支援したり、上記車両が区画線から逸脱する可能性が高い場合に、ドライバーに警告したりする装置が実用化されている。   Conventionally, a lane marking on the road surface on which the vehicle is traveling is detected by a camera mounted on the vehicle, and a steering operation performed by the driver based on the detection result is supported, or the vehicle deviates from the lane marking. Devices that warn drivers when there is a high probability of doing so have been put into practical use.

具体的には、車両に搭載されたカメラにより撮像された画像から当該車両の走行すべきレーン(右側区画線と左側区画線との間のエリア)を認識し、上記車両のドライバーが意図せずに、当該レーンから逸脱しそうであると判断した場合や、逸脱すると判断した場合、事前に上記車両のドライバーに対して、警告装置等を介して警告を行う制御である(以下、LDW(Lane Departure Warning)制御と称すことがある)。   Specifically, the vehicle lane (the area between the right lane marking and the left lane marking) that the vehicle should travel from is recognized by an image captured by a camera mounted on the vehicle, and the driver of the vehicle does not intend. In addition, when it is determined that the vehicle is likely to deviate from the lane, or when it is determined that the vehicle will deviate, the vehicle driver is warned in advance via a warning device or the like (hereinafter referred to as LDW (Lane Departure Warning) Sometimes referred to as control).

例えば、車両に搭載されたカメラにより撮像された画像から当該車両が走行している路面の白線を検出する装置の一例として、特許文献1に開示されている装置がある。   For example, there is an apparatus disclosed in Patent Document 1 as an example of an apparatus that detects a white line on a road surface on which the vehicle is traveling from an image captured by a camera mounted on the vehicle.

特開2003−178399号公報JP 2003-178399 A

上記特許文献1に開示されている装置は、走行レーンに設けられている白線の境界位置を検出する装置である。具体的には、上記特許文献1に開示されている装置は、車両に搭載されたカメラにより撮像された画像から当該車両が走行している走行路面の境界線(警告の基準となる白線)を検出する際に、複数の白線(白線群)が検出された場合、当該白線群のうち、最も内側の白線を境界線としたり、白線群の重心位置を境界線としたりしている。   The device disclosed in Patent Document 1 is a device that detects a boundary position of a white line provided in a traveling lane. Specifically, the apparatus disclosed in Patent Literature 1 describes a boundary line (white line serving as a warning reference) of a traveling road surface on which the vehicle is traveling from an image captured by a camera mounted on the vehicle. When a plurality of white lines (white line group) are detected during detection, the innermost white line in the white line group is used as a boundary line, or the barycentric position of the white line group is used as a boundary line.

しかしながら、上記特許文献1に開示されている装置は、当該車両が走行している走行路面上に描かれている線を検出し、当該線を白線として認識している。つまり、走行路面の白線のみが正確に検出することができいることを前提としているため、例えば、走行路面上の補修痕やタイヤ痕といった本来の白線ではないものを白線として誤認識し、当該誤認識された本来の白線ではないものを含めて境界線(警告の基準となる白線)を決定していた。そのため、境界線から逸脱するような走行をしていないのにも関わらず、境界線から逸脱することを示す警告がなされ、安定したLDW制御を行うことができなかった。   However, the apparatus disclosed in Patent Document 1 detects a line drawn on the traveling road surface on which the vehicle is traveling, and recognizes the line as a white line. In other words, since it is assumed that only the white line on the road surface can be accurately detected, for example, a non-original white line such as a repair mark or tire mark on the road surface is erroneously recognized as a white line, and The boundary line (white line used as a reference for warning) was determined including those that were not recognized white lines. Therefore, although the vehicle does not travel deviating from the boundary line, a warning indicating that the vehicle deviates from the boundary line is given, and stable LDW control cannot be performed.

本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、簡易な方法で、安定したLDW制御を行うことができる車両制御装置を提供することにある。   The present invention has been made in view of the above circumstances, and an object thereof is to provide a vehicle control apparatus capable of performing stable LDW control by a simple method.

第1の発明は、上記目的を達成するために、本発明は、以下の構成を採用した。すなわち、本発明は、車両に搭載され走行レーンに沿った運転を支援する車両制御装置である。上記車両制御装置は、上記車両前方を撮像する撮像手段と、上記撮像手段が撮像した画像から上記走行レーンの右側および左側に描かれた線を区画線として検出する検出手段と、上記検出手段が検出した上記区画線から上記車両が逸脱することが予想される場合に警告する警告手段と、上記検出手段によって検出された上記区画線が上記走行レーンの右側および左側のいずれか片側に複数本ある場合、当該複数本の区画線から上記車両が逸脱することが予想される場合に行われる上記警告を禁止する禁止手段とを備える。なお、本発明の禁止手段は、例えば、検出手段によって走行レーンの右側に1本の区画線が検出され、走行レーンの左側に複数本の区画線が検出されたとき、車両が逸脱することが予想される場合に行われる警告について、当該複数本の区画線を用いた警告を行わないようにするものである。また、一例として、例えば、本発明の禁止手段は、検出手段によって検出された区画線が走行レーンの右側および左側のいずれか片側に複数本ある場合、当該片側について仮想的な区画線を設定してもよい。この場合、当該仮想的な区画線に基づいて警告を行えばよいので、禁止手段は、当該片側についての警告は禁止しなくともよい。   In order to achieve the above object, the first invention employs the following configuration. That is, the present invention is a vehicle control device that is mounted on a vehicle and supports driving along a traveling lane. The vehicle control device includes: an imaging unit that images the front of the vehicle; a detection unit that detects lines drawn on the right side and the left side of the travel lane from the images captured by the imaging unit; and the detection unit Warning means for warning when the vehicle is expected to deviate from the detected lane line, and there are a plurality of lane lines detected by the detection means on either the right side or the left side of the travel lane A prohibiting means for prohibiting the warning performed when the vehicle is expected to deviate from the plurality of lane markings. Note that the prohibiting means of the present invention is such that, for example, when the detection means detects one lane marking on the right side of the travel lane and detects a plurality of lane markings on the left side of the travel lane, the vehicle may deviate. For warnings that are expected, a warning that uses the plurality of lane markings is not performed. Also, as an example, for example, when the prohibiting means of the present invention has a plurality of lane markings detected by the detecting means on either the right side or the left side of the traveling lane, a virtual lane marking is set for the one side. May be. In this case, since the warning may be performed based on the virtual lane marking, the prohibiting unit may not prohibit the warning on the one side.

第2の発明は、上記第1の発明において、上記検出手段は、上記撮像手段が撮像した上記車両の近傍および上記車両の遠方の少なくとも一方の画像から上記区画線を検出することを特徴とする。   According to a second aspect, in the first aspect, the detection unit detects the lane marking from at least one image of the vicinity of the vehicle and the distance from the vehicle captured by the imaging unit. .

第3の発明は、上記第1または第2の発明において、上記禁止手段は、上記走行レーンの右側および左側のいずれか片側に複数本の区画線があり、かつ当該複数本の区画線のうち少なくとも1組が交差する位置関係にある場合、当該複数本の区画線から上記車両が逸脱することが予想される場合に行われる上記警告を禁止することを特徴とする。   According to a third invention, in the first or second invention, the prohibiting means has a plurality of lane markings on one of the right side and the left side of the travel lane, and among the plurality of lane markings When there is a positional relationship where at least one pair intersects, the warning performed when the vehicle is expected to deviate from the plurality of lane markings is prohibited.

第4の発明は、上記第1または第2の発明において、上記禁止手段は、上記走行レーンの右側および左側のいずれか片側に複数本の区画線があり、かつ当該片側に分岐区間または合流区間がある場合、当該複数本の区画線から上記車両が逸脱することが予想される場合に行われる上記警告を禁止することを特徴とする。   In a fourth aspect based on the first aspect or the second aspect, the prohibiting means includes a plurality of lane markings on either one of the right side and the left side of the traveling lane, and a branching section or a merging section on the one side. If there is, the warning that is performed when the vehicle is expected to deviate from the plurality of lane markings is prohibited.

上記第1の発明によれば、簡易な方法で、安定したLDW制御を行うことができる車両制御装置を提供することができる。つまり、一般的には、自車両mvが走行している走行レーンの片側(右側または左側)に複数の区画線が存在している場合、当該片側の複数の区画線から境界線(LDW制御の基準となる区画線)選択する必要がある。さらに、例えば、走行路面に補修痕やタイヤ痕のような本来の区画線ではないものを区画線として認識し、当該本来の区画線ではない区画線を含む複数の区画線から境界線(LDW制御の基準となる区画線)選択しなければならないようなことがある。本発明によれば、走行路面の片側に複数の区画線が存在している場合、当該区画線をLDW制御の基準となる区画線として用いないようにすることで、安定したLDW制御を行うことができる。   According to the first aspect, it is possible to provide a vehicle control device capable of performing stable LDW control by a simple method. That is, in general, when there are a plurality of lane markings on one side (right side or left side) of the traveling lane in which the host vehicle mv is traveling, a boundary line (LDW control It is necessary to select a lane marking as a reference). Further, for example, a non-original lane marking such as repair marks or tire marks on the road surface is recognized as a lane marking, and a boundary line (LDW control) is formed from a plurality of lane markings including the lane marking that is not the original lane marking. You may have to select the lane markings that serve as the basis for According to the present invention, when there are a plurality of lane markings on one side of the road surface, stable LDW control can be performed by not using the lane markings as lane markings that serve as a reference for LDW control. Can do.

上記第2の発明によれば、車両の近傍と遠方とで、区画線が複数あるか否かを判断することができる。   According to the second aspect of the present invention, it can be determined whether there are a plurality of lane markings in the vicinity of the vehicle and in the distance.

上記第3の発明によれば、本来の区画線ではない線をより精度よく判断することができる。   According to the third aspect, it is possible to more accurately determine a line that is not the original lane marking.

上記第4の発明によれば、片側に複数本の区画線があるか否かに加えて、当該片側には分岐区間または合流区間があるか否かを判断するので、より安定したLDW制御を行うことができる。   According to the fourth aspect of the invention, in addition to whether or not there are a plurality of lane markings on one side, it is determined whether or not there is a branching section or a merging section on the one side. It can be carried out.

本発明の一実施形態に係る車両制御装置の構成の一例を示すブロック図The block diagram which shows an example of a structure of the vehicle control apparatus which concerns on one Embodiment of this invention. 本実施形態に係る車両制御装置のカメラECU2の各部において行われる処理の流れの一例を示したフローチャートThe flowchart which showed an example of the flow of the process performed in each part of camera ECU2 of the vehicle control apparatus which concerns on this embodiment. 図2のステップS15においてカメラECU2が行う処理の一例を示したフローチャートThe flowchart which showed an example of the process which camera ECU2 performs in step S15 of FIG. 走行路面の右側(自車両mvの走行すべきレーンの右側)に分岐区間がある走行路面の一例を示した図The figure which showed an example of the driving | running | working road surface which has a branch area on the right side (right side of the lane which the own vehicle mv should drive) of the driving | running | working road surface 図3の領域Sについて射影変換処理を施した図The figure which performed the projective transformation process about the area | region S of FIG. 図5についてエッジ線処理を施した図The figure which performed edge line processing about FIG. 欧州などでみられる分岐区間を示した図A diagram showing the branching section seen in Europe 図7についてエッジ線処理を施した図The figure which performed edge line processing about FIG.

以下、図面を参照しつつ、本発明の一実施形態に係る車両制御装置について説明する。なお、本実施形態では、一例として、当該車両制御装置が車両(具体的には、乗用車を想定し、以下、自車両mvと称す)に搭載される例について説明する。   Hereinafter, a vehicle control apparatus according to an embodiment of the present invention will be described with reference to the drawings. In this embodiment, as an example, an example will be described in which the vehicle control device is mounted on a vehicle (specifically, a passenger vehicle is assumed and is hereinafter referred to as a host vehicle mv).

図1は、本発明の一実施形態に係る車両制御装置の構成の一例を示すブロック図である。図1に示すように、一実施形態に係る車両制御装置は、カメラ1とカメラECU(Electrical Control Unit)2と車両制御ECU3と警告装置4とを備えている。なお、上記カメラ1は請求項に記載の検出手段の一例に、カメラECU2は請求項に記載の禁止手段の一例に、警告装置4は請求項に記載の警告手段の一例にそれぞれ相当する。   FIG. 1 is a block diagram illustrating an example of a configuration of a vehicle control device according to an embodiment of the present invention. As shown in FIG. 1, the vehicle control device according to an embodiment includes a camera 1, a camera ECU (Electrical Control Unit) 2, a vehicle control ECU 3, and a warning device 4. The camera 1 corresponds to an example of the detection means described in the claims, the camera ECU 2 corresponds to an example of the prohibition means described in the claims, and the warning device 4 corresponds to an example of the warning means described in the claims.

本実施形態に係る車両制御装置は、カメラ1によって検出された走行路面のレーンマーカーに基づいて、例えば、自車両mvが走行レーン内(右側区画線と左側区画線との間のエリア)を走行するように、車両制御ECU3が自車両mvを制御する(LKA(Lane keep Assist)制御と称すことがある)ものである。   In the vehicle control device according to the present embodiment, for example, the host vehicle mv travels in the travel lane (the area between the right lane line and the left lane line) based on the lane marker on the road surface detected by the camera 1. Thus, the vehicle control ECU 3 controls the host vehicle mv (sometimes referred to as LKA (Lane keep Assist) control).

また、一方で、本実施形態に係る車両制御装置は、カメラ1よって検出された走行路面のレーンマーカーに基づいて、自車両mvのドライバーが意図せずに、自車両mvが当該自車両mvの走行すべきレーン(右側区画線と左側区画線との間のエリア)から逸脱しそうであると判断した場合や、逸脱すると判断した場合、事前に自車両mvのドライバーに対して、後述の警告装置4を介して警告を行う(LDW(Lane Departure Warning)制御と称すことがある)ものである。なお、本実施形態に係る車両制御装置は、カメラ1よって検出された走行路面上に描かれた線が予め定められた条件を満たした場合、当該検出された線を基準とした上述したLDW制御を行わないようにするものである。   On the other hand, the vehicle control device according to the present embodiment is based on the lane marker on the road surface detected by the camera 1, and the driver of the host vehicle mv does not intend to use the host vehicle mv. When it is determined that the vehicle is about to deviate from the lane to be traveled (the area between the right lane line and the left lane line), or when it is determined that the vehicle is deviating, a warning device described later is given to the driver of the vehicle vv 4 is used to issue a warning (sometimes referred to as LDW (Lane Departure Warning) control). Note that the vehicle control apparatus according to the present embodiment performs the above-described LDW control based on the detected line when the line drawn on the traveling road surface detected by the camera 1 satisfies a predetermined condition. Is not to be performed.

また、以下の説明において、LKA制御およびLDW制御の総称として車線維持制御と称すことがある。   In the following description, lane keeping control may be referred to as a general term for LKA control and LDW control.

図1の説明に進んで、図1のカメラ1は、例えばCCDカメラ、CMOSカメラ、赤外線カメラ等であり、自車両mvの前方を撮像する。そして、カメラ1は、例えば、所定時間間隔で自車両mvの前方を撮像し、当該撮像した画像をカメラECU2に出力する。なお、カメラ1が設置される位置は、自車両mvの前方を撮像するため、当該自車両mvの進行方向に向けられており、ドライバーの運転の妨げにならない、例えばバックミラー裏側等に設置されるのが好ましい。   Proceeding to the description of FIG. 1, the camera 1 of FIG. 1 is, for example, a CCD camera, a CMOS camera, an infrared camera, or the like, and images the front of the host vehicle mv. Then, for example, the camera 1 images the front of the host vehicle mv at a predetermined time interval, and outputs the captured image to the camera ECU 2. Note that the position where the camera 1 is installed is directed in the traveling direction of the host vehicle mv in order to image the front of the host vehicle mv, and does not interfere with the driving of the driver. It is preferable.

カメラECU2は、検出手段21、判定手段22、および選択手段23等を備えている。カメラECU2の検出手段21は、カメラ1によって撮像された画像から走行路面上に描かれた線(具体的には、走行路面上に描かれている白線や黄色線などの線)を検出したり、当該線に基づき自車両mvが走行している走行路面の道路に関する情報(例えば、後述の道路パラメーター)を算出する。   The camera ECU 2 includes a detection unit 21, a determination unit 22, a selection unit 23, and the like. The detection means 21 of the camera ECU 2 detects a line drawn on the road surface (specifically, a white line or a yellow line drawn on the road surface) from the image captured by the camera 1. Based on the line, information on the road on the road surface on which the host vehicle mv is traveling (for example, road parameters described later) is calculated.

なお、以下の説明において、レーンマーカーとは、走行路面において車両が走行すべき車線を示す区画線のことであり、右側のレーンマーカー(右側区画線)および左側のレーンマーカー(左側区画線)を特に区別、つまり、右側および左側を特に区別する場合を除き、単に区画線と称すことがある。   In the following description, the lane marker is a lane line indicating a lane on which the vehicle should travel on the road surface. The lane marker on the right side (right lane line) and the lane marker on the left side (left lane line) Unless otherwise specifically distinguished, that is, when the right side and the left side are particularly distinguished, they may be simply referred to as lane markings.

カメラECU2の判定手段22は、後述より明らかとなるが、カメラ1によって撮像された画像から走行路面上に描かれた線を区画線として検出し、当該区画線は分岐区間を示す区画線であるか否かを判断する。   The determination means 22 of the camera ECU 2 detects a line drawn on the traveling road surface from the image captured by the camera 1 as a lane line, and the lane line is a lane line indicating a branch area. Determine whether or not.

カメラECU2の選択手段23は、後述より明らかとなるが、LDW制御の基準となる右側区画線または左側区画線(以下、警告の基準となる区画線を特に境界線と称す)を検出手段21が検出した区画線から選択する。なお、上述したように、LDW制御は車両制御ECU3が、例えば、所定時間後に自車両mvの前輪が右側区画線または左側区画線(具体的には右側境界線または左側境界線)に到達すると判断した場合、警告等を行うものである。つまり、車両制御ECU3は、当該カメラECU2の選択手段23によって選択された境界線に基づいてLDW制御を行う。   The selection means 23 of the camera ECU 2 will be described later, but the detection means 21 detects the right lane line or the left lane line that serves as a reference for LDW control (hereinafter, the lane line that serves as a warning reference is particularly referred to as a boundary line). Select from the detected lane markings. As described above, the vehicle control ECU 3 determines that the front wheel of the host vehicle mv reaches the right lane line or the left lane line (specifically, the right boundary line or the left boundary line) after a predetermined time, for example. If this happens, a warning or the like is given. That is, the vehicle control ECU 3 performs LDW control based on the boundary line selected by the selection unit 23 of the camera ECU 2.

車両制御ECU3は、カメラECU2によって検出、選択された境界線、および自車両mvが走行している道路に関する情報(例えば、後述の道路パラメーター)に基づいて、例えば、図示しない操舵装置を制御して、自車両mvが走行すべきレーンから逸脱する可能性が高い場合などに自車両mvが走行すべきレーンを走行するようにドライバーのハンドル操作を支援する。   The vehicle control ECU 3 controls, for example, a steering device (not shown) based on the boundary line detected and selected by the camera ECU 2 and information on the road on which the host vehicle mv is traveling (for example, road parameters described later). When the possibility that the host vehicle mv deviates from the lane to travel is high, the driver's steering operation is supported so that the host vehicle mv travels in the lane to travel.

また、車両制御ECU3は、カメラECU2によって検出、選択された境界線、および自車両mvが走行している道路に関する情報に基づいて、例えば、走行すべきレーンから逸脱しそうであると判断した場合や、逸脱すると判断した場合、事前に自車両mvのドライバーに対して、後述の警告装置4等を介して警告を行う。   Further, the vehicle control ECU 3 determines, for example, that it is likely to deviate from the lane to be traveled based on the boundary line detected and selected by the camera ECU 2 and information on the road on which the host vehicle mv is traveling. If it is determined that the vehicle deviates, a warning is given to the driver of the host vehicle mv in advance via a warning device 4 described later.

警告装置4は、各種情報を音声で自車両mvのドライバーに提供するものである。具体的には、警告装置4は、車両制御ECU3からの指示に応じた警告や情報をドライバーに報知する。また、警告装置4は、具体的には、自車両mvに備わっているスピーカー等であるが、自車両mvの運転席に着席して当該自車両mvを運転するドライバーから視認可能な位置に設けられた、液晶ディスプレイ、発光ダイオード(LED)、有機ELディスプレイなどの表示媒体等であってもよい。   The warning device 4 provides various information to the driver of the host vehicle mv by voice. Specifically, the warning device 4 notifies the driver of warnings and information corresponding to instructions from the vehicle control ECU 3. The warning device 4 is specifically a speaker or the like provided in the host vehicle mv, and is provided at a position that is visible to the driver who is seated in the driver's seat of the host vehicle mv and drives the host vehicle mv. It may be a display medium such as a liquid crystal display, a light emitting diode (LED), or an organic EL display.

以下、図2を参照しつつ、本実施形態に係る車両制御装置のカメラECU2の各部において行われる処理の流れの一例を説明する。図2は、本実施形態に係る車両制御装置のカメラECU2の各部において行われる処理の流れの一例を示したフローチャートである。   Hereinafter, an example of the flow of processing performed in each part of the camera ECU 2 of the vehicle control device according to the present embodiment will be described with reference to FIG. FIG. 2 is a flowchart illustrating an example of a flow of processing performed in each part of the camera ECU 2 of the vehicle control device according to the present embodiment.

図2のステップS11において、カメラECU2は、イグニッションスイッチ(以下、単にIGと称す)がONであるか否かを判断する。そして、IGがONであると判断した場合(YES)、次のステップS12に処理を進める。一方、カメラECU2は、IGがONではない、つまりIGがOFFであると判断した場合(NO)、当該フローチャートでの処理を終了する。   In step S11 of FIG. 2, the camera ECU 2 determines whether or not an ignition switch (hereinafter simply referred to as IG) is ON. If it is determined that IG is ON (YES), the process proceeds to the next step S12. On the other hand, when the camera ECU 2 determines that IG is not ON, that is, IG is OFF (NO), the process in the flowchart ends.

ステップS12において、カメラECU2の検出手段21は、自車両mvの車両情報を取得する。なお、当該ステップS12において、カメラECU2の検出手段21が取得する車両情報とは、例えば、車線維持制御を行わせるためのスイッチ(一例として、図示しないLKAメインスイッチやLDWメインスイッチ等)が、自車両mvのドライバーによって押下されていることを示す情報などである。そして、カメラECU2の検出手段21は、次のステップS13に処理を進める。   In step S12, the detection means 21 of the camera ECU 2 acquires vehicle information of the host vehicle mv. In this step S12, the vehicle information acquired by the detection means 21 of the camera ECU 2 is, for example, a switch for performing lane keeping control (for example, an LKA main switch or an LDW main switch (not shown)). Information indicating that the vehicle mv is pressed by the driver. And the detection means 21 of camera ECU2 advances a process to following step S13.

ステップS13において、カメラECU2の検出手段21は、車線維持制御を開始するか否かを判断する。具体的には、カメラECU2の検出手段21は、上記ステップS12で取得した車両情報を参照して、車線維持制御を開始するか否かを判断する。そして、カメラECU2の検出手段21は、上記ステップS12で取得した車両情報から、例えばLKAメインスイッチやLDWメインスイッチ(それぞれ図示せず)がドライバーによって押下されている場合など、判断を肯定し(YES)、次のステップS14に処理を進める。   In step S13, the detection means 21 of the camera ECU 2 determines whether to start the lane keeping control. Specifically, the detection means 21 of the camera ECU 2 refers to the vehicle information acquired in step S12 and determines whether to start lane keeping control. Then, the detection means 21 of the camera ECU 2 affirms the determination based on the vehicle information acquired in step S12, for example, when the LKA main switch or the LDW main switch (each not shown) is pressed by the driver (YES) ), The process proceeds to the next step S14.

一方、例えば、カメラECU2の検出手段21は、ステップS12で取得した車両情報から、例えばLKAメインスイッチやLDWメインスイッチ(それぞれ図示せず)がドライバーによって押下されていなかった場合など、判断を否定し(NO)、上記ステップS12に処理を戻す。   On the other hand, for example, the detection means 21 of the camera ECU 2 denies the determination from the vehicle information acquired in step S12, for example, when the LKA main switch or the LDW main switch (not shown) is not pressed by the driver. (NO), the process is returned to step S12.

図2のステップS14において、カメラECU2の検出手段21は、カメラ1が撮像した画像を取得する。具体的には、カメラECU2の検出手段21は、カメラ1によって撮像された自車両mv前方の画像を当該カメラ1から取得する。そして、カメラECU2の検出手段21は、次のステップS15に処理を進める。   In step S <b> 14 of FIG. 2, the detection unit 21 of the camera ECU 2 acquires an image captured by the camera 1. Specifically, the detection means 21 of the camera ECU 2 acquires an image ahead of the host vehicle mv captured by the camera 1 from the camera 1. And the detection means 21 of camera ECU2 advances a process to following step S15.

ステップS15において、カメラECU2の検出手段21は、カメラ1によって撮像された自車両mv前方の画像から区画線を検出する処理を行う。以下、ステップS15において行われる処理について、図3〜6を参照しつつ説明する。   In step S <b> 15, the detection means 21 of the camera ECU 2 performs processing for detecting a lane marking from an image in front of the host vehicle mv captured by the camera 1. Hereinafter, the process performed in step S15 will be described with reference to FIGS.

図3は、図2のステップS15においてカメラECU2が行う処理の一例を示したフローチャートである。   FIG. 3 is a flowchart showing an example of processing performed by the camera ECU 2 in step S15 of FIG.

また、図4は、走行路面の右側(自車両mvの走行すべきレーンの右側)に分岐区間がある走行路面の一例を示した図である。なお、図4や以下の説明は、車両は右側通行である国(例えば米国、欧州など)の走行路面を自車両mvが走行しているものと仮に想定して説明するが、これに限らず、車両は左側通行である国(例えば日本など)においても適応できることは言うまでもない。   FIG. 4 is a diagram showing an example of a traveling road surface having a branch section on the right side of the traveling road surface (the right side of the lane on which the host vehicle mv should travel). Note that FIG. 4 and the following description will be described assuming that the vehicle mv is traveling on the road surface of a country where the vehicle is right-hand traffic (for example, the United States, Europe, etc.), but is not limited thereto. Needless to say, the vehicle can also be applied in a left-handed country (for example, Japan).

図4に示すように、自車両mvが図中の矢印arS方向に直進していると仮に想定する。より具体的には、自車両mvは右側区画線R1と左側区画線L1との間のエリアを当該自車両mvの走行すべきレーンとして矢印arS方向に直進している。その後、自車両mvは、図4の位置Aから位置Bまで進行し、当該自車両mvの右側には、分岐区間が存在するものと仮に想定する。つまり、図4に示すように、図4に示した分岐区間は、右側区画線R1が外側に屈曲しており、図4の区画線Rcと破線Rf1とで分岐区間が形成されている。   As shown in FIG. 4, it is assumed that the host vehicle mv is traveling straight in the direction of the arrow arS in the drawing. More specifically, the host vehicle mv goes straight in the direction of the arrow arS with the area between the right marking line R1 and the left marking line L1 as a lane on which the host vehicle mv should travel. Thereafter, it is assumed that the host vehicle mv travels from position A to position B in FIG. 4 and a branch section exists on the right side of the host vehicle mv. That is, as shown in FIG. 4, in the branch section shown in FIG. 4, the right partition line R1 is bent outward, and the branch section is formed by the partition line Rc and the broken line Rf1 in FIG.

図3の説明に進んで、ステップS31において、カメラECU2の検出手段21は、カメラ1が撮像した画像について、射影変換処理を行う。具体的には、カメラECU2の検出手段21は、図5に示すように、図4の領域Sについてカメラ1が撮像した画像を平面近似し、図4の走行路面の領域Sについて鉛直方向に視点を移した画像になるように、射影変換処理を施す。具体的には、カメラECU2の検出手段21は、カメラ1から取得した画像(図示せず)について、既知であるカメラ1の自車両mvにおける設置位置(道路に対しての高さや角度など)に基づいて、上記走行路面の領域Sを見下ろしたような画像に変換する。なお、カメラECU2の検出手段21が行う変換処理は、当業者による既知の手法を用いればよい。なお、図5に示したような、カメラ1が撮像した画像について射影変換処理を施した画像を、以下単にカメラ画像im1と称す。   Proceeding to the description of FIG. 3, in step S <b> 31, the detection means 21 of the camera ECU 2 performs projective transformation processing on the image captured by the camera 1. Specifically, as shown in FIG. 5, the detection means 21 of the camera ECU 2 approximates an image captured by the camera 1 for the region S in FIG. 4 and performs a viewpoint in the vertical direction with respect to the region S on the traveling road surface in FIG. 4. Projective transformation processing is performed so that the image is shifted. Specifically, the detection means 21 of the camera ECU 2 sets the known position of the camera 1 in the host vehicle mv (height, angle, etc. with respect to the road) of the image (not shown) acquired from the camera 1. Based on this, the image is converted into an image looking down on the area S of the traveling road surface. In addition, what is necessary is just to use the known method by those skilled in the art for the conversion process which the detection means 21 of camera ECU2 performs. Note that an image obtained by performing projective transformation processing on an image captured by the camera 1 as shown in FIG. 5 is simply referred to as a camera image im1 hereinafter.

ステップS32において、カメラECU2の検出手段21は、エッジ点を抽出する処理を行う。具体的には、カメラECU2の検出手段21は、カメラ画像im1の所定方向にソーベルフィルタ処理等を行って当該カメラ画像im1から複数のエッジ点を抽出し、次のステップS33に処理を進める。   In step S32, the detection means 21 of the camera ECU 2 performs processing for extracting edge points. Specifically, the detection means 21 of the camera ECU 2 performs a Sobel filter process or the like in a predetermined direction of the camera image im1, extracts a plurality of edge points from the camera image im1, and advances the process to the next step S33.

ステップS33において、カメラECU2の検出手段21は、上記ステップS32において抽出した複数のエッジ点について線分検出を行う。具体的には、カメラECU2の検出手段21は、一例として、上記ステップS32で抽出した複数のエッジ点のうち、高輝度から低輝度に変化するエッジ点に対して曲線のハフ変換による処理を行う。これにより、当該エッジ点を通る線分を複数検出することができる。そして、カメラECU2の検出手段21は、次のステップS34に処理を進める。   In step S33, the detection means 21 of the camera ECU 2 performs line segment detection for the plurality of edge points extracted in step S32. Specifically, as an example, the detection unit 21 of the camera ECU 2 performs processing by curve Hough transform on an edge point that changes from high luminance to low luminance among the plurality of edge points extracted in step S32. . Thereby, a plurality of line segments passing through the edge point can be detected. And the detection means 21 of camera ECU2 advances a process to the following step S34.

ステップS34において、カメラECU2の検出手段21は、区画線を認識する処理を行う。具体的には、カメラECU2の検出手段21は、上記ステップS33において抽出されたエッジ線から、左右一対、つまりペアとなるエッジ線を検出し、当該検出されたペアとなるエッジ線を区画線として認識する。   In step S34, the detection means 21 of the camera ECU 2 performs a process for recognizing a lane marking. Specifically, the detection means 21 of the camera ECU 2 detects a pair of left and right edges, that is, a pair of edge lines from the edge line extracted in step S33, and uses the detected pair of edge lines as a partition line. recognize.

ここで、上述したカメラ画像im1(図5参照)を例に、上記ステップS34でカメラECU2の検出手段21が行う処理について、以下、簡単に説明する。例えば、上記カメラ画像im1(図5参照)について、カメラECU2の検出手段21は、上述したステップS32およびステップS33の処理を行うと図6に示すような画像im2が得られると考えられる。なお、後述の説明のため画像im2(図6)を近傍領域と遠方領域とに分け、図4に示した自車両mvの進行方向を示す矢印arSも図中に示した。   Here, the process performed by the detection means 21 of the camera ECU 2 in step S34 will be briefly described below by taking the above-described camera image im1 (see FIG. 5) as an example. For example, with respect to the camera image im1 (see FIG. 5), it is considered that the detection means 21 of the camera ECU 2 obtains an image im2 as shown in FIG. 6 when the processes of steps S32 and S33 described above are performed. Note that for the purpose of the following description, the image im2 (FIG. 6) is divided into a near region and a far region, and an arrow arS indicating the traveling direction of the host vehicle mv shown in FIG.

つまり、図6に示すように、左側区画線L1はエッジ線L1eとして、右側区画線R1はエッジ線R1eとして、区画線Rcはエッジ線Rceとしてそれぞれ抽出される。なお、カメラ画像im1(図5参照)中の破線Rf1は、破線で示された区画線ではあるが、所定方向に当該区画線が断続的であるので、図6に示すように、カメラECU2の検出手段21は1本の区画線と仮定して破線Rf1をエッジ線Rf1eとしてもよい。   That is, as shown in FIG. 6, the left partition line L1 is extracted as the edge line L1e, the right partition line R1 is extracted as the edge line R1e, and the partition line Rc is extracted as the edge line Rce. The broken line Rf1 in the camera image im1 (see FIG. 5) is a lane marking indicated by the broken line, but the lane marking is intermittent in a predetermined direction. The detecting means 21 may assume a single dividing line and the broken line Rf1 as the edge line Rf1e.

そして、カメラECU2の検出手段21は、このように抽出された各エッジ線について、自車両mvの進行方向(矢印arS方向)で左右一対、つまりペアとなるエッジ線を検出する。図6に示すように、矢印arS方向に直進する自車両mvにとっては、当該自車両mvの進行方向に対して右側に複数本のエッジ線(具体的には、エッジ線R1e、エッジ線Rf1e、およびエッジ線Rce)が存在することになる。カメラECU2の検出手段21は、エッジ線R1e、エッジ線Rf1e、およびエッジ線Rceのうち、自車両mvの進行方向に対して左側の1本のエッジ線L1eとペアになるエッジ線を検出する。   Then, the detection means 21 of the camera ECU 2 detects a pair of left and right edge lines, that is, a pair of edge lines in the traveling direction (arrow arS direction) of the host vehicle mv for each edge line extracted in this way. As shown in FIG. 6, for the host vehicle mv that goes straight in the direction of the arrow arS, a plurality of edge lines (specifically, the edge line R1e, the edge line Rf1e, And edge line Rce) exist. The detection means 21 of the camera ECU 2 detects an edge line that is paired with one edge line L1e on the left side with respect to the traveling direction of the host vehicle mv among the edge line R1e, the edge line Rf1e, and the edge line Rce.

具体的には、例えば、カメラECU2の検出手段21は、一般的な走行道路に通常描かれている、車両が走行すべきエリアを示す右側区画線と左側区画線との距離に基づいて、各エッジ線の組み合わせが妥当であるか否かを判断する。具体的には、各エッジ線間の距離は予め定められた範囲内であるか否か、各エッジ線のなす角の値は予め定めたれた値以下であるか否か(2つのエッジ線はほぼ平行であるか否か)等の条件でそれぞれ判断する。なお、予め定められた範囲内であるか否かの判断基準となる各エッジ線間の距離は、一般的な走行路面の車線幅等に基づいて設定されればよい。   Specifically, for example, the detection means 21 of the camera ECU 2 is based on the distance between the right lane line and the left lane line that indicate the area where the vehicle should travel, which is usually drawn on a general road. It is determined whether or not the combination of edge lines is appropriate. Specifically, whether the distance between the edge lines is within a predetermined range, whether the value of the angle formed by each edge line is equal to or less than a predetermined value (the two edge lines are Judgment is made under conditions such as whether or not they are substantially parallel. The distance between the edge lines, which is a criterion for determining whether or not the distance is within a predetermined range, may be set based on a lane width or the like of a general traveling road surface.

例えば、図6で示した場合であると、エッジ線L1eとエッジ線R1eとがペアとなるエッジ線の組として検出され、エッジ線L1eとエッジ線Rf1eとがペアとなるエッジ線の組として検出され、結果として、左側区画線L1と右側区画線R1と破線Rf1とが図4に示した走行路面における境界線であると認識する。つまり、より具体的には、エッジ線L1eとペアとなる線は、エッジ線R1eでありエッジ線Rf1eであると認識され、結果として、図4で示した例では、左側区画線L1と右側区画線R1との間のエリア、左側区画線L1と破線Rf1との間のエリアを自車両mvが走行すべきレーンとして認識する。   For example, in the case shown in FIG. 6, the edge line L1e and the edge line R1e are detected as a pair of edge lines, and the edge line L1e and the edge line Rf1e are detected as a pair of edge lines. As a result, the left demarcation line L1, the right demarcation line R1, and the broken line Rf1 are recognized as boundary lines on the traveling road surface shown in FIG. That is, more specifically, the line paired with the edge line L1e is recognized as the edge line R1e and the edge line Rf1e. As a result, in the example shown in FIG. 4, the left partition line L1 and the right partition line The area between the line R1 and the area between the left partition line L1 and the broken line Rf1 are recognized as lanes that the host vehicle mv should travel.

なお、カメラECU2の検出手段21は、例えば、上述した条件でペアとなるエッジ線の組を検出するが、図6に示したエッジ線L1eとエッジ線Rceとの組、およびエッジ線Rf1eとエッジ線Rceとの組は、上述した条件を満たさないことが予想されるため、当該エッジ線L1eとエッジ線Rceとの組、およびエッジ線Rf1eとエッジ線Rceとの組はペアではないと判断される。つまり、より具体的には、エッジ線L1eとエッジ線Rceは、エッジ線間の距離は予め定められた距離内ではなく(一般的な走行路面の車線幅ではない)、また平行ではないため、当該エッジ線L1eとエッジ線Rceとの組はペアではないと判断される。エッジ線Rf1eとエッジ線Rceとについても同様である。   The detection means 21 of the camera ECU 2 detects, for example, a pair of edge lines paired under the above-described conditions, but the pair of the edge line L1e and the edge line Rce and the edge line Rf1e and the edge shown in FIG. Since the pair with the line Rce is expected not to satisfy the above-described conditions, it is determined that the pair of the edge line L1e and the edge line Rce and the pair of the edge line Rf1e and the edge line Rce are not pairs. The That is, more specifically, the edge line L1e and the edge line Rce are not within a predetermined distance (not a lane width of a general road surface) and are not parallel. It is determined that the pair of the edge line L1e and the edge line Rce is not a pair. The same applies to the edge line Rf1e and the edge line Rce.

以上が図3のステップS34の説明である。そして、カメラECU2の検出手段21は、上記ステップS34の処理の後、図3に示したフローチャートの処理を終了し、図2のステップS16に処理を戻す。   The above is the description of step S34 in FIG. And the detection means 21 of camera ECU2 complete | finishes the process of the flowchart shown in FIG. 3 after the process of said step S34, and returns a process to step S16 of FIG.

図2の説明に戻って、図2のステップS16において、カメラECU2の検出手段21は、道路パラメーターを算出し、車両制御ECU3に当該道路パラメーターを出力する。具体的には、カメラECU2の検出手段21は、上記ステップS15において検出されたペアとなるエッジ線や自車両mvの走行状態を示す情報に基づいて、自車両mvが走行している走行路面の形状と自車両mvとの相対的な関係(以下、道路パラメーターと称す)を推定する。   Returning to the description of FIG. 2, in step S <b> 16 of FIG. 2, the detection means 21 of the camera ECU 2 calculates a road parameter and outputs the road parameter to the vehicle control ECU 3. Specifically, the detection means 21 of the camera ECU 2 detects the traveling road surface on which the host vehicle mv is traveling based on the edge line detected in step S15 and information indicating the traveling state of the host vehicle mv. A relative relationship between the shape and the host vehicle mv (hereinafter referred to as a road parameter) is estimated.

以下、図2のステップS16において、カメラECU2の検出手段21が行う処理について簡単に説明する。一例として、図2のステップS16の道路パラメーターを算出するにあたっては、カメラECU2の検出手段21は、例えば、カルマンフィルタアルゴリズムを用いることができる。例えば、カメラECU2の検出手段21は、上記ステップS32において抽出された各エッジ点の中から予め定めたれた数、順序で当該エッジ点をカルマンフィルタに入力する。そして、カメラECU2の検出手段21は、カルマンフィルタ処理を行うことにより、自車両mvが走行している走行路面の道路パラメーター(走行路面の曲率R、車両のピッチ角φ、ヨー角θ、道路幅W、オフセット量gなど)算出する。これによって、走行路面上に描かれた区画線の形状を推定することができる。そして、カメラECU2の検出手段21は、当該算出された道路パラメーターを車両制御ECU3に出力し、ステップS17に処理を進める。   Hereinafter, the process performed by the detection means 21 of the camera ECU 2 in step S16 of FIG. 2 will be briefly described. As an example, in calculating the road parameter in step S16 of FIG. 2, the detection means 21 of the camera ECU 2 can use, for example, a Kalman filter algorithm. For example, the detection means 21 of the camera ECU 2 inputs the edge points to the Kalman filter in a predetermined number and order from among the edge points extracted in step S32. Then, the detection means 21 of the camera ECU 2 performs a Kalman filter process to thereby obtain road parameters (curvature R of the road surface, pitch angle φ, yaw angle θ, road width W) of the road surface on which the host vehicle mv is traveling. , Offset amount g). Thereby, the shape of the lane marking drawn on the traveling road surface can be estimated. Then, the detection means 21 of the camera ECU 2 outputs the calculated road parameter to the vehicle control ECU 3, and the process proceeds to step S17.

図2の説明に戻って、図2のステップS17において、カメラECU2の判定手段22は、近傍領域について分岐判定を行う。具体的には、上記ステップS33において、カメラECU2の検出手段21が検出しエッジ線について、近傍領域に分岐を示すエッジ線はあるか否かを判断する。なお、カメラ1が撮像した画像から分岐を示すエッジ線を検出する手法は、従来の既知の手法を用いれば良いが、例えば以下の手法もある。   Returning to the description of FIG. 2, in step S <b> 17 of FIG. 2, the determination unit 22 of the camera ECU 2 performs branch determination on the vicinity region. Specifically, in step S33, the detection means 21 of the camera ECU 2 detects whether there is an edge line indicating a branch in the vicinity region for the edge line. As a method for detecting an edge line indicating a branch from an image captured by the camera 1, a conventional known method may be used. For example, the following method is also available.

例えば、上記ステップS34における処理に基づき、2本のエッジ線の組について、当該2本のエッジ線がなす角の値が、予め定められた値以上であるか否かで判断することができる。言い換えると、2本のエッジ線がV字形状であるか否かで、当該2本のエッジ線は分岐を示すエッジ線であるか否かを判断することができる。なお、図6に示した例であると、エッジ線Rf1eとエッジ線Rceとが分岐を示すエッジ線の組であると判断される。   For example, based on the processing in step S34, it can be determined whether or not the value of the angle formed by the two edge lines is greater than or equal to a predetermined value for a set of two edge lines. In other words, whether or not the two edge lines are branch-shaped edge lines can be determined based on whether or not the two edge lines are V-shaped. In the example shown in FIG. 6, it is determined that the edge line Rf1e and the edge line Rce are a pair of edge lines indicating a branch.

また、本実施形態での説明では、カメラECU2の検出手段21が検出しエッジ線について、分岐を示すエッジ線であるか否かを判断したが、合流を示すエッジ線であるか否かについても、例えば、2本のエッジ線がV字形状であるか否かで判断することができる。また、以下では、カメラECU2の判定手段22は分岐判定を行う例を説明するが、分岐判定を類推適応して合流判定としてしてもよい。   In the description of the present embodiment, the detection means 21 of the camera ECU 2 detects and determines whether or not the edge line is an edge line indicating a branch, but whether or not it is an edge line indicating a merge is also determined. For example, it can be determined by whether or not the two edge lines are V-shaped. Hereinafter, an example in which the determination unit 22 of the camera ECU 2 performs the branch determination will be described. However, the branch determination may be analogized and used as the merge determination.

なお、上述したように、図2のステップS17における分岐判定は、上記ステップS34における処理に基づき、2本のエッジ線の組について当該2本のエッジ線がなす角の値が、予め定められた値以上であるか否かで判断したが、例えば、当該自車両mvの進行方向に対して片側に複数本のエッジ線が検出された場合、当該複数本のエッジ線は、分岐またま合流区間を示すエッジ線であるとしてもよい。   As described above, the branch determination in step S17 in FIG. 2 is based on the processing in step S34, and the value of the angle formed by the two edge lines for the set of two edge lines is determined in advance. It is determined whether or not the value is greater than or equal to the value. For example, when a plurality of edge lines are detected on one side with respect to the traveling direction of the host vehicle mv, the plurality of edge lines are divided or merged sections. May be an edge line.

そして、カメラECU2の判定手段22は、続く図2のステップS18において、判断を肯定(YES)し、次のステップS19に処理を進める。   And the determination means 22 of camera ECU2 affirms determination (YES) in step S18 of FIG. 2, and advances a process to following step S19.

一方、カメラECU2の判定手段22は、近傍領域について分岐判定を行った結果、例えば、上記ステップS34において、2本のエッジ線の組について、つまり2本のエッジ線がなす角の値が、予め定められた値以下(ほぼ平行)であったり、左側の1本のエッジ線L1eとペアになるエッジ線が1本のみであった場合等、続く図2のステップS18において、判断を否定(NO)し、次のステップS20に処理を進める。   On the other hand, the determination means 22 of the camera ECU 2 performs the branch determination on the neighboring region. As a result, for example, in step S34, the value of the angle formed by the two edge lines in advance is determined in advance in step S34. In step S18 of FIG. 2, the determination is negative (NO), for example, when it is less than a predetermined value (substantially parallel) or only one edge line is paired with one left edge line L1e. And the process proceeds to the next step S20.

近傍領域に分岐区間があると判断された次の処理であるステップS19において、カメラECU2の選択手段23は、境界線選択処理を行う。以下、ステップS19において、カメラECU2の選択手段23が行う境界線選択処理について説明する。   In step S19, which is the next process in which it is determined that there is a branch section in the neighborhood area, the selection unit 23 of the camera ECU 2 performs a boundary line selection process. Hereinafter, the boundary line selection process performed by the selection unit 23 of the camera ECU 2 in step S19 will be described.

ステップS19における境界線選択処理とは、分岐を示すエッジ線の組に含まれるエッジ線(図6の例であると、エッジ線Rf1eとエッジ線Rce)は、走行路面における境界線として選択しない。なお、上述したように、合流を示すエッジ線の組に含まれるエッジ線も、走行路面におけるは境界線として選択しない。   The boundary line selection process in step S19 does not select the edge lines (edge line Rf1e and edge line Rce in the example of FIG. 6) included in the set of edge lines indicating branching as boundary lines on the traveling road surface. As described above, the edge lines included in the set of edge lines indicating the merging are not selected as boundary lines on the traveling road surface.

具体的には、ステップS19において、カメラECU2の選択手段23は、エッジ線L1eとエッジ線R1eとを境界線(LDW制御の基準となる区画線)として選択する。一方、カメラECU2の選択手段23は、分岐を示すエッジ線の組に含まれるエッジ線(図6の例であると、エッジ線Rf1eとエッジ線Rce)は、走行路面における境界線として選択しない。   Specifically, in step S19, the selection unit 23 of the camera ECU 2 selects the edge line L1e and the edge line R1e as a boundary line (partition line serving as a reference for LDW control). On the other hand, the selection means 23 of the camera ECU 2 does not select the edge lines (edge line Rf1e and edge line Rce in the example of FIG. 6) included in the set of edge lines indicating branching as boundary lines on the traveling road surface.

また、この場合、分岐を示すエッジ線の組に含まれるエッジ線(図6の例であると、エッジ線Rf1eとエッジ線Rce)は、カメラECU2の選択手段23によって、境界線として選択されなかったので、図4の位置Bにおいて、例えば、自車両mvのドライバーが意図せずに右側に寄った場合、LDW制御を行う基準となる区画線が存在しなくなる。しかしながら、例えば、カメラECU2の選択手段23は、自車両mvが、右区画線R1が得られなくなったポイント(図4および図6中のポイントP1)まで来たと判断したとき、これまでに得られたエッジ線R1eに基づき、当該エッジ線R1eを延長した線を仮想的な右側区画線R1として設定したり、一般的な走行路面の車線幅等に基づきエッジ線L1eから推定される右側区画線を仮想的な右側区画線R1として設定すればよい。   In this case, the edge lines included in the pair of edge lines indicating the branch (in the example of FIG. 6, the edge line Rf1e and the edge line Rce) are not selected as the boundary line by the selection unit 23 of the camera ECU 2. Therefore, at the position B in FIG. 4, for example, when the driver of the host vehicle mv unintentionally moves to the right side, there is no lane marking serving as a reference for performing LDW control. However, for example, when the selection means 23 of the camera ECU 2 determines that the host vehicle mv has reached the point where the right lane marking R1 cannot be obtained (point P1 in FIGS. 4 and 6), the selection means 23 is obtained so far. On the basis of the edge line R1e, a line obtained by extending the edge line R1e is set as a virtual right lane line R1, or a right lane line estimated from the edge line L1e based on a lane width of a general traveling road surface or the like. What is necessary is just to set as virtual right division line R1.

なお、上述した例であると、エッジ線L1eから推定される仮想的右側区画線は、エッジ線Rf1eであると設定されると予想される。   In the example described above, it is expected that the virtual right partition line estimated from the edge line L1e is set to be the edge line Rf1e.

つまり、カメラECU2の選択手段23は、検出手段21が自車両mvの進行方向に対して複数本のエッジ線(上述した例であると、右側に、エッジ線R1e、エッジ線Rf1e、およびエッジ線Rce)を検出した場合、当該複数の区画線をLDW制御の基準となる区画線として選択せず、自車両mvの進行方向に対して1本の区画線に基づいて推定された仮想的な区画線(上述した例であると、エッジ線L1eから推定された右側区画線)をLDW制御の基準となる区画線とする。   That is, the selection unit 23 of the camera ECU 2 is configured such that the detection unit 21 has a plurality of edge lines with respect to the traveling direction of the host vehicle mv (in the example described above, the edge line R1e, the edge line Rf1e, and the edge line on the right side. Rce) is detected, the plurality of lane markings are not selected as the lane markings that serve as the reference for LDW control, but the virtual lane estimated based on one lane marking in the traveling direction of the host vehicle mv The line (in the example described above, the right lane marking estimated from the edge line L1e) is defined as a lane marking serving as a reference for LDW control.

そして、図4で示した走行路面におけるは境界線は左側区画線L1および右側区画線R1であり、左側区画線L1および仮想的な右側区画線である情報を出力された車両制御ECU3は、所定時間後に自車両mvの前輪が左側区画線L1、右側区画線R1、および仮想的な右側区画線に到達すると判断した場合、警告等を行う(LDW制御)。言い換えると、車両制御ECU3は、カメラECU2の選択手段23によって選択されなかった、自車両mvの進行方向に対して複数本のエッジ線(上述した例であると、右側に、エッジ線R1e、エッジ線Rf1e、およびエッジ線Rce)に基づいてLDW制御を行うのではなく、カメラECU2の選択手段23によって設定された仮想的な区画線に基づいてLDW制御を行う。   The boundary lines on the traveling road surface shown in FIG. 4 are the left lane line L1 and the right lane line R1, and the vehicle control ECU 3 to which the information indicating the left lane line L1 and the virtual right lane line is output is predetermined. If it is determined that the front wheels of the host vehicle mv will reach the left lane line L1, the right lane line R1, and the virtual right lane line after a time, a warning or the like is given (LDW control). In other words, the vehicle control ECU 3 has a plurality of edge lines that are not selected by the selection unit 23 of the camera ECU 2 with respect to the traveling direction of the host vehicle mv (in the above example, the edge line R1e, Instead of performing LDW control based on the line Rf1e and the edge line Rce), the LDW control is performed based on the virtual lane marking set by the selection means 23 of the camera ECU 2.

また、上述した例では、当該自車両mvの進行方向に対して右側に複数本のエッジ線(具体的には、エッジ線R1e、エッジ線Rf1e、およびエッジ線Rce)について、自車両mvの進行方向に対して左側の1本のエッジ線Leとペアになるエッジ線の組を検出したがこれに限られない。例えば、ペアとなる組を検出せずに、自車両mvの進行方向に対して右側に複数本のエッジ線が検出された場合、当該複数本のエッジ線が示す区画線は、走行路面におけるは境界線(LDW制御の基準となる区画線)を示すものではないとしてもよい。つまり、自車両mvの進行方向に対して、右側および左側のいずれか片側に複数本の区画線が描かれている場合、当該片側の複数本の区画線は、走行路面における境界線(LDW制御の基準となる区画線)を示すものではないとしてもよい。なお、この場合も、自車両mvの進行方向に対して1本の区画線が検出された場合、当該1本の線に基づいて推定された仮想的な区画線をLDW制御の基準となる区画線として設定し、LDW制御を行えばよい。   In the above-described example, the host vehicle mv travels with respect to a plurality of edge lines (specifically, the edge line R1e, the edge line Rf1e, and the edge line Rce) on the right side with respect to the traveling direction of the host vehicle mv. Although a pair of edge lines paired with one edge line Le on the left side in the direction is detected, the present invention is not limited to this. For example, when a plurality of edge lines are detected on the right side with respect to the traveling direction of the host vehicle mv without detecting a pair as a pair, the dividing lines indicated by the plurality of edge lines are It does not have to indicate a boundary line (a division line serving as a reference for LDW control). That is, when a plurality of lane markings are drawn on one of the right side and the left side with respect to the traveling direction of the host vehicle mv, the plurality of lane markings on the one side are boundaries on the road surface (LDW control). It may not indicate the lane markings that serve as the reference for In this case as well, when one lane line is detected in the traveling direction of the host vehicle mv, a virtual lane line estimated based on the one line is used as a reference for LDW control. It may be set as a line and LDW control may be performed.

このように、ペアではないと判断された組のエッジ線、より具体的には、分岐を示すエッジ線の組に含まれるエッジ線(図6の例であると、エッジ線Rf1eとエッジ線Rce)は、走行路面における境界線(LDW制御の基準となる区画線)を示すものではないとすることができる。なお、車両制御ECU3は、カメラECU2の選択手段23によってLDW制御の基準となる区画線ではないと判断された区画線から、自車両mvが逸脱しそうである場合、例えば、音声での警告の場合、音量などを通常の警告の場合と比べて小さいものにしたり、LDW制御を制限してもよい。   Thus, a pair of edge lines determined not to be a pair, more specifically, an edge line included in a pair of edge lines indicating a branch (in the example of FIG. 6, the edge line Rf1e and the edge line Rce ) May not indicate a boundary line on the road surface (a division line serving as a reference for LDW control). Note that the vehicle control ECU 3 determines that the host vehicle mv is likely to deviate from the lane marking that is not determined as the LDW control reference by the selection unit 23 of the camera ECU 2, for example, in the case of an audio warning. The volume or the like may be reduced as compared with a normal warning, or LDW control may be limited.

これによって、簡易な方法で、安定したLDW制御を行うことができる。つまり、一般的には、自車両mvが走行している走行路面の片側(上述の説明では右側)に複数の区画線が存在している場合、当該片側の複数の区画線から境界線(LDW制御の基準となる区画線)選択する必要がある。さらに、例えば、走行路面に補修痕やタイヤ痕のような本来の区画線ではないものを区画線として認識し、当該本来の区画線ではない区画線を含む複数の区画線から境界線(LDW制御の基準となる区画線)選択しなければならないようなことがある。このとき、例えば、本来の区画線ではない区画線を境界線(LDW制御の基準となる区画線)選択した場合、その本来の区画線ではない区画線を境界線を基準としてLDW制御を行うことになり、安定してLDW制御を行うことができない。   Thereby, stable LDW control can be performed by a simple method. That is, generally, when there are a plurality of lane markings on one side (right side in the above description) on which the host vehicle mv is traveling, the boundary lines (LDW) It is necessary to select the lane markings that serve as the basis for control. Further, for example, a non-original lane marking such as repair marks or tire marks on the road surface is recognized as a lane marking, and a boundary line (LDW control) is formed from a plurality of lane markings including the lane marking that is not the original lane marking. You may have to select the lane markings that serve as the basis for At this time, for example, when a boundary line (partition line serving as a reference for LDW control) is selected as a partition line that is not the original partition line, LDW control is performed using the partition line that is not the original partition line as a reference. Thus, the LDW control cannot be performed stably.

本実施形態に係る車両制御装置は、走行路面の片側(上述の説明では右側)に複数の区画線が存在している場合、特に分岐区間を示す区画線が存在した場合、当該区画線をLDW制御の基準となる区画線として用いないようにすることで、安定したLDW制御を行うことができる。   When a plurality of lane markings exist on one side (right side in the above description) of the traveling road surface, the vehicle control device according to the present embodiment displays the lane marking as an LDW, particularly when a lane marking indicating a branch section exists. Stable LDW control can be performed by not using it as a lane marking as a reference for control.

ところで、走行路面上に描かれている分岐区間を示すレーンマーカー(具体的には、走行路面上に描かれている白線や黄色線などの線)は、地域等によって異なることがある。   By the way, the lane marker (specifically, a line such as a white line or a yellow line drawn on the traveling road surface) indicating the branch section drawn on the traveling road surface may differ depending on the region or the like.

具体的には図7に示すような分岐区間である。図7は、特に欧州などでみられる分岐区間を自車両mvのカメラ1が撮像した画像について射影変換処理を行ったカメラ画像im3である。具体的には、図7に示すように、右側区画線R1が得られなくなったポイント(図7中のポイントP2)から、破線Rf2が現れるまで、区画線(破線)が存在しない分岐区間である。   Specifically, it is a branch section as shown in FIG. FIG. 7 is a camera image im3 obtained by performing a projective transformation process on an image obtained by the camera 1 of the host vehicle mv in a branch section seen particularly in Europe. Specifically, as shown in FIG. 7, there is a branch section in which no lane line (broken line) exists from the point where the right lane line R1 can no longer be obtained (point P2 in FIG. 7) until the broken line Rf2 appears. .

また、上記カメラ画像im3(図7参照)について、カメラECU2の検出手段21は、上述したステップS32およびステップS33の処理を行うと図8に示すような画像im4が得られる。そのため、近傍領域について上述したような分岐判定を行った結果、分岐ではないと判断される場合がある。つまり、遠方領域まで考慮すると、エッジ線Rceとエッジ線Rf2eとが分岐を示すエッジ線の組であると判断されるが、近傍領域で分岐判定した結果、分岐を示すエッジ線の組は無いと判断され、結果として上記ステップS18において、判断は否定(NO)されることになる。   Further, with respect to the camera image im3 (see FIG. 7), when the detection means 21 of the camera ECU 2 performs the processes of step S32 and step S33 described above, an image im4 as shown in FIG. 8 is obtained. For this reason, as a result of performing the branch determination as described above for the neighboring region, it may be determined that the branch is not a branch. That is, when considering the far region, the edge line Rce and the edge line Rf2e are determined to be a pair of edge lines indicating branching, but as a result of branch determination in the neighboring region, there is no pair of edge lines indicating branching. As a result, in step S18, the determination is negative (NO).

そのため、自車両mvの仕向地が特に欧州である場合など、上述したステップS18での判断が否定(NO)、つまり分岐区間では無いと判断された次ステップS20において、カメラECU2の判定手段22は、遠方領域についてさらに分岐判定を行う。なお、遠方領域における分岐判定、つまりステップS20およびステップS21での処理は、上述した上記ステップS17および上記ステップS18と同様の処理を行えばよいので、説明は省略するが、エッジ線Rf2eとエッジ線Rceとが分岐を示すエッジ線の組であると判断される。そして、ステップS19において、カメラECU2の選択手段23は、エッジ線Rf2eとエッジ線Rceは、走行路面におけるは境界線(LDW制御の基準となる区画線)として選択しない。   Therefore, when the destination of the host vehicle mv is particularly Europe, the determination in step S18 described above is negative (NO), that is, in the next step S20 where it is determined that the vehicle is not a branch section, the determination means 22 of the camera ECU 2 Further, branch determination is performed for the far region. Note that the branch determination in the far region, that is, the processing in step S20 and step S21 may be performed in the same manner as in the above-described step S17 and step S18, and thus the description thereof is omitted, but the edge line Rf2e and the edge line Rce is determined to be a set of edge lines indicating branching. In step S19, the selection unit 23 of the camera ECU 2 does not select the edge line Rf2e and the edge line Rce as boundary lines (partition lines serving as a reference for LDW control) on the road surface.

なお、この場合も同様に、カメラECU2の選択手段23は、これまでに得られたエッジ線R1eに基づき、当該エッジ線R1eを延長した線を仮想的な右側区画線R1として設定したり、一般的な走行路面の車線幅等に基づきエッジ線L1eから推定される右側区画線を仮想的な右側区画線R1として設定すればよい。   Also in this case, similarly, the selection means 23 of the camera ECU 2 sets a line obtained by extending the edge line R1e as a virtual right partition line R1 based on the edge line R1e obtained so far, The right lane marking estimated from the edge line L1e based on the lane width of the typical traveling road surface may be set as the virtual right lane marking R1.

一方、ステップS21での判断が否定された場合、つまり近傍領域および遠方領域において分岐判定したが、分岐ではないと判断された場合は、車両制御ECU3は、カメラECU2の検出手段21によって検出された区画線を境界線(LDW制御の基準となる区画線)として、LDW制御を行えばよい。   On the other hand, if the determination in step S21 is negative, that is, branch determination is made in the vicinity region and the far region, but if it is determined that the branch is not a branch, the vehicle control ECU 3 is detected by the detection means 21 of the camera ECU 2. The LDW control may be performed using the lane marking as a boundary line (a lane marking serving as a reference for LDW control).

その後、ステップS22において、カメラECU2は、自車両mvのIGがOFFされたか否かを判断する。そして、IGがOFFであると判断した場合(YES)、当該フローチャートでの処理を終了する。一方、カメラECU2は、自車両mvのIGがOFFされていないと判断した場合(NO)、上記ステップS12に処理を戻す。   Thereafter, in step S22, the camera ECU 2 determines whether or not the IG of the host vehicle mv is turned off. If it is determined that IG is OFF (YES), the processing in the flowchart is terminated. On the other hand, when the camera ECU 2 determines that the IG of the host vehicle mv is not turned off (NO), the process returns to step S12.

上記実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって、本願の効果を奏する範囲において、任意の構成を採用することが可能である。   The aspect demonstrated by the said embodiment shows a specific example only, and does not limit the technical scope of this invention at all. Therefore, any configuration can be adopted within a range where the effect of the present application is achieved.

本発明に係る車両制御装置は、車両に搭載され、簡易な方法で、安定したLDW制御を行うことができる車両制御装置等として有用である。   The vehicle control device according to the present invention is useful as a vehicle control device that is mounted on a vehicle and can perform stable LDW control by a simple method.

1…カメラ
2…カメラECU
21…検出手段
22…判定手段
23…選択手段
3…車両制御ECU
4…警告装置
1 ... Camera 2 ... Camera ECU
DESCRIPTION OF SYMBOLS 21 ... Detection means 22 ... Determination means 23 ... Selection means 3 ... Vehicle control ECU
4. Warning device

Claims (4)

車両に搭載され走行レーンに沿った運転を支援する車両制御装置であって、
前記車両前方を撮像する撮像手段と、
前記撮像手段が撮像した画像から当該車両の進行方向に対して前記走行レーンの右側および左側に描かれた線を区画線として検出する検出手段と、
前記検出手段が検出した前記区画線から前記車両が逸脱することが予想される場合に警告する警告手段と、
前記検出手段によって検出された前記区画線が当該車両の進行方向に対して前記走行レーンの右側および左側のいずれか片側に複数本ある場合、走行レーンに沿った運転を支援する制御に含まれる前記警告であって当該複数本の区画線を制御の基準に用いて当該複数本の区画線から前記車両が逸脱することが予想される場合に行われる前記警告を禁止する禁止手段と、
前記検出手段によって当該車両の進行方向にある領域に対して検出された前記区画線が前記片側に、これまで走行レーンに沿った運転を支援する制御の基準として使用していた区画線を含めて複数本ある場合、当該車両の進行方向にある前記領域に対して前記走行レーンに沿った運転を支援する制御の前記片側に用いる基準として、前記複数本の前記区画線を用いずに仮想的な区画線を用いる制御手段であって、
前記走行レーンの前記片側とは反対側の境界線として検出された1本の区画線から推定した前記仮想的な区画線を設定して用いる、あるいは、前記複数本の前記区画線に含まれる前記反対側の前記1本の区画線とペアになる前記区画線に基づいて推定した前記仮想的な区画線を設定して用いる制御手段とを備える、車両制御装置。
A vehicle control device that is mounted on a vehicle and supports driving along a traveling lane,
Imaging means for imaging the front of the vehicle;
Detecting means for detecting lines drawn on the right side and the left side of the traveling lane with respect to the traveling direction of the vehicle from the image captured by the imaging unit as a demarcation line;
Warning means for warning when the vehicle is expected to deviate from the lane line detected by the detection means;
When there are a plurality of lane markings detected by the detection means on either the right side or the left side of the travel lane with respect to the traveling direction of the vehicle, the control is included in the control for supporting driving along the travel lane. A prohibiting means for prohibiting the warning that is performed when the vehicle is expected to deviate from the plurality of lane markings by using the plurality of lane markings as a control criterion ;
The lane line detected for the area in the traveling direction of the vehicle by the detection means includes the lane line that has been used as a reference for control for supporting driving along the traveling lane on the one side. When there are a plurality of lines, a reference used for the one side of the control for supporting the driving along the traveling lane with respect to the area in the traveling direction of the vehicle is a virtual one without using the plurality of lane markings. Control means using lane markings,
The virtual lane line estimated from one lane line detected as a boundary line opposite to the one side of the traveling lane is set and used , or included in the plurality of lane lines A vehicle control apparatus comprising: control means for setting and using the virtual lane marking estimated based on the lane marking that is paired with the one lane marking on the opposite side .
前記検出手段は、前記撮像手段が撮像した前記車両の近傍および前記車両の遠方の少なくとも一方の画像から前記区画線を検出することを特徴とする、請求項1に記載の車両制御装置。   The vehicle control device according to claim 1, wherein the detection unit detects the lane marking from at least one image of the vicinity of the vehicle and the distance from the vehicle captured by the imaging unit. 前記禁止手段は、前記走行レーンの右側および左側のいずれか片側に複数本の区画線があり、かつ当該複数本の区画線のうち少なくとも1組が交差する位置関係にある場合、当該複数本の区画線から前記車両が逸脱することが予想される場合に行われる前記警告を禁止することを特徴とする、請求項1または2に記載の車両制御装置。   The prohibiting means includes a plurality of lane markings on either the right side or the left side of the travel lane, and at least one set of the plurality of lane markings intersects. The vehicle control device according to claim 1, wherein the warning performed when the vehicle is expected to deviate from the lane marking is prohibited. 前記禁止手段は、前記走行レーンの右側および左側のいずれか片側に複数本の区画線があり、かつ当該片側に分岐区間または合流区間がある場合、当該複数本の区画線から前記車両が逸脱することが予想される場合に行われる前記警告を禁止することを特徴とする、請求項1または2に記載の車両制御装置。   In the case where there are a plurality of lane markings on one of the right side and the left side of the travel lane and there are a branching section or a merging section on the one side, the prohibiting unit deviates from the plurality of lane markings. The vehicle control device according to claim 1, wherein the warning that is performed when it is predicted is prohibited.
JP2010064810A 2010-03-19 2010-03-19 Vehicle control device Active JP5716945B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010064810A JP5716945B2 (en) 2010-03-19 2010-03-19 Vehicle control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010064810A JP5716945B2 (en) 2010-03-19 2010-03-19 Vehicle control device

Publications (2)

Publication Number Publication Date
JP2011198110A JP2011198110A (en) 2011-10-06
JP5716945B2 true JP5716945B2 (en) 2015-05-13

Family

ID=44876210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010064810A Active JP5716945B2 (en) 2010-03-19 2010-03-19 Vehicle control device

Country Status (1)

Country Link
JP (1) JP5716945B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5780140B2 (en) * 2011-12-02 2015-09-16 富士通株式会社 Road shape estimation apparatus and program
JP2016018256A (en) 2014-07-04 2016-02-01 株式会社デンソー Branch-merger determination device
JP6674365B2 (en) * 2016-10-21 2020-04-01 株式会社Soken Lane marking recognition device
JP6741603B2 (en) 2017-01-16 2020-08-19 株式会社Soken Estimator
JP6693893B2 (en) 2017-01-16 2020-05-13 株式会社Soken Track recognition device
JP7053211B2 (en) 2017-10-04 2022-04-12 株式会社Soken Driving support device
JP7359715B2 (en) 2020-02-14 2023-10-11 株式会社Soken Road shape estimation device
JP7342832B2 (en) * 2020-09-30 2023-09-12 いすゞ自動車株式会社 Travel position determination device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3818641B2 (en) * 2001-11-30 2006-09-06 トヨタ自動車株式会社 Vehicle runway determination device and vehicle control device
JP4207935B2 (en) * 2005-08-19 2009-01-14 トヨタ自動車株式会社 Travel path recognition device
JP4603970B2 (en) * 2005-12-15 2010-12-22 トヨタ自動車株式会社 Road marking line detection device
JP4605145B2 (en) * 2006-11-14 2011-01-05 トヨタ自動車株式会社 Lane detection device
JP4872897B2 (en) * 2007-12-12 2012-02-08 トヨタ自動車株式会社 Lane maintenance support device

Also Published As

Publication number Publication date
JP2011198110A (en) 2011-10-06

Similar Documents

Publication Publication Date Title
JP5716945B2 (en) Vehicle control device
JP6867184B2 (en) Driving support device
JP5991340B2 (en) Driving assistance device
JP5172314B2 (en) Stereo camera device
WO2011118110A1 (en) Processing device for assisting driving of vehicle, vehicle driving assisting device, and vehicle device
JP6132359B2 (en) Traveling line recognition device
CN104903173B (en) Method and device for assisting a driver of a two-wheeled vehicle when driving around a curve
JP4755227B2 (en) Method for recognizing objects
WO2014129312A1 (en) Device for suppressing deviation from lane boundary line
JP5768666B2 (en) Vehicle travel support device and boundary line recognition device
JP5896505B2 (en) Vehicle driving support device
JP5692668B2 (en) Driving assistance device
JP5803285B2 (en) Limiting vehicle speed setting device and limiting vehicle speed setting method
JP6377942B2 (en) Driving assistance device
JP6459226B2 (en) In-vehicle image processing device
JP2018097431A (en) Driving support apparatus, driving support system and driving support method
JP6364869B2 (en) Driving assistance device
JP2011159147A (en) Driving support apparatus
JP2014142965A (en) Driving support device and driving support method
JP2017102607A (en) Drive support device
JP6885022B2 (en) Driving support device
JP2008306402A (en) Onboard imaging and display device
JP6654440B2 (en) Vehicle recognition device and vehicle recognition method
CN111862108A (en) Image processing apparatus and image processing method
CN108349491B (en) Lane maintenance control device

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150304

R151 Written notification of patent or utility model registration

Ref document number: 5716945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151