JP6189816B2 - 走行区画線認識装置 - Google Patents

走行区画線認識装置 Download PDF

Info

Publication number
JP6189816B2
JP6189816B2 JP2014234663A JP2014234663A JP6189816B2 JP 6189816 B2 JP6189816 B2 JP 6189816B2 JP 2014234663 A JP2014234663 A JP 2014234663A JP 2014234663 A JP2014234663 A JP 2014234663A JP 6189816 B2 JP6189816 B2 JP 6189816B2
Authority
JP
Japan
Prior art keywords
lane
lane line
travel lane
travel
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014234663A
Other languages
English (en)
Other versions
JP2016099719A (ja
Inventor
直輝 川嵜
直輝 川嵜
鶴田 知彦
知彦 鶴田
俊輔 鈴木
俊輔 鈴木
建 桑原
建 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014234663A priority Critical patent/JP6189816B2/ja
Priority to US14/945,116 priority patent/US9688275B2/en
Publication of JP2016099719A publication Critical patent/JP2016099719A/ja
Application granted granted Critical
Publication of JP6189816B2 publication Critical patent/JP6189816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Signal Processing (AREA)

Description

本発明は走行区画線認識装置に関する。
従来、以下のようにして走行区画線を認識する走行区画線認識装置が知られている。まず、自車両の前方を撮影して画像を生成し、その画像からエッジ点を抽出する。次に、エッジ点に基づき走行区画線候補を検出する。さらに、走行区画線候補のうち、走行区画線らしさ(尤度)が高いものを、走行区画線として認識する(特許文献1参照)。
特開平11−53551号公報
自車両がそれまで走行していた車線から隣の車線にレーンチェンジ中である場合、隣の車線の走行区画線のうち、自車両から遠い側の走行区画線は、画像における周辺部に現れる。また、自車両がレーンチェンジ中である場合、画像における走行区画線の位置は、時間の経過とともに大きく変化する。そのため、自車両がレーンチェンジ中である場合、走行区画線を早期に認識することは困難であった。
本発明は、こうした問題にかんがみてなされたものであり、レーンチェンジ中でも走行区画線を認識しやすい走行区画線認識装置を提供することを目的としている。
本発明の走行区画線認識装置は、自車両の前方を撮影し、画像を生成する撮影ユニットと、画像からエッジ点を抽出するエッジ点抽出ユニットと、エッジ点に基づき走行区画線候補を検出する走行区画線候補検出ユニットと、走行区画線候補の走行区画線らしさを算出する走行区画線らしさ算出ユニットと、走行区画線候補のうち、走行区画線らしさが予め設定された閾値以上であるものを走行区画線として認識する走行区画線認識ユニットと、自車両がレーンチェンジ中であることを検出するレーンチェンジ検出ユニットと、レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、(a)走行区画線らしさの算出条件を、走行区画線らしさが大きくなりやすいものに変更するか、(b)閾値を小さくする条件変更ユニットとを備える。
本発明の走行区画線認識装置は、レーンチェンジ中でも、走行区画線を早期に認識することができる。
走行区画線認識装置1の構成を表すブロック図である。 図2Aは自車両101における車載カメラ3の位置を表す側面図であり、図2Bは自車両101における車載カメラ3の位置を表す鳥瞰図である。 走行区画線認識装置1が実行する走行区画線認識処理を表すフローチャートである。 車載カメラ3が生成した画像の例を表す説明図である。 エッジ点113、走行区画線候補115、117、119、121を表す説明図である。 前回フレームで検出された走行区画線候補123と、現フレームで検出された走行区画線候補125とを表す説明図である。 走行区画線認識装置1が実行する条件変更処理を表す説明図である。 基準線127と、走行区画線111との車幅方向における距離dを表す説明図である。
本発明の実施形態を図面に基づき説明する。
<第1の実施形態>
1.走行区画線認識装置1の構成
走行区画線認識装置1の構成を図1及び図2に基づき説明する。走行区画線認識装置1は、車両に搭載される車載装置である。以下では、走行区画線認識装置1を搭載した車両を自車両とする。図1に示すように、走行区画線認識装置1は、車載カメラ3と、自車両状態量検出センサ5と、演算ユニット7とを備える。
車載カメラ3は撮影ユニットの一例である。図2A及び図2Bに示すように、車載カメラ3は、自車両101におけるフロントガラス103の上部に取り付けられており、自車両101の前方を撮影し、画像を生成する。生成された画像の画角には、自車両101の前方における路面が含まれる。車載カメラ3が生成した画像は、演算ユニット7に出力される。
車載カメラ3は、所定時間ごとに繰り返し、1つの画像を生成する。以下では、1つの画像を1フレームと呼ぶこともある。車載カメラ3が、フレームF1、F2、F3・・・Fi、Fi+1・・・を順次生成した場合、フレームFiは、フレームFi+1の1つ前のフレームである。
自車両状態量検出センサ5は、自車両の車速とヨーレートとを検出し、検出結果を演算ユニット7に出力する。演算ユニット7は、CPU、RAM、ROM等を備えた周知のコンピュータである。演算ユニット7は、ROMに記憶されたプログラムにより、後述する処理を実行する。演算ユニット7は、機能的に、エッジ点抽出ユニット9、走行区画線候補検出ユニット11、走行区画線らしさ算出ユニット13、走行区画線認識ユニット15、レーンチェンジ検出ユニット17、及び条件変更ユニット19を備える。各ユニットが実行する処理は後述する。
自車両は、走行区画線認識装置1に加えて、警報/車両制御装置105を備える。警報/車両制御装置105は、走行区画線認識装置1が出力する走行区画線パラメータに基づき、警報及び車両制御を行う。詳しくは後述する。
2.走行区画線認識装置1が実行する走行区画線認識処理
走行区画線認識装置1が実行する走行区画線認識処理を図3〜図6に基づき説明する。走行区画線認識処理は、自車両の走行中、所定時間ごとに繰り返し実行される。
図3のステップ1では、車載カメラ3が自車両の前方を撮影し、画像(1つのフレーム)を生成する。この画像の例を図4に示す。この画像には、自車両の前方における路面107と、自車両が走行中の車線を区画する走行区画線109、111が含まれている。
図3に戻り、ステップ2では、エッジ点抽出ユニット9が、前記ステップ1で生成した画像からエッジ点を抽出する。エッジ点とは、隣接する画素と比べて、輝度値の差が基準となる値よりも大きい画素を意味する。図5は、図4に示す画像において抽出したエッジ点113を表す。エッジ点113は、走行区画線109、111の左側の境界上と、右側の境界上とにそれぞれ存在する。
図3に戻り、ステップ3では、走行区画線候補検出ユニット11が、前記ステップ2で抽出したエッジ点に基づき走行区画線候補を検出する。具体的には、エッジ点について、ハフ変換による直線検出を行い、ハフ変換の投票空間上で最も投票数の多い直線を走行区画線候補として検出する。図5に、検出した走行区画線候補115、117、119、121の例を示す。
なお、エッジ点に対する最小二乗法による直線フィッティングを行った結果を走行区画線候補としてもよい。また、最小二乗法で求めた直線を初期直線とし、その初期直線からの誤差(直線までの距離)が所定の閾値以下のエッジ点のみを使って、ハフ変換による直線検出を行い、その結果を最終的な走行区画線候補とする等して、ハフ変換と最小二乗法を組み合わせてロバストに走行区画線候補を検出してもよい。
ステップ4では、走行区画線らしさ算出ユニット13が、前記ステップ3で検出した走行区画線候補の走行区画線らしさ(尤度)を算出する。具体的には以下のように行う。
まず、今回の走行区画線認識処理で使用しているフレーム(以下、現フレームとする)よりも1つ前のフレーム(以下、前回フレームとする)を呼び出す。次に、前回フレームで検出された走行区画線候補の位置を、その走行区画線候補が現フレームにおいて現れるはずの位置に補正する。
すなわち、自車両は、前回フレームの生成時から、現フレームの生成時までに移動しているので、前回フレームで検出した走行区画線候補が現フレームで現れる場合、現フレームにおける走行区画線候補の位置は、自車両の移動の分だけ、前回フレームにおける位置から変位しているはずである。
そこで、前回フレームの生成時から、現フレームの生成時までの自車両の移動量及び移動方向を算出し、その算出結果に応じて、前回フレームで検出した走行区画線候補の位置を、現フレームで現れるはずの位置に補正する。なお、自車両の移動量及び移動方向は自車両状態量検出センサ5により検出することができる。前回フレームで検出した走行区画線候補が複数ある場合は、それぞれについて上記のように補正する。
図6に、上記のように位置補正した後の、前回フレームで検出された走行区画線候補123を示す。また、図6には、現フレームで検出された走行区画線候補125も示す。そして、現フレームで検出された走行区画線候補125と、それに最も近い走行区画線候補123との位置のずれの大きさを算出する。両者の位置のずれの大きさが基準値X以下であれば、少なくとも、前回フレームと現フレームとの2フレームにおいて、走行区画線候補の位置のずれが基準値X以下である状態が継続していることになる。
また、仮に、前回フレームと、さらのその1つ前のフレームにおいても、走行区画線候補の位置のずれが基準値以下であるならば、連続する3フレームにわたって、走行区画線候補の位置のずれが基準値X以下である状態が継続していることになる。
本ステップ4では、上記のようにして、過去のフレームから現フレームまで、走行区画線候補の位置のずれが基準値X以下である状態が継続しているフレーム数(以下、継続フレーム数とする)を算出する。そして、その継続フレーム数が大きいほど、対応する走行区画線候補における走行区画線らしさの値を大きく設定する。なお、継続フレーム数が大きいということは、同一の走行区画線候補が継続して検出されていることを意味するから、その走行区画線候補は走行区画線である可能性が高い。
ステップ5では、走行区画線認識ユニット15が、前記ステップ3で検出した走行区画線候補のうち、前記ステップ4で算出した走行区画線らしさが閾値Y以上であるものを走行区画線として認識する。
ステップ6では、走行区画線認識ユニット15が、前記ステップ5で認識した走行区画線の画像を、鳥瞰変換する(自車両の上方の仮想視点から見た画像へ変換する)。鳥瞰変換後の画像を以下では鳥瞰画像とする。
ステップ7では、走行区画線認識ユニット15が、前記ステップ6で作成した鳥瞰画像から、走行区画線パラメータを推定する。走行区画線パラメータとしては、オフセット(走行区画線に対する自車両の車幅方向における位置)、走行区画線に対する自車両のヨー角、走行区画線の曲率等がある。
ステップ8では、走行区画線認識ユニット15が、前記ステップ7で推定した走行区画線パラメータを警報/車両制御装置105に出力する。
なお、警報/車両制御装置105は、走行区画線パラメータを用いて、例えば、以下のような処理を行う。警報/車両制御装置105は、走行区画線パラメータに基づき、走行中の車線から自車両が逸脱する危険のある状況(例えば、自車両と走行区画線との距離が小さい状況、ヨー角が大きい状況等)であるか否かを判断し、そのような状況であると判断した場合は、警報を発し、また、車線からの逸脱を防止するための車両制御(例えば、自動操舵、自動ブレーキ等)を行う。
3.走行区画線認識装置1が実行する条件変更処理
走行区画線認識装置1が所定時間ごとに繰り返し実行する条件変更処理を図7、図8に基づき説明する。
図7のステップ11では、レーンチェンジ検出ユニット17が、自車両はレーンチェンジ中であるか否かを判断する。なお、レーンチェンジ中とは、後述するステップ13においてレーンチェンジ開始が設定され、且つ後述するステップ16におけるレーンチェンジ終了が未だ設定されていない状態をいう。また、レーンチェンジ中でない状態とは、ステップ13においてレーンチェンジ開始が一度も設定されていないか、あるいは、後述するステップ16においてレーンチェンジ終了が設定され、その後、レーンチェンジ開始が未だ設定されていない状態をいう。
レーンチェンジ中ではない場合はステップ12に進み、レーンチェンジ中である場合はステップ15に進む。
ステップ12では、レーンチェンジ検出ユニット17が、自車両101の中心を通り、自車両の前後方向に平行な直線(以下では基準線127とする)と、自車両101に最も近い走行区画線111との、車幅方向における距離dを算出する(図8参照)。距離dの算出には、車載カメラ3が生成した画像と、その画像において認識された走行区画線とを用いることができる。そして、その距離dが予め設定された下限値Zより小さいか否かを判断する。距離dが下限値Zより小さい場合はステップ13に進み、下限値Z以上である場合は本処理を終了する。
ステップ13では、レーンチェンジ検出ユニット17が、レーンチェンジ開始を設定する。この時点から、後述するステップ16でレーンチェンジ終了が設定されるまで、レーンチェンジ中の状態となる。
ステップ14では、条件変更ユニット19が、前記ステップ4の処理で用いる基準値Xの値を、レーンチェンジ中でない場合の値(以下では、通常値とする)よりも大きい値に変更する。基準値Xの値が大きくなると、画像のフレーム間における走行区画線候補の位置のずれが基準値X以下である状態が継続しやすくなり、走行区画線らしさが大きくなりやすくなる。その結果、走行区画線候補が、走行区画線として認識されやすくなる。
一方、前記ステップ11で否定判断した場合はステップ15に進む。ステップ15では、レーンチェンジ検出ユニット17が、前回のステップ15の処理以降に、走行区画線を認識したか否かを判断する。走行区画線を認識した場合はステップ16に進み、認識しなかった場合は本処理を終了する。
ステップ16では、レーンチェンジ検出ユニット17が、レーンチェンジ終了を設定し、この時点以降は、レーンチェンジ中ではなくなる。
ステップ17では、条件変更ユニット19が、基準値Xの値を通常値に戻す。
4.走行区画線認識装置1が奏する効果
(1A)走行区画線認識装置1は、レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、走行区画線らしさの算出条件を、走行区画線らしさが大きくなりやすいものに変更する。すなわち、走行区画線認識装置1は、レーンチェンジ中である場合、前記ステップ4の処理で用いる基準値Xの値を、通常値よりも大きい値に変更する。その結果、画像のフレーム間における走行区画線候補の位置のずれが基準値X以下である状態が継続しやすくなり、走行区画線候補の走行区画線らしさが大きくなりやすくなる。そのことにより、走行区画線認識装置1は、レーンチェンジ中に走行区画線を早期に認識することができる。
(1B)走行区画線認識装置1は、レーンチェンジ中でない場合は、基準値Xの値を通常値とする。そのことにより、レーンチェンジ中でない場合、走行区画線を高精度に認識することができる。
(1C)走行区画線認識装置1は、自車両と走行区画線との車幅方向における距離dが予め設定された下限値Z以下であることに基づき、レーンチェンジ中であることを検出する。そのため、レーンチェンジ中であることを容易且つ正確に検出することができる。
(1D)走行区画線認識装置1は、レーンチェンジ中であることの検出後、走行区画線を認識することを条件として、レーンチェンジの終了を検出する。そのため、レーンチェンジの終了を容易且つ正確に検出することができる。
<第2の実施形態>
1.走行区画線認識装置1の構成
本実施形態の走行区画線認識装置1は、前記第1の実施形態と同様の構成を有する。
2.走行区画線認識装置1が実行する処理
本実施形態の走行区画線認識装置1が実行する処理は、基本的には前記第1の実施形態と同様である。以下では、共通する構成については説明を省略し、相違点を中心に説明する。
本実施形態では、前記ステップ14の処理において、前記ステップ5の処理で用いる閾値Yの値を、レーンチェンジ中でない場合の値よりも小さくする。閾値Yの値が小さくなると、走行区画線候補が、走行区画線として認識されやすくなる。
また、本実施形態では、前記ステップ17の処理において、閾値Yの値を、レーンチェンジ中でない場合の値に戻す。
本実施形態において、基準値Xの値は、レーンチェンジ中であるか否かによらず、一定としてもよいし、前記第1の実施形態と同様に変更してもよい。
3.走行区画線認識装置1が奏する効果
本実施形態によれば、前記第1の実施形態の効果(1C)、(1D)に加え、以下の効果が得られる。
(2A)走行区画線認識装置1は、レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、閾値Yを小さくする。そのことにより、走行区画線認識装置1は、レーンチェンジ中に走行区画線を早期に認識することができる。
(2B)走行区画線認識装置1は、レーンチェンジ中でない場合は、閾値Yの値を、レーンチェンジ中でない場合の値に戻す。そのことにより、レーンチェンジ中でない場合、走行区画線を高精度に認識することができる。
<第3の実施形態>
1.走行区画線認識装置1の構成
本実施形態の走行区画線認識装置1は、前記第1の実施形態と同様の構成を有する。
2.走行区画線認識装置1が実行する処理
本実施形態の走行区画線認識装置1が実行する処理は、基本的には前記第1の実施形態と同様である。以下では、共通する構成については説明を省略し、相違点を中心に説明する。
本実施形態では、前記ステップ4で算出する走行区画線らしさは、隣接する走行区画線候補との間での平行度の高さである。すなわち、図5に示す例において、走行区画線候補115の走行区画線らしさは、隣接する走行区画線候補117との間での平行度が高いほど、高い。ここで、平行度とは、走行区画線候補115と、隣接する走行区画線候補117とが成す角度が小さいほど、高くなるパラメータである。
また、本実施形態の前記ステップ5の処理では、前記ステップ3で検出した走行区画線候補のうち、前記ステップ4で算出した、平行度に関する走行区画線らしさが、平行度に関する閾値Y以上であるものを走行区画線として認識する。
また、本実施形態の前記ステップ14の処理では、前記ステップ5の処理で用いる、平行度に関する閾値Yの値を、レーンチェンジ中でない場合の値よりも小さくする。閾値Yの値が小さくなると、走行区画線候補が、走行区画線として認識されやすくなる。
また、本実施形態の前記ステップ17の処理では、平行度に関する閾値Yの値を、レーンチェンジ中でない場合の値に戻す。
3.走行区画線認識装置1が奏する効果
本実施形態によれば、前記第1の実施形態の効果(1C)、(1D)と、前記第2の実施形態の効果(2A)、(2B)とが得られる。
<その他の実施形態>
(1)前記第1の実施形態にて、画像における周辺部では、画像における中心部に比べて、基準値Xの値が大きくなるようにしてもよい。この場合、画像における周辺部では、画像における中心部に比べて、走行区画線らしさの算出条件が、走行区画線らしさが大きくなりやすいものとなる。
レーンチェンジ中において、一般的に、走行区画線は画像における周辺部に現れやすい。上記のように、画像における周辺部にて、走行区画線らしさの算出条件を、走行区画線らしさが大きくなりやすいものとすれば、走行区画線を早期に認識できる。また、画像における中心部では、走行区画線を高精度に認識することができる。
上記のように、画像における周辺部では、画像における中心部に比べて、基準値Xの値が大きい状態は、レーンチェンジ中に限って設定してもよいし、レーンチェンジ中であるか否かによらず設定してもよい。
(2)前記第2、第3の実施形態において、画像における周辺部では、画像における中心部に比べて、閾値Yの値が小さくなるようにしてもよい。この場合、画像における周辺部では、画像における中心部に比べて、走行区画線が認識されやすくなる。
レーンチェンジ中において、一般的に、走行区画線は画像における周辺部に現れやすい。上記のように、画像における周辺部にて、走行区画線を認識しやすくすることで、走行区画線を早期に認識できる。また、画像における中心部では、走行区画線を高精度に認識することができる。
上記のように、画像における周辺部では、画像における中心部に比べて、閾値Yの値が小さい状態は、レーンチェンジ中に限って設定してもよいし、レーンチェンジ中であるか否かによらず設定してもよい。
(3)前記第1、第2の実施形態の前記ステップ3の処理では、ハフ変換により得られた直線のうち、隣接する直線との平行度が閾値Y以上であるものを、走行区画線候補とし、平行度が閾値Y未満のものは、走行区画線候補としないようにしてもよい。
この場合、前記ステップ14の処理において、前記ステップ3の処理で用いる、平行度に関する閾値Yの値を、レーンチェンジ中でない場合の値よりも小さくする。閾値Yの値が小さくなると、ハフ変換により得られた直線が、走行区画線候補として検出されやすくなる。
また、前記ステップ17の処理において、前記ステップ3の処理で用いる、平行度に関する閾値Yの値を、レーンチェンジ中でない場合の値に戻す。
上記の実施形態によれば、レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、閾値Yが小さくなり、走行区画線候補が検出されやすくなる。その結果、走行区画線が早期に認識されやすくなる。
また、レーンチェンジ中でない場合は、閾値Yの値を、レーンチェンジ中でない場合の値に戻す。そのことにより、レーンチェンジ中でない場合、走行区画線候補が検出されにくくなり、走行区画線を高精度に認識することができる。
(4)前記第1〜第3の実施形態において、1つの走行区画線候補について、複数種類の走行区画線らしさをそれぞれ算出し、それらを乗算して、最終的な走行区画線らしさを算出してもよい。そして、その最終的な走行区画線らしさが閾値Y以上である走行区画線候補を、走行区画線として認識してもよい。
走行区画線らしさとしては、例えば、ハフ変換処理における投票数、走行区画線候補を境とする両側でのコントラストの強さ、走行区画線候補の直線性、一対の走行区画線候補で挟まれた領域での模様の少なさ、等が挙げられる。
(5)前記第1〜第3の実施形態において、前記ステップ12における判断の方法は他のものであってもよい。例えば、自車両の操舵角が所定の上限値以上であればステップ13に進み、上限値未満であれば処理を終了するようにしてもよい。また、自車両のヨーレートが所定の上限値以上であればステップ13に進み、上限値未満であれば処理を終了するようにしてもよい。また、自車両の進行方向と走行区画線とが成す角度が所定の上限値以上であればステップ13に進み、上限値未満であれば処理を終了するようにしてもよい。
(6)前記第1〜第3の実施形態の前記ステップ4では、フレーム間における走行区画線候補の方向のずれ(走行区画線候補の長手方向同士が成す角度)が基準値X以下である状態が継続しているフレーム数を継続フレーム数として算出し、その継続フレーム数が大きいほど、走行区画線らしさの値を大きく設定してもよい。
(7)前記第1〜第3の実施形態では、過去のフレームから現フレームまで、走行区画線候補の位置のずれが基準値X以下である状態が継続している時間、又は、走行区画線候補の位置のずれが基準値X以下である状態が継続している間における自車両の走行距離を算出し、それらの値が大きいほど、走行区画線らしさの値を大きく設定してもよい。
(8)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(9)上述した走行区画線認識装置の他、当該走行区画線認識装置を構成要素とするシステム、当該走行区画線認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、走行区画線認識方法等、種々の形態で本発明を実現することもできる。
1…走行区画線認識装置、3…車載カメラ、5…自車両状態量検出センサ、7…演算ユニット、9…エッジ点抽出ユニット、11…走行区画線候補検出ユニット、13…走行区画線らしさ算出ユニット、15…走行区画線認識ユニット、17…レーンチェンジ検出ユニット、19…条件変更ユニット、101…自車両、103…フロントガラス、105…警報/車両制御装置、107…路面、109、111…走行区画線、113…エッジ点、115、117、119、121、123、125…走行区画線候補、127…基準線

Claims (7)

  1. 自車両(101)の前方を撮影し、画像を生成する撮影ユニット(3)と、
    前記画像からエッジ点を抽出するエッジ点抽出ユニット(9)と、
    前記エッジ点に基づき走行区画線候補を検出する走行区画線候補検出ユニット(11)と、
    前記走行区画線候補の走行区画線らしさを算出する走行区画線らしさ算出ユニット(13)と、
    前記走行区画線候補のうち、前記走行区画線らしさが予め設定された閾値以上であるものを走行区画線として認識する走行区画線認識ユニット(15)と、
    自車両がレーンチェンジ中であることを検出するレーンチェンジ検出ユニット(17)と、
    レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、(a)前記走行区画線らしさの算出条件を、前記走行区画線らしさが大きくなりやすいものに変更するか、(b)前記閾値を小さくする条件変更ユニット(19)と、
    を備えることを特徴とする走行区画線認識装置(1)。
  2. 請求項1に記載の走行区画線認識装置であって、
    前記走行区画線らしさの少なくとも一部は、前記画像のフレーム間における前記走行区画線候補の位置のずれが基準値以下である状態が継続しているフレーム数であり、
    前記条件変更ユニットは、レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、前記フレーム数に関する前記閾値を小さくすることを特徴とする走行区画線認識装置。
  3. 請求項1に記載の走行区画線認識装置であって、
    前記走行区画線らしさの少なくとも一部は、前記画像のフレーム間における前記走行区画線候補の位置のずれが基準値以下である状態が継続しているフレーム数であり、
    前記条件変更ユニットは、レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、前記基準値を大きくすることを特徴とする走行区画線認識装置。
  4. 請求項1に記載の走行区画線認識装置であって、
    前記走行区画線らしさの少なくとも一部は、隣接する前記走行区画線候補との間での平行度の高さであり、
    前記条件変更ユニットは、レーンチェンジ中である場合は、レーンチェンジ中でない場合よりも、前記平行度に関する前記閾値を小さくすることを特徴とする走行区画線認識装置。
  5. 請求項1〜4のいずれか1項に記載の走行区画線認識装置であって、
    前記画像における周辺部では、前記画像における中心部に比べて、前記走行区画線らしさの算出条件が、前記走行区画線らしさが大きくなりやすいものであるか、前記閾値が小さいことを特徴とする走行区画線認識装置。
  6. 請求項1〜5のいずれか1項に記載の走行区画線認識装置であって、
    前記レーンチェンジ検出ユニットは、自車両と走行区画線との車幅方向における距離が予め設定された下限値以下であることに基づき、自車両がレーンチェンジ中であることを検出することを特徴とする走行区画線認識装置。
  7. 請求項1〜5のいずれか1項に記載の走行区画線認識装置であって、
    前記レーンチェンジ検出ユニットは、レーンチェンジ中であることの検出後、前記走行区画線を認識することを条件として、レーンチェンジの終了を検出することを特徴とする走行区画線認識装置。
JP2014234663A 2014-11-19 2014-11-19 走行区画線認識装置 Active JP6189816B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014234663A JP6189816B2 (ja) 2014-11-19 2014-11-19 走行区画線認識装置
US14/945,116 US9688275B2 (en) 2014-11-19 2015-11-18 Travel lane marking recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014234663A JP6189816B2 (ja) 2014-11-19 2014-11-19 走行区画線認識装置

Publications (2)

Publication Number Publication Date
JP2016099719A JP2016099719A (ja) 2016-05-30
JP6189816B2 true JP6189816B2 (ja) 2017-08-30

Family

ID=55960982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014234663A Active JP6189816B2 (ja) 2014-11-19 2014-11-19 走行区画線認識装置

Country Status (2)

Country Link
US (1) US9688275B2 (ja)
JP (1) JP6189816B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017123842A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Fahrspurerfassungsverfahren
CN108038851B (zh) * 2017-12-11 2020-02-07 中国科学技术大学 一种基于反馈和迭代的雷达图像差异检测方法
CN110254437A (zh) * 2018-03-12 2019-09-20 世环国际股份有限公司 不当偏离车道判断方法、车辆不当偏离判断模块与系统
JP7077910B2 (ja) * 2018-10-22 2022-05-31 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法
CN111409629B (zh) * 2020-03-11 2021-10-12 坤泰车辆系统(常州)有限公司 自动驾驶系统中他车切入的判断方法
JP7354952B2 (ja) * 2020-07-14 2023-10-03 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935198A (ja) * 1995-07-14 1997-02-07 Mitsubishi Electric Corp 車両用走行路検出装置
JPH1153551A (ja) 1997-08-04 1999-02-26 Toyota Motor Corp ライン検出装置
JP2007241470A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車両用地図データ更新装置
JP4744537B2 (ja) * 2008-02-05 2011-08-10 日立オートモティブシステムズ株式会社 走行レーン検出装置
WO2012172713A1 (ja) * 2011-06-13 2012-12-20 日産自動車株式会社 道路形状判定装置、車載用画像認識装置、撮像軸調整装置およびレーン認識方法

Also Published As

Publication number Publication date
US9688275B2 (en) 2017-06-27
JP2016099719A (ja) 2016-05-30
US20160137202A1 (en) 2016-05-19

Similar Documents

Publication Publication Date Title
JP6189816B2 (ja) 走行区画線認識装置
JP6096723B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
JP6466811B2 (ja) 走行区画線認識装置
JP6538547B2 (ja) 道路曲率計測装置
JP6093314B2 (ja) 境界線認識装置
JP6132359B2 (ja) 走行区画線認識装置
JP6693893B2 (ja) 走路認識装置
JP2018180663A (ja) 道路パラメータ推定装置
JP5977275B2 (ja) 分岐路認識装置
WO2017002811A1 (ja) 車線逸脱回避装置
CN111133490B (zh) 自动驾驶控制装置及方法
US9542607B2 (en) Lane boundary line recognition device and computer-readable storage medium storing program of recognizing lane boundary lines on roadway
JP6408935B2 (ja) 走行区画線認識装置
JP2018169888A (ja) 道路パラメータ推定装置
JP2019067303A (ja) 運転支援装置
JP2015140114A (ja) 横変位算出装置
KR20180122382A (ko) 주로 검출 방법 및 주로 검출 장치
JP6115429B2 (ja) 自車位置認識装置
JP2014046710A (ja) 操舵角センサの中立点補正装置及び中立点補正方法
JP5039013B2 (ja) 車両走行支援装置、車両、車両走行支援プログラム
JP2012159470A (ja) 車両用画像認識装置
JP5345999B2 (ja) レーンマーク認識装置
JP2017123009A (ja) 区画線認識装置
JP6295524B2 (ja) 光軸補正装置
JP6963490B2 (ja) 車両制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170803

R150 Certificate of patent or registration of utility model

Ref document number: 6189816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250