JP4248558B2 - 道路区画線検出装置 - Google Patents

道路区画線検出装置 Download PDF

Info

Publication number
JP4248558B2
JP4248558B2 JP2006082812A JP2006082812A JP4248558B2 JP 4248558 B2 JP4248558 B2 JP 4248558B2 JP 2006082812 A JP2006082812 A JP 2006082812A JP 2006082812 A JP2006082812 A JP 2006082812A JP 4248558 B2 JP4248558 B2 JP 4248558B2
Authority
JP
Japan
Prior art keywords
road
line
captured image
predetermined
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006082812A
Other languages
English (en)
Other versions
JP2007257449A (ja
Inventor
誠 西田
勇 高井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2006082812A priority Critical patent/JP4248558B2/ja
Priority to EP07739324.7A priority patent/EP2009611B8/en
Priority to US12/280,435 priority patent/US8477999B2/en
Priority to CN200780009978.2A priority patent/CN101405783B/zh
Priority to PCT/JP2007/055881 priority patent/WO2007111220A1/ja
Publication of JP2007257449A publication Critical patent/JP2007257449A/ja
Application granted granted Critical
Publication of JP4248558B2 publication Critical patent/JP4248558B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Description

本発明は、道路区画線検出装置に係り、特に、車両に搭載され、車両周辺の路面を撮像する撮像手段により撮像された撮像画像に基づいて、道路路面上に描かれた道路区画線を検出する道路区画線検出装置に関する。
従来から、道路上に描かれた車両の走行する車線を区切る白線などの道路区画線を検出する道路区画線検出装置が知られている(例えば、特許文献1参照)。この装置は、自車両に搭載された車両前方領域を撮像するカメラを備えており、そのカメラにより撮像された撮像画像を処理することにより道路区画線を検出する。具体的には、白線などの道路区画線が含まれる撮像画像から、輝度が基準である閾値以上である部分をその道路区画線の特徴点として複数抽出し、それら複数の特徴点を互いに線で結ぶことにより特徴点の数の多い候補線を道路区画線として定める。
特許第2861638号公報
しかしながら、上記した道路区画線の特徴点を抽出する際に用いるパラメータとしての輝度の基準閾値が一定値に固定されているものとすると、撮像画像から道路区画線の特徴点として抽出されるものの中にノイズが多量に含まれる事態が生じ得、その結果として、道路区画線の誤検出が生じ易くなり、また一方、本来であれば道路区画線の特徴点として抽出されるべきものが、道路路面上に描かれた道路区画線の塗装の剥がれやかすれなどに起因してその特徴点として抽出されない事態が生じ得、その結果として、道路区画線の検出が困難となるおそれがある。
本発明は、上述の点に鑑みてなされたものであり、道路区画線の特徴点抽出を道路路面状況に柔軟に対応して精度よく行うことにより、精度の高い道路区画線の検出を実現することが可能な道路区画線検出装置を提供することを目的とする。
上記の目的は、車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、所定パラメータが基準を満たす部分を路面上の道路区画線を表す特徴点として抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、前記特徴点抽出手段により抽出された前記特徴点に基づいて、前記道路区画線の候補線を生成する候補線生成手段と、前記候補線生成手段により生成された前記候補線の数に基づいて、前記特徴点抽出手段による撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更する基準変更手段と、を備え、前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数に達しない場合に、前記基準を現状よりも前記特徴点の抽出が行われ易くなるように変更する道路区画線検出装置により達成される。
また、上記の目的は、車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、所定パラメータが基準を満たす部分を路面上の道路区画線を表す特徴点として抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、前記特徴点抽出手段により抽出された前記特徴点に基づいて、前記道路区画線の候補線を生成する候補線生成手段と、前記候補線生成手段により生成された前記候補線の数に基づいて、前記特徴点抽出手段による撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更する基準変更手段と、を備え、前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数を超える場合に、前記基準を現状よりも前記特徴点の抽出が行われ難くなるように変更する道路区画線検出装置により達成される。
この態様の発明においては、所定パラメータが基準を満たす部分が道路区画線を表す特徴点として抽出された後、その抽出された特徴点に基づいて、道路区画線の候補線が生成される。道路区画線は車両走路の両側に所定本数(通常は一本)ずつ存在することが一般的であるので、道路区画線の候補線が走路片側でその所定本数を超えて生成されたときは、その候補線が所定本数の真の道路区画線とその他のノイズによる線とを表していると考えられ、ノイズが道路区画線の特徴点として抽出され易くなっていると判断できると共に、また、道路区画線の候補線が走路片側で所定本数だけ生成されないときは、道路路面上に描かれた真の道路区画線の例えばその塗装の剥がれなどに起因してその特徴点が抽出され難いものになっていると判断できる。
本発明においては、生成された候補線の数に基づいて、撮像画像から道路区画線の特徴点を抽出する際に用いる所定パラメータに関する基準が変更される。かかる構成によれば、道路区画線の特徴点の抽出の際に、ノイズが道路区画線の特徴点として抽出されるのを抑制することが可能になると共に、道路路面に描かれた道路区画線がその特徴点を抽出し難いものになるのを防止することが可能になる。従って、本発明によれば、道路区画線の特徴点抽出を道路路面状況に柔軟に対応して精度よく行うことができ、これにより、精度の高い道路区画線の検出を実現することができる。
尚、この発明において、「候補線の数」は、「候補線の有無」を含む概念である。
また、上記した道路区画線検出装置において、前記基準変更手段は、前記基準を所定単位ずつ段階的に変更することとすれば、撮像画像から道路区画線の特徴点抽出を行ううえでの基準を、ノイズの程度や道路区画線のかすれ度合いなどの路面状況に木目細かく対応した適切なものに収束させることができるので、更に精度の高い道路区画線検出を実現することが可能となる。
尚、この場合、前記基準変更手段は、前記特徴点抽出手段により抽出される前記特徴点の数の時間変化が所定値以上であるときには、前記基準を前記所定単位を超えて一気に変更することとすれば、例えばトンネルの進入時や退出時などの道路路面の日照状態が突発的に変化するときにも、道路区画線が未検出となる状態や不要なノイズが抽出される状態が長期間にわたって継続するのを防ぐことができるので、道路区画線の検出精度が低下するのを防止することができる。

また、上記した道路区画線検出装置において、走路片側に描かれる道路区画線の本数に応じて前記所定数を変更する所定数変更手段を備えることとすれば、車両走路の片側に描かれる道路区画線の本数が時間変化するときすなわちその道路区画線が単線から複合線へ変化する或いは逆に複合線から単線へ変化するときにも、その道路路面状況に柔軟に対応して道路区画線の特徴点抽出を行うことができるので、更に精度の高い道路区画線検出を実現することが可能となる。
尚、この場合、前記所定数変更手段は、道路片側に描かれる道路区画線の形状が1本の線からなる単線から複数本の線からなる複合線へ変化する場合に、前記所定数を増加させることとすればよい。
更に、上記した道路区画線検出装置において、前記基準変更手段は、前記特徴点抽出手段による次回以降における撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更することとすれば、一つの撮像画像から道路区画線を検出するうえでの計算コストや処理量を低減することが可能となる。
尚、上記した道路区画線検出装置において、所定パラメータは、輝度又は輝度変化であることとすればよい。
本発明によれば、道路区画線の特徴点抽出を道路路面状況に柔軟に対応して精度よく行うことにより、精度の高い道路区画線検出を実現することができる。
図1は、本発明の一実施例である車両に搭載される道路区画線検出装置10を備えるシステムの構成図を示す。本実施例の道路区画線検出装置10は、カメラ12及び画像処理部14を備えている。カメラ12は、車体前部のバンパやグリルに或いは車室内前部のアウタービューミラーのステイに配設されている。カメラ12は、車両前方の進行方向に向いた光軸を有し、車両前方領域を撮像する例えばCCDカメラである。
カメラ12には、画像処理部14が接続されている。カメラ12が撮像した結果得られた撮像画像は、映像信号として画像処理部14に供給される。画像処理部14は、後に詳述する如く、カメラ12から送られてくる映像信号に基づいて、道路上に描かれている車両の走行する車線を区切る実線状や破線状の白線や黄線などの道路区画線を検出・推定する。そして、道路区画線検出装置10は、その画像処理部14において検出・推定した道路区画線に対する自車両の横位置を算出する。
本実施例のシステムは、上記した道路区画線検出装置10に接続する自動操舵制御装置16を備えている。自動操舵制御装置16は、電子制御ユニット(以下、操舵ECUと称す)18を備えている。操舵ECU18には、操舵モータ20及び車速センサ22が接続されている。操舵モータ20は、操舵ECU18から供給される指令信号に従って車両を操舵させるためのトルクを発生する。車速センサ22は、車両の速度に応じた信号を出力する。操舵ECU18は、車速センサ22の出力信号に基づいて車速を検出する。また、操舵ECU18には、道路区画線検出装置10の算出した自車両の横位置情報が供給される。操舵ECU18は、自車両の横位置から例えば自車両が道路区画線から逸脱しそうになったときに、逸脱回避のための車速に応じた車両の自動操舵を実現すべく操舵モータ20に対して指令信号を供給する(逸脱回避制御)。
以下、本実施例の道路区画線検出装置10の動作について説明する。
本実施例の道路区画線検出装置10において、画像処理部14は、定期的にカメラ12の撮像した撮像画像を取得する。道路は一般にアスファルトで舗装されていることが多いので、取得した撮像画像には道路が輝度(明るさ)の低い色(主に黒色)で映し出される。一方、白線などの道路区画線は比較的高い輝度で道路に描かれるので、取得した撮像画像には道路区画線が輝度の高い色(白色や黄色)で映し出される。従って、道路と道路区画線を構成する物標との輝度差を利用して撮像画像から白線などの道路区画線を構成する物標を抽出することが可能である。
画像処理部14は、カメラ12からの撮像画像を1フレーム取得するごとに、その1フレームの撮像画像全体を所定間隔で左右方向に走査して画素ごとに輝度変化(コントラスト)が所定閾値を超えて大きいか否かを判別する。そして、その取得した1フレームの撮像画像から、輝度変化の大きい画素部分をエッジ点として抽出する。尚、このエッジ点の抽出は、撮像画像全体のうち道路区画線を構成する物標が存在する可能性が高い領域のみについて行うこととすれば、処理時間を短縮するうえでは好適であるが、撮像画像全体についてそのエッジ点抽出を行った後に、道路区画線を構成する物標が存在する可能性が高い領域のみをフィルタ処理することとしても、同様の効果を得ることができる。
画像処理部14は、1フレームの撮像画像からのエッジ点抽出を行った後、その抽出した輝度変化の大きい部位であるエッジ点のすべてを互いに線で結ぶことにより、道路区画線の候補としての線状のエッジ線の生成を試みる。
道路区画線を構成する物標が実線状のものであるときは、1フレームの撮像画像からのエッジ点がその道路区画線に沿ってほとんど隙間なく現れる。また、道路区画線を構成する物標が破線状のものであるときは、破線の欠落部分(無線部)が存在するため、1フレームの撮像画像からのエッジ点が隙間をあけて現れる可能性はあるが、この際にもそのエッジ点は破線の有線部分を繋いでその欠落部分を補うように道路区画線に沿って現れる。従って、画像処理部14は、まず、上記の如く1フレームの撮像画像から抽出したエッジ点を互いに結んだ結果として、撮像画像内の左右両側についてそれぞれ、単位距離当たりに所定数以上のエッジ点が存在する線を検出する直線検出を行う。そして、かかる直線検出により上記の線が検出されるときは、その線を道路区画線の候補として残す。
また、白線などの道路区画線を構成する物標は道路上にある程度の太さ(幅)をもって描かれるため、一本の道路区画線当たりにその道路区画線の左端と右端とで対となる輝度変化が大きくなるエッジ点ペアが必ず存在する。従って、画像処理部14は、上記の直線検出を行った後に、その直線検出によって検出された単位距離当たりに所定数以上のエッジ点が存在する各線についてエッジ点ペアとなるものが存在するか否かを判定するペア判定を行う。そして、かかるエッジ点ペアとなるものが存在しない上記の線については道路区画線の候補から排除し、一方、エッジ点ペアとなるものが存在する上記の線については道路区画線の候補として残す。
更に、白線などの道路区画線を構成する物標は道路上に連続して描かれるので、撮像画像に映し出されるその物標の位置は、連続するフレーム間で大きく変化することはない。一方、路面ノイズは道路上に連続して現れることはほとんどないので、撮像画像に映し出されるそのノイズは、連続するフレーム間で大きく位置変化する(突然に現れる)。従って、画像処理部14は、1フレームの撮像画像において上記のペア判定を行った後に、そのペア判定によって互いにエッジ点ペアになると判定された一対の線の撮像画像上での位置(特に左右位置)と、所定時間前(直前)の過去フレームで検出された道路区画線のその撮像画像上での位置との関係に基づいて、現フレームにおいて過去フレームからの位置の連続性を有する上記一対の線を判定する連続性判定を行う。そして、過去の道路区画線と撮像画像上での位置が連続しない一対の線を道路区画線の候補から排除し、一方、過去の道路区画線と撮像画像上での位置が連続する一対の線を道路区画線の候補として残す。
画像処理部14は、連続性判定によって位置の連続性を有する上記一対の線を道路区画線の候補であるエッジ線として生成する。そして、その所定数以上のエッジ点が存在するエッジ線を道路上の道路区画線として検出・推定し、その道路区画線に対する自車両の横位置を算出する。
図2は、1フレームの撮像画像から輝度変化の大きいエッジ点を抽出した際に生ずる不都合を説明するための図を示す。尚、図2には、カメラ撮像画像内の状況を、道路路面の真上上方から垂直に見たものとした様子が示されている。また、図2中、黒丸印を真の道路区画線を示すエッジ点として、黒三角印をノイズによるエッジ点として、それぞれ示している。
ところで、カメラ12の撮像画像からエッジ点を抽出するための輝度変化に関する上記の閾値が一定値に固定されているものとすると、撮像画像からエッジ点として抽出されるものの中にノイズ成分が多量に含まれる事態が生じ得(図2(A))、道路区画線の候補であるエッジ線が複数生成されることがあり(図2(B))、道路区画線の誤検出が生じ易くなると共に、また一方、本来であればエッジ点として抽出されるべきものが、道路路面上に描かれた道路区画線の塗装の剥がれなどに起因してエッジ点として抽出されない事態が生じ得(図2(C))、道路区画線の検出が困難となるおそれがある。
そこで、本実施例の道路区画線検出装置10は、1フレームの撮像画像からのエッジ点の抽出を、道路路面状況に柔軟に対応して精度よく行うことにより、精度の高い道路区画線の検出を実現する点に第1の特徴を有している。以下、図3を参照して、本実施例の第1の特徴部について説明する。
一般的には、車両の走行する道路路面に描かれる白線などの道路区画線は、その走路の両側に所定本数(通常は一本)ずつ存在するものである。このため、カメラ撮像画像から抽出したエッジ点に基づいて生成される道路区画線の候補線(エッジ線)の数が走路片側でその所定本数を超えるときは、その候補線が道路上に描かれた所定本数の真の道路区画線と、輝度変化のあまり大きくないその他のノイズによる線とを表していると判断できる。また、カメラ撮像画像から抽出したエッジ点に基づいて生成される道路区画線の候補線(エッジ線)の数が走路片側でその所定本数に達しないときは、道路上に描かれた真の道路区画線の例えば塗装の剥がれやかすれなどに起因してそのエッジ点が抽出され難いものとなっていると判断できる。
本実施例において、カメラ撮像画像からのエッジ点の抽出は、画素ごとに輝度変化が所定閾値を超えて大きいか否かを判別することにより行われ、輝度変化の比較的大きい画素部分をエッジ点として抽出するものである。この点、カメラ撮像画像から抽出したエッジ点に基づいて上記の直線検出、ペア判定、及び連続性判定を経て実際に生成された道路区画線の候補線の数が予め定めた所定本数(通常は1本)を超えている場合には、エッジ点抽出の際に用いる輝度変化に関する上記の所定閾値を、ノイズがエッジ点として抽出され難くなるように高く変更することとすれば、真の道路区画線を表さないノイズが道路区画線のエッジ点として抽出されるのはできるだけ排除されることとなる。また、カメラ撮像画像から抽出したエッジ点に基づいて実際に生成された道路区画線の候補線の数が所定本数に達しない場合には、上記の所定閾値を、真の道路区画線を示す物標がエッジ点として抽出され易くなるように低く変更することとすれば、真の道路区画線を示す物標がエッジ線として抽出されない事態はできるだけ排除されることとなる。
図3は、上記の機能を実現すべく、本実施例の道路区画線検出装置10において画像処理部14が実行する制御ルーチンの一例のフローチャートを示す。図3に示すルーチンは、カメラ12の撮影した撮像画像が入力される所定時間ごとに繰り返し起動されるルーチンである。図3に示すルーチンが起動されると、まずステップ100の処理が実行される。
ステップ100では、カメラ12が撮像し映像信号として出力する撮像画像を入力する処理が実行され、ステップ102では、上記ステップ100で入力した撮像画像の画面明るさ(輝度)が算出される。
ステップ104では、カメラ12の撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを決定する処理が実行される。この閾値SHは、初期値(例えば車両のイグニションオン時におけるもの)が真の道路区画線を構成する物標をエッジ点として抽出可能な一般的な値(例えば予め定めた下限値)に予め設定されたものであればよく、後に詳述する如く、自車両が現時点までに走行した道路の路面状況に合わせて予め定めた下限値と上限値との可変幅間において上下に可変される。
ステップ106では、上記ステップ100で入力された1フレームのカメラ撮像画像の画素ごとに輝度変化が上記ステップ104で決定された所定閾値SHを超えて大きいか否かを判別することにより、その所定閾値SHを用いて1フレームのカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する処理が実行される。
ステップ108では、上記ステップ106で抽出された画素ごとの複数のエッジ点を画像左右それぞれで適宜互いに線で結ぶと共に、上記した直線検出、ペア判定、及び連続性判定を行って、画像左右両側でそれぞれ残る線状のエッジ線を最終的な道路区画線の候補として生成する処理が実行される。そして、ステップ110では、上記ステップ108の処理結果により生成されたエッジ線が最終的な道路区画線を示すものとして用いられることによりその道路区画線に対する自車両の横位置が検出され、その横位置情報が自動操舵制御装置16へ出力される。尚、このステップ110の処理に際し、上記ステップ108の処理結果により画像左右それぞれについて生成されるエッジ線が複数本あるときは、そのうち最もエッジ点の数が多いもの一つを道路区画線を示すものとして用いることとすればよい。
また、上記ステップ108で道路区画線の候補が生成されると、ステップ112において、その生成された道路区画線の候補の数COUNTを画像内左右両側(すなわち走路両側)でそれぞれカウントする処理が実行される。そして、走路両側それぞれの道路区画線の候補について独立して以下の処理が行われる。
ステップ114では、上記ステップ112でカウントされた道路区画線の候補数COUNTが所定数COUNT0未満であるか否かが判別される。尚、この所定数COUNT0は、車両が走行する道路路面上の車線片側に描かれているべき道路区画線の本数であって、通常の道路区画線は車線片側に一本存在するのが一般的であるので、通常は“1”に設定されている。但し、この所定数COUNT0は、後述の如く、例えば日本国内で多く見られるような道路区画線が走路片側に2本や3本の複数の線からなる複合線となって描かれている道路を車両が走行するとき(例えばナビゲーション装置を用いて自車両が道路区画線形状が複合線である道路を走行していることが検出されるときなど)は、複数の数(例えば2本や3本)に設定される。また逆に、道路区画線が複合線となって描かれている状態から通常の単線となって描かれている道路を自車両が走行することとなったときは、再び“1”に設定される。そして、本ステップ114における処理の結果、COUNT<COUNT0が成立しない場合は、次にステップ116の処理が実行される。
ステップ116では、上記ステップ108で最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の、前回撮像画像から今回撮像画像にかけての減少数が第1の所定値以上であるか否かが判別される。この第1の所定値は、例えばトンネルへの進入時などの道路路面の輝度変化が大きい状態から小さい状態へ切り替わるときに生じ得るエッジ点の数の一般的な減少数であり、予め実験的に定められている。尚、車両走行中にトンネル進入時などの影の存在に起因して道路路面の輝度変化が大きくなるのは、現実には、自車両から遠方にある領域からであり、カメラ撮像画像上では上部からである。従って、本ステップ116の処理は、車両遠方領域が映し出される撮像画像内の特に上部においてエッジ点の数が急に減少するか否かを判別するものとしてもよい。
上記ステップ116における処理の結果、上記したエッジ点の数の減少数が第1の所定値未満である場合は、輝度が大きく減少しない通常どおりの道路を車両が走行していると判断できるので、次にステップ118の処理が実行される。ステップ118では、上記ステップ112でカウントされた道路区画線の候補数COUNTが上記の所定数COUNT0を超えているか否かが判別される。その結果、COUNT>COUNT0が成立しないと判別された場合は、入力された1フレームの撮像画像から所望の数だけ道路区画線の候補が生成されていると判断でき、次にステップ120の処理が実行される。
ステップ120では、上記ステップ108で最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の、前回撮像画像から今回撮像画像にかけての増加数が第2の所定値以上であるか否かが判別される。この第2の所定値は、例えばトンネルからの退出時などの道路路面の輝度変化が小さい状態から大きい状態へ切り替わるときに生じ得るエッジ点の数の一般的な増加数であり、予め実験的に定められている。また、この第2の所定値は、上記した第1の所定値と同じ値に設定されていてもよい。尚、車両走行中にトンネル退出時などの影がなくなることに起因して道路路面の輝度変化が大きくなるのは、現実には、自車両から遠方にある領域からであり、カメラ撮像画像上では上部からである。従って、本ステップ120の処理は、車両遠方領域が映し出される撮像画像内の特に上部においてエッジ点の数が急に増加するか否かを判別するものとしてもよい。
上記ステップ120における処理の結果、上記したエッジ点の数の増加数が第2の所定値未満である場合は、輝度が大きく増加しない通常どおりの道路を車両が走行していると判断できるので、次にステップ122の処理が実行される。ステップ122では、次回のルーチンで入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを現状のまま維持する処理が実行される。
一方、上記ステップ114における処理の結果、COUNT<COUNT0が成立する場合は、上記ステップ100で入力された1フレームの撮像画像から生成される道路区画線の候補の数が道路路面上に描かれているべき道路区画線の所望の数よりも少ないと判断できるので、次にステップ124の処理が実行される。
ステップ124では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを、上記ステップ104で決定された現状のものよりも所定量だけ低く下げる処理が実行される。尚、この所定量は、上記したエッジ点の閾値SHが下限値と上限値との間をその下限値及び上限値を含めて3段階以上に可変されるのに必要な変化量に設定されている。
本ステップ124の処理が実行されると、次回のルーチンにおいて、その低下された所定閾値SHが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHとして用いられることとなる(ステップ104)。この場合には、次回得られるカメラ撮像画像(次フレームのカメラ撮像画像)から道路区画線の候補が生成され易くなる。
また、ステップ116において、最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の減少数が第1の所定値以上であると判別された場合は、トンネル入口などの輝度変化が大きい状態から小さい状態へ切り替わる道路を車両が走行していると判断できるので、次にステップ126の処理が実行される。
ステップ126では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを、上記ステップ104で決定された現状のものから上記の所定量を超えて一気に低く下げる処理が実行される。尚、この場合、所定閾値SHの下げ幅は、少なくとも上記ステップ124で用いられる所定量を超えている量、すなわち、その所定量ずつ段階的に下げる場合よりもその段数を減らせる量であればよく、その所定量を2倍や3倍などした値としたり或いはその閾値SHが一気に下限値に至る値とすればよい。
本ステップ126の処理が実行されると、次回のルーチンにおいて、その低下された所定閾値SHが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHとして用いられることとなる(ステップ104)。この場合には、次フレームのカメラ撮像画像から道路区画線の候補が更に生成され易くなる。
また、ステップ118における処理の結果、COUNT>COUNT0が成立する場合は、上記ステップ100で入力された1フレームの撮像画像から生成される道路区画線の候補の数が道路路面上に描かれているべき道路区画線の所望の数よりも多いと判断できるので、次にステップ128の処理が実行される。
ステップ128では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを、上記ステップ104で決定された現状のものよりも所定量だけ高く上げる処理が実行される。尚、この所定量は、上記したエッジ点の閾値SHが下限値と上限値との間をその下限値及び上限値を含めて3段階以上に可変されるのに必要な変化量に設定されており、上記したその閾値SHを下げる場合における所定量と同じ値に設定されていてもよい。
本ステップ128の処理が実行されると、次回のルーチンにおいて、その上昇された所定閾値SHが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHとして用いられることとなる(ステップ104)。この場合には、次フレームのカメラ撮像画像から道路区画線の候補が生成され難くなる。
更に、ステップ120において、最終的に道路区画線を示すものとして生成されたエッジ線を構成するエッジ点の増加数が第2の所定値以上であると判別された場合は、トンネル出口などの輝度変化が小さい状態から大きい状態へ切り替わる道路を車両が走行していると判断できるので、次にステップ130の処理が実行される。
ステップ130では、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを、上記ステップ104で決定された現状のものから上記の所定量を超えて一気に高く上げる処理が実行される。尚、この場合、所定閾値SHの上げ幅は、少なくとも上記ステップ128で用いられる所定量を超えている量、すなわち、その所定量ずつ段階的に上げる場合よりもその段数を減らせる量であればよく、その所定量を2倍や3倍などした値としたり或いはその閾値SHが一気に上限値に至る値とすればよい。
本ステップ130の処理が実行されると、次回のルーチンにおいて、その上昇された所定閾値SHが、その時点で入力されるカメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHとして用いられることとなる(ステップ104)。この場合には、次フレームのカメラ撮像画像から道路区画線の候補が更に生成され難くなる。
このように、上記図3に示すルーチンによれば、カメラ12からの撮像画像が入力されるごとに、その画像から抽出されるエッジ点に基づいて直線検出、ペア判定、及び連続性判定を経て得られる最終的な道路区画線の候補であるエッジ線の生成結果を利用して、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを変更することができる。具体的には、最終的な道路区画線候補の数が所望の数に達せずに少ない場合は、その閾値SHを現状よりもエッジ点抽出が行われ易くなりエッジ線が生成され易くなるように低い値へ変更し、一方、その道路区画線候補の数が所望の数を超えて多い場合は、その閾値SHを現状よりもエッジ点抽出が行われ難くなりエッジ線が生成され難くなるように高い値へ変更することができる。
本実施例においては、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHが上記の如く変更されると、以後、その変更後の所定閾値SHは、次回カメラ12の撮像した撮像画像(次フレームのカメラ撮像画像)からエッジ点抽出が行われる際に用いられる。
このため、本実施例の構成によれば、一旦はカメラ撮像画像から抽出したエッジ点に基づいて実際に生成された道路区画線の候補線の数が予め定めた所定数を超えたときにも、以後、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値SHをそのエッジ点が抽出され難くなるように高い値へ変更することにより、真の道路区画線を表さないノイズが道路区画線のエッジ点として抽出されるのをできるだけ排除することが可能となる。また、一旦はカメラ撮像画像から抽出したエッジ点に基づいて実際に生成された道路区画線の候補線の数が所定数に達しないときにも、以後、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値SHをそのエッジ点が抽出され易くなるように低い値へ変更することにより、真の道路区画線を示す物標が塗装剥がれやかすれなどに起因してエッジ線として抽出されない事態をできるだけ排除することが可能となる。
この点、本実施例の道路区画線検出装置10によれば、カメラ12の撮像画像からの道路区画線を示すエッジ点の抽出を、ノイズを排除しつつ真の道路区画線を確実に候補線として生成可能となるように道路路面状況に柔軟に対応させて精度よく行うことができ、これにより、高精度の道路区画線検出を実現することが可能となっている。
また、本実施例において、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値SHの変更は、次フレームのカメラ撮像画像からエッジ点を抽出する際に反映される。すなわち、ある時点でカメラ撮像画像からエッジ点を抽出する際に用いる輝度変化に関する閾値SHは、その一つ前の時点でのカメラ撮像画像から生成される道路区画線候補の数に基づいて定められる。このため、本実施例によれば、入力された一つのカメラ撮像画像に対してエッジ点抽出処理やエッジ線生成処理をそれぞれ複数回繰り返して行うことは不要であり、それぞれ一回ずつ行うこととすれば十分であるので、一つのカメラ撮像画像から道路区画線を検出するうえでの画像処理に伴う計算コストや処理量,処理時間を低減することが可能であり、画像処理能力の軽減を図ることが可能となっている。
尚、このように閾値SHの変更が次フレームのカメラ撮像画像からのエッジ点抽出の際に反映される構成では、その変更後の閾値SHが1フレーム分遅れて適用されることとなる。しかし、一般的に、道路路面上に描かれる道路区画線のかすれなどの状態は、カメラ撮像画像のフレーム間程度の間に大きく変化することはあまりないので、上記閾値SHの適用に際しての1フレーム分の遅れはあまり問題ではない。従って、本実施例の構成によれば、変更後の閾値SHの適用が1フレーム分遅れることに伴う不都合はほとんど生じない。
また、本実施例においては、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値SHの変更(低下及び上昇共に)が、通常、カメラ撮像画像が入力されるごとに所定量ずつ段階的に行われる。かかる構成によれば、カメラ撮像画像から道路区画線のエッジ点を抽出する際に用いる輝度変化に関する閾値SHを、ノイズが多ければ段階的に高く上げていくことができ、一方、道路区画線が未検出であれば段階的に低く下げていくことができる。従って、本実施例の道路区画線検出装置10によれば、上記の閾値SHを、ノイズの程度や実際の道路区画線のかすれ度合いなどの道路路面状況に木目細かく対応して、所望本数の候補線を生成できるようなすなわちノイズを排除しつつ道路上に描かれた道路区画線を確実に検出できるような適切な値へ自動的に収束させることが可能であるので、更に精度の高い道路区画線検出を実現することが可能となっている。
但し、カメラ撮像画像におけるエッジ点の数の時間変化が大きいときは、トンネル出入口などの輝度変化の度合い(コントラスト)が大きく変化する道路を車両が走行していると判断できるので、カメラ撮像画像から適切に道路区画線を検出するうえでは、上記の閾値SHをその切り替え前後で速やかに変更することが適切である。本実施例において、図3に示す如く、カメラ撮像画像ごとに抽出されるエッジ点の数が前回ルーチンから今回ルーチンにかけて大きく時間変化するときには、その閾値SHが所定量ずつの段階的ではなくその所定量を超えて一気にその所定量の2倍や3倍だけ変更され又は下限値或いは上限値へ変更される。従って、本実施例の構成によれば、トンネル出入口などの道路路面のコントラストが突発的に変化するときにも、閾値SHが段階的に変更される構成で生じるような道路区画線が未検出となる状態や不要なノイズが多数抽出される状態が長期間にわたって継続するのを防ぐことができ、これにより、道路区画線の検出精度が低下するのを防止することが可能となっている。
更に、本実施例において、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHの変更は、そのカメラ撮像画像から抽出される複数のエッジ点を互いに線で結ぶと共に、上記した直線検出、ペア判定、及び連続性判定を行うことによりある程度のノイズを除去したうえで最終的に残る道路区画線の候補の数に基づいて行われる。かかる構成において、撮像画像上でノイズとして直線を構成しないエッジ点は直線検出により、また、仮にノイズが直線状に存在してもそのエッジ点はペア判定により、更に、仮にノイズがペアで直線状に並んでもそのエッジ点は連続性判定により、それぞれ道路区画線を構成する物標のエッジ点から排除されることが多い。このため、このようなノイズを示すエッジ点の存在が、道路区画線の候補を生成するうえで妨げとなることはほとんどなく、上記した所定閾値SHの変更に影響を与えることはほとんどない。
すなわち、ノイズを示すエッジ点が存在しても、直線検出、ペア判定、及び連続性判定により排除されるエッジ点は、所定閾値SHの変更に関わる最終的な道路区画線の候補を生成するうえで必要なエッジ点とはならないため、上記した所定閾値SHの変更が不必要に行われるのは回避される。従って、本実施例によれば、カメラ撮像画像からの道路区画線検出を高い精度でかつ安定して行うことが可能となっている。
ところで、道路路面上の走路片側に描かれる道路区画線の形状には、図4(B)に示す如く1本からなる単線である場合および図4(A)に示す如く複数本(図4(A)においては2本)の線からなる複合線である場合がある。上記の如く、本実施例において、カメラ撮像画像から道路区画線のエッジ点を抽出する際に用いる輝度変化に関する閾値SHは、最終的な道路区画線候補の数COUNTに基づいて制御される。具体的には、道路区画線候補の数COUNTが所定数COUNT0を超えていればその閾値SHは高く上がる。このため、道路区画線の形状が複合線である状況においては、仮にその所定数COUNT0が常に“1”に設定されていると、上記の閾値SHが上がり続けてしまう不都合が生じ得ると共に、また逆に、その所定数COUNT0が常に複数に設定されていると、単線走行時にノイズが道路区画線として誤検出され易くなる不都合が生じ得る。
そこで、本実施例の道路区画線検出装置10は、道路路面上に描かれる道路区画線の形状に応じて道路区画線候補の閾値である所定数COUNT0を変更することにより、上記の不都合を回避する点に第2の特徴を有している。以下、図5を参照して、本実施例の第2の特徴部について説明する。
図5は、本実施例の道路区画線検出装置10において画像処理部14が実行するサブルーチンの一例のフローチャートを示す。図5に示すルーチンは、所定時間ごとに繰り返し起動されるルーチンである。図5に示すルーチンが起動されると、まずステップ150の処理が実行される。
ステップ150では、現時点で自車両が走行する道路上に描かれている道路区画線の形状が複数本の線からなる複合線であるか否かが判別される。この判別は、例えば、道路上に描かれている道路区画線の形状の情報が格納されたナビゲーション装置を用いて検出される自車両の道路上での位置が道路区画線が複合線となって描かれている位置であるか否かに基づいて行われることとしてもよいし、また、カメラ12の撮像画像の処理結果としてそのカメラ撮像画像から検出される道路区画線が複合線からなっていることが判定されるか否かに基づいて行われることとしてもよい。
その結果、否定判定がなされた場合は、道路区画線の形状が単線であると判断されるので、次にステップ152において道路区画線候補の閾値である所定数COUNT0を“1”に設定する処理が実行される。かかる処理が行われると、以後、上記図3に示すルーチン中のステップ114,118においてその設定された所定数COUNT0を基準にして道路区画線の候補数COUNTに関する判定がなされることとなる。
一方、肯定判定がなされた場合は、道路区画線の形状が複数本の線からなる複合線であると判断されるので、次にステップ154において道路区画線候補の閾値である所定数COUNT0を“2”に設定する処理が実行される。尚、この際に設定する所定数COUNT0は、“2”に限定されるものではなく、その複合線を構成する道路区画線の本数が検出されるときにはその数(例えば3本の線からなる複合線のときは“3”)に設定されることとすればよい。かかる処理が行われると、以後、上記図3に示すルーチン中のステップ114,118においてその設定された所定数COUNT0を基準にして道路区画線の候補数COUNTに関する判定がなされることとなる。
上記図5に示すルーチンによれば、道路路面上に実際に描かれる道路区画線の形状に応じて道路区画線候補の閾値である所定数COUNT0を変更することができる。具体的には、道路区画線の形状が単線である場合は、その所定数COUNT0を通常の“1”に設定変更し、一方、道路区画線の形状が複合線である場合は、その所定数COUNT0を“1”から増加させて複数(例えば“2”)に設定変更することができる。
かかる構成においては、車両走路の片側に描かれる道路区画線の本数が時間変化するとき具体的にはその道路区画線の形状が単線から複合線へ変化したときにも、カメラ撮像画像からのエッジ点抽出の際に用いる輝度変化に関する閾値SHが上がり続けるのを防止することができ、また逆に、その道路区画線の形状が複合線から単線へ変化したときにも、単線走行時にノイズが道路区画線として誤検出され易くなるのを回避することができる。従って、本実施例の道路区画線検出装置10によれば、道路区画線の形状が変化する道路路面状況に柔軟に対応してカメラ撮像画像からのエッジ点抽出を行うことができるので、更に精度の高い道路区画線検出を実現することが可能となっている。
このように、本実施例のシステムによれば、道路区画線検出を高精度に実現することが可能であるので、誤った道路区画線に対する自車両の横位置が算出される事態や道路区画線に対する自車両の横位置が全く算出されない事態を抑止することができる。このため、自動操舵制御装置16による自車両の道路区画線からの逸脱を回避させる逸脱回避制御を、真の道路区画線を用いて適切かつ確実に実行することが可能となっている。
ところで、上記の実施例においては、カメラ12が特許請求の範囲に記載した「撮像手段」に、輝度変化が特許請求の範囲に記載した「所定パラメータ」に、所定閾値SHが特許請求の範囲に記載した「基準」に、エッジ点が特許請求の範囲に記載した「特徴点」に、所定数COUNT0が特許請求の範囲に記載した「所定数」に、所定閾値SHに関する所定量が特許請求の範囲に記載した「所定単位」に、それぞれ相当している。
また、上記の実施例においては、画像処理部14が、図3に示すルーチン中ステップ106の処理を実行することにより特許請求の範囲に記載した「特徴点抽出手段」が、ステップ108の処理を実行することにより特許請求の範囲に記載した「候補線生成手段」が、ステップ122,124,126,128,130の処理を実行することにより特許請求の範囲に記載した「基準変更手段」が、図5に示すルーチン中ステップ152,154の処理を実行することにより特許請求の範囲に記載した「所定数変更手段」が、それぞれ実現されている。
尚、上記の実施例においては、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出する際に用いる輝度変化に関する所定閾値SHを変更するのに道路区画線の候補の数を用いることとし、その道路区画線の候補をカメラ撮像画像から抽出したエッジ点について直線検出、ペア判定、及び連続性判定を行うことにより生成することとしているが、かかる道路区画線の候補を生成する手法はこれだけに限らず、更に他の方法を加えて行うこととしてもよい。
また、上記の実施例においては、道路左右両側にある道路区画線それぞれに対応して上記した所定閾値SHを設け、左右独立してその閾値SHの変更を施すこととすればよい。かかる構成においては、画像左右両側でそれぞれ生成される各道路区画線の候補に基づいて独立して閾値SHの変更が行われるため、例えば、左側の道路区画線が日に当たって明るい一方で右側の道路区画線が日に当たらず暗いときにも、それぞれ適切に閾値SHが設定されることとなり、従って、カメラ12の撮像画像からの道路区画線を示すエッジ点の抽出を道路路面状況に柔軟に対応させて精度よく行うことが可能となり、更に高精度の道路区画線検出を実現することが可能となる。
また、上記の実施例においては、カメラ撮像画像から実際に生成された最終的な道路区画線の候補であるエッジ線の数に基づいて所定閾値SHを変更した場合、その変更後の所定閾値SHを、次回におけるカメラ撮像画像(次フレームのカメラ撮像画像)からのエッジ点抽出に用いることとしているが、本発明はこれに限定されるものではなく、次々回やそれ以降におけるカメラ撮像画像からのエッジ点抽出に用いることとしてもよい。
また、その変更後の所定閾値SHを、最終的な道路区画線候補の数を計数したのに用いた元のカメラ撮像画像から、自動操舵制御装置16へ情報出力すべき道路区画線を検出・推定すべく再度エッジ点を抽出する際に用いることとしてもよい。かかる変形例の構成においても、上記した本実施例の構成と同様に、カメラ撮像画像からの道路区画線を示すエッジ点の抽出を、ノイズを排除しつつ真の道路区画線を確実に候補線として生成可能となるように道路路面状況に柔軟に対応させて精度よく行うことができるという効果を得ることが可能である。但し、この変形例の構成では、カメラ12からの撮像画像の全データをメモリにバッファとして記憶させた上で、一カメラ撮像画像当たりにエッジ点抽出及びエッジ線生成をそれぞれ2回以上ずつ閾値を互いに異ならせて行うことが必要となるので、画像処理量が膨大となり、高い画像処理能力を要することとなる。
また、上記の実施例においては、1フレームのカメラ撮像画像から生成される道路区画線の候補数COUNTが所定数COUNT0未満である或いはその所定数COUNT0を超える場合に直ちに、エッジ点抽出に用いる閾値SHを変更することとしているが、カメラ撮像画像から生成される道路区画線の候補数COUNTが所定数COUNT0未満である或いはその所定数COUNT0を超える状態が予め定めた複数のフレームにわたって継続する或いは所定時間継続する場合に、上記の閾値SHを変更することとしてもよい。
また、上記の実施例においては、カメラ撮像画像から道路区画線を構成する物標のエッジ点を抽出するうえで、高輝度と低輝度との差である輝度変化をパラメータとして用いることとしているが、輝度自体をパラメータとして用いることとしてもよい。
更に、上記の実施例においては、検出・推定した道路区画線を、自車両の横位置を算出する基準とし、自車両が道路区画線から逸脱しそうになったときにおける逸脱回避のための車両の自動操舵に用いることとしているが、本発明はこれに限定されるものではなく、自車両が道路区画線から逸脱しそうになったときにおける車両運転者へのスピーカ出力や表示出力を行う警報・警告制御に用いるものであってもよく、また、走行中に道路区画線に沿ってヘッドライトを点灯させるべくその点灯方向を切り替える制御に用いるものであってもよい。
本発明の一実施例である道路区画線検出装置を備えるシステムの構成図である。 1フレームの撮像画像から輝度変化の大きいエッジ点を抽出した際に生ずる不都合を説明するための図である。 本実施例の道路区画線検出装置において実行される制御ルーチンの一例のフローチャートである。 道路路面上に描かれた道路区画線の形状が1本からなる単線である状況と複数本の線からなる複合線である状況とを表した図である。 本実施例の道路区画線検出装置において実行されるサブルーチンの一例のフローチャートである。
符号の説明
10 道路区画線検出装置
12 カメラ
14 画像処理部
SH 閾値
COUNT 道路区画線の候補の数

Claims (8)

  1. 車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、所定パラメータが基準を満たす部分を路面上の道路区画線を表す特徴点として抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、
    前記特徴点抽出手段により抽出された前記特徴点に基づいて、前記道路区画線の候補線を生成する候補線生成手段と、
    前記候補線生成手段により生成された前記候補線の数に基づいて、前記特徴点抽出手段による撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更する基準変更手段と、を備え、
    前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数に達しない場合に、前記基準を現状よりも前記特徴点の抽出が行われ易くなるように変更することを特徴とする道路区画線検出装置。
  2. 車両周辺の路面を撮像する撮像手段と、前記撮像手段により撮像された撮像画像から、所定パラメータが基準を満たす部分を路面上の道路区画線を表す特徴点として抽出する特徴点抽出手段と、を備え、前記特徴点抽出手段により抽出された前記特徴点に基づいて、道路上に描かれた道路区画線を検出する道路区画線検出装置であって、
    前記特徴点抽出手段により抽出された前記特徴点に基づいて、前記道路区画線の候補線を生成する候補線生成手段と、
    前記候補線生成手段により生成された前記候補線の数に基づいて、前記特徴点抽出手段による撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更する基準変更手段と、を備え、
    前記基準変更手段は、前記候補線生成手段により生成された前記候補線の数が所定数を超える場合に、前記基準を現状よりも前記特徴点の抽出が行われ難くなるように変更することを特徴とする道路区画線検出装置。
  3. 前記基準変更手段は、前記基準を所定単位ずつ段階的に変更することを特徴とする請求項1又は2記載の道路区画線検出装置。
  4. 前記基準変更手段は、前記特徴点抽出手段により抽出される前記特徴点の数の時間変化が所定値以上であるときには、前記基準を前記所定単位を超えて一気に変更することを特徴とする請求項3記載の道路区画線検出装置。
  5. 走路片側に描かれる道路区画線の本数に応じて前記所定数を変更する所定数変更手段を備えることを特徴とする請求項1又は2記載の道路区画線検出装置。
  6. 前記所定数変更手段は、道路片側に描かれる道路区画線の形状が1本の線からなる単線から複数本の線からなる複合線へ変化する場合に、前記所定数を増加させることを特徴とする請求項記載の道路区画線検出装置。
  7. 前記基準変更手段は、前記特徴点抽出手段による次回以降における撮像画像からの前記特徴点の抽出の際に用いる所定パラメータに関する前記基準を変更することを特徴とする請求項1乃至の何れか一項記載の道路区画線検出装置。
  8. 所定パラメータは、輝度又は輝度変化であることを特徴とする請求項1乃至の何れか一項記載の道路区画線検出装置。
JP2006082812A 2006-03-24 2006-03-24 道路区画線検出装置 Active JP4248558B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006082812A JP4248558B2 (ja) 2006-03-24 2006-03-24 道路区画線検出装置
EP07739324.7A EP2009611B8 (en) 2006-03-24 2007-03-22 Lane-dividing line detection device
US12/280,435 US8477999B2 (en) 2006-03-24 2007-03-22 Road division line detector
CN200780009978.2A CN101405783B (zh) 2006-03-24 2007-03-22 道路区划线检测装置
PCT/JP2007/055881 WO2007111220A1 (ja) 2006-03-24 2007-03-22 道路区画線検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006082812A JP4248558B2 (ja) 2006-03-24 2006-03-24 道路区画線検出装置

Publications (2)

Publication Number Publication Date
JP2007257449A JP2007257449A (ja) 2007-10-04
JP4248558B2 true JP4248558B2 (ja) 2009-04-02

Family

ID=38541140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006082812A Active JP4248558B2 (ja) 2006-03-24 2006-03-24 道路区画線検出装置

Country Status (5)

Country Link
US (1) US8477999B2 (ja)
EP (1) EP2009611B8 (ja)
JP (1) JP4248558B2 (ja)
CN (1) CN101405783B (ja)
WO (1) WO2007111220A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007061658A1 (de) * 2007-12-18 2009-06-25 Adc Automotive Distance Control Systems Gmbh Klassifikation der Fahrzeugumgebung
JP5012607B2 (ja) * 2008-03-21 2012-08-29 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
JP4947008B2 (ja) * 2008-08-07 2012-06-06 トヨタ自動車株式会社 車線区分線認識装置、車線維持支援装置及び車線区分線認識方法
JP4661934B2 (ja) 2008-10-09 2011-03-30 株式会社デンソー 画像処理装置
US8396285B2 (en) * 2009-04-20 2013-03-12 Hewlett-Packard Development Company, L.P. Estimating vanishing points in images
JP5533059B2 (ja) * 2010-03-12 2014-06-25 三菱電機株式会社 撮像装置
JP5035371B2 (ja) * 2010-03-15 2012-09-26 アイシン精機株式会社 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム
EP2616989A1 (en) * 2010-09-16 2013-07-24 Tomtom Polska SP.Z.O.O. Improvements in or relating to automatic detection of the number of lanes into which a road is divided
JP5541099B2 (ja) * 2010-11-05 2014-07-09 株式会社デンソー 道路区画線認識装置
JP5500507B2 (ja) * 2010-11-30 2014-05-21 サクサ株式会社 画像処理装置及び画像処理方法
JP5626578B2 (ja) * 2010-12-02 2014-11-19 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援プログラム、及び走行支援方法
CN102184535B (zh) * 2011-04-14 2013-08-14 西北工业大学 一种车辆所在车道边界检测方法
JP5709629B2 (ja) 2011-04-19 2015-04-30 キヤノン株式会社 撮像装置及び制御方法
JP5810654B2 (ja) * 2011-06-13 2015-11-11 トヨタ自動車株式会社 区画線認識装置、区画線認識方法、プログラム及び媒体
KR20130051681A (ko) * 2011-11-10 2013-05-21 한국전자통신연구원 노면 표식물 인식 시스템 및 방법
US9349069B2 (en) * 2011-11-21 2016-05-24 Analog Devices, Inc. Dynamic line-detection system for processors having limited internal memory
CN102682292B (zh) * 2012-05-10 2014-01-29 清华大学 基于单目视觉的道路边缘检测及粗定位方法
JP5918689B2 (ja) * 2012-12-14 2016-05-18 株式会社日本自動車部品総合研究所 駐車支援装置
JP5966965B2 (ja) 2013-02-19 2016-08-10 株式会社デンソー 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
JP6082293B2 (ja) * 2013-03-25 2017-02-15 富士重工業株式会社 車両用白線認識装置
CN103383733B (zh) * 2013-05-16 2016-09-14 浙江智尔信息技术有限公司 一种基于半机器学习的车道视频检测方法
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP6329413B2 (ja) * 2014-03-28 2018-05-23 株式会社Subaru 車外環境認識装置
JP6130809B2 (ja) 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
US10152780B2 (en) * 2015-11-02 2018-12-11 Cognex Corporation System and method for finding lines in an image with a vision system
JP6341191B2 (ja) * 2015-12-16 2018-06-13 トヨタ自動車株式会社 情報演算装置
JP6659379B2 (ja) * 2016-01-28 2020-03-04 日立オートモティブシステムズ株式会社 道路情報認識システム及び道路情報認識方法
US11086334B2 (en) * 2016-07-21 2021-08-10 Mobileye Vision Technologies Ltd. Crowdsourcing a sparse map for autonomous vehicle navigation
US10607481B2 (en) 2017-02-27 2020-03-31 International Business Machines Corporation Dynamic road width division for adaptive road-space utilization
US10140530B1 (en) 2017-08-09 2018-11-27 Wipro Limited Method and device for identifying path boundary for vehicle navigation
JP6710190B2 (ja) * 2017-09-29 2020-06-17 クラリオン株式会社 区画線認識装置
CN108021921A (zh) * 2017-11-23 2018-05-11 塔普翊海(上海)智能科技有限公司 图像特征点提取系统及其应用
CN108509906B (zh) * 2018-03-30 2022-02-08 长安大学 无人机航拍路基线光点捕捉双阈值Radon识别方法
JP7068017B2 (ja) * 2018-04-13 2022-05-16 株式会社Soken 車両の走行路認識装置及び走行制御装置
CN109857103B (zh) * 2019-01-22 2023-04-07 秦皇岛天业通联重工科技有限公司 一种自动驾驶车辆的控制方法、装置及系统
US11023747B2 (en) 2019-03-05 2021-06-01 Here Global B.V. Method, apparatus, and system for detecting degraded ground paint in an image
JP7325296B2 (ja) * 2019-10-25 2023-08-14 日産自動車株式会社 物体認識方法及び物体認識システム
JP2022133156A (ja) * 2021-03-01 2022-09-13 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04152406A (ja) * 1990-10-16 1992-05-26 Toyota Motor Corp ライン検出装置
JP2861638B2 (ja) 1992-06-16 1999-02-24 松下電器産業株式会社 走行レーン検出装置
WO1996034363A1 (fr) * 1995-04-26 1996-10-31 Hitachi, Ltd. Processeur d'images pour vehicule
JPH08320998A (ja) * 1995-05-25 1996-12-03 Nissan Motor Co Ltd レーンマーカ検出装置
TW349211B (en) * 1996-01-12 1999-01-01 Sumitomo Electric Industries Method snd apparatus traffic jam measurement, and method and apparatus for image processing
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
US6163022A (en) * 1997-05-20 2000-12-19 Matsushita Electric Industrial Co., Ltd. Imaging apparatus, distance measurement apparatus and method for measuring distance
JPH10334393A (ja) * 1997-05-29 1998-12-18 Mitsubishi Heavy Ind Ltd 車両検知装置
JP2986439B2 (ja) * 1998-01-12 1999-12-06 松下電器産業株式会社 車両用画像処理装置
JPH11205663A (ja) * 1998-01-20 1999-07-30 Nissan Motor Co Ltd 車両用撮像装置の露光量制御装置
JP3102478B2 (ja) * 1998-08-17 2000-10-23 日本電気株式会社 線状マーク検出方法および装置
JP3575346B2 (ja) * 1999-09-03 2004-10-13 日本電気株式会社 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体
JP2002008189A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd 車両検出装置および車両検出方法
JP4925498B2 (ja) * 2000-07-12 2012-04-25 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
JP4016735B2 (ja) * 2001-11-30 2007-12-05 株式会社日立製作所 レーンマーク認識方法
JP3780922B2 (ja) * 2001-11-30 2006-05-31 日産自動車株式会社 道路白線認識装置
JP3855102B2 (ja) * 2002-05-21 2006-12-06 アイシン精機株式会社 車線境界検出装置
JP3862015B2 (ja) * 2002-10-25 2006-12-27 オムロン株式会社 車載用レーダ装置
JP4023333B2 (ja) * 2003-02-17 2007-12-19 日産自動車株式会社 車線検出装置
JP2005157723A (ja) 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法
JP4162618B2 (ja) * 2004-03-12 2008-10-08 株式会社豊田中央研究所 車線境界判定装置
JP2005301603A (ja) * 2004-04-09 2005-10-27 Denso Corp 走行車線検出装置
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP4093208B2 (ja) * 2004-05-28 2008-06-04 トヨタ自動車株式会社 車両用走路判定装置
JP2006082812A (ja) 2004-09-14 2006-03-30 Lintec Corp ラベル剥離方法、剥離装置及びラベル貼付装置
JP4321821B2 (ja) * 2005-01-28 2009-08-26 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
JP4152406B2 (ja) 2005-08-31 2008-09-17 大王製紙株式会社 食品用吸収紙の製造方法
JP4638370B2 (ja) * 2006-03-29 2011-02-23 富士重工業株式会社 車線逸脱防止装置

Also Published As

Publication number Publication date
EP2009611B8 (en) 2019-09-04
EP2009611B1 (en) 2019-07-03
CN101405783B (zh) 2014-07-09
EP2009611A4 (en) 2015-04-08
WO2007111220A1 (ja) 2007-10-04
US20090034799A1 (en) 2009-02-05
EP2009611A1 (en) 2008-12-31
JP2007257449A (ja) 2007-10-04
US8477999B2 (en) 2013-07-02
CN101405783A (zh) 2009-04-08

Similar Documents

Publication Publication Date Title
JP4248558B2 (ja) 道路区画線検出装置
JP4603970B2 (ja) 道路区画線検出装置
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
US8548200B2 (en) Lane-marker recognition system with improved recognition-performance
JP6750519B2 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
JP2008301342A (ja) 車外監視装置
JP4556133B2 (ja) 車両
JP2009157085A (ja) 露出制御装置及び露出制御プログラム
JP4990806B2 (ja) 撮像手段の調整装置および車外監視装置
US20170136962A1 (en) In-vehicle camera control device
US20130194424A1 (en) Exposure controller for on-vehicle camera
WO2014148161A1 (ja) 故障検出装置
US20190095761A1 (en) Vicinity supervising device and method for supervising vicinity of vehicle
JP2010061375A (ja) 物体認識装置及びプログラム
US20160050342A1 (en) Image processing apparatus
JP5541099B2 (ja) 道路区画線認識装置
CN110611772B (zh) 车用取像装置及其曝光参数设定方法
JP2007189432A (ja) 車両用撮像装置
JP5493705B2 (ja) 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム
JP4572826B2 (ja) 道路区画線検出装置
CN112784671A (zh) 障碍物检测装置及障碍物检测方法
JP2009038463A (ja) 露光調整方法、車両用撮像装置および自動車
JP6413474B2 (ja) 駐車支援装置及び駐車枠の横線検出方法
JP6362945B2 (ja) 車載画像処理装置
JP7196781B2 (ja) 情報処理装置及び運転支援システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4248558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250