JP3575346B2

JP3575346B2 - 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体

Info

Publication number: JP3575346B2
Application number: JP24971199A
Authority: JP
Inventors: 和之櫻井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-09-03
Filing date: 1999-09-03
Publication date: 2004-10-13
Anticipated expiration: 2019-09-03
Also published as: JP2001076147A; DE10043467B4; DE10043467A1; US6829388B1

Description

【０００１】
【発明の属する技術分野】
本発明は、道路画像を処理して道路画像中の白線を検出する道路白線検出技術に関する。
【０００２】
【従来の技術】
自動車の自動走行などへの応用のために、道路画像入力装置にて車両前方の道路を撮像して得た道路画像中から、走行レーンの両端を示す左右の白線を検出する道路白線検出技術の研究開発が進められている。この種の道路白線検出で問題となるのは、道路画像においては解像度不足や他の車両像のために、より遠方部分、つまり道路画像で言えば画像の上側に行くほどノイズの影響が大きくなることである。
【０００３】
このような問題の対処法として、道路画像を上下に少なくとも２つの領域に分割し、ノイズの影響の少ない下側領域での白線検出結果を、上側領域での白線検出に利用する方法がある。このような方法を適用した従来技術の一例が、特公平６−２４０３５号公報に記載されている。同公報に記載の従来技術では、下側領域、上側領域を含む少なくとも２つの領域に道路画像を分割し、それぞれの領域において、エッジ抽出後、Ｈｏｕｇｈ変換によって検出した不特定多数の直線群の中から、既知である道路幅情報を用いて走行路を与える最も確からしい直線対を決定する際、上側領域における直線対は、既に決定済の下側領域における直線対の上端近傍を通る直線群から選定するようにしている。
【０００４】
【発明が解決しようとする課題】
前述したように道路画像においては、上側領域の方がノイズが多くなり、また解像度も低くなるため、下側領域に比べ、上側領域での白線検出が一般に困難になる。前述した従来技術では、上側領域における直線対は、既に決定済の下側領域における直線対の上端近傍を通る直線群から選定することで多少なりとも検出を容易にしている。しかし、上側領域における直線対の選出も、エッジ抽出後、Ｈｏｕｇｈ変換によって検出した不特定多数の直線群の中から、既知である道路幅情報を用いて走行路を与える最も確からしい直線対を決定するという、下側領域における直線対の選出と同様の処理であるため、ノイズ等に対して頑健であるとは言えず、また効率的でもない。特に、画像領域を３つ以上の更に多くの領域に分割していくと、より上側の領域ではノイズの影響がより強くなるため、不特定多数の直線群の中から走行路を与える最も確からしい直線対を決定することは極めて困難である。
【０００５】
そこで本発明の目的は、道路画像を上下に少なくとも２つの領域に分割し、ノイズの影響の少ない下側領域での白線検出結果を活用して、上側領域での白線を頑健かつ効率良く検出できるようにすることにある。
【０００６】
また本発明の他の目的は、道路画像を多数の領域に上下分割した場合であっても上側領域での白線を頑健かつ効率良く検出できるようにすることにある。
【０００７】
【課題を解決するための手段】
本発明の第１の道路白線検出システムは、道路画像を上下に少なくとも２つの領域に分割した最下領域にて左右白線を近似する左右第１直線を検出する第１の手段と、前記左右第１直線の交点である第１消失点から水平線を算出する第２の手段と、道路画像中の前記最下領域以外の領域の内、少なくとも前記最下領域に隣接する領域については、前記左右第１直線の下側領域における上端点により前記最下領域に隣接する領域の下端での切片を定め、かつ道路画像から抽出された前記最下領域に隣接する領域における左右の白線像上にある白線特徴点列を左右合わせて近似する左右第２直線の交点を、前記水平線上で検出することにより、前記左右白線を近似する前記左右第２直線を検出する第３の手段とを備えている。
【０００８】
本発明の第２の道路白線検出システムは、道路画像を上下に少なくとも２つの領域に分割した最下領域にて左右白線を近似する左右第１直線を検出する第１の手段と、前記左右第１直線の交点である第１消失点から水平線を算出する第２の手段と、道路画像中の前記最下領域以外の領域にて左右白線を近似する左右直線の交点が前記水平線上に存在することを利用して当該交点を検出することにより、前記最下領域以外の領域での左右白線近似直線を検出する第３の手段とを備え、前記第３の手段は、道路画像中の前記最下領域以外の領域の内、少なくとも前記最下領域に隣接する領域については、その領域の左右白線を近似する左右第２直線の下端での切片が前記左右第１直線により定められ、かつ前記左右第２直線の交点である第２消失点が前記水平線上にあるとして、前記第２消失点を前記水平線上で検出する手段を含み、且つ、道路画像中の前記最下領域及びそれに隣接する領域以外の領域については、その領域より下側の複数の領域における左右白線近似直線の交点間の前記水平線上での変位量に基づいて、その領域での左右白線近似直線の交点を推定する手段を含む。
【０００９】
本発明の第３の道路白線検出システムは、第２の道路白線検出システムにおいて、道路画像から左右の白線像上にある点列を、白線特徴点らしさを示す白線フィルタ値と共に白線特徴点列として抽出する手段を備え、前記第１の手段は、前記白線特徴点列を前記白線フィルタ値を重みとして最小自乗近似する直線を、白線の直線近似として左右それぞれに検出する手段を含み、前記第３の手段は、前記左右第１直線の下側領域における上端点により前記最下領域に隣接する領域の下端での切片を定め、かつ前記最下領域に隣接する領域の白線特徴点列を前記白線フィルタ値を重みとして左右合わせて最小自乗近似する左右第２直線の交点を、前記水平線上で検出する手段を含む。
【００１０】
【作用】
道路面が平面をなすとした場合、路面上に平行に引かれた左右の白線を含む道路画像を上下に分割した下側領域内の左右白線の近似直線を延長した場合の交点と、上側領域内の左右白線の近似直線を延長した場合の交点とは、共に或る１本の線の上に位置する。この１本の線のことを本明細書では水平線と呼ぶ。道路画像を更に多くの領域に上下分割した場合も同様に各領域内の左右白線の近似直線を延長した場合の交点は同じ水平線上にあり、このことは道路がカーブしていても同様である。実世界では道路面が全くの平面であることは考えられないが、高速道路など、勾配の変化が少ない道路の場合、撮像されている範囲内の道路は平面と近似しても誤差は少ない。
【００１１】
本発明はこのような点に着目したものであり、道路画像を上下に少なくとも２つの領域に分割した最下領域にて左右白線を近似する左右第１直線を検出し、この左右第１直線の交点である第１消失点から水平線を算出し、道路画像中の前記最下領域以外の領域にて左右白線を近似する左右直線の交点が前記水平線上に存在することを利用して当該交点を検出することにより、前記最下領域以外の領域での左右白線近似直線を検出する。これにより、最下領域以外の領域での白線検出が既に検出済の水平線上の位置計算で済み、最下領域以外の領域での白線検出が頑健かつ効率良く行える。
【００１２】
具体的には、道路画像中の最下領域以外の領域のうち最下領域に隣接する領域については、その領域の左右白線を近似する左右第２直線の下端での切片が左右第１直線上にあり、かつ左右第２直線の交点である第２消失点が水平線上にあるとして、第２消失点を水平線上で検出し、この第２消失点と前記切片とを結ぶ直線を左右第２直線とする。
【００１３】
道路画像中の最下領域以外の領域のうち最下領域に隣接する領域以外の領域についても、最下領域に隣接する領域と同様に、その領域の左右白線を近似する左右直線の下端での切片が直ぐ下の領域における左右直線上にあり、かつその左右直線の交点が水平線上にあるとして、その交点を水平線上で検出し、この交点と前記切片とを結ぶ直線を左右直線として検出することができる。但し、画像領域を更に多くの領域に分割していくと、より上側の領域ではノイズの影響がより強くなるため、このような方法に変えて、以下のような方法を採用することができる。
【００１４】
高速道路などではカーブの曲率半径が比較的大きく且つカーブ途中で曲率が殆ど変化しない。従って、そのような道路では、道路画像内には高々１つのカーブだけが写っており、かつその曲率も略一定である。このため、道路画像中の前記最下領域及びそれに隣接する領域以外の領域については、その領域内の白線自体を検出しなくても、その領域より下側の複数の領域における左右白線近似直線の交点間の前記水平線上での変位量に基づいて、その領域での左右白線近似直線の交点を推定することができ、この推定した交点と既に検出済の下側の左右白線近似直線の上端点とから当該領域の左右白線近似直線を求めることができる。
【００１５】
【発明の実施の形態】
次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
【００１６】
図１を参照すると、本発明の第１の実施の形態は、コンピュータ１００とこれに接続された道路画像入力装置１０１とから構成されている。
【００１７】
道路画像入力装置１０１は、車両前方の路面上を撮像して検出対象とする路面上の走行レーンの両側の白線を含む画像情報を生成するものであり、車両の前部の適所に水平に装着されている。本実施形態の場合、検出対象とする路面は、勾配の変化が少ない高速道路など、撮像されている範囲内で道路が平面と近似できる路面である。
【００１８】
コンピュータ１００は、ＭＰＵ等の処理装置および主記憶等のメモリを含み、プログラム制御により動作する。コンピュータ１００に接続された記録媒体Ｋ１は、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ等の機械読み取り可能な記録媒体であり、道路白線検出用プログラムが記録されている。記録媒体Ｋ１に記録された道路白線検出用プログラムは、コンピュータ１００の立ち上げ時などにコンピュータ１００に読み取られ、コンピュータ１００の動作を制御することにより、コンピュータ１００上に、白線特徴点抽出手段１０２と、下側領域左右直線検出手段１０３と、水平線座標算出手段１０４と、上側領域直線消失点検出手段１０５と、白線推定手段１０６とを実現する。
【００１９】
先ず、これらの手段の概略を図１および図３を参照して説明する。
【００２０】
白線特徴点抽出手段１０２は、道路画像入力装置１０１で得られた道路画像３０１内から左右の白線３０５、３０４の像上にある点列を、白線特徴点列として抽出する。
【００２１】
下側領域左右直線検出手段１０３は、予め道路画像３０１内を上下に分割しておいたうちの下側領域３０２において、白線特徴点抽出手段１０２で抽出した左右の白線特徴点列を最も良く近似する直線を左右の白線３０５、３０４それぞれに対して検出する。左右の白線３０５、３０４それぞれに対して検出した直線が、左第１直線３０７、右第１直線３０６である。なお、道路画像３０１内を下側領域３０２と上側領域３０３とに２分割する位置は任意であるが、例えば、下側領域３０２と上側領域３０３との境界線が車両前方の所定距離（例えば３０ｍ）の位置にくるように分割する。
【００２２】
水平線座標算出手段１０４は、実世界での道路面が平面をなすとした場合に、図３で示されているように路面上にある平行な直線の道路画像内での交点が水平線上にあるという性質を利用して、白線特徴点抽出手段１０２で検出された下側領域３０２の左第１直線３０７と右第１直線３０６の交点である第１消失点３１１を求め、この第１消失点３１１を通る水平な線を水平線３１０として検出し、この水平線３１０の座標を算出する。
【００２３】
上側領域直線消失点検出手段１０５は、水平線座標算出手段１０４で検出された水平線３１０と、下側領域左右直線検出手段１０３で検出された左右第１直線３０７、３０６と、白線特徴点抽出手段１０２で抽出された上側領域３０３の白線特徴点列とから、上側領域３０３での左右白線近似直線３０９、３０８を検出する。具体的には、前記した道路面上の平行直線の性質から、図３で示されているように、上側領域３０３での左白線３０５及び右白線３０４を近似した左第２直線３０９及び右第２直線３０８の道路画像内での交点（第２消失点３１２）も水平線３１０上にあるとして、また上側領域３０３の下端部での左右第２直線３０９、３０８の切片が下側領域３０２の左右第１直線３０７、３０６上にあるとして、その第２消失点３１２を検出し、この検出した第２消失点３１２と下側領域３０２の左第１直線３０７の上端部の切片とを結ぶ直線を左第２直線３０９とし、第２消失点３１２と下側領域３０２の右第１直線３０６の上端部の切片とを結ぶ直線を右第２直線３０８とする。
【００２４】
白線推定手段１０６は下側領域３０２、上側領域３０３でそれぞれ検出された近似直線３０７、３０６、３０９、３０８から左右の白線の位置、形状を推定し、その値を出力する。
【００２５】
次に、図１乃至図３を参照して本実施の形態の全体の動作について説明する。
【００２６】
まず、道路画像入力装置１０１において道路画像３０１を入力する（図２のステップＡ１）。次に、道路画像３０１から白線特徴点抽出手段１０２により左右白線についての白線特徴点列を抽出する（ステップＡ２）。さらに、予め道路画像３０１を上下に分割しておいた内の下側領域３０２において、下側領域左右直線検出手段１０３によって前記白線特徴点列を基にこれを近似する直線３０７、３０６（第１直線）を左右それぞれに検出する（ステップＡ３）。次に、水平線座標算出手段１０４において、左右第１直線３０７、３０６の交点（第１消失点３１１）を通る水平な線を水平線３１０として算出する（ステップＡ４）。次に、上側領域直線消失点検出手段１０５により上側領域３０３において、左右白線特徴点列を近似する左右直線３０９、３０８（第２直線）の上側領域３０３下端での切片が左右第１直線３０７、３０６上にあり、かつ左右の交点（第２消失点３１２）が水平線３１０上にあるとして、第２消失点３１２の位置を水平線３１０上で検出し、それを基に左右第２直線３０９、３０８を検出する（ステップＡ５）。最後に、白線推定手段１０６により第１直線３０７、３０６及び第２直線３０９、３０８から左右白線の位置、形状を推定し、その値を出力する（ステップＡ６）。
【００２７】
次に、本実施の形態の効果について説明する。
【００２８】
本実施の形態では、上側領域３０３における左右白線の直線近似が水平線３１０上の消失点の検出という、１パラメータの計算という簡便な問題に帰着されるように構成されているため、効率的、かつノイズ等に対して頑健な直線近似ができる。
【００２９】
また、本実施の形態では、さらに、上側領域３０３の左右の直線近似を１つのパラメータで同時に行うように構成されているため、障害物等により上側領域３０３上で左右どちらかの白線が検出不可能な状況でも、もう一方の白線から左右両方の白線を直線近似することができる。
【００３０】
また、本実施の形態では、さらに、上側領域３０３での白線の直線近似に下側領域３０２での近似結果を下端切片という形で組み込むように構成されているため、上下で矛盾した直線近似をするのを防ぐことができ、従って上下直線近似の整合性判断といったような後処理が不要である。
【００３１】
次に、具体的な実施例を挙げて本実施の形態の動作を更に詳しく説明する。
【００３２】
まず、白線特徴点抽出手段１０２の実施例を図４に、その処理例を図５にそれぞれ示す。この例の白線特徴点抽出手段１０２は、白線像内外の輝度値和の差、白線像端でのエッジ強度、白線像内での輝度値の均一性といった特徴値を道路画像の各点に対して演算し、この演算した各特徴値の線形和という形で、道路画像各点の白線特徴点らしさを計算し、この計算した各点の白線特徴点らしさに基づいて白線特徴点を抽出するもので、白線像横幅決定手段１０２１、白線内外輝度差計算手段１０２２、白線端エッジ強度計算手段１０２３、白線内輝度均一性計算手段１０２４、白線特徴統合手段１０２５および白線特徴点データ出力手段１０２６から構成される。以下、本例の白線特徴点抽出手段１０２の動作を説明する。
【００３３】
先ず、白線像横幅決定手段１０２１により、道路画像各点について、その位置と道路画像入力装置１０１の高さに基づき、前記道路画像各点が白線の中心線上にある場合の白線像の横幅Ｂを、Ｂ＝ΔＸ（ｚ−Ｖ）／Ｈにより計算する（ステップＢ１）。ここで、ΔＸは実空間での白線幅、Ｈは道路画像入力装置１０１の基準面（路面）からの高さであり、これらは事前に設定されている固定値である。また、Ｖは水平線のｚ軸座標値であり、初期状態においては事前に設定された値が使われ、水平線座標算出手段１０４で水平線が検出された以降はこの検出された値が使用される。道路画像入力装置１０１の座標系を図６に示す。要するに、白線像横幅決定手段１０２１は、白線像の横幅は、車両に近い手前ほど実際の白線幅に近づき、逆に遠ざかるほど徐々に狭くなって、水平線付近（ｚ＝Ｖ）では零となってしまうことを利用して、道路画像各点における白線像の横幅を決定する。
【００３４】
次に、白線内外輝度差計算手段１０２２により、道路画像各点について、同一水平ライン上にある画素の内、前記白線像横幅の半分より近い画素の輝度値の和を計算し（ステップＢ２）、同じく、同一水平ライン上にある画素の内、前記白線像横幅の半分より遠く横幅分より近い画素の輝度値の和を計算し（ステップＢ３）、前記ステップＢ２による近い側の輝度値の和と前記ステップＢ４による遠い側の輝度値の和との「差」を計算する（ステップＢ４）。この際、それぞれ近い側と遠い側の画素数が等しくなるようにする。当該道路画像点がまさに白線像の中心に位置していたとすると、ステップＢ２では白線像内の画素の輝度値の和が求められ、ステップＢ３では白線像に接する外側部分の画素の輝度値の和が求められるため、両者の「差」は最大値を示すことになる。この「差」は、当該道路画像点が白線像の中心から外れるに従って小さくなっていく傾向を示す。
【００３５】
次に、白線端エッジ強度計算手段１０２３により、道路画像各点について、同一水平ライン上で白線像横幅の半分の距離にある左右２つの画素におけるエッジ強度を、例えば原道路画像にソーベルフィルタをかけた際の画素値として計算する（ステップＢ５）。当該道路画像点が白線像内に位置していたとすると、エッジ強度は大きくなる傾向を示す。
【００３６】
また、白線内輝度均一性計算手段１０２４により、道路画像各点について、同一水平ライン上で白線像横幅の半分より近い左右の画素群の輝度値の均一性、例えば前記画素群内での輝度値の分散、もしくは最大輝度値と最小輝度値との差などを計算する（ステップＢ６）。当該道路画像点がまさに白線像の中心に位置していたとすると、均一性は最も良好となり、当該道路画像点が白線像の中心から外れるに従って徐々に悪化する傾向を示す。
【００３７】
次に、白線特徴統合手段１０２５により、道路画像各点について、内外輝度値和の「差」、エッジ強度、輝度均一性から、例えばそれらの線形和という形で白線特徴点らしさを計算する（ステップＢ７）。道路画像各点について、前記計算された白線特徴点らしさを対応付けたものを白線フィルタと呼び、個々の道路画像点の白線特徴点らしさを、その道路画像点の白線フィルタ値と呼ぶ。
【００３８】
そして最後に、白線特徴点データ出力手段１０２６により、道路画像の各水平ラインについて、白線フィルタ値が極大値を示す左右それぞれ１つの道路画像点を左右白線についての白線特徴点として抽出し、出力する（ステップＢ８）。出力される白線特徴点データには、当該道路画像点の座標とその白線フィルタ値とが含まれる。
【００３９】
図７は、図４に示したような白線特徴点抽出手段１０２を使用した本実施例の処理の流れを示すフローチャートである。以下、本実施例の動作を説明する。
【００４０】
図７に示すように、まず、道路画像入力装置１０１において道路画像を入力する（図７のステップＣ１）。次に、図４に示した白線特徴点抽出手段１０２により、前述したように道路画像の白線フィルタを生成し、その極大点として左右白線についての白線特徴点列を抽出する（ステップＣ２）。ここで、抽出された左右の白線特徴点列を以下のように記す。
左白線特徴点列（ｘｌｉ，ｚｌｉ）≡Ｘｌｉ，ｉ＝０，１，…
右白線特徴点列（ｘｒｉ，ｚｒｉ）≡Ｘｒｉ，ｉ＝０，１，…
ここで、ＸｌｉとＸｒｉはベクトルである。また、道路画像点（ｘ，ｚ）における白線フィルタ値をＷ（ｘ，ｚ）とする。
【００４１】
次に、図８に示すように、予め道路画像を上下に分割しておいた内の下側領域ＬＡにおいて、下側領域左右直線検出手段１０３によって、前記白線特徴点列を前記白線フィルタ値を重みとして最小自乗近似する直線（第１直線）を、白線の直線近似として左右それぞれ独立に検出する（ステップＣ３）。つまり、左第１直線をｘ＝ａｌｚ＋ｂｌと置き、
【数１】

が最小となるようにａｌ，ｂｌを定める。同様に、右第１直線をｘ＝ａｒｚ＋ｂｒと置き、
【数２】

が最小となるようにａｒ，ｂｒを定める。
【００４２】
次に、水平線座標算出手段１０４において、左右第１直線の交点（第１消失点）を通るとして水平線を算出する（ステップＣ４）。図８の場合、第１消失点の座標は（Ｖｘ，Ｖｚ）であり、水平線はｚ＝Ｖｚである。
【００４３】
次に、上側領域直線消失点検出手段１０５により上側領域ＵＡにおいて、左右第１直線の下側領域ＬＡにおける上端点を上側領域ＵＡ下端での切片とし、かつ白線特徴点列を前記白線フィルタ値を重みとして左右合わせて最小自乗近似する左右の直線（第２直線）の交点（第２消失点）を、前記水平線上で検出し（ステップＣ５）、左右第２直線を検出する。つまり、左右第１直線の下側領域における上端点がそれぞれ（Ｆｅ，Ｌ）、（Ｆｒ，Ｌ）であったとすると、左第２直線を、
ｘ＝｛（Ｆｌ −Ｐｘ）／（Ｌ−Ｖｚ）｝（ｚ−Ｌ）＋Ｆｌ
と置き、右第２直線を、
ｘ＝｛（Ｆｒ −Ｐｘ）／（Ｌ−Ｖｚ）｝（ｚ−Ｌ）＋Ｆｒ
と置き、
【数３】

が最小となるようにＰｘを定める。
【００４４】
最後に、白線推定手段１０６により第１直線及び第２直線から左右白線の位置、曲がり方向を推定し、その値を出力する（ステップＣ６）。位置、曲がり方向以外の情報、例えば左右白線の曲率半径を推定するようにしても良い。
【００４５】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００４６】
図９を参照すると、本発明の第２の実施の形態は、コンピュータ５００とこれに接続された道路画像入力装置１０１とから構成されている。
【００４７】
道路画像入力装置１０１は、車両前方の路面上を撮像して検出対象とする路面上の走行レーンの両側の白線を含む画像情報を生成するものであり、車両の前部の適所に水平に装着されている。本実施形態の場合、検出対象とする路面は、勾配の変化が少なく且つカーブ途中で曲率が変化しないような高速道路など、撮像されている範囲内で道路が略平面に近似でき且つ高々１つのカーブだけが写っているような路面である。
【００４８】
コンピュータ５００は、ＭＰＵ等の処理装置および主記憶等のメモリを含み、プログラム制御により動作する。コンピュータ５００に接続された記録媒体Ｋ２は、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ等の機械読み取り可能な記録媒体であり、道路白線検出用プログラムが記録されている。記録媒体Ｋ２に記録された道路白線検出用プログラムは、コンピュータ５００の立ち上げ時などにコンピュータ５００に読み取られ、コンピュータ５００の動作を制御することにより、コンピュータ５００上に、白線特徴点抽出手段１０２と、下側領域左右直線検出手段１０３と、水平線座標算出手段１０４と、上側領域第２消失点検出手段５０５と、上側領域消失点列推定手段５０６と、白線推定手段５０７とを実現する。
【００４９】
先ず、これらの手段の概略を図９および図１０を参照して説明する。
【００５０】
白線特徴点抽出手段１０２は、道路画像入力装置１０１で得られた道路画像３０１内から左右の白線３０５、３０４の像上にある点列を、白線特徴点列として抽出する。
【００５１】
下側領域左右直線検出手段１０３は、予め道路画像３０１内を上下に分割しておいたうちの下側領域３０２において、白線特徴点抽出手段１０２で抽出した左右の白線特徴点列を最も良く近似する直線を左右の白線それぞれに対して検出する。左右の白線３０５、３０４それぞれに対して検出した直線が、左第１直線３０７、右第１直線３０６である。なお、道路画像３０１内を下側領域３０２とそれ以外の領域とに２分する位置は任意であるが、例えば、下側領域３０２の上側の境界線が車両前方の所定距離（例えば３０ｍ）の位置にくるように分割する。
【００５２】
水平線座標算出手段１０４は、実世界での道路面が平面をなすとした場合に、図１０で示されているように路面上にある平行な直線の道路画像３０１内での交点が水平線上にあるという性質を利用して、白線特徴点抽出手段１０２で検出された下側領域３０２の左第１直線３０７と右第１直線３０６の交点である第１消失点３１１を求め、この第１消失点３１１を通る水平な線を水平線３１０として検出し、この水平線３１０の座標を算出する。
【００５３】
上側領域第２消失点検出手段５０５は、図１０に示すように予め上側領域を上下に複数の領域７０３〜７０６に分割しておいた内の最も下に位置する上側第１領域７０３において、水平線座標算出手段１０４で検出された水平線３１０と、下側領域左右直線検出手段１０３で検出された左右第１直線３０７、３０６と、白線特徴点抽出手段１０２で抽出された上側第１領域７０３の白線特徴点列とから、上側第１領域７０３での左右の白線特徴点列を近似した直線（左第２直線７１３、右第２直線７１２）の交点（第２消失点７１４）を検出し、この第２消失点７１４から左右第２直線７１３、７１２を検出する。具体的には、前記した道路面上の平行直線の性質から、図１０で示されているように、上側第１領域７０３での左白線３０５及び右白線３０４を近似した左第２直線７１３及び右第２直線７１２の交点（第２消失点７１４）も水平線３１０上にあるとして、また上側第１領域７０３の下端部での左右第２直線７１３、７１２の切片が下側領域３０２の左右第１直線３０７、３０６上にあるとして、その第２消失点７１４を検出し、この検出した第２消失点７１４と下側領域３０２の左第１直線３０７の上端部の切片とを結ぶ直線を左第２直線７１３とし、第２消失点７１４と下側領域３０２の右第１直線３０６の上端部の切片とを結ぶ直線を右第２直線７１２とする。
【００５４】
なお、予め上側領域を上下に複数の領域に分割する位置は、少なくとも水平線３１０に隣接する領域を除き、他の領域の上下幅が実空間で同じ道路長になるように分割する。つまり、図１０の場合、上側第１領域７０３、上側第２領域７０４、上側第３領域７０５の上下幅を実空間で同じ道路長（例えば３０ｍ）になるように分割し、残りを水平線３１０に隣接する上側第４領域７０６に割り当てる。
【００５５】
上側領域消失点列推定手段５０６は、道路画像３０１の上側第２領域７０４から上側第４領域７０６の各領域について、その領域より下側の複数の領域における左右白線近似直線の交点間の水平線３１０上での変位量に基づいて、その領域での左右白線近似直線の交点を推定し、その交点に基づき各領域での左右白線近似直線を求める。即ち、図１０の場合、下側領域左右直線検出手段１０３で検出された第１消失点３１１、上側領域第２消失点検出手段５０５で検出された第２消失点７１４から、上側第２領域７０４の左右第３直線７１６、７１５の第３消失点７１７、上側第３領域７０５の左右第４直線７１９、７１８の第４消失点７２０、上側第４領域７０６の左右第５直線の第５消失点７２１をその順に順次に推定し、第３消失点７１７と上側第１領域７０３の左右第２直線７１３、７１２の上端部の切片とを結ぶ直線を左第３直線７１６、右第３直線７１５とし、第４消失点７２０と上側第２領域７０４の左右第３直線７１６、７１５の上端部の切片とを結ぶ直線を左第４直線７１９、右第４直線７１８とし、第５消失点７２１と上側第３領域７０５の左右第４直線７１９、７１８の上端部の切片とを結ぶ直線を左右第５直線とする。
【００５６】
白線推定手段５０７は、下側領域３０２、上側領域の各領域７０３〜７０６でそれぞれ検出された左右白線近似直線から左右の白線の位置、形状を推定し、その値を出力する。
【００５７】
次に、図９乃至図１１を参照して本実施の形態の全体の動作について説明する。
【００５８】
まず、道路画像入力装置１０１において道路画像３０１を入力する（図１１のステップＤ１）。次に、道路画像３０１から白線特徴点抽出手段１０２により左右白線についての白線特徴点列を抽出する（ステップＤ２）。さらに、予め道路画像３０１を上下に分割しておいたうちの下側領域３０２において、下側領域左右直線検出手段１０３によって前記白線特徴点列を基にこれを近似する直線３０７、３０６（第１直線）を左右それぞれに検出する（ステップＤ３）。次に、水平線座標算出手段１０４において、左右第１直線３０７、３０６の交点（第１消失点３１１）を通る水平な線を水平線３１０として算出する（ステップＤ４）。
【００５９】
次に、上側領域第２消失点検出手段５０５により、予め上側領域を上下に複数の領域７０３〜７０６に分割しておいた内の最も下に位置する上側第１領域７０３において、左右白線特徴点列を近似する左右直線７１３、７１２（第２直線）の上側第１領域７０３下端での切片が左右第１直線３０７、３０６上にあり、かつ左右の交点（第２消失点７１４）が水平線３１０上にあるとして、第２消失点７１４の位置を水平線３１０上で検出し、それを基に左右第２直線７１３、７１２を検出する（ステップＤ５）。
【００６０】
次に、変数ｎを２に初期化し（ステップＤ６）、上側領域消失点列推定手段５０６により、先ず、上側第ｎ（＝２）領域７０４において、第ｎ（＝２）消失点７１４、第ｎ−１（＝１）消失点３１１を基に、第ｎ＋１（＝３）消失点７１７を、水平線３１０上に存在するとして推定し、これを基に左右第３直線７１６、７１５を検出する（ステップＤ７）。
【００６１】
次に、上側第ｎ（＝２）領域７０４が水平線３１０に隣接するか否かを判別し（ステップＤ８）、隣接していなければ、ｎを＋１して（ステップＤ９）、ステップＤ７に戻って、上述の処理を繰り返す。図１０の場合、上側第２領域７０４は水平線３１０に隣接していないので、ステップＤ７に戻り、上側第ｎ（＝３）領域７０５において、第ｎ（＝３）消失点７１７、第ｎ−１（＝２）消失点７１４を基に、第ｎ＋１（＝４）消失点７２０を、水平線３１０上に存在するとして推定し、これを基に左右第４直線７１９、７１８を検出する。図１０の場合、以下同様にして、第５消失点７２１及びそれから求まる左右第５直線まで求められる。そして、第５消失点７２１をステップＤ７で求めると、上側第４領域７０６が水平線３１０に隣接しているので、ステップＤ８の判断結果がＹＥＳとなり、上側領域消失点列推定手段５０６は処理を終える。
【００６２】
最後に、白線推定手段５０７により、左右第１直線３０７、３０６、左右第２直線７１３、７１２、…、左右第５直線から左右白線３０５、３０４の位置、形状を推定し、その値を出力する（ステップＤ１０）。
【００６３】
次に、本実施の形態の効果について説明する。
【００６４】
本実施の形態では、上側領域における左右白線が複数の直線からなる折れ線で近似するように構成されているため、カーブ路における近似精度を保つことができる。
【００６５】
また、本実施の形態では、さらに、下側領域と、上側領域のうち最も下に位置する上側第１領域における白線特徴点列しか利用せず、更に上側の領域についてはこの２つの領域における検出結果から推定するように構成されているため、道路画像において解像度不足や他車両像のためにより上側にいくほど増えていくノイズの影響を抑えることができる。
【００６６】
次に、具体的な実施例を用いて本実施の形態の動作を説明する。
【００６７】
図１２に示すように、まず、道路画像入力装置１０１において道路画像を入力する（ステップＥ１）。次に、この道路画像から白線特徴点抽出手段１０２により、前述した実施例と同様に白線フィルタを生成し、その極大点として左右白線についての白線特徴点列を抽出する（ステップＥ２）。さらに、予め道路画像を上下に分割しておいたうちの下側領域において、下側領域左右直線検出手段１０３によって、前記白線特徴点列を前記白線フィルタ値を重みとして最小自乗近似する直線（第１直線）を、白線の直線近似として左右それぞれに検出する（ステップＥ３）。次に、水平線座標算出手段１０４において、左右第１直線の交点（第１消失点）を通るとして水平線を算出する（ステップＥ４）。
【００６８】
次に、上側領域第２消失点検出手段５０５により、予め上側領域を上下に複数の領域に分割しておいた内の最も下に位置する上側第１領域において、左右第１直線の下側領域における上端点を上側第１領域下端での切片とし、かつ白線特徴点列を前記白線フィルタ値を重みとして左右合わせて最小自乗近似する左右の直線（第２直線）の交点（第２消失点）を、前記水平線上で検出する（ステップＥ５）。
【００６９】
次に、変数ｎを２に初期化する（ステップＥ６）。次に、上側領域消失点列推定手段５０６により、上側第ｎ領域における第ｎ＋１消失点の前記水平線上での位置をＶ［ｎ＋１］として、Ｖ［ｎ］、Ｖ［ｎ−１］を基に、Ｖ［ｎ＋１］を以下の式で推定する。
Ｖ［ｎ＋１］＝Ｖ［ｎ］＋（Ｖ［ｎ］−Ｖ［ｎ−１］）
【００７０】
次に、上側第ｎ領域が水平線に隣接していなければ（ステップＥ８）、ｎを１インクリメントしてステップＥ７に戻る（ステップＥ９）。隣接していれば最後に、白線推定手段５０７により第１直線、第２直線、…、から左右白線の位置、曲がり方向を推定し、その値を出力する（ステップＥ１０）。曲率半径をも推定し、その値を出力しても良い。
【００７１】
以上の第２の実施の形態では、道路画像中の最下領域及びそれに隣接する領域以外の領域については、その領域より下側の複数の領域における左右白線近似直線の交点間の水平線上での変位量に基づいて、その領域での左右白線近似直線の交点を推定した。他の実施の形態として、道路画像中の最下領域及びそれに隣接する領域以外の領域についても、最下領域に隣接する領域と同様に、その領域の左右白線を近似する左右直線の下端での切片が直ぐ下の領域における左右直線上にあり、かつその左右直線の交点が同一水平線上にあるとして、前述した数３の式と同様な式によりその交点を水平線上で検出し、この交点と前記切片とを結ぶ直線を左右直線として検出するようにしても良い。
【００７２】
【発明の効果】
以上説明したように本発明によれば以下のような効果が得られる。
【００７３】
第１の効果は、道路画像中の上側領域での白線を頑健かつ効率良く検出できることである。その理由は、上側領域での直線近似が左右近似直線の消失点の、既に検出済の水平線上の位置計算という、１つのみのパラメータを求める問題に帰着されているためである。
【００７４】
第２の効果は、道路画像中の上側領域において左右どちらかの白線が欠けていてもその推定ができることである。その理由は、上側領域での直線近似が左右近似直線の消失点の、既に検出済の水平線上の位置計算という、左右白線で共通のパラメータのみを求める問題に帰着されているためである。
【００７５】
第３の効果は、道路画像を多数の領域に上下分割した場合であっても上側領域での白線を頑健かつ効率良く検出できることである。その理由は、道路画像中の最下領域とその隣接領域以外の領域については、比較的ノイズの少ない道路画像の下の方の画像データを使って検出済の水平線上の複数の交点間の変位量に基づいて、順次にその領域での左右白線近似直線の交点を推定しており、ノイズの影響を強く受ける上方の画像データを利用していないからである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】第１の実施の形態の動作を示す流れ図である。
【図３】第１の実施の形態の動作を説明する道路画像図である。
【図４】白線特徴点抽出手段の実施例を示すブロック図である。
【図５】白線特徴点抽出手段の実施例の動作を示す流れ図である。
【図６】道路画像入力装置の座標系を示す図である。
【図７】本発明の第１の実施の形態の動作の具体例を示す流れ図である。
【図８】下側領域左右直線検出手段、水平線座標算出手段および上側領域直線消失点検出手段の動作説明図である。
【図９】本発明の第２の実施の形態の構成を示すプロック図である。
【図１０】第２の実施の形態の動作を説明する道路画像図である。
【図１１】第２の実施の形態の動作を示す流れ図である。
【図１２】本発明の第２の実施の形態の動作の具体例を示す流れ図である。
【符号の説明】
１００，５００…コンピュータ
１０１…道路画像入力装置
１０２…白線特徴点抽出手段
１０３…下側領域左右直線検出手段
１０４…水平線座標算出手段
１０５…上側領域直線消失点検出手段
１０６…白線推定手段
３０１…道路画像
３０２…下側領域
３０３…上側領域
３０４…右白線
３０５…左白線
３０６…右第１直線
３０７…左第１直線
３０８…右第２直線
３０９…左第２直線
３１０…水平線
３１１…第１消失点
３１２…第２消失点
５０５…上側領域第２消失点検出手段
５０６…上側領域消失点列推定手段
５０７…白線推定手段
７０３…上側第１領域
７０４…上側第２領域
７０５…上側第３領域
７０６…上側第４領域
７１２…右第２直線
７１３…左第２直線
７１４…第２消失点
７１５…右第３直線
７１６…左第３直線
７１７…第３消失点
７１８…右第４直線
７１９…左第４直線
７２０…第４消失点
７２１…第５消失点

Claims

道路画像を処理して道路画像中の白線を検出する道路白線検出システムにおいて、
道路画像を上下に少なくとも２つの領域に分割した最下領域にて左右白線を近似する左右第１直線を検出する第１の手段と、
前記左右第１直線の交点である第１消失点から水平線を算出する第２の手段と、
道路画像中の前記最下領域以外の領域にて左右白線を近似する左右直線の交点が前記水平線上に存在することを利用して当該交点を検出することにより、前記最下領域以外の領域での左右白線近似直線を検出する第３の手段と、
を備え、
前記第３の手段は、道路画像中の前記最下領域以外の領域の内、少なくとも前記最下領域に隣接する領域については、その領域の左右白線を近似する左右第２直線の下端での切片が前記左右第１直線により定められ、かつ前記左右第２直線の交点である第２消失点が前記水平線上にあるとして、前記第２消失点を前記水平線上で検出する手段を含み、且つ、道路画像中の前記最下領域及びそれに隣接する領域以外の領域については、その領域より下側の複数の領域における左右白線近似直線の交点間の前記水平線上での変位量に基づいて、その領域での左右白線近似直線の交点を推定する手段を含む
ことを特徴とする道路白線検出システム。
道路画像から左右の白線像上にある点列を、白線特徴点らしさを示す白線フィルタ値と共に、白線特徴点列として抽出する手段を備え、
前記第１の手段は、前記白線特徴点列を前記白線フィルタ値を重みとして最小自乗近似する直線を、白線の直線近似として左右それぞれに検出する手段を含み、
前記第３の手段は、前記左右第１直線の下側領域における上端点により前記最下領域に隣接する領域の下端での切片を定め、かつ前記最下領域に隣接する領域の白線特徴点列を前記白線フィルタ値を重みとして左右合わせて最小自乗近似する左右第２直線の交点を、前記水平線上で検出する手段を含む
ことを特徴とする請求項１記載の道路白線検出システム。
道路画像を処理して道路画像中の白線を検出する道路白線検出方法に
おいて、
（ａ）道路画像を上下に少なくとも２つの領域に分割した最下領域にて左右白線を近似する左右第１直線を検出するステップと、
（ｂ）前記左右第１直線の交点である第１消失点から水平線を算出するステップと、
（ｃ）道路画像中の前記最下領域以外の領域にて左右白線を近似する左右直線の交点が前記水平線上に存在することを利用して当該交点を検出することにより、前記最下領域以外の領域での左右白線近似直線を検出するステップと、
を含み、
前記ステップｃは、道路画像中の前記最下領域以外の領域の内、少なくとも前記最下領域に隣接する領域については、その領域の左右白線を近似する左右第２直線の下端での切片が前記左右第１直線により定められ、かつ前記左右第２直線の交点である第２消失点が前記水平線上にあるとして、前記第２消失点を前記水平線上で検出する処理を含み、かつ、道路画像中の前記最下領域及びそれに隣接する領域以外の領域については、その領域より下側の複数の領域における左右白線近似直線の交点間の前記水平線上での変位量に基づいて、その領域での左右白線近似直線の交点を推定する処理を含む
ことを特徴とする道路白線検出方法。
道路画像から左右の白線像上にある点列を、白線特徴点らしさを示す
白線フィルタ値と共に、白線特徴点列として抽出するステップを更に含み、
前記ステップ（ａ）は、前記白線特徴点列を前記白線フィルタ値を重みとして最小自乗近似する直線を、白線の直線近似として左右それぞれに検出する処理を含み、
前記ステップ（ｃ）は、前記左右第１直線の下側領域における上端点により前記最下領域に隣接する領域の下端での切片を定め、かつ前記最下領域に隣接する領域の白線特徴点列を前記白線フィルタ値を重みとして左右合わせて最小自乗近似する左右第２直線の交点を、前記水平線上で検出する処理を含む
ことを特徴とする請求項３記載の道路白線検出方法。
道路画像を処理して道路画像中の白線を検出する道路白線検出用プログラムを記録した機械読み取り可能な記録媒体であって、コンピュータに、
（ａ）道路画像を上下に少なくとも２つの領域に分割した最下領域にて左右白線を近似する左右第１直線を検出するステップと、
（ｂ）前記左右第１直線の交点である第１消失点から水平線を算出するステップと、
（ｃ）道路画像中の前記最下領域以外の領域にて左右白線を近似する左右直線の交点が前記水平線上に存在することを利用して当該交点を検出することにより、前記最下領域以外の領域での左右白線近似直線を検出するステップであって、道路画像中の前記最下領域以外の領域の内、少なくとも前記最下領域に隣接する領域については、その領域の左右白線を近似する左右第２直線の下端での切片が前記左右第１直線により定められ、かつ前記左右第２直線の交点である第２消失点が前記水平線上にあるとして、前記第２消失点を前記水平線上で検出する処理を含み、かつ、道路画像中の前記最下領域及びそれに隣接する領
域以外の領域については、その領域より下側の複数の領域における左右白線近似直線の交点間の前記水平線上での変位量に基づいて、その領域での左右白線近似直線の交点を推定する処理を含むステップと、
を実行させる道路白線検出用プログラムを記録した記録媒体。
道路画像から左右の白線像上にある点列を、白線特徴点らしさを示す白線フィルタ値と共に、白線特徴点列として抽出するステップを前記コンピュータに更に実行させるプログラムを含み、且つ、
前記ステップａは、前記白線特徴点列を前記白線フィルタ値を重みとして最小自乗近似する直線を、白線の直線近似として左右それぞれに検出する処理を含み、
前記ステップｃは、前記左右第１直線の下側領域における上端点により前記最下領域に隣接する領域の下端での切片を定め、かつ前記最下領域に隣接する領域の白線特徴点列を前記白線フィルタ値を重みとして左右合わせて最小自乗近似する左右第２直線の交点を、前記水平線上で検出する処理を含む
ことを特徴とする請求項５記載の道路白線検出用プログラムを記録した記録媒体。