JPH11219435A

JPH11219435A - 自動車用白線検出装置

Info

Publication number: JPH11219435A
Application number: JP10021660A
Authority: JP
Inventors: Naoaki Sumita; 直亮住田
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1998-02-03
Filing date: 1998-02-03
Publication date: 1999-08-10

Abstract

(57)【要約】【課題】エッジ点の抽出データに対して、処理時間が短
く、且つ装置コストの上昇を伴わない効率の良いノイズ
除去を行う自動車用白線検出装置を提供する。【解決手段】カメラ１から出力される撮像画像の明度レ
ベルデータを１水平ライン毎に走査して正のエッジ点と
負のエッジ点とを抽出するエッジ点抽出手段６を有し、
該正負のエッジ点から走行車線上の白線を検出する画像
処理手段において、該画像処理手段は、エッジ点抽出手
段により抽出された各正のエッジ点と垂直座標が同一で
且つ水平座標の差が所定の第１範囲内である負のエッジ
点をペアとし、各負のエッジ点に対して垂直座標が同一
で且つ水平座標の差が所定の第２範囲内である正のエッ
ジ点をペアとして、ペアとされなかったエッジ点を除去
するエッジ点除去手段を備え、エッジ点の除去を行った
後、残ったエッジ点から走行車線上の白線を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術の分野】本発明は、画像処理により
走行車線上の白線を検出する自動車用白線検出装置に関
し、特に入力画像のノイズ除去処理に関する。

【０００２】

【従来の技術】従来より、車両に搭載したカメラを用い
て車両前方の画像データを取得し、取得した画像データ
から路面上の走行車線に沿って引かれている白線を検出
し、検出した白線を目標として車両の走行を制御するシ
ステムが提案されている。

【０００３】このようなシステムにおいては、得られた
画像から、目標となる白線を正確に検出することが必要
である。そして、白線を検出する方法としては、得られ
た画像から、明度が暗から明、或いは暗から明に急激に
変化する画素をエッジ点として抽出し、抽出したエッジ
点からハフ変換により直線を抽出して白線を検出するよ
うにしたものが知られている（特開平７−３０２３４６
号等）。

【０００４】しかし、カメラから入力された画像データ
には、白線以外の種々の物のデータ、例えば前走車や道
路補修跡等のデータが含まれるため、上述したハフ変換
により抽出された直線は必ずしも白線のエッジ直線のみ
であるとは限られず、複数の直線が抽出される場合があ
る。この場合は、抽出した直線群の中から白線を認識す
る処理を行う必要があり、このような白線認識処理とし
ては、抽出した直線のうち、該直線上に乗るエッジ点が
多いものを白線として検出する処理等が適用される。

【０００５】ところが、白線以外の物の配置状況によっ
ては、このような白線認識処理を行っても白線が正確に
検出されない場合があり、これを防止するためには、上
述したハフ変換を行う前に、エッジ点の抽出画像データ
（２値画像）に対する前処理として、ノイズ除去のため
の一般的手法である、画像データの膨張、収縮や、画像
データに所定のテンプレートマスクをかけることで、白
線エッジ以外のエッジ点をノイズとして予め除去するこ
とが有効である。

【０００６】しかし、膨張、収縮処理は、本来孤立点
（ごま塩状ノイズ）の除去を目的とし、画像データ全体
に対して実施するものである。そのため、白線検出の精
度に大きく関わる線状のノイズを除去したい場合は、膨
張、収縮処理を繰り返し実行しなければならず、長い処
理時間を要するという不都合があった。

【０００７】また、ノイズデータの形状は特定されない
ため、種々の形状のノイズを除去するためには多くのテ
ンプレートを用意する必要があり、テンプレートマッチ
ングに要する時間が増加すると共に、テンプレートデー
タを保持するメモリ容量が増加して装置コストが上昇す
るという不都合があった。

【０００８】

【発明が解決しようとする課題】本発明は、上記不都合
を解消し、エッジ点の抽出データに対して、処理時間が
短く、且つ装置コストの上昇を伴わない効率の良いノイ
ズ除去を行う自動車用白線検出装置を提供することを目
的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、本発明の第１の実施の態様は、車両に搭載されて該
車両前方を撮像するカメラと、該カメラから出力される
撮像画像の各画素の明度レベルデータを水平方向及び垂
直方向の２次元座標にマッピングし、該２次元の明度レ
ベルデータを１水平ライン毎に走査して、明度レベルが
所定の第１基準レベル以上上昇する正のエッジ点と、明
度レベルが所定の第２基準レベル以上下降する負のエッ
ジ点とを抽出するエッジ点抽出手段を有し、該エッジ点
抽出手段により抽出された正及び負のエッジ点のから前
記車両の走行車線上の白線を検出する画像処理手段とを
備えた自動車用白線検出装置において、前記画像処理手
段は、前記エッジ点抽出手段により抽出された各正のエ
ッジ点に対して、該正のエッジ点と垂直座標が同一で且
つ水平座標の差が所定の第１範囲内である負のエッジ点
をペアとし、また、各負のエッジ点に対して、該負のエ
ッジ点と垂直座標が同一で且つ水平座標の差が所定の第
２範囲内である正のエッジ点をペアとして、ペアとされ
なかった正及び負のエッジ点を除去するエッジ点除去手
段とを備え、該エッジ点除去手段による正及び負エッジ
点の除去を行った後、残ったエッジ点から走行車線上の
白線を検出することを特徴とする。

【００１０】かかる本発明によれば、白線検出の前処理
として、前記エッジ点除去手段によりペアとされたなか
ったエッジ点が、該エッジ点除去手段により除去され
る。即ち、水平座標の差が前記第１、第２所定範囲であ
る相手が存在しない正及び負のエッジ点が除去される。
そのため、該第１所定範囲と第２所定範囲を画像データ
上の白線の幅の近傍に設定することで、白線検出の前処
理として、幅が白線よりも極端に狭い物や極端に広い物
から抽出された正及び負のエッジ点をノイズとして除去
することができる。

【００１１】そして、前記エッジ点除去手段による処理
は、前記エッジ点抽出手段により抽出されたエッジ点に
対してのみ実行されるので、従来のノイズ処理として行
われている膨張、収縮処理のように、全画像データに対
して行うノイズ除去処理に比べて、処理時間を短くする
ことができる。さらに、本発明を実施するために新たに
必要となるはハード部品はないため、装置コストが上昇
することもない。

【００１２】また、本発明の第２の実施の態様は、車両
に搭載されて該車両前方を撮像するカメラと、該カメラ
から出力される撮像画像の各画素の明度レベルデータを
水平方向及び垂直方向の２次元座標にマッピングし、該
２次元の明度レベルデータを１水平ライン毎に走査し
て、明度レベルが所定の第１基準レベル以上上昇する正
のエッジ点と、明度レベルが所定の第２基準レベル以上
下降する負のエッジ点とを抽出するエッジ点抽出手段を
有し、該エッジ点抽出手段により抽出された正及び負の
エッジ点から前記車両の走行車線上の白線を検出する画
像処理手段とを備えた自動車用白線検出装置において、
前記エッジ点抽出手段により抽出された正及び負のエッ
ジ点の中から、隣接して連続するエッジ点の集合である
エッジ点列を抽出するエッジ点列抽出手段と該エッジ点
列抽出手段により抽出されたエッジ点列のうち、その長
さが所定の基準長よりも短いエッジ点列を構成するエッ
ジ点を除去するエッジ点列除去手段とを備え、該エッジ
点列除去手段によるエッジ点の除去を行った後、残った
エッジ点から走行車線上の白線を検出することを特徴と
する。

【００１３】かかる本発明によれば、前記基準長を白線
のエッジ点列の長さの想定値付近に設定することで、白
線検出の前処理として、白線検出の精度に大きく関わる
該基準長よりも短い線状ノイズを除去することができ
る。そして、前記エッジ点列除去手段によるノイズ除去
処理は、前記第１の実施の態様における前記エッジ点抽
出手段によるノイズ除去処理と同様、前記エッジ点抽出
手段により抽出されたエッジ点に対してのみ実行される
ので、全画像データに対して行うノイズ処理に比べて、
処理時間を短くすることができる。

【００１４】

【発明の実施の形態】本発明の実施の形態の一例を図１
〜図８を参照して説明する。図１は本発明の自動車用白
線検出装置の全体構成図、図２，図３は図１に示した自
動車用白線検出装置におけるノイズ除去処理のフローチ
ャート、図４はノイズ除去の説明図、図５はエッジ点列
の抽出表、図６はハフ変換の概略説明図、図７は白線検
出の説明図、図８はノイズ除去の効果の説明図である。

【００１５】図１を参照して、本発明の自動車用白線検
出装置は車両に搭載されたカメラ１と画像処理手段２と
によって構成され、主として高速道路を走行中に、カメ
ラ１によって得られた車両前方の撮影画像の中から走行
車線の区分を示す、自車両の左右の白線を検出するもの
であり、検出された白線の位置情報に基づいて、自車両
が左右の白線のセンター付近を走行するよう、ステアリ
ング制御手段３により走行方向が補正される。

【００１６】画像処理手段２は、カメラ１からアナログ
値で出力される画像データの各画素の明度レベルをデジ
タル値に変換するＡ／Ｄ変換器４と、Ａ／Ｄ変換器４に
より変換された各画素の明度のデジタルデータを、２０
に示すように水平方向（ｘ軸）及び水平方向（ｙ軸）の
２次元座標（ｘ−ｙ座標）にマッピングして記憶保持す
る画像メモリ５と（以下、このようにして画像メモリ５
に保持された２次元のデジタルデータを原画像データと
いう）、該原画像データ２０から、その明度が暗から明
に急激に変化する正のエッジ点と、明から暗に急激に変
化する負のエッジ点とを抽出するエッジ点抽出手段６
と、抽出された正及び負のエッジ点のデータ（前記ｘ−
ｙ座標で示すと２１のようになる）に対して、ノイズ除
去等の前処理を行う前処理手段７、該前処理実行後の正
及び負のエッジ点のデータから、２２に示すように自車
両の左側の白線ＷL と右側の白線ＷR とを検出する白線
検出手段８とによって構成される。

【００１７】エッジ点抽出手段６は、原画像データ２０
の各点の明度データを水平（ｘ軸）方向に１ライン毎
（原画像データ２０では０〜４８０までの４８１本の各
水平ライン毎）に、左から右に走査し、その明度データ
が所定の第１基準レベル以上上昇する点を正のエッジ点
として抽出し、また、その明度データが所定の第２基準
レベル以上下降する点を負のエッジ点として抽出する。
これにより、以下に示すように正のエッジ点の集合Ｐと
負のエッジ点の集合Ｍとが得られる。

【００１８】Ｐ＝｛P1（xp₁，yp₁）、P2（xp₂，yp₂）、・・・・・、Pm（xp_m，yp_m）｝Ｍ＝｛M1（xm₁，ym₁）、M2（xm₂、ym₂）、・・・・・、Mn（xm_n、ym_n）｝前処理手段７は、エッジ点除去手段１０とエッジ点列除
去手段１１とを備え、エッジ点抽出手段６によって得ら
れた集合Ｐに属する正のエッジ点のデータ及び集合Ｍに
属する負のエッジ点のデータに対する前処理として、白
線以外の物の画像から抽出されたと想定される正及び負
のエッジ点をノイズとして除去する処理を行う。

【００１９】以下、図２，図３のフローチャートを参照
して、エッジ点除去手段１０及びエッジ点列除去手段１
１によるノイズ除去処理について説明する。図２はエッ
ジ点列除去手段１１によるノイズ除去処理のフローチャ
ート、図３はエッジ点除去手段１０によるノイズ除去処
理のフローチャートである。

【００２０】図２を参照して、エッジ点列除去手段１１
は、ＳＴＥＰ１で、前記正のエッジ点の集合Ｐ及び負の
エッジ点の集合Ｍの中から、隣接（ｘ座標、ｙ座標の少
なくとも一方の差が１）する正及び負のエッジ点を追跡
するトラッキングを行ってエッジ点列を抽出する。尚、
トラッキングにおいては正負のエッジ点を区別しない。

【００２１】例えば正及び負のエッジ点がｘ−ｙ座標上
で、図４ａに示すように表されるときに（図中白点は正
のエッジ点を示し、黒点は負のエッジ点を示す）、図の
左上からエッジ点のトラッキングを行うと、４０（始点
SO−終点E0），４１（始点S1−終点E1），４２（始点S2
−終点E2），４３（始点S3−終点E3），４４（始点S4−
終点E4）という５個のエッジ点列が抽出される。尚、４
０，４３，及び４４が白線に対応するエッジ点列であ
る。

【００２２】そして、ＳＴＥＰ２でトラッキングにより
抽出された各エッジ点列の長さを算出する。ここで、エ
ッジ点列の長さはエッジ点列を構成するエッジ点の数で
ある。

【００２３】そして、ＳＴＥＰ３で算出した各エッジ点
列の長さを、所定の基準長（例えば１０）と比較し、該
基準長以下の長さであるエッジ点列を構成するエッジ点
を削除する。図５は図４ａに示したエッジ点列に対して
ＳＴＥＰ１からＳＴＥＰ３の処理を行った結果をまとめ
たもので、エッジ点列の長さが基準長（１０）以下であ
るエッジ点列ＮＯ．１（図４ａの４１に対応）と、エッ
ジ点列Ｎｏ．２（図４ａの４２に対応）とが削除され、
該２個のエッジ点列を構成する正及び負のエッジ点が、
前記正のエッジ点の集合Ｐと負のエッジ点の集合Ｍとか
ら削除される。

【００２４】これにより、後述する白線検出の精度に影
響を与える、図４ａに示した４１，４２のような線状の
エッジ点列をノイズとして除去し、図４ｂに示すように
白線に応じたエッジ点を残すことができる。

【００２５】次に、エッジ点除去手段１０は、ＳＴＥＰ
１からＳＴＥＰ３の処理により線状ノイズが除去された
前記正のエッジ点の集合Ｐ及び負のエッジ点の集合Ｍに
対して、正負のエッジ点のペアリングを行い、ペアとな
らなかった正及び負のエッジ点を除去する。

【００２６】図３を参照して、エッジ点除去手段１０は
ＳＴＥＰ４で、正のエッジ点の集合Ｐの中から１個の正
のエッジ点を選択し、ＳＴＥＰ５で負のエッジ点の集合
Ｍの中に該正のエッジ点とｘ座標の差が所定の第１範囲
内（例えば３以上１０以下）である負のエッジ点がある
か否かをサーチする。

【００２７】そして、ＳＴＥＰ６でペアとなる負のエッ
ジ点が発見されなかったときは、ＳＴＥＰ２１に分岐し
て選択した正のエッジ点を削除する。これにより、図４
ｃに示すように白線のエッジ点列４５や４７と隣接して
いるため、上述したエッジ点列除去手段１１によるノイ
ズ除去処理では削除されない正のエッジ点列４６や負の
エッジ点列４７を、図４ｄに示すように削除することが
できる。

【００２８】エッジ点除去手段１０は、正のエッジ点の
集合Ｐを構成する各正のエッジ点を順に選択し、選択し
た正のエッジ点のそれぞれに対して、以上説明したＳＴ
ＥＰ４からＳＴＥＰ７までの処理を実行する。そして、
全ての正のエッジ点に対する処理が終了したときには、
ＳＴＥＰ４からＳＴＥＰ２０に進む。

【００２９】同様に、負のエッジ点に対しても図３のフ
ローチャートで正と負を入れ替えた処理を実行する。

【００３０】そして、以上説明したエッジ点列除去手段
１１とエッジ点除去手段１０によるノイズ除去処理は、
図１のエッジ抽出画像データ２１の全てのデータ（５１
３×４８１個）に対してではなく、前記集合Ｐに属する
正のエッジ点と集合Ｍに属する負のエッジ点に対しての
み実行すればよいので、短い処理時間で効率の良いノイ
ズ除去を行うことができる。また、これらのノイズ除去
処理を実行するために、新たに必要となるハード部品は
ないため、装置コストが上昇することはない。

【００３１】次に、画像処理手段２は、上述した前処理
（ノイズ除去）を行った集合Ｐに属する正のエッジ点
と、集合Ｍに属する負のエッジ点とから白線を抽出す
る。

【００３２】画像処理手段２に備えられた白線検出手段
８は、先ず集合Ｐを構成する正のエッジ点のそれぞれに
対してハフ変換を実行し、白線の候補となる直線群を抽
出する。図６ａを参照して、ハフ変換はｘ−ｙ座標にお
ける直線Ｌ₁を、原点（０，０）から直線Ｌ₁に下ろし
た垂線の長さρと、ｘ軸からの角度θで表すものであ
り、図６ｂに示すように、ｘ−ｙ座標における直線Ｌ₁
は、ρ−θ座標では点となる。

【００３３】そして、ｘ−ｙ座標で、Ｐ₁を通る直線は
Ｌ₁以外にも、Ｌ₂，Ｌ₃，・・・と無数にあり、これら
の直線をハフ変換してρ−θ座標にプロットすると、図
６ｂに示すような曲線（ハフ曲線）が得られる。この場
合、図６ａの正のエッジ点Ｐ ₁とＰ₂とは共に直線Ｌ₁
上にあるので、図６ｂではそれぞれのハフ曲線がＬ₁で
交差する。このようにして集合Ｐを構成する各正のエッ
ジ点のハフ曲線を描き、ハフ曲線どうしが交差する点を
抽出する。

【００３４】そして、抽出した交差点（ｘ−ｙ座標での
直線に相当）を白線の正エッジの候補直線とすると共
に、抽出した交差点を通過するハフ曲線の本数（ｘ−ｙ
座標での同一直線上にある正のエッジ点の個数に相当）
を求める。

【００３５】また、同様にして、白線検出手段８は、集
合Ｍを構成する各負のエッジ点のそれぞれに対してハフ
変換を実行してハフ曲線を描き、ハフ曲線どうしが交差
する点を抽出し、抽出した交差点を白線の負エッジの候
補直線とすると共に、抽出した交差点を通過するハフ曲
線の本数を求める。

【００３６】図７のは、このようにして求めた各交差
点を通過するハフ曲線の本数ｎを示したρ−θ−ｎグラ
フである。のグラフに描かれたｎ軸に平行な各垂直線
のρ−θ座標がｘ−ｙ座標における白線の正エッジ及び
負エッジの候補直線を特定し、該垂直線の長さが該候補
直線上にある正及び負のエッジ点の個数を示している。

【００３７】そして、白線検出手段８は、の正エッジ
のグラフと負エッジのグラフのそれぞれから、グラフ
に示すように、その長さが最長のものから２本ずつ垂直
線を選択し、グラフに示すように、選択したピーク直
線から２組の正負のピーク直線をペア（ピークペア）と
する。そして、このようにして得られた２組のピークペ
アを構成するピーク直線上にある正及び負のエッジ点の
ｘ−ｙ座標から、に示すようにｘ−ｙ平面における自
車両の左側の白線Ｗ_Lと自車両の右側の白線Ｗ _Rの位置
を検出する。

【００３８】このようにして白線の検出を行う場合、前
述した前処理（ノイズ除去）により、ノイズと想定され
た正及び負のエッジ点の除去がなされているので、前処
理を行わない場合に比べて図８ので示したρ−θーｎ
座標に描かれる垂直線の本数が少なくなり、白線の正エ
ッジ及び負エッジの候補となる直線の本数が限定される
ため、白線検出の処理に要する時間を短縮することがで
きる。

【００３９】また、図８に示すように、白線エッジの候
補直線（ρ_i，θ_k）上にあるエッジ点の個数が、ノイ
ズによる影響で、抽出されるべき白線エッジのピーク直
線（ρ_i，θ_j）上にあるエッジ点の個数を上回り、該
候補直線（ρ_i，θ_k）が誤ってピーク直線として抽出
されることを防止することができる。

【００４０】そして、図１を参照して、以上のようにし
て白線検出手段８により検出されたｘ−ｙ平面における
白線Ｗ_L、Ｗ_Rの位置から、ステアリング制御手段３は
自車両の走行方向を補正する。

【００４１】尚、上述したように、エッジ点列除去手段
１１によるノイズ除去と、エッジ点除去手段１０とによ
るノイズ除去の双方を行うことで、本発明の効果が最大
となるが、いずれか一方のみを行っても本発明の効果を
得ることができる。

【図面の簡単な説明】

【図１】本発明の自動車用白線検出装置の全体構成図。

【図２】自動車用白線検出装置におけるノイズ除去の処
理フローチャート。

【図３】自動車用白線検出装置におけるノイズ除去の処
理フローチャート。

【図４】ノイズ除去の説明図。

【図５】エッジ点列の抽出表。

【図６】ハフ変換の概略説明図。

【図７】白線検出の説明図。

【図８】ノイズ除去効果の説明図。

【符号の説明】

１…カメラ、２…画像処理手段、３…ステアリング制御
手段、４…Ａ／Ｄ変換器、５…画像メモリ、６…エッジ
点抽出手段、７…前処理手段、８…白線検出手段、１０
…エッジ点除去手段、１１…エッジ点列除去手段、２０
…原画像データ、２１…エッジ点データ、２２…白線検
出データ

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩ // Ｇ０５Ｄ 1/02 Ｇ０８Ｇ 1/16 ＣＧ０８Ｇ 1/16 Ｇ０６Ｆ 15/62 ３８０

Claims

【特許請求の範囲】

【請求項１】車両に搭載されて該車両前方を撮像するカ
メラと、該カメラから出力される撮像画像の各画素の明
度レベルデータを水平方向及び垂直方向の２次元座標に
マッピングし、該２次元の明度レベルデータを１水平ラ
イン毎に走査して、明度レベルが所定の第１基準レベル
以上上昇する正のエッジ点と、明度レベルが所定の第２
基準レベル以上下降する負のエッジ点とを抽出するエッ
ジ点抽出手段を有し、該エッジ点抽出手段により抽出さ
れた正及び負のエッジ点から前記車両の走行車線上の白
線を検出する画像処理手段とを備えた自動車用白線検出
装置において、前記画像処理手段は、前記エッジ点抽出手段により抽出
された各正のエッジ点に対して、該正のエッジ点と垂直
座標が同一で且つ水平座標の差が所定の第１範囲内であ
る負のエッジ点をペアとし、また、各負のエッジ点に対
して、該負のエッジ点と垂直座標が同一で且つ水平座標
の差が所定の第２範囲内である正のエッジ点をペアとし
て、ペアとされなかった正及び負のエッジ点を除去する
エッジ点除去手段を備え、該エッジ点除去手段による正及び負のエッジ点の除去を
行った後、残ったエッジ点から走行車線上の白線を検出
することを特徴とする自動車用白線検出装置。
【請求項２】車両に搭載されて該車両前方を撮像するカ
メラと、該カメラから出力される撮像画像の各画素の明
度レベルデータを水平方向及び垂直方向の２次元座標に
マッピングし、該２次元の明度レベルデータを１水平ラ
イン毎に走査して、明度レベルが所定の第１基準レベル
以上上昇する正のエッジ点と、明度レベルが所定の第２
基準レベル以上下降する負のエッジ点とを抽出するエッ
ジ点抽出手段を有し、該エッジ点抽出手段により抽出さ
れた正及び負のエッジ点から前記車両の走行車線上の白
線を検出する画像処理手段とを備えた自動車用白線検出
装置において、前記エッジ点抽出手段により抽出された正及び負のエッ
ジ点の中から、隣接して連続するエッジ点の集合である
エッジ点列を抽出するエッジ点列抽出手段と該エッジ点
列抽出手段により抽出されたエッジ点列のうち、その長
さが所定の基準長よりも短いエッジ点列を構成するエッ
ジ点を除去するエッジ点列除去手段とを備え、該エッジ点列除去手段によるエッジ点の除去を行った
後、残ったエッジ点から走行車線上の白線を検出するこ
とを特徴とする自動車用白線検出装置。