JPH0778234A

JPH0778234A - 走行路検出装置

Info

Publication number: JPH0778234A
Application number: JP5160681A
Authority: JP
Inventors: Noriko Kaburayama; 典子蕪山; Kazunori Noso; 千典農宗
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-06-30
Filing date: 1993-06-30
Publication date: 1995-03-20

Abstract

(57)【要約】【目的】処理の高速化を図り，かつ，道路のカーブの
度合や勾配の計測を行なう。また，走行路を高精度に求
め，かつ，障害物等によって白線が隠されている場合で
も走行路を検出する。【構成】エッジ点抽出処理部１０１でエッジ点を抽出
後，ウインドウ設定部１０２で入力画像を複数の水平ブ
ロックに分割して，白線の候補毎に１つのウインドウを
設定し，直線検出部１０３でウインドウ内の複数のエッ
ジ点を直線候補点とし，直線候補点が一番多く乗る直線
を検出する。条件設定部１０５で前回認識結果保持部１
０４から前回の認識結果を入力し，白線の条件を逐次更
新する。また，白線認識部１０６で白線の認識を行い，
結果検証部１０７で認識結果が正しいか否か判断する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，自動車や，無人搬送車
等における走行道路領域を画像処理によって認識する走
行路検出装置に関する。

【０００２】

【従来の技術】従来の走行路検出装置として，例えば，
特開昭６３−１４２４７８号公報に開示されている装置
がある。この装置は，車両前方に設置されたカメラから
画像を入力し，白線候補点を抽出した後，Ｈｏｕｇｈ変
換によって直線を検出し，その直線を走行路の端を示す
白線として認識するものである。上記白線候補点の前処
理としては，縦方向のエッジを持つ点を白線以外の点と
して除去することによって精度の向上を図っている。

【０００３】また，特開平２−９０３７９号公報では，
同様に車両前方に設置されたカメラから画像を入力し，
下側領域，上側領域を含む少なくとも２つの領域に画像
データを分割し，それぞれの領域において，エッジ抽出
後，Ｈｏｕｇｈ変換によって検出した不特定多数の直線
群の中から，既知である道路幅情報を用いて走行路を決
定する装置が開示されている。

【０００４】

【発明が解決しようとする課題】しかしながら，特開昭
６３−１４２４７８号公報によれば，黒から白，その後
白から黒に変化する点を白線候補点とし，かつ，候補点
全体に渡ってＨｏｕｇｈ変換を行なうことによって直線
検出を行なっているため，Ｈｏｕｇｈ変換に時間がかか
り全体の処理時間が長くなる，また，白線が部分的にな
い道路端の検出ができない，道路のカーブの度合や勾配
の計測が不可能であるという問題点があった。特に急カ
ーブでは直線近似した場合に誤差が大きくなっていた。

【０００５】また，特開平２−９０３７９号公報によれ
ば，Ｈｏｕｇｈ変換によって検出した不特定多数の直線
群の中から，道路幅情報を用いて走行路を決定するた
め，他車や，障害物等によって道路端が隠されて，Ｈｏ
ｕｇｈ変換で道路端の直線が検出できない場合に走行路
の認識ができないという問題点や，用いる情報が道路幅
情報のみであるため，消失点や走行路の誤差が大きいと
いう問題点があった。

【０００６】本発明は上記に鑑みてなされたものであっ
て，処理の高速化を図ることができ，かつ，白線が部分
的にない道路端の検出および道路のカーブの度合や勾配
の計測を行なえるようにすることを目的とする。

【０００７】また，本発明は上記に鑑みてなされたもの
であって，走行路を高精度に求めることができ，かつ，
障害物等によって白線が隠されている場合でも走行路を
検出できることを目的する。

【０００８】

【課題を解決するための手段】本発明は上記の目的を達
成するために，ＴＶカメラ等の画像入力手段を用いて車
両前方の画像データを入力し，該画像データから道路境
界の白線を抽出して走行路の検出を行なう走行路検出装
置において，画像入力手段から画像データを入力し，輝
度の急激に変化する点をエッジ点として抽出するエッジ
点抽出手段と，画像入力手段の１画面分の画像データを
複数の水平ブロックに分割し，各ブロック内に存在する
白線の候補毎に１つのウインドウを設定するウインドウ
設定手段と，ウインドウ設定手段で設定したウインドウ
毎に，ウインドウ内の複数のエッジ点を直線候補点と
し，直線候補点が一番多く乗る直線を検出する直線検出
手段と，前回の認識結果に基づいて，白線の条件を逐次
更新する条件設定手段と，２つの端点を結んだ線を直線
と定義したときに，各端点と直線検出手段で検出した直
線との差および各端点と条件設定手段で設定した全ての
白線条件との差を用いて，重み付け２乗和を最小にする
ような端点の座標を白線の端点として認識する白線認識
手段と，白線認識手段で認識した白線の端点の座標と直
線検出手段で検出した直線との誤差，および条件設定手
段で設定した白線条件との誤差に基づいて，白線認識手
段の認識結果が正しいか否か判断する結果検証手段とを
備えた走行路検出装置を提供するものである。

【０００９】なお，前記条件設定手段は，第１に，同一
ブロック内の複数の直線は一つの消失点で交わること，
第２に，複数のブロックの複数の消失点の水平方向（ｘ
方向）の座標差が前回の結果に近似し，複数のブロック
の複数の消失点の垂直方向（ｙ方向）の座標値は全て近
似すること，第３に，各ブロックの境界において上側ブ
ロックの直線の境界線上にある端点は下側ブロックの同
じ白線を近似する直線上にあることの３つを白線の条件
とするものである。

【００１０】

【作用】本発明の走行路検出装置は，複数の白線をそれ
ぞれ複数の直線で近似し，条件として，各直線は入力画
像データを複数のブロックに分割したときに各ブロック
内の複数の直線がそれぞれ消失点で交わる，複数の消失
点のｘ，ｙ座標の距離や前回の認識結果との関係，各線
の端点の位置や端点間の距離の前回の認識結果との関係
を設定し，前記条件との誤差および入力画像データから
検出された直線との誤差の重み付け２乗和を最小にする
ことにより，総合的に走行路を決定する。

【００１１】

【実施例】以下，本発明の走行路検出装置の一実施例に
ついて，図面を参照して詳細に説明する。

【００１２】図１は，本実施例のブロック構成図を示
し，ＴＶカメラ（図示せず）を介して車両前方の画像デ
ータを入力し，輝度の急激に変化する点をエッジ点とし
て抽出するエッジ点抽出処理部１０１と，ＴＶカメラの
１画面分の画像データを複数の水平ブロックに分割し，
各ブロック内に存在する白線の候補毎に１つのウインド
ウを設定するウインドウ設定部１０２と，ウインドウ設
定部１０２で設定したウインドウ毎に，ウインドウ内の
複数のエッジ点を直線候補点とし，直線候補点が一番多
く乗る直線を検出する直線検出部１０３と，１画面前の
認識結果（以降，前回の認識結果と記載する）を保持す
る前回認識結果保持部１０４と，前回認識結果保持部１
０４から前回の認識結果を入力し，白線の条件を逐次更
新する条件設定部１０５と，２つの端点を結んだ線を直
線と定義したときに，各端点と直線検出部１０３で検出
した直線との差および各端点と条件設定部１０５で設定
した全ての白線条件との差を用いて，重み付け２乗和を
最小にするような端点の座標を白線の端点として認識す
る白線認識部１０６と，白線認識部１０６で認識した白
線の端点の座標と直線検出部１０３で検出した直線との
誤差，および条件設定部１０５で設定した白線条件との
誤差に基づいて，白線認識部１０６の認識結果が正しい
か否か判断する結果検証部１０７とから構成される。

【００１３】以上の構成において，画像入力とエッジ
点抽出処理，条件設定処理，ウインドウ設定処理，
直線検出処理，白線認識処理，認識結果の検証処
理の順に動作を説明する。

【００１４】画像入力とエッジ点抽出処理画像データは，１画面が２５６×２４０画素のモノクロ
濃淡画像情報として，ＴＶカメラから連続的に入力され
る。ＴＶカメラを介して入力した１画面分の画像データ
は，横方向をｘ座標，縦方向をｙ座標として，画素毎に
Ｇ（ｘ，ｙ）のように画素を特定するアドレス（座標）
が割り付けられる。また，以降において，１画面分の画
像データを入力画像と記載する。

【００１５】エッジ点抽出処理部１０１は，入力画像の
各画素Ｇ（ｘ，ｙ）に対して，ＳＯＢＥＬオペレータに
より，ｘ方向およびｙ方向の１次微分を求め，それぞれ
Ｓｘ（ｘ，ｙ），Ｓｙ（ｘ，ｙ）とする。次に，しきい
値Ｃｓと，Ｓｘ（ｘ，ｙ），Ｓｙ（ｘ，ｙ）とを比較
し，Ｓｘ（ｘ，ｙ）＜Ｃｓ，Ｓｙ（ｘ，ｙ）＜Ｃｓの点
（画素）はエッジ点でないと判断する。換言すれば，Ｓ
ｘ（ｘ，ｙ）またはＳｙ（ｘ，ｙ）がＣｓ以上の場合
に，その画素をエッジ点と判断する。

【００１６】ここで，エッジとは，明るさの急激に変化
する点を意味する。また，しきい値Ｃｓは，入力画像の
明るさの度合によって決定される。例えば，入力画像全
体のコントラストが弱い場合には，Ｃｓも低くなり，入
力画像全体のコントラストが強い場合には，Ｃｓも高く
なる。また，ＳＯＢＥＬオペレータは，エッジを検出す
るための一般的な手法であるため，ここでは詳細な説明
を省略する。

【００１７】条件設定処理次に，条件設定部１０５における条件設定処理について
説明する。条件設定部１０５は，条件設定処理によって
白線についての様々な情報を『白線の条件』として白線
認識部１０６に与えるものである。

【００１８】図２は，本発明における白線の取扱いを示
すための説明図であり，本発明では，例えば，２車線の
高速道路を想定しているので，道路には３本の白線が存
在し，また１本の白線を４本の直線で近似するものとす
る。ただし，この近似の本数は，特に限定するものでは
ない。入力画像は，水平な複数のブロック（ブロック１
〜ブロック４）に分割され，分割数は１本の白線の近似
の直線数に一致する。また，左端の白線は，白線の右側
を用いて直線の近似を行い，真中の白線および右端の白
線は，白線の左側を用いて直線の近似を行なうものとす
る。

【００１９】図２において，□で示すｓ１〜ｓ１２は直
線を意味し，○で示すｔ１〜ｔ１６は端点を意味する。
なお，各直線は両端に端点を有する。

【００２０】ここで，現在の時刻をｋとしたとき，端点
ｔｉの座標を（ｘ_i（ｋ），ｙ_i（ｋ））で表すとす
る。３本の白線は３次元的に平行であるため，これを２
次元に射影した画像データでは，同一ブロック内の３本
の直線は消失点で１点に交わる。具体的には，ブロック
１の直線の消失点が端点ｔ４，ブロック２の直線の消失
点が端点ｔ８，ブロック３の直線の消失点が端点ｔ１
２，ブロック４の直線の消失点が端点ｔ１６である。

【００２１】従って，同一ブロック内の３本の直線は，
同じ端点（消失点）を持ち，かつ，もう一方の端点はブ
ロックの下端にある。換言すれば，同一ブロック内の３
本の直線の消失点でない方の端点のｙ座標値は等しいこ
とになる。

【００２２】また，各ブロックの消失点のｙ座標値も等
しく，さらに道路は滑らかに変化するため，各消失点の
ｘ方向の座標値の差は前回の結果の座標値の差と等しく
なる。

【００２３】また，各ブロックの境界部分で，上側ブロ
ックの直線と下側ブロックの直線がうまく接続するため
には，上側ブロックの直線の消失点で方の端点は，下側
ブロックの直線上になければならない。また，道路は滑
らかに変化するため，各端点のｘ，ｙ座標値は前回の結
果に近い値を持つ。

【００２４】以上のことから，各直線と端点の関係，お
よび白線を認識するための条件を以下に示すように設定
する。

【００２５】直線と端点の関係直線ｓ１の端点はｔ１とｔ４である。直線ｓ２
の端点はｔ２とｔ４である。直線ｓ３の端点は
ｔ３とｔ４である。直線ｓ４の端点はｔ５
とｔ８である。直線ｓ５の端点はｔ６とｔ８
である。直線ｓ６の端点はｔ７とｔ８であ
る。直線ｓ７の端点はｔ９とｔ12 である。直線
ｓ８の端点はｔ10 とｔ12 である。直線ｓ９の端
点はｔ11 とｔ12 である。直線ｓ10の端点はｔ
13 とｔ16 である。直線ｓ11の端点はｔ14 と
ｔ16 である。直線ｓ12の端点はｔ15 とｔ16 で
ある。但し，ｔ４はブロック１の消失点，ｔ８はブロッ
ク２の消失点，ｔ12はブロック３の消失点，ｔ16はブロ
ック４の消失点である。

【００２６】白線を認識するための条件条件１）ｔ１とｔ２のｙ座標は等しい。（ｙ₁（ｋ）−
ｙ₂（ｋ）＝０）条件２）ｔ２とｔ３のｙ座標は等しい。（ｙ₂（ｋ）−
ｙ₃（ｋ）＝０）条件３）ｔ１とｔ３のｙ座標は等しい。（ｙ₁（ｋ）−
ｙ₃（ｋ）＝０）条件４）ｔ５とｔ６のｙ座標は等しい。（ｙ₅（ｋ）−
ｙ₆（ｋ）＝０）条件５）ｔ６とｔ７のｙ座標は等しい。（ｙ₆（ｋ）−
ｙ₇（ｋ）＝０）条件６）ｔ５とｔ７のｙ座標は等しい。（ｙ₅（ｋ）−
ｙ₇（ｋ）＝０）条件７）ｔ９とｔ10のｙ座標は等しい。（ｙ₉（ｋ）−
ｙ₁₀（ｋ）＝０）条件８）ｔ10とｔ11のｙ座標は等しい。（ｙ₁₀（ｋ）−
ｙ₁₁（ｋ）＝０）条件９）ｔ９とｔ11のｙ座標は等しい。（ｙ₉（ｋ）−
ｙ₁₁（ｋ）＝０）条件10）ｔ13とｔ14のｙ座標は等しい。（ｙ₁₃（ｋ）−
ｙ₁₄（ｋ）＝０）条件11）ｔ14とｔ15のｙ座標は等しい。（ｙ₁₄（ｋ）−
ｙ₁₅（ｋ）＝０）条件12）ｔ13とｔ15のｙ座標は等しい。（ｙ₁₃（ｋ）−
ｙ₁₅（ｋ）＝０）条件13）ｔ４とｔ８のｙ座標は等しい。（ｙ₄（ｋ）−
ｙ₈（ｋ）＝０）条件14）ｔ４とｔ12のｙ座標は等しい。（ｙ₄（ｋ）−
ｙ₁₂（ｋ）＝０）条件15）ｔ４とｔ16のｙ座標は等しい。（ｙ₄（ｋ）−
ｙ₁₆（ｋ）＝０）条件16）ｔ８とｔ12のｙ座標は等しい。（ｙ₈（ｋ）−
ｙ₁₂（ｋ）＝０）条件17）ｔ８とｔ16のｙ座標は等しい。（ｙ₈（ｋ）−
ｙ₁₆（ｋ）＝０）条件18）ｔ12とｔ16のｙ座標は等しい。（ｙ₁₂（ｋ）−
ｙ₁₆（ｋ）＝０）

【００２７】条件19）ブロック１と消失点のｙ座標の距
離は，前回の結果と等しい。（ｙ₁（ｋ）−ｙ₄（ｋ）
＝α）条件20）ブロック１と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₂（ｋ）−ｙ₄（ｋ）＝α）条件21）ブロック１と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₃（ｋ）−ｙ₄（ｋ）＝α）条件22）ブロック２と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₅（ｋ）−ｙ₈（ｋ）＝β）条件23）ブロック２と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₆（ｋ）−ｙ₈（ｋ）＝β）条件24）ブロック２と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₇（ｋ）- ｙ₈（ｋ）＝β）条件25）ブロック３と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₉（ｋ）- ｙ₁₂（ｋ）＝γ）条件26）ブロック３と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₁₀（ｋ）- ｙ₁₂（ｋ）＝γ）条件27）ブロック３と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₁₁（ｋ）- ｙ₁₂（ｋ）＝γ）条件28）ブロック４と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₁₃（ｋ）- ｙ₁₆（ｋ）＝δ）条件29）ブロック４と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₁₄（ｋ）- ｙ₁₆（ｋ）＝δ）条件30）ブロック４と消失点のｙ座標の距離は，前回の
結果と等しい。（ｙ₁₅（ｋ）- ｙ₁₆（ｋ）＝δ）

【００２８】条件31）ｔ４とｔ８のｘ座標は，前回の結
果と等しい。（ｘ₄ （ｋ）−ｘ₈ （ｋ）＝ε）条件32）ｔ８とｔ12のｘ座標は，前回の結果と等しい。
（ｘ₈ （ｋ）−ｘ₁₂（ｋ）＝ψ）条件33）ｔ12とｔ16のｘ座標は．前回の結果と等しい。
（ｘ₁₂（ｋ）−ｘ₁₆（ｋ）＝χ）条件34）左側と右側の道路幅の比は前回の結果の比に等
しい。（（ｘ₂ （ｋ）−ｘ₁ （ｋ））＝η（ｘ₃ （ｋ）
−ｘ₂ （ｋ）））条件35）左側と右側の道路幅の比は前回の結果の比に等
しい。（（ｘ₆ （ｋ）−ｘ₅ （ｋ））＝η（ｘ₇（ｋ）
−ｘ₆（ｋ）））条件36）左側と右側の道路幅の比は前回の結果の比に等
しい。（（ｘ₁₀（ｋ）−ｘ₉ （ｋ））＝η（ｘ₁₁（ｋ）
−ｘ₁₀（ｋ）））条件37）左側と右側の道路幅の比は前回の結果の比に等
しい。（（ｘ₁₄（ｋ）−ｘ₁₃（ｋ））＝η（ｘ₁₅（ｋ）
−ｘ₁₄（ｋ）））

【００２９】条件38）ｔ５とｔ４，ｔ１とｔ４のｘ座標
の距離の比は，前回の結果の消失点とブロック１のｙ座
標の距離，消失点とブロック２のｙ座標の距離の比に等
しい。（（ｘ₄ （ｋ）−ｘ₅ （ｋ））＝ι（ｘ₄ （ｋ）
−ｘ₁ （ｋ）））条件39）ｔ６とｔ４，ｔ２とｔ４のｘ座標の距離の比
は，前回の結果の消失点とブロック１のｙ座標の距離，
消失点とブロック２のｙ座標の距離の比に等しい。（（ｘ₄ （ｋ）−ｘ₆（ｋ））＝ι（ｘ₄ （ｋ）−ｘ₂
（ｋ）））条件40）ｔ７とｔ４，ｔ３とｔ４のｘ座標の距離の比
は，前回の結果の消失点とブロック１のｙ座標の距離，
消失点とブロック２のｙ座標の距離の比に等しい。（（ｘ₄ （ｋ）−ｘ₇（ｋ））＝ι（ｘ₄ （ｋ）−ｘ₃
（ｋ）））

【００３０】条件41）ｔ９とｔ８，ｔ５とｔ８のｘ座標
の距離の比は，前回の結果の消失点とブロック２のｙ座
標の距離，消失点とブロック３のｙ座標の距離の比に等
しい。（（ｘ₈（ｋ）−ｘ₉（ｋ））＝φ（ｘ₈（ｋ）
−ｘ₅（ｋ）））条件42）ｔ10とｔ８，ｔ６とｔ８のｘ座標の距離の比
は，前回の結果の消失点とブロック２のｙ座標の距離，
消失点とブロック３のｙ座標の距離の比に等しい。（（ｘ₈（ｋ）−ｘ₁₀（ｋ））＝φ（ｘ₈（ｋ）−ｘ₆
（ｋ）））条件43）ｔ11とｔ８，ｔ７とｔ８のｘ座標の距離の比
は，前回の結果の消失点とブロック２のｙ座標の距離，
消失点とブロック３のｙ座標の距離の比に等しい。（（ｘ₈（ｋ）−ｘ₁₁（ｋ））＝φ（ｘ₈（ｋ）−ｘ₇
（ｋ）））

【００３１】条件44）ｔ13とｔ12，ｔ９とｔ12のｘ座標
の距離の比は，前回の結果の消失点とブロック３のｙ座
標の距離，消失点とブロック４のｙ座標の距離の比に等
しい。（（ｘ₁₂（ｋ）−ｘ₁₃（ｋ））＝κ（ｘ₁₂（ｋ）
−ｘ₉（ｋ）））条件45）ｔ14とｔ12，ｔ10とｔ12のｘ座標の距離の比
は，前回の結果の消失点とブロック３のｙ座標の距離，
消失点とブロック４のｙ座標の距離の比に等しい。（（ｘ₁₂（ｋ）−ｘ₁₄（ｋ））＝κ（ｘ₁₂（ｋ）−ｘ₁₀
（ｋ）））条件46）ｔ15とｔ12，ｔ11とｔ12のｘ座標の距離の比
は，前回の結果の消失点とブロック３のｙ座標の距離，
消失点とブロック４のｙ座標の距離の比に等しい。（（ｘ₁₂（ｋ）−ｘ₁₅（ｋ））＝κ（ｘ₁₂（ｋ）−ｘ₁₁
（ｋ）））

【００３２】条件47）全ての端点のｘ座標は，前回の結
果と等しい。（（ｘ_i（ｋ）−ｘ_i（ｋ−１）＝０）条件48）全ての端点のｙ座標は，前回の結果と等しい。
（（ｙ_i（ｋ）−ｙ_i（ｋ−１）＝０）

【００３３】ただし，上記の条件１）〜条件４８）にお
いて，前回の認識結果から得られる値である（α，β，
γ，δ，ε，ψ，χ，η，ι，φ，κ）は，以下の数１
に示すように定義する。

【００３４】

【数１】

【００３５】ウインドウ設定処理次に，ウインドウ設定部１０２によるウインドウ設定処
理について説明する。ここでは，入力画像から複数本の
直線を検出するために，エッジ点抽出処理後の画像デー
タにウインドウを設定する。なお，１つのウインドウか
らは１本の直線が検出される。

【００３６】ウインドウは，図３および図４に示すよう
に，２つの基準点Ｗ１，Ｗ２とウインドウ幅ｗで作成さ
れる平行四辺形であり，基準点は短辺の中点とする。ウ
インドウの短辺は，ｘ軸またはｙ軸に平行であり，これ
は２つの基準点の位置関係で決定される。ここで，短辺
がｘ軸に平行な場合は縦方向のエッジ点から直線を検出
する場合（図４参照）であり，短辺がｙ軸が平行な場合
は横方向のエッジ点から直線を検出する場合（図３参
照）である。

【００３７】ウインドウの基準点は，道路が滑らかに変
化するという前提条件に基づいて，前回の認識結果を元
に決定される。

【００３８】例えば，図５において，直線ｓ１を検出す
るためのウインドウは，直線ｓ１の２つの端点ｔ１，ｔ
４の前回の認識結果から決定される。直線ｓ１の２つの
端点ｔ１，ｔ４の前回の認識結果が，ｔ１（ｘ₁（ｋ−１），ｙ₁（ｋ−１）），ｔ４（ｘ₄（ｋ−１），ｙ₄（ｋ−１））であったとき，直線ｓ１を検出するためのウインドウ設
定のパラメータは，基準点Ｗ１：直線ｓ１の端点であるｔ１，ｔ４の前回の
認識結果を結ぶ直線上の点で，ｙ座標がｙ₁（ｋ−１）
−Δｙ１の点基準点Ｗ２：直線ｓ１の端点であるｔ１，ｔ４の前回の
認識結果を結ぶ直線上の点で，ｙ座標がｙ₄（ｋ−１）
＋Δｙ２の点ウインドウ幅：ｗここで，Δｙ１，Δｙ２，ｗは，検出する白線の曲がり
具合等の状態により，それぞれの直線毎に決定する。

【００３９】ウインドウ内で検出された直線との条件
設定処理で設定した白線の条件から，後述する白線認識
部１０６において白線が認識されるが，その結果が結果
検証部１０７で誤りと判断された場合，その原因は入力
画像から直線を検出する際に，ノイズや障害物等の白線
以外の部分から直線を検出したことによる。そこで，認
識結果が誤りと判断された場合，直線を検出し直して，
再び白線認識部１０６で白線認識を行なう。このとき，
ウインドウの位置を最初と同じに設定すれば，同じ直線
しか検出できず，結果は変わらないため，できるだけ白
線が検出できるような位置，大きさに変更する。

【００４０】結果検証部１０７は，認識結果が正しいか
否かの判断結果を出力するが，誤りと判断した場合に
は，どの端点が誤りと判断されたかの情報も合わせて出
力する。正しく認識されなかった端点を持つ直線を，誤
って検出された直線としてウインドウを設定し直し，再
び，直線検出を行なう。このとき，誤って認識された端
点の正しい位置は，正しく認識された端点に所定の条件
を当てはめることによって予想することができる。そこ
で，再設定されるウインドウの２つの基準点は，前回の
認識結果の代わりに，この予想される端点の位置を用い
て，上記と同様の方法で決定する。このとき，ウインド
ウ内に白線が存在する確率が高いため，ウインドウ幅は
できるだけ狭くして，白線以外の情報やノイズが入らな
いようにする。

【００４１】直線検出処理直線検出部１０３は，先ず，ウインドウ内に存在するエ
ッジ点のうち，ｙ方向（縦方向）のエッジ点から検出す
る場合はｘ方向（横方向）に連続したエッジ点がないか
どうかを調べ，ｘ方向（横方向）のエッジ点から検出す
る場合はｙ方向（縦方向）に連続したエッジ点がないか
どうかを調べる。もし連続したエッジ点があれば，連続
したエッジ点の真中の点を候補点として残し，それ以外
の点を消去する。

【００４２】次に，ウインドウ内にある直線の候補点の
中から任意の２点を選び，２点を結ぶ線分上に他の候補
点が何点乗っているかをカウントする。全ての２点の組
み合わせの中で，カウント数の最も大きな値を与える２
点から決定される直線を，ウインドウ内でで検出された
直線ｉとして，傾きａ_iと切片ｂ_iとして直線式をｙ＝
ａ_iｘ＋ｂ_iとする。また，ウインドウの長さｎ_iによ
ってカウント数を正規化したものを確からしさｐ_iとし
て出力する。

【００４３】検出される直線は，直線の確からしさだけ
で決定されるため，ウインドウ内に白線と共に，障害物
やノイズ等が存在する場合，白線だけでなく，障害物や
ノイズから直線を検出（すなわち，誤検出）してしまう
ことがある。このようなとき，この誤って検出された直
線の影響を受けて，認識結果が誤った結果となる場合が
ある。そこで，このような誤検出を防ぐために，直線検
出部１０３は，検出された直線が白線であるか否かの確
認を行なう。

【００４４】白線の一部を障害物が隠している場合，検
出された直線上に乗る直線の候補点はウインドウの一部
に集中する。そこで，白線を隠しているものがあるかど
うかを調べるために，検出された直線上の候補点がウイ
ンドウのどの部分に存在するかを調べる。

【００４５】先ず，図６に示すように，ウインドウを長
辺方向に分割して複数の小領域（ここでは，６個の小領
域）に分け，それぞれの小領域において，直線の候補点
が検出された直線にどの位の確率で候補点が乗っている
かを調べる。ウインドウ全体から直線が検出されていれ
ば，同図に示すように，各小領域での確率は似たような
値（直線の確率に近い値）を持つはずである。

【００４６】一方，ウインドウ内に障害物があり，白線
の一部を隠しているような場合には，白線と障害物のど
ちらから直線を検出したとしても，図７に示すように，
小領域は確率の高い領域と低い領域に分かれる。そこで
各小領域毎に直線の確率を求め，この確率の分散から直
線が障害物に隠されているかどうかを判断する。

【００４７】ウインドウをｎ個の小領域に分割し，ウイ
ンドウから検出された直線の確からしさをｐ，各小領域
での直線の確率をｐ_nとしたときの分散値Ｖは，数２の
計算式で求められる。

【００４８】

【数２】

【００４９】このようにして求めた分散値Ｖが，しきい
値Ｖ_cより小さければ障害物がないとし，しきい値Ｖ_c
より大きければ障害物があるとする。障害物があると判
断した場合は，さらに小領域を確率の大きな領域と小さ
な領域とに分けてサブウインドウを作成し，それぞれの
サブウインドウから直線を検出し直す。例えば，図７の
小領域を確率の小さい領域（小領域１および２）をサブ
ウインドウ１とし，確率の大きな領域（小領域３〜６）
をサブウインドウ２として，図８に示すようにサブウイ
ンドウを作成し，それぞれのサブウインドウから直線を
検出し直す。ただし，分割された小領域の数が少ない場
合には分散値Ｖの誤差が大きくなるので，この処理はウ
インドウサイズが大きい場合にのみ行なうものとする。

【００５０】次に，それぞれのサブウインドウから検出
された合計２本の直線のどちらが白線であるかを決定す
るために，以下に示すように，＋／−エッジ両方から直
線を検出し，さらに直線の傾きから白線であるかどうか
の決定を行なう。

【００５１】図９に示すように，白線は，レーンの両側
に符号の異なるエッジ点を持つ。そのため，検出された
直線が白線ならば，同じウインドウ内で反対の符号のエ
ッジ点からも直線が検出でき，かつ，それらは平行であ
るために傾きがほぼ等しく，切片の差は白線の幅に近
い。本実施例では，左端の白線は，白線の右側を用いて
直線の近似を行い，真中の白線および右端の白線は，白
線の左側を用いて直線の近似を行なっているため，どの
白線から直線を検出しようとしているかで，＋／−どち
らのエッジ点から直線を検出するかが決まったが，それ
ぞれのサブウインドウで反対の符号のエッジ点からも直
線検出を行い，どちらかの直線が検出されない場合，ま
たは，両方のエッジ点から直線が検出されたが，それぞ
れの傾きが大きく異なる場合や，切片の差が非常に大き
い場合には，これらの直線は白線でないと判断する。

【００５２】上記の処理で白線の可能性があると判断さ
れた場合，続いて，直線の傾きを調べて白線である確率
を高める。検出された直線が白線ならば，その傾きの値
はある範囲内に存在する。車が道路上を走っている限
り，右端の白線の傾きが＋（右上がり）になることはな
く，同様に左端の白線の傾きが−（左上がり）になるこ
ともない。そこで，図１０に傾きの範囲で示すように，
一番右側の直線はｘ軸となす角θが１／２４π〜３／８
π，真中の直線はｘ軸となす角θが１／１２π〜１１／
１２π，一番左端の直線はｘ軸となす角θが５／８π〜
２３／２４πの範囲内になければ，その直線は白線でな
いと判断する。

【００５３】ただし，道路上部（曲線部分）から検出さ
れた直線の傾きについては，右にカーブしている場合
や，左にカーブしている場合が考えられるため，右と左
の白線は１／２４πから２３／２４π，真中の白線は１
／１２π〜１１／１２πとする。

【００５４】以上の処理で，検出された直線が白線でな
いと判断した場合，このウインドウからは直線が検出で
きなかったとする。

【００５５】図１１は，直線検出部１０３の直線検出の
フローチャートを示す。先ず，設定されたウインドウ内
の直線を検出し（Ｓ１１０１），ウインドウサイズが大
きいか否かを判断する（Ｓ１１０２）。ここで，ウイン
ドウがあらかじめ設定した所定サイズより大きければ，
ステップＳ１１０６へ進み，所定サイズより小さけれ
ば，ステップＳ１１０３へ進む。

【００５６】ステップＳ１１０３では，直線の傾きが範
囲内である否かを判定し，範囲内であれば白線検出成功
と判断し（Ｓ１１０４），範囲内でなければ白線検出失
敗と判断して（Ｓ１１０５），当該ウインドウの処理を
終了する。

【００５７】一方，ウインドウサイズが大きい場合に
は，ウインドウを小領域に分割し（Ｓ１１０６），各小
領域の直線の確率を求める（Ｓ１１０７）。続いて，確
率の分散を求め（Ｓ１１０８），分散値Ｖがしきい値Ｖ
_cより大きいか否かを判定し（Ｓ１１０９），分散値Ｖ
が大きければ障害物があると判断してステップＳ１１１
０へ進み，分散値Ｖが小さければ障害物がないと判断し
てステップＳ１１０３へ進む。

【００５８】分散値Ｖが大きい場合には，サブウインド
ウを作成し（Ｓ１１１０），サブウインドウでの±エッ
ジ点の直線検出を行なう（Ｓ１１１１）。

【００５９】続いて，±エッジ点の直線は平行であるか
否かを判定し（Ｓ１１１２），平行でなければ白線検出
失敗と判断して（Ｓ１１１４），当該ウインドウの処理
を終了する。一方，平行であれば，直線の傾きが範囲内
である否かを判定し（Ｓ１１１３），範囲内であれば白
線検出成功と判断し（Ｓ１１１５），範囲内でなければ
白線検出失敗と判断して（Ｓ１１１４），当該ウインド
ウの処理を終了する。

【００６０】白線認識処理次に，白線認識部１０６の白線認識処理について説明す
る。現時刻をｋとしたときの直線の両端の端点ｔ_iの座
標を，変数（ｘ_i（ｋ），ｙ_i（ｋ））とする。また，
入力画像から検出された直線ｓ１（ｙ＝ａ₁ｘ＋ｂ₁，
端点をｔ１，ｔ４とする）との誤差をｔ１，ｔ４での誤
差と定義し，それぞれをＥ_image1（１），Ｅ
_image2（１）とすると，それらは数３の式のように表さ
れる。

【００６１】

【数３】

【００６２】また，ｊ番目の条件との誤差をＥ
_model（２）としたとき，それぞれ以下の数４および数
５の式のように表される。

【００６３】

【数４】

【００６４】

【数５】

【００６５】以上の誤差を２乗し，直線との誤差の場合
は，その直線の確からしさω１を条件の場合はその条件
の重み付けω２を掛けたものをそれぞれ直線のエネル
ギ，条件のエネルギとすると，これら全ての総和が，数
６に示すように全体のエネルギＥ_toal ²である。

【００６６】

【数６】

【００６７】この全体のエネルギＥ_toal ²が最小になる
ように，ｘ₁（ｋ）〜ｘ₁₆（ｋ），ｙ₁（ｋ）〜ｙ
₁₆（ｋ）を決定する。具体的には，Ｅ_toal ²を各変数で
微分した値＝０とした，３２元連立一次方程式を解くこ
とで得ることができる。この１６個の端点の座標を白線
の認識結果とする。

【００６８】認識結果の検証処理結果検証部１０７は，白線の認識結果が正しいか否かを
検証する。白線の認識結果が正しいか否かは，全体のエ
ネルギＥ_toal ²および直線や条件個々のエネルギの値か
ら判断することができる。そこで，本実施例では，以下
の方法で認識結果が正しいか否かの判断を行なう。

【００６９】図１２は，結果検証部１０７の結果検証フ
ローチャートを示し，もし，入力画像から検出された直
線が全て白線から正しく検出したものであれば，これら
の直線は条件を満たしているために直線エネルギも条件
のエネルギも小さい。従って，これらの総和である全体
のエネルギも小さくなる。そこで全体のエネルギが十分
に小さいか否かを判定し（Ｓ１２０１），十分に小さけ
れば，結果は正しいと判断する（Ｓ１２０７）。

【００７０】一方，全体のエネルギが大きい場合には，
各端点毎に直線に関するエネルギ，およびその端点に関
する条件のエネルギを全てチェックし，全てのエネルギ
がしきい値ＴＨより小さければ，その端点は正しく認識
された点（ＯＫ点），どれか一つでも大きければ誤って
認識された点（ＮＧ候補点）として分類する（Ｓ１２０
２）。ここで分類されたＮＧ候補点の中には，入力画像
から白線を正しく正しく検出できなかったが，条件が働
いたため正しく認識された点（直線のエネルギが大きく
なる）や，その端点自身は正しく認識されているにもか
かわらず，条件をつくる他の端点が誤って認識されてい
るために条件のエネルギが大きくなり，本来ならばＯＫ
点であるにもかかわらずＮＧ候補点に分類さている点も
含まれている。

【００７１】そこで，ＮＧ候補点について上記のように
正しく認識されている点が存在するかどうかを調べ，Ｎ
Ｇ候補点からＯＫ点への変更を行なう（Ｓ１２０３）。
具体的には，ＮＧ候補点中の正しく認識されている点を
以下のように判定する。先ず，正しく認識された端点は
条件を満たす。そこでＮＧ候補点を条件のエネルギに基
づいて判定する。しかし，相対的な条件の場合，たとえ
エネルギが小さくとも間違って認識された端点どうしが
たまたま条件を満たしている可能性も考えられる。そこ
で，この場合の判定には，条件をつくる端点が判定の対
象であるＮＧ候補点以外の点は全てＯＫ点である条件だ
けを用いる。例えば，（ｘ₁−ｘ₂）＝ａ（ｘ₃−
ｘ₄）という条件があって，Ｐ₁（ｘ₁，ｙ₁）が判定
の対象であるＮＧ候補点ならば，他の３つの端点全てが
ＯＫ点の場合のみ，判定の対象点のＯＫ／ＮＧをエネル
ギの値から判断することができる。

【００７２】対象となるＮＧ候補点について，条件の中
からこの点に関する条件を全て拾い出して，この中で他
の端点が全てＯＫ点である条件について，ＮＧである条
件（エネルギ≧ＴＨ）の数と，ＯＫである条件（エネル
ギ＜ＴＨ）の数をｘ，ｙそれぞれについて調べる。ｘ，
ｙ両方でＯＫの条件の数のほうがＮＧである条件の数よ
り多ければ，このＮＧ候補点は正しく認識されていると
し，ＯＫ点に変更する。

【００７３】全てのＮＧ候補点について条件をチェック
し，ＯＫ点に変更されたものがあれば（Ｓ１２０４），
チェックできる条件が増える可能性があるため，再びス
テップＳ１２０３へ戻って，残ったＮＧ候補点について
条件をチェックし直す。これをＮＧ候補点がＯＫ点に変
更されるものがなくなるまで繰り返す。

【００７４】全ての端点がＯＫならば（Ｓ１２０５），
認識結果は正しいと判断し（Ｓ１２０７），処理を終了
する。また，一つでもＮＧ点（前述のＮＧ候補点で最終
的に残った点）があれば誤っていると判断し（Ｓ１２０
６），処理を終了する。

【００７５】結果検証部１０７が認識結果を誤りである
と判断した場合，図１に示すように，ウインドウ設定部
１０２へ戻って，ウインドウを設定し直して再び直線検
出部１０３，白線認識部１０６を介して白線認識を行な
う。このとき，誤りであると判断された認識結果と，ウ
インドウを設定し直した後の認識結果が同じであれば，
誤りであると判断された端点を持つ直線は，障害物等に
隠されている等の理由でどのようにウインドウを設定し
ても白線は検出できないと判断し，入力画像からこの白
線の情報は得ることができないとして白線認識を行な
う。

【００７６】前述したように本実施例では，直線検出の
方法として，ウインドウ内のエッジ点の中から任意の２
点を結ぶ線分上にいくつエッジ点が乗るかを調べる。こ
のとき，エッジ点の任意の２点の組み合わせを一番距離
が遠いほうからだんだん近くなる順序で，線分上になる
エッジ点の個数の最大値を調べ，２点の組み合わせの距
離が，これまでの組み合わせの最大値より短くなった時
点で処理を終了し，最大値を持つ２点を結んだ直線を検
出された直線とするため，従来のＨｏｕｇｈ変換で直線
を検出する方法と比べて，直線の検出時間を短くするこ
とができる。

【００７７】

【発明の効果】以上説明したように，本発明によれば，
画像入力手段から画像データを入力し，輝度の急激に変
化する点をエッジ点として抽出するエッジ点抽出手段
と，画像入力手段の１画面分の画像データを複数の水平
ブロックに分割し，各ブロック内に存在する白線の候補
毎に１つのウインドウを設定するウインドウ設定手段
と，ウインドウ設定手段で設定したウインドウ毎に，ウ
インドウ内の複数のエッジ点を直線候補点とし，直線候
補点が一番多く乗る直線を検出する直線検出手段と，前
回の認識結果に基づいて，白線の条件を逐次更新する条
件設定手段と，２つの端点を結んだ線を直線と定義した
ときに，各端点と直線検出手段で検出した直線との差お
よび各端点と条件設定手段で設定した全ての白線条件と
の差を用いて，重み付け２乗和を最小にするような端点
の座標を白線の端点として認識する白線認識手段と，白
線認識手段で認識した白線の端点の座標と直線検出手段
で検出した直線との誤差，および条件設定手段で設定し
た白線条件との誤差に基づいて，白線認識手段の認識結
果が正しいか否か判断する結果検証手段とを備えたた
め，処理の高速化を図ることができ，かつ，道路のカー
ブの度合や勾配の計測を行なうことができる。また，走
行路を高精度に求めることができ，かつ，障害物等によ
って白線が隠されている場合でも走行路を検出すること
ができる。

【図面の簡単な説明】

【図１】本実施例の走行路検出装置のブロック構成図で
ある。

【図２】本発明における白線の取扱いを示すための説明
図である。

【図３】ウインドウ設定を示す説明図である。

【図４】ウインドウ設定を示す説明図である。

【図５】ウインドウ設定を示す説明図である。

【図６】ウインドウ全体から直線が検出されている場合
の小領域の確率の状態を示す説明図である。

【図７】ウインドウの一部に障害物が存在する場合の小
領域の確率の状態を示す説明図である。

【図８】サブウインドウからの直線の検出を示す説明図
である。

【図９】白線の−（マイナス）エッジから検出される直
線および＋（プラス）エッジから検出される直線を示す
説明図である。

【図１０】白線の傾きの範囲を示す説明図である。

【図１１】直線検出部の直線検出のフローチャートであ
る。

【図１２】結果検証部の結果検証フローチャートであ
る。

【符号の説明】

１０１エッジ点抽出処理部１０２ウインドウ設定部１０３直線検出部１０４前回認識結果保持部１０５条件設定部１０６白線認識部１０７結果検証部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 Ｇ // Ｇ０８Ｇ 1/16 Ｄ 7531−3Ｈ

Claims

【特許請求の範囲】

【請求項１】ＴＶカメラ等の画像入力手段を用いて車
両前方の画像データを入力し，該画像データから道路境
界の白線を抽出して走行路の検出を行なう走行路検出装
置において，前記画像入力手段から画像データを入力
し，輝度の急激に変化する点をエッジ点として抽出する
エッジ点抽出手段と，前記画像入力手段の１画面分の画
像データを複数の水平ブロックに分割し，各ブロック内
に存在する白線の候補毎に１つのウインドウを設定する
ウインドウ設定手段と，前記ウインドウ設定手段で設定
したウインドウ毎に，ウインドウ内の複数のエッジ点を
直線候補点とし，直線候補点が一番多く乗る直線を検出
する直線検出手段と，前回の認識結果に基づいて，白線
の条件を逐次更新する条件設定手段と，２つの端点を結
んだ線を直線と定義したときに，各端点と前記直線検出
手段で検出した直線との差および各端点と前記条件設定
手段で設定した全ての白線条件との差を用いて，重み付
け２乗和を最小にするような端点の座標を白線の端点と
して認識する白線認識手段と，前記白線認識手段で認識
した白線の端点の座標と前記直線検出手段で検出した直
線との誤差，および前記条件設定手段で設定した白線条
件との誤差に基づいて，前記白線認識手段の認識結果が
正しいか否か判断する結果検証手段とを備えたことを特
徴とする走行路検出装置。
【請求項２】前記条件設定手段は，第１に，同一ブロ
ック内の複数の直線は一つの消失点で交わること，第２
に，複数のブロックの複数の消失点の水平方向（ｘ方
向）の座標差が前回の結果に近似し，複数のブロックの
複数の消失点の垂直方向（ｙ方向）の座標値は全て近似
すること，第３に，各ブロックの境界において上側ブロ
ックの直線の境界線上にある端点は下側ブロックの同じ
白線を近似する直線上にあることの３つを白線の条件と
することを特徴とする請求項１記載の走行路検出装置。