JPH05151341A

JPH05151341A - 車両用走行路検出装置

Info

Publication number: JPH05151341A
Application number: JP3314775A
Authority: JP
Inventors: Kazunori Noso; 千典農宗
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1991-11-28
Filing date: 1991-11-28
Publication date: 1993-06-18
Anticipated expiration: 2014-01-27
Also published as: JP2850608B2

Abstract

(57)【要約】【目的】振動に強く、処理速度が速く、途切れた線も
確実に検出でき、また走行路の曲率を検出できる車両用
走行路検出装置を提供する。【構成】前方を撮像する画像入力手段１０１と、エッ
ジ点を抽出する前処理手段１０２と、前回の直線式の近
傍にウィンドウを設定し、その各ウインドウ内における
複数のエッジ点の座標を計測して複数の直線式を求める
直線適合手段１０３と、該複数の直線式に基づき、各直
線式間の誤差の２乗和が最小となるように消失点のｘｙ
座標と該消失点を通る各直線の傾きとを推定する直線・
消失点決定手段１０４と、を備え、複数のレーンマーカ
は平行であり、レーン幅やレーンマーカ幅は時間的に大
きく変動しないことを利用し、車両は垂直方向には速い
動きをするが、水平方向には速い動きはないと仮定する
ことにより、求まった直線式を基に、上記仮定を考慮に
いれた時間的空間的平滑化を行なって直線と消失点を求
める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えば自動車や無人
搬送車などにおける自動走行用の道路領域を、画像処理
によって認識する走行路検出装置に関する。

【０００２】

【従来の技術】従来の道路領域の認識装置としては、例
えば、特開昭６３−１４２４７８号公報に記載のものが
ある。上記の装置においては、車両前方に設置されたカ
メラから画像を入力し、白線候補点を抽出した後、Ｈou
gh変換によって直線を検出し、その直線を走行路の端を
示す白線として認識するものである。また、この装置に
おいては、白線候補点の検出の前処理として、縦方向の
エッジを持つ点を白線以外の点として除去することによ
って精度を上げるように構成している。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の道路領域の認識装置においては、黒から白
そして黒に変化する点を白線候補点とし、かつ、候補点
全体にわたってＨough変換を行なうことによって直線検
出を行なう手法となっていた。そのため、（１）画面全体の白線候補点についてＨough変換を行な
う必要があるので処理時間が長くなる。（２）白線の無い道路端の検出ができない。（３）直線近似のみであり、カーブ度合の検出が出来な
い。そのため特に急カーブの個所では直線近似した場合
に誤差が大きくなる。という問題があった。

【０００４】上記の問題を解決するため、本出願人は、
前回の演算結果を基にウィンドウを設定し、ウィンドウ
内で決められた傾きを持つエッジを追跡し、直線近似と
時間フィルタリングによる直線式の修正を行なうように
構成した車両用走行路検出装置を既に出願している（特
願平２−１４１２６９号）。この車両用走行路検出装置
においては、処理時間が短く高応答性であり、かつ高信
頼性でレーンマーカと走行車線の認識を行なうことが出
来る。しかし、上記の車両用走行路検出装置において
は、走行路上の２本あるいは３本の直線（道路左端を示
す直線、車線境界線、センターライン等、）の検出を各
々独立に行なっているため、当該車両前方を走行中の他
車に一部が隠されるような線、或いはセンターラインや
車線境界線のように途切れた線については精度よく求め
ることが困難な場合があり、特に車体が上下に振動して
いるような場合には、精度良く求まらない畏れがある、
という問題があり、また、上記（３）のカーブ度合の検
出が出来ない、という問題も残されていた。

【０００５】本発明は上記のごとき問題を解決するため
になされたものであり、車体の振動に強く、処理速度が
速く、かつ途切れた線も確実に検出することの出来る車
両用走行路検出装置を提供することを目的とする。ま
た、本発明の他の目的は、上記の目的に加えて走行路の
曲線の度合を検出することにより、急カーブでも誤差の
少ない走行路検出を行なうことの出来る車両用走行路検
出装置を提供することである。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１に記載の発明にお
いては、車両前方の道路画像を撮像する画像入力手段
と、エッジ点を抽出する前処理手段と、前回の演算時に
おける直線式の近傍にウィンドウを設定し、その設定さ
れた各ウインドウ内における複数のエッジ点の座標を計
測し、直線近似によって複数の直線式を求める直線適合
手段と、上記の求められた複数の直線式に基づき、各直
線式間の誤差の２乗和が最小となるように消失点のｘｙ
座標と該消失点を通る各直線の傾きに対応する量とを推
定して今回の結果とする直線・消失点決定手段と、を備
えている。なお、上記画像入力手段は、例えば後記図２
のビデオカメラ１に相当し、また、上記前処理手段、直
線適合手段および直線・消失点決定手段の部分は、例え
ば後記図２の画像処理部２に相当し、例えばマイクロコ
ンピュータで構成される。また、請求項２に記載の発明
においては、上記請求項１に記載の構成要素に加えて、
上記前処理手段の結果と上記直線適合手段の検出結果と
に基づき、レーンマーカに対応するエッジ点を抽出する
エッジ点追跡手段と、上記の抽出されたエッジ点に曲線
式を当てはめ、曲線の曲率を検出する曲線適合手段と、
上記曲線適合手段の結果を平滑する平滑手段と、を備え
ている。なお、上記のエッジ点追跡手段、曲線適合手段
および平滑手段は、例えば後記第２図の画像処理部２内
に含まれる。

【０００７】

【作用】図１は、本発明の機能を示すブロック図であ
り、（ａ）は請求項１の発明に相当し、（ｂ）は請求項
２の発明に相当する。まず、図１（ａ）において、画像
入力手段１０１は、車両前方の道路画像を撮像するもの
であり、例えばビデオカメラである。また、前処理手段
１０２は、画像入力手段１０１からの信号を入力してエ
ッジ点を抽出するものである。なお、このエッジ点と
は、レーンマーカや道路端に相当すると予想される明暗
度の変化する点、具体的には、例えば「暗→明→暗」又
は「明→暗」のように変化する点である。なお、本発明
において、レーンマーカとは、道路上に引かれた白線な
どのように走行路の端やセンターラインなどを示す線状
の目印である。また、道路端とは道路の端部と他の領域
との境となる溝、段差、中央分離帯（芝生や植木等）な
どであって画像上で明暗の識別が出来るものを意味す
る。次に、直線適合手段１０３は、前回の演算時におけ
る直線式の近傍にウィンドウを設定し、その設定された
各ウインドウ内における複数のエッジ点の座標を計測
し、直線近似によって複数の直線式を求める。なお、直
線適合とは、複数のエッジ点に直線を当てはめて最も適
合する直線式を求めることである。次に、直線・消失点
決定手段１０４は、上記の求められた複数の直線式に基
づき、各直線式間の誤差の２乗和が最小となるように消
失点のｘｙ座標と該消失点を通る各直線の傾きに対応す
る量とを推定して今回の結果とする。上記直線・消失点
決定手段１０４の出力、すなわち検出された直線はレー
ンマーカや道路端に対応するものであるから、この直線
を車両前方の走行路を示すものとして後続の表示装置や
自動操舵装置等に与える。

【０００８】なお、本説明では２車線道路を想定し、３
本のレーンマーカを求めるものとして進めるが、求める
レーンマーカ本数は２本以上であれば何本でもかまわな
い。道路端が平行であると仮定すると、３本（２車線の
場合）のレーンマーカは画像上で１点に交わる。この消
失点（無限遠点、複数の直線が本来交わるべき点）の水
平方向の座標ｘは、車両と道路との相対角度に対応する
最も重要なパラメータである。しかし、前記の先行技術
のように３本のレーンマーカを独立に求めると、必ずし
も１点で交わるとは限らず、したがって、それぞれのレ
ーンマーカの検出結果も誤差を含んでいることになる。
本発明は、他車等によって隠されたレーンマーカやノイ
ズに対して、より正確なレーンマーカ位置推定を行なう
ため、３本のレーンマーカは平行であり、かつレーン幅
やレーンマーカ幅は時間的に大きく変動しないことを利
用し、また、車両は垂直方向には車両の上下運動で大き
く速い動きをするが、水平方向（車両の操舵に対応）に
は速い動きはないと仮定することにより、画像からまず
３本のレーンマーカの左右端をそれぞれ直線適合し、求
まった６本の直線式を基に、上記仮定を考慮にいれた時
間的空間的平滑化を行なうことによって直線と消失点を
求めるように構成したものである。それによって、本発
明においては、整合性がよく、かつ車体のピッチ角変動
や高さの変動に強い走行路検出を行なうことが出来る。

【０００９】次に、請求項２に記載の発明においては、
上記の請求項１に記載の構成によって求めた直線式と消
失点とを用いて、エッジ点を追跡し、追跡点の座標値に
曲線を当てはめた後、複数本の曲線式から道路の曲率を
求めるように構成したものである。上記のように請求項
２に記載の発明においては、先に直線検出し、その後に
直線上の点を出発点としてエッジ方向画像をエッジ方向
に沿って追跡するため、他車の存在や路面上の汚れに強
い曲線式（走行路）や曲率情報が得られる。

【００１０】

【実施例】図２は、本発明の一実施例のブロック図であ
る。図２において、１はビデオカメラであり、車両前部
に前向きに設置され、車両前方の道路画像を撮像して電
気信号に変換する。また、画像処理部２は、例えばマイ
クロコンピュータで構成され、ビデオカメラ１からの映
像信号を入力して画像処理を行ない、走行路を検出す
る。この画像処理部の検出結果は、図示しない車両制御
装置等の外部装置に送られ、自動走行制御等に用いられ
る。また、表示部３は画像処理部２の検出結果を表示す
るものであり、例えばＣＲＴ表示装置や液晶表示装置等
である。上記の画像処理部の処理内容は、前記図１の１
０２〜１０４に示したごときものであるが、図３は、上
記の内容をより詳細に説明したブロック図である。図３
の内容は、大別して“画像入力”、“前処理”、“画面
振動（ピッチ角変動）成分の計測”、“直線適合”、
“各直線式と消失点の決定”、“表示”の各部分に分け
られる。基本的には前記図１（ａ）と同様であるが、
“画面振動成分の計測”の部分が追加されている。この
部分は必須のものではないが、これを設けることによっ
てレーンマーカ検出の追従性を向上させることが出来
る。

【００１１】以下、図３に示す各処理について詳細に説
明する。なお、本実施例においては、２車線道路を想定
し、白線や黄線で引かれた３本のレーンマーカ（道路上
に引かれた線状の標識）を求める場合について説明する
が、求めるレーンマーカ本数は２本以上であれば何本で
もかまわない。また、画像は２５６×２４０のモノクロ
ーム濃淡画像で、連続的に入力される画像を処理するも
のとする。そして、現時刻をｋで表わす。また、６本の
直線を直線ｉまたは直線式ｉ（ｉ＝１〜６）と表わし、
直線１（ｉ＝１）と直線２（ｉ＝２）は最も左側のレー
ンマーカのそれぞれ左端と右端を、直線３と４は中央の
レーンマーカのそれぞれ左端と右端を、直線５と６は最
も右側のレーンマーカのそれぞれ左端と右端を表わすも
のとする。３本のレーンマーカの検出結果は、それぞれ
の左端と右端の２本の直線の平均値として求め、この場
合は添字ｊにて表わす。したがってｊ＝１〜３である。

【００１２】（１）画像入力と前処理前処理は、濃度勾配によってエッジの方向を求める。す
なわち、各時刻ｋにおける入力画像Ａ(ｘ，ｙ）に対
し、ＳＯＢＥＬオペレータを用いてｘ方向とｙ方向の１
次微分を求め、それぞれＳ_x(ｘ，ｙ）、Ｓ_y(ｘ，ｙ）と
する。エッジ方向画像Ｇ(ｘ，ｙ）は、Ｇ(ｘ,ｙ)＝sign｛Ｓ_x(ｘ,ｙ)}・tan~¹{Ｓ_x(ｘ,ｙ)／Ｓ_y(ｘ,ｙ)} で与えられる。ただし、｜Ｓ_x(ｘ,ｙ)｜＋｜Ｓ_y(ｘ,ｙ)｜＜Ｃ_s （Ｃ_s＝しきい値）の点はエッジ点ではないと判断する。上記のごとき前処
理はパイプライン式の画像処理装置において高速度で実
行することが出来るので、画像入力と同時に演算を行な
ってもよい。

【００１３】（２）画面振動成分の計測路面の勾配が変化しないとすると、画像上でのレーンマ
ーカ位置は、車両操舵に伴ってｘ軸方向に緩やかに動く
と考えられる。しかしながら、ピッチ角変動に起因する
画面振動により、レーンマーカ位置はｙ軸方向にも急峻
に移動する。そこで、レーンマーカ検出の追従性向上を
ねらいとして、レーンマーカ検出と独立して画面振動成
分の計測を行ない、後の消失点や各直線の推定の際に使
用する。時刻ｋ＝０において、エッジ方向画像Ｇ(ｘ，
ｙ）をｙ軸に沿って下から上へ走査し、最初に見つかっ
たエッジ点のｙ座標をＹ(ｘ，０）として初期値とす
る。また、エッジの連続数を表わすＲ(ｘ，０）を０に
クリアする。時刻ｋにおいては、Ｙ(ｘ，ｋ−１）を中
心とした幅Ｃ_yの範囲内でＧ(ｘ，ｙ）をやはり下から上
に走査し、エッジ点のｙ座標Ｙ(ｘ，ｋ）を得る。そし
て、Ｒ(ｘ，ｋ）＝Ｒ(ｘ，ｋ−１）とする。もしＣ_yの範囲内にエッジ点が存在しなけれ
ば、最下点から再び走査してＹ(ｘ，ｋ）を求め、Ｒ
(ｘ，ｋ）＝０とする。レーンマーカやガードレールの
上端など、車両の進行と平行な方向をもつエッジについ
ては、車両が走行中でも画面上の位置は見かけ上変化し
ないものと考えられるので、画面振動によるｙ軸方向の
移動のみが観測される。Ｒ(ｘ，ｋ）はこのようなエッ
ジ点、すなわち、時間的に位置変化の少ないエッジ点を
選択するためのものであり、エッジが何フレームか連続
して現われたかを示すものである。Ｙ(ｘ，ｋ）とＲ
(ｘ，ｋ）を画面全体にわたって求めた後、しきい値を
Ｃ_cとしてＲ(ｘ，ｋ）＞Ｃ_cなるｘにおいて、Ｙ(ｘ，ｋ）−Ｙ(ｘ，ｋ−１）を平均して画面振動速度ｖ(ｋ）とする。すなわち、ｖ(ｋ)＝Ｙ(ｘ,ｋ)−Ｙ(ｘ,ｋ-１） for｛ｘ｜Ｒ(ｘ,ｋ)＞Ｃ_c｝である。なお、ｙ軸の走査は密に行なう必要はなく、ｘ
_pライン毎に間引き走査が可能である。画面振動成分
は、消失点（無限遠点、複数の直線が一点で交わるべき
点）のｙ座標に現われるため、ｖ(ｋ）は消失点を求め
るための１つのパラメータとして用いる。

【００１４】（３）直線適合まず、図４に示すような追跡領域内で、エッジ点画像Ｇ
(ｘ，ｙ）から各直線の候補点を探索する。そして、候
補点の座標から直線適合を行ない、各直線式を求める。
なお、図４において、（ｘ_s(ｋ−１）,ｙ_s(ｋ−１））
は前回の演算（前フレーム）で求めた消失点の座標であ
る。また、左から２本目のレーンマーカは、例えばセン
ターラインのように途切れた線を示す。候補点の探索領
域は、図４に示すように前フレームのレーンマーカ検出
の結果に基づき３つの領域で行なう。すなわち、直線１
と直線２の候補点は同一の領域（ｊ＝１）内で探索す
る。直線３と４（領域ｊ＝２）、直線５と６（領域ｊ＝
３）も同様である。３つの探索領域を添字ｊで区別す
る。また、隣接する２つの領域のｘ軸の方向の境界は、
図４に示すように前フレームの２つのレーンマーカ検出
結果の中点を結ぶ直線ＸＭ１、ＸＭ２とする。また、各
領域のｙ軸の上限は、前フレームの消失点の座標をｙ
_s(ｋ−１）とすれば、ｙ_s(ｋ−１）＋ｖ(ｋ）＋ｙ_tj (ｊ＝１〜３）とする。各上限からｙ_pjライン毎にｎ_jラインを探索す
る。ｙ_tjとｙ_pjやｎ_jは各領域毎に設定する。車両が左
車線を走行しているとすると、最も右側のレーンマーカ
は傾きが水平に近く、レーンマーカの手前は画面からは
みでる。このようなレーンマーカでも確実に捉えられる
ように、対応する探索領域のｙ_pjは他の領域よりも上部
に設定し、走査は密に行なう。探索の走査は、画面中央
から外側に向かって行なう。これは、混在する他車のエ
ッジ点や道路外のノイズの影響を緩和するためである。
すなわち、左側の領域（ｊ＝１）は右から左へ行ない、
右側の領域（ｊ＝３）は左から右に行ない、中央の領域
（ｊ＝２）は、左車線を走行中は左から右へ、右車線を
走行中は右から左へ行なう。候補点としては、各ライン
の走査において最初に現われた、以下の条件を満たすエ
ッジ点とし、その座標値を記憶する。上記の条件は下記
の通りである。直線１と直線２は右上がりで、それぞれ（π／８）＜Ｇ(ｘ,ｙ)＜（３π／８）（直線
１）（−７π／８）＜Ｇ(ｘ,ｙ)＜（−５π／８）（直
線２）なる勾配を持つエッジ点であり、直線３と４は、それぞ
れ（π／６）＜Ｇ(ｘ,ｙ)＜（５π／６）（直線
３）（−５π／６）＜Ｇ(ｘ,ｙ)＜（−π／６）（直
線４）なる勾配を持つエッジ点であり、直線５と６は、それぞ
れ（５π／８）＜Ｇ(ｘ,ｙ)＜（７π／８）（直線
５）（−３π／８）＜Ｇ(ｘ,ｙ)＜（−π／８）（直
線６）なる勾配を持つエッジ点である。

【００１５】上記のようにして３つの探索領域から６組
の候補点を得た後、それぞれ直線適合を行なって６本の
直線式を求める。すなわち、候補点の中で任意の２点を
選び、２点を結ぶ線分上に他の候補点が何点乗っている
かをカウントする。そして全ての２点の組み合わせの中
で、カウント数の最も大きな値を与える２点を直線の端
点として決定する。また、定数ｎ_cによってカウント数
を正規化して、直線ｉの確からしさｐ_iとする（０≦ｐ_i
≦１）。上記のごとき直線適合の結果として、直線式ｘ＝ａ_i′(ｋ)・ｙ＋ｂ_i′(ｋ) （ｉ＝１〜６）を得る。以下、ａ_i′(ｋ）とｂ_i′(ｋ）については単に
ａ_i′、ｂ_i′と記す。

【００１６】（４）消失点と直線式の決定３本のレーンマーカは、路面上で平行であり、かつレー
ンマーカ幅も一定であると仮定し、無限遠点の画像上で
の座標、すなわち消失点で６本の直線が必ず交わるよう
に各直線と消失点とを推定する。上記のように仮定すれ
ば、各直線は消失点を通るため、求めるパラメータは、
消失点の座標ｘ_s(ｋ）とｙ_s(ｋ）、および直線式ｉのパ
ラメータとして傾きａ_i(ｋ）である。ここでは、ｄ
_i(ｋ）＝ａ_i(ｋ)・ｙ_cとおいてｄ_i(ｋ）を推定する。こ
れは変数の単位を画素に統一するためである。消失点と
各直線は、次の条件を最もよく満たすよう推定する。な
お、直線適合の結果の式はｘ＝ａ_i′・ｙ＋ｂ_i′で表わ
されている。

【００１７】条件は下記の（ａ）〜（ｆ）である。（ａ）ｙ＝ｙ_s(ｋ）における直線適合結果のｘ座標の
値ａ_i′・ｙ_s(ｋ）＋ｂ_i′はｘ_s(ｋ）と一致する。（ｂ）ｙ＝ｙ_s(ｋ）＋ｙ_cにおける直線適合結果のｘ
座標ａ_i′｛ｙ_s(ｋ）＋ｙ_c｝＋ｂ_i′はｘ_s(ｋ）＋ｄ
_i(ｋ）と一致する（図５参照）。（ｃ）ｘ_s(ｋ）の時間変化量ｘ_s(ｋ）−ｘ_s(ｋ−１）
は小さい（すなわち車両の操舵は滑らかと仮定）。（ｄ）直線の傾きの時間変化量ｄ_i(ｋ）−ｄ_i(ｋ−
１）は小さい（すなわち道路の形状変化や車両の操舵は
滑らかと仮定）。（ｅ）ｙ_s(ｋ）の単位時間変化量ｙ_s(ｋ）−ｙ_s(ｋ−
１）は画面振動速度ｖ(ｋ）と一致する。（ｆ）隣合う直線の傾きの差ｄ_i+1(ｋ）−ｄ_i(ｋ）は
時間的に一定である（すなわちレーン幅やレーンマーカ
幅は一定と仮定）。

【００１８】次に、上記のそれぞれの条件に対する誤差
を以下のように定義する。（ａ）の誤差Ｅ_ai＝ｘ_s(ｋ)−ａ_i′・ｙ_s(ｋ)−ｂ_i′ （ｂ）の誤差Ｅ_bi＝ｘ_s(ｋ)＋ｄ_i(ｋ)−ａ_i′{ｙ
_s(ｋ)＋ｙ_c}−ｂ_i′ （ｃ）の誤差Ｅ_x＝ｘ_s(ｋ)−ｘ_s(ｋ−１）（ｄ）の誤差Ｅ_ci＝ｄ_i(ｋ)−ｄ_i(ｋ−１）（ｅ）の誤差Ｅ_y＝ｙ_s(ｋ)−ｙ_s(ｋ−１)−ｖ(ｋ）（ｆ）の誤差Ｅ_di＝ｄ_i+1(ｋ)−ｄ_i(ｋ)−ｇ_i+1,
_i(ｋ）なお、上記（ｆ）の誤差におけるｇ_i+1,_i(ｋ）はｄ
_i+1(ｋ)−ｄ_i(ｋ）の時間的な平均値であり、ｇ_i+1,_i(ｋ)＝(１-ｗ_g){ｄ_i+1(ｋ-１)-ｄ_i(ｋ-１)}＋ｗ_g・ｇ_i+1,_i(ｋ-１）によって求める。ただし、ｉ＝１〜６であるがｉ＝６の
時はｉ＋１＝１とする。また、ｗ_gは平滑化時定数であ
る（０＜ｗ_g＜１）。

【００１９】次に、上記の各誤差を２乗し、重みをかけ
て総和をとる。その値をＥ²とおけば、Ｅ²は下記（数
１）式で示される。

【００２０】

【数１】

【００２１】上記（数１）式において、ｗ_piは直線ｉの
直線適合の確からしさｐ_iに対応させる。また、ｗ_qとｗ
_xは時間的平滑化の時定数に相当する。ｗ_yは直線適合結
果に対する画面振動成分計測結果の重みである。そして
ｗ_wはレーン幅やレーンマーカ幅の重みで、いわば空間
的平滑化係数であり、それぞれ適切な値に設定する。次
に、上記（数１）式で示される誤差の総和Ｅ²を最小に
するようにｄ_i(ｋ）、ｘ_s(ｋ）、ｙ_s(ｋ）を推定する。
この最小化は、各変数で偏微分してそれぞれ０にするこ
とによって行なうことが出来る。上記の結果として下記
（数２）式に示す連立１次方程式が得られる。

【００２２】

【数２】

【００２３】ただし、ｗ_i＝ｗ_pi＋ｗ_q＋２ｗ_w ｗ_ai＝−ｗ_pi・ａ_i′ とおいた。上記（数２）式で示す連立１次方程式は、容
易に解くことができ、時刻ｋにおける消失点ｘ_s(ｋ）、
ｙ_s(ｋ）、および消失点を通る直線ｉが求められる。

【００２４】３本のレーンマーカ検出結果としては、各
レーンマーカの左右端に対応する２本の直線検出結果の
平均とする。すなわち、レーンマーカｊの傾きをｆ
_j(ｋ）／ｙ_cとすると、｛（ｄ_2i-1(ｋ)＋ｄ_2i(ｋ)）／２｝−ｘ_s(ｋ）ｉ＝１〜３である。上記の消失点ｘ_s(ｋ）、ｙ_s(ｋ）とレーンマー
カの傾きに対応する値ｆ_j(ｋ）（ｊ＝１〜３）をレーン
マーカ検出の結果とする。

【００２５】（５）走行車線の識別前記図３には、走行車線の識別は記載していないが、現
在走行中の車線の識別は次のようにして容易に行なうこ
とが出来る。走行中の車線の識別は、候補点探索におけ
る中央の領域の走査方向と、左右の探索領域の上限（ｙ
_tj）や探索ライン数（ｎ_j）などを、決定するための情
報として用いる。識別は単に中央のレーンマーカ（ｊ＝
２）の傾きｆ₂(ｋ）の符号によって行なう。すなわち、
ｆ₂(ｋ）が正なら左車線を、負なら右車線を走行中と判
断することが出来る。

【００２６】次に、前記図１（ｂ）にブロック図を示し
た本願の第２の実施例について説明する。この実施例
は、前記図１（ａ）の実施例に、曲線状のレーンマーカ
のカーブの度合（曲率）を検出する構成を追加したもの
である。図１（ｂ）において、画像入力手段１０１、前
処理手段１０２、直線適合手段１０３、直線・消失点決
定手段１０４の部分は、前記図１（ａ）および図２〜図
５で説明したものと同一である。本実施例は、上記１０
１〜１０４の各手段の他に、エッジ点追跡手段１０５、
曲線適合手段１０６および平滑手段１０７を設けたもの
である。以下、上記の追加した部分について説明する。

【００２７】（１）エッジ点追跡エッジ点追跡は、曲線適合のための候補点座標を求める
ものであり、外乱（他車のエッジ点や路面上の汚れ）の
影響をなるべく避けるために行なう。これは前記の前処
理手段１０１で求めたエッジ点と直線適合手段１０３で
求めた直線式とによって行なう。図６はエッジ点追跡を
説明するための画像を示す図である。図６において、
は第１のレーンマーカの左端線、は第１のレーンマー
カの右端に対応する直線、は第２のレーンマーカの左
端に対応する直線、は第２のレーンマーカの右端線、
は第３のレーンマーカの左端に対応する直線、は第
３のレーンマーカの右端線である。なお、第２のレーン
マーカはセンターラインであって図示のごとく途切れた
線になっている。また、太線の矢印はエッジ点追跡を示
す。或る直線において、画面下方のｙ_maxにおけるｘの
値を直線式から求めて、ｘ₀とおく。すなわち、ｘ₀＝ａ
_iｙ_max＋ｂ_i（ｉ＝１〜６）である。そして、前処理画
像Ｂ(ｘ，ｙ）において、Ｂ(ｘ₀，ｙ_max）がエッジ点で
あるか否かを調べる。もしエッジ点でなければＢ(ｘ₀＋
１，ｙ_max）、Ｂ(ｘ₀−１，ｙ_max）などの近傍点につい
て調べる。エッジ点があれば、その点の座標をｘ₁、ｙ₁
として記憶する。もし、エッジ点がなければ、エッジ点
数を表わすＮを０として処理を終了する。次にｘ₁、ｙ₁
を出発点としてエッジの追跡を行なう。Ｂ(ｘ₁，ｙ₁）
はエッジの方向角を表わしているので、画面上方に向か
って、このエッジ方向で示された方向に追跡する。具体
的には、現在の座標をｘ_j、ｙ_jとすると、下記（数３）
式で示されるｘ_j+1、ｙ_j+1を求め、点Ｂ(ｘ_j+1，
ｙ_j+1）がエッジ点か否かを調べる。

【００２８】（数３） 0°≦Ｂ(ｘ_j,ｙ_j)≦45° ｘ_j+1＝ｘ_j＋ｍ｛の時｛ −180°≦Ｂ(ｘ_j,ｙ_j)＜−135° ｙ_j+1＝ｙ_j−ｍ・tanＢ(ｘ_j,ｙ_j） 45°＜Ｂ(ｘ_j,ｙ_j)≦90° ｘ_j+1＝ｍ・tan{90°−Ｂ(ｘ_j,ｙ_j)}＋ｘ_j ｛の時｛ −135°≦Ｂ(ｘ_j,ｙ_j)＜−90° ｙ_j+1＝ｙ_j−ｍ 90°＜Ｂ(ｘ_j,ｙ_j)≦135° ｘ_j+1＝ｘ_j−tan{Ｂ(ｘ_j,ｙ_j)−90°} ｛の時｛ − 90°≦Ｂ(ｘ_j,ｙ_j)＜−45° ｙ_j+1＝ｙ_j−ｍ 135°＜Ｂ(ｘ_j,ｙ_j)≦180° ｘ_j+1＝ｘ_j−ｍ｛の時｛ − 45°≦Ｂ(ｘ_j,ｙ_j)＜ 0° ｙ_j+1＝ｙ_j−ｍ・tanＢ(ｘ_j,ｙ_j) なお、（数３）式において、ｊは、ｊ＝１を初期値とし
て、何番目のエッジ点かを表わす添字である。また、定
数ｍは２〜８画素程度が適切である。上記の結果、もし
Ｂ(ｘ_j+1，ｙ_j+1）がエッジ点であれば、座標ｘ_j+1、ｙ
_j+1を記憶し、ｊ＋１をｊとして繰り返し処理を行な
う。エッジ点でない時は、±１画素の範囲で近傍画素を
調べる。それでもエッジ点がない時はＮ＝ｊとして処理
を終了する。近傍にエッジ点があった時はその座標をｘ
_j+1、ｙ_j+1として記憶し、ｊ＝ｊ＋１として繰り返す。
また、上記の処理において、レーンマーカや道路端は、
大きくは折れ曲がらないことを考慮して、エッジ点に制
約をつけることができる。例えばＢ(ｘ_j,ｙ_j)−α＜Ｂ(ｘ_j+1，ｙ_j+1）＜Ｂ(ｘ_j,ｙ_j)＋α の範囲である時にのみ、エッジ点であると判断する。な
お、αは１５°〜３０°程度が適当である。この制限に
より、ノイズや他車の混入に強いエッジ点追跡が可能と
なる。なお、図６に示した例の場合、第２のレーンマー
カは途切れた線になっているので、エッジ点の追跡は中
断される。

【００２９】（２）曲線適合以上の処理を各直線についてそれぞれ行なうと３組のエ
ッジ点座標列が得られるので、それぞれの組で曲線適合
を行なう。曲線適合は、当てはめる曲線は下記（数４）
式で示されるものとし、係数ｃ_i、ｄ_i、ｅ_i（ｉ＝１〜
６）を求めることによって行なう。

【００３０】

【数４】

【００３１】上記の曲線式を用いると、係数ｄ_iは、実
際の道路の曲率に比例した量として求まる。上記の曲線
適合は最小自乗法で容易に求めることができる。すなわ
ち、エッジ点列をｘ_j、ｙ_jとし、Ｎ点のデータがあると
する。また、ｒ_j＝ｙ_j−ｙ_s、ｓ_j＝１／（ｙ_j−ｙ_s）とおく。上式においてｙ_sは先に求めた消失点のｙ座標
である。添字ｉを略して、ｅ_j＝ｃ・ｒ_j＋ｄ・ｓ_j＋ｅ−ｘ_j を誤差と考え、下記（数５）式を最小にするｃ、ｄ、ｅ
を求めればよい。

【００３２】

【数５】

【００３３】上記（数５）式を最小とするｃ、ｄ、ｅを
求めるには、下記（数６）式から下記（数７）式に示す
方程式が求められるので、（数７）式を解けばよい。

【００３４】

【数６】

【００３５】

【数７】

【００３６】上記（数７）式を解くことにより、ｃ、
ｄ、ｅはそれぞれ下記（数８）式に示すようにして求め
られる。

【００３７】

【数８】

【００３８】ただし、上記（数８）式において、Ｄは下
記（数９）式に示すごときものである。

【００３９】

【数９】

【００４０】以上の処理により、各レーンマーカに対す
る曲線パラメータｃ_i、ｄ_i、ｅ_i（ｉ＝１〜６）が求め
られる。また、それぞれの確からしさとしては、それぞ
れのエッジ点数Ｎ_iを用いるものとする。

【００４１】次に、カーブ度（曲率）を決定する。３本
のレーンマーカは平行に描かれているものと仮定する
と、画像上における曲率に対応した量ｄ_iの値は近似的
に等しく（ｄ₁＝ｄ₂＝ｄ₃）となる。前記のエッジ点追
跡において、例えばセンターラインのように途切れた線
は、遠方まで追跡できないため、曲線式の適合結果もよ
い精度で求まるとは限らない。そこで、３本の曲線それ
ぞれのｄ_iの値を平均化して曲率とする。このとき確か
らしさとしてはＮ_iを用いる。

【００４２】上記の平均化した曲率をｄ_aすると、ｄ_aは
下記（数１０）式で求められる。

【００４３】

【数１０】

【００４４】なお、上記のように３本の曲線の曲率を平
均化するのは、空間的な平滑化に相当する。

【００４５】（３）平滑化次に、曲率は時間的に大きくは変化しないことを利用し
て、時間的な平滑化を行なう。すなわち、時刻ｔにおけ
る平滑曲率をｄ(ｔ）とし、また、下記（数１１）式の
ごとき値をＮ(ｔ）とする。

【００４６】

【数１１】

【００４７】次に、上記のＮ(ｔ）を正規化して、Ｐ
(ｔ）を求める。例えばただし、Ｔ₁、Ｔ₂：あらかじめ設定された適当なしきい
値とすると、０≦Ｐ(ｔ）≦１となる。平滑化したｄ
(ｔ）は、ｄ(ｔ)＝｛１−Ｐ(ｔ)}・ｄ(ｔ−１)・β＋Ｐ(ｔ)・ｄ_a とする。ここでβは１に近い定数（０.９〜０.９９程度
で適切な値）であり、これは連続してＰ(ｔ）が大きく
ない時には、以前に求まっていた曲率を用いるのではな
く、徐々に曲率を０に、すなわち直線に近づくように修
正するためのものである。すなわち、充分エッジ点が追
跡できれば、忠実な曲率が得られ、エッジ点が追跡でき
ないような環境においては、直線検出の結果が出力され
るようにする。なお、β＝１の時は、Ｐ(ｔ）＝０であ
れば前回の値ｄ(ｔ−１)がそのまま出力される。

【００４８】最後に曲率ｄ(ｔ）と、直線検出の結果を
組み合わせて、最終的な曲線式を３本求める。曲線式と
して曲線適合の結果（ｃ_i、ｅ_i）を用いないのは、エッ
ジ点追跡の信頼性が直線検出より低いからである。直線
式と曲線式は図７のような関係となる。図７において、
、、は直線を、、、は曲線を示す。図７に
示すように、画面下部の範囲においては、直線式と曲線
式は一致する。直線式を決定する時のｙ座標の凡その中
心座標をｙ_pとする。このｙ_pは追跡領域の上限
（ｙ_min）と下限（ｙ_max）の平均値とすればよい。ま
た、直線ｉにおけるｙ_pのｘ座標をｘ_piとすると、直線
式はｘ_pi＝ａ_i・ｙ_p＋ｂ_i （ｉ＝１〜６）となる。求めるべき曲線は、点（ｘ_pi，ｙ_p）を通り、
その点での傾きはａ_iで、曲率はｄ(ｔ）（以下単にｄを
表わす）とすると、求める式は下記（数１２）式で示さ
れる。

【００４９】

【数１２】

【００５０】上記（数１２）式から下記（数１３）式に
示す演算を行なうことにより、曲線式の係数ｆ_iとｇ_iが
求められる。

【００５１】

【数１３】

【００５２】なお、図８に示すように、３本の曲線に
おいて、本来ｇ_iは等しくなるはずである。すなわち、
３本の直線ｘ＝ｆ_i(ｙ−ｙ_s）＋ｇ_i （ｉ＝１〜６）は、点（ｇ_i，ｙ_s）で一点に集まる。したがって、ｇ_i
を平均化して、ｇとしてもよい。ｇは下記（数１４）式
で示される。

【００５３】

【数１４】

【００５４】また、ｆ₂−ｆ₁＝ｆ₃−ｆ₂は道路の幅に対
応する。したがって３本中の最も信頼できる曲線を確か
らしさから求めて、それを例えば曲線１とすると、曲線
１、曲線２、曲線３は、それぞれ下記（数１５）式とし
てもよい。

【００５５】

【数１５】

【００５６】なお、（数１５）式において、ｗは道幅
（レーン幅）に対応する定数である。

【００５７】

【発明の効果】以上説明したごとく、本発明において
は、前処理によってエッジ点を抽出した後、それぞれの
レーンマーカの左右端に対応する計６本の直線（２車線
の場合）をまず求め、その後、すべての直線が消失点に
て１点に交わるように各直線を決定するように構成した
ことにより、前処理はハードウェア化が簡単であり、高速で実行で
きる。後処理（前処理以降の処理）は処理アルゴリズムが簡
便なので処理時間を短縮することが出来る。すなわち、
候補点の追跡などは画面全体を走査する必要がないこ
と、直線適合も候補点の数が少なければ高速で実行でき
ること、直線式の決定は８元連立１次方程式を解けばよ
い、ので処理速度の速い処理となる。消失点においては、精度が良く、他車の影響やレーン
マーカの途切れやかすれにも強い検出を行なうことが出
来る。等の優れた効果が得られる。

【００５８】また、請求項２に記載の曲線を検出する装
置においては、直線検出後にエッジ点を追跡し、追跡点
の座標値に曲線を当てはめた後、複数本の曲線式から道
路の曲率を求めるように構成したことにより、先に直線検出し、その後に直線上の点を出発点として
エッジ方向画像をエッジ方向に沿って追跡するため、他
車の存在や路面上の汚れに強い曲線式（走行路）や曲率
情報が得られる。曲線式をｘ＝ａｙ＋（ｂ／ｙ）＋ｃのタイプとするこ
とにより、ｂの値が道路の曲率とほぼ等しくなり、複数
レーンで平均化することによってよって確かな曲率とす
ることができる。曲率の時間平滑化において、確からしさを用い、確か
らしさが小さい時は直線に近づくようにすることで、自
動操縦車の制御等に用いる場合に信頼性が保てる。等の優れた効果が得られる。

【図面の簡単な説明】

【図１】本発明の機能を示すブロック図。

【図２】本発明の一実施例のブロック図。

【図３】本発明の一実施例の機能ブロック図。

【図４】直線適合を説明するための画像を示す図。

【図５】直線式と消失点を説明するためのｘｙ座標図。

【図６】エッジ点追跡を説明するための画像を示す図。

【図７】平滑化を説明するための画像を示す図。

【図８】平滑化を説明するための画像を示す図。

【符号の説明】

１…ビデオカメラ２…画像処理部３…表示部１０１…画像処理手段１０２…前処理手段１０３…直線適合手段１０４…直線・消失点決定手段１０５…エッジ点追跡手段１０６…曲線適合手段１０７…平滑手段

Claims

【特許請求の範囲】

【請求項１】車両前方の道路画像を撮像する画像入力手
段と、上記画像入力手段からの信号を入力してエッジ点を抽出
する前処理手段と、前回の演算時における直線式の近傍にウィンドウを設定
し、その設定された各ウインドウ内における複数のエッ
ジ点の座標を計測し、直線近似によって複数の直線式を
求める直線適合手段と、上記の求められた複数の直線式に基づき、各直線式間の
誤差の２乗和が最小となるように消失点のｘｙ座標と該
消失点を通る各直線の傾きに対応する量とを推定して今
回の結果とする直線・消失点決定手段と、を備えたことを特徴とする車両用走行路検出装置。
【請求項２】車両前方の道路画像を撮像する画像入力手
段と、上記画像入力手段からの信号を入力してエッジ点を抽出
する前処理手段と、前回の演算時における直線式の近傍にウィンドウを設定
し、その設定された各ウインドウ内における複数のエッ
ジ点の座標を計測し、直線近似によって複数の直線式を
求める直線適合手段と、上記の求められた複数の直線式に基づき、各直線式間の
誤差の２乗和が最小となるように消失点のｘｙ座標と該
消失点を通る各直線の傾きに対応する量とを推定して今
回の結果とする直線・消失点決定手段と、上記前処理手段の結果と上記直線適合手段の検出結果と
に基づき、レーンマーカに対応するエッジ点を抽出する
エッジ点追跡手段と、上記の抽出されたエッジ点に曲線式を当てはめ、曲線の
曲率を検出する曲線適合手段と、上記曲線適合手段の結果を平滑する平滑手段と、を備えたことを特徴とする車両用走行路検出装置。