JPH1047922A

JPH1047922A - 路面上のレーン検出方法及び装置

Info

Publication number: JPH1047922A
Application number: JP8219384A
Authority: JP
Inventors: Toshiaki Kakinami; 俊明柿並; Yoshikatsu Kimura; 祥勝木村; Akira Inoue; 亮井上
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 1996-07-31
Filing date: 1996-07-31
Publication date: 1998-02-20
Anticipated expiration: 2016-07-31
Also published as: JP3632312B2

Abstract

(57)【要約】【課題】路面上のレーン状態に左右されることなく、
適切にレーンを検出し得るレーン検出方法及び装置を提
供する。【解決手段】路面上のレーンの両側の境界線を表すエ
ッジを検出して順次エッジメモリに格納し、少くとも二
列のエッジ群に基づき３次元平面上で両側の境界線を特
定する。前回の画像に基づき両側の境界線に対する曲率
中心を特定し、エッジメモリに新たに格納したエッジ群
の中から、同心円弧に沿って夫々所定距離毎に、複数の
連続した領域に分割し、この領域毎に一対のエッジ列を
抽出する。そして、各領域における各々のエッジ列に対
する一対の接線に対する法線を特定し、この法線と一対
の接線の交点間の線分をレーンのセグメントとして設定
し、これに基づき両側の境界線を特定した画像を更新す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、路面上のレーン検
出方法及び装置に関し、特に自動車の前方の、運転者の
視界と一致する可視領域の画像情報に基づき、両側の境
界線を特定することによって路面上のレーンを検出し得
るレーン検出方法及び装置に係る。

【０００２】

【従来の技術】一般に、道路の境界線を幾何学的に特定
する場合には、道路の両側（左右）の白線の位置を対応
づけることが行なわれる。ここで、「対応づける」と
は、左右の白線の接線を求めるとき、道路平面内で曲率
中心に向かう法線を共有する位置を定めることをいう。
そして、法線と接線との交点を「対応点」といい、左右
の対応点間を結ぶ線分を「道路セグメント」という。而
して、道路の複数の位置で道路セグメントを求め、それ
らを並設すれば道路平面を表すことになり、各道路セグ
メントはそのセグメント位置での道路の方向を示してい
る。

【０００３】上記の道路境界線の特定方法に関しては、
慶応義塾大学、小沢慎治氏の論文「道路像解析における
対応点の決定法」（電子情報通信学会論文誌D-IIVol.J7
2-D-II No.5pp.827-830 1989年５月発行）において、図
１５に示すように、無限遠点の位置を利用してレーンの
接線ベクトルＴを求め、左右の接線ベクトルに対する法
線である単位セグメントベクトルＳを得て、Ｓ・Ｔ＝０
となる接線ベクトルの組み合わせを探すという方法が提
案されている。

【０００４】また、メリーランド大学、ディメンソン
（D. DeMenthon）氏の論文「A ZERO-BANK ALGORITHM FO
R INVERSE PERSPECTIVE OF ROAD FROM A SINGLE IMAGE
」(Proc.IEEE Interl. Conf. on Robotics and Automa
tion, pp.1444-1449, 1987 年３月発行）には次の方法
が提案されている。即ち、道路境界線の左右の接線が平
行であれば、一方の接線からの法線は他方の接線におい
ても法線となり、道路セグメントの条件を満足する。例
えば図１６に示すように、左右の接線Ｎ１−Ｎ２，Ｍ１
−Ｍ２が平行でないときには、この交点Ｒは接線Ｎ１−
Ｎ２に対する道路セグメントの端点として期待する位置
から外れてしまうことになる。従って、道路が曲がって
いる場合、左右の接線からの法線を使って曲率中心やレ
ーン幅を計算できると説明されている。

【０００５】一方、自動車の前方の可視領域の画像情報
を処理し種々の用途に供する画像処理装置が提案されて
おり、特開平６−２１５１３７号の公報には、画像中の
特徴点の情報を高速で検出しうる画像処理装置を提供す
ることを課題とし、走査テーブルメモリ手段上に書き込
まれる走査線情報（走査開始座標、走査終了座標）の組
合せによって走査領域が決定されるように構成されてい
る。具体的には、進行方向に向かう白線（車線）の輪郭
を検出する場合、白線が存在する領域は、通常はある狭
い範囲内に限定されるので、その狭い範囲の画像データ
だけを検出対象として走査すべく、走査領域（ウィンド
ウという）を、走査テーブルメモリ手段上に書き込まれ
る走査線情報（走査開始座標、走査終了座標）の組合せ
によって決定することとしたものである。

【０００６】

【発明が解決しようとする課題】前述の道路の境界線の
特定方法に関し、前者の論文に記載の方法においては、
Ｓ・Ｔ＝０が成立するまで演算を繰り返す必要があるの
で応答性に問題が残る。また、後者の論文に記載の境界
線の特定方法においては、曲線で表現される道路の微少
区間を台形で表し、最も手前で道路セグメントを設定し
た台形領域に対して、次の台形を継ぎ足して延長してい
くことが基本とされている。従って、道路が汚れていた
り、白線が欠損している場合には、延長の過程で道路セ
グメントを設定できないことがある。

【０００７】尚、前掲の論文には、道路の境界線、道路
セグメント等と表現されているが、実際には、路面上に
一定の距離を隔てて平行な二本の白色等の明色の線（代
表して、白線という）が施されて両側（左右）の境界線
とされ、これらの境界線の間の領域が、自動車等が走行
するためのレーン（以下、レーンという）となってい
る。従って、二本の白線を特定することによって路面上
のレーンを設定することができる。このような点から本
願においては、「道路セグメント」に代えて「レーンの
セグメント」もしくは単に「セグメント」を用い、「道
路の境界線」に代えて「レーンの境界線」を用いること
とする。従って、道路の両端に白線が施され、これらを
特定することによって道路を検出する場合には、レーン
即ち道路を意味することとなる。

【０００８】前述のように、道路のレーン形状を安定的
にしかも高精度に検出するためには、手前から遠方に向
かって一定間隔で複数のレーンのセグメントを設定でき
ることが理想である。しかし、レーンの境界線となる白
線は連続した実線もあるが、破線で描かれていることも
あり、前述のディメンソン氏の論文に記載の方法のよう
に、走行中の前方道路の画像に対して、予め定めた区間
でのみセグメントを設定しようとすると、その区間内に
白線が存在しなければ、セグメントを設定できないとい
う不都合が生じる。

【０００９】そこで、本発明は、路面上のレーン検出方
法において、レーン状態に左右されることなく適切にレ
ーンを検出し得るようにすることを課題とする。

【００１０】また、本発明は、路面上のレーン状態に左
右されることなく適切にレーン検出を行ない得るレーン
検出装置を提供することを別の課題とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
め、本発明の路面上のレーン検出方法は、請求項１に記
載のように、検出対象とする路面上のレーンの両側の境
界線を含む画像情報の濃淡に基づき、前記両側の境界線
を表すエッジを検出して順次エッジメモリに格納し、前
記両側の境界線を表す連続した二列のエッジ群を形成
し；少くとも前記二列のエッジ群に基づき３次元平面上
で前記両側の境界線を特定し；前記両側の境界線を特定
した前回の画像に基づき前記両側の境界線に対する曲率
中心を特定し；前記エッジメモリに新たに格納し前記両
側の境界線を表す連続した二列のエッジ群を形成するエ
ッジ群の中から、前記曲率中心を中心とする同心円弧に
沿って夫々所定距離毎に、複数の連続した領域に分割
し、該領域毎に一対のエッジ列を抽出し；各領域におけ
る各々のエッジ列に対する一対の接線を特定し；該一対
の接線に対する法線を特定し；該法線と前記一対の接線
の交点を特定し、該一対の交点間の線分を前記レーンの
セグメントとして設定し；該セグメントに基づき前記両
側の境界線を特定した画像を更新することとしたもので
ある。

【００１２】あるいは、請求項２に記載のように、前記
曲率中心を中心とする同心円弧に沿って夫々所定距離毎
に、相互に隣接する領域の一部が重合するように複数の
領域に分割し、該領域毎に一対のエッジ列を抽出するこ
ととしてもよい。

【００１３】更に、請求項３に記載のように、前記一対
の接線は、前記各領域における前記一対のエッジ列を平
行としたときの各々のエッジ列に対する一対の接線と
し、前記各領域における前記一対のエッジ列を構成する
エッジ群の重心を特定し、前記法線は、前記重心を通る
法線としてもよい。

【００１４】また、本発明の路面上のレーン検出装置
は、請求項４に記載し図２に示したように、検出対象と
する路面上のレーンの両側の境界線を含む画像情報を入
力し該画像情報の濃淡に基づきエッジを検出し、前記両
側の境界線を表すエッジを順次出力するエッジ検出手段
ＥＤと、エッジ検出手段ＥＤが出力した前記両側の境界
線を表すエッジを順次格納し、前記両側の境界線を表す
連続した二列のエッジ群を形成するエッジメモリ手段Ｅ
Ｍと、少くとも前記二列のエッジ群に基づき３次元平面
上で前記両側の境界線を特定する画像処理手段ＤＰと、
前記両側の境界線を特定した前回の画像に基づき前記両
側の境界線に対する曲率中心を特定する曲率中心特定手
段ＲＣと、エッジメモリ手段ＥＭが新たに格納し前記両
側の境界線を表す連続した二列のエッジ群を形成するエ
ッジ群の中から、前記曲率中心を中心とする同心円弧に
沿って夫々所定距離毎に、複数の連続した領域に分割
し、該領域毎に一対のエッジ列を抽出するエッジ列抽出
手段ＥＳと、エッジ列抽出手段ＥＳが抽出した各領域に
おける各々のエッジ列に対する一対の接線を特定する接
線特定手段ＴＬと、前記一対の接線に対する法線を特定
する法線特定手段ＮＬと、前記法線と前記一対の接線の
交点を特定し、該一対の交点間の線分を前記レーンのセ
グメントとして設定し、該セグメントを画像処理手段Ｄ
Ｐに出力するセグメント設定手段ＳＤとを備え、画像処
理手段ＤＰが、前記セグメントに基づき前記両側の境界
線を特定した画像を更新するように構成したものであ
る。

【００１５】あるいは、請求項５に記載のように、前記
エッジ列抽出手段ＥＳは、前記曲率中心を中心とする同
心円弧に沿って夫々所定距離毎に、相互に隣接する領域
の一部が重合するように複数の領域に分割し、該領域毎
に一対のエッジ列を抽出するように構成してもよい。な
お、前記レーン検出装置においては、前記検出対象を含
む可視領域を撮像する撮像手段ＣＳを備えたものとし、
撮像手段ＣＳが撮像した画像情報をエッジ検出手段ＥＤ
に入力し、前記エッジを検出するように構成するとよ
い。

【００１６】更に、請求項６に記載のように、前記各領
域における前記一対のエッジ列を構成するエッジ群の重
心を特定する重心特定手段ＧＣを備えたものとし、接線
特定手段ＴＬは、前記一対のエッジ列を平行としたとき
の各々のエッジ列に対する一対の接線を特定し、法線特
定手段ＮＬは、前記重心を通る前記一対の接線に対する
法線を特定するように構成してもよい。なお、前記レー
ン検出装置においては、前記検出対象を含む可視領域を
撮像する撮像手段ＣＳを備えたものとし、撮像手段ＣＳ
が撮像した画像情報をエッジ検出手段ＥＤに入力し、前
記エッジを検出するように構成するとよい。

【００１７】

【発明の実施の形態】以下、本発明の実施形態を図面を
参照し乍ら説明する。図１は本発明の一実施形態に係る
レーン検出方法の原理を説明するもので、先ず（１）前
回の画像情報に基づき検出対象の路面のレーン形状が特
定できているものとし、この曲率中心Ｃに対して新しい
画面での白線に対するエッジ群から、曲率中心Ｃを中心
とする円弧を構成する一方のエッジ群あるいは左右のエ
ッジ群の中心に沿って所定距離ΔＬ毎に、複数の連続し
た領域ＲＳ１，ＲＳ２，ＲＳ３等に分割し、これらの領
域毎に一対のエッジ列を抽出する。次に（２）各領域に
おける両側（左右）のエッジ列に対する接線方程式を求
める。このとき、左右の白線は平行であるという拘束条
件を設け、最小自乗法により２本の接線方程式を求める
と共に、エッジ群の重心Ｇを求める。これらに基づき
（３）エッジ群の重心Ｇを通り左右の接線に直交する直
線即ち法線の方程式を求め、法線と左右の接線との交点
を求める。そして（４）左右の交点間を結ぶ線分をレー
ンのセグメントＳｉとして設定し、（５）セグメントＳ
ｉに基づき、上記のレーン形状を特定した画像を更新す
る。

【００１８】而して、レーンの線形判別、任意区間の平
均カーブ曲率半径、任意距離前方の方位、自動車のヨー
角、横変位、レーン幅等を演算することができる。例え
ば、運転者の視点位置からセグメントＳ１乃至Ｓｎまで
の道のり距離をＤ１乃至Ｄｎとすると、セグメントＳ
ｉ，Ｓｊの延長線上での交点は、道のり距離Ｄｉ，Ｄｊ
の区間での曲率中心Ｃであり、曲率中心Ｃとセグメント
Ｓｉ，Ｓｊまでの距離は曲率半径Ｒｉ，Ｒｊで表すこと
ができる（図示省略）。このようにして、セグメントの
任意の区間での曲率半径を演算することができる。そし
て、求められたセグメントの右側端点もしくは左側端
点、又は中点の集合に対して曲線を当てはめれば、境界
線又は中心線を曲線の方程式として表すことができるの
で、任意の道のり距離でのレーンの境界線又は中心線の
方位を求めることができる。更に、上述した曲線を視点
位置まで延長し、この位置でのセグメントを求めれば、
視点位置でのヨー角、横変位、レーン幅を演算すること
もできる。

【００１９】次に、本発明のレーン検出装置の実施形態
について図面を参照しながら説明する。本実施形態は、
自動車の運転者の視界と一致する前方の可視領域内に存
在する検出対象を、確実に検出し画像表示し得るように
構成されている。図３はレーン検出装置の全体構成を示
すもので、例えば固体撮像素子のＣＣＤを用いたＣＣＤ
カメラ１が、例えば自動車（図示せず）内の運転者の視
点近傍に配置され前方の可視領域が撮像される。このＣ
ＣＤカメラ１で撮像されるアナログ信号の画像信号はエ
ッジ検出部１０のＡＤコンバータ１１に供給され、濃度
に応じたデジタル信号に変換される。

【００２０】エッジ検出部１０において、ＡＤコンバー
タ１１の出力信号は二本のラインバッファ１２を介して
検出回路１３内のSobel のエッジ抽出オペレータ１４に
供給され、ｘ方向及びｙ方向のエッジが検出されるよう
に構成されている。また、ＣＣＤカメラ１の出力信号が
同期信号としてｘ−ｙアドレス変換部１５に供給され
る。このとき、エッジのｘ座標として１０ビットが割り
当てられ、ｙ座標には９ビットが割り当てられ、最大値
用に８ビットが割り当てられ、更に、正負の符号用に１
ビットが割り当てられる。更に、検出回路１３は後述す
るウィンドウゲート１６を有し、検出対象判定部２０に
接続されている。尚、このエッジ検出部１０は、ゲート
アレーで構成することができる。

【００２１】検出対象判定部２０はマイクロコンピュー
タで構成され、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、
出力用のシリアルポート２４、割込カウンタ２５、タイ
マ２６等を有し、これらがアドレスバス及びデータ／コ
ントロールバスを介して接続されている。尚、２７は電
源部である。ＲＡＭ２３は図４に示すようにウィンドウ
メモリ２３ｗとエッジメモリ２３ｅを有し、前者のウィ
ンドウデータがウィンドウゲート１６に供給されると共
に、エッジ抽出オペレータ１４の抽出データがウィンド
ウゲート１６に供給され、ウィンドウゲート１６内でこ
れらの論理積（ＡＮＤ）が演算され、その演算結果がエ
ッジメモリ２３ｅに供給されて格納される。

【００２２】図９は、ウィンドウメモリ２３ｗ内のテー
ブルメモリの一例を示すもので、図９の右側に示す画面
の横又は縦（図９の例では横のｘ軸方向）の走査線４８
０本に対応する０番地から４７９番地のアドレスが設定
される。このアドレス毎に上記の走査線に応じて少くと
も一つの基準点のｘ座標又はｙ座標（図９の例ではｘ座
標のX0乃至X479）を設定すると共に、各基準点に対し所
定の幅（図９の例ではW0乃至W479）が設定されて格納さ
れる。尚、図９の画面の左上角部の座標は（０，０）で
あり、右下角部の座標は（６３９，４７９）である。ま
た、テーブルメモリが１６ビットである場合には、ウィ
ンドウのｘ座標設定用に１０ビットが用いられ、幅の設
定用に６ビットが用いられるように構成されるが、３２
ビットのメモリであれば、幅も略画面一杯に設定するこ
とができる。

【００２３】図４はエッジ検出に係る機能ブロック図
で、同期信号Ｓが夫々水平カウンタ１７及び垂直カウン
タ１８を介して２本のラインバッファ１２、３×３マト
リクスレジスタ１９、Sobel のエッジ抽出オペレータ１
４ex，１４ey、ピーク検出部１４px, １４pyに供給され
る。而して、２本のラインバッファ１２を介して走査線
３本の画像データが３×３マトリクスレジスタ１９に供
給され、エッジ抽出オペレータ１４ex，１４eyにて、２
次元画面におけるｘ方向及びｙ方向のエッジが検出さ
れ、更にピーク検出部１４px, １４pyにて求められた夫
々のピーク値がエッジメモリ２３ｅに供給される。尚、
ｙ方向のピーク値を求めるためピーク値検出用のメモリ
２３ｐが設けられている。一方、ウィンドウゲート１６
にてピーク判定されたときのピーク値検出用メモリ２３
ｐの内容とウィンドウメモリ２３ｗのメモリ値との論理
積（ＡＮＤ）が求められ、ウィンドウの位置及び幅がエ
ッジメモリ２３ｅに供給される。このエッジメモリ２３
ｅは、ｘ方向及びｙ方向の濃度メモリ２３gx，２３gyと
ｘ方向及びｙ方向の座標メモリ２３px，２３pyを有し、
夫々にエッジのピーク値が格納される。

【００２４】上記の構成になる本実施形態のレーン検出
装置においては、図５乃至図８のフローチャートに従っ
て画像処理が行なわれる。先ず図５のステップ１０１に
おいて、ＣＣＤカメラ１の全ての出力画像信号がＡＤコ
ンバータ１１及びラインバッファ１２を介して検出回路
１３に供給され、画像情報が取り込まれる。次に、ステ
ップ１０２にてエッジが検出される。本実施形態ではこ
のエッジに基づき図１０に示すように特徴点が設定さ
れ、この特徴点のｘ座標及びｙ座標が特定される。ま
た、ステップ１０３において今回の画像処理時の検出対
象ウィンドウが設定される。尚、この処理については図
６を参照して後述する。

【００２５】図１０は上記の特徴点の抽出状況を示すも
ので、先ず画像濃度を表す信号が微分され、微分値（ピ
ーク値）が所定のしきい値によって二値化され所定幅の
特徴領域Ｚ１，Ｚ２が形成される。更に、細線化処理が
行なわれ、特徴領域Ｚ１，Ｚ２の中央部分の位置が特徴
点Ｐ１，Ｐ２とされ、輪郭を表す基準とされる。このよ
うに、本実施形態では輪郭を表す指標として一般的なエ
ッジのほかに特徴点が設定されるが、エッジをそのまま
用いることとしてもよい。

【００２６】続いて、ステップ１０４において、ステッ
プ１０２にてエッジに基づいて設定された特徴点と、ス
テップ１０３で設定された検出対象ウィンドウの論理積
（ＡＮＤ）がとられ、このウィンドウ内の特徴点が抽出
される。そして、ステップ１０５に進むが、ステップ１
０５以降は検出対象が曲線又は直線状の場合に特有の処
理であり、具体的には本実施形態が対象とする自動車走
行用のレーンの白線の特定に好適な処理である。

【００２７】ステップ１０５においては、図１１及び図
１２に示すように、ステップ１０４で抽出された画面上
の特徴点が路面上に存在するように、特徴点の位置が３
次元平面上の位置に変換される。尚、前述の２次元平面
の座標軸ｘ，ｙに対し、３次元平面の座標軸をＸ，Ｙ，
Ｚで表す。上記のように３次元平面上の位置に変換され
た特徴点によって、ステップ１０６にてレーンのセグメ
ントが設定されるが、これについては図７及び図８を参
照して後述する。続いて、ステップ１０７にてセグメン
トの配列に対し数学モデルが当てはめられ、更にステッ
プ１０８に進み、合致する数学モデルによってレーン形
状を表すパラメータ（曲率半径、レーンの幅等）が計測
される。更に、ステップ１０９に進み、レーン形状を表
すパラメータが２次元平面座標に換算され、次回の検出
対象ウィンドウの設定に供される。

【００２８】次に、図６を参照して、ステップ１０３に
おいて実行される検出対象ウィンドウの設定について説
明する。ステップ２０１において検出対象ウィンドウ
（以下、単にウィンドウという）の縦軸（ｙ軸）の上端
及び下端を設定する値が、夫々所定値ｙｂ，ｙｔに設定
され（本実施形態では、ｙｂ≧０，ｙｔ≦４７９）、縦
軸（ｙ軸）上の位置ｙの値が画面の最下端（ｙ＝４７
９）に設定される。

【００２９】続いて、ステップ２０３においてウィンド
ウの左側設定用のメモリ（ｙ）及び右側設定用のメモリ
（ｙ）が夫々キャンセル（無効）され、ステップ２０４
においてｙ軸上の位置ｙの値がディクリメント（−１）
された後、ステップ２０５にて所定値ｙｂと比較され、
所定値ｙｂ以下となるまでステップ２０３及び２０４が
繰り返される。ｙ軸上の位置ｙの値が所定値ｙｂ以下と
なると、ステップ２０６に進み、所定値ｙｂとされる。
このようにして画面の下端が設定され、画面の下方の位
置ｙｂからステップ２０７以降の処理が開始する。

【００３０】ステップ２０７においては、ウィンドウの
幅がｗ(y) に設定される。ウィンドウの幅ｗ(y) は、一
定（ｗ(y) ＝Ｋｙ，但しＫｙは定数）としてもよいし、
３次元平面上でウィンドウの幅が一定になるように設定
してもよい。あるいは、遠方でウィンドウの幅が拡大す
るように設定してもよい。そして、ステップ２０８にて
ウィンドウの左側設定用のメモリ（ｙ）の始点が、ｆｌ
(y) −ｗ(y)/２に設定される。ここで、ｆｌ(y) は２次
元画面上での左側の白線形状の中心線を表し、前回の値
である。

【００３１】また、ステップ２０９にてウィンドウの左
側設定用のメモリ（ｙ）の幅が、ｗ(y) に設定される。
同様に、ステップ２１０にてウィンドウの右側設定用の
メモリ（ｙ）の始点が、ｆｒ(y) −ｗ(y)/２に設定さ
れ、ステップ２１１にてウィンドウの右側設定用のメモ
リ（ｙ）の幅が、ｗ(y) に設定される。尚、ｆｒ(y) は
２次元画面上での右側の白線形状の中心線を表し、前回
の値である。このように、本実施形態ではウィンドウの
形状は基準点（始点）と幅によって規定されるが、始点
と終点を設定することとしてもよい。

【００３２】次に、ステップ２１２においてｙ軸上の位
置ｙの値がディクリメント（−１）された後、ステップ
２１３にて画面の上端を表す所定値ｙｔと比較され、所
定値ｙｔを下回るまでステップ２０７乃至２１２が繰り
返される。ｙ軸上の位置ｙの値が所定値ｙｔを下回る
と、ステップ２１４に進む。

【００３３】而して、画面に予め設定した上端を超える
ことになるので、ステップ２１４においてウィンドウの
左側設定用のメモリ（ｙ）及び右側設定用のメモリ
（ｙ）がキャンセルされ、ステップ２１５においてｙ軸
上の位置ｙの値がディクリメント（−１）された後、ス
テップ２１６にて０と比較され、ｙ軸上の位置ｙの値が
０を下回るまでステップ２１４及び２１５が繰り返さ
れ、ｙ軸上の位置ｙの値が０を下回ると図５のルーチン
に戻る。

【００３４】図５のステップ１０６におけるレーンのセ
グメントの設定は、図７及び図８のフローチャートに従
って実行される。先ず、ステップ３０１において前回の
画像に表示された二列のエッジ群による白線の線形形状
が判定され、カーブしていると判定されるとステップ３
０２以降に進み、直線と判定されるとステップ３１６以
降（図８）に進む。白線がカーブしていると判定される
と、ステップ３０２において前回の画像に基づき白線の
曲率中心が特定され、これを中心とする同心円弧に沿っ
て所定距離ΔＬ毎に、連続した複数の領域ＲＳ１乃至Ｒ
Ｓｎに分割されると共に、各領域を表す番号ｉがクリア
される。そして、カーブ内側の白線に対し、ステップ３
０３にて領域番号ｉの領域ＲＳｉの始点がＩＰ１とさ
れ、ステップ３０４にて領域ＲＳｉの終点がＩＰ２とさ
れる。

【００３５】次に、ステップ３０５において、図１に示
すように前回の画像に表示された白線を円弧としたとき
の中心Ｃと始点ＩＰ１を通る直線がＬ１とされ、ステッ
プ３０６において中心Ｃと終点ＩＰ２を通る直線がＬ２
とされる。続いて、ステップ３０７，３０８に進み、直
線Ｌ１とカーブ外側の白線との交点がＯＰ１とされると
共に、直線Ｌ２とカーブ外側の白線との交点がＯＰ２と
される。

【００３６】そして、ステップ３０９において交点ＩＰ
１と交点ＩＰ２との間の白線を構成するエッジ群の各座
標が最小二乗法演算用行列に供されると共に、ステップ
３１０において交点ＯＰ１と交点ＯＰ２との間の白線を
構成するエッジ群の各座標が最小二乗法演算用行列に供
される。これらの演算結果に基づき、ステップ３１１に
おいて一対のエッジ列を構成するエッジ群に対し、最小
二乗法により平行線が当てはめられ、一対の接線が特定
される。また、ステップ３１２において一対のエッジ列
を構成するエッジ群の重心Ｇが求められ、この重心Ｇを
通る平行線モデルの法線がステップ３１３にてＳｉとさ
れる。即ち、平行線モデル間の線分がレーンのセグメン
トＳｉとされる。以上の処理が行なわれた後、領域番号
ｉがインクリメント（＋１）され、ｎとなるまでステッ
プ３０３乃至ステップ３１４の処理が繰り返される。

【００３７】一方、ステップ３０１において前回の画像
に表示された白線の線形形状が直線と判定されると、図
８のステップ３１６において、所定距離ΔＬ毎に連続し
た複数の領域ＲＳ１乃至ＲＳｎに分割されると共に、各
領域を表す番号ｉがクリアされた後、例えば右側の白線
に対し、ステップ３１７にて領域番号ｉの領域の始点が
ＲＰ１とされ、ステップ３１８にて領域番号ｉの領域の
終点がＲＰ２とされる。続いて、ステップ３１９，３２
０に進み、左側の白線に対し領域番号ｉの領域ＲＳｉの
始点がＬＰ１とされ、領域ＲＳｉの終点がＬＰ２とされ
る。

【００３８】そして、ステップ３２１において始点ＲＰ
１と終点ＲＰ２との間の白線を構成するエッジ群の各座
標が最小二乗法演算用行列に供されると共に、ステップ
３２２において始点ＬＰ１と終点ＬＰ２との間の白線を
構成するエッジ群の各座標が最小二乗法演算用行列に供
される。これらの演算結果に基づき、ステップ３２３に
おいて一対のエッジ列を構成するエッジ群に対し、最小
二乗法により平行線が当てはめられ、一対の接線が特定
される。また、ステップ３２４において一対のエッジ列
を構成するエッジ群の重心Ｇが求められ、この重心Ｇを
通る平行線モデルの法線がステップ３２５にてＳｉとさ
れる。而して、この法線Ｓｉの平行線モデル間の線分が
レーンのセグメントとされる。以上の処理が行なわれた
後、領域番号ｉがインクリメント（＋１）され、ｎとな
るまでステップ３１７乃至ステップ３２６の処理が繰り
返される。

【００３９】以上のように、本実施形態においては繰り
返し演算を行なうことなくレーンのセグメントが設定さ
れるので、安価に構成することができる。また、両側の
白線の接線が平行線であることを拘束条件としているの
で、従前の白線毎に接線を求める方法に比し、路面や白
線の汚れ等のノイズに影響され難く、適切にレーンのセ
グメントを設定することができる。しかも、予め分割さ
れた複数の領域ＲＳ１，ＲＳ２，ＲＳ３等に、複数のセ
グメントＳ１，Ｓ２，Ｓ３等が連続して設定されている
ので、仮に一部の領域においてセグメントの設定が困難
な事態が生じても、他の領域におけるセグメントの設定
に影響することなく、略一定の間隔で連続した適切なセ
グメントを設定することができる。更に、「レーン幅が
一定」という拘束条件を加えれば、ノイズの影響を一層
受け難くくなる。

【００４０】図１３は本発明の他の実施形態に係り、例
えば複数のセグメントＳ１，Ｓ２等を設定する領域ＲＳ
１，ＲＳ２等が相互に重合するように設定されたもの
で、特に、図１３ではエッジ列が略直線状であるときの
領域の設定状況を示している。即ち、本実施形態では、
図１３に重合部分をΔlpで示したように、隣接する領域
ＲＳ１，ＲＳ２が重合している。尚、その他の構成は前
述の実施形態と同様であるので説明を省略する。

【００４１】図１４は、距離ΔＬが一定でなく、レーン
のカーブに沿って分割する区分の長さが順次短くなるよ
うに設定した例を示すものである。従って、この例では
曲率中心がＣ１，Ｃ２，Ｃ３というように移動すること
となるが、基本的には前述の方法と同様にセグメントＳ
１，Ｓ２，Ｓ３等を設定することができる。

【００４２】

【発明の効果】本発明は前述のように構成されているの
で以下に記載の効果を奏する。即ち、請求項１に係る路
面上のレーン検出方法は、曲率中心を中心とする同心円
弧に沿って夫々所定距離毎に、複数の連続した領域に分
割し、該領域毎に一対のエッジ列を抽出し、各領域にお
ける各々のエッジ列に対する一対の接線を特定し、これ
ら一対の接線に対する法線を特定し、この法線と一対の
接線の交点を特定し、これら一対の交点間の線分をレー
ンのセグメントとして設定することとしており、略一定
間隔の複数の領域毎にセグメントを設定することができ
るので、仮に一部にセグメントの設定が困難な区間があ
った場合でも、確実にセグメントを設定し、適切にレー
ンを検出することができる。

【００４３】更に、請求項２に記載の方法においては、
相互に隣接する領域の一部が重合するように複数の領域
に分割し、該領域毎に一対のエッジ列を抽出することと
しているので、例えばレーンを構成する白線が破線であ
っても、あるいは白線の一部が消えていても各領域内で
エッジを確保することができ、確実にセグメントを設定
し、適切にレーンを検出することができる。

【００４４】また、請求項３に記載の方法においては、
各領域における一対のエッジ列を平行としたときの各々
のエッジ列に対する一対の接線を特定し、これら一対の
エッジ列を構成するエッジ群の重心を特定し、この重心
を通る一対の接線に対する法線を特定することとしてい
るので、レーンの汚れ等のノイズに影響され難く、迅速
且つ確実にセグメントを設定し、適切にレーンを検出す
ることができる。

【００４５】請求項４に記載の路面上のレーン検出装置
は、曲率中心を中心とする同心円弧に沿って夫々所定距
離毎に、複数の連続した領域に分割し、該領域毎に一対
のエッジ列を抽出するエッジ列抽出手段と、エッジ列抽
出手段が抽出した各領域における各々のエッジ列に対す
る一対の接線を特定する接線特定手段と、前記一対の接
線に対する法線を特定する法線特定手段を具備し、セグ
メント設定手段により、前記法線と前記一対の接線の交
点を特定し、該一対の交点間の線分をレーンのセグメン
トとして設定するように構成されており、略一定間隔の
複数の領域毎にセグメントを設定することができるの
で、仮に一部にセグメントの設定が困難な区間があった
場合でも、確実に複数の領域毎にセグメントを設定し、
適切にレーン検出を行なうことができる。

【００４６】また、請求項５に記載の装置においては、
エッジ列抽出手段が、相互に隣接する領域の一部が重合
するように複数の領域に分割し、該領域毎に一対のエッ
ジ列を抽出する構成とされているので、破線の白線に対
しても各領域内でエッジを確保することができ、確実に
セグメントを設定し、適切にレーン検出を行なうことが
できる。

【００４７】また、請求項６に記載の装置においては、
接線特定手段が、各領域における一対のエッジ列を平行
としたときの各々のエッジ列に対する一対の接線を特定
し、重心特定手段が、これら一対のエッジ列を構成する
エッジ群の重心を特定し、法線特定手段が、重心を通る
一対の接線に対する法線を特定するように構成されてい
るので、ノイズに影響され難く、迅速且つ確実にセグメ
ントを設定し、適切にレーン検出を行なうことができ
る。

【図面の簡単な説明】

【図１】本発明の路面上のレーン検出方法におけるセグ
メントの設定方法を示す説明図である。

【図２】本発明の路面上のレーン検出装置の構成の概要
を示すブロック図である。

【図３】本発明一実施形態の全体構成を示すブロック図
である。

【図４】本発明の一実施形態におけるエッジ検出部の構
成を示すブロック図である。

【図５】本発明の一実施形態における画像処理を示すフ
ローチャートである。

【図６】本発明の一実施形態における検出対象ウィンド
ウ設定の処理を示すフローチャートである。

【図７】本発明の一実施形態におけるセグメント設定の
処理を示すフローチャートである。

【図８】本発明の一実施形態におけるセグメント設定の
処理を示すフローチャートである。

【図９】本発明の一実施形態におけるウィンドウ設定メ
モリを示す構成図である。

【図１０】本発明の一実施形態における特徴点の検出状
況を示すグラフである。

【図１１】本発明の一実施形態において特徴点の位置を
３次元平面上の位置に変換する状況を示す図である。

【図１２】本発明の一実施形態において特徴点の位置を
３次元平面上の位置に変換する状況を示す図である。

【図１３】本発明の他の実施形態に係るレーン検出方法
における領域及びセグメントの設定方法を示す説明図で
ある。

【図１４】本発明の更に他の実施形態に係るレーン検出
方法における領域及びセグメントの設定方法を示す説明
図である。

【図１５】従来の道路セグメントの設定方法の一例を説
明する図である。

【図１６】従来の道路セグメントの設定方法の他の例を
説明する図である。

【符号の説明】

１ＣＣＤカメラ１０エッジ検出部１１ＡＤコンバータ１２ラインバッファ１３検出回路１４エッジ抽出オペレータ１５ｘ−ｙアドレス変換部１６ウィンドウゲート２０検出対象判定部２３ｗウィンドウメモリ２３ｅエッジメモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０ 15/64 ３３０ 15/70 ３３０Ｇ

Claims

【特許請求の範囲】

【請求項１】検出対象とする路面上のレーンの両側の
境界線を含む画像情報の濃淡に基づき、前記両側の境界
線を表すエッジを検出して順次エッジメモリに格納し、
前記両側の境界線を表す連続した二列のエッジ群を形成
し；少くとも前記二列のエッジ群に基づき３次元平面上
で前記両側の境界線を特定し；前記両側の境界線を特定
した前回の画像に基づき前記両側の境界線に対する曲率
中心を特定し；前記エッジメモリに新たに格納し前記両
側の境界線を表す連続した二列のエッジ群を形成するエ
ッジ群の中から、前記曲率中心を中心とする同心円弧に
沿って夫々所定距離毎に、複数の連続した領域に分割
し、該領域毎に一対のエッジ列を抽出し；各領域におけ
る各々のエッジ列に対する一対の接線を特定し；該一対
の接線に対する法線を特定し；該法線と前記一対の接線
の交点を特定し、該一対の交点間の線分を前記レーンの
セグメントとして設定し；該セグメントに基づき前記両
側の境界線を特定した画像を更新することを特徴とする
路面上のレーン検出方法。
【請求項２】前記曲率中心を中心とする同心円弧に沿
って夫々所定距離毎に、相互に隣接する領域の一部が重
合するように複数の領域に分割し、該領域毎に一対のエ
ッジ列を抽出することを特徴とする請求項１記載のレー
ン検出方法。
【請求項３】前記一対の接線が、前記各領域における
前記一対のエッジ列を平行としたときの各々のエッジ列
に対する一対の接線であって、前記各領域における前記
一対のエッジ列を構成するエッジ群の重心を特定し、前
記法線が、前記重心を通る法線であることを特徴とする
請求項１記載のレーン検出方法。
【請求項４】検出対象とする路面上のレーンの両側の
境界線を含む画像情報を入力し該画像情報の濃淡に基づ
きエッジを検出し、前記両側の境界線を表すエッジを順
次出力するエッジ検出手段と、該エッジ検出手段が出力
した前記両側の境界線を表すエッジを順次格納し、前記
両側の境界線を表す連続した二列のエッジ群を形成する
エッジメモリ手段と、少くとも前記二列のエッジ群に基
づき３次元平面上で前記両側の境界線を特定する画像処
理手段と、前記両側の境界線を特定した前回の画像に基
づき前記両側の境界線に対する曲率中心を特定する曲率
中心特定手段と、前記エッジメモリ手段が新たに格納し
前記両側の境界線を表す連続した二列のエッジ群を形成
するエッジ群の中から、前記曲率中心を中心とする同心
円弧に沿って夫々所定距離毎に、複数の連続した領域に
分割し、該領域毎に一対のエッジ列を抽出するエッジ列
抽出手段と、該エッジ列抽出手段が抽出した各領域にお
ける各々のエッジ列に対する一対の接線を特定する接線
特定手段と、前記一対の接線に対する法線を特定する法
線特定手段と、前記法線と前記一対の接線の交点を特定
し、該一対の交点間の線分を前記レーンのセグメントと
して設定し、該セグメントを前記画像処理手段に出力す
るセグメント設定手段とを備え、前記画像処理手段が、
前記セグメントに基づき前記両側の境界線を特定した画
像を更新するように構成したことを特徴とする路面上の
レーン検出装置。
【請求項５】前記エッジ列抽出手段が、前記曲率中心
を中心とする同心円弧に沿って夫々所定距離毎に、相互
に隣接する領域の一部が重合するように複数の領域に分
割し、該領域毎に一対のエッジ列を抽出することを特徴
とする請求項４記載のレーン検出装置。
【請求項６】前記各領域における前記一対のエッジ列
を構成するエッジ群の重心を特定する重心特定手段を備
え、前記接線特定手段が、前記一対のエッジ列を平行と
したときの各々のエッジ列に対する一対の接線を特定
し、前記法線特定手段が、前記重心を通る前記一対の接
線に対する法線を特定するように構成したことを特徴と
する請求項４記載のレーン検出装置。