JP3632312B2

JP3632312B2 - 路面上のレーン検出方法及び装置

Info

Publication number: JP3632312B2
Application number: JP21938496A
Authority: JP
Inventors: 俊明柿並; 祥勝木村; 亮井上
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 1996-07-31
Filing date: 1996-07-31
Publication date: 2005-03-23
Anticipated expiration: 2016-07-31
Also published as: JPH1047922A

Description

【０００１】
【発明の属する技術分野】
本発明は、路面上のレーン検出方法及び装置に関し、特に自動車の前方の、運転者の視界と一致する可視領域の画像情報に基づき、両側の境界線を特定することによって路面上のレーンを検出し得るレーン検出方法及び装置に係る。
【０００２】
【従来の技術】
一般に、道路の境界線を幾何学的に特定する場合には、道路の両側（左右）の白線の位置を対応づけることが行なわれる。ここで、「対応づける」とは、左右の白線の接線を求めるとき、道路平面内で曲率中心に向かう法線を共有する位置を定めることをいう。そして、法線と接線との交点を「対応点」といい、左右の対応点間を結ぶ線分を「道路セグメント」という。而して、道路の複数の位置で道路セグメントを求め、それらを並設すれば道路平面を表すことになり、各道路セグメントはそのセグメント位置での道路の方向を示している。
【０００３】
上記の道路境界線の特定方法に関しては、慶応義塾大学、小沢慎治氏の論文「道路像解析における対応点の決定法」（電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ７２−Ｄ−ＩＩＮｏ．５ｐｐ．８２７−８３０１９８９年５月発行）において、図１５に示すように、無限遠点の位置を利用してレーンの接線ベクトルＴを求め、左右の接線ベクトルに対する法線である単位セグメントベクトルＳを得て、Ｓ・Ｔ＝０となる接線ベクトルの組み合わせを探すという方法が提案されている。
【０００４】
また、メリーランド大学、ディメンソン（Ｄ．ＤｅＭｅｎｔｈｏｎ）氏の論文「ＡＺＥＲＯ−ＢＡＮＫＡＬＧＯＲＩＴＨＭＦＯＲＩＮＶＥＲＳＥＰＥＲＳＰＥＣＴＩＶＥＯＦＲＯＡＤＦＲＯＭＡＳＩＮＧＬＥＩＭＡＧＥ」（Ｐｒｏｃ．ＩＥＥＥＩｎｔｅｒｌ．Ｃｏｎｆ．ｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ，ｐｐ．１４４４−１４４９，１９８７年３月発行）には次の方法が提案されている。即ち、道路境界線の左右の接線が平行であれば、一方の接線からの法線は他方の接線においても法線となり、道路セグメントの条件を満足する。例えば図１６に示すように、左右の接線Ｎ１−Ｎ２，Ｍ１−Ｍ２が平行でないときには、この交点Ｒは接線Ｎ１−Ｎ２に対する道路セグメントの端点として期待する位置から外れてしまうことになる。従って、道路が曲がっている場合、左右の接線からの法線を使って曲率中心やレーン幅を計算できると説明されている。
【０００５】
一方、自動車の前方の可視領域の画像情報を処理し種々の用途に供する画像処理装置が提案されており、特開平６−２１５１３７号の公報には、画像中の特徴点の情報を高速で検出しうる画像処理装置を提供することを課題とし、走査テーブルメモリ手段上に書き込まれる走査線情報（走査開始座標、走査終了座標）の組合せによって走査領域が決定されるように構成されている。具体的には、進行方向に向かう白線（車線）の輪郭を検出する場合、白線が存在する領域は、通常はある狭い範囲内に限定されるので、その狭い範囲の画像データだけを検出対象として走査すべく、走査領域（ウィンドウという）を、走査テーブルメモリ手段上に書き込まれる走査線情報（走査開始座標、走査終了座標）の組合せによって決定することとしたものである。
【０００６】
【発明が解決しようとする課題】
前述の道路の境界線の特定方法に関し、前者の論文に記載の方法においては、Ｓ・Ｔ＝０が成立するまで演算を繰り返す必要があるので応答性に問題が残る。また、後者の論文に記載の境界線の特定方法においては、曲線で表現される道路の微少区間を台形で表し、最も手前で道路セグメントを設定した台形領域に対して、次の台形を継ぎ足して延長していくことが基本とされている。従って、道路が汚れていたり、白線が欠損している場合には、延長の過程で道路セグメントを設定できないことがある。
【０００７】
尚、前掲の論文には、道路の境界線、道路セグメント等と表現されているが、実際には、路面上に一定の距離を隔てて平行な二本の白色等の明色の線（代表して、白線という）が施されて両側（左右）の境界線とされ、これらの境界線の間の領域が、自動車等が走行するためのレーン（以下、レーンという）となっている。従って、二本の白線を特定することによって路面上のレーンを設定することができる。このような点から本願においては、「道路セグメント」に代えて「レーンのセグメント」もしくは単に「セグメント」を用い、「道路の境界線」に代えて「レーンの境界線」を用いることとする。従って、道路の両端に白線が施され、これらを特定することによって道路を検出する場合には、レーン即ち道路を意味することとなる。
【０００８】
前述のように、道路のレーン形状を安定的にしかも高精度に検出するためには、手前から遠方に向かって一定間隔で複数のレーンのセグメントを設定できることが理想である。しかし、レーンの境界線となる白線は連続した実線もあるが、破線で描かれていることもあり、前述のディメンソン氏の論文に記載の方法のように、走行中の前方道路の画像に対して、予め定めた区間でのみセグメントを設定しようとすると、その区間内に白線が存在しなければ、セグメントを設定できないという不都合が生じる。
【０００９】
そこで、本発明は、路面上のレーン検出方法において、レーン状態に左右されることなく適切にレーンを検出し得るようにすることを課題とする。
【００１０】
また、本発明は、路面上のレーン状態に左右されることなく適切にレーン検出を行ない得るレーン検出装置を提供することを別の課題とする。
【００１１】
【課題を解決するための手段】
上記の課題を解決するため、本発明の路面上のレーン検出方法は、請求項１に記載のように、検出対象とする路面上のレーンの両側の境界線を含む画像情報の濃淡に基づき、前記両側の境界線を表すエッジを検出して順次エッジメモリに格納し、前記両側の境界線を表す連続した二列のエッジ群を形成し；少くとも前記二列のエッジ群に基づき３次元平面上で前記両側の境界線を特定し；前記両側の境界線を特定した前回の画像に基づき前記両側の境界線に対する曲率中心を特定し；前記エッジメモリに新たに格納し前記両側の境界線を表す連続した二列のエッジ群を形成するエッジ群の中から、前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、複数の連続した領域に分割し、該領域毎に一対のエッジ列を抽出し；各領域における各々のエッジ列に対する一対の接線を特定し；該一対の接線に対する法線を特定し；該法線と前記一対の接線の交点を特定し、該一対の交点間の線分を前記レーンのセグメントとして設定し；該セグメントに基づき前記両側の境界線を特定した画像を更新することとしたものである。
【００１２】
あるいは、請求項２に記載のように、前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、相互に隣接する領域の一部が重合するように複数の領域に分割し、該領域毎に一対のエッジ列を抽出することとしてもよい。
【００１３】
更に、請求項３に記載のように、前記一対の接線は、前記各領域における前記一対のエッジ列を平行としたときの各々のエッジ列に対する一対の接線とし、前記各領域における前記一対のエッジ列を構成するエッジ群の重心を特定し、前記法線は、前記重心を通る法線としてもよい。
【００１４】
また、本発明の路面上のレーン検出装置は、請求項４に記載し図２に示したように、検出対象とする路面上のレーンの両側の境界線を含む画像情報を入力し該画像情報の濃淡に基づきエッジを検出し、前記両側の境界線を表すエッジを順次出力するエッジ検出手段ＥＤと、エッジ検出手段ＥＤが出力した前記両側の境界線を表すエッジを順次格納し、前記両側の境界線を表す連続した二列のエッジ群を形成するエッジメモリ手段ＥＭと、少くとも前記二列のエッジ群に基づき３次元平面上で前記両側の境界線を特定する画像処理手段ＤＰと、前記両側の境界線を特定した前回の画像に基づき前記両側の境界線に対する曲率中心を特定する曲率中心特定手段ＲＣと、エッジメモリ手段ＥＭが新たに格納し前記両側の境界線を表す連続した二列のエッジ群を形成するエッジ群の中から、前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、複数の連続した領域に分割し、該領域毎に一対のエッジ列を抽出するエッジ列抽出手段ＥＳと、エッジ列抽出手段ＥＳが抽出した各領域における各々のエッジ列に対する一対の接線を特定する接線特定手段ＴＬと、前記一対の接線に対する法線を特定する法線特定手段ＮＬと、前記法線と前記一対の接線の交点を特定し、該一対の交点間の線分を前記レーンのセグメントとして設定し、該セグメントを画像処理手段ＤＰに出力するセグメント設定手段ＳＤとを備え、画像処理手段ＤＰが、前記セグメントに基づき前記両側の境界線を特定した画像を更新するように構成したものである。
【００１５】
あるいは、請求項５に記載のように、前記エッジ列抽出手段ＥＳは、前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、相互に隣接する領域の一部が重合するように複数の領域に分割し、該領域毎に一対のエッジ列を抽出するように構成してもよい。なお、前記レーン検出装置においては、前記検出対象を含む可視領域を撮像する撮像手段ＣＳを備えたものとし、撮像手段ＣＳが撮像した画像情報をエッジ検出手段ＥＤに入力し、前記エッジを検出するように構成するとよい。
【００１６】
更に、請求項６に記載のように、前記各領域における前記一対のエッジ列を構成するエッジ群の重心を特定する重心特定手段ＧＣを備えたものとし、接線特定手段ＴＬは、前記一対のエッジ列を平行としたときの各々のエッジ列に対する一対の接線を特定し、法線特定手段ＮＬは、前記重心を通る前記一対の接線に対する法線を特定するように構成してもよい。なお、前記レーン検出装置においては、前記検出対象を含む可視領域を撮像する撮像手段ＣＳを備えたものとし、撮像手段ＣＳが撮像した画像情報をエッジ検出手段ＥＤに入力し、前記エッジを検出するように構成するとよい。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照し乍ら説明する。図１は本発明の一実施形態に係るレーン検出方法の原理を説明するもので、先ず（１）前回の画像情報に基づき検出対象の路面のレーン形状が特定できているものとし、この曲率中心Ｃに対して新しい画面での白線に対するエッジ群から、曲率中心Ｃを中心とする円弧を構成する一方のエッジ群あるいは左右のエッジ群の中心に沿って所定距離ΔＬ毎に、複数の連続した領域ＲＳ１，ＲＳ２，ＲＳ３等に分割し、これらの領域毎に一対のエッジ列を抽出する。次に（２）各領域における両側（左右）のエッジ列に対する接線方程式を求める。このとき、左右の白線は平行であるという拘束条件を設け、最小自乗法により２本の接線方程式を求めると共に、エッジ群の重心Ｇを求める。これらに基づき（３）エッジ群の重心Ｇを通り左右の接線に直交する直線即ち法線の方程式を求め、法線と左右の接線との交点を求める。そして（４）左右の交点間を結ぶ線分をレーンのセグメントＳｉとして設定し、（５）セグメントＳｉに基づき、上記のレーン形状を特定した画像を更新する。
【００１８】
而して、レーンの線形判別、任意区間の平均カーブ曲率半径、任意距離前方の方位、自動車のヨー角、横変位、レーン幅等を演算することができる。例えば、運転者の視点位置からセグメントＳ１乃至Ｓｎまでの道のり距離をＤ１乃至Ｄｎとすると、セグメントＳｉ，Ｓｊの延長線上での交点は、道のり距離Ｄｉ，Ｄｊの区間での曲率中心Ｃであり、曲率中心ＣとセグメントＳｉ，Ｓｊまでの距離は曲率半径Ｒｉ，Ｒｊで表すことができる（図示省略）。このようにして、セグメントの任意の区間での曲率半径を演算することができる。そして、求められたセグメントの右側端点もしくは左側端点、又は中点の集合に対して曲線を当てはめれば、境界線又は中心線を曲線の方程式として表すことができるので、任意の道のり距離でのレーンの境界線又は中心線の方位を求めることができる。更に、上述した曲線を視点位置まで延長し、この位置でのセグメントを求めれば、視点位置でのヨー角、横変位、レーン幅を演算することもできる。
【００１９】
次に、本発明のレーン検出装置の実施形態について図面を参照しながら説明する。本実施形態は、自動車の運転者の視界と一致する前方の可視領域内に存在する検出対象を、確実に検出し画像表示し得るように構成されている。図３はレーン検出装置の全体構成を示すもので、例えば固体撮像素子のＣＣＤを用いたＣＣＤカメラ１が、例えば自動車（図示せず）内の運転者の視点近傍に配置され前方の可視領域が撮像される。このＣＣＤカメラ１で撮像されるアナログ信号の画像信号はエッジ検出部１０のＡＤコンバータ１１に供給され、濃度に応じたデジタル信号に変換される。
【００２０】
エッジ検出部１０において、ＡＤコンバータ１１の出力信号は二本のラインバッファ１２を介して検出回路１３内のＳｏｂｅｌのエッジ抽出オペレータ１４に供給され、ｘ方向及びｙ方向のエッジが検出されるように構成されている。また、ＣＣＤカメラ１の出力信号が同期信号としてｘ−ｙアドレス変換部１５に供給される。このとき、エッジのｘ座標として１０ビットが割り当てられ、ｙ座標には９ビットが割り当てられ、最大値用に８ビットが割り当てられ、更に、正負の符号用に１ビットが割り当てられる。更に、検出回路１３は後述するウィンドウゲート１６を有し、検出対象判定部２０に接続されている。尚、このエッジ検出部１０は、ゲートアレーで構成することができる。
【００２１】
検出対象判定部２０はマイクロコンピュータで構成され、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、出力用のシリアルポート２４、割込カウンタ２５、タイマ２６等を有し、これらがアドレスバス及びデータ／コントロールバスを介して接続されている。尚、２７は電源部である。ＲＡＭ２３は図４に示すようにウィンドウメモリ２３ｗとエッジメモリ２３ｅを有し、前者のウィンドウデータがウィンドウゲート１６に供給されると共に、エッジ抽出オペレータ１４の抽出データがウィンドウゲート１６に供給され、ウィンドウゲート１６内でこれらの論理積（ＡＮＤ）が演算され、その演算結果がエッジメモリ２３ｅに供給されて格納される。
【００２２】
図９は、ウィンドウメモリ２３ｗ内のテーブルメモリの一例を示すもので、図９の右側に示す画面の横又は縦（図９の例では横のｘ軸方向）の走査線４８０本に対応する０番地から４７９番地のアドレスが設定される。このアドレス毎に上記の走査線に応じて少くとも一つの基準点のｘ座標又はｙ座標（図９の例ではｘ座標のＸ０乃至Ｘ４７９）を設定すると共に、各基準点に対し所定の幅（図９の例ではＷ０乃至Ｗ４７９）が設定されて格納される。尚、図９の画面の左上角部の座標は（０，０）であり、右下角部の座標は（６３９，４７９）である。また、テーブルメモリが１６ビットである場合には、ウィンドウのｘ座標設定用に１０ビットが用いられ、幅の設定用に６ビットが用いられるように構成されるが、３２ビットのメモリであれば、幅も略画面一杯に設定することができる。
【００２３】
図４はエッジ検出に係る機能ブロック図で、同期信号Ｓが夫々水平カウンタ１７及び垂直カウンタ１８を介して２本のラインバッファ１２、３×３マトリクスレジスタ１９、Ｓｏｂｅｌのエッジ抽出オペレータ１４ｅｘ，１４ｅｙ、ピーク検出部１４ｐｘ，１４ｐｙに供給される。而して、２本のラインバッファ１２を介して走査線３本の画像データが３×３マトリクスレジスタ１９に供給され、エッジ抽出オペレータ１４ｅｘ，１４ｅｙにて、２次元画面におけるｘ方向及びｙ方向のエッジが検出され、更にピーク検出部１４ｐｘ，１４ｐｙにて求められた夫々のピーク値がエッジメモリ２３ｅに供給される。尚、ｙ方向のピーク値を求めるためピーク値検出用のメモリ２３ｐが設けられている。一方、ウィンドウゲート１６にてピーク判定されたときのピーク値検出用メモリ２３ｐの内容とウィンドウメモリ２３ｗのメモリ値との論理積（ＡＮＤ）が求められ、ウィンドウの位置及び幅がエッジメモリ２３ｅに供給される。このエッジメモリ２３ｅは、ｘ方向及びｙ方向の濃度メモリ２３ｇｘ，２３ｇｙとｘ方向及びｙ方向の座標メモリ２３ｐｘ，２３ｐｙを有し、夫々にエッジのピーク値が格納される。
【００２４】
上記の構成になる本実施形態のレーン検出装置においては、図５乃至図８のフローチャートに従って画像処理が行なわれる。先ず図５のステップ１０１において、ＣＣＤカメラ１の全ての出力画像信号がＡＤコンバータ１１及びラインバッファ１２を介して検出回路１３に供給され、画像情報が取り込まれる。次に、ステップ１０２にてエッジが検出される。本実施形態ではこのエッジに基づき図１０に示すように特徴点が設定され、この特徴点のｘ座標及びｙ座標が特定される。また、ステップ１０３において今回の画像処理時の検出対象ウィンドウが設定される。尚、この処理については図６を参照して後述する。
【００２５】
図１０は上記の特徴点の抽出状況を示すもので、先ず画像濃度を表す信号が微分され、微分値（ピーク値）が所定のしきい値によって二値化され所定幅の特徴領域Ｚ１，Ｚ２が形成される。更に、細線化処理が行なわれ、特徴領域Ｚ１，Ｚ２の中央部分の位置が特徴点Ｐ１，Ｐ２とされ、輪郭を表す基準とされる。このように、本実施形態では輪郭を表す指標として一般的なエッジのほかに特徴点が設定されるが、エッジをそのまま用いることとしてもよい。
【００２６】
続いて、ステップ１０４において、ステップ１０２にてエッジに基づいて設定された特徴点と、ステップ１０３で設定された検出対象ウィンドウの論理積（ＡＮＤ）がとられ、このウィンドウ内の特徴点が抽出される。そして、ステップ１０５に進むが、ステップ１０５以降は検出対象が曲線又は直線状の場合に特有の処理であり、具体的には本実施形態が対象とする自動車走行用のレーンの白線の特定に好適な処理である。
【００２７】
ステップ１０５においては、図１１及び図１２に示すように、ステップ１０４で抽出された画面上の特徴点が路面上に存在するように、特徴点の位置が３次元平面上の位置に変換される。尚、前述の２次元平面の座標軸ｘ，ｙに対し、３次元平面の座標軸をＸ，Ｙ，Ｚで表す。上記のように３次元平面上の位置に変換された特徴点によって、ステップ１０６にてレーンのセグメントが設定されるが、これについては図７及び図８を参照して後述する。続いて、ステップ１０７にてセグメントの配列に対し数学モデルが当てはめられ、更にステップ１０８に進み、合致する数学モデルによってレーン形状を表すパラメータ（曲率半径、レーンの幅等）が計測される。更に、ステップ１０９に進み、レーン形状を表すパラメータが２次元平面座標に換算され、次回の検出対象ウィンドウの設定に供される。
【００２８】
次に、図６を参照して、ステップ１０３において実行される検出対象ウィンドウの設定について説明する。ステップ２０１において検出対象ウィンドウ（以下、単にウィンドウという）の縦軸（ｙ軸）の上端及び下端を設定する値が、夫々所定値ｙｂ，ｙｔに設定され（本実施形態では、ｙｂ≧０，ｙｔ≦４７９）、縦軸（ｙ軸）上の位置ｙの値が画面の最下端（ｙ＝４７９）に設定される。
【００２９】
続いて、ステップ２０３においてウィンドウの左側設定用のメモリ（ｙ）及び右側設定用のメモリ（ｙ）が夫々キャンセル（無効）され、ステップ２０４においてｙ軸上の位置ｙの値がディクリメント（−１）された後、ステップ２０５にて所定値ｙｂと比較され、所定値ｙｂ以下となるまでステップ２０３及び２０４が繰り返される。ｙ軸上の位置ｙの値が所定値ｙｂ以下となると、ステップ２０６に進み、所定値ｙｂとされる。このようにして画面の下端が設定され、画面の下方の位置ｙｂからステップ２０７以降の処理が開始する。
【００３０】
ステップ２０７においては、ウィンドウの幅がｗ（ｙ）に設定される。ウィンドウの幅ｗ（ｙ）は、一定（ｗ（ｙ）＝Ｋｙ，但しＫｙは定数）としてもよいし、３次元平面上でウィンドウの幅が一定になるように設定してもよい。あるいは、遠方でウィンドウの幅が拡大するように設定してもよい。そして、ステップ２０８にてウィンドウの左側設定用のメモリ（ｙ）の始点が、ｆｌ（ｙ） −ｗ（ｙ）／２に設定される。ここで、ｆｌ（ｙ）は２次元画面上での左側の白線形状の中心線を表し、前回の値である。
【００３１】
また、ステップ２０９にてウィンドウの左側設定用のメモリ（ｙ）の幅が、ｗ（ｙ）に設定される。同様に、ステップ２１０にてウィンドウの右側設定用のメモリ（ｙ）の始点が、ｆｒ（ｙ） −ｗ（ｙ）／２に設定され、ステップ２１１にてウィンドウの右側設定用のメモリ（ｙ）の幅が、ｗ（ｙ）に設定される。尚、ｆｒ（ｙ）は２次元画面上での右側の白線形状の中心線を表し、前回の値である。このように、本実施形態ではウィンドウの形状は基準点（始点）と幅によって規定されるが、始点と終点を設定することとしてもよい。
【００３２】
次に、ステップ２１２においてｙ軸上の位置ｙの値がディクリメント（−１）された後、ステップ２１３にて画面の上端を表す所定値ｙｔと比較され、所定値ｙｔを下回るまでステップ２０７乃至２１２が繰り返される。ｙ軸上の位置ｙの値が所定値ｙｔを下回ると、ステップ２１４に進む。
【００３３】
而して、画面に予め設定した上端を超えることになるので、ステップ２１４においてウィンドウの左側設定用のメモリ（ｙ）及び右側設定用のメモリ（ｙ）がキャンセルされ、ステップ２１５においてｙ軸上の位置ｙの値がディクリメント（−１）された後、ステップ２１６にて０と比較され、ｙ軸上の位置ｙの値が０を下回るまでステップ２１４及び２１５が繰り返され、ｙ軸上の位置ｙの値が０を下回ると図５のルーチンに戻る。
【００３４】
図５のステップ１０６におけるレーンのセグメントの設定は、図７及び図８のフローチャートに従って実行される。先ず、ステップ３０１において前回の画像に表示された二列のエッジ群による白線の線形形状が判定され、カーブしていると判定されるとステップ３０２以降に進み、直線と判定されるとステップ３１６以降（図８）に進む。白線がカーブしていると判定されると、ステップ３０２において前回の画像に基づき白線の曲率中心が特定され、これを中心とする同心円弧に沿って所定距離ΔＬ毎に、連続した複数の領域ＲＳ１乃至ＲＳｎに分割されると共に、各領域を表す番号ｉがクリアされる。そして、カーブ内側の白線に対し、ステップ３０３にて領域番号ｉの領域ＲＳｉの始点がＩＰ１とされ、ステップ３０４にて領域ＲＳｉの終点がＩＰ２とされる。
【００３５】
次に、ステップ３０５において、図１に示すように前回の画像に表示された白線を円弧としたときの中心Ｃと始点ＩＰ１を通る直線がＬ１とされ、ステップ３０６において中心Ｃと終点ＩＰ２を通る直線がＬ２とされる。続いて、ステップ３０７，３０８に進み、直線Ｌ１とカーブ外側の白線との交点がＯＰ１とされると共に、直線Ｌ２とカーブ外側の白線との交点がＯＰ２とされる。
【００３６】
そして、ステップ３０９において交点ＩＰ１と交点ＩＰ２との間の白線を構成するエッジ群の各座標が最小二乗法演算用行列に供されると共に、ステップ３１０において交点ＯＰ１と交点ＯＰ２との間の白線を構成するエッジ群の各座標が最小二乗法演算用行列に供される。これらの演算結果に基づき、ステップ３１１において一対のエッジ列を構成するエッジ群に対し、最小二乗法により平行線が当てはめられ、一対の接線が特定される。また、ステップ３１２において一対のエッジ列を構成するエッジ群の重心Ｇが求められ、この重心Ｇを通る平行線モデルの法線がステップ３１３にてＳｉとされる。即ち、平行線モデル間の線分がレーンのセグメントＳｉとされる。以上の処理が行なわれた後、領域番号ｉがインクリメント（＋１）され、ｎとなるまでステップ３０３乃至ステップ３１４の処理が繰り返される。
【００３７】
一方、ステップ３０１において前回の画像に表示された白線の線形形状が直線と判定されると、図８のステップ３１６において、所定距離ΔＬ毎に連続した複数の領域ＲＳ１乃至ＲＳｎに分割されると共に、各領域を表す番号ｉがクリアされた後、例えば右側の白線に対し、ステップ３１７にて領域番号ｉの領域の始点がＲＰ１とされ、ステップ３１８にて領域番号ｉの領域の終点がＲＰ２とされる。続いて、ステップ３１９，３２０に進み、左側の白線に対し領域番号ｉの領域ＲＳｉの始点がＬＰ１とされ、領域ＲＳｉの終点がＬＰ２とされる。
【００３８】
そして、ステップ３２１において始点ＲＰ１と終点ＲＰ２との間の白線を構成するエッジ群の各座標が最小二乗法演算用行列に供されると共に、ステップ３２２において始点ＬＰ１と終点ＬＰ２との間の白線を構成するエッジ群の各座標が最小二乗法演算用行列に供される。これらの演算結果に基づき、ステップ３２３において一対のエッジ列を構成するエッジ群に対し、最小二乗法により平行線が当てはめられ、一対の接線が特定される。また、ステップ３２４において一対のエッジ列を構成するエッジ群の重心Ｇが求められ、この重心Ｇを通る平行線モデルの法線がステップ３２５にてＳｉとされる。而して、この法線Ｓｉの平行線モデル間の線分がレーンのセグメントとされる。以上の処理が行なわれた後、領域番号ｉがインクリメント（＋１）され、ｎとなるまでステップ３１７乃至ステップ３２６の処理が繰り返される。
【００３９】
以上のように、本実施形態においては繰り返し演算を行なうことなくレーンのセグメントが設定されるので、安価に構成することができる。また、両側の白線の接線が平行線であることを拘束条件としているので、従前の白線毎に接線を求める方法に比し、路面や白線の汚れ等のノイズに影響され難く、適切にレーンのセグメントを設定することができる。しかも、予め分割された複数の領域ＲＳ１，ＲＳ２，ＲＳ３等に、複数のセグメントＳ１，Ｓ２，Ｓ３等が連続して設定されているので、仮に一部の領域においてセグメントの設定が困難な事態が生じても、他の領域におけるセグメントの設定に影響することなく、略一定の間隔で連続した適切なセグメントを設定することができる。更に、「レーン幅が一定」という拘束条件を加えれば、ノイズの影響を一層受け難くくなる。
【００４０】
図１３は本発明の他の実施形態に係り、例えば複数のセグメントＳ１，Ｓ２等を設定する領域ＲＳ１，ＲＳ２等が相互に重合するように設定されたもので、特に、図１３ではエッジ列が略直線状であるときの領域の設定状況を示している。即ち、本実施形態では、図１３に重合部分をΔｌｐで示したように、隣接する領域ＲＳ１，ＲＳ２が重合している。尚、その他の構成は前述の実施形態と同様であるので説明を省略する。
【００４１】
図１４は、距離ΔＬが一定でなく、レーンのカーブに沿って分割する区分の長さが順次短くなるように設定した例を示すものである。従って、この例では曲率中心がＣ１，Ｃ２，Ｃ３というように移動することとなるが、基本的には前述の方法と同様にセグメントＳ１，Ｓ２，Ｓ３等を設定することができる。
【００４２】
【発明の効果】
本発明は前述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に係る路面上のレーン検出方法は、曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、複数の連続した領域に分割し、該領域毎に一対のエッジ列を抽出し、各領域における各々のエッジ列に対する一対の接線を特定し、これら一対の接線に対する法線を特定し、この法線と一対の接線の交点を特定し、これら一対の交点間の線分をレーンのセグメントとして設定することとしており、略一定間隔の複数の領域毎にセグメントを設定することができるので、仮に一部にセグメントの設定が困難な区間があった場合でも、確実にセグメントを設定し、適切にレーンを検出することができる。
【００４３】
更に、請求項２に記載の方法においては、相互に隣接する領域の一部が重合するように複数の領域に分割し、該領域毎に一対のエッジ列を抽出することとしているので、例えばレーンを構成する白線が破線であっても、あるいは白線の一部が消えていても各領域内でエッジを確保することができ、確実にセグメントを設定し、適切にレーンを検出することができる。
【００４４】
また、請求項３に記載の方法においては、各領域における一対のエッジ列を平行としたときの各々のエッジ列に対する一対の接線を特定し、これら一対のエッジ列を構成するエッジ群の重心を特定し、この重心を通る一対の接線に対する法線を特定することとしているので、レーンの汚れ等のノイズに影響され難く、迅速且つ確実にセグメントを設定し、適切にレーンを検出することができる。
【００４５】
請求項４に記載の路面上のレーン検出装置は、曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、複数の連続した領域に分割し、該領域毎に一対のエッジ列を抽出するエッジ列抽出手段と、エッジ列抽出手段が抽出した各領域における各々のエッジ列に対する一対の接線を特定する接線特定手段と、前記一対の接線に対する法線を特定する法線特定手段を具備し、セグメント設定手段により、前記法線と前記一対の接線の交点を特定し、該一対の交点間の線分をレーンのセグメントとして設定するように構成されており、略一定間隔の複数の領域毎にセグメントを設定することができるので、仮に一部にセグメントの設定が困難な区間があった場合でも、確実に複数の領域毎にセグメントを設定し、適切にレーン検出を行なうことができる。
【００４６】
また、請求項５に記載の装置においては、エッジ列抽出手段が、相互に隣接する領域の一部が重合するように複数の領域に分割し、該領域毎に一対のエッジ列を抽出する構成とされているので、破線の白線に対しても各領域内でエッジを確保することができ、確実にセグメントを設定し、適切にレーン検出を行なうことができる。
【００４７】
また、請求項６に記載の装置においては、接線特定手段が、各領域における一対のエッジ列を平行としたときの各々のエッジ列に対する一対の接線を特定し、重心特定手段が、これら一対のエッジ列を構成するエッジ群の重心を特定し、法線特定手段が、重心を通る一対の接線に対する法線を特定するように構成されているので、ノイズに影響され難く、迅速且つ確実にセグメントを設定し、適切にレーン検出を行なうことができる。
【図面の簡単な説明】
【図１】本発明の路面上のレーン検出方法におけるセグメントの設定方法を示す説明図である。
【図２】本発明の路面上のレーン検出装置の構成の概要を示すブロック図である。
【図３】本発明一実施形態の全体構成を示すブロック図である。
【図４】本発明の一実施形態におけるエッジ検出部の構成を示すブロック図である。
【図５】本発明の一実施形態における画像処理を示すフローチャートである。
【図６】本発明の一実施形態における検出対象ウィンドウ設定の処理を示すフローチャートである。
【図７】本発明の一実施形態におけるセグメント設定の処理を示すフローチャートである。
【図８】本発明の一実施形態におけるセグメント設定の処理を示すフローチャートである。
【図９】本発明の一実施形態におけるウィンドウ設定メモリを示す構成図である。
【図１０】本発明の一実施形態における特徴点の検出状況を示すグラフである。
【図１１】本発明の一実施形態において特徴点の位置を３次元平面上の位置に変換する状況を示す図である。
【図１２】本発明の一実施形態において特徴点の位置を３次元平面上の位置に変換する状況を示す図である。
【図１３】本発明の他の実施形態に係るレーン検出方法における領域及びセグメントの設定方法を示す説明図である。
【図１４】本発明の更に他の実施形態に係るレーン検出方法における領域及びセグメントの設定方法を示す説明図である。
【図１５】従来の道路セグメントの設定方法の一例を説明する図である。
【図１６】従来の道路セグメントの設定方法の他の例を説明する図である。
【符号の説明】
１ＣＣＤカメラ
１０エッジ検出部
１１ＡＤコンバータ
１２ラインバッファ
１３検出回路
１４エッジ抽出オペレータ
１５ｘ−ｙアドレス変換部
１６ウィンドウゲート
２０検出対象判定部
２３ｗウィンドウメモリ
２３ｅエッジメモリ

Claims

検出対象とする路面上のレーンの両側の境界線を含む画像情報の濃淡に基づき、前記両側の境界線を表すエッジを検出して順次エッジメモリに格納し、前記両側の境界線を表す連続した二列のエッジ群を形成し；少くとも前記二列のエッジ群に基づき３次元平面上で前記両側の境界線を特定し；前記両側の境界線を特定した前回の画像に基づき前記両側の境界線に対する曲率中心を特定し；前記エッジメモリに新たに格納し前記両側の境界線を表す連続した二列のエッジ群を形成するエッジ群の中から、前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、複数の連続した領域に分割し、該領域毎に一対のエッジ列を抽出し；各領域における各々のエッジ列に対する一対の接線を特定し；該一対の接線に対する法線を特定し；該法線と前記一対の接線の交点を特定し、該一対の交点間の線分を前記レーンのセグメントとして設定し；該セグメントに基づき前記両側の境界線を特定した画像を更新することを特徴とする路面上のレーン検出方法。
前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、相互に隣接する領域の一部が重合するように複数の領域に分割し、該領域毎に一対のエッジ列を抽出することを特徴とする請求項１記載のレーン検出方法。
前記一対の接線が、前記各領域における前記一対のエッジ列を平行としたときの各々のエッジ列に対する一対の接線であって、前記各領域における前記一対のエッジ列を構成するエッジ群の重心を特定し、前記法線が、前記重心を通る法線であることを特徴とする請求項１記載のレーン検出方法。
検出対象とする路面上のレーンの両側の境界線を含む画像情報を入力し該画像情報の濃淡に基づきエッジを検出し、前記両側の境界線を表すエッジを順次出力するエッジ検出手段と、該エッジ検出手段が出力した前記両側の境界線を表すエッジを順次格納し、前記両側の境界線を表す連続した二列のエッジ群を形成するエッジメモリ手段と、少くとも前記二列のエッジ群に基づき３次元平面上で前記両側の境界線を特定する画像処理手段と、前記両側の境界線を特定した前回の画像に基づき前記両側の境界線に対する曲率中心を特定する曲率中心特定手段と、前記エッジメモリ手段が新たに格納し前記両側の境界線を表す連続した二列のエッジ群を形成するエッジ群の中から、前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、複数の連続した領域に分割し、該領域毎に一対のエッジ列を抽出するエッジ列抽出手段と、該エッジ列抽出手段が抽出した各領域における各々のエッジ列に対する一対の接線を特定する接線特定手段と、前記一対の接線に対する法線を特定する法線特定手段と、前記法線と前記一対の接線の交点を特定し、該一対の交点間の線分を前記レーンのセグメントとして設定し、該セグメントを前記画像処理手段に出力するセグメント設定手段とを備え、前記画像処理手段が、前記セグメントに基づき前記両側の境界線を特定した画像を更新するように構成したことを特徴とする路面上のレーン検出装置。
前記エッジ列抽出手段が、前記曲率中心を中心とする同心円弧に沿って夫々所定距離毎に、相互に隣接する領域の一部が重合するように複数の領域に分割し、該領域毎に一対のエッジ列を抽出することを特徴とする請求項４記載のレーン検出装置。
前記各領域における前記一対のエッジ列を構成するエッジ群の重心を特定する重心特定手段を備え、前記接線特定手段が、前記一対のエッジ列を平行としたときの各々のエッジ列に対する一対の接線を特定し、前記法線特定手段が、前記重心を通る前記一対の接線に対する法線を特定するように構成したことを特徴とする請求項４記載のレーン検出装置。