JP4128837B2

JP4128837B2 - 路面走行レーン検出装置

Info

Publication number: JP4128837B2
Application number: JP2002284678A
Authority: JP
Inventors: 佐藤　　淳; 俊明柿並
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2008-07-30
Anticipated expiration: 2022-09-30
Also published as: JP2004118757A

Description

【０００１】
【発明の属する技術分野】
本発明は、路面上の走行レーン検出装置に関し、特に車両前方の路面を連続して撮像した画像から走行レーンを検出する路面走行レーン検出装置に係る。
【０００２】
【従来の技術】
【特許文献１】
自動車の自動制御や運転者の運転支援等においては、カメラで撮像した画像から路面上の走行レーンを適切且つ安定的に検出することが重要となる。このため、路面上の走行レーンを検出する装置については、従来から種々提案されており、例えば特開平１０−４７９２３号公報に開示されている。同公報に記載の路面のレーン検出装置においては、レーンマーク状態に左右されることなく適切に路面上のレーンを検出するため、画像情報の濃淡に基づきエッジを検出し、エッジ列からレーンのセグメントを設定することとしている。
【０００３】
【非特許文献１】
一方、画像処理技術に関し、直線検出方法としてHough変換が広く知られており、例えば、「コンピュータ画像処理入門」（田村秀行監修。総研出版、昭和６０年３月１０日第１版第１刷発行）の１２７頁及び１２８頁に解説されている。このようなHough変換はノイズにロバストな直線検出方法として知られ、（ｘ，ｙ）座標系の点を（ρ，θ）極座標系上の曲線に変換する過程で、（ｘ，ｙ）座標系で同一の直線上にあった特徴点による（ρ，θ）座標系上の曲線は１点で交差することを特徴としている。
【０００４】
【非特許文献２】
更に、近年コンピュータビジョンにおいて、ロバスト法の一種であるRANSAC（Random Sample Consensus）が注目されている。このRANSACは、Martin A. Fischero及びRobert C. Bollesによる「Random Sample Consensus：A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography」と題する論文（Graphics and Image Processing, vol.24(6), page 381−395。1981年発行）に詳細に解説されている。
【０００５】
【非特許文献３】
また、Richard Hartley及びAndrew Zissermanによる「Multiple View Geometry in Computer Vision」と題する書籍（Cambridge University Press. 2000年8月発行）の１０１頁乃至１０７頁にも、RANSACが解説されている。
【０００６】
【発明が解決しようとする課題】
前掲の特許文献１にも記載のように、画像認識による走行レーンの検出において最重要の解決課題は、路面上の種々の影や汚れ、画像ノイズ等の予測不可能な外乱が、時として走路境界を示すレーンマーク（白線）に酷似した画像パターンを示すことがあり、これらが誤って走路境界と誤認識されてしまうことである。尚、本願においては、特にことわらない限り、単に「走行レーン」あるいは「レーン」というときはレーン境界線の意を含み、路面上の白線そのものを指すときは「レーンマーク」という。
【０００７】
また、非特許文献１に記載のHough変換は、検出対象の特徴点の数よりも、偽の特徴点の方が多い場合は、正しい結果が得られないという問題点がある。
【０００８】
これに対し、前掲の非特許文献２及び３に記載のRANSACは、検出したい対象の真の特徴点のみでなく、偽の特徴点が混在する状況下において、比較的少ない探索回数で、真の特徴点のみを選び出し、直線などの数式モデルを適合させる手段として有効である。前述のように、路面上の走行レーンを検出する装置においては、路面上の影や画像ノイズ等の種々の外乱が存在する状況下で、レーン上の真の特徴点のみを選択することが必要であるので、RANSACを適用すれば適切に路面上の走行レーンを検出することができる筈である。
【０００９】
然し乍ら、RANSACでは、全特徴点データ中における偽の特徴点の占める割合が多い場合には、探索回数を極めて多くしなければ正しい解が得られないという問題がある。特に、偽の特徴点が多過ぎる場合には、正しい解が見つからない状態となるおそれがあり、別途対策を講ずる必要が生ずる。
【００１０】
そこで、本発明は、路面及びレーンマーク状態に影響されることなく、路面上の走行レーンを高速且つ安定的に検出し得る路面走行レーン検出装置を提供することを課題とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明の路面走行レーン検出装置は、請求項１に記載のように、撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走行レーン検出装置において、今回撮像した画像の所定領域から特徴点データを抽出する特徴点抽出手段と、該特徴点抽出手段で抽出した今回の特徴点データに最も適合する直線を表わす今回の直線データを検出する直線検出手段と、該直線検出手段で検出した今回の直線データに基づき今回の走行レーンを検出するレーン検出手段とを備え、該レーン検出手段が検出した今回の走行レーン及び前記直線検出手段が検出した今回の直線データを前記特徴点抽出手段に供給し、前記特徴点抽出手段が、前記今回の走行レーン及び前記今回の直線データに基づき所定の特性を設定し、次回撮像した画像から抽出する特徴点データのうち、前記所定の特性を充足する特徴点データを、次回の特徴点データとして抽出すると共に、更に前記直線検出手段及び前記レーン検出手段の検出結果に基づき前記特徴点データを抽出した順に順序化する順序化手段を有し、前記直線検出手段が、所定の数式モデルの適合に必要な最小限の数のデータを、前記順序化手段の特徴点データの中から前記順序化手段により順序化された順序に従って所定の間隔で取り出すデータ抽出手段と、該データ抽出手段が抽出したデータに数式モデルを当てはめて数式モデルを求める数式モデル演算手段と、該数式モデル演算手段で求めた数式モデルに適合する特徴点データの数を求めるデータ数計数手段と、前記順序化手段が設定した前記特徴点データの順序に従って前記特徴点データの全てを順にサンプルして前記データ抽出手段、前記数式モデル演算手段及び前記データ数計数手段の処理を繰り返した結果、前記数式モデル演算手段で求めた数式モデルの中から、最も適合する特徴点データの数が多い数式モデルを真の数式モデルとして設定する数式モデル設定手段とを備えることとしたものである。
【００１２】
上記の順序化には、例えばその前段階として、特徴点データを所定の条件に従って複数のグループに区分するグループ化を含み、従って、順序化手段ではグループ化乃至順序化を行う。
【００１３】
また、前記特徴点抽出手段は、請求項２に記載のように、少なくとも初回に撮像した画像の少なくとも二つ領域から前記特徴点データを抽出するように構成するとよい。尚、初回に撮像した画像のほか、特徴点が十分抽出できない画像、及びレーンが消失した画像に対して特徴点データを抽出する場合にも、画像の二つ領域から特徴点データを抽出するとよい。
【００１４】
更に、前記特徴点抽出手段は、請求項３に記載のように、連続して撮像した画像のうち前記レーン検出手段が検出した走行レーンを含む少なくとも二つ領域から前記特徴点データを抽出するように構成してもよい。
【００１５】
尚、請求項３記載の装置において、前記特徴点抽出手段は、請求項４に記載のように、前記少なくとも初回に撮像した画像の少なくとも二つ領域において所定回数連続して前記直線検出手段が直線を検出したときに、前記走行レーンを含む少なくとも二つ領域から前記特徴点データを抽出するように構成するとよい。更に、前記順序化手段は、請求項５に記載のように、今回撮像した画像の所定領域を走査することによって得られる順に前記特徴点データを順序化するように構成することができる。
【００１６】
【発明の実施の形態】
上記の構成になる本発明の路面走行レーン検出装置の具体的一態様について、以下に図面を参照して説明する。図１は路面走行レーン検出装置の一実施形態を示すもので、撮像手段ＣＭによって路面を連続して撮像し、その画像ＤＳの中から走行レーンを検出するように構成されている。本実施形態は、図１に示すように、今回撮像した画像の所定領域から特徴点データを抽出する特徴点抽出手段ＣＲと、この特徴点抽出手段ＣＲで抽出した今回の特徴点データに最も適合する直線を表わす今回の直線データを検出する直線検出手段ＳＤと、この直線検出手段ＳＤで検出した今回の直線データに基づき今回の走行レーンを検出するレーン検出手段ＬＤを備えている。そして、レーン検出手段ＬＤが検出した今回の走行レーン（境界線ＬＬ１及びＲＬ１）及び直線検出手段ＳＤが検出した今回の直線データを特徴点抽出手段ＣＲに供給するように構成され、特徴点抽出手段ＣＲは、前記今回の走行レーン及び前記今回の直線データに基づき所定の特性を設定すると共に、次回撮像した画像から抽出する特徴点データのうち、前記所定の特性を充足する特徴点データを、次回の特徴点データとして抽出するように構成されている。
【００１７】
上記の特徴点抽出手段ＣＲは、初回に撮像した画像ＤＳの少なくとも二つ領域ＬＳ１及びＲＳ１（図３に拡大して示す）から特徴点データを抽出するように構成されている。また、連続して撮像した画像のうちレーン検出手段ＬＤが検出した走行レーン（境界線ＬＬ１及びＲＬ１）を含む少なくとも二つの領域ＬＳ２及びＲＳ２（図４に拡大して示す）から特徴点データを抽出するように構成されている。
【００１８】
更に、特徴点抽出手段ＣＲは、図１に示すように、直線検出手段ＳＤ及びレーン検出手段ＬＤの検出結果に基づき特徴点データを順序化する順序化手段ＯＤを有する。尚、順序化には、図３及び図４に示すような特徴点データを所定の条件に従って複数のグループに区分するグループ化が含まれており、従って、順序化手段ＯＤではグループ化乃至順序化が行われる。
【００１９】
また、直線検出手段ＳＤは、所定の数式モデルの適合に必要な最小限の数のデータを、順序化手段ＯＤの特徴点データの中から所定の間隔で取り出すデータ抽出手段ＤＲと、このデータ抽出手段ＤＲが抽出したデータに基づき数式モデルを求める数式モデル演算手段ＡＭと、この数式モデル演算手段ＡＭで求めた数式モデルに適合する特徴点データの数を求めるデータ数計数手段ＮＤを備えている。更に、数式モデル設定手段ＭＳを備え、図１に破線で示すように、順序化手段ＯＤが設定した特徴点データの順序に従って特徴点データの全てを順にサンプルしてデータ抽出手段ＤＲ乃至数式モデル設定手段ＭＳの処理を繰り返した結果、最も適合する特徴点データの数が多い数式モデルを真の数式モデルとして設定するように構成されている。尚、数式モデルは直線の方程式を含み、この直線の設定例については図５を参照して後述する。
【００２０】
上記図１の路面走行レーン検出装置は、図２に示すハード構成を有する。即ち、図示しない車両の前方に、撮像手段ＣＭとして例えばＣＣＤカメラ（以下、単にカメラという）ＣＤが装着されており、路面を含む車両前方の視界が連続して撮像される。カメラＣＤの映像信号は、ビデオ入力バッファ回路ＶＢ、同期分離回路ＳＹを経てＡ／Ｄ変換されフレームメモリＦＭに格納される。このフレームメモリＦＭに格納された画像データは、画像処理部ＶＣで処理される。画像処理部ＶＣは、画像データ制御部ＶＰ、特徴点抽出部ＣＰ、直線検出部ＳＰ及びレーン検出部ＬＰで構成されている。尚、特徴点抽出出部ＣＰ、直線検出部ＳＰ及びレーン検出部ＬＰは、夫々、図１の特徴点抽出手段ＣＲ、直線検出手段ＳＤ及びレーン検出手段ＬＤに対応している。
【００２１】
画像処理部ＶＣにおいては、フレームメモリＦＭ内の画像データから、画像データ制御部ＶＰでアドレス指定されたデータが呼び出されて特徴点抽出部ＣＰに送られ、ここで特徴点たるエッジが抽出される。このように抽出されたエッジデータに対し、直線検出部ＳＰにおいて直線検出処理が行われる。レーン検出部ＬＰでは、検出された直線データの中から、最もレーン境界線らしい線分（最もレーンに適合する直線）が検出される。そして、レーンの幅、道路の曲率、自車との位置、姿勢角等の検出結果が、システム制御部ＳＣ（コンピュータ）、出力インターフェース回路ＯＵを介して外部のシステム機器（図示せず）に出力される。尚、図２におけるＣＬ、ＰＷ、ＩＮは夫々クロック回路、電源回路及び入力インターフェース回路である。
【００２２】
上記のように、画像処理部ＶＣにおける画像データからの直線検出処理に関しては、特徴点抽出部ＣＰ、直線検出部ＳＰ及びレーン検出部ＬＰの３つの部分によって行われ、図１で説明したように、逐次的に処理が行われると同時に、各部で得られた結果や状態データが他の部分における処理に供される。即ち、特徴点抽出部ＣＰではエッジオペレータ（図示せず）により特徴点の抽出が行われ、得られた特徴点データが直線検出部ＳＰに送られる。直線検出部ＳＰでは特徴点データをもとに、偽の特徴点を除去しつつ最もよく当てはまる直線が検出される。このようにして得られた直線データは、次の時刻での特徴点抽出の参考とするために特徴点抽出部ＣＰに送られると共に、レーン検出部ＬＰに送られる。レーン検出部ＬＰでは、直線検出部ＳＰで得られた左右２つの直線（例えば図４のＬＬ１及びＲＬ１）をもとにレーンらしさが計算され、レーン検出の成否が判定される。そして、このレーン検出の状態データは特徴点抽出部ＣＰに送られ、次の時刻での特徴点抽出の参考データとして用いられる。
【００２３】
以下、上記特徴点抽出部ＣＰ、直線検出部ＳＰ及びレーン検出部ＬＰの各部における処理を詳細に説明する。先ず、特徴点抽出部ＣＰにおいては、高速且つ高い信頼性でレーンを構成する特徴点を抽出するために、本実施形態では２種の特徴点抽出モード（モード１、モード２）が設けられている。即ち、初期状態やカメラ画像からレーンが消えた場合においては、レーンマーク（白線）の位置や傾きに関する事前情報が存在しないため、画像中の広い範囲において特徴点を探す必要がある。これに対し、レーンが安定的に検出されている状態では、次の時刻（次回）にレーンマーク（白線）が出現する位置や傾きがある程度予測可能であるため、特徴点の抽出領域はこの予測範囲においてのみ行えばよい。そこで、本実施形態では、前者のように広範囲に特徴点を探す必要がある場合はモード１とされ、後者のように前の時刻での情報を用いて抽出領域を狭める場合はモード２とされる。以下、これらのモード１、モード２の動作について順次説明する。
【００２４】
先ず、モード１は、以下の３つの場合に設定され、前の時刻の情報を用いることなく、広く画像中を探索し特徴点を検出することになる。第１に、動作開始時、第２に、特徴点が十分得られないとき、第３に、レーンが画像から消失したときである。このような場合（モード１）には、カメラＣＤがほぼ車両進行方向に向いているものと仮定し、図３に示すように画像ＤＳ中の左右に二つの領域、即ち左側レーンの特徴点を抽出するための領域（左白線特徴点抽出領域）ＬＳ１と右側レーンの特徴点を抽出するための領域（右白線特徴点抽出領域）ＲＳ１がそれぞれ広く設定される。
【００２５】
それぞれの領域内では画像ＤＳの中央から周辺に向けて水平方向にエッジ検出オペレータ（図示せず）が走査され、所定のしきい値以上の輝度変化がある点が特徴点として抽出される。尚、本実施形態では、処理の高速化のため、エッジ検出オペレータとして、１×７の微分オペレータが用いられている。また、レーンマーク（白線）内側のエッジのみを検出するために、走査方向に向けて輝度が増加する特徴点のみを抽出するように構成されている。
【００２６】
そして、上記のモード１においてＮ時刻連続して直線が検出されると、モード２に遷移するように構成されている。モード２では、前の時刻においてレーンマーク（白線）が安定的に検出されているとして、この白線近傍の所定領域のみに次の時刻の特徴点抽出領域が設けられる。但し、１時刻前の直線位置だけを参考にすると抽出領域が不安定になるため、前Ｎ時刻の直線検出結果の移動平均を求め、その近傍に、例えば図４に示す抽出領域ＬＳ２及びＲＳ２が設定される。このモード２における特徴点抽出領域は、２つのレーン境界線ＬＬ１及びＲＬ１に沿った形状に設定されているが、垂直方向の抽出領域はモード１と同じ値に設定されている。尚、モード２では、モード１とは異なり、水平方向の抽出領域には制限が設けられていないので、画像ＤＳの中央を跨いで抽出領域が設定される場合もあり得る。以上のように、レーンの位置や姿勢が学習されて抽出領域が設定される。
【００２７】
次に、直線検出部ＳＰでは、特徴点抽出部ＣＰで得られた特徴点に最も良く適合する直線として、画像ＤＳの左右に一本ずつ検出される。このときの直線検出には従来はHough変換が用いられることが多かったが、前述のように、Hough変換では量子化されたρ−θ空間（距離−角度空間）に投票して最も投票が多かった距離ρと角度θを選び直線検出するといった方式であるため、量子化の行い方によっては結果が不安定になる場合が生ずる。これに対し、このような量子化を行わずにデータに最も良く一致する数式モデルを計算する方法として前述のRANSACが提案されている。
【００２８】
RANSAC（Random Sample Consensus）は文字通りランダムに取り出したサンプルと最もコンセンサスがとれる数式モデルを見出す方法である。このRANSACではデータ中に誤ったデータが含まれている状態で、正しいデータのみを検出して数式モデルを当てはめることができる。前述のように、画像ノイズなどの外乱に影響されることなく安定的に数式モデルが当てはめられることから、近年、コンピュータビジョンの様々なタスクに用いられている。
【００２９】
ここで、RANSACのアルゴリズムを説明すると、先ず、当てはめたい数式モデルを計算するのに必要最小限の数のデータをランダムに取り出す。例えば、直線を当てはめる場合には、直線は２点で決まるので、多くの特徴点の中から２点のデータをランダムに取り出す。次に、取り出したデータをもとに数式モデルを計算する。直線当てはめの場合には、図５に示すように、取り出した２点のデータを使って直線の方程式を計算する。尚、図５において、破線はしきい値範囲を示し、Ｄｘは直線と特徴点の距離を示す。そして、求めた数式モデルに当てはまるデータの数を求める。直線当てはめの場合には、求めた直線に当てはまる特徴点の数を求める。このとき、当てはまるかどうかは数式モデル近傍領域にデータが入っているか否かで判断する。直線当てはめの場合には、図５に示すように、求めた直線と特定の特徴点との距離がしきい値以下であればその特徴点は求めた直線に当てはまっていると判断する。最後に、全データからランダムにＮセットのデータを取り出し、それぞれにおいて上記のように当てはまるデータ数を求め、最も当てはまるデータ数が多い数式モデルを真のモデルとする。直線当てはめの場合には、最も当てはまる特徴点数が多い直線を求める。
【００３０】
上記のように、RANSACでは、間違った（偽の）データが存在する状況下において、全数探索をすることなく、サブセット探索を行うだけでかなり高い確率で、正しい数式モデルを求めることができるのが大きな特徴である。しかし、正しい解を得る確率をある一定値以上に保証しようとすると、全データ中における間違ったデータの割合が増加するに従い、取り出すサンプルの数を増す必要がある。一般的に、モデルの自由度をｄ，間違ったデータの割合をｅ，正しい解が得られる確率をｐとすると、RANSACにおいて確率ｐを保証するためには、サンプリング回数Ｎは、Ｎ＝log(1−p)／log(1−(1−e)^d)に基づいて求められる値以上にする必要がある。
【００３１】
本発明が対象とするレーン検出においては、路面上の影などの影響で正しいレーンを表す特徴点数が極端に少なくなり、代わりに偽の特徴点が増えた場合には、正しい解を得る確率を保証するために非常に多くの回数のサンプリングとモデルフィッティングを必要とすることになる。逆に、サンプリングとモデルフィッティングの回数を一定値に固定すると、偽の特徴点の割合に応じて正しい解が得られる確率が変動し、偽の特徴点数が多い場合には誤検出の確率が極めて高くなる。
【００３２】
図６は、直線検出の問題（ｄ＝２）において、99.99％の確率で正しい解を得るのに必要なサンプリング回数Ｎと、間違ったデータの割合ｅとの関係を示す。同図から、間違ったデータの割合が増加するに従って、必要なサンプリング数が急激に増加することが分かる。また図７は、サンプリング数を100に固定した場合における、間違ったデータの割合ｅと正しい直線が得られる確率ｐとの関係を示す。同図から、ｅが増加するに従い、正しい直線が得られる確率ｐが急激に低下することが分かる。
【００３３】
上記のようなレーン検出におけるRANSACの問題点に鑑み、本願発明者は、これを改良し、少ない計算回数で正しい解が得られる確率を高く保つアルゴリズム、Connected Sample Consensus（CONSACと呼ぶ）を開発した。前述のように、RANSACでは、全く情報のない状態で、サンプルをランダムに抜き出して当てはめ度をチェックすることが行われるが、多くのタスクでは、そのタスク固有の事前情報を用いることにより、データを予めグループ化あるいは順序化できる場合が多い。CONSACでは、このような事前情報を用いることにより、全くランダムにデータをサンプルするのではなく、グループ分けや順序付けに従ってデータをサンプルし計算することにより、場合の数を減らし、少ない探索回数で正しい解が得られる確率を高く維持するものである。このように、CONSACではデータの継りを利用することから、RANSACの「Random」に代えて「Connected」としたものであり、そのアルゴリズムは以下のとおりである。
【００３４】
先ず、事前情報を用いてある程度意味のあるようにデータをグループ化、順序化する。次に、当てはめたい数式モデルの計算に必要な最小限の数のデータをこの順序化されたデータの中から所定の間隔で取り出す。この抽出したデータにより数式モデル計算をする。このように求めた数式モデルに当てはまるデータの数を求める。そして、データの順序付けに従って全てのデータを順にサンプルしながら以上の処理を繰り返して行い、最も当てはまるデータ数が多い数式モデルを真のモデルとする。
【００３５】
本実施形態では、前述のように、特徴点抽出部ＣＰにおいて、図３に示すように左白線特徴点抽出領域ＬＳ１と右白線特徴点抽出領域ＲＳ１に分割されているので、先ず抽出領域ＬＳ１及びＲＳ１毎にデータをグループ化することができる。更に、各抽出領域内を順次水平に走査しながら特徴点が抽出されるため、抽出される特徴点は、図８に１乃至１２とデータ番号を付したように、実線で示す直線（レーン境界線）に沿って概ね順番に並ぶという性質がある。このような状態では、データ番号が近い点同士は同一直線上に乗っている確率が極めて高い。そこで、走査によって得られた順に特徴点データに対し順序付けが行われ、直線検出部ＳＰにおいて、この特徴点データ順に従ってある程度小さな間隔で２点がサンプルされ直線の方程式が計算される。次に、この直線に当てはまるデータの数がカウント（計数）される。所定のデータ順に従って全特徴点データに関してこの処理が繰り返して行なわれ、当てはまるデータの数が最大となる直線が真の直線として検出される。
【００３６】
而して、本発明のCONSACによれば、Hough変換における、抽出したい対象物の特徴点の数よりも偽の特徴点の方が多い場合は正しい結果が得られないという問題を解決すると共に、RANSACでは偽の特徴点の割合が増加すると安定的に抽出することができないという問題を解決することができる。更に、偽の特徴点が多い場合でも非常に少ない探索回数で確実に正しい解を得ることができる。
【００３７】
例えば、RANSACでは、正しい特徴点の数が一定である場合、ある一定の検出確率を確保するためには、偽の特徴点数Ｎ、モデルの自由度Ｍに対してＮ^Ｍのオーダーの探索が必要となるのに対し、本発明のCONSACではＮのオーダーの探索で済み、しかも全数探索であるため確実に正しいモデルが求められる。そして、図２のように構成することにより、例えば600MHzのCPUを搭載したコンピュータにおいて１フレーム当たり約200msecで、車両の影や防音壁の影、路面表示、路面の汚れ等、種々の外乱が存在する状況下においても、安定してレーン検出を行うことができる。
【００３８】
次に、レーン検出部ＬＰにおける処理を説明する。上記のように、直線検出部ＳＰにより、所定の特徴点抽出領域（例えば図３のＬＳ１）内において直線が連続してＮ回検出された場合に、その特徴点抽出領域においてレーンが検出されたと判定され、検出された直線がレーン境界線とされる。同時に、特徴点抽出部ＣＰにおいてモード１からモード２に切替えられる。このような処理が左右それぞれの特徴点抽出領域において行なわれる。左右両方の特徴点抽出領域においてレーン境界線が検出された場合に、得られた境界線の妥当性が判定され、妥当であればレーンが検出されたと判定される。尚、レーン境界線の妥当性は２つの境界線間の間隔が道路構造基準に沿った間隔であるか否かによって判定される。レーン検出部ＬＰで求められた境界線間の間隔が基準範囲内に入っていればレーン検出成功とされ、基準範囲外であればレーン検出失敗とされる。レーン検出に失敗した場合には、特徴点抽出部ＣＰにおいてモード２からモード１に切替えられる。
【００３９】
上記のように構成された本実施形態によるレーン検出の評価結果を説明する。先ず、RANSACによる直線検出例とCONSACによる直線検出例を比較すると、RANSACでは、全特徴点データ中において偽の特徴点の割合が増加すると、前述のように直線検出率が急激に減少する。逆に直線検出率を一定に維持しようとすると、偽の特徴点の増加に伴いサンプリング回数を急激に増加させる必要が生ずる。例えば、画像中に直線上の正しい特徴点が２０点得られており、偽の特徴点がｍ点得られているとする。ｍの値を２０点から４００点まで変化させたとき、RANSACにおいて99.99％の確率で正しい直線が得られるサンプリング数Ｎを求めた結果を図９に破線で示し、CONSACにおける必要サンプリング数を実線で示した。この図９から明らかなように、RANSACによる直線検出では偽の特徴点が増加するにつれて必要サンプリング数が急激に増加するのに対し、CONSACによる方法では全数探索を行っているにもかかわらずサンプリング数は極めて少なくて済む。
【００４０】
次に、Hough変換に基づく直線検出例とCONSACによる直線検出例を比較すると、Hough変換では投票領域が量子化されていることから、データの並びによっては最も可能性の高い直線が安定的に検出されない場合が生ずる。図１０はHough変換に基づくレーン検出の一例を示すもので、図中の黒点は特徴点を示し、太い実線ＬＬ０及びＲＬ０は検出した直線を示す。図１０の右側では、最も多くのデータサポートを受けながら正しい直線が求まっておらず、不安定となっている。これに対し、本実施形態によれば、図１１に示すように、図１０と同じ路面の画像に対し、偽のデータに惑わされることなく最大のデータサポートを受けるレーン境界線ＬＬ１及びＲＬ１が正しく求まっていることが分かる。尚、図１０乃至図１６は実験結果のカラー画像をトレースしたものである。
【００４１】
更に、本実施形態によるレーン検出の事例を説明する。図１２は、前方の車両ＶＨの影（破線内の点描で示す）が右レーンマークＲＭ２の境界線近傍まで延び、ほぼレーン境界線と並行に並んでいる状態を示しており、レーンマークＲＭ２の境界線と影との識別が非常に困難な画像の例である。このような場合においても、本実施形態では最大のデータサポートを受ける直線が確実に求まることから、太い実線で示すように、画像中の影に影響されることなく、正しくレーン境界線ＲＬ２が検出されていることが分かる。
【００４２】
図１３は、レーンマークが描き直されたときに、古いレーンマークＬＭ０（破線で示す）が完全に消されずに薄く残ってしまい、新しく描かれたレーンマークＬＭ４と混同するおそれがある状態の例である。本実施形態では最大のデータサポートを受ける直線を検出することから、このような外乱にも影響を受けることなく、太い実線で示すように、正しいレーン境界線ＬＬ４が検出されていることが分かる。
【００４３】
図１４、図１５及び図１６は、路面に描かれた表示Ｓ５、Ｓ６及びＳ７が強い直線性を持っており、レーン境界線と混同するおそれがある例を示す。このような例においても、本実施形態では、特徴点抽出部ＣＰにおいてレーン境界線の位置や姿勢を学習して特徴点抽出領域を設定していることから、図１４乃至図１６に示すような紛らわしい表示にも影響されることなく正しいレーン境界線ＲＬ５、ＬＬ６及びＲＬ７が検出されている。
【００４４】
以上のように、上記の各実施形態によれば、実際にレーン境界線検出を行った結果、前方車両の影や防音壁の影、路面表示、路面の汚れなど様々な外乱が存在する状況下において、安定的にレーン境界線が検出可能であることが確認できた。
【００４５】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の路面走行レーン装置においては、特徴点抽出手段、直線検出手段及びレーン検出手段を備え、今回の走行レーン及び今回の直線データを特徴点抽出手段に供給し、特徴点抽出手段にてこれらに基づき所定の特性を設定し、次回撮像した画像から抽出する特徴点データのうち、所定の特性を充足する特徴点データを、次回の特徴点データとして抽出すると共に、更に順序化手段を有し、直線検出手段が、データ抽出手段、数式モデル演算手段、データ数計数手段、及び数式モデル設定手段とを備えているので、路面及びレーンマーク状態に影響されることなく、路面上の走行レーンを高速且つ安定的に検出することができ、特に、偽の特徴点が多い場合でも非常に少ない探索回数で確実に正しい解を得ることができるため、車両の影、防音壁の影、路面表示等の外乱が存在する状況下においても、安定してレーン検出を行うことができる。
【００４７】
また、前記特徴点抽出手段を、請求項２に記載のように構成すれば、事前情報が存在しない場合にも、画像における特徴点の抽出領域を狭めることができるので、特徴点の抽出を迅速に行うことができる。
【００４８】
更に、前記特徴点抽出手段を、請求項３に記載のように構成すれば、特徴点の抽出領域を更に狭めることができるので、高速且つ高い信頼性で特徴点を抽出することができる。
【００４９】
更に、前記特徴点抽出手段を、請求項４に記載のように構成すれば、特徴点の抽出が初回の場合でも安定した状態で直線を検出した上で、特徴点の抽出領域を更に狭めることができるので、高速且つ高い信頼性で特徴点を抽出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る路面走行レーン装置の主要構成を示すブロック図である。
【図２】本発明の一実施形態に係る路面走行レーン装置のハード構成を示すブロック図である。
【図３】本発明の一実施形態におけるモード１での特徴点抽出領域の一例を示す画像の正面図である。
【図４】本発明の一実施形態におけるモード２での特徴点抽出領域の一例を示す画像の正面図である。
【図５】従来のRANSACによって特徴点データに対し直線を当てはめる場合の一例を示す説明図である。
【図６】従来のRANSACによって特徴点データに対し直線を当てはめる場合に、正しい解を得るのに必要なサンプリング回数と、間違ったデータの割合との関係を示すグラフである。
【図７】従来のRANSACによって特徴点データに対し直線を当てはめる場合に、サンプリング数を100に固定した場合における、間違ったデータの割合と正しい直線が得られる確率との関係を示すグラフである。
【図８】本発明の一実施形態における特徴点抽出部にて抽出される特徴点と直線の関係を示す説明図である。
【図９】従来のRANSACにおいて正しい直線が得られるサンプリング数と、本実施形態のCONSACにおける必要サンプリング数を比較して示すグラフである。
【図１０】従来のHough変換に基づくレーン検出の一例を示す画像の正面図である。
【図１１】本発明の一実施形態によるレーン検出の第１の例を示す画像の正面図である。
【図１２】本発明の一実施形態によるレーン検出の第２の例を示す画像の正面図である。
【図１３】本発明の一実施形態によるレーン検出の第３の例を示す画像の正面図である。
【図１４】本発明の一実施形態によるレーン検出の第４の例を示す画像の正面図である。
【図１５】本発明の一実施形態によるレーン検出の第５の例を示す画像の正面図である。
【図１６】本発明の一実施形態によるレーン検出の第６の例を示す画像の正面図である。
【符号の説明】
ＣＭ撮像手段，ＤＳ画像，ＣＲ特徴点抽出手段，
ＳＤ直線検出手段，ＬＤレーン検出手段，ＣＤカメラ，
ＶＢビデオ入力バッファ回路，ＳＹ同期分離回路，
ＦＭフレームメモリ，ＶＣ画像処理部，画像データ制御部ＶＰ，
ＣＰ特徴点抽出部，ＳＰ直線検出部，ＬＰレーン検出部

Claims

撮像手段によって路面を連続して撮像した画像から走行レーンを検出する路面走行レーン検出装置において、今回撮像した画像の所定領域から特徴点データを抽出する特徴点抽出手段と、該特徴点抽出手段で抽出した今回の特徴点データに最も適合する直線を表わす今回の直線データを検出する直線検出手段と、該直線検出手段で検出した今回の直線データに基づき今回の走行レーンを検出するレーン検出手段とを備え、該レーン検出手段が検出した今回の走行レーン及び前記直線検出手段が検出した今回の直線データを前記特徴点抽出手段に供給し、前記特徴点抽出手段が、前記今回の走行レーン及び前記今回の直線データに基づき所定の特性を設定し、次回撮像した画像から抽出する特徴点データのうち、前記所定の特性を充足する特徴点データを、次回の特徴点データとして抽出すると共に、更に前記直線検出手段及び前記レーン検出手段の検出結果に基づき前記特徴点データを抽出した順に順序化する順序化手段を有し、前記直線検出手段が、所定の数式モデルの適合に必要な最小限の数のデータを、前記順序化手段の特徴点データの中から前記順序化手段により順序化された順序に従って所定の間隔で取り出すデータ抽出手段と、該データ抽出手段が抽出したデータに数式モデルを当てはめて数式モデルを求める数式モデル演算手段と、該数式モデル演算手段で求めた数式モデルに適合する特徴点データの数を求めるデータ数計数手段と、前記順序化手段が設定した前記特徴点データの順序に従って前記特徴点データの全てを順にサンプルして前記データ抽出手段、前記数式モデル演算手段及び前記データ数計数手段の処理を繰り返した結果、前記数式モデル演算手段で求めた数式モデルの中から、最も適合する特徴点データの数が多い数式モデルを真の数式モデルとして設定する数式モデル設定手段とを備えたことを特徴とする路面走行レーン検出装置。
前記特徴点抽出手段は、少なくとも初回に撮像した画像の少なくとも二つ領域から前記特徴点データを抽出するように構成したことを特徴とする請求項１記載の路面走行レーン検出装置。
前記特徴点抽出手段は、連続して撮像した画像のうち前記レーン検出手段が検出した走行レーンを含む少なくとも二つ領域から前記特徴点データを抽出するように構成したことを特徴とする請求項１記載の路面走行レーン検出装置。
前記特徴点抽出手段は、前記少なくとも初回に撮像した画像の少なくとも二つ領域において所定回数連続して前記直線検出手段が直線を検出したときに、前記走行レーンを含む少なくとも二つ領域から前記特徴点データを抽出するように構成したことを特徴とする請求項３記載の路面走行レーン検出装置。
前記順序化手段は、今回撮像した画像の所定領域を走査することによって得られる順に前記特徴点データを順序化するように構成したことを特徴とする請求項１記載の路面走行レーン検出装置。