JP3961584B2

JP3961584B2 - 区画線検出装置

Info

Publication number: JP3961584B2
Application number: JP02284496A
Authority: JP
Inventors: 孝直井; 博之可児
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 1996-02-08
Filing date: 1996-02-08
Publication date: 2007-08-22
Anticipated expiration: 2016-02-08
Also published as: JPH09218937A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばＣＣＤ（Charge Coupled Device ）カメラ等の撮像装置により得られた画像情報を用いて道路上の区画線（白線レーンマーク）を検出する区画線検出装置に関するものである。
【０００２】
【従来の技術】
画像から区画線を検出する技術として、従来の検出装置では、単眼視の画像から得られる画像情報を基にエッジを抽出し、当該抽出されたエッジにハフ（Ｈｏｕｇｈ）変換を施して区画線の直線部分を抽出する。また、その直線部分を基にして画像上のエッジ探査を行い、区画線を検出していた。
【０００３】
以下、上記処理をより具体的に説明する。図９は撮像装置で撮影された映像を示す。この映像の画像信号を画像処理装置に取り込み、例えば明るさの相対的な変化に応じてエッジ抽出を行う。エッジ抽出には多数の方法があるが、その一例としては横方向の２画素間の差分を用いて区画線のエッジを抽出する。差分を用いてエッジ抽出を行った結果を図１０に示す。図１０において、白抜きの点は差分が正となったエッジ点（アップエッジ）であり、黒点は負となったエッジ点（ダウンエッジ）である。ここで、区画線を横切るエッジに注目すると、区画線部分では左側に位置する白抜きエッジ点と右側に位置する黒エッジ点とがペアになっていることが分かる。この性質を利用し、ペアリング（白抜きエッジ点と黒エッジ点のペアを取り出す処理）を行い、区画線と判断される点を抽出した結果が図１１である。これにハフ変換を施すと、図１２のＬ１，Ｌ２のような直線を取り出すことができる。
【０００４】
【発明が解決しようとする課題】
ところが、図１４において、前記ハフ変換により求められる区画線の直線部分は図中のａ，ｂ線のようになり、これでは例えばｅ，ｆ線のように右方に曲がった区画線に対応することはできない。また、区画線のエッジ点が殆ど抽出されなかった自車両から遠方領域では、直線の延長にて区画線を推定することにより大きな誤差が発生する。
【０００５】
一方、道路上の区画線は直線、円弧、クロソイド曲線で成り立っているため、これは実用上問題のない誤差レベルで３次式に近似できる。しかし、撮像装置に入力された画像では、道路面上の直線は画像上でも直線であるが、円弧、クロソイド曲線は全く違うものとなっている。そのため、画像上の区画線に３次近似曲線を当てはめた場合、図１４のｃ，ｄ線に示すように、データのある所までは、ある程度元データと一致した曲線となるが、データの無い領域の予測線はｅ，ｆ線（実際の区画線）から大きくかけ離れてしまう。
【０００６】
また、この種の他の従来技術として、特開平３−２８２７１０号公報の「移動車の環境認識装置」が開示されており、同装置では区画線の曲線近似を画像座標系で行っているが、かかる場合にもその区画線の検出結果はやはり図１４のｃ，ｄ線のようになる。つまり、エッジデータの無い遠方領域では予測曲線を求めることができなかった。
【０００７】
この発明は、上記問題に着目してなされたものであって、その目的とするところは、遠方領域においても区画線を精度良く検出することができる区画線検出装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明では、撮像装置として、例えば光軸が道路面にほぼ水平となるＣＣＤカメラを用い、同ＣＣＤカメラにより自車両前方の映像を取得する。また、本発明では、前記撮像装置により取得された撮像情報に基づいて、道路面を真上から見おろした俯瞰図を作成し、その俯瞰図上で区画線（白線レーンマーク）を検出する。そして、俯瞰座標上において、関数近似により道路上の区画線を推定する。なお、道路上の区画線は直線、円弧、クロソイド曲線の組み合わせで成り立っており、クロソイド曲線は緩和曲線と言われ、直線から円弧に移行する区間に使われる。また、クロソイド曲線は３次式で近似でき、直線、円弧も実用上問題のない誤差で３次式で近似できる。
【００１１】
その具体的な手段として、請求項１に記載の発明では、撮像手段（例えばＣＣＤカメラ）により得られた画像情報から画像座標上の区画線エッジを抽出する（区画線エッジ抽出手段）。また、抽出された画像座標上の区画線エッジを俯瞰座標、若しくは３次元座標に座標変換し、その座標変換された区画線エッジを関数近似する（関数近似手段）。さらに、その近似関数を前記座標変換時の前記撮像手段に関する定数を用いて元の画像座標に逆変換し、当該逆変換の結果に基づいて区画線を推定する（区画線推定手段）。
【００１２】
要するに、ＣＣＤカメラによる画像情報を俯瞰座標系、若しくは３次元座標系に変換する場合には、ＣＣＤカメラの光軸と路面との角度が重要な一要素となっているが、実際の車両走行時には、路面の凹凸等の影響から前記光軸と路面とでなされる角度が変動する。かかる場合、俯瞰座標系、若しくは３次元座標系への変換時においてその影響が生じ、関数曲線の精度が悪化する。これに対して、請求項１に記載の構成によれば、関数近似後において、座標変換時の撮像手段に関する定数（例えばＣＣＤカメラ等の光軸の角度に関する定数）を用いて俯瞰座標若しくは３次元座標を元の画像座標に戻すことにより、前記の角度変化に起因して発生する座標変換に伴う誤差を抑制することができる。その結果、前記した路面の凹凸等に起因する不具合を解消し、画像座標で近似を行うよりも誤差の少ない予測曲線を検出して区画線の検出精度をより一層高めることができる。
【００１３】
【発明の実施の形態】
（第１の実施の形態）
以下、この発明を障害物検出装置に具体化した第１の実施の形態を図面に従って説明する。
【００１４】
図１は本実施の形態における障害物検出装置の構成を示すブロック図である。図１において、撮像手段としての撮像装置１０は、車両前方を撮像する左右一対のＣＣＤカメラ（図示しない）を有し、同装置１０にて得られた画像信号は警報装置本体２０に入力される。図９は、撮像装置１０により得られた一画像を示しており、画像内には、区画線（本実施の形態では白線レーンマークという）８１，８２や自車両の前方を走行する車両８３，８４や電柱８５等が映し出されている。
【００１５】
また、警報装置本体２０には、車速センサ３０からの速度信号、ヨーレートセンサ・ピッチレートセンサ４０からのヨーレート・ピッチレート検出信号、ブレーキスイッチ５０からのブレーキ信号が入力される。警報装置本体２０は、前記画像信号を基に画像処理を行い、立体物及び白線レーンマークを検出すると共に、速度信号、ヨーレート・ピッチレート信号、ブレーキ信号の情報との照合により、自車両の障害物に対する危険度等を判定する。そして、警報装置本体２０は、障害物に対する危険度等に応じてスピーカ６０により警報を出力したり、表示装置７０により障害物までの距離などを出力したりする。なお、本実施の形態では、警報装置本体２０により区画線エッジ抽出手段、ｎ次近似手段及び区画線推定手段が構成されている。
【００１６】
図２は、警報装置本体２０の構成を作用毎に示す機能ブロック図であり、以下、図２に従って本実施の形態における障害物判定処理を説明する。図２において、警報装置本体２０は、画像入力部２１と、レーンマーク検出部２２と、立体物検出部２３と、位置判定部２４とに大別される。画像入力部２１では、前記撮像装置１０からの画像信号が入力され、同画像信号はレーンマーク検出部２２及び立体物検出部２３に送信される。かかる場合、レーンマーク検出部２２には、左右いずれか一方のＣＣＤカメラの画像信号が送信され、立体物検出部２３には左右両方のＣＣＤカメラの画像信号が送信される。
【００１７】
レーンマーク検出部２２では、以下のステップＳ１１１〜Ｓ１１６の手順に従って白線レーンマークが検出される。即ち、ステップＳ１１１では、画像内における横方向について所定画素間の相対的な明るさの差分が所定のしきい値を越えた点をエッジ点として抽出する。このエッジ抽出処理により図１０のようなエッジ点が抽出される。図１０において、白抜きの点は差分が正となったエッジ点（アップエッジ）であり、黒点は負となったエッジ点（ダウンエッジ）である。このとき、白線レーンマークを横切るエッジに着目すると、レーンマーク部分は左側に位置するアップエッジと、右側に位置するダウンエッジのペアになっていることが分かる。
【００１８】
次に、ステップＳ１１２では、アップエッジとダウンエッジのペアを結びつけるペアリングを行い、図１１に示す如く白線レーンマークの候補となるエッジ点のみを抽出する。かかるペアリングの手順を以下に略述する。つまり、図３は平行に延びる白線レーンマークが画像上で一点（消失点）に収束することを示しており、同図では消失点からＹだけ下方へ離れた位置の画像上の白線レーンマークの幅をＷとしている。この場合、ＣＣＤカメラの取り付け高さｈ、同カメラの横方向の画角θh 及び画素数ｎh 、縦方向の画角θv 及び画素数ｎv 、及び道路上における実際の白線レーンマークの幅ｄが既知であるとすれば、画像上の白線レーンマークの幅Ｗは、下記の式（１）により近似的に求めることができる。
【００１９】
【数１】

しかして、上記式（１）において、画像上の白線レーンマークの幅Ｗは消失点を基準とする垂直走査位置Ｙの関数として表される。そして、水平走査時の画像上の間隔が上記式（１）にて求まる幅Ｗ以内にあるアップエッジとダウンエッジとを選択することにより、レーンマーク候補のエッジ点が抽出できる。この場合、例えばアップエッジの横方向位置とダウンエッジの横方向位置との中間位置をエッジ点の候補とする（図１１）。このとき、図９の車両８３，８４や電柱８５等に相当するエッジ点はレーンマーク候補から削除される。
【００２０】
次いで、ステップＳ１１３では、レーンマーク候補のエッジ点についてハフ変換処理を行い、実際の白線レーンマーク上のエッジ点を求めるための基となる直線を検出する。図１２はハフ変換により抽出された直線Ｌ１，Ｌ２を示す。続くステップＳ１１４では、ハフ変換により抽出した直線Ｌ１，Ｌ２に基づいて図１１のレーンマーク候補から白線レーンマークのエッジ点を取り出す。その結果を図１３に示す。
【００２１】
ステップＳ１１５では、上記の如く得られたエッジ点を画像座標系から俯瞰座標系（Ｘ−Ｚ座標）に変換する。図１５は白線レーンマークのエッジ点を俯瞰図上に点在させた結果を示す図である。以下に、画像座標系から俯瞰座標系への変換手順を示す。
【００２２】
図４は撮像装置１０と路面を横から見た図、図５は図４を上から見た図（俯瞰図）、図６は撮像装置１０により撮像された画像を示す図である。ここでは、図４の座標系を（Ｙ，Ｚ）、図５の座標系を（Ｘ，Ｚ）とする。また、図５の俯瞰座標系では路面を平面として扱っているが、横から見た図４の座標系を併せて考慮すると、それは３次元座標（Ｘ，Ｙ，Ｚ）に拡張できる。
【００２３】
また、路面上に任意の点ｐ1 をとると、画像上でのその位置は（ｘ1 ，ｙ1 ）となる。かかる場合、図６の消失ラインｙ0 、図４のＺm の関係式は、次の式（２），（３）で表すことができる。
【００２４】
【数２】

【００２５】
【数３】

ここで、式（２），（３）におけるｙm ，θv ，θv0，ｈは既知の値とすれば、ｙ0 ，Ｚm は所定のある値（固定値）として求められる。
【００２６】
また、図４のＺ1 はｙ0 ，Ｚm を含む次の式（４）で表すことができる。
【００２７】
【数４】

さらに、図５のθh1は、次の式（５）で表され、
【００２８】
【数５】

図５のＸ1 は、次の式（６）で表される。
【００２９】
【数６】

以上の式（２）〜（６）を用いることにより俯瞰座標系の（Ｘ1 ，Ｚ1 ）が確定できる。
【００３０】
ステップＳ１１６では、俯瞰座標系に変換されたエッジ点を最小２乗法を用いて３次曲線に近似する。そして、白線レーンマークを３次多項式の関数として出力することにより、図１６のＦ1 （Ｚ），Ｆ2 （Ｚ）の曲線関数が得られる。このとき、Ｆ1 （Ｚ）は右側の白線レーンマークの関数、Ｆ2 （Ｚ）は左側の白線レーンマークの関数であり、これらによる３次の近似曲線は、前記ハフ変換により求められた直線部分の延長線として予測されることになる。
【００３１】
一方、立体物検出部２３において、画像入力部２１から左右一対のＣＣＤカメラによる画像信号が入力されると、ステップＳ１２１では周知の立体視法を用いて他の走行車両等、立体物の画像中の位置と実際の距離を出力する。ここで、立体視法による距離検出手順について図７を用いて簡単に説明する。図７において、撮像装置１０には、２つの視点を形成するために物体Ｍに対向して２つのレンズ１１，１２が配設され、この２つのレンズ１１，１２の後ろにそれらの光軸Ｓ１，Ｓ２が一致するＣＣＤ１３，１４が配設されている。ここで、図中の「Ｄｅ」はレンズ１１，１２と物体Ｍとの距離、「ｆ」はレンズ１１，１２の焦点距離、「ｘa 」，「ｘb 」はそれぞれ物体Ｍからレンズ１１，１２を経てＣＣＤ１３，１４へ焦点を結ぶ点と光軸Ｓ１，Ｓ２との距離、「Ｐ」は光軸Ｓ１，Ｓ２間のピッチである。かかる場合、距離Ｄｅは、
【００３２】
【数７】

で求めることができる。即ち、焦点距離ｆ，ピッチＰが既知であるため、（ｘa ＋ｘb ）が求まれば物体Ｍまでの距離Ｄｅが分かる。ここで、（ｘa ＋ｘb ）は左右画像の視差に相当し、左右の画像中の対象物の輝度値を少しずつ（例えば１画素ずつ）ずらしながら比較し、最も一致するずらし量として求めることができる。視差を求める一般的な手法としては、相関計算が用いられ、次の式（８）によて求められる相関値Ｖ（ｉ）が最小となる点のずらし量ｉが視差となる。
【００３３】
【数８】

但し、式（８）において、「ａn 」，「ｂn 」は画像の単位領域（例えば８画素×８画素）を一次元画像とした場合の輝度の並び（数列）、「ｎ」は画像の横方向の画素番号、「Ｗ」は単位領域の大きさ（この場合は８）である。なお、輝度の並びを示す数列を「ａm,n 」，「ｂm,n 」として、単位領域における二次元画像から相関値Ｖ（ｉ）を求め、その相関値Ｖ（ｉ）が最小値となるずらし量ｉから視差を求めることも可能である。
【００３４】
また、続くステップＳ１２２では、画像座標上における立体物の位置を俯瞰座標系に変換する。このとき、図４〜６に示す任意の点ｐ1 に立体物（例えば他車両）があったとすると、俯瞰変換上のＺ1 は前記式（８）の距離Ｄｅとして直接求められ、このＺ1 を前記の式（５），（６）に代入することによりＸ1 を求めることができる。かかる処理によれば、図１６に示す俯瞰図において、前記図８の車両８３，８４がＰ１，Ｐ２の位置にて検出されることになる。
【００３５】
最後に、位置判定部２４では、図１６のように立体物とレーンマーク関数の関係を求め、立体物と白線レーンマークとの位置関係を判定する。この場合、既述した通り俯瞰座標上では、白線レーンマークは関数Ｆ1 （Ｚ），Ｆ2 （Ｚ）で表される。また、立体物は物体左右両端の位置（Ｘr ，Ｚ），（Ｘl ，Ｚ）を持つ。そして、位置判定部２４は、位置判定処理の一つ例として図８のルーチンを実行し、その時々の要否に応じて警報情報を発生させる。
【００３６】
つまり、図８において、ステップＳ２０１でルーチンが開始されると、ステップＳ２０２では右側の白線レーンマークの内側に立体物があるか否かを判別し、次のステップＳ２０３では左側の白線レーンマークの内側に立体物があるか否かを判別する。より具体的には、次の式（９），（１０）の関係に従い判別処理を実施する。ここで、「Ｘra」は立体物の右側端Ｘ方向位置、「Ｘla」は立体物の左側端Ｘ方向位置、「Ｚa 」はＺ方向の位置を示す。
【００３７】
【数９】

【００３８】
【数１０】

さらに、ステップＳ２０４では、車速センサ３０からの速度信号と立体物との距離変化から相対速度を求め、相対速度、距離、自車速度の関係から現時点の走行状態が危険な状態か否かを判別する。ステップＳ２０５では、ブレーキスイッチ５０からのブレーキ信号の有無に基づき、ドライバが危険を回避しようとしているか否かを判別する。そして、ステップＳ２０２〜Ｓ２０５が全て肯定判別されれば、ステップＳ２０６で立体物（障害物）との衝突の可能性があるとしてドライバに警報する音を発生させ、その後ステップＳ２０７で処理を終了する。また、ステップＳ２０２〜Ｓ２０５のいずれかが否定判別されれば、直ちにステップＳ２０７で処理を終了する。
【００３９】
以上詳述した本実施の形態によれば、以下に示す効果が得られる。
（ａ）先ず以て、自車両にとって比較的近距離の領域については、ハフ変換により直線近似が施される。この場合、近距離領域では白線レーンマークについて多数のエッジ点が得られることから、正確な直線近似が可能となる。
【００４０】
（ｂ）これに対して、比較的遠距離の領域では白線レーンマークについて少数のエッジ点しか得られないが、画像座標を俯瞰座標に変換すると共に、俯瞰座標に変換された区画線情報に３次近似式を適用することにより、画像座標系での近似に比べて誤差の少ない予測曲線を検出することができる。つまり、道路上の白線レーンマークは直線、円弧、クロソイド曲線の組み合わせで成り立っており、３次近似を行うことによりクロソイド曲線成分も含めた道路上の白線レーンマークを精度良く検出することができる。かかる場合、ハフ変換により得られた白線レーンマークの直線部分の延長線として、俯瞰座標上にて求められた３次曲線部分を延長させたため、広域にわたって白線レーンマークを予測できる。その結果、従来からの懸案であった画像情報に現れない遠方の区画線、即ち、画像情報からの区画線エッジがない遠方の区画線も精度良く推定することができる。
【００４１】
（ｃ）レーンマーク情報と立体物情報とをそれぞれに俯瞰座標系に変換し、その座標上でそれらの関係を比較判定することにより、障害物の検出精度を高めることができ、安全走行が実現できる。
【００４２】
（第２の実施の形態）
次に、第２の実施の形態について説明する。但し、本実施の形態の構成において、上述した第１の実施の形態と同等であるものについてはその説明を省略する。そして、以下には第１の実施の形態との相違点を中心に説明する。
【００４３】
つまり、上記第１の実施の形態では、撮像装置１０により得られた画像情報を画像座標系から俯瞰座標系に変換し、俯瞰座標にて白線レーンマークを３次近似したが、本実施の形態では、画像情報を画像座標系（２次元座標系）から３次元座標系に変換し、３次元座標にて白線レーンマークを３次近似するものである。その詳細を以下に説明する。
【００４４】
本実施の形態におけるレーンマーク検出手順としては、前記図２のＳ１１５の内容が変更されるのみで他の処理は同一である。即ち、図２のＳ１１５では下記の処理が行われる。図１７（前記図１３に相当する図）のように抽出された白線レーンマークのエッジ点について所定の枠α１を設定し、同α１の拡大図を図１８に示す。図１８内において、点ｐ1 に対して幅ｗ×高さｈのウィンドウα２を設定する。このウィンドウα２は白線レーンマークの横幅が当該ウィンドウ内に収まるように設定し、画面の上に行くに従って幅ｗを小さくしていく。ウィンドウα２の幅ｗを式に表すと、式（１１）となる。
【００４５】
【数１１】

但し、式（１１）において、「ｗmax 」はレーンマークの画面最下部の横幅が十分入る値とし、「ｗmin 」は相関計算が精度良く行える範囲内で最小値とする。本実施の形態では、ｗmax ＝５０、ｗmin ＝８、ｈ＝８とした。
【００４６】
このウィンドウα２に対して相関計算を用いて距離Ｚ1 を求める。なお、かかる場合にウィンドウα２の相関計算を行うにあたり、レーンマーク検出部２２では撮像装置１０からの左右一対の画像情報が必要となる。Ｘ1 は前記の式（６）、Ｙ1 については以下の式（１２），（１３）により導くものとする。
【００４７】
【数１２】

【００４８】
【数１３】

以上のようにして、白線レーンマークに関する画像情報が３次元座標へ変換されることとなる。そして、上記第１の実施の形態と同様に、最小２乗法による３次曲線近似によって白線レーンマークが検出される。
【００４９】
一方、図２の立体物検出部２３においても、上記レーンマークの３次元座標変換と同様に変換処理が施される。即ち、上記の式（１２），（１３）を用いて座標変換が行われる。なお、式（１２），（１３）では、撮像装置１０（ＣＣＤカメラ）の光軸と路面とでなす角度θv0を微小なものとして省略して扱ったが、この場合、白線レーンマークと立体物の両方共に同じ手順にて３次元座標への変換処理を行ったため、障害物の判定精度に影響を及ぼすことはい。
【００５０】
以上第２の実施の形態によれば、前記第１の実施の形態と同様に、白線レーンマークの近似曲線を精度良く求めることができ、ひいては画像情報に現れない遠方の白線レーンマークも予測可能となる。
【００５１】
（第３の実施の形態）
次に、第３の実施の形態を説明する。但し、本実施の形態の構成において、上述した第１の実施の形態と同等であるものについてはその説明を省略する。そして、以下には第１の実施の形態との相違点を中心に説明する。なお、本実施の形態では、警報装置本体２０により区画線エッジ抽出手段、関数近似手段及び区画線推定手段が構成されている。
【００５２】
図１９は、本実施の形態における警報装置本体２０の構成を作用毎に示す機能ブロック図である。図１９において、画像入力部２１に入力された画像信号は、レーンマーク検出部２２に送信される。レーンマーク検出部２２では、前記第１の実施の形態の図２（ステップＳ１１１〜Ｓ１１６）と同様に、ステップＳ３１１〜Ｓ３１６において画像信号を用いて画像座標上のレーンマークのエッジ点を俯瞰座標上に変換すると共に、同俯瞰座標系にてエッジ点から３次曲線近似を行って白線レーンマークを検出する。さらに、本実施の形態では新たにステップＳ３１７が加えられており、同ステップＳ３１７では、俯瞰座標系でのレーンマーク検出結果を画像座標系に再変換する。
【００５３】
このとき、ステップＳ３１６で発生させた俯瞰図上のレーンマーク関数をそのまま関数の形で逆変換して画像座標系に変換するのはその扱いが難しい。そこで、先ずは白線レーンマークの３次関数Ｆ1 （Ｚ），Ｆ2 （Ｚ）にＺ＝０から計測最大距離Ｚ＝Ｚmax まで距離計測分解能Ｚanずつ増加させた値を代入していき、俯瞰座標系でのレーンマークテーブルを作成する。次に、このテーブル上の１ポイント毎に画像座標変換を行い、画像座標系でのレーンマークテーブルを作成する。ここで、逆変換の式は、前記の式（２）〜（６）を逆変換したものであり、次の式（１４），（１５）となる。
【００５４】
【数１４】

【００５５】
【数１５】

式（１４），（１５）により得られた（ｘ1 ，ｙ1 ）は、例えば図２１の画像座標上における点ｐ1 の位置を示す。このとき、白線レーンマークの曲線関数はｆ1 （ｙ），ｆ2 （ｙ）として表される。
【００５６】
一方、立体物検出部２３においては、第１の実施の形態と同様にステップＳ３２１で立体視法による立体物の検出処理を行うが、同検出結果を俯瞰座標に変換する処理は実施しない（図２のステップＳ１２２に相当する処理は省略している）。
【００５７】
位置判定部２４では、図２１に示す画像座標系で立体物と白線レーンマークとの関係を求め、立体物と白線レーンマークの位置関係を判定する。つまり、レーンマーク検出部２２のステップＳ３１７の画像座標変換（逆変換）により、白線レーンマークは画像座標系の点の集まりのテーブルとなっており、これは関数ｆ1 （ｙ），ｆ2 （ｙ）となっている。また、立体物検出部２３の立体物抽出により、画像座標系での立体物の下部の左右端ｏl ，ｏr のｘ座標ｘl ，ｘr とｙ座標ｙl ，ｙr と距離Ｚが算出される。
【００５８】
そこで、位置判定部２４では、前記図８のルーチンの一部を変更した位置判定処理により立体物とレーンマークとの位置関係を判定する。図２０は、図８のステップＳ２０２，Ｓ２０３を各々ステップＳ４０２．Ｓ４０３に変更したものであって、ステップＳ４０２では、右側の白線レーンマークの内側に立体物があるか否か、即ち、ｆ1 （ｙr ）≧ｘr であるか否かが判別され、ステップＳ４０３では、左側の白線レーンマークの内側に立体物があるか否か、即ち、ｆ2 （ｙl ）≦ｘl であるか否かが判別される。
【００５９】
なお、図２２は、前記図９〜図１６に従って最終的に画像座標上にレーンマーク関数ｆ1 （ｙ），ｆ2 （ｙ）及び立体物（他車両）Ｐ３，Ｐ４を配置した図である。
【００６０】
要するに、俯瞰座標系への変換時には、撮像装置１０と路面との関係を示す定数（路面に対するＣＣＤカメラの光軸ずれの角度θv0や、θv1等）に基づいて演算処理が行われている。かかる場合、車両などの移動体に装置を搭載した場合には、例えば走行路面の凹凸によりθv0等が変動するため、俯瞰座標上のレーンマーク位置Ｚ1 に影響を与え、白線レーンマークの検出に際して誤差を生じるおそれがあった。しかし、本実施の形態では、俯瞰座標変換に用いた定数θv0を用いて逆変換を行うため、上述したようなθv0の変動による誤差の発生を抑制することができる。その結果、白線レーンマークの検出精度をより一層高めることができる。
【００６１】
また、白線レーンマークと立体物との位置関係を判定する場合において、各々のＺ方向における位置ズレが解消される。つまり、立体視法によれば立体物の距離が直接検出でき、上記したようなθv0の変動による検出誤差を生じることはない。また、前述した通り白線レーンマークの検出に際してもθv0の変動による誤差が解消されている。その結果、白線レーンマークと立体物との位置関係が正確に把握でき、ひいては障害物の判定時においても精度の高い判定処理を実現することが可能となる。
【００６２】
なお、本発明は上記実施の形態の他に次の（１）〜（５）に示す様態にて具体化することができる。
（１）上記各実施の形態において、道路上の直線部分、円弧部分、クロソイド曲線部分を近似するにあたって３次曲線近似を行ったが、これを変更してもよい。つまり、誤差をさらに小さくしたければ、近似曲線として３次以上の高次多項式を適応してもよい。また、２次曲線近似は、３次曲線近似に比べて誤差が大きくなるが、装置の仕様などによっては適応でき、計算量を少なくできるという利点がある。
【００６３】
（２）上記実施の形態では、画像上のアップエッジとダウンエッジとのペアリングにより白線レーンマークを抽出したが、この抽出法としてはこれに限定されるものではない。例えば単に相対的に輝度情報が変化する位置をエッジとして抽出するようにして、エッジ抽出処理の簡略化を図ってもよい。また、俯瞰図上のＺ1 を求めるには、左右画像を用いた立体物法の相関計算を用いてもよい。
【００６４】
（３）上記第１の実施の形態では白線レーンマークを２次以上のｎ次曲線で近似することを要件としたが、第２の実施の形態では白線レーンマークを１次関数（直線式）で近似してもよく、かかる場合にも従来にない新規な効果が得られる。つまり、請求項１に記載の発明は、ＣＣＤカメラの光軸と路面との角度変動による誤差を抑制することを主目的としたものであって、１次近似により白線レーンマークを推定してもかかる目的を達成することは可能である。
【００６５】
（４）上記第３の実施の形態では、白線レーンマークの画像情報について画像座標→俯瞰座標→画像座標の順で変換処理を行ったが、これを画像座標→３次元座標→画像座標の順で変換処理を行うように変更してもよい。この場合、３次元座標から画像座標への逆変換を行わずとも、白線レーンマークと立体物との位置判定の精度は殆ど変わらないが、白線レーンマークの検出処理のみを考えれば、３次元座標から画像座標への逆変換を行うことによりその検出精度は向上すると言える。
【００６６】
（５）上記実施の形態では、立体物（他車両）の検出方法としてステレオ画像による立体視法を用いたが、これを変更してもよい。例えばレーダ光を用いて立体物を検出するようにしてもよい。
【図面の簡単な説明】
【図１】発明の実施の形態における障害物検出装置の概要を示す構成図。
【図２】第１の実施の形態における警報装置本体の構成を作用毎に示す機能ブロック図。
【図３】路面画像を示す概略図。
【図４】撮像装置と道路面との関係を横から見た図。
【図５】図４を上から見た図（俯瞰図）。
【図６】画像上での路面情報を示す図。
【図７】立体視法による距離計測の手順を説明するための図。
【図８】位置判定ルーチンを示すフローチャート。
【図９】撮像装置から取り込まれた一画像を示す図。
【図１０】画像にエッジ抽出処理を施した結果を示す図。
【図１１】ペアリングによりレーンマーク候補を抽出した結果を示す図。
【図１２】ハフ変換により直線を抽出した結果を示す図。
【図１３】ハフ変換の直線からレーンマーク情報を取り出した結果を示す図。
【図１４】レーンマーク情報と近似関数線との関係を示す図。
【図１５】俯瞰図上でのレーンマーク情報を示す図。
【図１６】俯瞰図上での白線レーンマークと立体物との位置関係を示す図。
【図１７】白線レーンマークのエッジ点を示す図。
【図１８】図１７のα１を拡大して示す図。
【図１９】第３の実施の形態における警報装置本体の構成を作用毎に示す機能ブロック図。
【図２０】第３の実施の形態における位置判定ルーチンの一部を示すフローチャート。
【図２１】画像上での路面情報を示す図。
【図２２】画像上での白線レーンマークと立体物との位置関係を示す図。
【符号の説明】
１０…撮像手段としての撮像装置、２０…区画線エッジ抽出手段，ｎ次近似手段，区画線推定手段，関数近似手段としての警報装置本体。

Claims

撮像手段を用いて得られた画像情報に基づいて、道路上の区画線を検出する区画線検出装置において、
前記撮像手段により得られた画像情報から画像座標上の区画線エッジを抽出する区画線エッジ抽出手段と、
前記区画線エッジ抽出手段により抽出された画像座標上の区画線エッジを俯瞰座標、若しくは３次元座標に座標変換し、その座標変換された区画線エッジを関数近似する関数近似手段と、
前記関数近似手段による近似関数を前記座標変換時の前記撮像手段に関する定数を用いて元の画像座標に逆変換し、当該逆変換の結果に基づいて区画線を推定する区画線推定手段と、
を備えることを特徴とする区画線検出装置。
請求項１に記載の区画線検出装置において、
前記関数近似手段は、区画線エッジを２次以上のｎ次曲線で近似することを特徴とする区画線検出装置。