JP3603836B2 - 道路白線認識装置 - Google Patents
道路白線認識装置 Download PDFInfo
- Publication number
- JP3603836B2 JP3603836B2 JP2001355305A JP2001355305A JP3603836B2 JP 3603836 B2 JP3603836 B2 JP 3603836B2 JP 2001355305 A JP2001355305 A JP 2001355305A JP 2001355305 A JP2001355305 A JP 2001355305A JP 3603836 B2 JP3603836 B2 JP 3603836B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- road
- candidate point
- line candidate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の道路白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、画像によって白線を認識し、自車両と白線との関係を、車両の自動制御又は一部自動制御に用いたりする技術が提案されている。
例えば、特開平６−２０１８９号公報、或いは特開平８−２６１７５６号公報等においては、撮像画像から道路白線を構成する白線候補点を検出し、撮像画像における白線候補点の位置座標に基づき道路形状、或いは撮像画像を得るためのカメラ等といった撮像手段の姿勢を推定するようにしている。前記白線候補点の検出には、一般に、最小二乗法やハフ変換が用いられ、これらは、白線候補点の連なりを線として近似するものであって、かすれた白線検出に有効である。
【０００３】
【発明が解決しようとする課題】
前記最小二乗法を用いた白線候補点の検出は、例えば、次のような手順で行われる。まず、道路白線の白線候補点の座標を｛ｘｎ ，ｙｎ ｝（ｎ＝０、１、２、……、Ｎ−１｝とする。道路白線は一般にｘ軸に沿って線が延びているため、ｘ座標をｙ座標の関数（ｘ＝ｆ（ｙ））で表すと都合がよい。ここで、道路白線の近似曲線をｘ＝ｇ（ｙ）と表すと、近似曲線と白線候補点との二乗誤差Ｅは、次式（１）で表される。なお、Σ｛ ｝は、ｎ＝０〜Ｎ−１における｛ ｝内の関数（ｇ（ｙｎ ）−ｘｎ ）２ の和を表す。
【０００４】
Ｅ＝Σ｛（ｇ（ｙｎ ）−ｘｎ ）２ ｝ ……（１）
前記二乗誤差Ｅが最小となるｇ（ｙ）を検出することが、最小二乗法である。ｇ（ｙ）をｙに関するｍ次の多項式で表現すると、次式（２）で表される。
ｇ（ｙ）＝ｃ０ ＋ｃ１＊ｙ＋ｃ２＊ｙ２ ＋ｃ３＊ｙ３ ＋……＋ｃｍ ＊ ｙｍ ……（２）
道路白線を検出するとは、上記（２）式において、係数ｃ０ 、ｃ１ 、ｃ２ 、ｃ３ ……ｃｍ を算出すること、すなわち、白線候補点列をｇ（ｙ）で近似することに相当する。ここで、係数のベクトルＣを、Ｃ＝〔ｃ０ 、ｃ１ 、ｃ２ 、……〕Ｔ と定義すると、ベクトルＣは次式（３）で算出することができる。なお、“Ｔ”は転置を表し、“−１”は逆行列を表す。また、Σ｛ ｝は、ｎ＝０〜Ｎ−１における｛ ｝内の関数の和を表し、ｉ及びｊは０〜ｍの整数である。
【０００５】
Ｃ＝Ａ−１＊Ｂ ……（３）
Ａｉｊ＝Σ｛ｙｎ ｉ＋ｊ ｝
Ｂｉｊ＝Σ｛ｙｎ ｉ ＊ｘｎ ｝
ここで、前記（３）式からわかるように、｛ｘｎ 、ｙｎ ｝（ｎ＝０〜Ｎ−１）の中に誤信号が含まれている場合、それが確実に係数ベクトルＣに反映されることになる。すなわち、ロバスト性が低いことになる。また、二乗誤差を最小にすることは、高次の関数に適用した場合、ノイズの乗ったデータ全てをフィッティングさせることにつながる。このため、道路白線のような曲線検出に直接最小二乗法を適用する例は少ない。
【０００６】
一方、ハフ変換を用いた白線候補点の検出は、次のような手順で行われる。なお、ここでは、簡単のために、一次関数の場合について説明する。
一般に、座標｛ｘ、ｙ｝を貫く直線は、パラメータａ及びｂを用いると、次式（４）で表すことができる。
ｘ＝ａ＊ｙ＋ｂ ……（４）
ここで、白線候補点の座標を｛ｘ、ｙ｝とし、パラメータａを設定すると前記（４）式からパラメータｂを求めることができる。前記｛ｘ、ｙ｝を満足するパラメータａ及びｂの組み合わせを求めることによって、図１４に示す配列を得ることができる。なお、図１４において、配列の空欄は“０”を表し、“１”が立っている｛ａ、ｂ｝の組み合わせの中に、白線候補点｛ｘ、ｙ｝を貫く直線に相当するパラメータａ及びｂの真値が含まれることになる。
【０００７】
この処理を白線候補点全てに対して行う。その結果、例えば図１５に示す配列が得られる。配列の要素｛ａｒ 、ｂｒ ｝における数ｚｒ は、ｘ＝ａｒ ＊ｙ＋ｂｒ の直線が貫く、白線候補点の総数を表す。
前記配列の要素における数ｚｒ 、つまり、白線候補点数が所定値以上の配列の要素で特定される近似直線を、白線候補線とする。これにより、撮像画像上に複数の白線が現れた場合でも、全ての白線を検出できることがわかる。また、ノイズの乗った白線候補点は、白線候補線の推定に全く影響を与えないことがわかる。つまり、ノイズの乗った白線候補点を貫く白線候補線は、前記配列において、その要素における数が少ないから、白線候補線として選択されない。
【０００８】
このように、ハフ変換では、白線候補点の中にノイズが含まれるものが存在しても、推定結果に影響を与えないという長所がある。つまり、推定が、ロバストであるということができる。
しかしながら、このハフ変換は、演算量が比較的多いという問題がある。つまり、例えば二次関数に適用した場合、図１４及び図１５は、三次の配列となる。このため、リアルタイムで画像処理を行う場合、実質的にハフ変換により曲線近似を行うことは難しいという問題がある。
【０００９】
このように、道路白線候補点の検出には、推定のロバスト性のために、最小二乗法よりもハフ変換が用いられること、また、ハフ変換は直線近似にしか適用できないことがわかる。
一般に、道路形状は曲線であるため、図３に示すように、撮像画像に対して複数のウィンドウを設定し、それぞれのウィンドウ内で、白線候補点を直線近似し、ウィンドウそれぞれを代表する白線候補点を選出することが通例となっている。
【００１０】
そして、このようにして検出した白線候補点に基づき、前記特開平６−２０１８９号公報においては、各ウィンドウを代表する複数の白線候補点に基づき道路形状及びカメラ姿勢（以後、道路パラメータという。）の推定を一括で行うようにしており、その推定には最小二乗法を用いている。
また、特開平８−２６１７５６号公報においては、道路パラメータの推定は、状態推定器の手法（カルマンフィルタ等も含む）を用いて行われ、前記道路パラメータは、前回処理実行時の道路パラメータの推定値及び今回処理実行時の白線候補点座標に基づいて推定される。
【００１１】
図１６は、状態推定器の手法を用いて道路パラメータの推定を行うようにした場合の動作の一例を表したものであり、ライン１〜１０は、左右の道路白線に対して交互に設定されたウィンドウを代表する白線候補点における、ｘ軸方向のウィンドウ幅を表す。図１６において、Ｎの初期値を１として、Ｎ番目のウィンドウに相当するライン上の白線候補点に基づいて道路パラメータを推定し、この推定した道路パラメータに基づいて、Ｎ＋１番目のウィンドウに相当するラインに対し、白線候補点が存在する領域を限定する。そして、Ｎをインクリメントし、上記と同様に処理を行い、Ｎ番目のライン上の、道路パラメータに基づき限定された領域内に白線候補点が存在すれば、この白線候補点を用いて道路パラメータを推定し、この推定した道路パラメータに基づいてＮ＋１番目のウィンドウに相当するラインに対し、白線候補点が存在する領域を限定する。
【００１２】
以後、上記と同様に処理を行い、全てのウィンドウに相当するラインについて道路パラメータの推定が終了すると、その道路パラメータの更新回数及び最終的な道路パラメータを保存する。さらに、図１７に示すように、限定された白線候補点の領域からはずれた白線候補点がある場合には、このはずれた白線候補点が存在するウィンドウをＮとし、この白線候補点を用いて道路パラメータを推定し、推定した道路パラメータに基づいて、Ｎ＋１番目のウィンドウに相当するラインに対し、白線候補点が存在する領域を限定する。そして、以後、上記と同様に順次道路パラメータの推定を行う。なお、Ｎ＝１０を超えるインクリメントは、１０→１→２の順に行う。
【００１３】
このようにすることによって、図１６に示すように、誤検出された白線候補点が存在するとき、ライン上に存在する白線候補点に基づいて道路パラメータを推定する場合、誤検出された白線候補点に基づいて道路パラメータの推定が行われることになるが、道路パラメータを順次更新し、更新の道路パラメータに基づいてウィンドウ幅を順次更新し図１７に示すように、ウィンドウ幅を狭めるようにしているから、誤検出された白線候補点が、道路パラメータの推定に用いられることが回避されるようになっている。
【００１４】
また、道路パラメータの推定に使用されない白線候補点は、この白線候補点を起点とした推定も行い、その結果、開始点が異なる単数もしくは複数の推定候補を得て、その中で最大の更新回数となった推定値をその撮像画像での推定結果とすることによって、的確に推定結果を得るようにしている。
しかしながら、前述の特開平６−２０１８９号公報においては、各ウィンドウ毎に検出した白線候補点の中に、疑似白線に該当するものが含まれる場合があり、その結果、誤推定が発生する。つまり、ウィンドウ内では、かすれている線であっても部分的にかすれているだけであって実際には真の道路白線であることもあり、また、道路白線らしく見えるものであっても、例えば車線境界線とこの内側に設けられた内側案内線とからなる二重白線の、内側の線つまり、内側案内線のように、真の道路白線でない場合もある。前記ウィンドウの領域は、カメラのピッチングやバウンシング、或いは操舵による車両挙動を考慮してその大きさが決定される。
【００１５】
このため、道路白線以外に、二重白線の内側線がウィンドウ内に現れる場合がある。真の道路白線と二重白線内側線とのどちらが真であるかを判断するのは、白線の長さであったり、エッジ強度であったりするが、ウィンドウ毎に判断するような局所的判断では、二重白線内側線を道路白線と誤認識してしまう場合があり、ウィンドウ毎に局所的に白線候補点を検出する方法では、検出精度に限界がある。
【００１６】
また、特開平８−２６１７５６号公報においては、ハフ変換や最小二乗法等を用いて検出した白線候補点に対し、その存在領域を限定することによって、ウィンドウ間の白線候補点に拘束を与えているが、ハフ変換や最小二乗法等を用いて検出される白線候補点の中には、疑似白線の白線候補点が含まれるため、存在領域を限定したとしても、疑似白線に対しても演算を行うことになり、疑似白線の含まれる数の増加に伴って演算時間も増大するという問題がある。
【００１７】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、処理時間の増加を伴うことなく、道路白線に相当する白線候補点の検出精度を向上させることの可能な道路白線認識装置を提供することを目的としている。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る道路白線認識装置は、車両前方の道路を撮像する撮像手段を有し、当該撮像手段で撮像した画像に基づいて道路形状及びこの道路に対する車両姿勢を示す道路モデル式の道路パラメータを推定するようにした道路白線認識装置において、前記撮像手段で撮像した画像において道路白線の白線候補点を検出する白線候補点検出手段と、当該白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を選択する候補点対選択手段と、当該候補点対選択手段で選択された候補点対毎に左右の白線候補点の水平方向位置間の距離を算出する水平距離算出手段と、前記候補点対の垂直方向位置と前記水平距離算出手段で算出された水平距離との関係を一次関数式で近似する近似手段と、前記水平距離算出手段で算出された候補点対の水平距離と該候補点対の垂直方向位置に基づき前記近似式から算出される水平距離との差が予め設定したしきい値以下であるとき、この候補点対を構成する白線候補点を、真の白線候補点として抽出する候補点抽出手段と、当該候補点抽出手段で抽出した真の白線候補点に基づいて前記道路パラメータを推定する道路パラメータ推定手段と、を備え、前記候補点抽出手段における前記しきい値は、前記画像の画素量子に比例する値であることを特徴としている。
【００２０】
また、請求項２に係る道路白線認識装置は、前記しきい値の比例定数は、２であることを特徴としている。また、請求項３に係る道路白線認識装置は、前記近似手段は、前記候補点対の垂直方向位置及び前記水平距離算出手段で算出された水平距離に対してハフ変換を行って前記近似式を検出するようになっていることを特徴としている。
【００２１】
また、請求項４に係る道路白線認識装置は、前記近似手段は、前記道路パラメータ推定手段で推定された過去の道路パラメータに基づいて、前記ハフ変換における前記近似式の近似範囲を制限するようになっていることを特徴としている。また、請求項５に係る道路白線認識装置は、前記白線候補点のうち、前記候補点抽出手段で抽出された真の白線候補点に隣接するものも、前記真の白線候補点として抽出するようになっていることを特徴としている。
【００２２】
また、請求項６に係る道路白線認識装置は、車両前方の道路を撮像する撮像手段を有し、当該撮像手段で撮像した画像に基づいて道路形状及びこの道路に対する車両姿勢を示す道路モデル式の道路パラメータを推定するようにした道路白線認識装置において、前記撮像手段で撮像した画像において道路白線の白線候補点を検出する白線候補点検出手段と、当該白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を選択する候補点対選択手段と、当該候補点対選択手段で選択された候補点対毎に左右の白線候補点の水平方向位置間の距離を算出する水平距離算出手段と、前記候補点対の垂直方向位置と前記水平距離算出手段で算出された水平距離との関係を一次関数式で近似する近似手段と、当該近似手段で近似した近似式に基づいて、前記白線候補点の中から真の白線候補点を抽出する候補点抽出手段と、当該候補点抽出手段で抽出した真の白線候補点に基づいて前記道路パラメータを推定する道路パラメータ推定手段と、を備え、前記候補点対選択手段は、前記白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線又は右側道路白線に相当すると推測される白線候補点が同一側に複数存在するとき、最も車線内側に相当する左右の白線候補点から順に候補点対を形成し、前記近似手段で近似した近似式が複数存在するとき、これら近似式のうち、前記候補点対の垂直方向位置の変化に対する前記水平距離の変化度合が小さい方から２番目の近似式を選択し、これを前記候補点抽出手段で用いる真の近似式として設定する近似式選択手段、を備えることを特徴としている。
【００２３】
この請求項６に係る発明では、白線候補点検出手段で検出した白線候補点のうち、画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される白線候補点が同一側に複数存在するときには最も車線内側に相当する左右の白線候補点から順に候補点対が形成され、車線内側に相当する候補点対から順にこれに基づいて一次関数式への近似が行われる。そして、近似手段で近似された近似式が複数存在するとき、これら近似式のうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合、つまり、傾きが小さい方から２番目の近似式が真の近似式として選択される。ここで、二重白線区間の場合、近似式は複数検出され、道路白線の内側に内側案内線が設けられているから、近似式の傾きは、内側案内線が最も小さく、内側案内線、道路白線の順に大きくなる。よって、近似式の傾きが小さい方から２番目の近似式を真の近似式として選択することによって、複数の近似式の中から、道路白線に相当する近似式が選択されることになる。
【００２４】
また、請求項７に係る道路白線認識装置は、前記候補点対選択手段は、最も車線内側に相当する左右の白線候補点から順に２組の候補点対を形成するようになっていることを特徴としている。この請求項７に係る発明では、最も車線内側に相当する左右の白線候補点から順に２組の候補点対が形成される。つまり、二重白線区間では近似式が複数検出されるが、複数の近似式のうち、その傾きが最も小さいものから２番目の近似式が道路白線に相当する近似式であるから、この近似式を得ることができればよい。近似式の傾きは、候補点対の水平距離が小さいほど小さくなるから、最も車線内側に相当する左右の白線候補点から順に２組の候補点対を形成すれば、道路白線に相当する近似式が得られることになる。
【００２５】
また、請求項８に係る道路白線認識装置は、前記近似式選択手段は、前記近似手段で近似した複数の近似式毎に、前記水平距離が零となるときの前記候補点対の垂直方向位置である零座標値を算出し、各近似式の零座標値間の距離が全て予め設定したしきい値よりも大きいとき、前記近似式のうち、各近似式を満足する候補点対の数が最も多いものを信頼性が最も高いとしてこれを前記真の近似式として選択するようになっていることを特徴としている。
【００２６】
この請求項８に係る発明では、近似手段で近似した複数の近似式毎に、水平距離が零となるときの候補点対の垂直方向位置である零座標値が算出される。そして、各近似式においてその零座標値間の距離が全てしきい値よりも大きいとき、近似式のうち、各近似式を満足する候補点対の数が最も多いものが信頼性が最も高いとして、これが真の近似式として選択される。ここで、二重白線区間では、道路白線の内側に内側案内線が平行に表示されているため、撮像画像における消失点はほぼ一致することになる。よって、水平距離が零となるときの候補点対の零座標値が一致しないときには、二重白線区間ではないとみなすことができるから、近似式のうち信頼度が最も高いものを選択することによって、道路白線に該当する近似式が選択されることになる。
【００２７】
また、請求項９に係る道路白線認識装置は、前記近似式選択手段は、前記近似手段で近似した複数の近似式毎に、前記水平距離が零となるときの前記候補点対の垂直方向位置である零座標値を算出し、他の近似式との零座標値間の距離が予め設定したしきい値よりも小さくなる近似式が存在する場合には、これら近似式のうち、前記候補点対の垂直方向位置の変化に対する前記水平距離の変化度合が小さい方から２番目の近似式を選択し、これを前記候補点抽出手段で用いる真の近似式として設定するようになっていることを特徴としている。
【００２８】
この請求項９に係る発明では、近似式毎に、水平距離が零となるときの候補点対の垂直方向位置である零座標値が算出され、他の近似式の零座標値間の距離がしきい値よりも小さくなる近似式が存在するとき、この零座標値間の距離がしきい値よりも小さくなる近似式のうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合が小さい方から２番目の近似式が選択される。ここで、二重白線区間では、道路白線の内側に内側案内線が平行に表示されているため、撮像画像における消失点はほぼ一致することになる。よって、水平距離が零となるときの候補点対の零座標値が一致するときには、二重白線区間であるとみなすことができるから、零座標値間の距離がしきい値が小さくなる近似式どうしのうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合、つまり近似式の傾きが小さい方から２番目の近似式を選択することによって、道路白線に該当する近似式が選択されることになる。
【００２９】
さらに、請求項１０に係る道路白線認識装置は、前記道路パラメータ推定手段は、前記近似手段で近似した近似式に基づいて前記撮像手段の姿勢を推定し、推定した撮像手段の姿勢及び前記道路パラメータの前回の検出値を用いて前記画像に対し白線候補点の探索領域を設定する探索領域設定手段と、前記画像において前記探索領域内で再度白線候補点を検出し検出した白線候補点を前記真の白線候補点として設定する再検出手段と、を備えることを特徴としている。
【００３０】
この請求項１０に係る発明では、近似手段で近似した近似式に基づいて撮像手段の姿勢が推定され、推定した撮像手段の姿勢及び前回検出時の道路パラメータを用い、白線候補点の探索領域が設定され、この探索領域に対し、再度白線候補点の検出が行われてこれが真の白線候補点として設定される。このとき、例えば、推定した撮像手段の姿勢を固定し、道路パラメータの共分散に基づいて探索領域の幅を設定すれば、探索領域の幅が的確に設定されると共に、その幅がさらに狭くなるから、白線候補点の誤検出が防止されることになる。
【００３１】
【発明の効果】
本発明の請求項１に係る道路白線認識装置によれば、撮像手段で撮像した画像から検出した白線候補点のうち、画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を候補点対として選択し、その左右の白線候補点の水平方向位置間の距離を算出し、候補点対の垂直方向位置とその水平距離との関係を一次関数式で近似し、この近似した近似式に基づいて、白線候補点の中から真の白線候補点を抽出するようにしたから、画像全体から白線候補点を選定することができ、このようにして選定した白線候補点を用いることによって、道路が曲線である場合であってもロバストに道路パラメータを推定することができる。
【００３２】
また、このとき、候補点対の水平距離と、候補点対の垂直方向位置に基づき前記近似式から算出される水平距離と、の差が予め設定したしきい値以下であるとき、候補点対をなす白線候補点を、真の白線候補点として抽出するようにしたから、単純な演算で抽出することができ、短時間で且つ的確に真の白線候補点の検出を行うことができる。
【００３３】
さらに、このとき前記しきい値として、前記画像の画素量子に比例する値を設定するようにしたから、画素の粗さに起因する白線候補点の検出誤差に対し、合理的にしきい値を設定することができ、しきい値が小さすぎることによる白線候補点の欠損或いはしきい値が大きすぎることによる白線候補点の誤検出等を防止することができる。
【００３４】
また、請求項２に係る道路白線認識装置によれば、画像における白線候補点の検出誤差は、主に画素の粗さに起因するものであり、左右の白線候補点はそれぞれ“１”の量子化誤差を有する可能性があり左右の白線候補点の水平方向の位置座標の差は最大“２”の量子化誤差を有すると仮定することができるから、しきい値の比例定数を“２”とすることによって、しきい値を合理的に設定することができる
【００３５】
また、請求項３に係る道路白線認識装置によれば、前記候補点対の垂直方向位置及び前記水平距離算出手段で算出された水平距離に対してハフ変換を行って前記近似式を検出するようにしたから、誤情報が結果に反映されないハフ変換を用いて、画像全体で一括でハフ変換を適用することによって、ロバスト性をさらに向上させることができる。また、請求項４に係る道路白線認識装置によれば、道路形状推定手段によって過去に推定された道路形状に基づいて、ハフ変換における近似式の近似範囲を制限するようにしたから、あり得ない推定を排除することができると共に、近似式算出に係る演算時間を大幅に短縮することができる。
【００３６】
また、請求項５に係る道路白線認識装置によれば、撮像手段で撮像した画像から検出した白線候補点のうち、候補点抽出手段で抽出された真の白線候補点に隣接するものも、真の白線候補点として抽出するようにしたから、真の白線候補点であるものの、垂直方向位置が同一な候補点対を形成する段階で、他方の白線候補点が存在しないことから排除されてしまった白線候補点を、真の白線候補点として選択することができ、白線候補点を不必要に限定することを回避し、真の白線候補点に基づき算出される道路形状或いはカメラ姿勢のロバスト性を向上させることができる。
【００３７】
また、請求項６に係る道路白線認識装置によれば、白線候補点検出手段で検出した白線候補点のうち、画像における垂直方向位置が同一であり且つ左側道路白線又は右側道路白線に相当すると推測される白線候補点が同一側に複数存在するときには、最も車線内側に相当する左右の白線候補点から順に候補点対を形成して近似式を算出し、近似式が複数存在するときには、候補点対の垂直方向位置の変化に対する水平距離の変化度合が小さい方から２番目の近似式を、真の近似式として検出するようにしたから、二重白線区間であっても、真の道路白線に相当する近似式を的確に検出することができる。
【００３８】
また、請求項７に係る道路白線認識装置によれば、最も車線内側に相当する左右の白線候補点から順に２組の候補点対を形成するようにしたから、不要な候補点対の検索を行うことを回避し、その分処理時間の短縮を図ることができる。また、請求項８に係る道路白線認識装置によれば、二重白線区間の場合、撮像画像において道路白線とその内側に平行に表示された内側案内線との消失点はほぼ一致するから、近似式において水平距離が零となるときの候補点対の垂直方向位置である零座標値を算出し、各近似式の零座標値間の距離が全て予め設定したしきい値よりも大きいときには、二重白線ではないと判定し、近似式のうちその信頼度が最も高いものを、真の近似式として選択することによって、真の道路白線を的確に検出することができる。
【００３９】
また、このとき、近似式を満足する候補点対の数が、真の道路白線と同等以上となるのは、二重白線区間における内側案内線のみであるから、近似式を満足する候補点対の数が最も多いものを、信頼性が最も高いと判定することによって、真の道路白線に相当する近似式を的確に検出することができる。
【００４０】
また、請求項９に係る道路白線認識装置によれば、撮像画像において、道路白線とその内側に平行に表示された内側案内線との消失点はほぼ一致するから、近似式毎に、その水平距離が零となるときの候補点対の垂直方向位置である零座標値を算出し、他の近似式との零座標値間の距離が予め設定したしきい値よりも小さくなる近似式が存在する場合には、これら近似式のうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合が小さい方から２番目の近似式を選択し、これを真の近似式とすることによって、真の道路白線を的確に検出することができる。
【００４１】
さらに、請求項１０に係る道路白線認識装置によれば、近似式に基づいて撮像手段の姿勢を推定し、推定した姿勢及び前記道路パラメータの前回の検出値を用いて画像に対し白線候補点の探索領域を設定し、この設定した探索領域内について、再度白線候補点を検出し、検出した白線候補点を真の白線候補点とするようにしたから、道路パラメータに応じて探索領域を的確に設定することができ、真の白線候補点の誤検出を回避することができる。
【００４２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、第１の実施の形態を説明する。
図１は、本発明を適用した道路白線認識装置の一実施形態を示す構成図である。
【００４３】
図１において、ＣＣＤカメラ等で構成されるカメラ１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。カメラ１で撮像した撮像情報は、処理装置２に入力され、処理装置２は、撮像情報をもとに白線候補点の検出を行い、白線候補点の検出結果に基づいて道路パラメータを推定する。
【００４４】
図３は、処理装置２で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、カメラ１からの画像情報を読み込み、ステップＳ２に移行し、読み込んだ画像情報からなる撮像画像に対し、図３に示すように複数のウィンドウを設定する。
【００４５】
このウィンドウは、道路白線以外の白線を道路白線として誤認識することを回避するために設けたものである。なお、図３に示すように、撮像画像においては、例えばその左上座標を基準とし、水平右方向をｘ軸の正方向、垂直下方向をｙ軸の正方向とする。
そして、前記各ウィンドウのｙ方向、つまり画像上下方向のウィンドウ位置は予め設定しておく。例えば、各ウィンドウの上辺及び下辺のｙ座標をそれぞれ設定しておく。
【００４６】
一方、前記ウィンドウのｘ方向、つまり画像左右方向のウィンドウ位置は、前回の処理周期における道路白線検出処理の処理結果に基づき得られた道路モデルに基づいて設定する。
ここで、一般に、曲線路を考慮した道路形状は、道路モデルのパラメータを｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝とすると、次式（５）で表すことができることが知られている。なお、Ａは、車両の車線に対する横変位、Ｂは道路曲率、Ｃは車両の車線に対するヨー角、Ｄはピッチ角、Ｈはカメラ高さである。また、式（５）中の、Ｅ０ は車線幅、ｆはカメラ透視変換定数、｛ｘ，ｙ｝は撮像画像上における白線候補点の座標である。また、ｉは左側道路白線の場合には“０”、右側道路白線の場合には“１”を表す。
【００４７】
ｘ＝（−Ａ＋ｉ＊Ｅ０）＊（ｙ＋ｆ＊Ｄ）／Ｈ−Ｂ＊Ｈ＊ｆ２／（ｙ＋ｆ＊Ｄ）−Ｃ＊ｆ ……（５）
ここで、ウィンドウのｘ軸方向の中心位置をｘＣ とすると、中心位置座標ｘＣ は、前記（５）式及び予め設定したｙ座標から算出することができる。
ウィンドウのｘ軸方向の最小値ｘｍｉｎ 及び最大値ｘｍａｘ を、次式（６）のように設定する。
【００４８】
ｘｍｉｎ ＝ｘｃ −ｘｗ
ｘｍａｘ ＝ｘｃ ＋ｘｗ ……（６）
なお、（６）式中のｘｗは、予め設定した固定値でもよく、また、例えば、特開平８−２６１７５６号公報に記載されているように、前述の道路モデルのパラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の分散から合理的に設定するようにしてもよい。
【００４９】
次いで、ステップＳ３に移行し、白線候補点の検出を行う。この検出は、道路白線と路面との輝度変化を利用し、輝度変化のノイズ対策を考慮して輝度画像に対し、公知の手順でｓｏｂｅｌフィルタを施し、輝度変化を得る。つまり、座標ｘの画素の輝度が、座標ｘ＋１の画素の輝度よりも大きい場合に、ｓｏｂｅｌフィルタの出力を正とする。道路白線は幅が変わる場合があるので、ここでは、車線内側に相当する道路白線の内側を白線候補とすると、ｓｏｂｅｌフィルタ処理を施すことによって、左側白線内側は正値となり、右側白線内側は負値となるはずである。したがって、ｓｏｂｅｌフィルタの出力をｙｓ、輝度変化しきい値をＦＴＨとしたとき、次式（７）及び（８）が成り立つ。
【００５０】
ｙｓ＞ ＦＴＨ：左白線 ……（７）
ｙｓ＜−ＦＴＨ：右白線 ……（８）
なお、前記輝度変化しきい値ＦＴＨを大きな値に設定すると、はっきり現れる道路白線を検知するものの、薄れた道路白線やトンネル内部等で道路白線が見えにくい場合等にはこれを検知しなくなる。逆に、輝度変化しきい値ＦＴＨを小さな値に設定すると、薄れた道路白線やトンネル内部等道路白線が見えにくい場合等であっても道路白線を検知することができるものの、逆に水膜等の疑似白線を道路白線として誤認識しやすくなる。したがって、前記輝度変化しきい値ＦＴＨは、これらのトレードオフを考慮して設定する。
【００５１】
このようにして、各ウィンドウ毎にｓｏｂｅｌフィルタを施し、前記（７）式を満足する画素を、左側道路白線候補として、その位置座標を｛ｘｌｐ，ｙｐ ｝とし、前記（８）式を満足する画素を、右側道路白線候補としてその位置座標を｛ｘｒｐ，ｙｐ ｝とし、これら画素を、候補点群Ａとする。
次いで、ステップＳ４に移行し、撮像画像上における、左右の道路白線間の距離である車線幅ｄｘを算出する。まず、各ウィンドウ毎に、ステップＳ３で検出した候補点群Ａの位置座標をもとに、ウィンドウ内の全てのｙ値に対し、左右の白線候補点が共に存在するかどうかを検知する。つまり、候補点群Ａのうち、ｙ値が同一である、左側白線候補点｛ｙｎ ，ｘｌｎ｝と右側白線候補点｛ｙｎ ，ｘｒｎ｝とを検索し、左右の白線候補点のｘ座標の差ｄｘ（＝ｘｒｎ−ｘｌｎ）を検出し、これを配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝で表す。なお、ｎは、ｎ＝１〜Ｎｍａｘ の値であって、Ｎｍａｘ は、ｙ値が同一である左側及び右側の白線候補点の組み合わせの数である。
【００５２】
次いで、ステップＳ５に移行し、次式（９）で示すように、全てのウィンドウにおいて検出した配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝をもとに、車線幅ｄｘをｙに関する一次式で近似し、全ての配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝を満足する近似直線を検出する。つまり、撮像画像全体に対し一括して近似直線を検出する。この検出には、ハフ変換を用いる。
【００５３】
ｄｘ＝ａ×ｙ＋ｂ ……（９）
なお、式中のａ及びｂは、ハフ変換を行うことによって算出することができ、ハフ変換における処理過程で、例えば図１４に示す二次元マップを得ることができるが、このとき、前記ハフ変換処理におけるａ及びｂの上限及び下限値を、次式（１０）に示すように設定する。
【００５４】
ａｍａｘ ＝Ｅ０ ／（Ｈ０ −ｄＨ）
ａｍｉｎ ＝Ｅ０ ／（Ｈ０ ＋ｄＨ）
ｂｍａｘ ＝Ｅ０ ＊ｆ＊（Ｄ＋ｄＤ）／（Ｈ−ｄＨ）
ｂｍｉｎ ＝Ｅ０ ＊ｆ＊（Ｄ−ｄＤ）／（Ｈ＋ｄＨ） ……（１０）
なお、（１０）式において、ａｍａｘ 及びｂｍａｘ はそれぞれ最大値を表し、ａｍｉｎ 及びｂｍｉｎ はそれぞれ最小値を表す。また、Ｅ０ は予め設定された車線幅、Ｈはカメラ高さ、Ｄはピッチ角、ｆは予め設定されたカメラ焦点距離であって、Ｈ０ 及びＤ０ は、前回の道路パラメータ検出時における、カメラ高さＨ及びピッチ角Ｄの検出結果である。
【００５５】
また、ｄＨびｄＤは、カメラ高さＨ及びピッチ角Ｄの道路パラメータの検出処理の一周期間の差分値の最大値であって、予め走行実験等を行うことによって得られたデータをもとに設定される値である。なお、これら差分値の最大値は、その値が小さいとロストする可能性があり、逆に、大きすぎると誤認識や演算時間の増大につながるため、これらのトレードオフを考慮して修正するようにしてもよい。
【００５６】
ここで、左側白線候補点のｘ座標をｘｌ 、右側白線候補点のｘ座標をｘｒ とすると、車線幅ｄｘは、次式（１１）で表すことができる。
ｄｘ＝ｘｒ −ｘｌ ＝Ｅ０ ＊（ｙ＋ｆ＊Ｄ）／Ｈ ……（１１）
したがって、車線幅ｄｘは、道路曲率に関わらず、前記（１１）式に示す、ｙに関する一次関数で近似することができる。
【００５７】
次いで、ステップＳ６に移行し、ステップＳ４で算出した配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝のうち、次式（１２）を満足する配列を抽出し、これを配列｛ｙｍ ，ｄｘｍ ｝とする。なお、ｍは１〜Ｍｍａｘ の値であって、Ｍｍａｘ は次式（１２）を満足する配列の個数である。
｜ｄｘｎ −（ａ＊ｙｎ ＋ｂ）｜＜ｋ＊ｇｇ ……（１２）
なお、（１２）式中のｇｇは画素の大きさを表す。また、前記ｋは比例定数であって、例えば“２”に設定される。
【００５８】
次いで、ステップＳ７に移行し、白線候補点の絞り込みを行う。つまり、ステップＳ６で抽出した配列｛ｙｍ ，ｄｘｍ ｝に相当する左側白線候補点｛ｙｍ ，ｘｌｍ｝と右側白線候補点｛ｙｍ ，ｘｒｍ｝を得て、これを候補点群Ｂとする。
次いで、ステップＳ８に移行し、白線候補点の拡張処理を行う。つまり、図４のフローチャートに示すように、ステップＳ８ａで、候補点群Ｂに含まれる各白線候補点について探索が終了したかどうかを判定し、終了していない場合にはステップＳ８ｂに移行し、探索未終了の白線候補点を選択する。この探索は、例えば、候補点群Ｂに含まれる白線候補点の各配列の添え字の昇順に探索を行うようにし、昇順が、前回探索した白線候補点の次に相当する白線候補点を選択する。
【００５９】
次いで、ステップＳ８ｃに移行し、ステップＳ８ｂで選択した白線候補点に該当する画素に隣接する画素の中に、候補点群Ａに含まれる白線候補点に該当する画素が存在するかを判定する。そして、該当する画素が存在しない場合にはそのままステップＳ８ａに戻り、該当する画素が存在する場合には、この候補点群Ａに含まれる白線候補点を、候補点群Ｂに追加し、ステップＳ８ａに戻る。
【００６０】
そして、候補点群Ｂに含まれる全ての白線候補点について探索が終了した場合には、処理を終了する。
次いで、ステップＳ９に移行し、候補点群Ｂに含まれる白線候補点に基づいて、道路パラメータの推定及びカメラ姿勢の推定を行い、道路形状の推定を行う。この推定は、公知の手順で行えばよく、例えば、特開平６−２０１８９号公報に記載されたように、最小二乗法を用いて推定を行うようにしてもよく、また、特開平８−２６１７５６号公報に記載されたように、カルマンフィルタを用いて推定を行うようにしてもよい。
【００６１】
次に、上記第１の実施の形態の動作を説明する。
カメラ１からの画像情報を読み込むと、その撮像画像に対し、図３に示すように、予め設定したｙ座標位置及び前回検出時の道路パラメータに基づきｘ座標位置を特定し、特定されたｘ座標及びｙ座標位置を基準として、予め設定されたウィンドウ幅を有するウィンドウを複数設定する（ステップＳ１、Ｓ２）。
【００６２】
そして、各ウィンドウ毎に、ｓｏｂｅｌフィルタ処理を行って候補点群Ａを検出し、ｙ座標が同一である、右及び左側の白線候補点の組み合わせを抽出し、これに基づき配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝を算出する。そして、各ウィンドウ毎に検出した配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝をもとに近似直線を算出する。つまり、撮像画像全体において検出した全ての配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝に基づいて、これら配列を満足する近似直線を算出する（ステップＳ３〜Ｓ５）。
【００６３】
ここで、近似直線は、左右の白線候補点のｘ座標の差と、ｙ座標との関係を直線に近似するようにしており、これらの関係は、曲線路でも成立する。したがって、得られる近似直線の近似精度は低下しない。
そして、配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝に該当する各白線候補点について、前記（１２）式を満足する配列を抽出しこれを｛ｙｍ ，ｄｘｍ ｝とする。これによって、候補点群Ａのうち、近似直線の近傍とみなすことのできる白線候補点を白線候補点群Ｂとして抽出するが（ステップＳ６、Ｓ７）、候補点群Ａに属する白線候補点のうち、候補点群Ｂに属する白線候補点の近傍に位置する白線候補点については、検出対象の道路白線に該当する真の白線候補点である可能性が高いとして、候補点群Ｂに追加する（ステップＳ８）。そして、このようにして設定された候補点群Ｂに属する白線候補点に基づいて、ハフ変換或いは、最小二乗法等を用いて、カメラ姿勢の検出、また、道路パラメータの算出を行う。
【００６４】
ここで、前記候補点群Ｂは、右側及び左側の白線候補点の組み合わせの中から抽出するようにしている。このため、右側及び左側の白線候補点が共に存在しないものは、真の白線候補点であるにも関わらず、候補点群Ｂに属さないことになる。しかしながら、候補点群Ａに属する白線候補点のうち、候補点群Ｂに属する白線候補点に隣接するものについては、真の白線候補点である可能性が高いとして、これを候補点群Ｂに登録するようにしているから、ペアを組む他方の側の白線候補点が存在しない白線候補点であっても、候補点群Ｂに確実に登録することができる。したがって、候補点群Ｂに属する各白線候補点に基づいて道路形状或いはカメラ姿勢の推定を行うことにより、その推定のロバスト性を向上させることができる。
【００６５】
また、前記（１２）式の左辺は、ｘ＝ａ・ｙ＋ｂにおけるｘ軸方向の近似誤差を表しており、この近似誤差が小さいほど、白線候補点｛ｙｎ ，ｄｘｎ ｝が、近似直線の近傍に位置する点であることを表している。したがって、前記（１２）式を満足するか否かを判定することによって、白線候補点｛ｙｎ ，ｄｘｎ ｝が近似直線近傍位置であるかを的確に判定することができると共に、この判定は単純な計算を行うだけでよいから、容易に検出することができる。
【００６６】
また、前記（１２）式の左辺は、撮像画像上におけるｘ方向の近似誤差であって、この誤差は、真の白線候補点であっても発生する。その大半は画素の粗さ（量子化ノイズ）に基づくものである。よって、画素量子に比例して、前記（１２）式の右辺、つまりしきい値を設定することは合理的であり、画素が粗い場合には、所定値が小さすぎることによる白線候補点の欠損を防止することができ、逆に、画素が細かい場合には、所定値が大きすぎることによる白線候補点の誤検出を防止することができ、白線候補点の検出を的確に行うことができる。
【００６７】
このとき、右側白線候補点及び左側白線候補点はそれぞれ“１”の量子化誤差を有する可能性があるが、例えば、左右の白線候補点に共に誤差が含まれる場合には、これらの誤差の符号が互いに異なる可能性がある。したがって、最大“２”の量子化誤差を有する可能性がある。よって．画素の大きさｇｇの比例定数を“２”として設定することによって、より的確に候補点群Ｂの抽出を行うことができる。
【００６８】
また、ハフ変換は、最小二乗法に対し、誤認識された白線候補点が結果に反映されないという長所を有しており、本来ロバスト性を備えているが、演算時間の制約から、白線候補点列を一括で曲線に近似することにハフ変換を適用することは不可能である。しかしながら、上記第１の実施の形態においては、撮像画像上における車線幅ｄｘがｙに関し直線で近似されることに着目し、撮像画像全体に対して一括してハフ変換を適用し、近似直線を算出するようにしたから、従来のように、ウィンドウ毎に別々にハフ変換を適用しなくとも、撮像画像全体にわたってハフ変換を適用することができる。よって、ロバスト性を向上させることができ、また、このとき、候補点群Ｂに属する白線候補点は、互いに近似直線を介した拘束条件を有することになるから、白線候補点検出のロバスト性を向上させることができる。
【００６９】
また、ハフ変換を適用する際に、過去の道路パラメータ等、予め設定した道路パラメータに基づいて、パラメータａ及びｂの範囲を制限し、その範囲内についてハフ変換処理を行うようにしているから、演算時間を大幅に短縮することができると共に、あり得ることのない推定を排除することができる。
次に、第２の実施の形態を説明する。
【００７０】
この第２の実施の形態は、車線境界線とその内側の内側案内線とからなる二重白線区間において、道路白線として車線境界線を確実に検出できるようにしたものであって、上記第１の実施の形態において、図２の道路白線検出処理の処理手順の一部が異なること以外は同様であるので、同一部には同一符号を付与し、その詳細な説明は省略する。
【００７１】
図５は、第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
上記第１の実施の形態と同様に、ステップＳ１で、カメラ１で撮像した画像情報を読み込み、予め設定した位置にウィンドウを設定する（ステップＳ２）。次いでステップＳ１１に移行し、上記第１の実施の形態におけるステップＳ３の処理と同様に、輝度画像に対しｓｏｂｅｌフィルタ処理を施し、白線候補点の検出処理を行い、前記（７）式又は（８）式を満足する画素の検出を行う。このとき、左右の道路白線の内側からｘ軸の正及び負方向にそれぞれ走査し、前記条件を満足するもの全てを左側白線候補点又は右側白線候補点としてそれぞれ検出するようにしてもよく、或いは、左右の道路白線の内側からｘ軸方向の正方向又は負方向に走査したときに、同一方向において前記条件を満足する画素を所定数、例えば“２”、検出したときに、このｙ座標位置における白線候補点の検出を終了するようにしてもよい。
【００７２】
次いで、ステップＳ１２に移行し、前記図２のステップＳ４と同様にして、撮像画像上における車線幅ｄｘを算出する。このとき、左右の道路白線の、より内側に位置する白線候補点から順に左右の白線候補点どうしのペアを作成する。つまり、まず、ｙ座標が同一の白線候補点について、左右の白線候補点のうち最も左右の道路白線の内側に位置する白線候補点どうしのペアを作成する。次に、このペアを構成する白線候補点どうしを除き、残された白線候補点の中から、左右の白線候補点のうち最も道路白線の内側に位置する白線候補点どうしのペアを作成する。この処理を繰り返し行い、ｙ座標が同一の白線候補点について、左右の白線候補点どうしのペアを内側から順に作成する。
【００７３】
なお、このとき、左右の白線候補点が共に存在しなくなるまで、左右の白線候補点のペアを作成するようにしてもよく、所定数、例えば“２”、得られたときに、該当するｙ座標についての処理を終了するようにしてもよい。
そして、各ペアの座標を｛ｘｌｎ，ｙｎ ｝｛ｘｒｎ，ｙｎ ｝とすると、｛ｙｎ ，ｄｘｎ ｝＝｛ｙｎ ，ｘｒｎ−ｘｌｎ｝として、ｙ座標とｙ座標位置における車線幅ｄｘとの対応を表す配列を算出する。
【００７４】
次いで、ステップＳ１３に移行し、前記図２のステップＳ５の処理と同様にしてハフ変換を用いて車線幅ｄｘの近似直線を算出する。このとき、ハフ変換処理を行うことによって、近似直線のパラメータａ及びｂの配列からなる、図１４に示すようなマップが得られる。そして、例えば図６に示すように二重白線が存在する場合、或いは、道路白線だけでなく疑似白線が存在する場合には、図７〜図９に示すように、複数の近似直線が得られることになる。
【００７５】
次いで、ステップＳ１４に移行し、二重白線であるか否かの判断を行う。つまり、前記ステップＳ１３のハフ変換処理において得られるマップにおいて、配列｛ａ，ｂ｝を満足する白線候補点数が、予め設定したしきい値以上であるものが存在するかどうかを判定する。前記しきい値は、道路白線であるとみなすことの可能な値に設定され、このしきい値を大きくすると、ロバスト性は向上するが、道路が見えにくいなどの状況下ではロストにつながるためこれらを考慮して設定する。そして、配列マップにおいて、配列｛ａ，ｂ｝を満足する白線候補点数がしきい値以上である配列を、｛ａ１ｘ，ｂ１ｘ｝、｛ａ２ｘ，ｂ２ｘ｝、｛ａ３ｘ，ｂ３ｘ｝、……として設定する。
【００７６】
そして、これら選択した配列それぞれについて、次式（１３）から、車線幅ｄｘが零であるときのｙ座標値である、零座標値ｃｎｘを算出する。
ｃｎｘ＝−ｂｎｘ／ａｎｘ ……（１３）
そして、各零座標値ｃｎｘの中で、次式（１４）を満足するものを選択する。つまり、互いの零座標値ｃｎｘの大きさの差がしきい値ｋよりも小さくなるものを選択する。
【００７７】
｜ｃｎｘ（ｎ＝ｐ）−ｃｎｘ（ｎ＝ｑ）｜＜ｋ ……（１４）
そして、前記（１４）式を満足するｃｎｘ（ｎ＝ｐ）及びｃｎｘ（ｎ＝ｑ）が存在する場合には、二重白線であると判断する。逆に、前記（１４）式を満足する零座標値ｃｎｘが存在しない場合には、配列｛ａ１ｘ，ｂ１ｘ｝、｛ａ２ｘ，ｂ２ｘ｝、｛ａ３ｘ，ｂ３ｘ｝、……のうち、この配列を満足する白線候補点数が最も多いものを選択し、これを配列｛ａ０ ，ｂ０ ｝とする。
【００７８】
そして、ステップＳ１４で二重白線であると判断されたときには、ステップＳ１５に移行し、白線選択を行う。つまり、ステップＳ１４で選択された複数の零座標値ｃｎｘに対応する配列を、改めて｛ａ１ｙ，ｂ１ｙ｝、｛ａ２ｙ，ｂ２ｙ｝、……｛ａｍｙ，ｂｍｙ｝とし、ａ１ｙ〜ａｍｙのうち、これらを昇順に並べたときの小さい方から２番目となる配列を選択し、これを配列｛ａ０ ，ｂ０ ｝とする。そして、ステップＳ６に移行する。一方、前記ステップＳ１４で二重白線でないと判断されたときにはそのままステップＳ６に移行する。
【００７９】
このステップＳ６は、前記図２のステップＳ６の処理と同様であって、ステップＳ１４又はＳ１５で特定される配列｛ａ０ ，ｂ０ ｝を前記（１２）式におけるパラメータａ及びｂとし、ステップＳ１２で算出した、配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝のうち、前記（１２）式を満足する配列を抽出し、近似直線近傍の白線候補点を抽出する。
【００８０】
以後、上記第１の実施の形態と同様にして、候補点群Ｂを特定し（ステップＳ７）、候補点群Ａに属する白線候補点の中から、候補点群Ｂに属する白線候補点の近傍に位置する白線候補点を抽出し、これを候補点群Ｂに追加する（ステップＳ８）。そして、このようにして設定した候補点群Ｂに属する白線候補点に基づいて、道路形状及びカメラ姿勢の推定を行う（ステップＳ９）。
【００８１】
次に、第２の実施の形態の動作を説明する。
今、車両が道路白線（車線境界線）の内側に内側案内線が表示された二重白線区間を走行している場合には、カメラ１によって撮像される撮像画像は、例えば、図６に示すように、左右の道路白線の内側に内側案内線が存在した状態となる。
【００８２】
この撮像画像に対しウィンドウを設定し（ステップＳ１、Ｓ２）、ステップＳ１１で、これに対してｓｏｂｅｌフィルタ処理を行うと、ｙ座標を固定として、ｘ軸正方向に走査した場合、右側白線候補点として、右側の内側案内線の内側に対応する画素Ｒ１と真の道路白線の内側に対応する画素Ｒ２との２つの画素が検出されることになり、逆に、ｘ軸負方向に走査した場合、左側白線候補点として、左側の内側案内線の内側に対応する画素Ｌ１と真の道路白線の内側に対応する画素Ｌ２との２つの画素が検出されることになる。
【００８３】
そして、ステップＳ１２に移行して、検出した左右の白線候補点をもとに、左右の道路白線の内側よりの白線候補点から順に左右の白線候補点どうしのペアを作成すると、画素Ｒ１とＬ１、画素Ｒ２とＬ２とのペアができることになる。そして、このようにして設定した各ｙ座標値における、左右の白線候補点間のｘ軸方向間の距離、つまり車線幅ｄｘを算出し、これに基づきハフ変換処理を行う。そして、このハフ変換処理によって得られたマップにおいて、配列｛ａ，ｂ｝を満足する白線候補点数が、予め設定したしきい値以上であるものを選択する。
【００８４】
このとき、道路白線と内側案内線とが表示されているから、配列｛ａ，ｂ｝を満足する白線候補点数が予め設定したしきい値以上となる配列として、道路白線に該当する配列｛ａＳ ，ｂＳ ｝及び内側案内線に該当する配列｛ａＷ ，ｂＷ ｝が検出されることになる（ステップＳ１３）。
そして、これら選択した配列それぞれについて、前記（１３）式に基づき、車線幅ｄｘが零であるときのｙ座標値である零座標値ｃＳｘ，ｃＷｘを算出する。
【００８５】
ここで、図７に示すように、道路白線及び内側案内線は、近似直線ｌｎ１及びｌｎ２で表される。このとき、通常、内側案内線は道路白線の内側に平行に配設されているから、道路白線及び内側案内線の消失点、つまり、車線幅ｄｘが零となる零座標値ｃＳｘ，ｃＷｘは、ほぼ一致することになり、前記（１４）式を満足することになる。したがって、二重白線であると判断される（ステップＳ１４）。
【００８６】
そして、前記（１４）式を満足する零座標値ｃＳｘ，ｃＷｘに対応する配列のパラメータａを昇順に並べ、小さい方から２番目となる配列を選択する（ステップＳ１５）。
ここで、パラメータａは、近似直線の傾きを表しており、すなわち、ｙ座標値の変化に対する車線幅ｄｘの変化量を表している。内側案内線は道路白線の内側に設けられており、ｙ座標値の変化に対する車線幅ｄｘの変化量は、内側案内線に比較して道路白線の方が大きくなるから、パラメータａを昇順に並べたときの小さい方から２番目の配列を選択すると、すなわち、道路白線に相当する配列が選択されることになる。
【００８７】
このとき、例えば、自車両の走行車線における内側案内線だけでなく、自車両の走行車線に隣接する左右の車線における内側案内線も撮像され、例えば、自車両の走行車線の左右の内側案内線及び左右の道路白線と、隣接する左右の車線の、自車両の走行車線側の内側案内線が一方ずつ撮像された場合には、図７に示すように、真の道路白線に相当する近似直線ｌｎ１と、内側案内線に相当する近似直線ｌｎ２と、隣接する左右の車線の内側案内線に相当する近似直線ｌｎ３とが検出されることになる。
【００８８】
このとき、隣接する左右の車線の内側案内線は、道路白線及び自車両走行車線の内側案内線と平行に表示されているから、前記（１４）式を満足することになる。また、ｙ座標値の変化に対する車線幅ｄｘの変化は、図７に示すように、近似直線ｌｎ３が最も大きくなる。したがって、前記（１４）式を満足する配列を、パラメータａの昇順に並べたときの下から２番目の配列は、道路白線に相当する配列が選択されることになる（ステップＳ１５）。
【００８９】
そして、以後、上記と同様にして、候補点群Ａの中から、ステップＳ１５で特定される近似直線の近傍点を抽出してこれを候補点群Ｂとし、前記候補点群Ａに属する白線候補点のうち候補点群Ｂに属する白線候補点に隣接するものについても候補点群Ｂに追加する（ステップＳ８）。そして、このようにして検出した候補点群Ｂに基づいて、上記第１の実施の形態と同様にして、道路パラメータの推定を行う（ステップＳ９）。
【００９０】
また、例えば、撮像画像上に疑似白線が存在する場合、ステップＳ１２で、車線幅ｄｘを算出する際には、撮像画像において車線内側から外側方向に走査したときの右側白線候補点及び左側白線候補点に基づいて算出するようにしている。このため、撮像画像上に疑似白線が存在したとしても、ｙ座標値が同一であるペアが存在しなければ車線幅ｄｘを算出することができない。
【００９１】
しかしながら、場合によっては、疑似白線であっても、この疑似白線に相当する白線候補点と対をなす白線候補点が存在し、これに基づいて車線幅ｄｘが算出され、この誤認識された車線幅ｄｘを含んで、ステップＳ１３で近似直線の算出が行われ、図８に示すように、疑似白線に相当する近似直線ｌｎ４も検出される場合がある。
【００９２】
この場合には、零座標値ｃｎｘが前記（１４）式を満足しないから二重白線ではないと判定され、配列｛ａ，ｂ｝を満足する白線候補点数が多い方が道路白線に相当する近似直線として選択される。一般に、道路白線に相当する配列を満足する白線候補点数に比較して、疑似白線に相当する配列を満足する白線候補点数は少ないから、道路白線に相当する配列が選択されることになって、真の道路白線に相当する近似直線に基づいて候補点群Ｂが作成されることになる。
【００９３】
したがって、二重白線が表示された区間を走行する場合であっても、的確に真の道路白線を検出することができ、この道路白線に基づいて道路パラメータの推定を行うことによって、高精度に道路パラメータの推定を行うことができる。
また、車線幅ｄｘの近似直線を算出する際にハフ変換を用いているから、複数の直線候補を、互いに誤差を発生させることなく推定することができ、道路白線認識に対してロバストであるとみなすことができる。
【００９４】
また、ｓｏｂｅｌフィルタ処理において、ｘ方向に走査する場合に、右側方向及び左側方向それぞれに２つずつ白線候補点が検出された時点で、ｘ軸方向の走査を停止するようにし、また、車線幅ｄｘを算出する際に、２組のペアのみを作成するようにしている。ここで、二重白線区間の場合、道路白線に相当する近似直線の傾きは、上述のように最も小さい方から２番目となるから、この２番目の近似直線を検出するのに十分なだけの白線候補点の検出及び車線幅ｄｘの算出を行うことによって、不要な演算を行うことを回避し、演算時間の短縮を図ることができる。
【００９５】
また、このとき、二重白線の場合には、道路白線（車線境界線）及び内側案内線の消失点がほぼ一致することに着目し、近似直線の零座標値ｃｎｘが一致しないときには、近似直線の傾きによらずに、近似直線を貫通する白線候補点の数に応じて近似直線を選定することによって、道路白線認識のロバスト性を確保することができる。
【００９６】
また、このとき、各近似直線を貫通する白線候補点数が、道路白線に相当する近似直線を貫通する白線候補点数と同等以上となるのは、二重白線の内側案内線のみである。例えば、道路分流合流部の誘導線は、道路白線及び誘導線とが二重に表示されているが、ペアとなる反対側の誘導線が存在しないため、検出されない。したがって、二重白線であると判定されない場合には、貫通する白線候補点数が最も多い近似直線を、道路白線に相当する近似直線であるとして検出することによって、合理的に道路白線を検出することができる。
【００９７】
なお、このとき、図９に示すように、ハフ変換処理によって疑似白線に相当する近似直線ｌｎ４が検出された場合、内側案内線と道路白線とは消失点がほぼ一致することから、ハフ変換処理によって複数の近似直線が検出される場合には、車線幅ｄｘが零となるときのｙ座標値である零座標値ｃｎｘがより近い近似直線群図９の場合、ｌｎ１及びｌｎ２を抽出し、そのうちの傾き、つまりパラメータａが小さい方から２番目の配列を選択しこれに相当する近似直線、この場合ｌｎ１を、道路白線に相当する近似直線として選択するようにしてもよい。このようにすることによって、より的確に道路白線の検出を行うことができ、また、ロバスト性を向上させることができる。
【００９８】
次に、本発明の第３の実施の形態を説明する。
この第３の実施の形態は、上記第２の実施の形態において、図５の道路白線検出処理の処理手順の一部が異なること以外は同様であるので、同一部には同一符号を付与し、その詳細な説明は省略する。
図１０は、第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【００９９】
すなわち、この第３の実施の形態においては、ステップＳ１５までの処理を上記第２の実施の形態と同様に行い、ステップＳ１４又はＳ１５の処理で、道路白線の近似直線を特定した後、ステップＳ２１に移行する。
このステップＳ２１では、ステップＳ１４又はＳ１５で得られた道路白線の近似直線を特定する配列｛ａ０ ，ｂ０ ｝に基づいてピッチ角Ｄ及びカメラ高さＨを推定する。つまり、車線幅ｄｘは前記（９）式及び（１１）式で表すことができるから、次式（１５）が成立する。
【０１００】
ａ０ ＝Ｅ０ ／Ｈ
ｂ０ ＝Ｅ０ ＊ｆ＊Ｄ／Ｈ ……（１５）
したがって、（１５）式及び配列｛ａ０ ，ｂ０ ｝に基づいて、ピッチ角Ｄ及びカメラ高さＨを算出することができる。
次いで、ステップＳ２２に移行し、ステップＳ２１で算出したピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方を固定し、ウィンドウ幅を算出する。つまり、前記（６）式におけるｘｗを算出する。
【０１０１】
ここで、前記（５）式を線形式で近似すると、次式（１６）で表すことができる。
ｘ＝ｄｘ／ｄＡ＊Ａ ＋ｄｘ＊ｄＢ＊Ｂ＋ｄｘ／ｄＣ＊Ｃ＋ｄｘ／ｄＤ＊Ｄ＋ｄｘ／ｄＨ＊Ｈ ……（１６）
なお、式（１６）中のｄｘ／ｄＺ（Ｚ＝Ａ，Ｂ，Ｃ，Ｄ，Ｈ）は、ｘのＺによる偏微分を表す。
【０１０２】
前記（１６）式は、次式（１７）と表すことができる。なお、“Ｔ”は転置を表す。
ｘの観測値ｘｏｂは、次式（１８）で表すことができる。なお、式（１８）中のｗは観測ノイズを表す。
【０１０３】
ｘｏｂ＝Ｃ＊Ｘｒｏａｄ＋ｗ ……（１８）
この観測値ｘｏｂの平均値を除いた値をｘｏｂ０ とすると、次式（１９）が成り立つ。なお、式（１９）中のＸｒｏａｄ０ は、平均値を引いた道路パラメータベクトルである。また、ｗは一般に平均値零である。
ｘｏｂ０ ＝Ｃ＊Ｘｒｏａｄ０ ＋ｗ ……（１９）
前記ｘｏｂ０ の二乗の期待値は、次式（２０）で表すことができる。なお、式（２０）中のＰは道路パラメータの共分散であり、ｑは観測誤差の二乗平均である。
【０１０４】
このようにして算出される、観測値ｘｏｂの平均値を除いた値ｘｏｂ０ の二乗の期待値をもとに、前記（６）式におけるｘｗを、次式（２１）のように設定する。
【０１０５】
ｘｗ＝〔Ｅ（ｘｏｂ０ ２ ）〕１／３ ……（２１）
これらの式から明らかなように、道路パラメータの分散値Ｐが小さいほど、ｘｗは小さくなる。そこで、ピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方の分散を零に固定し、ｘｗがより小さな値となるようにする。
そして、このようにして設定したｘｗと、前記（６）式とに基づいて、ウィンドウを再設定する。
【０１０６】
次いで、ステップＳ２３に移行し、ステップＳ２２で設定されたウィンドウについて、前記ステップＳ１１と同様にしてｓｏｂｅｌフィルタ処理を行って再度白線候補点を検出し、検出された白線候補点を候補点群Ｃとする。
そして、ステップＳ９に移行し、ステップＳ２３で検出された候補点群Ｃの白線候補点に基づいて、道路形状及びカメラ姿勢の推定を行う。
【０１０７】
次に、第３の実施の形態の動作を説明する。
撮像画像上に例えば、図１１に示すように、真の道路白線に対して、同じ方向に同じ量だけオフセットした同じｙ座標の誤認識白線候補点が存在する場合、左右の白線候補点が存在することから、これらペアに基づいて車線幅ｄｘが算出されることになる（ステップＳ１２）。このとき、誤認識白線候補点は、真の道路白線に対して同じ量だけオフセットしているから、誤認識白線候補点は、図１２に示すように、真の道路白線に相当する近似直線を満足することになり、誤認識白線候補点は除去されない。
【０１０８】
そして、二重白線である場合には、ハフ変換処理によって得られた近似直線の傾き、或いは零座標値に基づいて、道路白線に相当する近似直線が選択される（ステップＳ１４、Ｓ１５）。
次いで、特定した近似直線を特定するパラメータａ０ 及びｂ０ に基づいて、前記（１５）式にしたがって、ピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方が検出され、これらの少なくとも何れか一方を固定し、前回算出した道路パラメータに基づいてウィンドウ幅ｘｗが算出されて、撮像画像に対し再度ウィンドウが設定される。このとき、例えば、図１３に示すように、撮像画像に対し、ｙ方向のウィンドウ位置を二カ所設定しておき、前回算出した道路パラメータに基づいて、ステップＳ２での処理と同様にして、予め設定したｙ座標位置におけるｘ座標を算出し、これに基づいて左右それぞれ一つずつウィンドウを設定する（ステップＳ２２）。なお、上記ステップＳ２での処理と同様に複数のウィンドウを設定するようにしてもよい。
【０１０９】
ここで、前記ウィンドウ幅ｘｗは、前記（２１）式から算出しており、前回の道路白線検出処理実行時に検出した道路パラメータの共分散Ｐ及び観測誤差ｑに基づいて設定するようにしているから、ウィンドウ幅ｘｗを合理的に狭めることができる。
したがって、このようにして設定したウィンドウ内について、再度白線候補点の検出を行うと、誤認識候補点は、ウィンドウ外となるから、白線候補点として検出されない。よって、このようにして検出した候補点群Ｃの白線候補点に基づいて道路パラメータを推定することによって、より高精度に道路パラメータの推定を行うことができ、道路認識のロバスト性を向上させることができる。
【０１１０】
なお、第３の実施の形態において、ウィンドウ幅ｘｗを算出する際に、ピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方の分散を零に固定するようにしたが、これら両方を零に固定したときにウィンドウ幅ｘｗが最も小さくなることから、誤検知防止に有効であるが、何れか一方のみを零に固定するようにした場合であっても誤検知防止を図ることが可能である。
【０１１１】
なお、上記各実施の形態においては、道路白線検出処理のステップＳ３、又はステップＳ１１の処理で、撮像画像から白線候補点を検出する際に、ｓｏｂｅｌフィルタ処理を行うようにした場合について説明したが、これに限るものではなく、最小二乗法を適用することも可能である。
上記各実施の形態において、カメラ１が撮像手段に対応し、図２、図５、図１０のステップＳ２、ステップＳ１１の処理が白線候補点検出手段に対応し、ステップＳ４、ステップＳ１２の処理で、候補点群Ａのうち、ｙ値が同一である、左側白線候補点と右側白線候補点とを検索する処理が候補点対選択手段に対応し、この左右の白線候補点のｘ座標の差ｄｘを検出する処理が水平距離算出手段に対応し、ステップＳ５、ステップＳ１３の処理が近似手段に対応し、ステップＳ６〜ステップＳ８、ステップＳ２１〜ステップＳ２３の処理が候補点抽出手段に対応し、ステップＳ９の処理が道路パラメータ推定手段に対応し、ステップＳ１４及びステップＳ１５の処理が近似式選択手段に対応し、ステップＳ２１及びステップＳ２２の処理が探索領域設定手段に対応し、ステップＳ２３の処理が再検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、道路白線認識装置の一例を示す概略構成図である。
【図２】第１の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図３】撮像画像にウィンドウを設定した場合の一例である。
【図４】図２のステップＳ８における白線候補点拡張処理の処理手順の一例を示すフローチャートである。
【図５】第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図６】二重白線の一例である。
【図７】二重白線が存在する場合の近似直線の一例である。
【図８】道路白線と近似白線とが存在する場合の近似直線の一例である。
【図９】二重白線及び近似白線が存在する場合の近似直線の一例である。
【図１０】第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１１】第３の実施の形態の動作説明に供する説明図である。
【図１２】第３の実施の形態の動作説明に供する、近似直線の一例である。
【図１３】第３の実施の形態の動作説明に供する説明図である。
【図１４】ハフ変換処理により得られる配列の一例である。
【図１５】ハフ変換処理により得られる配列の一例である。
【図１６】従来の道路白線検出処理の動作説明に供する説明図である。
【図１７】従来の道路白線検出処理の動作説明に供する説明図である。
【符号の説明】
１ カメラ
２ 処理装置
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の道路白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、画像によって白線を認識し、自車両と白線との関係を、車両の自動制御又は一部自動制御に用いたりする技術が提案されている。
例えば、特開平６−２０１８９号公報、或いは特開平８−２６１７５６号公報等においては、撮像画像から道路白線を構成する白線候補点を検出し、撮像画像における白線候補点の位置座標に基づき道路形状、或いは撮像画像を得るためのカメラ等といった撮像手段の姿勢を推定するようにしている。前記白線候補点の検出には、一般に、最小二乗法やハフ変換が用いられ、これらは、白線候補点の連なりを線として近似するものであって、かすれた白線検出に有効である。
【０００３】
【発明が解決しようとする課題】
前記最小二乗法を用いた白線候補点の検出は、例えば、次のような手順で行われる。まず、道路白線の白線候補点の座標を｛ｘｎ ，ｙｎ ｝（ｎ＝０、１、２、……、Ｎ−１｝とする。道路白線は一般にｘ軸に沿って線が延びているため、ｘ座標をｙ座標の関数（ｘ＝ｆ（ｙ））で表すと都合がよい。ここで、道路白線の近似曲線をｘ＝ｇ（ｙ）と表すと、近似曲線と白線候補点との二乗誤差Ｅは、次式（１）で表される。なお、Σ｛ ｝は、ｎ＝０〜Ｎ−１における｛ ｝内の関数（ｇ（ｙｎ ）−ｘｎ ）２ の和を表す。
【０００４】
Ｅ＝Σ｛（ｇ（ｙｎ ）−ｘｎ ）２ ｝ ……（１）
前記二乗誤差Ｅが最小となるｇ（ｙ）を検出することが、最小二乗法である。ｇ（ｙ）をｙに関するｍ次の多項式で表現すると、次式（２）で表される。
ｇ（ｙ）＝ｃ０ ＋ｃ１＊ｙ＋ｃ２＊ｙ２ ＋ｃ３＊ｙ３ ＋……＋ｃｍ ＊ ｙｍ ……（２）
道路白線を検出するとは、上記（２）式において、係数ｃ０ 、ｃ１ 、ｃ２ 、ｃ３ ……ｃｍ を算出すること、すなわち、白線候補点列をｇ（ｙ）で近似することに相当する。ここで、係数のベクトルＣを、Ｃ＝〔ｃ０ 、ｃ１ 、ｃ２ 、……〕Ｔ と定義すると、ベクトルＣは次式（３）で算出することができる。なお、“Ｔ”は転置を表し、“−１”は逆行列を表す。また、Σ｛ ｝は、ｎ＝０〜Ｎ−１における｛ ｝内の関数の和を表し、ｉ及びｊは０〜ｍの整数である。
【０００５】
Ｃ＝Ａ−１＊Ｂ ……（３）
Ａｉｊ＝Σ｛ｙｎ ｉ＋ｊ ｝
Ｂｉｊ＝Σ｛ｙｎ ｉ ＊ｘｎ ｝
ここで、前記（３）式からわかるように、｛ｘｎ 、ｙｎ ｝（ｎ＝０〜Ｎ−１）の中に誤信号が含まれている場合、それが確実に係数ベクトルＣに反映されることになる。すなわち、ロバスト性が低いことになる。また、二乗誤差を最小にすることは、高次の関数に適用した場合、ノイズの乗ったデータ全てをフィッティングさせることにつながる。このため、道路白線のような曲線検出に直接最小二乗法を適用する例は少ない。
【０００６】
一方、ハフ変換を用いた白線候補点の検出は、次のような手順で行われる。なお、ここでは、簡単のために、一次関数の場合について説明する。
一般に、座標｛ｘ、ｙ｝を貫く直線は、パラメータａ及びｂを用いると、次式（４）で表すことができる。
ｘ＝ａ＊ｙ＋ｂ ……（４）
ここで、白線候補点の座標を｛ｘ、ｙ｝とし、パラメータａを設定すると前記（４）式からパラメータｂを求めることができる。前記｛ｘ、ｙ｝を満足するパラメータａ及びｂの組み合わせを求めることによって、図１４に示す配列を得ることができる。なお、図１４において、配列の空欄は“０”を表し、“１”が立っている｛ａ、ｂ｝の組み合わせの中に、白線候補点｛ｘ、ｙ｝を貫く直線に相当するパラメータａ及びｂの真値が含まれることになる。
【０００７】
この処理を白線候補点全てに対して行う。その結果、例えば図１５に示す配列が得られる。配列の要素｛ａｒ 、ｂｒ ｝における数ｚｒ は、ｘ＝ａｒ ＊ｙ＋ｂｒ の直線が貫く、白線候補点の総数を表す。
前記配列の要素における数ｚｒ 、つまり、白線候補点数が所定値以上の配列の要素で特定される近似直線を、白線候補線とする。これにより、撮像画像上に複数の白線が現れた場合でも、全ての白線を検出できることがわかる。また、ノイズの乗った白線候補点は、白線候補線の推定に全く影響を与えないことがわかる。つまり、ノイズの乗った白線候補点を貫く白線候補線は、前記配列において、その要素における数が少ないから、白線候補線として選択されない。
【０００８】
このように、ハフ変換では、白線候補点の中にノイズが含まれるものが存在しても、推定結果に影響を与えないという長所がある。つまり、推定が、ロバストであるということができる。
しかしながら、このハフ変換は、演算量が比較的多いという問題がある。つまり、例えば二次関数に適用した場合、図１４及び図１５は、三次の配列となる。このため、リアルタイムで画像処理を行う場合、実質的にハフ変換により曲線近似を行うことは難しいという問題がある。
【０００９】
このように、道路白線候補点の検出には、推定のロバスト性のために、最小二乗法よりもハフ変換が用いられること、また、ハフ変換は直線近似にしか適用できないことがわかる。
一般に、道路形状は曲線であるため、図３に示すように、撮像画像に対して複数のウィンドウを設定し、それぞれのウィンドウ内で、白線候補点を直線近似し、ウィンドウそれぞれを代表する白線候補点を選出することが通例となっている。
【００１０】
そして、このようにして検出した白線候補点に基づき、前記特開平６−２０１８９号公報においては、各ウィンドウを代表する複数の白線候補点に基づき道路形状及びカメラ姿勢（以後、道路パラメータという。）の推定を一括で行うようにしており、その推定には最小二乗法を用いている。
また、特開平８−２６１７５６号公報においては、道路パラメータの推定は、状態推定器の手法（カルマンフィルタ等も含む）を用いて行われ、前記道路パラメータは、前回処理実行時の道路パラメータの推定値及び今回処理実行時の白線候補点座標に基づいて推定される。
【００１１】
図１６は、状態推定器の手法を用いて道路パラメータの推定を行うようにした場合の動作の一例を表したものであり、ライン１〜１０は、左右の道路白線に対して交互に設定されたウィンドウを代表する白線候補点における、ｘ軸方向のウィンドウ幅を表す。図１６において、Ｎの初期値を１として、Ｎ番目のウィンドウに相当するライン上の白線候補点に基づいて道路パラメータを推定し、この推定した道路パラメータに基づいて、Ｎ＋１番目のウィンドウに相当するラインに対し、白線候補点が存在する領域を限定する。そして、Ｎをインクリメントし、上記と同様に処理を行い、Ｎ番目のライン上の、道路パラメータに基づき限定された領域内に白線候補点が存在すれば、この白線候補点を用いて道路パラメータを推定し、この推定した道路パラメータに基づいてＮ＋１番目のウィンドウに相当するラインに対し、白線候補点が存在する領域を限定する。
【００１２】
以後、上記と同様に処理を行い、全てのウィンドウに相当するラインについて道路パラメータの推定が終了すると、その道路パラメータの更新回数及び最終的な道路パラメータを保存する。さらに、図１７に示すように、限定された白線候補点の領域からはずれた白線候補点がある場合には、このはずれた白線候補点が存在するウィンドウをＮとし、この白線候補点を用いて道路パラメータを推定し、推定した道路パラメータに基づいて、Ｎ＋１番目のウィンドウに相当するラインに対し、白線候補点が存在する領域を限定する。そして、以後、上記と同様に順次道路パラメータの推定を行う。なお、Ｎ＝１０を超えるインクリメントは、１０→１→２の順に行う。
【００１３】
このようにすることによって、図１６に示すように、誤検出された白線候補点が存在するとき、ライン上に存在する白線候補点に基づいて道路パラメータを推定する場合、誤検出された白線候補点に基づいて道路パラメータの推定が行われることになるが、道路パラメータを順次更新し、更新の道路パラメータに基づいてウィンドウ幅を順次更新し図１７に示すように、ウィンドウ幅を狭めるようにしているから、誤検出された白線候補点が、道路パラメータの推定に用いられることが回避されるようになっている。
【００１４】
また、道路パラメータの推定に使用されない白線候補点は、この白線候補点を起点とした推定も行い、その結果、開始点が異なる単数もしくは複数の推定候補を得て、その中で最大の更新回数となった推定値をその撮像画像での推定結果とすることによって、的確に推定結果を得るようにしている。
しかしながら、前述の特開平６−２０１８９号公報においては、各ウィンドウ毎に検出した白線候補点の中に、疑似白線に該当するものが含まれる場合があり、その結果、誤推定が発生する。つまり、ウィンドウ内では、かすれている線であっても部分的にかすれているだけであって実際には真の道路白線であることもあり、また、道路白線らしく見えるものであっても、例えば車線境界線とこの内側に設けられた内側案内線とからなる二重白線の、内側の線つまり、内側案内線のように、真の道路白線でない場合もある。前記ウィンドウの領域は、カメラのピッチングやバウンシング、或いは操舵による車両挙動を考慮してその大きさが決定される。
【００１５】
このため、道路白線以外に、二重白線の内側線がウィンドウ内に現れる場合がある。真の道路白線と二重白線内側線とのどちらが真であるかを判断するのは、白線の長さであったり、エッジ強度であったりするが、ウィンドウ毎に判断するような局所的判断では、二重白線内側線を道路白線と誤認識してしまう場合があり、ウィンドウ毎に局所的に白線候補点を検出する方法では、検出精度に限界がある。
【００１６】
また、特開平８−２６１７５６号公報においては、ハフ変換や最小二乗法等を用いて検出した白線候補点に対し、その存在領域を限定することによって、ウィンドウ間の白線候補点に拘束を与えているが、ハフ変換や最小二乗法等を用いて検出される白線候補点の中には、疑似白線の白線候補点が含まれるため、存在領域を限定したとしても、疑似白線に対しても演算を行うことになり、疑似白線の含まれる数の増加に伴って演算時間も増大するという問題がある。
【００１７】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、処理時間の増加を伴うことなく、道路白線に相当する白線候補点の検出精度を向上させることの可能な道路白線認識装置を提供することを目的としている。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る道路白線認識装置は、車両前方の道路を撮像する撮像手段を有し、当該撮像手段で撮像した画像に基づいて道路形状及びこの道路に対する車両姿勢を示す道路モデル式の道路パラメータを推定するようにした道路白線認識装置において、前記撮像手段で撮像した画像において道路白線の白線候補点を検出する白線候補点検出手段と、当該白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を選択する候補点対選択手段と、当該候補点対選択手段で選択された候補点対毎に左右の白線候補点の水平方向位置間の距離を算出する水平距離算出手段と、前記候補点対の垂直方向位置と前記水平距離算出手段で算出された水平距離との関係を一次関数式で近似する近似手段と、前記水平距離算出手段で算出された候補点対の水平距離と該候補点対の垂直方向位置に基づき前記近似式から算出される水平距離との差が予め設定したしきい値以下であるとき、この候補点対を構成する白線候補点を、真の白線候補点として抽出する候補点抽出手段と、当該候補点抽出手段で抽出した真の白線候補点に基づいて前記道路パラメータを推定する道路パラメータ推定手段と、を備え、前記候補点抽出手段における前記しきい値は、前記画像の画素量子に比例する値であることを特徴としている。
【００２０】
また、請求項２に係る道路白線認識装置は、前記しきい値の比例定数は、２であることを特徴としている。また、請求項３に係る道路白線認識装置は、前記近似手段は、前記候補点対の垂直方向位置及び前記水平距離算出手段で算出された水平距離に対してハフ変換を行って前記近似式を検出するようになっていることを特徴としている。
【００２１】
また、請求項４に係る道路白線認識装置は、前記近似手段は、前記道路パラメータ推定手段で推定された過去の道路パラメータに基づいて、前記ハフ変換における前記近似式の近似範囲を制限するようになっていることを特徴としている。また、請求項５に係る道路白線認識装置は、前記白線候補点のうち、前記候補点抽出手段で抽出された真の白線候補点に隣接するものも、前記真の白線候補点として抽出するようになっていることを特徴としている。
【００２２】
また、請求項６に係る道路白線認識装置は、車両前方の道路を撮像する撮像手段を有し、当該撮像手段で撮像した画像に基づいて道路形状及びこの道路に対する車両姿勢を示す道路モデル式の道路パラメータを推定するようにした道路白線認識装置において、前記撮像手段で撮像した画像において道路白線の白線候補点を検出する白線候補点検出手段と、当該白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を選択する候補点対選択手段と、当該候補点対選択手段で選択された候補点対毎に左右の白線候補点の水平方向位置間の距離を算出する水平距離算出手段と、前記候補点対の垂直方向位置と前記水平距離算出手段で算出された水平距離との関係を一次関数式で近似する近似手段と、当該近似手段で近似した近似式に基づいて、前記白線候補点の中から真の白線候補点を抽出する候補点抽出手段と、当該候補点抽出手段で抽出した真の白線候補点に基づいて前記道路パラメータを推定する道路パラメータ推定手段と、を備え、前記候補点対選択手段は、前記白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線又は右側道路白線に相当すると推測される白線候補点が同一側に複数存在するとき、最も車線内側に相当する左右の白線候補点から順に候補点対を形成し、前記近似手段で近似した近似式が複数存在するとき、これら近似式のうち、前記候補点対の垂直方向位置の変化に対する前記水平距離の変化度合が小さい方から２番目の近似式を選択し、これを前記候補点抽出手段で用いる真の近似式として設定する近似式選択手段、を備えることを特徴としている。
【００２３】
この請求項６に係る発明では、白線候補点検出手段で検出した白線候補点のうち、画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される白線候補点が同一側に複数存在するときには最も車線内側に相当する左右の白線候補点から順に候補点対が形成され、車線内側に相当する候補点対から順にこれに基づいて一次関数式への近似が行われる。そして、近似手段で近似された近似式が複数存在するとき、これら近似式のうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合、つまり、傾きが小さい方から２番目の近似式が真の近似式として選択される。ここで、二重白線区間の場合、近似式は複数検出され、道路白線の内側に内側案内線が設けられているから、近似式の傾きは、内側案内線が最も小さく、内側案内線、道路白線の順に大きくなる。よって、近似式の傾きが小さい方から２番目の近似式を真の近似式として選択することによって、複数の近似式の中から、道路白線に相当する近似式が選択されることになる。
【００２４】
また、請求項７に係る道路白線認識装置は、前記候補点対選択手段は、最も車線内側に相当する左右の白線候補点から順に２組の候補点対を形成するようになっていることを特徴としている。この請求項７に係る発明では、最も車線内側に相当する左右の白線候補点から順に２組の候補点対が形成される。つまり、二重白線区間では近似式が複数検出されるが、複数の近似式のうち、その傾きが最も小さいものから２番目の近似式が道路白線に相当する近似式であるから、この近似式を得ることができればよい。近似式の傾きは、候補点対の水平距離が小さいほど小さくなるから、最も車線内側に相当する左右の白線候補点から順に２組の候補点対を形成すれば、道路白線に相当する近似式が得られることになる。
【００２５】
また、請求項８に係る道路白線認識装置は、前記近似式選択手段は、前記近似手段で近似した複数の近似式毎に、前記水平距離が零となるときの前記候補点対の垂直方向位置である零座標値を算出し、各近似式の零座標値間の距離が全て予め設定したしきい値よりも大きいとき、前記近似式のうち、各近似式を満足する候補点対の数が最も多いものを信頼性が最も高いとしてこれを前記真の近似式として選択するようになっていることを特徴としている。
【００２６】
この請求項８に係る発明では、近似手段で近似した複数の近似式毎に、水平距離が零となるときの候補点対の垂直方向位置である零座標値が算出される。そして、各近似式においてその零座標値間の距離が全てしきい値よりも大きいとき、近似式のうち、各近似式を満足する候補点対の数が最も多いものが信頼性が最も高いとして、これが真の近似式として選択される。ここで、二重白線区間では、道路白線の内側に内側案内線が平行に表示されているため、撮像画像における消失点はほぼ一致することになる。よって、水平距離が零となるときの候補点対の零座標値が一致しないときには、二重白線区間ではないとみなすことができるから、近似式のうち信頼度が最も高いものを選択することによって、道路白線に該当する近似式が選択されることになる。
【００２７】
また、請求項９に係る道路白線認識装置は、前記近似式選択手段は、前記近似手段で近似した複数の近似式毎に、前記水平距離が零となるときの前記候補点対の垂直方向位置である零座標値を算出し、他の近似式との零座標値間の距離が予め設定したしきい値よりも小さくなる近似式が存在する場合には、これら近似式のうち、前記候補点対の垂直方向位置の変化に対する前記水平距離の変化度合が小さい方から２番目の近似式を選択し、これを前記候補点抽出手段で用いる真の近似式として設定するようになっていることを特徴としている。
【００２８】
この請求項９に係る発明では、近似式毎に、水平距離が零となるときの候補点対の垂直方向位置である零座標値が算出され、他の近似式の零座標値間の距離がしきい値よりも小さくなる近似式が存在するとき、この零座標値間の距離がしきい値よりも小さくなる近似式のうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合が小さい方から２番目の近似式が選択される。ここで、二重白線区間では、道路白線の内側に内側案内線が平行に表示されているため、撮像画像における消失点はほぼ一致することになる。よって、水平距離が零となるときの候補点対の零座標値が一致するときには、二重白線区間であるとみなすことができるから、零座標値間の距離がしきい値が小さくなる近似式どうしのうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合、つまり近似式の傾きが小さい方から２番目の近似式を選択することによって、道路白線に該当する近似式が選択されることになる。
【００２９】
さらに、請求項１０に係る道路白線認識装置は、前記道路パラメータ推定手段は、前記近似手段で近似した近似式に基づいて前記撮像手段の姿勢を推定し、推定した撮像手段の姿勢及び前記道路パラメータの前回の検出値を用いて前記画像に対し白線候補点の探索領域を設定する探索領域設定手段と、前記画像において前記探索領域内で再度白線候補点を検出し検出した白線候補点を前記真の白線候補点として設定する再検出手段と、を備えることを特徴としている。
【００３０】
この請求項１０に係る発明では、近似手段で近似した近似式に基づいて撮像手段の姿勢が推定され、推定した撮像手段の姿勢及び前回検出時の道路パラメータを用い、白線候補点の探索領域が設定され、この探索領域に対し、再度白線候補点の検出が行われてこれが真の白線候補点として設定される。このとき、例えば、推定した撮像手段の姿勢を固定し、道路パラメータの共分散に基づいて探索領域の幅を設定すれば、探索領域の幅が的確に設定されると共に、その幅がさらに狭くなるから、白線候補点の誤検出が防止されることになる。
【００３１】
【発明の効果】
本発明の請求項１に係る道路白線認識装置によれば、撮像手段で撮像した画像から検出した白線候補点のうち、画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を候補点対として選択し、その左右の白線候補点の水平方向位置間の距離を算出し、候補点対の垂直方向位置とその水平距離との関係を一次関数式で近似し、この近似した近似式に基づいて、白線候補点の中から真の白線候補点を抽出するようにしたから、画像全体から白線候補点を選定することができ、このようにして選定した白線候補点を用いることによって、道路が曲線である場合であってもロバストに道路パラメータを推定することができる。
【００３２】
また、このとき、候補点対の水平距離と、候補点対の垂直方向位置に基づき前記近似式から算出される水平距離と、の差が予め設定したしきい値以下であるとき、候補点対をなす白線候補点を、真の白線候補点として抽出するようにしたから、単純な演算で抽出することができ、短時間で且つ的確に真の白線候補点の検出を行うことができる。
【００３３】
さらに、このとき前記しきい値として、前記画像の画素量子に比例する値を設定するようにしたから、画素の粗さに起因する白線候補点の検出誤差に対し、合理的にしきい値を設定することができ、しきい値が小さすぎることによる白線候補点の欠損或いはしきい値が大きすぎることによる白線候補点の誤検出等を防止することができる。
【００３４】
また、請求項２に係る道路白線認識装置によれば、画像における白線候補点の検出誤差は、主に画素の粗さに起因するものであり、左右の白線候補点はそれぞれ“１”の量子化誤差を有する可能性があり左右の白線候補点の水平方向の位置座標の差は最大“２”の量子化誤差を有すると仮定することができるから、しきい値の比例定数を“２”とすることによって、しきい値を合理的に設定することができる
【００３５】
また、請求項３に係る道路白線認識装置によれば、前記候補点対の垂直方向位置及び前記水平距離算出手段で算出された水平距離に対してハフ変換を行って前記近似式を検出するようにしたから、誤情報が結果に反映されないハフ変換を用いて、画像全体で一括でハフ変換を適用することによって、ロバスト性をさらに向上させることができる。また、請求項４に係る道路白線認識装置によれば、道路形状推定手段によって過去に推定された道路形状に基づいて、ハフ変換における近似式の近似範囲を制限するようにしたから、あり得ない推定を排除することができると共に、近似式算出に係る演算時間を大幅に短縮することができる。
【００３６】
また、請求項５に係る道路白線認識装置によれば、撮像手段で撮像した画像から検出した白線候補点のうち、候補点抽出手段で抽出された真の白線候補点に隣接するものも、真の白線候補点として抽出するようにしたから、真の白線候補点であるものの、垂直方向位置が同一な候補点対を形成する段階で、他方の白線候補点が存在しないことから排除されてしまった白線候補点を、真の白線候補点として選択することができ、白線候補点を不必要に限定することを回避し、真の白線候補点に基づき算出される道路形状或いはカメラ姿勢のロバスト性を向上させることができる。
【００３７】
また、請求項６に係る道路白線認識装置によれば、白線候補点検出手段で検出した白線候補点のうち、画像における垂直方向位置が同一であり且つ左側道路白線又は右側道路白線に相当すると推測される白線候補点が同一側に複数存在するときには、最も車線内側に相当する左右の白線候補点から順に候補点対を形成して近似式を算出し、近似式が複数存在するときには、候補点対の垂直方向位置の変化に対する水平距離の変化度合が小さい方から２番目の近似式を、真の近似式として検出するようにしたから、二重白線区間であっても、真の道路白線に相当する近似式を的確に検出することができる。
【００３８】
また、請求項７に係る道路白線認識装置によれば、最も車線内側に相当する左右の白線候補点から順に２組の候補点対を形成するようにしたから、不要な候補点対の検索を行うことを回避し、その分処理時間の短縮を図ることができる。また、請求項８に係る道路白線認識装置によれば、二重白線区間の場合、撮像画像において道路白線とその内側に平行に表示された内側案内線との消失点はほぼ一致するから、近似式において水平距離が零となるときの候補点対の垂直方向位置である零座標値を算出し、各近似式の零座標値間の距離が全て予め設定したしきい値よりも大きいときには、二重白線ではないと判定し、近似式のうちその信頼度が最も高いものを、真の近似式として選択することによって、真の道路白線を的確に検出することができる。
【００３９】
また、このとき、近似式を満足する候補点対の数が、真の道路白線と同等以上となるのは、二重白線区間における内側案内線のみであるから、近似式を満足する候補点対の数が最も多いものを、信頼性が最も高いと判定することによって、真の道路白線に相当する近似式を的確に検出することができる。
【００４０】
また、請求項９に係る道路白線認識装置によれば、撮像画像において、道路白線とその内側に平行に表示された内側案内線との消失点はほぼ一致するから、近似式毎に、その水平距離が零となるときの候補点対の垂直方向位置である零座標値を算出し、他の近似式との零座標値間の距離が予め設定したしきい値よりも小さくなる近似式が存在する場合には、これら近似式のうち、候補点対の垂直方向位置の変化に対する水平距離の変化度合が小さい方から２番目の近似式を選択し、これを真の近似式とすることによって、真の道路白線を的確に検出することができる。
【００４１】
さらに、請求項１０に係る道路白線認識装置によれば、近似式に基づいて撮像手段の姿勢を推定し、推定した姿勢及び前記道路パラメータの前回の検出値を用いて画像に対し白線候補点の探索領域を設定し、この設定した探索領域内について、再度白線候補点を検出し、検出した白線候補点を真の白線候補点とするようにしたから、道路パラメータに応じて探索領域を的確に設定することができ、真の白線候補点の誤検出を回避することができる。
【００４２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、第１の実施の形態を説明する。
図１は、本発明を適用した道路白線認識装置の一実施形態を示す構成図である。
【００４３】
図１において、ＣＣＤカメラ等で構成されるカメラ１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。カメラ１で撮像した撮像情報は、処理装置２に入力され、処理装置２は、撮像情報をもとに白線候補点の検出を行い、白線候補点の検出結果に基づいて道路パラメータを推定する。
【００４４】
図３は、処理装置２で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、カメラ１からの画像情報を読み込み、ステップＳ２に移行し、読み込んだ画像情報からなる撮像画像に対し、図３に示すように複数のウィンドウを設定する。
【００４５】
このウィンドウは、道路白線以外の白線を道路白線として誤認識することを回避するために設けたものである。なお、図３に示すように、撮像画像においては、例えばその左上座標を基準とし、水平右方向をｘ軸の正方向、垂直下方向をｙ軸の正方向とする。
そして、前記各ウィンドウのｙ方向、つまり画像上下方向のウィンドウ位置は予め設定しておく。例えば、各ウィンドウの上辺及び下辺のｙ座標をそれぞれ設定しておく。
【００４６】
一方、前記ウィンドウのｘ方向、つまり画像左右方向のウィンドウ位置は、前回の処理周期における道路白線検出処理の処理結果に基づき得られた道路モデルに基づいて設定する。
ここで、一般に、曲線路を考慮した道路形状は、道路モデルのパラメータを｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝とすると、次式（５）で表すことができることが知られている。なお、Ａは、車両の車線に対する横変位、Ｂは道路曲率、Ｃは車両の車線に対するヨー角、Ｄはピッチ角、Ｈはカメラ高さである。また、式（５）中の、Ｅ０ は車線幅、ｆはカメラ透視変換定数、｛ｘ，ｙ｝は撮像画像上における白線候補点の座標である。また、ｉは左側道路白線の場合には“０”、右側道路白線の場合には“１”を表す。
【００４７】
ｘ＝（−Ａ＋ｉ＊Ｅ０）＊（ｙ＋ｆ＊Ｄ）／Ｈ−Ｂ＊Ｈ＊ｆ２／（ｙ＋ｆ＊Ｄ）−Ｃ＊ｆ ……（５）
ここで、ウィンドウのｘ軸方向の中心位置をｘＣ とすると、中心位置座標ｘＣ は、前記（５）式及び予め設定したｙ座標から算出することができる。
ウィンドウのｘ軸方向の最小値ｘｍｉｎ 及び最大値ｘｍａｘ を、次式（６）のように設定する。
【００４８】
ｘｍｉｎ ＝ｘｃ −ｘｗ
ｘｍａｘ ＝ｘｃ ＋ｘｗ ……（６）
なお、（６）式中のｘｗは、予め設定した固定値でもよく、また、例えば、特開平８−２６１７５６号公報に記載されているように、前述の道路モデルのパラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の分散から合理的に設定するようにしてもよい。
【００４９】
次いで、ステップＳ３に移行し、白線候補点の検出を行う。この検出は、道路白線と路面との輝度変化を利用し、輝度変化のノイズ対策を考慮して輝度画像に対し、公知の手順でｓｏｂｅｌフィルタを施し、輝度変化を得る。つまり、座標ｘの画素の輝度が、座標ｘ＋１の画素の輝度よりも大きい場合に、ｓｏｂｅｌフィルタの出力を正とする。道路白線は幅が変わる場合があるので、ここでは、車線内側に相当する道路白線の内側を白線候補とすると、ｓｏｂｅｌフィルタ処理を施すことによって、左側白線内側は正値となり、右側白線内側は負値となるはずである。したがって、ｓｏｂｅｌフィルタの出力をｙｓ、輝度変化しきい値をＦＴＨとしたとき、次式（７）及び（８）が成り立つ。
【００５０】
ｙｓ＞ ＦＴＨ：左白線 ……（７）
ｙｓ＜−ＦＴＨ：右白線 ……（８）
なお、前記輝度変化しきい値ＦＴＨを大きな値に設定すると、はっきり現れる道路白線を検知するものの、薄れた道路白線やトンネル内部等で道路白線が見えにくい場合等にはこれを検知しなくなる。逆に、輝度変化しきい値ＦＴＨを小さな値に設定すると、薄れた道路白線やトンネル内部等道路白線が見えにくい場合等であっても道路白線を検知することができるものの、逆に水膜等の疑似白線を道路白線として誤認識しやすくなる。したがって、前記輝度変化しきい値ＦＴＨは、これらのトレードオフを考慮して設定する。
【００５１】
このようにして、各ウィンドウ毎にｓｏｂｅｌフィルタを施し、前記（７）式を満足する画素を、左側道路白線候補として、その位置座標を｛ｘｌｐ，ｙｐ ｝とし、前記（８）式を満足する画素を、右側道路白線候補としてその位置座標を｛ｘｒｐ，ｙｐ ｝とし、これら画素を、候補点群Ａとする。
次いで、ステップＳ４に移行し、撮像画像上における、左右の道路白線間の距離である車線幅ｄｘを算出する。まず、各ウィンドウ毎に、ステップＳ３で検出した候補点群Ａの位置座標をもとに、ウィンドウ内の全てのｙ値に対し、左右の白線候補点が共に存在するかどうかを検知する。つまり、候補点群Ａのうち、ｙ値が同一である、左側白線候補点｛ｙｎ ，ｘｌｎ｝と右側白線候補点｛ｙｎ ，ｘｒｎ｝とを検索し、左右の白線候補点のｘ座標の差ｄｘ（＝ｘｒｎ−ｘｌｎ）を検出し、これを配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝で表す。なお、ｎは、ｎ＝１〜Ｎｍａｘ の値であって、Ｎｍａｘ は、ｙ値が同一である左側及び右側の白線候補点の組み合わせの数である。
【００５２】
次いで、ステップＳ５に移行し、次式（９）で示すように、全てのウィンドウにおいて検出した配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝をもとに、車線幅ｄｘをｙに関する一次式で近似し、全ての配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝を満足する近似直線を検出する。つまり、撮像画像全体に対し一括して近似直線を検出する。この検出には、ハフ変換を用いる。
【００５３】
ｄｘ＝ａ×ｙ＋ｂ ……（９）
なお、式中のａ及びｂは、ハフ変換を行うことによって算出することができ、ハフ変換における処理過程で、例えば図１４に示す二次元マップを得ることができるが、このとき、前記ハフ変換処理におけるａ及びｂの上限及び下限値を、次式（１０）に示すように設定する。
【００５４】
ａｍａｘ ＝Ｅ０ ／（Ｈ０ −ｄＨ）
ａｍｉｎ ＝Ｅ０ ／（Ｈ０ ＋ｄＨ）
ｂｍａｘ ＝Ｅ０ ＊ｆ＊（Ｄ＋ｄＤ）／（Ｈ−ｄＨ）
ｂｍｉｎ ＝Ｅ０ ＊ｆ＊（Ｄ−ｄＤ）／（Ｈ＋ｄＨ） ……（１０）
なお、（１０）式において、ａｍａｘ 及びｂｍａｘ はそれぞれ最大値を表し、ａｍｉｎ 及びｂｍｉｎ はそれぞれ最小値を表す。また、Ｅ０ は予め設定された車線幅、Ｈはカメラ高さ、Ｄはピッチ角、ｆは予め設定されたカメラ焦点距離であって、Ｈ０ 及びＤ０ は、前回の道路パラメータ検出時における、カメラ高さＨ及びピッチ角Ｄの検出結果である。
【００５５】
また、ｄＨびｄＤは、カメラ高さＨ及びピッチ角Ｄの道路パラメータの検出処理の一周期間の差分値の最大値であって、予め走行実験等を行うことによって得られたデータをもとに設定される値である。なお、これら差分値の最大値は、その値が小さいとロストする可能性があり、逆に、大きすぎると誤認識や演算時間の増大につながるため、これらのトレードオフを考慮して修正するようにしてもよい。
【００５６】
ここで、左側白線候補点のｘ座標をｘｌ 、右側白線候補点のｘ座標をｘｒ とすると、車線幅ｄｘは、次式（１１）で表すことができる。
ｄｘ＝ｘｒ −ｘｌ ＝Ｅ０ ＊（ｙ＋ｆ＊Ｄ）／Ｈ ……（１１）
したがって、車線幅ｄｘは、道路曲率に関わらず、前記（１１）式に示す、ｙに関する一次関数で近似することができる。
【００５７】
次いで、ステップＳ６に移行し、ステップＳ４で算出した配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝のうち、次式（１２）を満足する配列を抽出し、これを配列｛ｙｍ ，ｄｘｍ ｝とする。なお、ｍは１〜Ｍｍａｘ の値であって、Ｍｍａｘ は次式（１２）を満足する配列の個数である。
｜ｄｘｎ −（ａ＊ｙｎ ＋ｂ）｜＜ｋ＊ｇｇ ……（１２）
なお、（１２）式中のｇｇは画素の大きさを表す。また、前記ｋは比例定数であって、例えば“２”に設定される。
【００５８】
次いで、ステップＳ７に移行し、白線候補点の絞り込みを行う。つまり、ステップＳ６で抽出した配列｛ｙｍ ，ｄｘｍ ｝に相当する左側白線候補点｛ｙｍ ，ｘｌｍ｝と右側白線候補点｛ｙｍ ，ｘｒｍ｝を得て、これを候補点群Ｂとする。
次いで、ステップＳ８に移行し、白線候補点の拡張処理を行う。つまり、図４のフローチャートに示すように、ステップＳ８ａで、候補点群Ｂに含まれる各白線候補点について探索が終了したかどうかを判定し、終了していない場合にはステップＳ８ｂに移行し、探索未終了の白線候補点を選択する。この探索は、例えば、候補点群Ｂに含まれる白線候補点の各配列の添え字の昇順に探索を行うようにし、昇順が、前回探索した白線候補点の次に相当する白線候補点を選択する。
【００５９】
次いで、ステップＳ８ｃに移行し、ステップＳ８ｂで選択した白線候補点に該当する画素に隣接する画素の中に、候補点群Ａに含まれる白線候補点に該当する画素が存在するかを判定する。そして、該当する画素が存在しない場合にはそのままステップＳ８ａに戻り、該当する画素が存在する場合には、この候補点群Ａに含まれる白線候補点を、候補点群Ｂに追加し、ステップＳ８ａに戻る。
【００６０】
そして、候補点群Ｂに含まれる全ての白線候補点について探索が終了した場合には、処理を終了する。
次いで、ステップＳ９に移行し、候補点群Ｂに含まれる白線候補点に基づいて、道路パラメータの推定及びカメラ姿勢の推定を行い、道路形状の推定を行う。この推定は、公知の手順で行えばよく、例えば、特開平６−２０１８９号公報に記載されたように、最小二乗法を用いて推定を行うようにしてもよく、また、特開平８−２６１７５６号公報に記載されたように、カルマンフィルタを用いて推定を行うようにしてもよい。
【００６１】
次に、上記第１の実施の形態の動作を説明する。
カメラ１からの画像情報を読み込むと、その撮像画像に対し、図３に示すように、予め設定したｙ座標位置及び前回検出時の道路パラメータに基づきｘ座標位置を特定し、特定されたｘ座標及びｙ座標位置を基準として、予め設定されたウィンドウ幅を有するウィンドウを複数設定する（ステップＳ１、Ｓ２）。
【００６２】
そして、各ウィンドウ毎に、ｓｏｂｅｌフィルタ処理を行って候補点群Ａを検出し、ｙ座標が同一である、右及び左側の白線候補点の組み合わせを抽出し、これに基づき配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝を算出する。そして、各ウィンドウ毎に検出した配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝をもとに近似直線を算出する。つまり、撮像画像全体において検出した全ての配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝に基づいて、これら配列を満足する近似直線を算出する（ステップＳ３〜Ｓ５）。
【００６３】
ここで、近似直線は、左右の白線候補点のｘ座標の差と、ｙ座標との関係を直線に近似するようにしており、これらの関係は、曲線路でも成立する。したがって、得られる近似直線の近似精度は低下しない。
そして、配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝に該当する各白線候補点について、前記（１２）式を満足する配列を抽出しこれを｛ｙｍ ，ｄｘｍ ｝とする。これによって、候補点群Ａのうち、近似直線の近傍とみなすことのできる白線候補点を白線候補点群Ｂとして抽出するが（ステップＳ６、Ｓ７）、候補点群Ａに属する白線候補点のうち、候補点群Ｂに属する白線候補点の近傍に位置する白線候補点については、検出対象の道路白線に該当する真の白線候補点である可能性が高いとして、候補点群Ｂに追加する（ステップＳ８）。そして、このようにして設定された候補点群Ｂに属する白線候補点に基づいて、ハフ変換或いは、最小二乗法等を用いて、カメラ姿勢の検出、また、道路パラメータの算出を行う。
【００６４】
ここで、前記候補点群Ｂは、右側及び左側の白線候補点の組み合わせの中から抽出するようにしている。このため、右側及び左側の白線候補点が共に存在しないものは、真の白線候補点であるにも関わらず、候補点群Ｂに属さないことになる。しかしながら、候補点群Ａに属する白線候補点のうち、候補点群Ｂに属する白線候補点に隣接するものについては、真の白線候補点である可能性が高いとして、これを候補点群Ｂに登録するようにしているから、ペアを組む他方の側の白線候補点が存在しない白線候補点であっても、候補点群Ｂに確実に登録することができる。したがって、候補点群Ｂに属する各白線候補点に基づいて道路形状或いはカメラ姿勢の推定を行うことにより、その推定のロバスト性を向上させることができる。
【００６５】
また、前記（１２）式の左辺は、ｘ＝ａ・ｙ＋ｂにおけるｘ軸方向の近似誤差を表しており、この近似誤差が小さいほど、白線候補点｛ｙｎ ，ｄｘｎ ｝が、近似直線の近傍に位置する点であることを表している。したがって、前記（１２）式を満足するか否かを判定することによって、白線候補点｛ｙｎ ，ｄｘｎ ｝が近似直線近傍位置であるかを的確に判定することができると共に、この判定は単純な計算を行うだけでよいから、容易に検出することができる。
【００６６】
また、前記（１２）式の左辺は、撮像画像上におけるｘ方向の近似誤差であって、この誤差は、真の白線候補点であっても発生する。その大半は画素の粗さ（量子化ノイズ）に基づくものである。よって、画素量子に比例して、前記（１２）式の右辺、つまりしきい値を設定することは合理的であり、画素が粗い場合には、所定値が小さすぎることによる白線候補点の欠損を防止することができ、逆に、画素が細かい場合には、所定値が大きすぎることによる白線候補点の誤検出を防止することができ、白線候補点の検出を的確に行うことができる。
【００６７】
このとき、右側白線候補点及び左側白線候補点はそれぞれ“１”の量子化誤差を有する可能性があるが、例えば、左右の白線候補点に共に誤差が含まれる場合には、これらの誤差の符号が互いに異なる可能性がある。したがって、最大“２”の量子化誤差を有する可能性がある。よって．画素の大きさｇｇの比例定数を“２”として設定することによって、より的確に候補点群Ｂの抽出を行うことができる。
【００６８】
また、ハフ変換は、最小二乗法に対し、誤認識された白線候補点が結果に反映されないという長所を有しており、本来ロバスト性を備えているが、演算時間の制約から、白線候補点列を一括で曲線に近似することにハフ変換を適用することは不可能である。しかしながら、上記第１の実施の形態においては、撮像画像上における車線幅ｄｘがｙに関し直線で近似されることに着目し、撮像画像全体に対して一括してハフ変換を適用し、近似直線を算出するようにしたから、従来のように、ウィンドウ毎に別々にハフ変換を適用しなくとも、撮像画像全体にわたってハフ変換を適用することができる。よって、ロバスト性を向上させることができ、また、このとき、候補点群Ｂに属する白線候補点は、互いに近似直線を介した拘束条件を有することになるから、白線候補点検出のロバスト性を向上させることができる。
【００６９】
また、ハフ変換を適用する際に、過去の道路パラメータ等、予め設定した道路パラメータに基づいて、パラメータａ及びｂの範囲を制限し、その範囲内についてハフ変換処理を行うようにしているから、演算時間を大幅に短縮することができると共に、あり得ることのない推定を排除することができる。
次に、第２の実施の形態を説明する。
【００７０】
この第２の実施の形態は、車線境界線とその内側の内側案内線とからなる二重白線区間において、道路白線として車線境界線を確実に検出できるようにしたものであって、上記第１の実施の形態において、図２の道路白線検出処理の処理手順の一部が異なること以外は同様であるので、同一部には同一符号を付与し、その詳細な説明は省略する。
【００７１】
図５は、第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
上記第１の実施の形態と同様に、ステップＳ１で、カメラ１で撮像した画像情報を読み込み、予め設定した位置にウィンドウを設定する（ステップＳ２）。次いでステップＳ１１に移行し、上記第１の実施の形態におけるステップＳ３の処理と同様に、輝度画像に対しｓｏｂｅｌフィルタ処理を施し、白線候補点の検出処理を行い、前記（７）式又は（８）式を満足する画素の検出を行う。このとき、左右の道路白線の内側からｘ軸の正及び負方向にそれぞれ走査し、前記条件を満足するもの全てを左側白線候補点又は右側白線候補点としてそれぞれ検出するようにしてもよく、或いは、左右の道路白線の内側からｘ軸方向の正方向又は負方向に走査したときに、同一方向において前記条件を満足する画素を所定数、例えば“２”、検出したときに、このｙ座標位置における白線候補点の検出を終了するようにしてもよい。
【００７２】
次いで、ステップＳ１２に移行し、前記図２のステップＳ４と同様にして、撮像画像上における車線幅ｄｘを算出する。このとき、左右の道路白線の、より内側に位置する白線候補点から順に左右の白線候補点どうしのペアを作成する。つまり、まず、ｙ座標が同一の白線候補点について、左右の白線候補点のうち最も左右の道路白線の内側に位置する白線候補点どうしのペアを作成する。次に、このペアを構成する白線候補点どうしを除き、残された白線候補点の中から、左右の白線候補点のうち最も道路白線の内側に位置する白線候補点どうしのペアを作成する。この処理を繰り返し行い、ｙ座標が同一の白線候補点について、左右の白線候補点どうしのペアを内側から順に作成する。
【００７３】
なお、このとき、左右の白線候補点が共に存在しなくなるまで、左右の白線候補点のペアを作成するようにしてもよく、所定数、例えば“２”、得られたときに、該当するｙ座標についての処理を終了するようにしてもよい。
そして、各ペアの座標を｛ｘｌｎ，ｙｎ ｝｛ｘｒｎ，ｙｎ ｝とすると、｛ｙｎ ，ｄｘｎ ｝＝｛ｙｎ ，ｘｒｎ−ｘｌｎ｝として、ｙ座標とｙ座標位置における車線幅ｄｘとの対応を表す配列を算出する。
【００７４】
次いで、ステップＳ１３に移行し、前記図２のステップＳ５の処理と同様にしてハフ変換を用いて車線幅ｄｘの近似直線を算出する。このとき、ハフ変換処理を行うことによって、近似直線のパラメータａ及びｂの配列からなる、図１４に示すようなマップが得られる。そして、例えば図６に示すように二重白線が存在する場合、或いは、道路白線だけでなく疑似白線が存在する場合には、図７〜図９に示すように、複数の近似直線が得られることになる。
【００７５】
次いで、ステップＳ１４に移行し、二重白線であるか否かの判断を行う。つまり、前記ステップＳ１３のハフ変換処理において得られるマップにおいて、配列｛ａ，ｂ｝を満足する白線候補点数が、予め設定したしきい値以上であるものが存在するかどうかを判定する。前記しきい値は、道路白線であるとみなすことの可能な値に設定され、このしきい値を大きくすると、ロバスト性は向上するが、道路が見えにくいなどの状況下ではロストにつながるためこれらを考慮して設定する。そして、配列マップにおいて、配列｛ａ，ｂ｝を満足する白線候補点数がしきい値以上である配列を、｛ａ１ｘ，ｂ１ｘ｝、｛ａ２ｘ，ｂ２ｘ｝、｛ａ３ｘ，ｂ３ｘ｝、……として設定する。
【００７６】
そして、これら選択した配列それぞれについて、次式（１３）から、車線幅ｄｘが零であるときのｙ座標値である、零座標値ｃｎｘを算出する。
ｃｎｘ＝−ｂｎｘ／ａｎｘ ……（１３）
そして、各零座標値ｃｎｘの中で、次式（１４）を満足するものを選択する。つまり、互いの零座標値ｃｎｘの大きさの差がしきい値ｋよりも小さくなるものを選択する。
【００７７】
｜ｃｎｘ（ｎ＝ｐ）−ｃｎｘ（ｎ＝ｑ）｜＜ｋ ……（１４）
そして、前記（１４）式を満足するｃｎｘ（ｎ＝ｐ）及びｃｎｘ（ｎ＝ｑ）が存在する場合には、二重白線であると判断する。逆に、前記（１４）式を満足する零座標値ｃｎｘが存在しない場合には、配列｛ａ１ｘ，ｂ１ｘ｝、｛ａ２ｘ，ｂ２ｘ｝、｛ａ３ｘ，ｂ３ｘ｝、……のうち、この配列を満足する白線候補点数が最も多いものを選択し、これを配列｛ａ０ ，ｂ０ ｝とする。
【００７８】
そして、ステップＳ１４で二重白線であると判断されたときには、ステップＳ１５に移行し、白線選択を行う。つまり、ステップＳ１４で選択された複数の零座標値ｃｎｘに対応する配列を、改めて｛ａ１ｙ，ｂ１ｙ｝、｛ａ２ｙ，ｂ２ｙ｝、……｛ａｍｙ，ｂｍｙ｝とし、ａ１ｙ〜ａｍｙのうち、これらを昇順に並べたときの小さい方から２番目となる配列を選択し、これを配列｛ａ０ ，ｂ０ ｝とする。そして、ステップＳ６に移行する。一方、前記ステップＳ１４で二重白線でないと判断されたときにはそのままステップＳ６に移行する。
【００７９】
このステップＳ６は、前記図２のステップＳ６の処理と同様であって、ステップＳ１４又はＳ１５で特定される配列｛ａ０ ，ｂ０ ｝を前記（１２）式におけるパラメータａ及びｂとし、ステップＳ１２で算出した、配列｛ｙｎ ，ｘｒｎ−ｘｌｎ｝のうち、前記（１２）式を満足する配列を抽出し、近似直線近傍の白線候補点を抽出する。
【００８０】
以後、上記第１の実施の形態と同様にして、候補点群Ｂを特定し（ステップＳ７）、候補点群Ａに属する白線候補点の中から、候補点群Ｂに属する白線候補点の近傍に位置する白線候補点を抽出し、これを候補点群Ｂに追加する（ステップＳ８）。そして、このようにして設定した候補点群Ｂに属する白線候補点に基づいて、道路形状及びカメラ姿勢の推定を行う（ステップＳ９）。
【００８１】
次に、第２の実施の形態の動作を説明する。
今、車両が道路白線（車線境界線）の内側に内側案内線が表示された二重白線区間を走行している場合には、カメラ１によって撮像される撮像画像は、例えば、図６に示すように、左右の道路白線の内側に内側案内線が存在した状態となる。
【００８２】
この撮像画像に対しウィンドウを設定し（ステップＳ１、Ｓ２）、ステップＳ１１で、これに対してｓｏｂｅｌフィルタ処理を行うと、ｙ座標を固定として、ｘ軸正方向に走査した場合、右側白線候補点として、右側の内側案内線の内側に対応する画素Ｒ１と真の道路白線の内側に対応する画素Ｒ２との２つの画素が検出されることになり、逆に、ｘ軸負方向に走査した場合、左側白線候補点として、左側の内側案内線の内側に対応する画素Ｌ１と真の道路白線の内側に対応する画素Ｌ２との２つの画素が検出されることになる。
【００８３】
そして、ステップＳ１２に移行して、検出した左右の白線候補点をもとに、左右の道路白線の内側よりの白線候補点から順に左右の白線候補点どうしのペアを作成すると、画素Ｒ１とＬ１、画素Ｒ２とＬ２とのペアができることになる。そして、このようにして設定した各ｙ座標値における、左右の白線候補点間のｘ軸方向間の距離、つまり車線幅ｄｘを算出し、これに基づきハフ変換処理を行う。そして、このハフ変換処理によって得られたマップにおいて、配列｛ａ，ｂ｝を満足する白線候補点数が、予め設定したしきい値以上であるものを選択する。
【００８４】
このとき、道路白線と内側案内線とが表示されているから、配列｛ａ，ｂ｝を満足する白線候補点数が予め設定したしきい値以上となる配列として、道路白線に該当する配列｛ａＳ ，ｂＳ ｝及び内側案内線に該当する配列｛ａＷ ，ｂＷ ｝が検出されることになる（ステップＳ１３）。
そして、これら選択した配列それぞれについて、前記（１３）式に基づき、車線幅ｄｘが零であるときのｙ座標値である零座標値ｃＳｘ，ｃＷｘを算出する。
【００８５】
ここで、図７に示すように、道路白線及び内側案内線は、近似直線ｌｎ１及びｌｎ２で表される。このとき、通常、内側案内線は道路白線の内側に平行に配設されているから、道路白線及び内側案内線の消失点、つまり、車線幅ｄｘが零となる零座標値ｃＳｘ，ｃＷｘは、ほぼ一致することになり、前記（１４）式を満足することになる。したがって、二重白線であると判断される（ステップＳ１４）。
【００８６】
そして、前記（１４）式を満足する零座標値ｃＳｘ，ｃＷｘに対応する配列のパラメータａを昇順に並べ、小さい方から２番目となる配列を選択する（ステップＳ１５）。
ここで、パラメータａは、近似直線の傾きを表しており、すなわち、ｙ座標値の変化に対する車線幅ｄｘの変化量を表している。内側案内線は道路白線の内側に設けられており、ｙ座標値の変化に対する車線幅ｄｘの変化量は、内側案内線に比較して道路白線の方が大きくなるから、パラメータａを昇順に並べたときの小さい方から２番目の配列を選択すると、すなわち、道路白線に相当する配列が選択されることになる。
【００８７】
このとき、例えば、自車両の走行車線における内側案内線だけでなく、自車両の走行車線に隣接する左右の車線における内側案内線も撮像され、例えば、自車両の走行車線の左右の内側案内線及び左右の道路白線と、隣接する左右の車線の、自車両の走行車線側の内側案内線が一方ずつ撮像された場合には、図７に示すように、真の道路白線に相当する近似直線ｌｎ１と、内側案内線に相当する近似直線ｌｎ２と、隣接する左右の車線の内側案内線に相当する近似直線ｌｎ３とが検出されることになる。
【００８８】
このとき、隣接する左右の車線の内側案内線は、道路白線及び自車両走行車線の内側案内線と平行に表示されているから、前記（１４）式を満足することになる。また、ｙ座標値の変化に対する車線幅ｄｘの変化は、図７に示すように、近似直線ｌｎ３が最も大きくなる。したがって、前記（１４）式を満足する配列を、パラメータａの昇順に並べたときの下から２番目の配列は、道路白線に相当する配列が選択されることになる（ステップＳ１５）。
【００８９】
そして、以後、上記と同様にして、候補点群Ａの中から、ステップＳ１５で特定される近似直線の近傍点を抽出してこれを候補点群Ｂとし、前記候補点群Ａに属する白線候補点のうち候補点群Ｂに属する白線候補点に隣接するものについても候補点群Ｂに追加する（ステップＳ８）。そして、このようにして検出した候補点群Ｂに基づいて、上記第１の実施の形態と同様にして、道路パラメータの推定を行う（ステップＳ９）。
【００９０】
また、例えば、撮像画像上に疑似白線が存在する場合、ステップＳ１２で、車線幅ｄｘを算出する際には、撮像画像において車線内側から外側方向に走査したときの右側白線候補点及び左側白線候補点に基づいて算出するようにしている。このため、撮像画像上に疑似白線が存在したとしても、ｙ座標値が同一であるペアが存在しなければ車線幅ｄｘを算出することができない。
【００９１】
しかしながら、場合によっては、疑似白線であっても、この疑似白線に相当する白線候補点と対をなす白線候補点が存在し、これに基づいて車線幅ｄｘが算出され、この誤認識された車線幅ｄｘを含んで、ステップＳ１３で近似直線の算出が行われ、図８に示すように、疑似白線に相当する近似直線ｌｎ４も検出される場合がある。
【００９２】
この場合には、零座標値ｃｎｘが前記（１４）式を満足しないから二重白線ではないと判定され、配列｛ａ，ｂ｝を満足する白線候補点数が多い方が道路白線に相当する近似直線として選択される。一般に、道路白線に相当する配列を満足する白線候補点数に比較して、疑似白線に相当する配列を満足する白線候補点数は少ないから、道路白線に相当する配列が選択されることになって、真の道路白線に相当する近似直線に基づいて候補点群Ｂが作成されることになる。
【００９３】
したがって、二重白線が表示された区間を走行する場合であっても、的確に真の道路白線を検出することができ、この道路白線に基づいて道路パラメータの推定を行うことによって、高精度に道路パラメータの推定を行うことができる。
また、車線幅ｄｘの近似直線を算出する際にハフ変換を用いているから、複数の直線候補を、互いに誤差を発生させることなく推定することができ、道路白線認識に対してロバストであるとみなすことができる。
【００９４】
また、ｓｏｂｅｌフィルタ処理において、ｘ方向に走査する場合に、右側方向及び左側方向それぞれに２つずつ白線候補点が検出された時点で、ｘ軸方向の走査を停止するようにし、また、車線幅ｄｘを算出する際に、２組のペアのみを作成するようにしている。ここで、二重白線区間の場合、道路白線に相当する近似直線の傾きは、上述のように最も小さい方から２番目となるから、この２番目の近似直線を検出するのに十分なだけの白線候補点の検出及び車線幅ｄｘの算出を行うことによって、不要な演算を行うことを回避し、演算時間の短縮を図ることができる。
【００９５】
また、このとき、二重白線の場合には、道路白線（車線境界線）及び内側案内線の消失点がほぼ一致することに着目し、近似直線の零座標値ｃｎｘが一致しないときには、近似直線の傾きによらずに、近似直線を貫通する白線候補点の数に応じて近似直線を選定することによって、道路白線認識のロバスト性を確保することができる。
【００９６】
また、このとき、各近似直線を貫通する白線候補点数が、道路白線に相当する近似直線を貫通する白線候補点数と同等以上となるのは、二重白線の内側案内線のみである。例えば、道路分流合流部の誘導線は、道路白線及び誘導線とが二重に表示されているが、ペアとなる反対側の誘導線が存在しないため、検出されない。したがって、二重白線であると判定されない場合には、貫通する白線候補点数が最も多い近似直線を、道路白線に相当する近似直線であるとして検出することによって、合理的に道路白線を検出することができる。
【００９７】
なお、このとき、図９に示すように、ハフ変換処理によって疑似白線に相当する近似直線ｌｎ４が検出された場合、内側案内線と道路白線とは消失点がほぼ一致することから、ハフ変換処理によって複数の近似直線が検出される場合には、車線幅ｄｘが零となるときのｙ座標値である零座標値ｃｎｘがより近い近似直線群図９の場合、ｌｎ１及びｌｎ２を抽出し、そのうちの傾き、つまりパラメータａが小さい方から２番目の配列を選択しこれに相当する近似直線、この場合ｌｎ１を、道路白線に相当する近似直線として選択するようにしてもよい。このようにすることによって、より的確に道路白線の検出を行うことができ、また、ロバスト性を向上させることができる。
【００９８】
次に、本発明の第３の実施の形態を説明する。
この第３の実施の形態は、上記第２の実施の形態において、図５の道路白線検出処理の処理手順の一部が異なること以外は同様であるので、同一部には同一符号を付与し、その詳細な説明は省略する。
図１０は、第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【００９９】
すなわち、この第３の実施の形態においては、ステップＳ１５までの処理を上記第２の実施の形態と同様に行い、ステップＳ１４又はＳ１５の処理で、道路白線の近似直線を特定した後、ステップＳ２１に移行する。
このステップＳ２１では、ステップＳ１４又はＳ１５で得られた道路白線の近似直線を特定する配列｛ａ０ ，ｂ０ ｝に基づいてピッチ角Ｄ及びカメラ高さＨを推定する。つまり、車線幅ｄｘは前記（９）式及び（１１）式で表すことができるから、次式（１５）が成立する。
【０１００】
ａ０ ＝Ｅ０ ／Ｈ
ｂ０ ＝Ｅ０ ＊ｆ＊Ｄ／Ｈ ……（１５）
したがって、（１５）式及び配列｛ａ０ ，ｂ０ ｝に基づいて、ピッチ角Ｄ及びカメラ高さＨを算出することができる。
次いで、ステップＳ２２に移行し、ステップＳ２１で算出したピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方を固定し、ウィンドウ幅を算出する。つまり、前記（６）式におけるｘｗを算出する。
【０１０１】
ここで、前記（５）式を線形式で近似すると、次式（１６）で表すことができる。
ｘ＝ｄｘ／ｄＡ＊Ａ ＋ｄｘ＊ｄＢ＊Ｂ＋ｄｘ／ｄＣ＊Ｃ＋ｄｘ／ｄＤ＊Ｄ＋ｄｘ／ｄＨ＊Ｈ ……（１６）
なお、式（１６）中のｄｘ／ｄＺ（Ｚ＝Ａ，Ｂ，Ｃ，Ｄ，Ｈ）は、ｘのＺによる偏微分を表す。
【０１０２】
前記（１６）式は、次式（１７）と表すことができる。なお、“Ｔ”は転置を表す。
【０１０３】
ｘｏｂ＝Ｃ＊Ｘｒｏａｄ＋ｗ ……（１８）
この観測値ｘｏｂの平均値を除いた値をｘｏｂ０ とすると、次式（１９）が成り立つ。なお、式（１９）中のＸｒｏａｄ０ は、平均値を引いた道路パラメータベクトルである。また、ｗは一般に平均値零である。
ｘｏｂ０ ＝Ｃ＊Ｘｒｏａｄ０ ＋ｗ ……（１９）
前記ｘｏｂ０ の二乗の期待値は、次式（２０）で表すことができる。なお、式（２０）中のＰは道路パラメータの共分散であり、ｑは観測誤差の二乗平均である。
【０１０４】
【０１０５】
ｘｗ＝〔Ｅ（ｘｏｂ０ ２ ）〕１／３ ……（２１）
これらの式から明らかなように、道路パラメータの分散値Ｐが小さいほど、ｘｗは小さくなる。そこで、ピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方の分散を零に固定し、ｘｗがより小さな値となるようにする。
そして、このようにして設定したｘｗと、前記（６）式とに基づいて、ウィンドウを再設定する。
【０１０６】
次いで、ステップＳ２３に移行し、ステップＳ２２で設定されたウィンドウについて、前記ステップＳ１１と同様にしてｓｏｂｅｌフィルタ処理を行って再度白線候補点を検出し、検出された白線候補点を候補点群Ｃとする。
そして、ステップＳ９に移行し、ステップＳ２３で検出された候補点群Ｃの白線候補点に基づいて、道路形状及びカメラ姿勢の推定を行う。
【０１０７】
次に、第３の実施の形態の動作を説明する。
撮像画像上に例えば、図１１に示すように、真の道路白線に対して、同じ方向に同じ量だけオフセットした同じｙ座標の誤認識白線候補点が存在する場合、左右の白線候補点が存在することから、これらペアに基づいて車線幅ｄｘが算出されることになる（ステップＳ１２）。このとき、誤認識白線候補点は、真の道路白線に対して同じ量だけオフセットしているから、誤認識白線候補点は、図１２に示すように、真の道路白線に相当する近似直線を満足することになり、誤認識白線候補点は除去されない。
【０１０８】
そして、二重白線である場合には、ハフ変換処理によって得られた近似直線の傾き、或いは零座標値に基づいて、道路白線に相当する近似直線が選択される（ステップＳ１４、Ｓ１５）。
次いで、特定した近似直線を特定するパラメータａ０ 及びｂ０ に基づいて、前記（１５）式にしたがって、ピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方が検出され、これらの少なくとも何れか一方を固定し、前回算出した道路パラメータに基づいてウィンドウ幅ｘｗが算出されて、撮像画像に対し再度ウィンドウが設定される。このとき、例えば、図１３に示すように、撮像画像に対し、ｙ方向のウィンドウ位置を二カ所設定しておき、前回算出した道路パラメータに基づいて、ステップＳ２での処理と同様にして、予め設定したｙ座標位置におけるｘ座標を算出し、これに基づいて左右それぞれ一つずつウィンドウを設定する（ステップＳ２２）。なお、上記ステップＳ２での処理と同様に複数のウィンドウを設定するようにしてもよい。
【０１０９】
ここで、前記ウィンドウ幅ｘｗは、前記（２１）式から算出しており、前回の道路白線検出処理実行時に検出した道路パラメータの共分散Ｐ及び観測誤差ｑに基づいて設定するようにしているから、ウィンドウ幅ｘｗを合理的に狭めることができる。
したがって、このようにして設定したウィンドウ内について、再度白線候補点の検出を行うと、誤認識候補点は、ウィンドウ外となるから、白線候補点として検出されない。よって、このようにして検出した候補点群Ｃの白線候補点に基づいて道路パラメータを推定することによって、より高精度に道路パラメータの推定を行うことができ、道路認識のロバスト性を向上させることができる。
【０１１０】
なお、第３の実施の形態において、ウィンドウ幅ｘｗを算出する際に、ピッチ角Ｄ及びカメラ高さＨの少なくとも何れか一方の分散を零に固定するようにしたが、これら両方を零に固定したときにウィンドウ幅ｘｗが最も小さくなることから、誤検知防止に有効であるが、何れか一方のみを零に固定するようにした場合であっても誤検知防止を図ることが可能である。
【０１１１】
なお、上記各実施の形態においては、道路白線検出処理のステップＳ３、又はステップＳ１１の処理で、撮像画像から白線候補点を検出する際に、ｓｏｂｅｌフィルタ処理を行うようにした場合について説明したが、これに限るものではなく、最小二乗法を適用することも可能である。
上記各実施の形態において、カメラ１が撮像手段に対応し、図２、図５、図１０のステップＳ２、ステップＳ１１の処理が白線候補点検出手段に対応し、ステップＳ４、ステップＳ１２の処理で、候補点群Ａのうち、ｙ値が同一である、左側白線候補点と右側白線候補点とを検索する処理が候補点対選択手段に対応し、この左右の白線候補点のｘ座標の差ｄｘを検出する処理が水平距離算出手段に対応し、ステップＳ５、ステップＳ１３の処理が近似手段に対応し、ステップＳ６〜ステップＳ８、ステップＳ２１〜ステップＳ２３の処理が候補点抽出手段に対応し、ステップＳ９の処理が道路パラメータ推定手段に対応し、ステップＳ１４及びステップＳ１５の処理が近似式選択手段に対応し、ステップＳ２１及びステップＳ２２の処理が探索領域設定手段に対応し、ステップＳ２３の処理が再検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、道路白線認識装置の一例を示す概略構成図である。
【図２】第１の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図３】撮像画像にウィンドウを設定した場合の一例である。
【図４】図２のステップＳ８における白線候補点拡張処理の処理手順の一例を示すフローチャートである。
【図５】第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図６】二重白線の一例である。
【図７】二重白線が存在する場合の近似直線の一例である。
【図８】道路白線と近似白線とが存在する場合の近似直線の一例である。
【図９】二重白線及び近似白線が存在する場合の近似直線の一例である。
【図１０】第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１１】第３の実施の形態の動作説明に供する説明図である。
【図１２】第３の実施の形態の動作説明に供する、近似直線の一例である。
【図１３】第３の実施の形態の動作説明に供する説明図である。
【図１４】ハフ変換処理により得られる配列の一例である。
【図１５】ハフ変換処理により得られる配列の一例である。
【図１６】従来の道路白線検出処理の動作説明に供する説明図である。
【図１７】従来の道路白線検出処理の動作説明に供する説明図である。
【符号の説明】
１ カメラ
２ 処理装置
Claims (10)
- 車両前方の道路を撮像する撮像手段を有し、当該撮像手段で撮像した画像に基づいて道路形状及びこの道路に対する車両姿勢を示す道路モデル式の道路パラメータを推定するようにした道路白線認識装置において、
前記撮像手段で撮像した画像において道路白線の白線候補点を検出する白線候補点検出手段と、
当該白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を選択する候補点対選択手段と、
当該候補点対選択手段で選択された候補点対毎に左右の白線候補点の水平方向位置間の距離を算出する水平距離算出手段と、
前記候補点対の垂直方向位置と前記水平距離算出手段で算出された水平距離との関係を一次関数式で近似する近似手段と、
前記水平距離算出手段で算出された候補点対の水平距離と該候補点対の垂直方向位置に基づき前記近似式から算出される水平距離との差が予め設定したしきい値以下であるとき、この候補点対を構成する白線候補点を、真の白線候補点として抽出する候補点抽出手段と、
当該候補点抽出手段で抽出した真の白線候補点に基づいて前記道路パラメータを推定する道路パラメータ推定手段と、を備え、
前記候補点抽出手段における前記しきい値は、前記画像の画素量子に比例する値であることを特徴とする道路白線認識装置。 - 前記しきい値の比例定数は、２であることを特徴とする請求項１記載の道路白線認識装置。
- 前記近似手段は、前記候補点対の垂直方向位置及び前記水平距離算出手段で算出された水平距離に対してハフ変換を行って前記近似式を検出するようになっていることを特徴とする請求項１又は請求項２記載の道路白線認識装置。
- 前記近似手段は、前記道路パラメータ推定手段で推定された過去の道路パラメータに基づいて、前記ハフ変換における前記近似式の近似範囲を制限するようになっていることを特徴とする請求項３記載の道路白線認識装置。
- 前記白線候補点のうち、前記候補点抽出手段で抽出された真の白線候補点に隣接するものも、前記真の白線候補点として抽出するようになっていることを特徴とする請求項１から請求項４のいずれか１項に記載の道路白線認識装置。
- 車両前方の道路を撮像する撮像手段を有し、当該撮像手段で撮像した画像に基づいて道路形状及びこの道路に対する車両姿勢を示す道路モデル式の道路パラメータを推定するようにした道路白線認識装置において、
前記撮像手段で撮像した画像において道路白線の白線候補点を検出する白線候補点検出手段と、
当該白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線及び右側道路白線に相当すると推測される左右の白線候補点の対を選択する候補点対選択手段と、
当該候補点対選択手段で選択された候補点対毎に左右の白線候補点の水平方向位置間の距離を算出する水平距離算出手段と、
前記候補点対の垂直方向位置と前記水平距離算出手段で算出された水平距離との関係を一次関数式で近似する近似手段と、
当該近似手段で近似した近似式に基づいて、前記白線候補点の中から真の白線候補点を抽出する候補点抽出手段と、
当該候補点抽出手段で抽出した真の白線候補点に基づいて前記道路パラメータを推定する道路パラメータ推定手段と、を備え、
前記候補点対選択手段は、前記白線候補点検出手段で検出した白線候補点のうち、前記画像における垂直方向位置が同一であり且つ左側道路白線又は右側道路白線に相当すると 推測される白線候補点が同一側に複数存在するとき、最も車線内側に相当する左右の白線候補点から順に候補点対を形成し、前記近似手段で近似した近似式が複数存在するとき、これら近似式のうち、前記候補点対の垂直方向位置の変化に対する前記水平距離の変化度合が小さい方から２番目の近似式を選択し、これを前記候補点抽出手段で用いる真の近似式として設定する近似式選択手段、を備えることを特徴とする道路白線認識装置。 - 前記候補点対選択手段は、最も車線内側に相当する左右の白線候補点から順に２組の候補点対を形成するようになっていることを特徴とする請求項６記載の道路白線認識装置。
- 前記近似式選択手段は、前記近似手段で近似した複数の近似式毎に、前記水平距離が零となるときの前記候補点対の垂直方向位置である零座標値を算出し、各近似式の零座標値間の距離が全て予め設定したしきい値よりも大きいとき、前記近似式のうち、各近似式を満足する候補点対の数が最も多いものを信頼性が最も高いとしてこれを前記真の近似式として選択するようになっていることを特徴とする請求項６又は請求項７記載の道路白線認識装置。
- 前記近似式選択手段は、前記近似手段で近似した複数の近似式毎に、前記水平距離が零となるときの前記候補点対の垂直方向位置である零座標値を算出し、他の近似式との零座標値間の距離が予め設定したしきい値よりも小さくなる近似式が存在する場合には、これら近似式のうち、前記候補点対の垂直方向位置の変化に対する前記水平距離の変化度合が小さい方から２番目の近似式を選択し、これを前記候補点抽出手段で用いる真の近似式として設定するようになっていることを特徴とする請求項６から請求項８のいずれか１項に記載の道路白線認識装置。
- 前記道路パラメータ推定手段は、
前記近似手段で近似した近似式に基づいて前記撮像手段の姿勢を推定し、推定した撮像手段の姿勢及び前記道路パラメータの前回の検出値を用いて前記画像に対し白線候補点の探索領域を設定する探索領域設定手段と、
前記画像において前記探索領域内で再度白線候補点を検出し検出した白線候補点を前記真の白線候補点として設定する再検出手段と、を備えることを特徴とする請求項６から請求項９のいずれか１項に記載の道路白線認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001355305A JP3603836B2 (ja) | 2001-11-20 | 2001-11-20 | 道路白線認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001355305A JP3603836B2 (ja) | 2001-11-20 | 2001-11-20 | 道路白線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003157499A JP2003157499A (ja) | 2003-05-30 |
| JP3603836B2 true JP3603836B2 (ja) | 2004-12-22 |
Family
ID=19167030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001355305A Expired - Fee Related JP3603836B2 (ja) | 2001-11-20 | 2001-11-20 | 道路白線認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3603836B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011053002A1 (de) | 2010-09-08 | 2012-03-08 | Fuji Jukogyo Kabushiki Kaisha | Fahrspurliniebeurteilungsvorrichtung |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100992761B1 (ko) | 2004-07-20 | 2010-11-05 | 현대자동차주식회사 | 차선이탈경보장치를 이용한 차량의 횡방향 자율주행 제어방법 |
| JP4650079B2 (ja) * | 2004-11-30 | 2011-03-16 | 日産自動車株式会社 | 物体検出装置、および方法 |
| JP4811201B2 (ja) * | 2005-12-06 | 2011-11-09 | 日産自動車株式会社 | 走路境界線検出装置、および走路境界線検出方法 |
| JP4703706B2 (ja) * | 2008-10-06 | 2011-06-15 | トヨタ自動車株式会社 | 車両用走路判定装置 |
| JP5476775B2 (ja) * | 2009-04-09 | 2014-04-23 | 株式会社明電舎 | トロリ線検測装置及び検測方法 |
| JP5363920B2 (ja) * | 2009-08-31 | 2013-12-11 | 富士重工業株式会社 | 車両用白線認識装置 |
| JP5618744B2 (ja) * | 2010-05-26 | 2014-11-05 | 三菱電機株式会社 | 道路形状推定装置及びコンピュータプログラム及び道路形状推定方法 |
| JP5444130B2 (ja) * | 2010-06-11 | 2014-03-19 | 富士重工業株式会社 | 車両用白線認識装置 |
| JP5559650B2 (ja) * | 2010-09-29 | 2014-07-23 | 富士重工業株式会社 | 車線推定装置 |
| JP5452518B2 (ja) * | 2011-02-09 | 2014-03-26 | 富士重工業株式会社 | 車両用白線認識装置 |
| CN103489175B (zh) * | 2012-06-13 | 2016-02-10 | 株式会社理光 | 路面检测方法和装置 |
| JP6055228B2 (ja) * | 2012-08-07 | 2016-12-27 | 中央発條株式会社 | 形状計測装置 |
| JP6270102B2 (ja) | 2012-10-10 | 2018-01-31 | 株式会社リコー | 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム |
| KR101906951B1 (ko) | 2013-12-11 | 2018-10-11 | 한화지상방산 주식회사 | 차선 검출 시스템 및 차선 검출 방법 |
| KR101605514B1 (ko) * | 2014-02-28 | 2016-04-01 | 주식회사 코아로직 | 차선 인식 장치 및 방법 |
| JP6479513B2 (ja) * | 2015-03-12 | 2019-03-06 | 株式会社デンソーアイティーラボラトリ | 道路幅推定装置及び道路幅推定方法 |
| US10614321B2 (en) * | 2016-03-24 | 2020-04-07 | Nissan Motor Co., Ltd. | Travel lane detection method and travel lane detection device |
| JP7071154B2 (ja) * | 2018-02-26 | 2022-05-18 | 株式会社Soken | 道路境界検出装置 |
| JP7076646B2 (ja) | 2019-07-18 | 2022-05-27 | 三菱電機株式会社 | 車線形状認識システム及び車線形状認識方法 |
-
2001
- 2001-11-20 JP JP2001355305A patent/JP3603836B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102011053002A1 (de) | 2010-09-08 | 2012-03-08 | Fuji Jukogyo Kabushiki Kaisha | Fahrspurliniebeurteilungsvorrichtung |
| US8611609B2 (en) | 2010-09-08 | 2013-12-17 | Fuji Jikogyo Kabushiki Kaisha | Lane line estimating apparatus |
| DE102011053002B4 (de) | 2010-09-08 | 2023-10-12 | Subaru Corporation | Fahrspurliniebeurteilungsvorrichtung |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003157499A (ja) | 2003-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3603836B2 (ja) | 道路白線認識装置 | |
| JP3780848B2 (ja) | 車両の走行路認識装置 | |
| EP1780675B1 (en) | Object detector | |
| CN110555361B (zh) | 车道分类的图像处理方法 | |
| JP4616046B2 (ja) | 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両 | |
| US6845172B2 (en) | Road lane marker recognition | |
| JP6362442B2 (ja) | 車線境界線抽出装置、車線境界線抽出方法、及びプログラム | |
| US7362883B2 (en) | Lane marker recognition method | |
| EP1783683A1 (en) | Mobile peripheral monitor | |
| US9257043B2 (en) | Lane correction system, lane correction apparatus and method of correcting lane | |
| KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
| CN110287779A (zh) | 车道线的检测方法、装置及设备 | |
| JP6560355B2 (ja) | ランドマーク認識装置及び認識方法 | |
| JP5716443B2 (ja) | 車線境界検出装置及び車線境界検出方法 | |
| JPWO2010140578A1 (ja) | 画像処理装置、画像処理方法、及び画像処理用プログラム | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
| US10853680B2 (en) | Identification medium recognition device and identification medium recognition method | |
| JPH09185676A (ja) | 罫線除去方法 | |
| JP2004145501A (ja) | 道路白線認識装置 | |
| JP3700625B2 (ja) | 道路白線認識装置 | |
| KR101723536B1 (ko) | 도로에서의 차선 검출 방법 및 장치 | |
| JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
| JP2850608B2 (ja) | 車両用走行路検出装置 | |
| JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |