JP3729141B2 - 道路白線認識装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の道路白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、画像によって道路白線を認識し、これに基づいて車線形状や自車両と車線との関係を推定し、これらを車両の自動制御又は一部自動制御に用いたりする技術が提案されている。
例えば、特開２００１−３４７７０号公報、或いは特開平８−２６１７５６号公報等においては、撮像画像から道路白線を構成する白線候補点を検出し、撮像画像における白線候補点の位置座標に基づき道路白線の白線形状や道路白線に対する車両姿勢を推定するようにしている。
【０００３】
前記道路白線の検出には、前記特開２００１−３４７７０号公報に示すように、道路白線と路面との輝度の違いを利用して検出する方法が用いられている。この方法では、道路白線と路面との境界の輝度の差は大きく、この輝度差が道路白線に沿って現れるため、撮像画像において輝度変化の大きい点列を、道路白線と路面との境界線と仮定するようにしている。
【０００４】
図１９は、その一例を示したものである。図１９において、点列の位置を表す座標系は、水平右方向をｘ軸の正、垂直下方向をｙ軸の負としている。そして、図１９においては、道路白線と路面との境界で、且つ、車線内側を白線候補点としている。図１９に示すように、撮像画像には、真の白線候補点以外に、偽の白線候補点すなわちノイズが存在する。このノイズを除去するために、画像処理の代表的手法であるハフ変換が適用されている。
【０００５】
このハフ変換は、座標空間からパラメータ空間へ変換するようにしたものである。例えば、座標｛ｘ，ｙ｝を通過する直線は、パラメータａ及びｂを用いて、次式（１）と表すことができる。
ｘ＝ａ・ｙ＋ｂ ……（１）
したがって、白線候補点の座標を｛ｘ，ｙ｝と仮定した場合、前記パラメータａを定めると、前記（１）式から、パラメータｂを特定することができる。このパラメータ｛ａ，ｂ｝を量子化し、図２０に示すように、横軸をａ、縦軸をｂとする配列においてパラメータ｛ａ，ｂ｝に対応するマスを“１”だけ増加させる。なお、図２０において、配列の空欄は、“０”を意味している。
【０００６】
この作業を、白線候補点全てに対して行うと、その結果、図２１に示す配列を得ることができる。なお、図２１においては、簡略のため空欄としているが、実際には、前記白線候補点に基づいて前記（１）式を満足するパラメータ｛ａ，ｂ｝に応じた値がそれぞれ設定されることになる。
前記図２１に示す配列において、ある要素｛ａ_r ，ｂ_r ｝の数Ｚ_r は、次式（２）を満足する｛ｘ，ｙ｝が貫く直線に属する白線候補点数を表している。
【０００７】
ｘ＝ａ_r ・ｙ＋ｂ_r ……（２）
そして、前記配列の要素つまり白線候補点数が、所定値以上のものを、白線候補線とする。これにより、撮像画像上に、複数の直線が現れた場合でも全て検出できることがわかる。また、ノイズがのった白線候補点を貫く候補線は、白線候補点数が少ないため、白線候補線とは判断されない。したがって、ノイズがのった白線候補点は、白線候補線の推定に影響を与えることはない。
【０００８】
このようにして設定される、前記図２１に示す配列を、パラメータａ及びｂの、ａ−ｂ空間という。そして、白線候補点｛ｘ，ｙ｝からａ−ｂ空間へ変換するという意味で、前記ａ−ｂ空間を求めることを、ハフ変換と呼んでいる。
このように、ハフ変換では、データの中にノイズが含まれるものが存在しても、真のデータの候補点数が最大となれば、推定結果に与えないという長所があり、これはすなわち、推定がロバストであるということができる。
【０００９】
しかしながら、演算量が比較的多く、例えば、二次関数に適用した場合、前記図２０或いは図２１の配列は、３次の配列となるため、実質的には、未知数が“２”、すなわち直線までの形状近似が現実的である。
しかし、実際の道路白線は、直線でないことがほとんどである。このため、図２２に示すように、撮像画像に対し複数のウィンドウ（図２２の場合、左右それぞれに５個ずつ計１０個）を設定して道路白線を複数に分割し、各ウィンドウ内で直線近似を行い、各ウィンドウの近似直線上の点の中から白線候補点を選択し、これら各ウィンドウ毎の白線候補点を貫く曲線を求めるようにしている。
【００１０】
また、例えば前記特開平８−２６１７５６号公報においては、図２３に示すように、エッジ点列の特徴を利用して白線検知のロバスト性を向上させている。すなわち、道路白線と路面との境界には、輝度変化の符号が逆であるエッジ対の点列が生じることを利用し、正の符号の点列と、負の符号の点列とが存在し、且つこれらが略平行であることを道路白線の条件とし、この条件を満足するエッジ点列を用いて道路白線の検出を行っている。
【００１１】
【発明が解決しようとする課題】
しかしながら、前記特開２００１−３４７７０号公報においては、複数のウィンドウ内において直線に近似するようにしているため、ウィンドウのｙ方向の長さが小さく、このため、ハフ変換の精度が低下する傾向がある。すなわち、ノイズが直線の傾きに与える影響は、ウィンドウのｙ方向の長さが小さいほど大きいといえる。例えば図２４に示すように検出されたエッジ点列に対してハフ変換を施した場合、図２４（ａ）に示すように、ｙ方向の長さが大きい場合には真の白線候補線を貫く候補点数が多いから、白線候補線を誤認識することはない。
【００１２】
しかしながら、図２４（ｂ）に示すようにｙ方向の長さを小さく設定した場合、ノイズ２つと真の白線候補点１つとの計３つの候補点を貫く直線である偽の直線Ｌ１と、真の白線候補点２つを貫く直線である直線Ｌ２とでは、貫く候補点数の多い偽の直線Ｌ１が誤選択されることになる。これを回避するためには、ウィンドウのｙ方向距離を大きくすることが考えられるが、道路形状が曲線である場合には、直線の近似精度が低下するというトレードオフが発生する。
【００１３】
また、前記特開平８−２６１７５６号公報の場合、例えば、図２５に示すように白線候補点が存在する場合には、正負のエッジ点列は略平行でなくなるため、真の白線候補点をロストしてしまう可能性がある。すなわち、一方でも誤推定すると正負エッジ点列が作る２直線が略平行でないことになり、白線を検知することができなくなる。
【００１４】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、道路白線の検出精度を向上させることの可能な道路白線認識装置を提供することを目的としている。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る道路白線認識装置は、車両前方の道路を撮像する撮像手段を備え、当該撮像手段で撮像した撮像画像において道路白線の白線候補点を検出し、当該白線候補点に基づいて前記道路白線を検出するようにした道路白線認識装置において、前記撮像画像の輝度情報に基づいて前記道路白線の左側エッジ点及び右側エッジ点を検出するエッジ点検出手段と、前記撮像画像に予め設定した探索領域毎に、前記エッジ点列検出手段で検出した左側エッジ点列及び右側エッジ点列に基づいて前記撮像画像上において前記探索領域内の道路白線を延長させたときに当該道路白線が消失すると予測される地点である道路消失点の座標を検出する道路消失点検出手段と、前記探索領域毎に、前記エッジ点検出手段で検出した左側エッジ点列及び右側エッジ点列をもとに前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の座標を通る前記道路白線の直線近似式を検出する道路白線近似手段と、当該道路白線近似手段で近似した各探索領域の直線近似式上の白線候補点に基づいて、前記道路白線を検出する道路白線検出手段と、を備え、前記道路消失点検出手段は、前記撮像画像上において前記探索領域毎の道路消失点の前記撮像画像における車両前後方向の座標を検出する前後方向座標検出手段と、前記エッジ点検出手段で検出した左エッジ点列及び右エッジ点列に基づき、前記前後方向座標検出手段で検出した前後方向座標を通る左エッジ直線候補及び右エッジ直線候補を検出するエッジ直線候補検出手段と、当該エッジ直線候補検出手段で検出した左右のエッジ直線候補に基づいて前記探索領域毎の道路消失点の前記撮像画像における位置座標を特定する位置座標特定手段と、を有し、当該位置座標特定手段は、前記前後方向座標上の点を前記探索領域毎の道路消失点の候補点とし、前記エッジ点検出手段で検出した左右のエッジ点のうち、前記左エッジ直線候補及び右エッジ直線候補のうちの前記候補点を通る左右のエッジ直線候補に属する左右のエッジ点の総数を検出するエッジ総数検出手段を備え、前記候補点のうち、前記エッジ総数検出手段の検出結果に基づき、前記左右のエッジ直線候補に属するエッジ点の総数を最大とする候補点を、前記探索領域毎の道路消失点とすることを特徴としている。
【００１９】
また、請求項２に係る道路白線認識装置は、前記位置座標特定手段は、前記探索領域毎の道路消失点の予測される位置に応じて、前記候補点となり得る前記前後方向座標上の点の範囲を特定し、前記エッジ総数検出手段は、特定した範囲内の候補点についてのみ前記エッジ点の総数を検出するようになっていることを特徴としている。
【００２０】
また、請求項３に係る道路白線認識装置は、前記エッジ総数検出手段は、前記左エッジ直線候補に属するエッジ点数及び右エッジ直線候補に属するエッジ点数の何れかがしきい値以下であるとき、前記総数を零とするようになっていることを特徴としている。
また、請求項４に係る道路白線認識装置は、前記道路白線近似手段は、前記エッジ点検出手段で検出した左右のエッジ点列を、前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の位置座標を通る左消失点直線及び右消失点直線に近似する消失点直線近似手段と、当該消失点直線近似手段で近似した左右の消失点直線に基づいて前記道路白線の直線近似式を検出する直線近似式検出手段と、を備えることを特徴としている。
【００２１】
また、請求項５に係る道路白線認識装置は、車両に発生するピッチ角を検出するピッチ角検出手段を備え、前記前後方向座標検出手段は、前記ピッチ角検出手段で検出したピッチ角に基づいて前記前後方向座標を検出するようになっていることを特徴としている。
さらに、請求項６に係る道路白線認識装置は、前記道路白線検出手段は、前記白線候補点に基づいて車両に発生するピッチ角を推定し、前記ピッチ角検出手段は、前記道路白線検出手段で推定したピッチ角の過去値に基づいて今回のピッチ角を想定し、当該ピッチ角想定値に基づいて前記前後方向座標を検出するようになっていることを特徴としている。
【００２３】
【発明の効果】
本発明の請求項１に係る道路白線認識装置によれば、車両前方の撮像画像において道路白線の左側エッジ点列と右側エッジ点列とを検出し、これらに基づいて、撮像画像上で、撮像画像に対して予め設定した探索領域毎にその探索領域内の道路白線を延長させたときこの道路白線が消失すると予測される地点である道路消失点を検出し、前記探索領域毎に、左側エッジ点列及び右側エッジ点列をもとに探索領域毎の道路消失点を通る道路白線の直線近似式を検出し、各探索領域毎に検出した直線近似式上の白線候補点に基づいて道路白線を検出するようにしたから、より多くのエッジ点列に基づいて左右の道路白線を検出することによって、道路白線の検出をより高精度に行うことができる。
【００２５】
また、撮像画像上において探索領域毎の道路消失点の前記撮像画像における車両前後方向における前後方向座標を検出し、道路白線の左エッジ点列及び右エッジ点列に基づき前後方向座標を通る左エッジ直線候補及び右エッジ直線候補を検出し、前後方向座標上の点を探索領域毎の道路消失点の候補点とし、この候補点を通る左右のエッジ直線候補に属する左右のエッジ点の総数を最大とする候補点を、探索領域毎の道路消失点とするようにしたから、ノイズ等による影響を低減し、高精度に道路消失点を特定することができる。
また、請求項２に係る道路白線認識装置によれば、道路消失点の予測される位置に応じて、候補点となり得る前後方向座標上の点の範囲を特定し、この範囲内についてのみ、エッジ点の総数を検出するようにしたから、道路消失点の位置座標検出を効率よく行うことができる。
【００２６】
また、請求項３に係る道路白線認識装置によれば、左エッジ直線候補に属するエッジ点数及び右エッジ直線候補に属するエッジ点数の何れかがしきい値以下であるときには、左右のエッジ点の総数を零とするようにしたから、陰等を道路白線として誤認識することを回避することができる。
また、請求項４に係る道路白線認識装置によれば、左右のエッジ点列を、消失点座標を通る左消失点直線及び右消失点直線に近似し、これら左右の消失点直線に基づいて道路白線の直線近似式を検出するようにしたから、高精度な道路白線の直線近似式を得ることができる。
【００２７】
また、請求項５に係る道路白線認識装置によれば、ピッチ角検出手段で検出したピッチ角に基づいて道路消失点の前後方向座標を検出するようにしたから、容易に前後方向座標を検出することができる。
さらに、請求項６に係る道路白線認識装置によれば、道路白線検出手段によって白線候補点に基づいて道路白線を検出する際に、車両に発生するピッチ角を推定し、この道路白線検出手段で推定したピッチ角の過去値に基づいて今回のピッチ角を想定し、このピッチ角想定値に基づいて道路消失点の前後方向座標を算出するようにしたから、ピッチ角センサ等を設けることなく、容易に前後方向座標を得ることができる。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、第１の実施の形態を説明する。
図１は、本発明を適用した道路白線認識装置の一実施形態を示す構成図である。
【００２９】
図１において、ＣＣＤカメラ等で構成されるカメラ１は、例えば、車幅方向中央の、車室内のフロントウィンドウ上部に取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。カメラ１で撮像した撮像情報は、処理装置２に入力され、処理装置２は、カメラ１からの撮像情報と、車両のピッチ角を検出するためのピッチ角センサ３の検出情報とに基づいて白線候補点の検出を行い、検出した白線候補点に基づいて道路白線の道路形状や道路白線に対する車両の相対関係を表す道路パラメータを算出する。
【００３０】
図２は、処理装置２で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、カメラ１で撮像した前方画像の撮像情報を読み込み、次いでステップＳ２で、読み込んだ撮像情報からなる撮像画像に対し、前述の図２２に示すように、左右の道路白線に相当する位置に複数のウィンドウを設定する。図２２の場合には、１０個のウィンドウを設定している。
【００３１】
このウィンドウは、道路白線以外の白線を道路白線として誤認識することを回避するために設けたものである。なお、図３に示すように、撮像画像においては、例えばその左上座標を基準とし、水平右方向をｘ軸の正方向、垂直下方向をｙ軸の正方向とする。
前記各ウィンドウにおいて、そのｙ方向、つまり画像上下方向のウィンドウ位置は予め設定しておく。例えば、各ウィンドウのｙ方向の中心位置をｙ_mid とし、その幅ｙｄ_mid を固定しておく。
【００３２】
一方、前記ウィンドウのｘ方向、つまり画像左右方向のウィンドウ位置は、前回の処理周期における道路白線検出処理の処理結果に基づき得られた道路モデルに基づいて設定する。
ここで、一般に、曲線路を考慮した道路形状は、道路モデルのパラメータを｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝とすると、次式（３）で表すことができることが知られている。なお、Ａは、車両の車線に対する横変位、Ｂは道路曲率に相当する値、Ｃは車両の車線に対するヨー角、Ｄはピッチ角、Ｈはカメラ高さである。また、式（３）中の、Ｅ₀ は車線幅（すなわち、左側の道路白線の中央と右側の道路白線の中央との間の距離）、ｆはカメラ透視変換定数、｛ｘ_w ，ｙ_w ｝は撮像画像上における白線候補点の座標である。また、ｉは左側道路白線の場合には“０”、右側道路白線の場合には“１”を表す。
【００３３】
ｘ_w ＝(-A+i*E₀)*(y_w ＋f*D)／H −B*H*f²／(y_w ＋f*D)−C*f ……（３）
ここで、ウィンドウのｘ軸方向の中心位置座標をｘ_mid とすると、この中心位置座標ｘ_mid は、前記（３）式及び予め設定したｙ軸方向の中心位置座標ｙ_mid から算出することができる。
なお、ウィンドウのＸ軸方向の幅ｘｄ_mid は固定値でもよく、また、例えば、特開平８−２６１７５６号公報に記載されているように、前述の道路モデルのパラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の分散から合理的に設定するようにしてもよい。
【００３４】
次いで、ステップＳ３に移行し、検索対象のウィンドウを設定する。例えば、図２２で設定した各ウィンドウを識別するための識別番号の一番若いもの、図２２の場合ｎ＝１を検索対象のウィンドウとして設定する。
次いで、ステップＳ４に移行し、ピッチ角センサ３の検出信号に基づいてピッチ角を検出する。この第１の実施の形態では、前記ピッチ角センサ３として、各車輪毎に車高センサを設けている。そして、これら車高センサの検出信号に基づいて、次式（４）にしたがって、ピッチ角Ｄ〔ｒａｄ〕を算出する。なお、式中の、Ｖｆは、前輪左右の平均ストローク〔ｍｍ〕、Ｖｒは、後輪左右の平均ストローク〔ｍｍ〕であって、これらはバウンス時を正値とする。また、Ｌは、ホイールベース〔ｍｍ〕であり、arctanはアークタンジェントである。
【００３５】
Ｄ＝arctan｛（Ｖｆ−Ｖｒ）／Ｌ｝ ……（４）
次いで、ステップＳ５に移行し、図４に示すように撮像画像において左右の白線候補の座標が一致する点である、道路消失点の位置座標を検出する。つまり、前記（３）式において、左側の白線候補と右側の白線候補とが一致することを意味するから、道路消失点のｙ座標ｙｖは、次式（５）を満たすことになる。
【００３６】
ｙｖ＋ｆ＊Ｄ＝０ ……（５）
これを変形すると次式（６）となることから、道路消失点のｙ座標ｙｖは、ピッチ角Ｄを用いて算出できることがわかる。
ｙｖ＝−ｆ＊Ｄ ……（６）
よって、この（６）式にしたがって、ステップＳ４で算出したピッチ角Ｄと予め設定されたカメラパラメータとをもとに、道路消失点のｙ座標ｙｖを算出する。
【００３７】
次いで、ステップＳ６に移行し、検索対象のウィンドウにおいて、正負のエッジを検出する。このエッジ検出は、道路白線と路面との輝度変化を利用し、公知の手順でｓｏｂｅｌフィルタを施し、エッジ検出を行う。つまり、右の画素の輝度が左の画素の輝度よりも高い場合、ｓｏｂｅｌフィルタの出力を正とする。そして、出力が正値であり且つ予め設定したしきい値以上の場合、この画素を正エッジ点とし、その位置座標を｛ｘｐ（ｉ）_n ，ｙｐ（ｉ）_n ｝（ｉ＝１，２，３，……ｉｐ０_n ）として保存する。また、出力が負であり且つ予め設定したしきい値以下の場合、その位置座標を｛ｘｎ（ｉ）_n ，ｙｎ（ｉ）_n ｝（ｉ＝１，２，３，……ｉｎ０_n ）として保存する。なお、位置座標中の添え字“_n ”はウィンドウの番号を表す。また、“ｘｐ”の“ｐ”は正エッジを意味し、“ｘｎ”の“ｎ”は負エッジを意味する。また、ｉは、エッジ点を識別するための変数であって、ｉｎ０_n はエッジ点の数を表す。
【００３８】
一般に、道路白線は路面よりも輝度が高いため、ｓｏｂｅｌフィルタ処理を行うことによって、前述の図２３に示すような正エッジ点列、及び負エッジ点列を得ることができる。
次いで、ステップＳ７に移行し、ステップＳ６で算出した正エッジ点列及び負エッジ点列毎に、それぞれ次式（７）を条件に、後述のハフ変換処理にしたがって、ｘｗ_n −ｋｐ_n 平面、及びｘｗ_n −ｋｎ_n 平面にハフ変換する。なお、式中のｘｗ_n はウィンドウ消失点のｘ座標である。
【００３９】
ｘ−ｘｗ_n ＝ｋ（ｙ−ｙｖ） ……（７）
ｋ＝ｋｐ_n （正エッジ）
ｋ＝ｋｎ_n （負エッジ）
ここで、前記（７）式は次のようにして設定される。
まず、図５に示すように、各ウィンドウ内において正エッジ点列及び負エッジ点列をそれぞれ直線に近似すると、これら左右の直線の交点を定義することができる。この交点をウィンドウ消失点とすると、このウィンドウ消失点は図５に示すようにウィンドウ毎に異なる。このウィンドウ消失点のｙ座標をｙｗ_n とすると、このｙ座標ｙｗ_n は、前述の道路消失点のｙ座標ｙｖと一致する。
【００４０】
すなわち、撮像画像において、エッジ点列は、左の道路白線、及び右の道路白線にそれぞれ２本ずつ、計４本現れるが、これらの符号は撮像画面左から正、負、正、負となる。正負のエッジ点の座標｛ｘ，ｙ｝の満たすべき式は、前記（３）式から、一般に、次式（８）に示すように表される。なお、式中のＷ₀ は道路白線の白線幅、ｉは左白線の場合“０”，右白線の場合“１”、ｊは正のエッジ列の場合“−１”，負のエッジ列の場合“１”である。
【００４１】
ｘ＝（−A ＋i*E₀＋j*W₀/2)*(y＋f*D)／H −B*H*f²／(y＋f*D)−C*f ……（８）
前記（８）式で表される曲線を各ウィンドウ毎に直線近似すると、次式（９）を得ることができる。
ｘ＝（−A ＋i*E₀＋j*W₀/2)*(y＋f*D)／H −B*H*f²／(y₀ ＋f*D)−C*f ……（９）
この（９）式は、前記（８）式右辺の第２項におけるｙをｙ₀ に置き換え、ｘをｙの一次式、すなわち、直線に近似している。
【００４２】
ここで、正及び負のエッジ点列の一致する点がウィンドウ消失点であるから、前記（９）式から、ウィンドウ消失点のｙ座標ｙｗ_n は、次式（１０）で表すことができる。
ｙｗ_n ＝ｆ＊Ｄ ……（１０）
したがって、前記（６）式と（１０）式とから、図５に示すように、全てのウィンドウにおけるウィンドウ消失点のｙ座標ｙｗ_n は、道路消失点ｙｖに一致することがわかる。前記（９）式を、ウィンドウ消失点のｘ座標ｘｗ_n と、道路消失点ｙｖを用いて書き直すと前記（７）式を得ることができる。
【００４３】
そして、このようにして得られた前記（７）式を条件に、まず、正のエッジ点列を、ｘｗ_n −ｋｐ_n 平面にハフ変換する。
図６は、ｘｗ_n −ｋｐ_n 平面を示したものであり、横軸がｘｗ_n 縦軸がｋｐ_n を表す。このｘｗ_n −ｋｐ_n 平面は二次元配列であって、ａ行、ｂ列の要素Ｎ_abは、次式（１１）で表される直線が貫く正エッジ点列の個数を表す。
【００４４】
ｘ−ｘｗ_n （ｂ）＝ｋｐ_n （ａ）＊（ｙ−ｙｖ） ……（１１）
ｘｗ_n （ｂ）＝ｘｗ_nmin＋（ｂ−０．５）＊ｘｗ_nd
ｋｐ_n （ａ）＝ｋｐ_nmin＋（ａ−０．５）＊ｋｐ_nd
なお、（１１）式中の、ｘｗ_nminはｘｗ_n の想定される最小値、ｋｐ_nminはｋｐ_n の想定される最小値である。また、ｘｗ_ndはｘｗ_n の分解能、ｋｐ_ndはｋｐ_n の分解能であって、予め設定された値である。
【００４５】
前記ｘｗ_n （ｂ）及びｋｐ_n （ａ）は次のようにして導かれる。
次式（１２）で表される直線を考え、式（１２）中のｘ０及びｋ０が（１３）式で表される条件を満足するものとする。

このとき、前記（１２）式の直線は、量子化され、以下の直線と近似することができる。
【００４６】
ｘ１＝ｘｗ_nmin＋（ｂ−０．５）＊ｘｗ_nd ……（１４）
ｋ１＝ｋｐ_nmin＋（ａ−０．５）＊ｋｐ_nd
したがって、式（１４）から前記ｘｗ_n （ｂ）及びｋｐ_n （ａ）が導かれることになる。
図７は、正エッジ点列をハフ変換する場合の、処理手順の一例を示すフローチャートである。
【００４７】
まず、ステップＳ１０１で、例えば図８（ａ）に示す、ｘｗ_n −ｋｐ_n 平面（二次元配列）を用意する。次いで、ステップＳ１０２に移行し、正のエッジ点列の各点を特定するための点番号ｉを初期値ｉ＝０に設定する。
次いで、ステップＳ１０３に移行し、図８（ａ）に示す、ｘｗ_n −ｋｐ_n 平面における列を特定するための列番号ｃを初期値ｃ＝０に設定する。前記ｘｗ_n −ｋｐ_n 平面における列数Ｃｐ_n は、前記ｘｗ_n の想定される範囲をｘｗ_nmin≦ｘｗ_n ＜ｘｗ_nmax、ｘｗ_n の分解能をｘｗ_ndとしたとき、次式（１５）で表すことができる。なお、前記ｘｗ_nminは、前記ｘｗ_n の想定される最小値、前記ｘｗ_nmaxは、前記ｘｗ_n の想定される最大値である。
【００４８】
Ｃｐ_n ＝（ｘｗ_nmax−ｘｗ_nmin）／ｘｗ_nd ……（１５）
また、前記ｘｗ_n −ｋｐ_n 平面における行数Ｒｐ_n は、前記ｋｐ_n の想定される範囲を、ｋｐ_nmin≦ｋｐ_n ＜ｋｐ_nmax、ｋｐ_n の分解能をｋｐ_ndとしたとき、次式（１6 ）で表すことができる。なお、前記ｋｐ_nminは、前記ｋｐ_n の想定される最小値、前記ｋｐ_nmaxは、前記ｋｐ_n の想定される最大値である。
【００４９】
Ｒｐ_n ＝（ｋｐ_nmax−ｋｐ_nmin）／ｋｐ_nd ……（１６）
ここで、前記ｘｗ_n の想定される範囲は次のように設定される。つまり、図９に太線で示すｘｗ_n の想定される位置Ｋを中心として、ウィンドウ消失点のｘ座標ｘｗ_n 及びエッジ点列の近似直線の傾きｋｐ_n の範囲をそれぞれ任意の固定幅に設定する。この固定幅は大きすぎると演算量が多くなり、また、小さくすると、白線位置が急変した際にロストしてしまうため、これらを考慮して設定する。なお、例えば特開平８−２６１６５６号に記載されているように、道路白線の白線モデルを表す道路パラメータの分散を用いて設定するようにしてもよい。
【００５０】
次いで、ステップＳ１０４に移行し、ｉ＜ｉｐ０_n であるかを判定する。つまり、正エッジの全ての点について検索を行ったかどうかを判定し、全てについて検索した場合には処理を終了する。一方、全てについて検索が終了していない場合には、ステップＳ１０５に移行する。
このステップＳ１０５では、ｉ＝ｉ＋１として点番号ｉを更新し、次いで、ステップＳ１０６に移行して、前記ステップＳ５の処理で検出し所定の記憶領域に格納されているエッジ点の位置座標のうち、点番号ｉに対応する正エッジ点の位置座標｛ｘｐ（ｉ）_n ，ｙｐ（ｉ）_n ｝を、（ｘ，ｙ）とおく。
【００５１】
次いで、ステップＳ１０７に移行し、ｃ＜Ｃｐ_n であるかどうかを判定する。つまり、前記（１５）式で算出された列数分の列全てについて検索を行ったかどうかを判定し、ｃ＜Ｃｐ_n でない場合には、全ての列について検索を行ったものとして、前記ステップＳ１０３に戻る。一方、ｃ＜Ｃｐ_n である場合には、ステップＳ１０８に移行し、列数ｃをｃ＝ｃ＋１に更新する。
【００５２】
次いで、ステップＳ１０９に移行し、ｘ０＝ｘｗ_n （ｃ）とする。つまり、前記ｘｗ_n −ｋｐ_n 平面において、列番号がｃに相当するｘｗ_n （ｃ）を、ウィンドウ消失点座標候補ｘ０として設定する。
そして、ステップＳ１１０に移行して、正エッジ点列の直線の傾き候補ｋ０を、次式（１７）から算出する。
【００５３】
ｋ０＝（ｘ−ｘ０）／（ｙ−ｙｖ） ……（１７）
次いで、ステップＳ１１１に移行し、正エッジ点列の直線の傾き候補ｋ０を、量子化する。つまり、前記（１３）式を満足する整数ａを、前記行数Ｒｐ_n の範囲で検出し、この整数ａに基づいて前記（１４）式から、ｋ１を算出する。
そして、ステップＳ１１２に移行し、前記図８（ａ）のｘｗ_n −ｋｐ_n 平面において、列番号がｃ、行番号がａに該当する要素を１だけインクリメントする。そして、ステップＳ１０７に移行する。
【００５４】
この処理を繰り返し行うことによって、各正エッジ点について、前記ステップＳ１０３で想定した、ｘｗ_n 及びｋｐ_n の範囲について順次検索が行われ、ハフ変換が行われる。
そして、全ての正エッジ点について検索が終了した後のｘｗ_n −ｋｐ_n 平面において、ノイズのない理想状況で、要素の値が最大値となる行番号ａ及び列番号ｃで特定される要素Ｎ_abが、前記（７）式における、ｘｗ_n 及びｋｐ_n の真値となる。
【００５５】
これによって、正エッジ点列に対するハフ変換処理が終了する。
同様にして、負エッジ点列についてもハフ変換処理を行う。負エッジ点列に対するハフ変換を行う場合には、図７に示すフローチャートにおいて、ステップＳ１０２においてはｘｗ_n −ｋｎ_n 平面を用意し、ステップＳ１０４におけるｉｐ０_n を負エッジ点の数ｉｎ０_n 、ステップＳ１０６における｛ｘｐ（ｉ）_n ，ｙｐ（ｉ）_n ｝を負エッジ点列の位置座標｛ｘｎ（ｉ）_n ，ｙｎ（ｉ）_n ｝、ステップＳ１０７におけるＣｐ_n をｘｗ_n −ｋｎ_n 平面における列数Ｃｎ_n 、ステップＳ１１１におけるｋｐ_nmin、ｋｐ_ndをｘｗ_n −ｋｎ_n 平面におけるｋｎ_nmin、ｋｎ_ndに置き換えて同様に処理を行えばよい。なお、前記ｘｗ_n 及びｋｐ_n の想定される範囲は、正エッジ及び負エッジ共に同じであって、２つの配列の列数は一致している。
【００５６】
図２に戻って、ステップＳ７の処理で、正エッジ点列及び負エッジ点列をハフ変換すると、次に、ステップＳ８に移行し、ｘｗ_n −ｐベクトルを算出する。具体的には、図１０（ａ）に示すように、ｘｗ_n −ｋｐ_n 平面と同じ列数のベクトルを用意し、このベクトルの各列の要素には、ステップＳ７で検出したｘｗ_n −ｋｐ_n 平面の同じ列の要素のうちの最大値を設定する。これをｘｗ_n −ｐベクトルとする。したがって、このｘｗ_n −ｐベクトルにおいて、そのｂ列目の要素は、点｛ｘｗ_n （ｂ），ｙｖ｝を通る直線のうち、貫く正エッジ点の最大個数を表すことになる。
【００５７】
次いで、ステップＳ９に移行し、ステップＳ８と同様にして、ｘｗ_n −ｎベクトルを算出する。すなわち、図１０（ｂ）に示すように、ｘｗ_n −ｋｎ_n 平面と同じ列数のベクトルを用意し、このベクトルの各列の要素には、ステップＳ７で検出したｘｗ_n −ｋｎ_n 平面の同じ列の要素のうちの最大値を設定する。これをｘｗ_n −ｎベクトルとする。したがって、このｘｗ_n −ｎベクトルにおいて、そのｂ列目の要素は、点｛ｘｗ_n （ｂ），ｙｖ｝を通る直線のうち、貫く負エッジ点の最大個数を表すことになる。
【００５８】
次いで、ステップＳ１０に移行し、ｘｗ_n −ｐｎベクトルを算出する。具体的には、図１１に示すように、ステップＳ８及びＳ９で算出したｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルを足し合わせ、これをｘｗ_n −ｐｎベクトルとする。したがって、このｘｗ_n −ｐｎベクトルのｂ列目の要素は、点｛ｘｗ_n （ｂ），ｙｖ｝を通る直線のうち、貫く正及び負のエッジ点の最大個数を表すことになる。
【００５９】
次いで、ステップＳ１１に移行し、ウィンドウ消失点座標ｘｗ_n を算出する。具体的には、ステップＳ１０で算出したｘｗ_n −ｐｎベクトルの各要素のうち、最大値を選択する。この最大値が設定された要素をｂmax とすると、ウィンドウ消失点座標ｘｗ_n は、ｂmax 列に相当するｘｗ_n （ｂmax ）により表すことができる（ｘｗ_n ＝ｘｗ_n （ｂmax ））。
【００６０】
次いで、ステップＳ１２に移行し、正エッジ直線を選定する。具体的には、ｘｗ_n −ｋｐ_n 平面のステップＳ１１で選択したｂmax 列の各要素のうち、最大値が設定された要素を選択する。この要素に該当する列番号をａｐmax とすると、正エッジ点列の近似直線は、次式（１８）で表すことができる。
ｘ−ｘｗ_n （ｂmax ）＝ｋｐ_n （ａｐmax ）＊（ｙ−ｙｖ）……（１８）
次いで、ステップＳ１３に移行し、今度は、負エッジ直線を選定する。具体的には、ｘｗ_n −ｋｎ_n 平面のステップＳ１１で選択したｂmax 列の各要素のうち、最大値が設定された要素を選択する。この要素に該当する列番号をａｎmax とすると、負エッジ点列の近似直線は、次式（１９）で表すことができる。
【００６１】
ｘ−ｘｗ_n （ｂmax ）＝ｋｎ_n （ａｎmax ）＊（ｙ−ｙｖ）……（１９）
次いでステップＳ１４に移行し、全てのウィンドウについて処理を行ったかどうかを判定し、全てのウィンドウについて処理を行っていない場合には、ステップＳ１５に移行して処理対象のウィンドウを更新し、ステップＳ５に戻る。
一方、ステップＳ１４で全てのウィンドウに対して処理を行ったと判定される場合には、ステップＳ１６に移行し、カルマンフィルタによる道路モデルの推定を行う。具体的には、まず、各ウィンドウ毎に白線中央を表す直線を検出する。これは、ステップＳ１２で（１８）式に基づき算出した正エッジ点列の近似直線と、ステップＳ１３で（１９）式に基づき算出した負エッジ点列の近似直線とに基づいて、次式（２０）から検出する。
【００６２】

この（２０）式に基づき、ウィンドウのｙ方向の中心位置座標ｙ_mid におけるウィンドウのｘ軸方向の中心位置座標ｘ_mid を、次式（２１）にしたがって算出し、｛ｘ_mid ，ｙ_mid ｝を、白線候補点座標｛ｘ_w ，ｙ_w ｝とする。
【００６３】
ｘ_mid

前記（８）式において、白線中央は、ｊ＝０に相当するから、前記（８）式及び各ウィンドウ毎に検出した各白線候補点座標｛ｘ_wn，ｙ_wn｝（ｎ＝１、２、……）から、次式（２２）の拘束条件を得ることができる。
【００６４】
ｘ_wn
＝(-A+i*E₀)*( ｙ_wn+f*D)/H −B*H*f²/(ｙ_wn＋f*D)−C*f ……（２２）
この拘束条件をもとに、例えば公知のカルマンフィルタを用いて道路パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の推定を行う。
以上の処理を所定周期で繰り返し行う。
【００６５】
次に、上記第１の実施の形態の動作を説明する。
カメラ１からの画像情報を読み込むと（ステップＳ１）、その撮像画像に対し、前記図３に示すように、予め設定したウィンドウのｙ方向の中心位置ｙ_mid と、例えば前回の道路パラメータに基づくｘ方向の中心位置ｘ_mid とを基準として所定幅のウィンドウを複数設定する（ステップＳ２）。
【００６６】
そして、検索対象のウィンドウを設定する（ステップＳ３）。また、ピッチ角センサ３の検出信号に基づいてピッチ角Ｄを検出し（ステップＳ４）、このピッチ角Ｄと予め設定されたカメラパラメータとをもとに、道路消失点のｙ座標ｙｖを算出する（ステップＳ５）。
そして、検索対象のウィンドウについて、正負のエッジ点列を検出し（ステップＳ６）、エッジ点列を前記図７のフローチャートにしたがってハフ変換し、前記図８（ａ）及び（ｂ）に示す各平面における二次元配列を得て、各二次元配列から、ｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルを得る（ステップＳ７〜Ｓ９）。さらに、これらベクトルを足し合わせ、ｘｗ_n −ｐｎベクトルを算出し、このｘｗ_n −ｐｎベクトルの要素のうち、最大となる列数ｂmax に該当する座標ｘｗ_n （ｂmax ）をウィンドウ消失点座標ｘｗ_n として検出する（ステップＳ１１）。
【００６７】
そして、このウィンドウ消失点座標ｘｗ_n と、ｘｗ_n −ｋｐ_n 平面における列数ｂmax の要素のうちの最大となる列番号ａｐ_n 及び、ｘｗ_n −ｋｎ_n 平面における列数ｂmax の要素のうちの最大となる列番号ａｎ_n から、正エッジ点列及び負エッジ点列の近似直線を特定する（ステップＳ１２、Ｓ１３）。
この処理をウィンドウ毎に繰り返し行い、全てのウィンドウについて正負のエッジ点列の近似直線を特定したならば（ステップＳ１４、Ｓ１５）、これら近似直線をもとに、各ウィンドウ毎に、白線中央を示す直線を検出し、これに基づきウィンドウのｙ方向の中心位置座標ｙ_mid におけるウィンドウのｘ軸方向の中心位置座標ｘ_mid を算出し、これら｛ｘ_mid ，ｙ_mid ｝を、白線候補点座標｛ｘ_w ，ｙ_w ｝とする。そして、これら白線候補点座標に基づいて公知の手順で道路パラメータの推定を行う（ステップＳ１６）。
【００６８】
例えば、正エッジ点が図１２（ａ）に示すように検出され、これをハフ変換したｘｗ_n −ｋｐ_n 平面からｘｗ_n −ｐベクトルを得る場合、このｘｗ_n −ｐベクトルの列ｂの要素は、図１２（ａ）において、点｛ｘｗ_n （ｂ）、ｙｖ｝を通る直線のうち、貫く正エッジ点の数が最大である直線を貫いている個数を表す。したがって、図１２（ａ）の場合には、｛ｘｗ_n （ｂ）、ｙｖ｝を通る直線のうち、この直線を貫く正エッジ点数が最大となるものは、ｍ１を貫く正エッジ点は１つ、ｍ２を貫くエッジ点は５つ、ｍ３を貫く正エッジ点は２つであるから、正エッジ点が最大となるものはｍ２でありこれを貫く正エッジ点の個数は、“５”であるからこれがｂ列の要素として設定され、ｘｗ_n −ｐベクトルは図１２（ｂ）に示すようになる。ｘｗ_n −ｋｎ_n 平面からｘｗ_n −ｎベクトルを得る場合も同様にして設定される。
【００６９】
そして、ｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルを足し合わせたｘｗ_n −ｐｎベクトルは、｛ｘｗ_n （ｂ）、ｙｖ｝を通る直線が貫く正エッジ点が最大となる直線の正エッジ点数及び負エッジ点が最大となる負エッジ点数の和である。したがって、図１３（ａ）に示すように、正エッジ点及び負エッジ点が検出されている場合には、５つの正エッジ点を貫く直線ｍ１１と、４つの負エッジ点を貫く直線ｍ１２とが選択されて、ｘｗ_n −ｐｎベクトルのｂ列の要素は、“９”として設定されることになる。
【００７０】
このとき、例えば、図１４に示すように、正エッジ点及び負エッジ点が検出され、そのときの、ｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルが、図１５（ａ）及び（ｂ）に示すように、点｛ｘｗ_n （ｂ１）、ｙｖ｝を通る直線が貫く正エッジ点が最大となる直線の正エッジ点数は“２”、点｛ｘｗ_n （ｂ２）、ｙｖ｝を通る直線が貫く正エッジ点が最大となる直線の正エッジ点数は“５”であり、また、点｛ｘｗ_n （ｂ１）、ｙｖ｝を通る直線が貫く負エッジ点が最大となる直線の負エッジ点数は“４”、点｛ｘｗ_n （ｂ２）、ｙｖ｝を通る直線が貫く負エッジ点が最大となる直線の負エッジ点数は“３”であったとする。
【００７１】
この場合、ｘｗ_n −ｐｎベクトルは、図１５（ｃ）のようにそのｂ１の要素は“６”、ｂ２の要素は“８”となる。このとき、その他の列の要素が“６”よりも小さいものとすると、ｘｗ_n −ｐｎベクトルにおいて、ｂ２列の要素“８”が最大となるから、このｂ２が選択され、ｘｗ_n （ｂ２）がウィンドウ消失点のｘ座標として特定され、これに基づいて正及び負のエッジ点列の近似直線が算出されこれに基づいてウィンドウ内における道路白線の中央の近似直線が算出されることになる。
【００７２】
ここで、例えば、負エッジ点列のみに基づいてウィンドウ内における道路白線の近似直線を算出する場合、図１５（ｂ）に示すようにｘｗ_n −ｎベクトルにおいて、要素が最大となるｂ１列が選択されることになる。つまり、真の近似直線は、｛ｘｗ_n （ｂ２）、ｙｖ｝を通る直線であるにも関わらず、｛ｘｗ_n （ｂ１）、ｙｖ｝を通る直線が近似直線として選択されてしまうことになる。
【００７３】
このように、何れか一方のエッジ点列に基づいて近似直線を算出する場合、真のエッジ点列以外に負のエッジ点が存在した場合、真の近似直線を貫くエッジ点数が少なくなり、その分他の近似直線を貫くエッジ点数が増加することになるため、近似直線の推定誤差が発生する場合がある。
しかしながら、上記実施の形態においては、負エッジ点列に基づくｘｗ_n 候補だけでなく、正エッジ点列に基づくｘｗ_n 候補にも基づいて、正エッジ点列及び負エッジ点列を共に満足するｘｗ_n 候補を選択するようにしている。通常、ノイズのない理想状況では、両側の候補点数が最大のものが真である。また、ノイズがのった状況であっても、正エッジ点及び負エッジ点の情報は片側だけの場合に比較して多く、誤推定する確率も減少する。したがって、ノイズによる影響を低減することができ、より高精度な近似直線を得ることができる。
【００７４】
また、例えば特開平８−２６１６５６号公報に記載されたように、正側エッジ点列の近似直線と負側エッジ点列の近似直線とを算出し、これらが略平行であることを、白線の条件とするようにした場合には、正エッジ点列の近似直線は前記図１５（ａ）に示すｘｗ_n −ｐベクトルにおけるｂ２（“５”）に基づき決定され、負エッジ点列の近似直線は前記図１５（ｂ）に示すｘｗ_n −ｎベクトルにおけるｂ１（“４”）に基づき決定されることになる。したがって、これら正及び負の近似直線は略平行とならないため、このウィンドウについては白線候補点を得ることができなくなる。
【００７５】
しかしながら、上述のように、図１５（ｃ）に基づいて近似直線を算出するようにしているから、略平行でない場合であっても的確に近似直線を得ることができる。
したがって、このように高精度な近似直線を得ることができるから、この近似直線上の白線候補点に基づいて道路形状を推定することによって、道路形状の推定精度をより向上させることができる。
【００７６】
また、上記第１の実施の形態においては、ハフ変換を行う際に、前回の道路パラメータ等に基づいて、ｘｗ_n の想定される範囲、及びｋｐ_n の想定される範囲を設定し、この範囲についてのみハフ変換処理を行うようにしているから、演算時間を大幅に短縮することができると共に、あり得ることのない推定を排除することができる。
【００７７】
次に、本発明の第２の実施の形態を説明する。
この第２の実施の形態は、上記第１の実施の形態において、道路白線検出処理の処理手順が異なること以外は同様であるので、同一部には同一符号を付与し、その詳細な説明を省略する。
図１６は、第２の実施の形態における道路白線検出処理の処理手順を示すフローチャートである。
【００７８】
この第２の実施の形態においては、図２に示す上記第１の実施の形態における道路白線検出処理のフローチャートにおいて、ステップＳ８〜ステップＳ１０の処理に変えて、ステップＳ８ａ〜Ｓ１０ａの処理を行っている。なお、１６のフローチャートにおいて、上記第１の実施の形態と同一部には同一符号を付与し、その詳細な説明は省略する。
【００７９】
つまり、ステップＳ８ａでは、上記第１の実施の形態のステップＳ８の処理と同様にして、ステップＳ６で作成したｘｗ_n −ｋｐ_n 平面の同じ列の要素のうちの最大値を設定するが、このとき、この最大値が、予め設定したしきい値よりも小さいときには、この要素の値として、零を設定する。
同様に、ステップＳ９ａでは、上記第１の実施の形態のステップＳ９の処理と同様にして、ステップＳ６で作成したｘｗ_n −ｋｎ_n 平面の同じ列の要素のうちの最大値を設定するが、このとき、この最大値が、予め設定したしきい値よりも小さいときには、この要素の値として、零を設定する。
【００８０】
なお、前記正のエッジ列におけるしきい値及び負のエッジ列におけるしきい値は、同一値であっても異なる値であってもよく、これらしきい値は、例えば、近似直線であるとみなすことの可能な、この近似直線を貫くエッジ点数に基づいて設定される。
同様に、ステップＳ１０ａでは、上記第１の実施の形態のステップＳ１０の処理と同様にして、ステップＳ８ａ及びＳ９ａで算出したｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルを足し合わせ、これをｘｗ_n −ｐｎベクトルとする。このとき、ｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルの要素が零である列については、その和についても強制的に零にする。
【００８１】
そして、以後上記第１の実施の形態と同様に処理を行う。
つまり、この第２の実施の形態においては、正のエッジ列及び負のエッジ列のｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルを検出する際に、近似直線であるとみなすために十分なエッジ点数に達していないものを排除し、さらに、ｘｗ_n −ｐｎベクトルを算出する際に、正のエッジ列において近似直線を得られないもの及び負のエッジ列において近似直線を得られないものについては、ｘｗ_n 候補点から排除している。したがって、陰等によって片側エッジのみが検出された場合であっても、両方のエッジが検出されない場合にはｘｗ_n 候補点から排除されるから、誤認識を防止することができる。
【００８２】
したがって、上記第１の実施の形態と同等の作用効果を得ることができると共に、さらに、その近似直線の検出精度を向上させることができるから、この近似直線に基づいて推定される道路形状の推定精度をより向上させることができる。
次に、本発明の第３の実施の形態を説明する。
図１７は、第３の実施の形態における道路白線認識装置の構成図であって、第１の実施の形態における道路白線認識装置において、ピッチ角センサ３を除去したものであって、カメラ１と処理装置２とから構成されている。
【００８３】
そして、処理装置２では、道路白線認識処理を実行する際に、図１８のフローチャートに示すように、ステップＳ４の処理に変えて、ステップＳ４ａの処理を行い、ピッチ角Ｄの推定処理を行うようになっている。
なお、図１８のフローチャートにおいて、上記第１の実施の形態と同一部には同一符号を付与し、その詳細な説明は省略する。
【００８４】
この第３の実施の形態における道路白線認識処理においては、ステップＳ３ａの処理で、ピッチ角の推定を行うようにしている。具体的には、道路白線認識処理時に、ステップＳ１６で道路パラメータとして推定したピッチ角Ｄを、所定の記憶領域に格納し、前回及び前々回処理実行時におけるピッチ角Ｄ（ｔ−１）及びピッチ角Ｄ（ｔー２）を記憶しておく。
【００８５】
そして、ステップＳ４ａで、前回及び前々回のピッチ角Ｄ（ｔ−１）及びピッチ角Ｄ（ｔー２）に基づいて、次式（２３）にしたがって、ステップＳ５の道路消失点ｙ座標算出時に用いるピッチ角Ｄ（０）を算出する。
Ｄ（０）＝ａ１＊Ｄ（ｔ−１）＋ａ２＊Ｄ（ｔ−２） ……（２３）
上記（２３）式は、ピッチ角Ｄの振る舞いをモデル化したものであり、前記ａ１及びａ２は、例えば、ＡＲ法等を用いて算出すればよい。
【００８６】
なお、前記（２３）式に変えて、例えば次式」（２４）に示すようにさらに高次のモデル化を行うようにしてもよい。
Ｄ（０）
＝ａ１＊Ｄ（ｔ−１）＋ａ２＊Ｄ（ｔ−２）＋ａ３＊Ｄ（ｔ−３）…………（２４）
そして、このようにして推定したピッチ角Ｄ（０）に基づいて、ステップＳ５の処理で道路消失点ｙ座標を算出し、以後上記第１の実施の形態と同様に処理を行う。
【００８７】
したがって、この場合も上記第１の実施の形態と同等の作用効果を得ることができると共に、この第３の実施の形態においては、ピッチ角センサ３を必要としないから、道路白線認識装置の規模の縮小を図ることができると共に、低価格化を図ることができる。
また、前記（２３）式で算出されるピッチ角推定値Ｄ（０）は、真のピッチ角を補償しないが、ピッチングの動きが低周波数域にのみ存在しており、急変しないことから、このピッチ角推定値Ｄ（０）と真のピッチ角との誤差は小さい。したがって、ピッチ角推定値Ｄ（０）に基づいて道路白線の検出を行ったとしても高精度に検出を行うことができる。
【００８８】
なお、上記第３の実施の形態においては、第１の実施の形態に適用した場合について説明したが、第２の実施の形態に適用できることはいうまでもない。
ここで、上記実施の形態において、カメラ１が撮像手段に対応し、図２、図１６、図１８に示す道路白線検出処理のフローチャートにおいて、ステップＳ６の処理がエッジ点検出手段に対応し、ステップＳ５〜ステップＳ１１の処理が道路消失点検出手段に対応し、ステップＳ５の処理が前後方向座標検出手段に対応し、ステップＳ７〜ステップＳ９の処理がエッジ直線候補検出手段に対応し、ステップＳ１０及びＳ１１の処理が位置座標特定手段に対応し、ステップＳ１０の処理がエッジ総数検出手段に対応し、ステップＳ１２〜ステップＳ１６の処理が道路白線検出手段に対応し、ステップＳ１２〜ステップＳ１６の処理が道路白線近似手段に対応し、ステップＳ１２及びステップＳ１３の処理が消失点直線近似手段に対応し、ステップＳ１６の処理で道路白線の中央を通る近似式を検出する処理が直線近似式検出手段に対応し、ピッチ角センサ３又は図１６のステップＳ４の処理がピッチ角検出手段に対応している。
【図面の簡単な説明】
【図１】本発明を適用した、道路白線認識装置の一例を示す概略構成図である。
【図２】第１の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図３】ウィンドウの設定方法を説明するための説明図である。
【図４】道路消失点を説明するための説明図である。
【図５】ウィンドウ消失点を説明するための説明図である。
【図６】ｘｗ_n −ｋｐ_n 平面を説明するための説明図である。
【図７】図２のステップＳ６におけるハフ変換処理の処理手順の一例を示すフローチャートである。
【図８】ｘｗ_n −ｋｐ_n 平面及びｘｗ_n −ｋｎ_n 平面の一例である。
【図９】ｘｗ_n 及びｋｐ_n の想定される範囲を説明するための説明図である。
【図１０】ｘｗ_n −ｐベクトル及びｘｗ_n −ｎベクトルの算出方法を説明するための説明図である。
【図１１】ｘｗ_n −ｐｎベクトルの算出方法を説明するための説明図である。
【図１２】本発明の動作説明に供する説明図である。
【図１３】本発明の動作説明に供する説明図である。
【図１４】本発明の動作説明に供する説明図である。
【図１５】本発明の動作説明に供する説明図である。
【図１６】本発明の第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１７】本発明の第３の実施の形態における、道路白線認識装置の一例を示す概略構成図である。
【図１８】第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１９】道路白線と路面との輝度差による道路白線の検出方法を説明するための説明図である。
【図２０】ハフ変換を説明するための説明図である。
【図２１】ハフ変換を説明するための説明図である。
【図２２】撮像画像においてウィンドウを設定した場合の一例である。
【図２３】正エッジ点及び負エッジ点の一例である。
【図２４】従来のエッジ点列の近似直線の検出時の動作説明に供する説明図である。
【図２５】従来のエッジ点列の近似直線の検出時の動作説明に供する説明図である。
【符号の説明】
１ カメラ
２ 処理装置
３ ピッチ角センサ

Claims (6)

1. 車両前方の道路を撮像する撮像手段を備え、
   当該撮像手段で撮像した撮像画像において道路白線の白線候補点を検出し、当該白線候補点に基づいて前記道路白線を検出するようにした道路白線認識装置において、
   前記撮像画像の輝度情報に基づいて前記道路白線の左側エッジ点及び右側エッジ点を検出するエッジ点検出手段と、
   前記撮像画像に予め設定した探索領域毎に、前記エッジ点列検出手段で検出した左側エッジ点列及び右側エッジ点列に基づいて前記撮像画像上において前記探索領域内の道路白線を延長させたときに当該道路白線が消失すると予測される地点である道路消失点の座標を検出する道路消失点検出手段と、
   前記探索領域毎に、前記エッジ点検出手段で検出した左側エッジ点列及び右側エッジ点列をもとに前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の座標を通る前記道路白線の直線近似式を検出する道路白線近似手段と、
   当該道路白線近似手段で近似した各探索領域の直線近似式上の白線候補点に基づいて、前記道路白線を検出する道路白線検出手段と、を備え、
   前記道路消失点検出手段は、前記撮像画像上において前記探索領域毎の道路消失点の前記撮像画像における車両前後方向の座標を検出する前後方向座標検出手段と、
   前記エッジ点検出手段で検出した左エッジ点列及び右エッジ点列に基づき、前記前後方向座標検出手段で検出した前後方向座標を通る左エッジ直線候補及び右エッジ直線候補を検出するエッジ直線候補検出手段と、
   当該エッジ直線候補検出手段で検出した左右のエッジ直線候補に基づいて前記探索領域毎の道路消失点の前記撮像画像における位置座標を特定する位置座標特定手段と、を有し、
   当該位置座標特定手段は、前記前後方向座標上の点を前記探索領域毎の道路消失点の候補点とし、前記エッジ点検出手段で検出した左右のエッジ点のうち、前記左エッジ直線候補及び右エッジ直線候補のうちの前記候補点を通る左右のエッジ直線候補に属する左右のエッジ点の総数を検出するエッジ総数検出手段を備え、
   前記候補点のうち、前記エッジ総数検出手段の検出結果に基づき、前記左右のエッジ直線候補に属するエッジ点の総数を最大とする候補点を、前記探索領域毎の道路消失点とすることを特徴とする道路白線認識装置。
2. 前記位置座標特定手段は、前記探索領域毎の道路消失点の予測される位置に応じて、前記候補点となり得る前記前後方向座標上の点の範囲を特定し、
   前記エッジ総数検出手段は、特定した範囲内の候補点についてのみ前記エッジ点の総数を検出するようになっていることを特徴とする請求項１記載の道路白線認識装置。
3. 前記エッジ総数検出手段は、前記左エッジ直線候補に属するエッジ点数及び右エッジ直線候補に属するエッジ点数の何れかがしきい値以下であるとき、前記総数を零とするようになっていることを特徴とする請求項１又は請求項２記載の道路白線認識装置。
4. 前記道路白線近似手段は、前記エッジ点検出手段で検出した左右のエッジ点列を、前記道路消失点検出手段で検出した前記探索領域毎の道路消失点の位置座標を通る左消失点直線及び右消失点直線に近似する消失点直線近似手段と、
   当該消失点直線近似手段で近似した左右の消失点直線に基づいて前記道路白線の直線近似式を検出する直線近似式検出手段と、を備えることを特徴とする請求項１から請求項３の何れか１項に記載の道路白線認識装置。
5. 車両に発生するピッチ角を検出するピッチ角検出手段を備え、
   前記前後方向座標検出手段は、前記ピッチ角検出手段で検出したピッチ角に基づいて前記前後方向座標を検出するようになっていることを特徴とする請求項１から請求項４の何れか１項に記載の道路白線認識装置。
6. 前記道路白線検出手段は、前記白線候補点に基づいて車両に発生するピッチ角を推定し、
   前記ピッチ角検出手段は、前記道路白線検出手段で推定したピッチ角の過去値に基づいて今回のピッチ角を想定し、当該ピッチ角想定値に基づいて前記前後方向座標を検出するようになっていることを特徴とする請求項５記載の道路白線認識装置。

Images