JP4023333B2

JP4023333B2 - 車線検出装置

Info

Publication number: JP4023333B2
Application number: JP2003038396A
Authority: JP
Inventors: 誠司武田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-02-17
Filing date: 2003-02-17
Publication date: 2007-12-19
Anticipated expiration: 2023-02-17
Also published as: JP2004246798A

Description

【０００１】
【発明の属する技術分野】
本発明は、路面上の車線区分線を検出する装置に関する。
【０００２】
【従来の技術】
カメラで撮像した画像により、路面上の車線区分線を検出する装置が知られている。この装置では、カメラの画角内にある路面の明るさや、自車と太陽との位置関係により、シャッタースピードを変化させて画像を撮像し、その撮像された画像の輝度値にしきい値を設定して２値化処理を行うことにより、車線区分線を検出する。このときのしきい値は、路面の明るさに応じて設定する（特許文献１）。
【０００３】
【特許文献１】
特開平５−２５７５３１号公報
【０００４】
【発明が解決しようとする課題】
この装置では、たとえばアスファルトやコンクリートなどの反射率が異なる路面において天候により太陽光量が変化した場合、それに適したしきい値を設定することができずに、車線区分線を正しく検出することができない可能性がある。たとえば、アスファルトとコンクリートの反射率の比を１：２とし、晴れと曇りの太陽光量の比を２：１とする。このとき、晴れのアスファルトの場合と、曇りのコンクリートの場合とで路面の明るさは同じとなるが、後者の場合に対して前者の場合の車線区分線の輝度は２倍となる。このような場合、路面と車線区分線との輝度の差に応じたしきい値を設定する必要があるが、特許文献１に示される装置は路面の照度に応じてしきい値を設定しているため、適切なしきい値を設定できない。
【０００５】
本発明は、異なる路面の反射率や太陽光量の変化にもかかわらず、路面上の車線区分線を正確に検出できる車線検出装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明による車線検出装置は、少なくとも車線区分線を含む路面を撮像する撮像手段と、路面への入射光の照度を測定する照度測定手段と、撮像手段により撮像された路面の撮像画像の輝度と、照度測定手段により測定された入射光の照度とに基づいて、路面の反射率を算出する反射率算出手段と、反射率算出手段により算出された反射率に基づいて路面の撮像画像の輝度に関する輝度しきい値を設定するしきい値設定手段と、しきい値設定手段により設定された輝度しきい値と撮像画像の輝度とに基づいて路面上の車線区分線を抽出することで車線区分線を検出する車線検出手段とを備える。
【０００７】
【発明の効果】
本発明によれば、車線区分線を含む路面を撮像し、路面への入射光の照度を測定し、撮像された路面の撮像画像の輝度と、測定された入射光の照度とに基づいて、路面の反射率を算出し、算出された反射率に基づいて路面の撮像画像の輝度に関する輝度しきい値を設定し、設定された輝度しきい値と撮像画像の輝度とに基づいて路面上の車線区分線を抽出して検出する。これにより、路面の反射率に基づいて車線区分線を撮像画像より抽出するときのしきい値を設定しているので、異なる反射率の路面や太陽光量の変化にもかかわらず適切なしきい値を設定でき、車線区分線を正確に検出できる。
【０００８】
【発明の実施の形態】
――第１の実施の形態――
図１に、本発明による車線検出装置の第１の実施の形態を示す。この車線検出装置１は、車両に搭載されて前方の道路画像を取得し、取得された画像情報にしきい値を設定して、道路上の車線区分線を検出する。このとき、太陽光線の入射角度と照度、および路面の明るさにより路面の反射率を算出し、それにより設定するしきい値を変更する。なお、車線区分線には白線や黄線、あるいは路面上に固定設置された構造物によるものなど様々な種類があるが、以下の説明においてこれらを含めた車線区分線をすべて白線という。車線検出装置１は、画像メモリ１３、プロセッサ１４、画像取得部１１、照度計１５、車両位置検出部１６および太陽方向推定部１７を有する。
【０００９】
画像取得部１１は、自車両前方の道路を撮像し、撮像された道路画像を取得する。取得された道路画像の情報は画像フレーム単位で画像メモリ１３へ出力される。また、画像取得部１１は電子シャッタを有しており、プロセッサ１４より出力される電子シャッタ指令値に基づいて電子シャッタの開閉時間を制御し、シャッタスピードを所望の値とする。これにより、取得する道路画像の輝度を制御する。この画像取得部１１には、たとえばＣＣＤカメラなどが用いられる。
【００１０】
照度計１５は、太陽光の照度を測定し、測定値をプロセッサ１４へ出力する。照度計１５には、たとえばフォトダイオードなどが用いられる。また、車両のエアコンやオートライトに用いられる日照センサなどと、この照度計１５とを兼用してもよい。
【００１１】
車両位置検出部１６は、自車位置と進行方位を検出し、プロセッサ１４および太陽方向推定部１７へ出力する。車両位置検出部１６は、たとえばＧＰＳ衛星からのＧＰＳ信号を受信し、これにより自車位置を計算するとともに、地磁気センサやレートジャイロなどにより進行方位を計算する。なお自車位置については、車速センサなどにより自車両の移動距離を検出し、検出した移動距離と自車両の進行方位とに基づいて計算してもよい。
【００１２】
太陽方向推定部１７は、自車両に対する太陽の位置を推定し、プロセッサ１４へ出力する。太陽方向推定部１７は、暦と時刻の情報を格納したクロックカレンダを備えており、このクロックカレンダの情報と車両位置検出部１６より出力される自車位置の情報に基づいて、太陽の位置を推定する。
【００１３】
画像メモリ１３は、画像取得部１１により取得した自車両前方の道路画像の情報を記憶する。プロセッサ１４は、画像メモリ１３に記憶された道路画像情報に対して各種の処理を行い、画像中の白線を検出して、自車両と白線との位置関係を求める。プロセッサ１４は、機能的にウィンドウ設定部１０１、路面反射率算出部１０２、しきい値設定部１０３、白線候補点抽出部１０４、白線候補線算出部１０５、および道路パラメータ推定部１０６を有する。これらの各部における処理の内容については、後に説明する。
【００１４】
以上説明した車線検出装置１を車両に搭載したときの様子を図２に示す。車両１２に搭載された車線検出装置１は、室内天井１２ａに設置された画像取得部１１により、フロントガラス１２ｂを通して、車両１２の前方の符号Ｒに示す道路の画像を取得し、画像メモリ１３へ出力する。この画像と、車両１２のルーフ上に設置された照度計１５により測定された太陽光の照度と、車両位置検出部１６により検出された車両１２の位置と、太陽方向推定部１７により推定された車両１２に対する太陽の位置とに基づいて、車線検出装置１は道路Ｒ上の白線を検出する。
【００１５】
次に、プロセッサ１４で行う各処理について説明する。前述したとおり、プロセッサ１４では図１に示すウィンドウ設定部１０１、路面反射率算出部１０２、しきい値設定部１０３、白線候補点抽出部１０４、白線候補線算出部１０５および道路パラメータ推定部１０６で各処理を行う。
【００１６】
ウィンドウ設定部１０１では、画像上に複数のウィンドウを設定する。この様子を図３に示す。白線１８が含まれる路面を撮像した画像３０において、符号２０に示す複数のウィンドウを設定する。これらウィンドウ２０の画像上の位置は、白線１８の延長方向に沿って設けられ、後に説明するように前回の処理サイクルにおいて算出された道路パラメータにより決定される。このウィンドウ２０は、画像上の領域を特定するものである。ウィンドウ２０を設定することで、これによって囲われた画像上の領域が特定され、以降に説明する処理が行われる。なお、図３の例では左右５個ずつのウィンドウを設定しているが、この数に限定する必要はなく、異なる数のウィンドウを設定してもよい。また、図３の符号３１に示す座標系は、この画像３０における画素の位置を特定するための座標系を表し、画像３０の横方向をｘ軸、下方向をｙ軸とする。ｘ軸は左から右方向を正方向とし、ｙ軸は上から下方向を正方向とする。以下の説明において用いる座標系は、この座標系３１に従うものとする。
【００１７】
路面反射率算出部１０２では、下記の式（１）によって表される路面の散乱反射率Ｋｄを算出する。式（１）は路面を完全散乱面としたときのＬａｍｂｅｒｔの余弦則による式であり、アスファルトやコンクリートなどの一般の路面においてよく近似することが知られている。
【数１】
Ｉ＝Ｋｄ・Ｉｉ・cosα （１）
ただし
Ｉ：路面の明るさ
Ｋｄ：路面の散乱反射率
Ｉｉ：路面への入射光の強さ
α ：路面の法線と太陽とのなす角
【００１８】
画像取得部１１において取得された画像の路面輝度は、上記の式（１）における路面の明るさＩとシャッタ速度により決定される。したがって、シャッタ速度と取得された画像の路面輝度により、路面の明るさＩを以下に説明するようにして逆算することができる。なお、シャッタ速度はプロセッサ１４より出力する電子シャッタ指令値により決定され、画像の路面輝度はウィンドウ設定部１０１で設定された各ウィンドウにより特定された部分の輝度値（以降、ウィンドウ輝度という）に基づいて決定される。このとき、たとえば各ウィンドウ輝度の平均値や最頻値、または特定のウィンドウのウィンドウ輝度などが、画像の路面輝度とされる。なお、ウィンドウ輝度はそのウインドウ内の画素の輝度値によって決まり、たとえばそれの平均値や最頻値がウィンドウ輝度とされる。
【００１９】
シャッタ速度と路面の明るさＩとの関係の例を図４（ａ）に、画像の路面輝度と路面の明るさＩとの関係の例を図４（ｂ）に、それぞれ示す。図４（ａ）により、たとえばシャッタ速度が１／１０００秒である場合、路面の明るさＩは符号３２に示す範囲にあることがわかる。さらに図４（ｂ）により、このときの画像の路面輝度が例えばＬとして示す値である場合、路面の明るさＩは１０００ルクスであることがわかる。このようにして、シャッタ速度と画像の路面輝度により、路面の明るさＩを逆算する。
【００２０】
なお、図４（ａ）および（ｂ）は、シャッタ速度と路面の明るさＩ、および画像の路面輝度と路面の明るさＩとの関係をそれぞれグラフ化した一例であるが、これらの関係はこのようにグラフ化されたものでなくてもよい。シャッタ速度と画像の路面輝度により路面の明るさＩを決定できれば、実験値によりテーブル化されたものなど、どのような関係のものでもよい。
【００２１】
上記の式（１）における入射光の強さＩｉは、照度計１５により測定される太陽光の照度により算出される。照度計１５に太陽光が入射する様子を図５に示す。図５において、照度計１５と太陽とのなす角をα’とすると、太陽４０からの入射光の強さＩｉに対して、照度計１５により測定される入射光の強さＩｉ’は下記の式（２）によって表される。この式（２）の角度α’は、照度計１５の車両に対する取付角度が既知であることより、太陽方向推定部１７により推定される自車両に対する太陽４０の位置に基づいて、算出することができる。
【数２】
Ｉｉ’＝Ｉｉ・cosα’ （２）
【００２２】
上記の式（１）における路面の法線と太陽とのなす角αは、上記の式（２）のα’と同様に、太陽方向推定部１７により推定される自車両に対する太陽４０の位置に基づいて、算出することができる。なお、照度計１５が路面に対して平行に設置されている場合には、αとα’とは等しくなる。
【００２３】
上記のようにして算出される路面の明るさＩ、入射光の強さＩｉ、および路面の法線と太陽とのなす角αから、式（１）により路面の散乱反射率Ｋｄを算出する。なお、車両姿勢によっては照度計１５が路面に対して平行でない場合も考えられるので、後述する道路パラメータ推定部１０６によって推定される車両姿勢に基づいてα’を補正してもよい。
【００２４】
なお上記の説明において、路面の明るさＩは、画像取得部１１により撮像した画像に基づいて、自車両の前方の路面に対して算出される。これに対し、入射光の強さＩｉおよび路面の法線と太陽とのなす角αは、照度計１５および太陽方向推定部１７により測定等を行った結果に基づいて、自車位置において算出される。そのため、たとえば影や道路の傾きなどにより自車両前方と自車位置とで路面の状態が違う場合には、路面の散乱反射率Ｋｄが正しく算出できないことがある。これを避けるために、画像取得部１１において画像を撮像するタイミングと、照度計１５および太陽方向推定部１７において測定等を行うタイミングとは、必ずしも一致させる必要はない。たとえば、画像取得部１１において自車両の１０ｍ前方の画像を撮像している場合、１０ｍを移動する時間を車速より算出し、その算出された時間だけ後に、照度計１５等により測定等を行うようにしてもよい。
【００２５】
あるいは、所定の時間内において逐次算出された路面の散乱反射率Ｋｄを記憶し、その所定時間における平均値や最頻値を用いることで、自車両前方と自車位置との路面の状態の違いによる影響を取り除くこととしてもよい。さらに、これらの方法を組み合わせて用いてもよい。
【００２６】
しきい値設定部１０３では、路面反射率算出部１０２で算出された路面の散乱反射率Ｋｄに基づいて、各ウィンドウから白線候補点を抽出するときのしきい値を設定する。このとき、Ｋｄが大きい場合、すなわち入射光の強さＩｉに対して路面の明るさＩが大きい場合は、路面と白線との輝度差が小さくなるため、ウィンドウ輝度に対して差の小さなしきい値を設定する。逆に、Ｋｄが小さい場合は路面と白線との輝度差が大きくなるため、ウィンドウ輝度に対して差の大きなしきい値を設定するようにする。
【００２７】
なお上記の説明において、照度計１５に太陽光が入射しない場合、たとえばトンネル通過時や陸橋下の通過時などは、式（２）の入射光の強さＩｉを測定できず、路面の散乱反射率Ｋｄが算出できない。このような場合は、しきい値をあらかじめ定められた所定の値に切り換えるようにしてもよい。このとき、車両位置検出部１６により検出される自車位置の情報に基づいて車両の進行方向を推定し、推定した進行方向とナビゲーションの地図情報などによって、トンネルや陸橋下などを通過することを予測する。
【００２８】
また、照度計１５を車両のエアコンやオートライトに用いられる日照センサと兼用させた場合、照度計１５は車両のダッシュボード上などに設置されていることがある。このとき、自車両と太陽との位置関係によっては、自車両のルーフが作る影などにより照度計１５に太陽光が入射されないことがある。このような場合、車両位置検出部１６により検出される自車両の進行方位の情報と、太陽方向推定部１７により推定される自車両に対する太陽の位置の情報に基づいて、照度計１５に太陽光が入射されない状況であると判断されるときは、しきい値をあらかじめ定められた所定の値に切り換えるようにしてもよい。
【００２９】
白線候補点抽出部１０４では、しきい値設定部１０３において設定したしきい値を用いて、ソーベルフィルタ処理などのエッジ検出処理によって、各ウィンドウ内の画像より白線候補点を抽出する。図６を用いて、この白線候補点を抽出する方法を説明する。ウィンドウ２０によって特定された部分の画像において、白線１８は他の道路の部分に比べて輝度値が高い。このことより、左右に隣り合う画素を比較し、その輝度値の差がしきい値以上であるものを白線候補点として抽出する。このとき、白線１８の内側がエッジとして検出されるよう、図の右側にある白線１８に対しては、隣り合う画素のうち右側の画素の輝度値が高いものを抽出する。これにより、符号２１に示す各画素が白線候補点として抽出される。逆に、図の左側にある白線１８に対しては、左側の画素の輝度値が高いものを抽出する。
【００３０】
白線候補線算出部１０５では、白線候補点抽出部１０４において抽出された白線候補点２１の集合により、ハフ変換を用いて白線候補線を算出する。図７を用いて、この白線候補線を算出する方法を説明する。符号２２に示す各直線は、ウィンドウ２０内を通過し、白線候補点２１を貫く。この直線２２のうち、最も多く白線候補点２１を貫いたものを求め、それを白線候補線とする。
【００３１】
各直線２２は、下記の式（３）で表すことができる。式（３）のａおよびｂの値は、その直線が貫く白線候補点２１の座標によって、その組み合わせが決められる。たとえば、画像上の座標が（ｘ_１，ｙ_１）で表される白線候補点２１を貫く直線において、ａをａ_１と設定し、それに対応するｂの値をｂ_１とすると、式（３）よりｂ_１＝ｘ_１−ａ_１ｙ_１となる。また、ａをａ_２と設定し、それに対応するｂの値をｂ_２とすると、ｂ_２＝ｘ_１−ａ_２ｙ_１となる。このようにして、一定間隔でａの値が設定され、それに対応するｂの値が求められる。
【数３】
ｘ＝ａｙ＋ｂ（３）
【００３２】
以上のようにして、ある直線２２に対するａとｂの値の組み合わせが求められると、図８に示すような配列を作成する。図８において、１が記入されている欄は、その欄の下にあるａの値と、その欄の左側にあるｂの値の範囲とが対応することを表している。たとえば符号７０に示す欄は、ａの値が−８のときにｂの値がｂ_３からｂ_４の間にあることを表している。このような配列を、全ての白線候補点２１を通過する直線２２に対して作成する。
【００３３】
このようにして全ての白線候補点２１を通過する直線２２に対して作成された配列を重ね合わせて配列要素ごとの数を合計すると、図９に示すような配列が得られる。この配列において、たとえば符号８０に示す欄のｚ_ｒは、ａの値がａ_ｒのときにｂの値の範囲がｂ_ｒｌからｂ_ｒｕである直線２２の数を示している。このｚ_ｒが、符号８１に示す欄のｚ_１および符号８２に示す欄のｚ_２よりも大きいとすると、白線候補線は下記の式（４）で表すことができる。式（４）におけるｂ_ｒは、ｂ_ｒｌとｂ_ｒｕに基づいて設定される値であり、たとえばｂ_ｒｌとｂ_ｒｕの中間値とする。このとき、ｚ_ｒは式（４）によって表される白線候補線が貫く白線候補点２１の数とみなすことができる。
【数４】
ｘ＝ａ_ｒｙ＋ｂ_ｒ（４）
【００３４】
白線候補線が算出されると、図１０に示すように、その算出された白線候補線２２とウィンドウ２０の上辺２０ａとの交点９０の座標（ｘ_ｎ，ｙ_ｎ）が算出される。なお、このときのウインドウ２０を番号ｎで表すこととする。以降では、この座標（ｘ_ｎ，ｙ_ｎ）を、ウィンドウ番号ｎにおける道路座標という。
【００３５】
上記のようにして、白線候補線を算出し、さらにその白線候補線に対応する道路座標を算出する。
【００３６】
道路パラメータ推定部１０６では、下記の式（５）によって表される道路の各パラメータを推定する。これらのパラメータを推定することで、車線に対する車両の位置および姿勢を推定する。これにより、車線に対する車両の運動を予測することができる。
【数５】

ただし
Ａ：自車両の車線に対する横変位
Ｂ：道路曲率
Ｃ：自車両の車線に対するヨー角
Ｄ：自車両のピッチ角
Ｈ：路面からの高さ
Ｅ_０：車線幅（左右白線の内側間の距離）を示す定数
ｆ：カメラ透視変換定数
ｊ：左右の白線を区別するパラメータ
（左白線においてｊ＝０、右白線においてｊ＝１）
ｘ，ｙ：白線内端上の任意の点の座標
【００３７】
なお、上記の式（５）をｙで微分すると、下記の式（６）が得られる。さらにこの式（５）と式（６）によりＡを消去すると、Ｅ_０も消去される。これにウィンドウ番号ｎにおける道路座標（ｘ_ｎ，ｙ_ｎ）を代入すると、下記の式（７）が得られる。式（７）には車線幅を示す定数Ｅ_０が含まれていないことより、この式（７）は、道路幅がいかなるものであっても成立することが分かる。
【数６】

【数７】

【００３８】
式（５）におけるＡ、Ｂ、Ｃ、Ｄ、Ｈの各パラメータは、カルマンフィルタ処理によって推定することができる。式（５）をｘ＝ｆｚ（Ａ，Ｂ，Ｃ，Ｄ，Ｅ）と表すと、この式における関数ｆｚは、一般に複素列により構成される式であり、これは線形近似によって下記の行列式（８）のように表すことができる。式（８）において、ｘ_１，ｘ_２，・・，ｘ_ｍの値はウィンドウごとの道路座標ｘの値、ｍは１画面中に設定されたウィンドウの数を表す。また、Ｍ_ｉ１，Ｍ_ｉ２，Ｍ_ｉ３，Ｍ_ｉ４，Ｍ_ｉ５（ｉ＝１〜ｍ）の値は、それぞれｙの値がｙ_ｉにおけるＡ、Ｂ、Ｃ、Ｄ、Ｈの各パラメータによる微分値ｄｆｚ／ｄＡ，ｄｆｚ／ｄＢ，ｄｆｚ／ｄＣ，ｄｆｚ／ｄＤ，ｄｆｚ／ｄＨにより、求めることができる。このＭ_ｉ１，Ｍ_ｉ２，Ｍ_ｉ３，Ｍ_ｉ４，Ｍ_ｉ５の値を求めることで、カルマンフィルタ処理によってＡ、Ｂ、Ｃ、Ｄ、Ｈの各パラメータを推定できる。なお、カルマンフィルタ処理については周知の処理方法であるため、ここでは説明を省略する。
【数８】

【００３９】
以上に説明した各処理を実行するフローチャートを図１１に示す。このフローチャートはプロセッサ１４で実行されるプログラムに基づくものであり、車線検出装置１の動作時には常に実行されている。図１１のステップＳ１では、画像取得部１１によって取得された車両前方の画像を画像メモリ１３へ取り込む。ステップＳ２では、ステップＳ１でメモリ１３へ取り込んだ画像上に、図３に示す複数のウインドウ２０を設定する。このとき設定するウィンドウの位置は、予測された車両の運動に基づいて推定された白線の位置付近とする。車両の運動の予測は、前回の処理サイクルのステップＳ２０で推定された道路パラメータに基づいて行われる。なお、ここでいう処理サイクルとは、図１１に示すステップＳ１からＳ２０までの処理を１回の処理サイクルとしたものである。
【００４０】
ステップＳ３では、ステップＳ２で設定したウィンドウごとにウィンドウ輝度を求める。さらに、このウィンドウ輝度に基づいて、次の処理サイクルのステップＳ１で取り込む画像におけるシャッタ速度を決定し、画像取得部１１に対して電子シャッタ指令値を出力する。このシャッタ速度はたとえば、各ウィンドウのウィンドウ輝度の最小値が画像取得部１１のダイナミックレンジ以内である場合は、次の処理サイクルでも今回のシャッタ速度と同じとし、ダイナミックレンジを上回った場合または下回った場合には、シャッタ速度を今回よりも早くまたは遅くする。あるいは、ウィンドウ輝度の最大値、平均値、最頻値などにより、シャッタ速度を決定してもよい。
【００４１】
ステップＳ４では、ステップＳ３で求めたウィンドウ輝度と、ステップＳ１でメモリ１３へ取り込んだ画像を取得したときのシャッタ速度とにより、前述の式（１）における路面の明るさＩを決定する。このとき、図４（ａ）に示すシャッタ速度と路面の明るさＩとの関係、および図４（ｂ）に示す画像の路面輝度と路面の明るさＩとの関係により、前述のようにして路面の明るさＩを決定する。
【００４２】
ステップＳ５では、照度計１５により測定された太陽光の照度に基づいて、前述のように、式（１）における入射光の強さＩｉを算出する。また、太陽方向推定部１７により推定された自車両に対する太陽４０の位置と、車両位置検出部１６により検出された自車両の位置とに基づいて、路面の法線と太陽とのなす角αを算出する。ステップＳ６では、ステップＳ４で決定した路面の明るさＩと、ステップＳ５で算出した入射光の強さＩｉおよび路面の法線と太陽とのなす角αに基づいて、式（１）により路面の散乱反射率Ｋｄを求める。ステップＳ７では、ステップＳ６で求められた路面反射率Ｋｄに基づいて、前述のようにして白線を検出するしきい値を設定する。
【００４３】
ステップＳ８では、ウィンドウ処理番号ｉを１に初期化する。このウィンドウ処理番号ｉは、ステップＳ２で設定した各ウィンドウに対してそれぞれ異なる値が設定され、その値を指定することで任意のウィンドウを選択できるものである。ステップＳ９では、そのときのウィンドウ処理番号ｉの値に対応するウィンドウにおいて、図６に示す白線候補点２１を抽出する。このとき、前述のように左右に隣り合う画素を比較し、その輝度値の差がステップＳ７で設定したしきい値以上であるものを、白線候補点として抽出する。
【００４４】
ステップＳ１０では、ステップＳ９で抽出した白線候補点の集合から、図１０に示す白線候補線２２を算出する。このとき、前述のように最も多く白線候補点を貫く直線を白線候補線とする。さらに、図１０に示す交点９０の座標、すなわちウィンドウ処理番号ｉにおける道路座標（ｘ_ｉ，ｙ_ｉ）を算出する。
【００４５】
ステップＳ１１では、ウィンドウ処理番号ｉに１を加える。ステップＳ１２では、ステップＳ１１で１を加えられたウィンドウ処理番号ｉの値が、全ウィンドウ数ｍを越えたか否かを判定する。ウィンドウ処理番号ｉの値が全ウィンドウ数ｍを越えた場合は、全ウィンドウに対してステップＳ９からＳ１０までの処理を終えたとして、次のステップＳ２０へ進む。越えていない場合は、ステップＳ９へ戻る。
【００４６】
ステップＳ２０では、道路パラメータの推定を行う。ステップＳ２０の処理内容を示すサブルーチンを図１２に示す。ステップＳ２１では、ウィンドウ処理番号ｉを１に初期化する。ステップＳ２２では、前述のようにして、式（８）に示されるＭ_ｉ１，Ｍ_ｉ２，Ｍ_ｉ３，Ｍ_ｉ４，Ｍ_ｉ５の値を計算する。ステップＳ２３では、ウィンドウ処理番号ｉに１を加える。
【００４７】
ステップＳ２４では、ステップＳ２３で１を加えられたウィンドウ処理番号ｉの値が、全ウィンドウ数ｍを越えたか否かを判定する。ウィンドウ処理番号ｉの値が全ウィンドウ数ｍを越えた場合は、全ウィンドウに対してステップＳ２２からＳ２３までの処理を終えたとして、次のステップＳ２５へ進む。越えていない場合は、ステップＳ２２へ戻る。ステップＳ２５では、カルマンフィルタ処理を用いて、式（５）のパラメータ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）を推定する。ステップＳ２５が終了した後は、図１１のメインルーチンへ戻り、ステップＳ１へ戻る。
【００４８】
以上説明したフローチャートにおいて、ステップＳ２が図１のウィンドウ設定部１０１、ステップＳ４〜Ｓ６が路面反射率算出部１０２、ステップＳ７がしきい値設定部１０３、ステップＳ９が白線候補点抽出部１０４、ステップＳ１０が白線候補線算出部１０５、ステップＳ２０が道路パラメータ推定部１０６における処理にそれぞれ相当する。
【００４９】
以上の説明では、画像取得部１１においてシャッタ速度を変化させることにより撮像画像の明るさを調整する例を説明したが、シャッタ速度の代わりに、入力光の強さに対する出力画像の輝度値のゲインを変化させ、このゲイン値によって路面の明るさＩを決定してもよい。このとき、電子シャッタ指令値の代わりにゲイン指令値をプロセッサ１４より画像取得部１１に出力し、このゲイン指令値に基づいて、画像取得部１１においてゲインを変化する。
【００５０】
以上の説明では、画像取得部１１において車両前方の画像を取得し、車両前方の車線を検出する例を説明したが、車両後方の画像を取得し、その画像より車両後方の車線を検出することとしてもよい。
【００５１】
上述した車線検出装置１によれば、車線区分線を含む画像取得部１１の撮像対象とする路面の反射率を算出し、算出された反射率に基づいて撮像画像の輝度しきい値を設定する。そして、この輝度しきい値と撮像画像の輝度とに基づいて、撮像画像より路面上の車線区分線を抽出して検出する。このようにして、車線区分線を撮像画像より抽出するときのしきい値を路面の反射率に基づいて設定することとしたので、異なる反射率の路面や太陽光量の変化にもかかわらず適切なしきい値を設定でき、車線区分線を正確に検出できる。
また上述した車線検出装置１によれば、算出された反射率の所定時間における平均値または最頻値に基づいてしきい値を設定することとしたので、路面の状態に違いがある場合にもその影響を取り除いて適切なしきい値を設定できる。
上述した車線検出装置１によれば、路面への入射光の照度を測定し、撮像された画像の輝度と入射光の照度とに基づいて路面の反射率を算出することとした。さらに、自車位置を検出し、検出した自車位置に基づいて自車両に対する太陽の位置を推定し、検出した自車位置と推定した太陽の位置により太陽光の入射角を算出する。また入射される太陽光の照度を測定し、撮像された画像の輝度と、シャッタ速度または画像の輝度のゲインとにより路面の明るさを決定する。このように算出した太陽光の入射角および決定した路面の明るさと、測定した太陽光の照度とにより、路面の反射率を算出することとした。さらに、自車両の進行方位を検出し、進行方位と太陽の位置とに基づいて太陽光が自車両の一部分によって遮られるか否かを判定し、遮られると判定した場合は、しきい値を所定の値に切り換えることとした。このようにしたので、路面の反射率を確実に算出できるとともに、太陽光が遮られる場合にもしきい値を設定できる。
また上述した車線検出装置１によれば、照度計１５はエアコンまたはオートライトに備えられる照度計と兼用されることとしたので、既存の設備を用いることができ、コストアップを抑えることができる。
さらに上述した車線検出装置１によれば、自車両と路面との位置関係を表す道路パラメータをカルマンフィルタ処理によって推定することとしたので、車線に対する自車両の位置を推定することができる。
【００５２】
以上の実施の形態では、たとえば撮像手段を画像取得部１１、照度測定手段を照度計１５、自車位置検出手段を車両位置検出部１６、太陽位置推定手段を太陽方向推定部１７でそれぞれ実現し、反射率算出手段、しきい値設定手段、車線検出手段および入射角算出手段をプロセッサ１４で実現している。しかし、これらはあくまで一例であり、本発明の特徴が損なわれない限り、各構成要素は上記実施の形態に限定されない。
【図面の簡単な説明】
【図１】本発明による車線検出装置１の構成を示す図である。
【図２】車線検出装置１を車両１２に搭載した様子を示す図である。
【図３】画像上に設定する複数のウィンドウを説明するための図である。
【図４】シャッタ速度、画像の路面輝度、および路面の明るさの関係を示す図であり、（ａ）はシャッタ速度と路面の明るさとの関係、（ｂ）は画像の路面輝度と路面の明るさとの関係を示す。
【図５】照度計１５に太陽光が入射する様子を示す図である。
【図６】ウィンドウ内の画像より白線候補点を抽出する方法を説明するための図である。
【図７】抽出した白線候補点より白線候補線を算出する方法を説明するための図である。
【図８】白線候補線を算出するときに作成する配列を示す図である。
【図９】図８に示す配列を重ね合わせて配列要素ごとの数を合計して得られる配列を示す図である。
【図１０】白線候補線とウィンドウの上辺との交点を示す図である。
【図１１】車線検出装置１における処理の流れを示すフローチャートである。
【図１２】図１０のステップＳ２０におけるサブルーチン処理の流れを示すフローチャートである。
【符号の説明】
１車線検出装置
１１画像取得部
１３画像メモリ
１４プロセッサ
１５照度計
１６車両位置検出部
１７太陽方向推定部

Claims

少なくとも車線区分線を含む路面を撮像する撮像手段と、
前記路面への入射光の照度を測定する照度測定手段と、
前記撮像手段により撮像された前記路面の撮像画像の輝度と、前記照度測定手段により測定された入射光の照度とに基づいて、前記路面の反射率を算出する反射率算出手段と、
前記反射率算出手段により算出された反射率に基づいて前記路面の撮像画像の輝度に関する輝度しきい値を設定するしきい値設定手段と、
前記しきい値設定手段により設定された輝度しきい値と前記撮像画像の輝度とに基づいて前記路面上の車線区分線を抽出することで前記車線区分線を検出する車線検出手段とを備えることを特徴とする車線検出装置。
請求項１の車線検出装置において、
前記しきい値設定手段は、前記反射率算出手段により算出された反射率の所定時間における平均値または最頻値に基づいて前記輝度しきい値を設定することを特徴とする車線検出装置。
請求項１または２の車線検出装置において、
自車両の位置を検出する自車位置検出手段と、
前記自車位置検出手段により検出された自車両の位置に基づいて自車両に対する太陽の位置を推定する太陽位置推定手段と、
前記自車両の位置と、前記太陽位置推定手段により推定された自車両に対する太陽の位置とに基づいて、太陽光の入射角を算出する入射角算出手段とを備え、
前記照度測定手段は、入射される太陽光の照度を測定し、
前記反射率算出手段は、前記撮像画像の輝度と、前記撮像手段におけるシャッタ速度または前記撮像手段における画像の輝度のゲインとにより前記路面の明るさを決定し、前記路面の明るさと、前記照度測定手段により測定された太陽光の照度と、前記入射角算出手段により算出された太陽光の入射角とにより前記路面の反射率を算出することを特徴とする車線検出装置。
請求項３の車線検出装置において、
前記自車位置検出手段は、自車両の進行方位をさらに検出し、
前記しきい値設定手段は、前記自車位置検出手段により検出された自車両の進行方位と、前記太陽位置推定手段により推定された自車両に対する太陽の位置とに基づいて、前記照度測定手段に入射される太陽光が自車両の一部分によって遮られるか否かをさらに判定し、
遮られると判定した場合は、前記設定するしきい値をあらかじめ定められた所定の値に切り換えることを特徴とする車線検出装置。
請求項１〜４のいずれかの車線検出装置において、
前記照度測定手段は、車両に照射される光の照度に応じて車内の温度を制御するエアコンまたは車両に照射される光の照度に応じてヘッドランプの点消灯を制御するオートライトに備えられる照度計と兼用されることを特徴とする車線検出装置。
請求項１〜５のいずれかの車線検出装置において、
自車両と前記路面との位置関係を表す道路パラメータをカルマンフィルタ処理によって推定する道路パラメータ推定手段を備えることを特徴とする車線検出装置。