JP3271391B2 - 車線認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は車線認識装置に関し、特
に車両の前方の路面状態をラインカメラ等によって車線
（白線又は黄線）を認識するための装置に関するもので
ある。

【０００２】

【従来の技術】従来より知られている車線認識装置は、
図９(a) 及び(b) に示すように、車両１０の所定の前部
中央に車線センサとしてのラインカメラ（一次元ＣＣＤ
カメラ）１０を取り付け、路面１２上の車線ＷＬを検出
して二値化することにより車線を認識するものであり、
例えば車両１１と車線ＷＬとの位置関係から車線逸脱を
判定し、逸脱していると判断したときには警報をドライ
バーに発する等の用途に使用されるものである。

【０００３】この様な車線認識装置の構成は図１に示す
様なものであり、レンズ１で撮像した光信号を露光制御
部（撮像部）２において露光制御を行うと共に電気信号
に変換し、更にこの電気信号をＡ／Ｄ変換部３において
アナログ信号からディジタル信号に変換する。このＡ／
Ｄ変換部３からのディジタル信号は画像メモリ４に記憶
されると共に、制御手段としてのＣＰＵ５によって一定
の処理が行われることにより車線検出が行われると共
に、次回の画像信号の露光時間を制御する為の露光制御
信号を露光制御部２に与えている。尚、通常、レンズ１
と露光制御部２とで車線センサが構成される。

【０００４】そして、車線検出に際しては、例えば特開
平４−１５２４０６号公報に示すように、ＣＰＵ５はレ
ンズ１、露光制御部２、Ａ／Ｄ変換部３、及び画像メモ
リ４を経て得られる道路の画像信号全体の信号レベルの
平均値及び最大値を検出し、この両者に基づいて閾値を
決定する。そして、この閾値に基づいて画像信号を二値
化するので、路面の状態に応じた閾値による二値化が行
え、車線の誤り検出を低減させている。

【０００５】

【発明が解決しようとする課題】上記のような従来の車
線認識装置においては、図１０に示すように例えば画面
全体の画素の信号レベルの平均値を観測値として通常の
目標値（図示せず）に従って露光制御を行っている（図
８（ｃ）参照）。

【０００６】従って、図示のように画面中に日向部分と
日陰部分とが混在しているような場合には、同図（ａ）
に示すように、上記の閾値は一点鎖線で示すようなレベ
ルとなるので、日向レベルが高く日向アスファルト部分
の信号レベルが飽和状態にあるようなときには、日向
レベルが通常のレベルであれば日向アスファルト部分
より高くなる車線ＷＬのレベルは、図示のように日向ア
スファルト部分と同じレベルになってしまい、しかも閾
値はこの日向アスファルト部分を最大値としてこれよ
り低く且つ観測された値（平均値）より大きい値になる
ので日向アスファルト部分の車線ＷＬは検出出来ない
（従って、点線で図示されている）。

【０００７】また、日陰アスファルト部分における車
線ＷＬにおいてもこの車線レベルが閾値に達するほど高
い値でなければ検出することは出来ない。

【０００８】更に、この様な観測値（平均値）は正常な
値としてＣＰＵ５から露光制御部２に対する次回の露光
制御においても同様に設定されるので、閾値は同図
（ｂ）に示すように同図（ａ）と同じ値となり、同様に
して日向アスファルト部分の車線ＷＬまたは日陰アス
ファルト部分の車線ＷＬは検出出来なくなってしま
う。

【０００９】また、日向レベルが低い場合においても図
１１に示すように、閾値は同図（ａ）及び（ｂ）に示す
ような低いレベルとなるが、観測値（平均値）は正常で
あるとして図１０の場合と同様に前回の制御の値を次の
制御にそのまま使用するので、日向アスファルト部分
に車線ＷＬが存在した時にはこれを検出することが出来
るが、日陰アスファルト部分に車線ＷＬが存在した時
には図１０の場合と同様に検出出来なくなってしまうと
いう問題点があった。

【００１０】従って本発明は、車両の前方を撮影する車
外の車線センサから得られた画像信号を信号処理手段が
二値化することにより路面上の車線を抽出すると共に該
画像信号の観測レベルから目標値に従って該車線センサ
の露光制御部を制御する車線認識装置において、画面上
に日向部分と日陰部分が混在していても車線を正確に検
出出来るようにすることを目的とする。

【００１１】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る車線認識装置は、信号処理手段が、二
値化する画素を中心として車線幅を越える所定長に渡っ
て左右均等にサンプリングしその信号レベルの平均値を
求めて定数を掛けることにより影−日向が混在する画像
信号のエッジ部分のみで小さくなるように該二値化する
際の閾値を求め、該二値化の結果から該車線幅以上の車
線予備候補を決定し該車線予備候補の外側の所定位置の
左端部分又は右端部分の平均信号レベルと該車線予備候
補の平均信号レベルとの比が一定値以上のとき該車線予
備候補を車線と認識し、それ以外で該左端部分と右端部
分との平均信号レベル差の絶対値が所定値を越えている
とき該エッジ部分であると認識して該左端部分及び右端
部分の内の高い平均信号レベルを日向アスファルト観測
レベルとし該目標値より高く別に予め設定された影−日
向混在時の日向アスファルト目標値からの偏差に従って
該露光制御部の次回の露光量制御を行うことを特徴とし
たものである。

【００１２】

【作用】本発明の動作を図２及び図３を参照して以下に
説明する。

【００１３】まず日向レベルが高い時を示す図２におい
て、車線センサの露光制御部は従来からの通常の目標値
Ｂに設定されており、このために日向アスファルト部分
はそこに車線ＷＬが含まれていても図示の如く同一レ
ベルとなってしまうので同図（ａ）に示す様な閾値を
設定しても日向アスファルト部分における車線ＷＬは
検出出来ず、日陰アスファルト部分に存在し得る車線
ＷＬのみが検出出来ることとなる。

【００１４】尚、このときの閾値は、影−日向エッジ
部分を検出するためのものであり、二値化する画素を
中心として車線ＷＬの幅を超える所定長に渡って左右均
等に幾つかサンプリングし、そのサンプリングした信号
レベルの平均値を求めて定数を掛けたものである。これ
により、図示の如く影−日陰が混在する画像信号のエッ
ジ部分においてのみレベルが小さくなるものである。

【００１５】但し、このよう画像信号が閾値より大き
くなる部分はエッジ部分だけではなく、車線ＷＬの信
号レベルがアスファルト部分，より高くなった場
合、即ち車線が認識できる場合も同様であるので、これ
らを判別する必要がある。

【００１６】このため、画像信号と閾値とを比較し二
値化を行って得られたレベルに基づいて車線ＷＬの幅以
上の部分をまず車線予備候補としておくす。

【００１７】しかし、図２（ａ）の場合には日向アスフ
ァルトレベルが飽和している結果、車線ＷＬのレベル
がレベルと同じになっているので車線ＷＬの幅の車線
予備候補は決定できない。

【００１８】但し、エッジ部分においては画像信号レ
ベルは閾値より大きくなり、車線ＷＬの幅以上となる
のでエッジ部分自身が車線予備候補となる。

【００１９】そして、この車線予備候補の外側の所定位
置の左端部分と右端部分との信号レベル差の絶対値が所
定値を超えている時には、図示のような高低の差が大き
いエッジ部分であると認識する。

【００２０】そして上記左端部分及び右端部分の内の高
い方の信号レベル、即ち日向アスファルト部分の信号
レベルを観測値とする。

【００２１】また、影−日向が混在した状態を考慮して
通常の目標値Ｂより高い別の目標値Ａを実験等により予
め求めて信号処理手段に設定しておく。

【００２２】そして、この目標値Ａと上記の観測値（日
向アスファルト部分の信号レベル）との差により露光
制御を行うと同図（ｂ）に示す様に日向アスファルト部
分の信号レベルが下がってそこに存在し得る車線ＷＬ
が現れることとなる。

【００２３】この同図（ｂ）の状態において、再び閾値
を上記と同様にして求め、この閾値と画像信号とを
比較する事により二値化を行うことができる。

【００２４】今度は、車線ＷＬの幅以上の車線予備候補
を日向アスファルト部分内に決定することができ、車
線予備候補の外側の左側部分及び右側部分の信号レベル
の高い方と上記の車線予備候補の平均信号レベルとの比
が一定値以上の時、その車線予備候補を車線と認識す
る。

【００２５】また、エッジ部分も上記と同様にして認
識され、その肩部分の日向アスファルト部分を観測値
として同様の露光制御を行う。

【００２６】尚、日陰アスファルト部分の車線ＷＬは
同図（ａ）及び（ｂ）において共に認識することができ
る。

【００２７】上記の図２は日向アスファルト部分のレ
ベルが高かった場合を示したが、図３に示すように日向
アスファルト部分が低い場合においても同様にして行
うことが出来る。

【００２８】即ち、目標値Ｂは図２（ａ）に示すのと同
じ値に通常通り設定されており、閾値は図示の様に求
めることが出来るので日向アスファルト部分に車線Ｗ
Ｌが存在した時にはこれを検出する事が出来る。

【００２９】しかしながら、日陰アスファルト部分に
車線が存在する場合には日陰アスファルト部分にこの
車線が同一レベルに埋もれていまうので閾値によって
は検出出来ない。

【００３０】但し、上記と同様に影−日向エッジ部分
を閾値によって検出することが出来ると共に、このエ
ッジ部分のレベルの高い方の日向アスファルト部分
を観測値として目標値Ａとの差により露光制御を行うと
同図（ｂ）に示すようになる。

【００３１】この同図（ｂ）においては、影−日向混在
状態における日陰アスファルト部分に存在する車線Ｗ
Ｌは図示のように引き上げられることとなるので、この
車線レベルと再び求めた閾値との関係から日向アスフ
ァルト部分に存在する車線ＷＬと共に日陰アスファル
ト部分における車線ＷＬも検出出来ることとなる。

【００３２】この様にして影−日向が混在していても車
線を正確に検出することが可能となる。

【００３３】

【実施例】本発明に係る車線認識装置の構成は図１に示
した従来の車線認識装置の構成と同様であるが、以下に
述べるように信号処理手段としてのＣＰＵ５に格納され
且つ実行される露光制御処理が異なっている。この露光
制御処理を以下、図４乃至図８に示すフローチャートに
従い、図２及び図３を参照して説明する。

【００３４】（１）全体処理：図４ 先ず図４はＣＰＵ５による車線認識の全体の処理の流れ
を示しており、先ず、露光時間を設定する（ステップＳ
１）。これはＣＰＵ５から露光制御部（撮像部）２に対
する露光制御信号を設定するためのステップであり、本
発明では図２及び図３に関して説明したように二つの目
標値Ａ及びＢ（Ａ＞Ｂ）を設定する。尚、この目標値
Ａ，Ｂのレベルは露光時間に対応するものであり、最初
は例えば通常処理用の目標値Ｂに対応する露光時間が設
定されている。

【００３５】従って、レンズ１で集光された光信号はＣ
ＰＵ５によって制御された露光制御部２を通過し、Ａ／
Ｄ変換部３並びに画像メモリ４を経てデータとしてＣＰ
Ｕ５に取り込まれる（ステップＳ２）。

【００３６】そして、この様にして取り込まれたデータ
の二値化を行う（ステップＳ３）。この二値化について
は図５に示すフローチャートにより後述する。

【００３７】ステップＳ３の後は影−日陰があるか否か
判定する（ステップＳ４）。このステップＳ４は後述す
る如く図７に示すフローチャートによって実行される。
尚、このフローチャートでは車線領域の検出も同時に実
行する。

【００３８】このステップＳ４の判定の結果、影−日向
が無いと判った時には目標値Ｂにより通常の露光時間制
御を行い（ステップＳ５）、影−日陰があることが判っ
た時にはこれに対応した露光時間制御を行う（ステップ
Ｓ６）。このステップＳ５，ステップＳ６に付いては後
述する如く図８のフローチャートによって実行される。

【００３９】そして、このような車線認識が必要なだけ
実行すると終了する（ステップＳ７）。

【００４０】（２）二値化処理：図５ 図５（ａ）は、上記の様に二値化（ステップＳ３）のア
ルゴリズムを示したものであり、以下、図６を参照して
説明する。

【００４１】先ずＣＰＵ５はデータを入力し（ステップ
Ｓ１１）、画素数を示す変数ｉを“０”に初期化し（ス
テップＳ１２）、この変数ｉが画面の最大画素数「５１
２」に達した時には図７に示す車線領域及び影−日向検
出ルーチンへ進む（ステップＳ１４）が、最大画素数
「５１２」に達していないときには以下の二値化処理を
実行する。

【００４２】先ず二値化する画素を中心として例えば１
２画素毎に左右３点づつ計７点の信号レベルの平均値を
求める（ステップＳ１５）。

【００４３】これは図５（ｂ）に示すように二値化する
中心画素をＮとしたとき、左側に１２画素づつずれた３
点と右側に１２画素づつずれた３点を含めた計７点の信
号レベルの和を求め、これを「７」で割ることにより平
均値を求める。

【００４４】この平均値をａとするとａは以下の式の様
に表される。

【００４５】

【数１】

【００４６】この様にして求めた平均値ａに定数「１．
１」を乗じた閾値を求める（ステップＳ１６）。これ
は平均値ａを１割だけ大きくしたものである。

【００４７】この様な閾値の例は図２及び図３に点線
で示したが、更に図６にも詳しく示されており、この閾
値を求める意味は、図６に示すような日向部分と日陰
部分が混在するような画面において図示の様な影−日向
エッジ部分のみにおいて閾値が画像信号より小さく
なり、このことから逆に影−日向エッジ部分が検出で
きるからである。

【００４８】この様にして求めた閾値と二値化する画素
の信号レベルとを比較し（ステップＳ１７）、二値化す
る画素の信号レベルが閾値以上である時には二値化し
た値を“１”とし（ステップＳ１８）、そうでない時に
は二値化した値を“０”とする（ステップＳ１９）。

【００４９】そしてこの様にして変数ｉが「５１２」に
達するまでインクリメントする（ステップＳ２０）。

【００５０】（３）車線領域・影−日向エッジ検出処理：図７ 次に、図５に示したステップＳ１４に続く車線領域及び
影−日向エッジ検出のアルゴリズム（図４のステップＳ
４）が図７に示されており、先ずこのフローチャートに
おいても変数ｉを“０”に初期化しておき（ステップＳ
２１）、この変数ｉが「５１２」に達しているか否かを
判定し（ステップＳ２２）、変数ｉが「５１２」に達し
ているときには図８の露光時間制御ルーチンに進む（ス
テップＳ２３）が、変数ｉが「５１２」に達していない
時には以下のアルゴリズムを実行する。

【００５１】まず図５に示した二値化アルゴリズムにお
いて二値化した値が“１”か否かを判定し（ステップＳ
２４）、二値化した値が“１”である時には車線幅（最
初は０）に“１”を加え（ステップＳ２５）、変数ｉを
“１”だけインクリメントする（ステップＳ２６）。

【００５２】ステップＳ２４において二値化した値が
“１”でない時、即ち“０”であることが判った時には
ステップＳ２４〜Ｓ２６で積算した車線幅が「１０」以
上であるか否かを判定する（ステップＳ２７）。これは
実際の道路の車線をラインカメラ等によって撮像した時
の画面上の画素の車線幅がほぼ「１０」に相当するの
で、この「１０」を基準として車線に相当する部分が検
出されたか否かを判定している。

【００５３】この結果、車線幅が「１０」以上であるこ
とが判った時には、図６に示すようにこの車線を『車線
予備候補』とする。これは、車線ＷＬ自体か又はエッジ
部分を検出するためのものである。

【００５４】そして、更にこの車線予備候補の左右近傍
の各々の信号レベルを求める（ステップＳ２８）。これ
は図６に示すように、二値化した値が連続して「１０」
以上“１”であることが判った車線予備候補を含む所定
幅Ｔにおける４画素分の左端部分と右端部分の信号レベ
ルの平均値を求めるものであり、式で表すと次のように
なる。

【００５５】

【数２】

【００５６】そして、このようにして求めた左右両端部
分のそれぞれの信号レベルの平均値の内の高い方の信号
レベルを以下『端部信号レベル』とする（ステップＳ２
９）。

【００５７】そして更に上記の車線予備候補の平均信号
レベルを求める（スイッチ３０）。これを式で表すと次
のようになる。

【００５８】

【数３】

【００５９】このようにして求めた車線予備候補の平均
信号レベルは「２５５」又はステップＳ２９で求めた端
部信号レベルの１．５倍以上であるか否かを判定する
（ステップＳ３１）。

【００６０】これは車線予備候補がその車線幅において
全て最大レベルにあるか、又は図６に示すように車線幅
の部分が端部信号レベル（車線幅の両脇の左端部分又は
右端部分のレベル）より１．５倍以上大きければ図２
（ｂ）並びに図３（ａ）及び（ｂ）に示したように車線
ＷＬと認識することが出来るからである。

【００６１】従ってこのようにして車線ＷＬと認識され
た場合には変数ｉを“１”だけインクリメントする（ス
テップＳ３２）。

【００６２】一方、ステップＳ３１において車線ＷＬが
認識出来なかった時（図２（ａ）に示したような場合）
には、ステップＳ３３に進んで左端部分の平均信号レベ
ルと右端レベルの平均信号レベルとの差の絶対値が一定
値βより大きいか否かを判定する。

【００６３】これは、図６に示すように二値化された部
分が丁度、影−日向のエッジ部分に該当している場合
には左端部分と右端部分とのレベル差が大きくなるため
であり、定数βをそのエッジを判定するための値に設定
しておけばこの定数βより大きい時には影−日向エッジ
と認識することが出来るからである。

【００６４】このようにして影−日向エッジ部分を検
出した時にはその影−日向混在フラグを立てる（ステッ
プＳ３４）。

【００６５】このようにして変数ｉが「５１２」に達し
た時にはステップＳ２２及びステップＳ２３を経て図８
の露光時間制御ルーチンへ進む。

【００６６】（４）露光時間制御処理：図８ 図８においてはまずステップＳ３４による影−日向フラ
グが立っているか否かを判定し（ステップＳ４１）、こ
のフラグが立っている時には、観測値を端部信号レベル
（図６に示した左端部分又は右端部分の信号レベルの高
い方）とし、これを日向アスファルト部分の信号レベ
ルとする（ステップＳ４２）。

【００６７】そしてこのように影−日向が混在している
状態であるので図８（ｂ）に示すように目標値をＡと
し、この目標値Ａと上記の観測値との偏差により露出時
間の変動量を決めて（ステップＳ４４）、ＣＰＵ５が露
光制御部２を制御する。

【００６８】また、影−日向フラグが立っていない時に
は従来の場合と同様に画面の全画素レベルの平均値を観
測値とし（ステップＳ４５）、目標値を図８（ｃ）に示
すように通常の値Ｂに戻して（ステップＳ４６）、露出
時間の制御を行う（ステップＳ４４）。

【００６９】

【発明の効果】以上説明したように、本発明に係る車線
認識装置によれば、信号処理手段は、図２及び図３に示
した得られた画像信号からその閾値を求め、この閾値
と画像信号との関係から影−日向エッジ部が存在す
るか否かを判定し、エッジ部分が存在することが判っ
た時、即ち影−日向が混在している時には露光制御の目
標値を通常の値Ｂより高い値Ａに変更し、且つその時の
観測値をエッジ部分の高い方の日向アスファルト信号
レベルに設定し目標値Ａに対する観測値の偏差に基づい
て露光制御を実行するように構成したので、影−日向の
存在の有無に関わらず、また日向アスファルトレベルの
高低に関わらず正確に車線を認識することが可能とな
る。

【図面の簡単な説明】

【図１】本発明及び従来例に代わる車線認識装置の構成
を示したブロック図である。

【図２】本発明に係る車線認識装置の動作説明図（その
１：日向レベルが高い場合）を示したグラフ図である。

【図３】本発明に係る車線認識装置の動作説明図（その
２：日向レベルが低い場合）である。

【図４】本発明に係る車線認識装置のＣＰＵによる全体
処理を示したフローチャート図である。

【図５】本発明に係る車線認識装置における二値化のア
ルゴリズムを示したフローチャート図である。

【図６】本発明に係る車線認識装置において画像信号と
本発明によって設定された閾値との関係並びに車線領域
及び影−日向エッジ部を説明するためのグラフ図であ
る。

【図７】本発明に係る車線認識装置において実行される
車線領域及び影−日向エッジ部分の検出アルゴリズムを
示したフローチャート図である。

【図８】本発明に係る車線認識装置における露光時間制
御を説明する為の図である。

【図９】車線認識装置に使用される車線センサの配置図
である。

【図１０】従来例（その１：日向レベルが高い場合）を
説明するためのグラフ図である。

【図１１】従来例（その２：日向レベルが低い場合）を
説明するためのグラフ図である。

【符号の説明】

１ レンズ ２ 露光制御部（撮像部） ３ Ａ／Ｄ変換部 ４ 画像メモリ ５ ＣＰＵ 図中、同一符号は同一又は相当部分を示す。

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G08G 1/04 B60R 21/00 624 G05D 1/02 G06T 1/00 280

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 車両の前方を撮影する車外の車線センサ
   から得られた画像信号を信号処理手段が二値化すること
   により路面上の車線を抽出すると共に該画像信号の観測
   レベルから目標値に従って該車線センサの露光制御部を
   制御する車線認識装置において、 該信号処理手段が、該二値化する画素を中心として車線
   幅を越える所定長に渡って左右均等にサンプリングしそ
   の信号レベルの平均値を求めて定数を掛けることにより
   影−日向が混在する画像信号のエッジ部分のみで小さく
   なるように該二値化する際の閾値を求め、該二値化の結
   果から該車線幅以上の車線予備候補を決定し該車線予備
   候補の外側の所定位置の左端部分又は右端部分の平均信
   号レベルと該車線予備候補の平均信号レベルとの比が一
   定値以上のとき該車線予備候補を車線と認識し、それ以
   外で該左端部分と右端部分との平均信号レベル差の絶対
   値が所定値を越えているとき該エッジ部分であると認識
   して該左端部分及び右端部分の内の高い平均信号レベル
   を日向アスファルト観測レベルとし該目標値より高く別
   に予め設定された影−日向混在時の日向アスファルト目
   標値からの偏差に従って該露光制御部の次回の露光量制
   御を行うことを特徴とした車線認識装置。