JP2833248B2 - ライン検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両の自動運転等のた
めに、道路に沿って設けられたガイドラインを検出する
ライン検出装置に関する。

【０００２】

【従来の技術】従来より、運転者の負担を軽くするため
に、各種の運転制御装置が車両に搭載されている。この
中でハンドル操作も自動的に行う自動運転が研究されて
おり、通常の自動車においても自動運転ができるような
機構を搭載することが検討されている。

【０００３】この自動運転のためには、車両の走路（道
路）に対する位置を常時把握し、車両が走路に沿って走
行するように制御しなければならない。

【０００４】そして、この走路の検出の方法として走路
に沿って形成されている白線をテレビカメラによって撮
影し、この白線の位置から車両の走路に対する位置を検
出することが提案されている。

【０００５】道路には、通常センターライン、車線を分
割するライン等が設けられており、自動運転のための位
置検出を、白線検出によって行えば、道路側における設
備を非常に簡単なものとできると考えられる。

【０００６】例えば、特開昭６３−４０９１３号公報に
は、車両に搭載したＣＣＤカメラを用いて、前方の白線
を検出する方法が開示されている。すなわち、この例に
おいては、ＣＣＤカメラによって得られた路面の輝度が
所定値以上の部分を白線と判定する。通常の道路はアス
ファルト等の黒い部分に白線が形成されており、白線の
部分の輝度はその他の部分より十分大きいため、これに
よって白線が検出できる。

【０００７】

【発明が解決しようとする課題】しかしながら、車両の
走行においては、車両の姿勢が大きく変化する場合もあ
る。そして、このよな場合に、従来の装置では、白線が
視野から外れ、これを見失ってしまう場合がある。

【０００８】これを解消するためには、ＣＣＤカメラの
視野を広げることが考えられる。しかし、視野角を広げ
ると、複数の車線を有する道路において、複数の白線が
視野に入ることになる。すなわち、一車線の幅が約３．
７ｍの場合には、４ｍ幅の路面を視野とすれば２本の白
線が写り、８ｍ幅の路面を視野とすれば３本の白線が写
ることになる。そこで、複数の白線の中から自車両が沿
うべき白線を常に判別することが必要となる。

【０００９】関連技術 本発明者は、このような問題点を解決するために、特願
平２−２９４７７４号において、ライン位置を予測し、
予測範囲のみライン検出処理を行うことを提案した。

【００１０】すなわち、今回の検出ライン位置ｗＬ，前
回の検出ライン位置ｗＬ１、前前回の検出ライン位置ｗ
Ｌ０から次式によって次回のライン位置ｗＬＬを算出す
る。 ｗＬＬ＝３（ｗＬ−ｗＬ１）＋ｗＬ０ そして、この予測ライン位置の前後所定範囲のデータの
みをライン検出処理の対象とする。

【００１１】従って、このような予測により、ライン検
出処理の対象データ数を削減でき、かつラインを確実に
検出することができる。

【００１２】ところが、このような予測処理を行うと、
車両のピッチングなどによってライン検出位置が大きく
変化した場合に、この影響が大きく予測位置が大きく異
なってしまう場合があった。

【００１３】すなわち、図１４に示すように道路に窪み
があり、ここにおいて車両のピッチングが生起された場
合には、予測ライン位置が実際のライン位置と大きく異
なることになり、ラインが処理対象範囲から外れてしま
い、ラインが検出できないという問題点があった。な
お、図１４においては、検出した車線幅ｗを表示してい
るが、これは検出車線幅ｗがピッチングに応じて変化す
るからである。

【００１４】発明の目的 本発明は上記問題点を解決することを課題としてなされ
たものであり、ピッチングの影響を最小限とし、かつ効
率的なデータ処理によるライン検出が行えるライン検出
装置を提供することを目的とする。

【００１５】

【課題を解決するための手段】本発明に係るライン検出
装置は、車両に搭載され、道路に沿って設けられたガイ
ドラインを検出するライン検出装置であって、所定範囲
の道路の画像を繰返し出力するカメラと、このカメラか
ら出力される一回毎の画像を処理し、ガイドラインを検
出するライン検出手段と、このライン検出手段によって
検出されたライン位置を複数回分記憶するライン位置記
憶手段と、このライン位置記憶手段に記憶されている複
数のライン位置を移動平均することで所定時間における
ラインの平均位置を随時算出して、時間的経過に応じた
複数の平均ライン位置を得る平均ライン位置算出手段
と、この平均ライン位置算出手段によって得られた時間
的経過に応じた複数のライン位置の変化状態から今回検
出のライン位置を予測するライン位置予測手段と、この
ライン位置予測手段によって得られた予測位置に最も近
い検出ラインを選択するライン選択手段と、を有するこ
とを特徴とする。

【００１６】

【作用】本発明に係るライン検出装置においては、カメ
ラで得られた一回毎の画像を処理してラインを検出する
が、ライン位置記憶手段に少なくとも複数回分のライン
位置を記憶している。そして、この複数回のライン位置
データを時間的経過に応じて複数移動平均し、時系列の
複数の平均ライン位置を算出する。

【００１７】また、この時系列の平均ライン位置から次
回の検出されるラインの位置を予測し、この予測位置に
最も近いラインを選択する。

【００１８】従って、カメラで得られた画像中にライン
が複数ある場合においても、自車両が沿うべきラインを
適確に選択することができるとともに、ピッチングなど
による異常なデータの影響を最小限に抑制することがで
きる。

【００１９】

【実施例】以下、本発明に係るライン検出装置につい
て、図面に基づいて説明する。

【００２０】図１は本発明に係るライン検出装置の構成
を示すブロック図であり、ＣＣＤカメラ１０を有してい
る。このＣＣＤカメラ１０はレンズ１２、絞り１４から
なる光学系と、一次元に配置された光電変換素子を有す
るＣＣＤリニアセンサ１６からなっている。そのＣＣＤ
カメラ１０は、車両の前方の画像を得ることができる位
置に取り付けられ、ＣＣＤリニアセンサ１６から出力さ
れる各光電素子毎の輝度に関する情報をシリアル信号と
して出力する。

【００２１】そして、このＣＣＤカメラ１０には、白線
検出ＥＣＵ２０が接続されている。この白線検出ＥＣＵ
２０はＣＣＤカメラ１０から入力される信号を増幅する
と共に波形をなまらせるアンプ２２、ＡＤ変換器２４、
ＣＰＵ２６、ＣＰＵ２６の動作についてのプログラムを
記憶するＲＯＭ２８、ＣＰＵ２６の処理の際に記憶エリ
アとして使用するＲＡＭ３０、入出力動作のためのＩ／
Ｏ部３２からなっている。そして、この白線検出ＥＣＵ
２０によって検出された白線についての情報が車両制御
ＥＣＵ４０に供給され、この車両制御ＥＣＵ４０が車両
の操舵等を制御し、検出した白線に沿った車両の走行が
行われるよう制御する。

【００２２】次に、ＣＣＤカメラ１０における白線検出
の機構について図２に基づいて説明する。

【００２３】ＣＣＤカメラ１０は、そのレンズ１２の前
方Ｌ１の距離の画像を取り込むように車両に設置されて
いる。そして、レンズ１２の焦点距離はｆであり、レン
ズ１２の後方Ｌ２の距離にあるＣＣＤリニアセンサ１６
において結像するようになっている。そこで、ＣＣＤリ
ニアセンサ１６の横幅ｗにおいて検出できる前方の画像
の幅はＷとなる。そこで、レンズ１２の前方Ｌ1 におい
て、白線がその中心線よりｘずれた位置にあれば、ＣＣ
Ｄリニアセンサ１６において、この白線が結像される位
置は、一義的に決定される。そして、このＣＣＤリニア
センサ１６の幅ｗにおける素子数をＮとし、ＣＣＤリニ
アセンサ１６における中心からの素子数をＩとすれば、
白線の中心からの距離ｘは次のように示されることとな
る。

【００２４】まず、凸レンズ公式より、 １／Ｌ１＋１／Ｌ２＝１／ｆ であり、その倍率より、 Ｗ＝ｗ・Ｌ２／Ｌ２ である。

【００２５】このため、 Ｗ＝ｗ・（Ｌ１＋ｆ）／ｆ となり、 ｘ＝（Ｗ／Ｎ）・（Ｎ／２−Ｉ） となる。

【００２６】そこで、白線がＣＣＤリニアセンサ１６に
おける何番目の素子において検出されるかを検出すれ
ば、白線の位置ｘを検出することができる。

【００２７】全体フロー 次に、上述のような原理を利用した、白線検出ＥＣＵ２
０におけるＣＣＤカメラ１０からの信号処理（白線検
出）について説明する。

【００２８】図３は白線検出処理の全体動作を説明する
フローチャートであり、まず、ＣＣＤカメラ１０におけ
る露光量が所定範囲に収まるよう露光制御を行う（Ｓ
１）。そして、所定の露光制御が行われたＣＣＤカメラ
１０からの各素子毎の輝度信号がシリアルデータとして
出力されるため、これをＡＤ変換器２４においてデジタ
ルデータに変換する（Ｓ２）。ここで、ＣＣＤカメラ１
０からのデータの出力はＣＣＤリニアセンサ１６の水平
出力シフトレジスタに供給されるクロックによって決定
されているため、このＡＤ変換器２４におけるクロック
周波数もこれに同期したものとする。

【００２９】そこで、ＣＣＤリニアセンサ１６における
Ｎ個の各素子において得られたそれぞれの輝度信号が、
Ｎ個のデジタルデータとしてＡＤ変換器２４から順次出
力されることとなる。このデジタル信号はＲＡＭ３０の
所定の場所に記憶される。

【００３０】そして、このようにして得られたＣＣＤカ
メラ１０における輝度信号の最大値検出及び平均値計算
を行い、この最大値及び平均値に基づいてしきい値を計
算する（Ｓ３）。

【００３１】次に、得られたしきい値を利用してＡＤ変
換して得られたＮ個のデジタルデータをそれぞれ二値化
するとともに、この二値化デ―タの変化状態より、白線
の左右エッジ部を検出する（Ｓ４）。そして、検出され
た左右エッジの数から画像端部に白線がかかった場合を
考慮したエッジ補正を行う（Ｓ５）。

【００３２】このようにして、複数の白線エッジが検出
され、この中から自車両が沿うべき白線を検出するが、
このとき少なくとも前回、前々回の白線位置の変化状態
から今回の白線位置を予測し、予測位置に最も近いもの
を選択する。そして、選択された白線の座標を出力する
（Ｓ６）。

【００３３】この白線の座標は上述の説明の通り、白線
の中央からの距離に対応しており、このｘを車両制御Ｅ
ＣＵ４０に供給することにより、車両制御ＥＣＵ４０が
このｘに基づいて操舵制御し、車線（白線）に沿った車
両走行が達成される。

【００３４】このようにして、本実施例によれば、複数
検出された白線位置から自車両の沿うべき白線を予測、
選択するため、車両姿勢が大きく変化した場合において
も適確なライン白線検出を行うことができる。

【００３５】しきい値算出 本実施例におけるしきい値算出の動作について、図４に
基づいて説明する。

【００３６】まず、初期設定として３つの変数である平
均値ａｖｂ、最大値ｍａｘｄ、ＡＤ変換データカウンタ
ａｄｃｏｕｎｔの３つの変数を０にリセットすると共
に、ＡＤ変換して得られた輝度データのＲＡＭ３０にお
ける先頭アドレス（ｅ０００ｈ）を変数Ａにセットする
（Ｓ１０１）。なお、ここでセットされた各変数の値
は、ＲＡＭ３０において記憶される。

【００３７】次に、ａｄｃｏｕｎｔが４００ｈ（１０２
４）に至ったか否かを判定する（Ｓ１０２）。これは、
ＣＣＤリニアセンサ１６における有効な素子数（幅ｗの
範囲の素子数）、すなわち一度の撮影時ｎｉＡＤ変換器
２４から出力されるデータの数に対応している。そこ
で、ａｄｃｏｕｎｔが１０２４に至ったことで、全デー
タの処理が終了したことを判定できる。

【００３８】ａｄｃｏｕｎｔが１０２４以下であった場
合には、データの処理がまだ終了していないため、変数
ｂｃ，ａｘ，ｕｐに、次のようなデータを入力する（Ｓ
１０３）。

【００３９】 ｂｃ＝Ａ，ａｘ＝ａｄｃｏｕｎｔ，ｕｐ＝ｂｃ＋ａｘ ここで、変数ｕｐにはＣＣＤリニアセンサ１６で得られ
た１０２４の輝度信号が格納されるＲＡＭ３０における
アドレスが順次指定されることとなる。そして、この変
数ｕｐで指定されたアドレスのデータを読み出し、これ
を変数ＤＡＴＡの値として入力する（Ｓ１０４）。

【００４０】次に、最大値の検出のために、ＤＡＴＡが
最大値ｍａｘｄより小さいか否かを判定する（Ｓ１０
５）。そして、ＤＡＴＡがｍａｘｄより大きい場合に
は、これを最大値とすべきであり、変数ｍａｘｄにＤＡ
ＴＡを入力して、この値を更新する（Ｓ１０６）。一
方、ＤＡＴＡが最大でない場合には、最大値ｍａｘｄを
更新する必要はないため、Ｓ１０６を通らずに、次の処
理に移る。

【００４１】次に、平均値ａｖｂ算出のために、ＤＡＴ
Ａの値をデータ数１０２４で除算した値を順次加算する
（Ｓ１０７）。そして、ａｄｃｏｕｎｔに１を加算し
（Ｓ１０８）、Ｓ１０２に戻る。

【００４２】このため、最大値、平均値の算出（Ｓ１０
６，Ｓ１０７）をデータ数が１０２４に至るまで繰り返
こととなり、全て（１０２４個）のデータについての処
理が終わった場合に、Ｓ１０２においてＹＥＳとなり、
しきい値ｔｈＬ0 を次式によって算出する（Ｓ１０
９）。

【００４３】ｔｈＬ０＝（ａｖｂ＋ｍａｘｄ）／２ このようにして、本実施例においては、ＣＣＤリニアセ
ンサ１６によって得られた全ての素子におけるデータの
平均値と最大値の中間の値がしきい値ｔｈＬ0となる。

【００４４】二値化、エッジ検出処理 次に、図５及び図６に基づいて、二値化処理、エッジ検
出処理について説明する。

【００４５】まず、次のように各変数に初期値をセット
する。（Ｓ２０１）。

【００４６】白線部継続カウント許可フラグｃｏｋ１＝
０，路面部継続カウント許可フラグｃｏｋ２＝０，白線
継続カウンタｆｃ１＝０，路面継続カウンタｆｃ２＝
０，白線左エッジ候補座標ｗｎ０１＝０，白線右エッジ
候補座標ｗｎ０２＝０，白線検出フラグｆｗ１＝０，白
線右エッジカウンタｗｃ１＝０，路面検出フラグｆｗ２
＝１，白線左エッジカウンタｗｃ２＝０ また、上述のしきい値算出の場合と同様に、変数Ａに輝
度データの先頭アドレス（ｅ０００ｈ）を入力し（Ｓ２
０２）、１０２４個のデータのナンバーを表すＡＤ変換
データカウンタａｄｃｏｕｎｔを０にセットする（Ｓ２
０３）。

【００４７】まず、ａｄｃｏｕｎｔが１０２４（４００
ｈ）に至り、全データの処理が終了したかを判定する
（Ｓ２０４）。そして、処理が終了していない場合に
は、変数ｂｃ，ａｘ，ｕｐにＡ，ａｄｃｏｕｎｔ，ｂｃ
＋ａｘの値を代入するとともに、ｕｐで決定されるアド
レスの輝度データの値を変数ＤＡＴＡに入力する（Ｓ２
０５）。

【００４８】次に、二値化処理を行うが、まず変数ＤＡ
ＴＡとしきい値ｔｈＬを比較する（Ｓ２０６）。

【００４９】ここで、このｔｈＬは上述のＳ１１０で算
出されたｔｈＬ１とは異なる。すなわち、このしきい値
ｔｈＬは今回の処理において算出されたしきい値ではな
く前回以前の処理において算出されたものである。

【００５０】そして、ＤＡＴＡ≦ｔｈＬの場合には路面
部であるため、白線部の継続検出数を表わす変数ｆｃ１
＝０，白線左エッジの検出座標を示す変数ｗｎ０１＝
０，路面検出を示す変数ｆｗ２＝１にセットする（Ｓ２
０７）。

【００５１】また、ｃｏｋ１が０であるかを判定する
（Ｓ２０８）。ｃｏｋ１は、後述するように黒から白
（ＤＡＴＡ≦ｔｈＬ→ＤＡＴＡ＞ｔｈＬ）に変化した場
合に１となり、白の状態が２つ続いた場合には、０に戻
るフラグである。このため、黒を検出した際（ＤＡＴＡ
≦ｔｈＬ）にｃｏｋ１が０でないということは、前回の
白（ＤＡＴＡ＞ｔｈＬ）検出が１回で終了したことを示
している。そして、白の検出が１回で終了したというこ
とは、路面の中に白線でない白い点などが存在したもの
と考えられ、この時に右エッジを検出すべきではない。
そこで、Ｓ２０８において、ｃｏｋ１が０でなかった場
合にはｃｏｋ１＝０，ｆｗ１＝０として（Ｓ２０９）、
白を検出したことについてのフラグを０にリセットする
とともに、ａｄｃｏｕｎｔに１を加算して（Ｓ２１
０）、Ｓ２０４に戻る。

【００５２】一方、ｃｏｋ１＝０であった場合には、前
回の検出結果が上述のような異常な状態でなかったた
め、次のようにして右エッジを検出する。まず、ｆｗ１
＝１か否かを判定する（Ｓ２１１）。ｆｗ１はＳ２０１
において初期設定としては０にセットされており、白線
を検出した際、すなわちＤＡＴＡ＞ｔｈＬの場合に１に
セットされるものである。従って、Ｓ２０６においてデ
ータが≦ｔｈＬであり、Ｓ２０８においてｆｗ１が１で
あるということは、白線の右エッジを検出したことを意
味している。そこで、Ｓ２１１においてｆｗ１＝１であ
れば、路面の検出が検出されたため、ｆｗ１＝０とする
とともに，右エッジの検出位置を示す変数ｗｎ０２＝ａ
ｄｃｏｕｎｔ，路面継続カウント許可フラグｃｏｋ２＝
１とする（Ｓ２１２）。

【００５３】ここで、エッジを検出した場合にそのａｄ
ｃｏｕｎｔの値をそのままエッジ位置として記憶しても
よいが、この例においては、右エッジを検出した後、次
のデータも白線でない場合にのみその位置を右エッジと
判定し、誤判定の発生を抑制する。このために、路面継
続カウント許可フラグｃｏｋ２＝１としている。

【００５４】次に、路面継続許可フラグｃｏｋ２が１か
否かを判定する（Ｓ２１３）。ｃｏｋ２が１であった場
合には、路面継続カウンタｆｃ２に１を加算し（Ｓ２１
４）、ｃｏｋ２が１でなかった場合には、この加算は行
わず、次にｆｃ２が２であるか否かを判定する（Ｓ２１
５）。このｆｃ２はＳ２１４を２回続けて通った場合、
すなわちしきい値ｔｈＬ以下のデータが２つ続いた場合
に２となっている。そこで、ｆｃ２が２である場合に
は、右エッジカウンタｗｃ２で特定される白線右エッジ
座標を示す配列変数ｗｎ２［ｗｃ２］に上述のＳ２１２
でセットされた白線右エッジ候補座標ｗｎ０２の値を記
憶する。また、変数ｃｏｋ２，ｆｃ２を０にリセットす
ると共に、右エッジカウンタｗｃ２に１を加算する（Ｓ
２１６）。従って、次回の右エッジ検出の場合には、ｗ
ｃ２が１多い数となっている。このため、配列変数ｗｎ
２に次の右エッジの位置が記憶できることとなる。Ｓ２
１５においてｆｃ２＜２の場合及びＳ２１６の処理をお
えた場合には、右エッジについての処理が終了したた
め、ａｄｃｏｕｎｔに１を加算し（Ｓ２１０）、Ｓ２０
４に戻る。

【００５５】一方、Ｓ２０６においてＤＡＴＡ＞ｔｈＬ
と判定され、白線部分を検出した場合には、次のように
して左エッジの検出を行う。

【００５６】まず、路面継続カウンタｆｃ２，左エッジ
候補座標ｗｎ０２を０にリセットし、白線検出フラグｆ
ｗ１を１にセットする（Ｓ２１７）。すなわち、ｆｃ２
は路面のデータが続いた数を示す変数であるため、白線
についてのデータが検出した場合に０にリセットする。
また、ｗｎ０２は右エッジの候補座標についての変数で
あるが、左エッジの検出のル―プに入ったためここでリ
セットする。さらに、ｆｗ１は白線部を検出したことを
示すフラグであり、ここでｆｗ＝１とする。

【００５７】また、ｃｏｋ２が０であるかを判定する
（Ｓ２１８）。ｃｏｋ２は、前述したように白から黒
（ＤＡＴＡ＞ｔｈＬ→ＤＡＴＡ）に変化した場合に１と
なり（Ｓ２１２）、黒の状態が２つ続いた場合には、０
に戻る（Ｓ２１６）フラグである。このため、Ｓ２０６
において白を検出した際（ＤＡＴＡ＞ｔｈＬ）にｃｏｋ
２が０でないということは、前回の黒（ＤＡＴＡ≦ｔｈ
Ｌ）検出が１回で終了したことを示している。そして、
黒の検出が１回で終了したということは、白線の中にか
すれている部分などが存在したものと考えられ、この時
に左エッジを検出すべきではない。そこで、Ｓ２１８に
おいて、ｃｏｋ２が０でなかった場合にはｃｏｋ２＝
０，ｆｗ２＝０として（Ｓ２１９）、黒を検出したこと
についてのフラグを０にリセットするとともに、ａｄｃ
ｏｕｎｔに１を加算して（Ｓ２１０）、Ｓ２０４に戻
る。

【００５８】一方、ｃｏｋ１＝０であった場合には、前
回の検出結果が上述のような異常な状態でなかったた
め、次のようにして右エッジを検出する。まず、ｆｗ２
＝１か否かを判定する（Ｓ２１６）。このｆｗ２は、路
面を検出した時に１にセットされるものであるため、こ
こにおいてｆｗ２＝１であることにより、路面より白線
に移ったこと、すなわち左エッジを認識する。そして、
路面を検出したことを示す変数ｆｗ２を０にリセット
し、左エッジ候補座標ｗｎ０１にａｄｃｏｕｎｔの値を
入力し、左エッジ検出カウンタｃｏｋ１を１にセットす
る（Ｓ２２１）。

【００５９】そして、次に白線継続カウント許可フラグ
ｃｏｋ１及び白線継続カウンタｆｃ１を用いて、白線部
が２つ続いて右エッジを検出されたか否かを判定する。

【００６０】このために、まずｃｏｋ１が１であるかを
判定する（Ｓ２２２）。そして、ｃｏｋ１が１であれ
ば、左エッジを検出したしたため、左エッジ検出時の白
線検出数を示す左エッジカウンタｆｃ１に１を加算する
（Ｓ２２３）。次に、ｆｃ１が２であるか否かを判定し
（Ｓ２２４）、２であれば、路面から白線に移り、白線
のデータが２つ続いたことを意味しているため、Ｓ２２
１で入力された候補座標ｗｎ０１の値をｗｃ１で特定さ
れる配列変数ｗｎ１［ｗｃ１］に入力する。これによっ
て、検出された白線右エッジの位置が記憶される。ま
た、この入力がなされたため、フラグｃｏｋ１＝１，ｆ
ｃ１＝０にリセットすると共に、右エッジの数を示す変
数ｗｃ１に１を加算する（Ｓ２２５）。そして、ａｄｃ
ｏｕｎｔに１を加算し（Ｓ２１０）、Ｓ２０４に戻る。

【００６１】このような動作ａｄｃｏｕｎｔ＝１０２４
まで繰り返し、右エッジ及び左エッジの位置を検出した
数だけ記憶することができる。また、その検出した数
は、ｗｃ１，ｗｃ２に記憶される。そして、Ｓ２０４に
おいてａｄｃｏｕｎｔが１０２４に至ったことを判定し
た場合には、全データについての白線エッジ検出が終了
したため、二値化、白線エッジ検出の動作を終了し、検
出エッジ補正の処理を行う。

【００６２】検出エッジ補正 次に、図７に基づいて、検出エッジ補正について説明す
る。上述のようにして、左右エッジの位置を配列変数ｗ
ｎ１［ｗｃ１］・ｗｎ２［ｗｃ２］に入力した場合に
は、ｗｃ１，ｗｃ２より１を減算する。これは、上述の
エッジ検出の処理の際にｗｃ１，ｗｃ２に１を加算して
いる（Ｓ２１３，Ｓ２２１）ため、これを実際に配列変
数に使用されたｗｃ１，ｗｃ２にその値を戻すためであ
る（Ｓ４０１）。

【００６３】そしてｗｃ１とｗｃ２を比較する（Ｓ４０
２）。ｗｃ１＜ｗｃ２の場合には、左エッジの数が右エ
ッジの数より小さいことを意味しており、カメラの画像
の左端に白線がかかっていることを意味している。この
ため、この左端に左エッジを挿入することで、画面の左
端にかかった白線を認識することができる。

【００６４】そこで、変数ｊにｗｃ１の値を代入し（Ｓ
４０３）、このｊの値を１と比較する（Ｓ４０４）。そ
して、ｊ＞１の場合には変数ａｘにｊの値を代入し、こ
のａｘによって特定される配列変数ｗｎ１［ａｘ］の値
を変数ｕｐに代入する（Ｓ４０５）。次に変数ａｘにｊ
＋１を代入し、このａｘによって特定される配列変数ｗ
ｎ１［ａｘ］に上述のＳ４０５で得られた変数ｕｐの値
を入力する（Ｓ４０６）。これによってｗｎ１［ｊ］の
値がｗｎ１［ｊ＋１］の値に変換される。そして、ｊの
値を１減算し（Ｓ４０７）、Ｓ４０４に戻る。

【００６５】このようにしてｊが１になるまで、この処
理を繰り返すため、配列変数ｗｎ１［ｗｃ１］に入力さ
れていた値がそれぞれｗｎ１［ｗｃ１＋１］に変換され
る。即ち、ｗｎ１の値としてｎ個の値があり、これがｗ
ｎ１［１］〜ｗｎ１［ｎ］の値として記憶されていた場
合、この処理によりｗｎ１［２］〜ｗｎ１［ｎ＋１］の
値に変換される。

【００６６】次に、ｗｎ１［１］に０の値を代入する
（Ｓ４０７）。これによって、配列変数ｗｎ１の値とし
て１つ強制的に挿入され、左エッジが検出できなかった
場合にも、これが挿入される。

【００６７】一方、Ｓ４０２において、ｗｃ１≧ｗｃ２
であった場合には、右エッジが欠けているか、両者が同
数である。そこで、次にｗｃ２とｗｃ１を比較する（Ｓ
４０９）。ここで、ｗｃ２≧ｗｃ１であった場合には、
両者が等しいことを意味しており、補正処理は不要であ
る。

【００６８】一方、ｗｃ２の方がｗｃ１より小さかった
場合には、右エッジ挿入の補正を行わねばならない。そ
こで、ｗｃ２に１を加算し、このｗｃ２によって特定さ
れる配列変数ｗｎ２［ｗｃ２］に１０２３を強制挿入す
る。これによって右エッジとして、視野の右端の値が挿
入されることとなる。

【００６９】このようにして、左エッジが欠けた場合に
は、カメラ視野の左端を左エッジの値として入力し、ラ
インが右端にかかり右エッジが欠けた場合には、カメラ
視野の右端である１０２３の値が右エッジの位置として
入力される。

【００７０】白線座標出力・予測値算出 次に、白線座
標の出力及び次回の白線位置の予測について図８〜図１
１に基づいて説明する。上述のようにして、エッジ検出
を行った場合には、これより白線を検出すると共に、次
回の白線検出位置の予測を行う。ここで、まず制御開始
当初か否かを示す変数ｓｃが０であるかを判定し（Ｓ３
００）、ｓｃ＝０の場合には、制御開始当初であるた
め、ＣＣＤカメラの中心付近の白線を自車が沿うべき白
線とするために、後述するＣＣＤ中心優先法による処理
を行う。

【００７１】そして、ｓｃ≠０の場合には、通常の白線
検出の処理を行うため、ｗｃ１またはｗｃ２が０か否か
を判定する（Ｓ３０１，Ｓ３０２）。このｗｃ１及びｗ
ｃ２は白線位置検出の数を表すものであり、いずれかが
０であれば、白線検出ができなかったことを示してい
る。そこで、この場合にはエラー処理のループに入る。
次に、ｗｃ１とｗｃ２を比較する（Ｓ３０３）。そし
て、両者が等しくない場合には、右エッジの数と左エッ
ジの数が相違しており、正確な白線検出が行われなかっ
たものと判断し、エラー処理のループに進む。

【００７２】一方、ｗｃ１＝ｗｃ２であった場合には、
次のようにして白線の位置を検出する。すなわち、検出
した白線候補の数を表す変数ｋｎを０にセットし（Ｓ３
０４）、何番目の白線であるかを示す変数ｊを１にセッ
トする（Ｓ３０５）。そして、このｊと検出された白線
の数ｗｃ１とを比較する（Ｓ３０６）。ｊがｗｃ１以下
であれば、ここまでの処理が正常であったものと判断さ
れ、白線の左右エッジ座標よりｊ番目の白線の中央座標
ｈＬと白線の幅ＲＰ２を次式によって算出する（Ｓ３０
７）。

【００７３】 ｈＬ＝（ｗｎ１［ｊ］＋ｗｎ２［ｊ］）／２ ＲＰ２＝ｗｎ２［ｊ］−ｗｎ１［ｊ］ 次に、算出された白線位置ｈＬが所定の範囲内にあるか
を判定する。即ち、前回以前の処理ループにおいて算出
され、記憶されている予測白線位置ｗｃの周辺の所定の
範囲内（±ｍｏｆｆ）にあるかを次のようにして判定す
る。

【００７４】まず、変数ａｘ＝ｗｃ−ｍｏｆｆとして
（Ｓ３０８）、このａｘが０か否かを判定する（Ｓ３０
９）。ａｘが０以上であれば、ａｘはカメラ視野範囲に
あるため、そのままとするが、ａｘ＜０であればａｘ＝
０とする（Ｓ３１０）。次に、ａｘを検出した白線位置
ｈＬと比較する（Ｓ３１１）。ｈＬ＜ａｘであった場合
には、予測範囲外であるためこの白線位置の記憶は行わ
れない。

【００７５】一方、ｈＬ≧ａｘであった場合には、この
ｈＬが所定の上限値以下であるかを判断しなければなら
ない。そこで、ｂｃ＝ｗｃ＋ｍｏｆｆとしてｂｃに範囲
の上限をセットし（Ｓ３１２）、白線位置ｈＬとｂｃを
比較する（Ｓ３１３）。

【００７６】そしてｈＬ≦ｂｃであった場合には、ｈＬ
が所定範囲内（ａｘ≧ｈＬ≧ｂｃ）にあった為、ｋｎ＝
ｋｎ＋１（Ｓ３１４）、ｗＬｋ［ｋｎ］＝ｈＬ（Ｓ３１
５）、ｗＬｄ［ｋｎ］＝ｒｐ２（Ｓ３１６）として、推
定範囲内において検出した白線の数によって特定される
白線座標、白線の幅を配列変数ｗＬｋ［ｋｎ］及びｗＬ
ｄ［ｋｎ］にセットする。

【００７７】そして、次の白線の判定を行うために、ｊ
＝ｊ＋１として（Ｓ３１７、Ｓ３１６）に戻る。なお、
Ｓ３１１、Ｓ３１３において、ｈＬ＜ａｘまたはｈＬ＞
ｂｃと判定された場合には、上述の白線位置、白線幅の
セットは行わず、直接Ｓ３１７に進む。

【００７８】このような処理を検出したすべての白線に
ついての処理が終わるまで（ｊ＞ｗｃ）繰り返し、所定
の推定範囲内にある白線の位置及び幅を配列変数ｗＬｋ
［ｋｎ］及びｗＬｄ［ｋｎ］にセットする。

【００７９】このようにして、予測範囲内の白線候補を
検出した場合には、これらの中から推定値ｗｃに１番近
いものを選択する。まず、ｋｎが０か否かを判定するこ
とにより推定範囲内に白線があったか否かを判定し（Ｓ
４０１）、ｋｎが０でなかった場合には、推定値ｗｃに
最も近い位置にある白線の番号を表す変数ｐｉｔに０を
セットする（Ｓ４０２）。また、推定範囲内において最
初に検出された白線位置ｗＬｋ［１］の値をａｘに代入
すると共に（Ｓ４０３）、このａｘの値をｈＬに代入す
る（Ｓ４０４）。

【００８０】次に、ｋｎが１であるかを判定し（Ｓ４０
５）、これが１であった場合には、白線の選択が不要な
ため、次の処理に進むが、これが１でなかった場合に
は、次のような白線選択の処理を行う。

【００８１】まず、推定値ｗｃに最も近い白線位置が入
力される変数ｗＬｍに最初の白線位置ａｘ（ｗＬｋ
［１］）を代入する（Ｓ４０６）。そして、ａｘ＝ａｘ
−ｗｃとして、ａｘに推定位置からの距離を一旦入れて
おき（Ｓ４０７）、この差ａｘが０以下であった場合に
はａｘに０をセットし（Ｓ４０８，Ｓ４０９）、得られ
た推定白線位置からの距離を変数ｄｉｆに代入する（Ｓ
４１０）。

【００８２】次に、この差ｄｉｆが最も小さい白線位置
をｗＬｍに代入するために、次のような処理を行う。す
なわち、ｊ２をセットし（Ｓ４１１）、このｊがｋｎ以
下であるかを判定する（Ｓ４１２）。ｊがｋｎ以下であ
れば、次の白線候補があるため、ａｘ＝ｗＬｋ［ｊ］と
して次の白線候補の座標をａｘに代入し（Ｓ４１３）、
このａｘを変数ｈＬに代入する（Ｓ４１４）。そして、
今回の白線位置と予測値の差ａｘ＝ａｘ−ｗｃを求め
（Ｓ４１５）、この差ａｘが０以下であった場合にはこ
れを０にセットし（Ｓ４１６，Ｓ４１７）、このように
して求められたａｘと前回までに求められている差ｄｉ
ｆを比較する（Ｓ４１８）。そして、ａｘ＜ｄｉｆであ
った場合には、今回の白線位置の方がこれまでに検出し
た他の白線位置よりも推定値ｗｃに近いため、ｄｉｆ＝
ａｘとしてｄｉｆをより小さな値に変更し（Ｓ４１
９）、この時の白線位置座標ｈＬをｗＬｍに代入するこ
とによってｗＬｍにその時点で最も推定値ｗｃに近い白
線位置座標に更新し（Ｓ４２０）、その時のｊをｐｉｔ
に代入して、このｐｉｔを最も推定値ｗｃに近い白線番
号に更新する（Ｓ４２１）。

【００８３】このように、白線位置の更新を行った場
合、またはＳ４１８でａｘ≧ｄｉｆであり、更新の必要
がなかった場合には、ｊに１を加算し（Ｓ４２２）、Ｓ
４１２に戻る。この処理をｊ＞ｋｎになるまで繰り返す
ことにより、推定範囲内において検出した白線候補の中
から推定値ｗｃに最も近い白線の位置を検出することが
でき、この値がｗＬｍにセットされている為、ｈＬ＝ｗ
Ｌｍとする（Ｓ４１２）。これによって、ｈＬに推定値
ｗｃに最も近い白線の中心位置座標が入力されることと
なる。

【００８４】次に、上述のようにして検出された白線に
ついて、その幅が大き過ぎないかを判定する。すなわ
ち、ａｘ＝ｗＬｄ［ｐｉｔ］とし（Ｓ５０１）、このａ
ｘが２２４（７０ｈ）以上か否かを判定する（Ｓ５０
２）。白線の幅がＣＣＤの数として２２４以上であった
場合には、誤検出とみなされるため、ｈＬ＝ｗｃとし
（Ｓ５０２）、検出した白線位置に代え、推定値ｗｃを
今回検出の白線位置座標とする（Ｓ５０２）。また、Ｓ
５０２において、ａｘ＜７０ｈであった場合には、正常
な白線検出が行われたのであり、このようなｈＬの書き
替えは行わない。

【００８５】そしてａｘ＝ｈＬとし（Ｓ５０３）、ａｘ
＝ａｘ−ｗ１として（Ｓ５０４）、前回検出の白線位置
と今回検出の白線位置の差を求める。また、このように
して求めた差がマイナスであれば、これを０に戻し（Ｓ
５０５，Ｓ５０６）、この値が１６０以下であるかを判
定する（Ｓ５０７）。前回の検出値と今回の検出値が大
きく離れる（１６０以上）ことは、現実には考えられ
ず、この場合にはエラーとし、所定範囲内の場合にのみ
次回の白線位置予測のループに進む。

【００８６】推定値ｗｃの算出 まず、今回検出した白線座標ｈＬと過去２回の白線座標
ｗＬ、ｗ１を移動平均し最新の平均白線位置座標を算出
する（Ｓ６０１）。そして、このようにして算出された
最新の平均位置座標を含め、移動平均座標のデータを１
つ送る（Ｓ６０２）。これによって、ｗｓ０、ｗｓ１、
ｗｓＬにそれぞれ前々回、前回、今回の移動平均座標が
入力されることとなる。

【００８７】また、検出した白線位置座標について送り
も行う（Ｓ６０３）。これによって、ｗ０、ｗ１、ｗＬ
にそれぞれ前々回、前回、今回の検出した白線位置座標
が入力されることとなる。

【００８８】そして、上述の３つの移動平均座標ｗｓ
０、ｗｓ１、ｗｓＬを用いて、次回の白線座標の推定値
ｗｃを次式によって算出する。

【００８９】ｗｃ＝３×（ｗｓＬ−ｗｓ１）＋ｗｓ０ これは図１０に模式的に示す。すなわち、ｗ１〜ｗ３の
結果によってｗｓ０が算出され、ｗ２〜ｗ４の結果によ
ってｗｓ１が算出され、ｗ３〜ｗ５の値によってｗｓＬ
が算出される。そしてこれらｗｓ０〜ｗｓＬの結果を用
いてｗｃが算出されこれが磁界の白線座標ｗ６を検出す
るための推定値ｗｃとなる。

【００９０】ここで、３つの移動平均値から次回の白線
位置座標の推定値を算出する算出式について図１１に基
づいて説明する。

【００９１】白線検出ＥＣＵ２０における１回の処理ル
―チンに要する時間をΔｔとし、横軸に時間、縦軸にＣ
ＣＤカメラ１０によって検出した白線位置をとる。そし
て、図１１（Ａ）に示すように車両が左にカ―ブした場
合について考える。

【００９２】処理サイクルΔｔ毎に得られた５つの検出
位置ｗ１，ｗ２，ｗ３，ｗ４，ｗ５より、次の演算を行
い、今回移動平均位置ｗｓＬ、前回位置ｗｓ１、前々回
位置ｗｓ０が得られる。

【００９３】ｗｓ０＝（ｗ１＋ｗ２＋ｗ３）／３ ｗｓ２＝（ｗ２＋ｗ３＋ｗ４）／３ ｗｓ３＝（ｗ３＋ｗ４＋ｗ５）／３ そして、前々回位置→前回位置の差Δ１、前回→今回位
置の差Δ２、今回→次回の予測される差Δ３とすると、
Δ２→Δ３の変化量は、Δ１→Δ２の変化量と同一であ
ると推定するのがよいと考えられる。すなわち、処理サ
イクルΔｔは微小であり、時間Δｔの前後においては、
操舵量は同一と置いても考えられる。そして、操舵量が
同一であれば、白線検出位置の変化量は同一だからであ
る。このため、図１１（Ｂ）に示すように、横軸に時間
を取り縦軸に差Δ１〜Δ３をとれば、直線Δ１とΔ２を
結ぶ直線上にΔ３が位置すると推定されることになる。

【００９４】従って、Δ３は次のように表される。

【００９５】 Δ３＝｛（Δ２−Δ１）／Δｔ｝・Δｔ＋Δ２＝Δ２−Δ１＋Δ２ そこで、ｗｃは次のように表され、この式を利用して、
ｗｃを算出する（Ｓ６１１）。

【００９６】 ｗｃ＝ｗｓＬ＋Δ３＝ｗｓＬ＋２・Δ２−Δ１ ＝ｗｓＬ＋２（ｗｓＬ−ｗｓ１）−（ｗｓ１−ｗｓ０） ＝３（ｗｓＬ−ｗｓ１）＋ｗｓ０ このようにして、次回の処理ル―プにおいて用いる予測
白線位置ｗＬＬを算出することができ、これを利用し
て、白線の選択をすることができるため、常に正確な白
線位置検出を行うことができる。

【００９７】そして、算出した推定値ｗｃが所定の範囲
（２５５以下）であるかを判定して実際のｗｃを決定す
る（Ｓ６０４〜Ｓ６０６）。

【００９８】一方、上述のようにして、ｗＬに今回求め
た白線位置座標が入力されているわけであるが、この値
は１６ビットの値である。そこで、これを８ビットのデ
ータに変換すると共に、車線の中心位置を表わす値に換
算する（Ｓ６０７，Ｓ６０８）。そして、正常な白線検
出が行われたため、エラーカウンタを０にクリアし（Ｓ
６０９）、換算結果の白線位置座標ｗＬｃを出力する
（Ｓ６１０）。

【００９９】エラー処理 一方、上述の処理において、白線検出が正常に行われな
かった場合には、次のようにしてエラー処理を行う。

【０１００】すなわち、図１２に示すように、まず検出
または算出できなかった今回の移動平均値ｗｓＬ、今回
の検出位置ｗＬ、前回の白線位置ｗ１、予測白線位置ｗ
ｃについて、前回算出した予測値ｗｓ１を代入する（Ｓ
７０１）。そして、この値に基づいてｗＬｃを算出する
と共に（Ｓ７０２，Ｓ７０３）、エラーカウンタに１を
加算する（Ｓ７０４）。そして、エラーカウンタの値が
１６に達するか否かを判定し、１６以下であれば、ｗＬ
ｃを出力すると共に（Ｓ７０６）、Ｓ６１０におけるｗ
Ｌｃのシリアル出力に戻る。一方、エラーカウンタが１
６以上となった場合には、エラーの続く回数が所定以上
とみなし、エラーコードを出力すると共に（Ｓ７０
７）、エラーカウンタを０にクリアする（Ｓ７０８）。

【０１０１】中心優先法 次に、ライン検出装置の動作開始時には、複数映った白
線の中から自車両が沿うべき白線を選択しなければなら
ない。そこで、ライン検出装置の動作開始時には、ＣＣ
Ｄリニアセンサの中心座標付近の白線を選択することと
する。これは、通常の場合ライン検出の動作開始はドラ
イバが直進時において指示することが多いと考えられる
からである。このＣＣＤ中心優先法の動作フローについ
て図１３に基づいて説明する。

【０１０２】まず、ｓｃ＝ｓｃ−１として中心優先法を
行うべき回数を１減算しておく（Ｓ８０１）。ここで、
この変数ｓｃについては、初期設定として、６程度の値
にセットしておく。これによって６回の処理ループ（Δ
ｔ×６の時間）については上述の推定値による方法では
なく、中心付近の白線を検出することが優先となる。次
に、ｊに１をセットし（Ｓ８０２）、ｊがｗｃ１より大
きいか否かを判定する（Ｓ８０３）。このｗｃ１は、左
エッジの検出数（右エッジの検出数も等しい）であり、
ｊ≦ｗｃ１の場合には、次式によって白線の中心座標を
検出する（Ｓ８０４）。

【０１０３】 ａｘ＝（ｗｎ１［ｊ］＋ｗｎ２［ｊ］）／２ そして、このようにして算出した白線位置ａｘをｓｕＬ
と比較する。このｓｕＬはＣＣＤ画素数の約半分くらい
の値にセットしておく。そして、このｓｕＬが最小の白
線を探すための下限値となっている。そこで、ｓｕＬよ
りａｘの方が小さい場合にはｊに１を加算し（Ｓ８０
６）、一方、ａｘ≧ｓｕＬであった場合には、ｗｓ０＝
ｗｓ１，ｗｓ１＝ｗｓＬ、ｗｓＬ＝ａｘとして（Ｓ８０
７）、移動平均の値を更新すると共に、ｗ０＝ｗ１、ｗ
１＝ｗＬ、ｗＬ＝ａｘとして（Ｓ８０８）、白線座標に
ついてのデータを更新する。

【０１０４】このようにして、中心優先法のループにい
る間は、移動平均は行わず、移動平均値についての変数
にも白線検出値を入力しておく。

【０１０５】そして、ｗＬｂ＝ｗＬ／８として今回の検
出白線位置を８ビットの値に換算して変数ｗＬｂに代入
する（Ｓ８１０）。更に、ｗＬｃ＝ｗＬｂ＋ｃｏｆｆ
（Ｓ８１１）として、ｗＬｃに白線位置から車線幅の１
／２離れた車線中心位置の座標値を入力する。

【０１０６】一方、Ｓ８０３においてｊがｗｃ１より大
きくなった場合には、白線がもう検出されていないた
め、ｓｕＬ＝ｓｕＬ−８としてｓｕＬの値を減少し（Ｓ
８１２）検出範囲を広げると共に、ｓｃ＝ｓｃ＋１とし
てｓｃの値を元に戻した後（Ｓ８１３）ｗＬｃ出力する
（Ｓ８１４）。

【０１０７】このようにしてＣＣＤ中心優先法の場合に
は、検出した白線座標から中心付近のものを選択してこ
れを白線座標とする。

【０１０８】

【発明の効果】以上説明したように、本発明に係るライ
ン検出装置によれば、過去の検出白線位置を移動平均し
たものから、次回の白線位置を予測し、この予測結果に
応じてライン検出処理を行う対象を限定するため、処理
効率が上昇し、高速の処理が可能となるとともに、自車
両が沿うべきラインを見失うことを防止することができ
る。

【図面の簡単な説明】

【図１】本発明に係るライン検出装置の一実施例を示す
構成ブロック図である。

【図２】ＣＣＤカメラにおける位置検出を説明するため
の説明図である。

【図３】白線検出ＥＣＵにおける処理動作を説明するた
めのフローチャートである。

【図４】しきい値計算の動作を示すフローチャートであ
る。

【図５】エッジ検出、二値化処理の動作を示すフローチ
ャートである。

【図６】エッジ検出、二値化処理の動作を示すフローチ
ャートである。

【図７】エッジ補正の動作を示すフローチャートであ
る。

【図８】白線座標出力、白線位置予測の動作を示すフロ
ーチャートである。

【図９】白線座標出力、白線位置予測の動作を示すフロ
ーチャートである。

【図１０】白線座標出力、白線位置予測の動作を示すフ
ローチャートである。

【図１１】白線位置予測の手法を示す説明図である。

【図１２】エラー処理の動作を示すフローチャートであ
る。

【図１３】ＣＣＤ中心有線方の動作を示すフローチャー
トである。

【図１４】白線位置予測の例を示す説明図である。

【符号の説明】

１０ ＣＣＤカメラ ２０ 白線検出ＥＣＵ ２４ ＡＤ変換器 ２６ ＣＰＵ

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】車両に搭載され、道路に沿って設けられた
   ガイドラインを検出するライン検出装置であって、 所定範囲の道路の画像を繰返し出力するカメラと、 このカメラから出力される一回毎の画像を処理し、ガイ
   ドラインを検出するライン検出手段と、 このライン検出手段によって検出されたライン位置を複
   数回分記憶するライン位置記憶手段と、 このライン位置記憶手段に記憶されている複数のライン
   位置を移動平均することで所定時間におけるラインの平
   均位置を随時算出して、時間的経過に応じた複数の平均
   ライン位置を得る平均ライン位置算出手段と、 この平均ライン位置算出手段によって得られた時間的経
   過に応じた複数のライン位置の変化状態から今回検出の
   ライン位置を予測するライン位置予測手段と、 このライン位置予測手段によって得られた予測位置に最
   も近い検出ラインを選択するライン選択手段と、 を有することを特徴とするライン検出装置。