JPH04152406A

JPH04152406A - ライン検出装置

Info

Publication number: JPH04152406A
Application number: JP2278743A
Authority: JP
Inventors: Masahiro Mio; 昌宏美尾
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1990-10-16
Filing date: 1990-10-16
Publication date: 1992-05-26

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野〕本発明は、車両の自動運転等のために、道路に沿って設
けられたガイドラインを検出するライン検出装置に関す
る。

［従来の技術］従来より、運転者の負担を軽くするために、各種の運転
制御装置が車両に搭載されている。この中でハンドル操
作も自動的に行う自動運転が研究されており、通常の自
動車においても自動運転ができるような機構を搭載する
ことが検討されている。

この自動運転のためには、車両の走路（道路）に対する
位置を常時把握し、車両が走路に沿って走行するように
制御しなければならない。

そして、この走路の検出の方法として走路に沿って形成
されている白線をテレビカメラによって撮影し、この白
線の位置から車両の走路に対する位置を検出することが
提案されている。

道路には、通常センターライン、車線を分割するライン
等が設けられており、自動運転のための位置検出を、白
線検出によって行えば、道路側における設備を非常に簡
単なものとできると考えられる。

例えば、特開昭６３−４０９１３号公報には、車両に搭
載したＣＣＤカメラを用いて、前方の白線を検出する方
法が開示されている。すなわち、この例においては、Ｃ
ＣＤカメラによって得られた路面の輝度が所定値以上の
部分を白線と判定する。通常の道路はアスファルト等の
黒い部分に白線が形成されており、白線の部分の輝度は
その他の部分より十分大きいため、これによって白線か
検出できる。

［発明が解決しようとする課題］しかしながら、従来の装置では、路面の状態によっては
、白線の検出が十分に行えないという問題点があった。

すなわち、雨天時や白線の汚れ、周囲の路面による光の
反射等が起こるとＣＣＤカメラにおける検出輝度が白線
以外の場所でもしきい値を上回ってしまったり、白線の
部分においてもしきい値以下となってしまう場合がある
。

そこで、本発明者は、路面の状態に合わせて白線か否か
の判定をするためのしきい値を変更することを考えた。

この場合、路面全体の状況に応じてしきい値を変更する
ことが良いと考えられ、検出した路面全体の輝度の平均
値をしきい値とすることが好ましいと考えられる。

ところが、カメラで得た画像の多くは路面についての信
号であり、平均値をしきい値として二値化した場合、し
きい値か低くなりすぎ、路面を白線と誤検出する危険が
多く、誤検出を十分低減することができなかった。

本発明は上記問題点を解決することを課題としてなされ
たものであり、カメラによって得た画像を処理すること
により白線を高精度で検出できるライン検出装置を提供
することを目的とする。

口課題を解決するための手段］上記目的を達成するために、本発明は、車両に搭載され
、道路に沿って設けられたガイドラインを検出するライ
ン検出装置であって、所定範囲の道路の画像を得るカメ
ラと、このカメラで得られた画像全体の輝度の平均値を
算出する平均値算出手段と、前記画像中の輝度の最大値
を検出する最大値検出手段と、前記平均値及び最大値の
両方に基づいて、しきい値を算出するしきい値算出手段
と、前記画像の輝度を前記しきい値を用いて二値化する
二値化手段と、二値化した結果に基づいて画像中のライ
ン部分を判定するライン判定手段と、を有することを特
徴とする。

［作用］本発明に係るライン検出装置においては、カメラによっ
て道路の画像を得、この画像全体の輝度の平均値及び最
大値を検出する。そして、この両者に基づいてしきい値
を決定し、画像（輝度）を二値化する。従って、路面の
状態に応じたしきい値を利用した二値化が行え、ライン
の誤検出を低減することができる。

［実施例］以下、本発明に係るライン検出装置について、図面に基
づいて説明する。

第１図は本発明に係るライン検出装置の構成を示すブロ
ック図であり、ＣＣＤカメラ１０を有している。このＣ
ＣＤカメラ１０はレンズ１２、絞り１４からなる光学系
と、−次元に配置された光電変換素子を有するＣＣＤリ
ニアセンサ１６からなっている。そして、そのＣＣＤカ
メラ１０は、車両の前方の画像を得ることができる位置
に取り付けられ、ＣＣＤリニアセンサ１６から出力され
る各光電素子毎の輝度に関する情報をシリアル信号とし
て出力する。

そして、このＣＣＤカメラ１０には、白線検出ＥＣＵ２
０が接続されている。この白線検出ＥＣＵ２０はＣＣＤ
カメラ１０から入力される信号を増幅すると共に波形を
なまらせるアンプ２２、ＡＤ変換器２４、ＣＰＵ２６、
ＣＰＵの動作についてのプログラムを記憶するＲＯＭ２
８、ＣＰＵ２６の処理の際に記憶エリアとして使用する
ＲＡＭ３０、入出力動作のための１１０部３２からなっ
ている。そして、この白線検出ＥＣＵ２０によって検出
された白線についての情報が車両制御ＥＣＵ４０に供給
され、この車両制御ＥＣＵ４０が車両の操舵等を制御し
、検出した白線に沿った車両の走行が行われるよう制御
する。

次に、ＣＣＤカメラ１０における白線検出の機構につい
て第２図に基づいて説明する。

ＣＣＤカメラ１０は、そのレンズ１２の前方ＬＬの距離
の画像を取り込むように車両に設置されている。そして
、レンズ１２の焦点距離はｆであり、レンズ１２の後方
Ｌ２の距離にあるＣＣＤリニアセンサ１６において結像
するようになっている。そこで、ＣＣＤリニアセンサ１
６の横幅Ｗにおいて検出できる前方の画像の幅はＷとな
る。

そこで、レンズ１２の前方Ｌ１において、白線がその中
心線よりＸずれた位置にあれば、ＣＣＤリニアセンサ１
６において、この白線が結像される位置は、一義的に決
定される。そして、このＣＣＤリニアセンサ１６の幅Ｗ
における素子数をＮとし、ＣＣＤリニアセンサ１６にお
ける中心からの素子数をＩとすれば、白線の中心からの
距離Ｘは次のように示されることとなる。

まず、凸レンズ公式より、１／Ｌ＋　　＋１／Ｌ２　−１／ｆであり、その倍率より、Ｗ−ｗ−ＬＬ／Ｌ２である。

このため、Ｗ−ｗ＃　（Ｌｌ　＋ｆ）／ｆとなり、Ｘ−（Ｗ／Ｎ）　　　（Ｎ／２−Ｉ）となる。

そこで、白線がＣＣＤリニアセンサ１６における何番目
の素子において検出されるかを検出すれば、白線の位置
Ｘを検出することができる。

次に、上述のような原理を利用した、白線検出ＥＣＵ２
０におけるＣＣＤカメラ１０からの信号処理（白線検出
）について説明する。

第３図は白線検出処理の全体動作を説明するフローチャ
ートであり、まず、ＣＣＤカメラ１０における露光量が
所定範囲に収まるよう露光制御を行う（Ｓｌ）。そして
、所定の露光制御が行われたＣＣＤカメラ１０からの各
素子毎の輝度信号がシリアルデータとして出力されるた
め、これをＡＤ変換器２４においてデジタルデータに変
換する（Ｓ２）。ここで、ＣＣＤカメラ１０からのデー
タの出力はＣＣＤリニアセンサ１６の水平比カンフトレ
ジスタに供給されるクロックによって決定されているた
め、このＡＤ変換器２４におけるタロツク周波数もこれ
に同期したものとする。

そこで、ＣＣＤリニアセンサ１６におけるＮ個の各素子
において得られたそれぞれの輝度信号が、Ｎ個のデジタ
ルデータとしてＡＤ変換器２４から順次出力されること
となる。そして、このデジタル信号はＲＡＭ３０の所定
の場所に記憶されることとなる。

そして、このようにして得られたＣＣＤカメラ１０にお
ける輝度信号の最大値検出及び平均値計算を行い、この
最大値及び平均値に基づいてしきい値を計算する（Ｓ３
）。

次に、得られたしきい値を利用してＡＤ変換して得られ
たＮ個のデジタルデータをそれぞれ二値化する（Ｓ４）
。そして、二値化して得られた輝度が高い部分が白線で
あるため、この白線の座標について出力する（Ｓ５）。

この白線の座標は上述の説明の通り、白線の中央からの
距離に対応しており、このＸを車両制御ＥＣＵ４０に供
給することにより、車両制御ＥＣＵ４０がこのＸに基づ
いて操舵制御し、車線（白線）に沿った車両走行が達成
される。

このようにして、本実施例によれば、最大値、平均値に
基づいてしきい値を計算し、このしきい値を用いて二値
化し、白線の位置を検出する。

しきい値算出本実施例におけるしきい値算出の動作について、第４図
に基づいて説明する。

まず、初期設定として、変数ａｖｂ、ｍａｘｄ。

ａｄｃｏｕｎ　ｔの３つの変数をＯにリセットする。

また、ＡＤ変換器２４によって得たデジタルデータはＲ
ＡＭ３０に記憶される。このため、このデジタルデータ
のＲＡＭ３０における先頭アドレスをＡにセットする（
Ｓ３０１）、次に、ａｄｃ。

ｕｎｔが１０２４に至ったか否かを判定する（Ｓ３０２
）。これは、ＣＣＤリニアセンサ１６における有効な素
子数（幅Ｗの範囲の素子数）に対応しており、ＡＤ変換
器２４からの出力信号の数に対応している。そこで、変
数ａｄｃｏｕｎｔが１０２４に至ったことで、ＣＣＤリ
ニアセンサ１６からの一度のデータの出力が終了したこ
ととする。

ａｄｃｏｕｎｔが１０２４以下であった場合には、デー
タの入力が終了していないため、次に、ｂｃ■Ａａｘｍａｄｃｏｕｎ　ｔｕｐｓ＊ｂｃ＋ａｘとして変数ｂｅ、ａｘ、ｕｐにデータを入力する。ここ
で、変数ｕｐにはＣＣＤリニアセンサ１６で得られた１
０２４の輝度信号が格納されるＲＡＭ３０におけるアド
レスが順次指定されることとなる。そして、この変数ｕ
ｐで指定されたアドレスのデータを読み出し、これを変
数ＤＡＴＡの値として入力する（Ｓ３０４）。

次に、最大値の検出のために、変数ＤＡＴＡが最大値ｍ
ａｘｄより小さいか否かを判定する（Ｓ３０５）、そし
て、ＤＡＴＡがｍａｘｄより大きい場合には、これを最
大値とすべきであり、変数ｍａｘｄにＤＡＴＡを入力し
て、この値を更新する（Ｓ　３０６）。一方、ＤＡＴＡ
が最大でない場合には、最大値ｍａｘｄを更新する必要
はないため、５３０６を通らずに、次の処理に移る。

次に、ＤＡＴＡの値をデータ数１０２４で除算した値を
順次加算していくことによって平均値ａｖｂを算出する
（Ｓ　３０７）。

そして、この最大値の記憶、平均値の算出（Ｓ３０６、
　５３０７）をデータ数が１０２４に至るまで繰り返し
、全てのデータについての処理が終わった場合には、５
３０２においてＹＥＳとなり、しきい値ｔｈｌを次式に
よって算出する（Ｓ３０８）。

ｔｈ　ｌ　−（ａｖｂ＋ｍａｘｄ）／２このようにして
、本実施例においては、ＣＣＤリニアセンサ１６によっ
て得られた全ての素子におけるデータの平均値と最大値
の中間の値がしきい値ｔｈｌとしている。

二値化処理次に、第５図に基づいて二値化処理について説明する。

ここで、初期設定からデータの取込み（８４０１〜５４
０４）は上述の５３０１〜５３０４と同様である。そし
て、二値化処理の場合には、上述の５３０８において決
定されたしきい値ｔｈｌと輝度についてのデータである
変数ＤＡＴＡを比較する（Ｓ４０５）。そして、ＤＡＴ
Ａがしきい値ｔｈｌ以下であった場合には、ＲＡＭ３０
の変数ａｄｃｏｕｎｔによって特定されるアドレスに全
て０のデータを書き込む（５４０６）。一方、ＤＡＴＡ
がｔｈ１以上であった場合には、対応アドレスに全て１
のデータを書き込む（Ｓ４０７）。

次に、ａｄｃｏｕｎｔに１を加算し５４０２に戻り、ａ
ｄｃｏｕｎｔが１０２４に至るまでこれを繰り返すため
、１０２４個の全データについてしきい値ｔｈ１以上で
あるか否かの判定がなされ、０（００ｈ）または１（ｆ
ｆｈ）のデータが書き込まれる。

このようにしてデータの二値化処理か行われた場合には
、次に白線座標の出力を行う。そこで、これについて第
６図に基づいて説明する。

白線座標出力この処理の場合にも、５５０１〜５５０４の初期化から
データＤＡＴＡの読出まては上述の５３０１〜５３０４
又は５４０１〜５４０４の場合と同様である。

そして、この処理の場合には、読み出したデータ（ＤＡ
ＴＡ）か全て１のデータ（ｆｆｈ）であるか否かを判定
する（Ｓ　５０５）。そして、１であった場合には、そ
のときの変数ａｄｃｏｕｎ　ｔを変数ｗＪ！の値として
入力する（５５０６）。そして、ａｄｃｏｕｎ　ｔに１
を加算して５５０２に戻る。そこで、１０２４個のデー
タについてこの処理が繰り返されることとなり、最後に
入力されたｆｆｈ時のａｄｃｏｕｎｔの値がｗＪの値と
して入力される。

ここで、上述のようにＣＣＤリニアセンサ１６からのデ
ータはその配列方向に従って順次出力されるため、１０
２４個のデータはＣＣＤリニアセンサ１６の各素子毎の
検出した輝度データとなっている。

そこで、変数ａｄｃｏｕｎｔはこのＣＣＤリニアセンサ
１６の何番目の素子についてデータ化ということを表わ
している。このため、ｗＪ！の値により、上述の式にお
ける変数Ｉが算出できることとなる。そして、これによ
って白線に対する自車位置（ｘ）を算出することかでき
る。

そこで、５５０２においてａｄｃｏｕｎｔが１０２４に
なった場合にはｗｌ出力することとなるが、その前に変
数ｍａｘｄ−ａｖｂが所定値Ｔより大きいか否かを判定
する（Ｓ５０８）。これは、最大値ｍａｘｄと平均値ａ
ｖｂの差が非常に小さい場合には、白線か否かの検出の
結果が信頼度の非常に低いものとなるため、これが所定
値以上の幅として検出されたか否かを判定するためであ
る。

そして、５５０８においてＹＥＳとなった場合には、そ
のデータは十分信頼度のあるものとして、その時のｗＪ
！の値を白線の位置についての信号として出力する（Ｓ
　５０９）。一方、５５０８においてＮｏとなった場合
には、そのときの検出結果が信頼度の低いものであり、
エラーコードを出力する（Ｓ　５１０）。

以上のようにして、最大値及び平均値を利用してしきい
値を計算し、このしきい値を用いて二値化処理した後、
白線の座標を出力することかできる。

ここで、この例において、最後に白線とされた場所の位
置をＷｌとして出力することとしたか、白線と判定され
る場所が複数細紐いたときにのみその位置をｗＪ！に入
力することとし、誤検出の発生を防止できるようにして
も良い。また、白線が複数ある場合には、しきい値以上
のデータがある程度続いた後しきい値以下となった場合
の値を複数個記憶できるようにすれば良い。

ここで、第７図に本実施例による処理結果の説明図を示
す。

この図においては、ＣＣＤリニアセンサ１６における１
０２４個の素子における輝度を示しである。そして、平
均値とした場合と本実施例における最大値と平均値を加
算したものを１／２としたものをしきい値とした場合の
両方が示しである。

このように、本実施例により誤検出が回避できることか
理解される。

更に、本実施例によれば、白線検出ＥＣＵ２０における
アンプ２２において、ローパスフィルタを有している。

そこで、ＣＣＤリニアセンサ１６からの検出値は、ここ
において波形がなまらされ、第８図に示したように細か
い変動（ノイズ）が除去されたものとなる。これによっ
て、誤検出が更に減少されることが理解される。

なお、本実施例においては、しきい値を（平均値＋最大
値）／２としたが、平均値、最大値の中間の値となるよ
うな算出の方法であればどのような方法によってしきい
値を決定しても良い。

［発明の効果コ以上説明したように、本発明に係るライン検出装置によ
れば、しきい値を最大値及び平均値の両方に基づいて算
出したため、ＣＣＤカメラからの検出値を二値化する際
の誤検出を低減することかできる。

【図面の簡単な説明】

第１図は本発明に係るライン検出装置の一実施例を示す
構成ブロック図、第２図はＣＣＤカメラにおける位置検出を説明するため
の説明図、第３図は白線検出ＥＣＵにおける処理動作を説明するた
めのフローチャート、第４図はしきい値計算の動作を示すフローチャート、第５図は二値化処理の動作を示すフローチャート、第６図は白線座標出力の動作を示すフローチャート第７図は本実施例におけるしきい値と二値化の状態を示
す説明図、第８図はローパスフィルタをしようした場合におけるし
きい値と二値化の状態を示す説明図である。ＣＣＤカメラ白線検出ＥＣＵＡＤ変換器ＰＵ

Claims

【特許請求の範囲】車両に搭載され、道路に沿って設けられたガイドライン
を検出するライン検出装置であって、所定範囲の道路の
画像を得るカメラと、このカメラで得られた画像全体の輝度の平均値を算出す
る平均値算出手段と、前記画像中の輝度の最大値を検出する最大値検出手段と
、前記平均値及び最大値の両方に基づいて、しきい値を算
出するしきい値算出手段と、前記画像の輝度を前記しきい値を用いて二値化する二値
化手段と、二値化した結果に基づいて画像中のライン部分を判定す
るライン判定手段と、を有することを特徴とするライン検出装置。