JP3169483B2 - 道路環境認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、道路環境を認識する画
像処理システムを有する道路環境認識装置に関するもの
であり、より具体的には、自動車に搭載したＴＶカメラ
で捉えた画像から、道路面上に設けられている白線を含
む標識線或いは、自車両の前方を走行している自動車を
認識することの出来る道路環境認識装置に関するもので
ある。

【０００２】

【従来の技術】近年、自動車の高性能化にもかかわら
ず、交通事故は増加傾向にある。事故の中には、人間の
状況判断のミスによるものが多い。そこで人間の視覚を
補助する装置の開発が望まれている。従来から、ＴＶカ
メラを用いた運転補助装置としては、路面認識装置と前
方車認識装置等が知られている。

【０００３】つまり、運転手は道路上に設けられた白線
或いは黄色線等の指示若しくはその誘導に従い、かつ前
方車の動きに注意し、自分の自動車がどう走ればいいの
かを判断しなければならない。一般に、道路上の標識線
は、交通を整理し誘導する重要な役割を果たしている。
運転手は該標識線の誘導に従い、自動車を走行させなけ
ればならない。

【０００４】その為、係る標識線を認識する装置が開発
されれば、自分の自動車がレーンを逸脱していたら運転
手に自動的に警告したり、またその情報をもとに自動車
を制御するといったことが出来るようになる。これによ
り、運転手の運転に対する負担を軽減させることがで
き、事故を未然に防止することが出来るようになる。一
方、運転手は運転中に前方車の動きに注意し、自分の自
動車がどう走ればいいのかを判断しなければならない。
その為、適切な前方車を認識する装置があれば、自分の
自動車が所定のレーンを逸脱していたり、前方車と自車
が近づき過ぎて危険な状態になった時に運転手に警告し
たり、前方車に追従走行することにも応用できる。これ
により運転手の運転に対する負担を軽減させることがで
き、交通事故を未然に防止することができる。

【０００５】処で、従来から一般的に使用されている道
路環境認識装置としての路面認識装置の一例を図２６に
示す。即ち、従来の路面認識装置に於いては、図２６の
ブロックダイアグラムに示される様な構成を有してお
り、具体的には、ＴＶカメラ１で捉えた画像をエッジ画
像抽出手段２で物体の輪郭線のみを抽出したエッジ画像
に変換し、該エッジ画像から、標識線例えば白線の候補
点抽出手段３で該エッジ画像に対し白線６のエッジの位
置の抽出を行い、白線位置算出手段４で該白線の候補点
に対応する路面上での位置を算出している。

【０００６】即ち、より具体的には、図２７及び図２８
に示す様に、道路画像の中央部から矢印の方向に左右の
個別に画像５中の画素を走査して白線等の標識線６の輪
郭線７、８を捜し、輪郭線７、８にぶつかった所を白線
位置９としていた。ところがこのような方式では、図２
８のように画面内に前方車が存在したり、白線６が破線
の場合に、当該標識線である白線６を認識ができなかっ
たりする場合が多く見られた。

【０００７】又、前方車１０が存在する場合、 該白線
６の輪郭部分７、８まで輪郭線を捜しに行くことが出来
ず、前方車１０の輪郭線１１を間違えて白線６と認識し
てしまう誤りが多発すると言う問題も有った。更に、該
白線が破線の場合、 当該白線の候補点が見つからない
箇所が発生したり、また図３０に示される様な、当該道
路画面５に、建物、街路樹等の影１２がある場合は、当
該影１２を間違って白線のエッジと誤認してしまうと言
う様なことも頻繁に生じていた。

【０００８】実際の高速道路などの環境を考えた場合、
道路画像５内に混在するこのような障害物や雑音の影響
が大きく、当該標識線６の認識が困難である場合が生じ
ていた。又、従来に於ける前方車認識装置の一例に於け
る構成を図２９のブロックダイアグラムで示す。

【０００９】即ち、従来に於ける前方車認識装置に於い
ては、ＴＶカメラ１で捉えた画像をエッジ画像抽出手段
２で物体の輪郭線のみを抽出したエッジ画像に変換し、
該エッジ画像から、前方車探索手段２０で水平方向に最
も長いエッジ部分１３を２次元的に探索し、抽出した該
エッジ部分１３に隣接するエッジから矩形を求め、前方
車位置抽出手段２１で該矩形の中心の画面上の位置に対
する距離テーブルを用いて自車と前方車との間の距離を
演算して抽出していた。

【００１０】ところが、このような方式では、図３０に
示される様に、路上に長く水平に伸びた影１２が存在す
ると当該影の部分に於ける水平エッジ部分を車両の一部
を示す水平エッジと誤認識する危険が多かった。又、画
像の雑音などで、エッジが途切れると、当該前方車両の
認識に失敗する事も多く、更には、実際の道路環境で
は、影１２などの雑音の混入は不可避であり、その為前
方車両に対する認識が困難であると言う問題が生じてい
た。

【００１１】又、従来に於いて、前方車両を認識するに
際しては、２次元的にエッジ部分を探索し、最大となる
有力なエッジ部分を捜すため、探索領域を１通り全部、
探索しなければならず、処理時間が遅くなると言う欠点
や、認識した前方車が自車の走行しているレーンにいる
のかどうか分からないという問題もあった。

【００１２】

【発明が解決しようとする課題】本発明の目的は、係る
従来技術に於ける問題を解決し、自動車に搭載したＴＶ
カメラにより得られる道路画像から、上記した障害物や
雑音による影響を受ける事なく、走行道路に設けられた
白線等の標識線を容易に且つ確実に認識しえる路面認識
装置を有する道路環境認識装置を提供すると共に、従来
技術で問題となっている影などの雑音等による影響を受
けずに容易に且つ確実に前方車の位置を認識しえる前方
車輛認識装置を有する道路環境認識装置を提供するもの
である。

【００１３】

【課題を解決するための手段】本発明は上記した目的を
達成するため、基本的には、以下に記載されたような技
術構成を採用するものである。即ち、本発明に係る道路
環境認識装置の第１の態様に於いては、自動車に搭載し
たＴＶカメラにより得られる道路画像から、物体の輪郭
線のみを抽出したエッジ画像を作成し、該道路画像のエ
ッジ画像に於いて探索線を移動させて当該画像中に存在
する水平エッジ部分を検出するに際して、当該探索線を
自車両から遠い路面部分に向かう方向に予め定められた
範囲で移動させ、該探索線の移動に伴って検出される水
平エッジ部分の配置状態から、自車両の前方を走行して
いる自動車の最下部を決定する様に構成されている道路
環境認識装置が提供されるもので有り、又第２の態様と
しては、自動車に搭載したＴＶカメラにより記録された
道路画像から、物体の輪郭線のみを抽出したエッジ画像
を作成し、該エッジ画像から、道路に表示された標識線
を検出して認識するに際し、該エッジ画像における自車
両に近い路面部分に対応する領域の相当する画像画面部
分の略中央部分から２つの領域に分割せしめ、当該画像
画面部分の略中央部分から左側の領域を第１の領域Ａと
すると共に、右側の領域を第２の領域Ｂとなし、且つ自
車両から遠い当該画像画面部分における路面部分に対応
する画面領域を第３の領域Ｃとする画面領域に分割し、
該第１の領域Ａでは該中央部分付近から左方向に、又該
第２の領域Ｂでは該中央部分付近から右方向に複数の標
識線候補点を探索することにより、該第１の領域Ａ及び
第２の領域Ｂにおいて標識線を決定し、又該第３の領域
Ｃでは該第１と第２の領域Ａ、Ｂで探索された標識線位
置から該標識線を延長、追跡して標識線を順次、探索し
決定する様に構成されている道路環境認識装置が提供さ
れるので有る。

【００１４】又、本発明に係る道路環境認識装置の第３
の態様としては、自動車に搭載したＴＶカメラにより得
られる道路画像から、物体の輪郭線のみを抽出したエッ
ジ画像を作成するに際し、当該ＴＶカメラにより得られ
る道路画像に平滑化処理等を応用した残像効果付与処理
を実行した後、該エッジ画像を作成する様にした道路環
境認識装置である。

【００１５】尚、本発明に係る第４の態様としては、上
記した第１乃至第３の態様を適宜選択して結合して構成
された道路環境認識装置が考えられる。

【００１６】

【作用】本発明に係る該道路環境認識装置は、上記した
様な基本的な技術構成を有しているので、例えば、本発
明に係る第１の態様に於いては、前方車の最下部の水平
エッジの状態を観察することによって認識するもので有
って、然も、前方車に近い路面部分における画面上から
遠方に向かって、つまり遠方の道路に向けて、水平エッ
ジの探索線を所定の範囲で移動させて、前方車の最下部
を探索しているので、探索領域が限定されるので認識操
作を高速に実行する事が可能となる。

【００１７】また本発明に於ける道路環境認識装置での
前方車の最下部決定には予め定められた条件を満たす水
平エッジが複数存在しなければならないため、これによ
り影などの雑音による誤認識は防ぐことができる。更
に、本発明に於いては、好ましくは、最初に、道路上の
標識線を認識したうえ、自車輛が走行すべき特定レーン
領域を決定してその内側で前方車を捜す様に構成されて
いるので、道路外の風景や雑音は除去することができ
る。又、道路画像上の決まった領域について処理してい
るので、前方車のレーンとの関係もわかる。

【００１８】一方、第２の態様に於いては、自動車に近
い路面部分に対応する画面上で画面縦方向に複数の白線
候補点が取れる領域でかつ、この領域の画面中央縦線か
ら左側の領域を第１の領域Ａ、右側の領域を領域第２の
領域Ｂ、自動車から遠い路面部分に対応する画面領域を
第３の領域Ｃとする３つの画面領域に分割し、第１の領
域Ａでは左方向に、領域第２の領域Ｂでは右方向に白線
候補点を探索することにより、第１の領域Ａ、第２の領
域Ｂにおいて白線を決定し、第３の領域Ｃでは第１の領
域Ａ、第２の領域Ｂでの白線位置から白線部分を追跡し
て、白線を順次決定することによって、容易に又確実
に、道路に設けられた標識線を認識する事が出来る。

【００１９】つまり、本発明に於ける第２の態様に於い
ては、まず第１の領域Ａ、第２の領域Ｂにおいて白線を
決定するのは、画面手前のほうが遠方よりも白線幅に対
する画素数も多くエッジの状態も良く、前方車などの障
害物の混入も少ないからである。また第１の領域Ａ、第
２の領域Ｂを広めに指定して標識線候補点の個数を多く
抽出することで、前方車の輪郭線による標識線候補点が
入っていても、誤った標識線候補点を除き、正しく標識
線、例えば白線が認識できる。

【００２０】また白線が破線の場合にも、第１の領域
Ａ、第２の領域Ｂの縦方向の長さを破線間の長さ以上に
設定すれば当該白線を検出することが可能となる。更に
本発明に於いて、第３の領域Ｃで当該標識線を、第１の
領域Ａと第２の領域Ｂに於いて求められた標識線の追跡
延長によって求めるもので有って、係る構成を採用した
のは、遠方では前方車などの障害物が混入する確率が高
く、更に標識線の曲がりも大きくなるために、画面中央
からの探索では当該標識線を認識できない事が多くなる
と言う事実に基づいている。

【００２１】更に、本発明に係る道路環境認識装置の第
３の態様に於いては、ＴＶカメラにより捉えた道路画像
を平滑化処理する事によって、影等の雑音を消去し、
又、標識線の破線部分が補間された平滑化画像を形成さ
せるものであるので、自車との相対速度差が小さいも
の、或いは画面上での移動が小さいか又は停止している
物体、例えば前方車輛、標識線等のみを画像上に浮き上
がらせる様に抽出し、道路の脇に配置されている、樹
木、建物、その他の物体、或いはそれらの影の部分等
で、画像上、高速に移動して見えるものを道路画像から
消去させた後、当該平均化処理された道路画像から、所
定の物体の輪郭線のみを抽出してエッジ画像を作成し、
前記した第１の態様若しくは第２の態様に於いて示され
た演算処理を実行して前方車輛の認識若しくは、標識線
の認識を行うものであるので、従来の方法に於ける様
な、影、或いは雑音等により、標識線或いは前方車輛等
を誤認する危険性が大幅に改善されるもので有る。

【００２２】具体的には、本発明に係る平滑化処理に於
いては、入力画像、即ち第２の画像と平滑化画像、即ち
第２の画像が得られる以前に得られた第１の画像との同
じ座標位置の画素値の差が予め設定した範囲内ならば、
平滑化画像の画素値を変更せず、入力画像と平滑化画像
の同じ座標位置の画素値の差が予め設定した範囲外なら
ば、平滑化画像の画素値を予め設定した固定値だけ入力
画像の画素値に近づけた画素値で更新することで出力画
像を作成し、この出力画像を次の平滑化画像として上記
処理を繰り返すことにより平滑化画像を作成する。

【００２３】該平滑化画像では、入力画像と平滑化画像
の画素値の差が小さいところだけが、はっきりと抽出さ
れ、該画素値の差が大きいところは、ぼやけて消去され
る。すなわち画面上での動きが小さいまたは停止してい
るところだけが、はっきりと抽出され、画面上での動き
が大きいところは、ぼやけて消去される。風景の影など
は、自車との相対速度差が大きいため、該平滑化画像で
はこれらの影は消去される。

【００２４】白線は、影などと同じく自車との相対速度
差は大きいが、白線は画面上での変化が少なく抽出する
ことができる。白線が破線の場合でも、連続的に画面上
の同じ位置を流れるように移動するので破線が補間さ
れ、白線が連続線になった平滑化画像が得られる。前方
を走行している自動車は、自車との相対速度差が小さい
ため、画面上では移動が小さいので抽出することができ
る。

【００２５】以上、述べたように平滑化画像処理を併用
する事によって、影などの雑音は除去された標識線認識
及び前方車認識のし易い画像を得ることができる。

【００２６】

【実施例】以下に、本発明に係る道路環境認識装置の具
体例を図面を参照しながら詳細に説明する。図１は、本
発明に係る道路環境認識装置の第１の態様の具体的構成
を示すブロックダイアグラムを示すもので有って、図
中、自動車に搭載したＴＶカメラ１、該ＴＶカメラ１に
より得られる道路画像５から、物体の輪郭線のみを抽出
したエッジ画像を作成するエッジ画像抽出手段２、任意
の領域で探索線を移動させ、探索線上の水平エッジ成分
の状態から、前方車輛の最下部を決定する前方車輛最下
部決定手段３１、決定された最下部から予め設定された
大きさの領域を画面上に設定する処理を行う探索領域決
定手段３２、前方車輛位置決定手段３３及び前方車輛ま
での距離を算出する為の前方車輛距離算出手段３４とか
ら構成されているものであり、更に本発明に於ける好ま
しい具体例としては、後述する様に、上記前方車輛の最
下部決定手段３１の前に、道路上に設けられている所定
の標識線６を認識する為の標識線認識手段３０を付加し
たもので有っても良い。

【００２７】つまり、本発明に於ける第１の態様に於い
ては、図２に示される様な、上記した構成に基づいて、
自動車に搭載したＴＶカメラ１により得られる道路画像
５から、適宜の空間フィルタを掛けて、図３に示される
様に、物体の輪郭線のみを抽出したエッジ画像を作成
し、該道路画像のエッジ画像中に存在する任意の水平エ
ッジ部分３７を見つけだす為に探索線を移動させるもの
である。

【００２８】探索線を該エッジ画像に於いて、自車両か
ら遠い路面部分に向かう方向に予め定められた領域の範
囲で移動させ、該探索線の移動に伴って検出される水平
エッジ部分の配置状態、つまり、当該水平エッジ部分が
如何なる分布を持っているかに判断に基づいて、自車両
の前方を走行している前方車輛１０の最下部３９を決定
する様に構成されているものである。

【００２９】前記工程により、得られた前方車輛の最下
部３９から予め設定した領域を画面上に設定し、該領域
において水平エッジの数、若しくは、水平エッジの垂直
方向の投影若しくは、当該水平エッジ部分のヒストグラ
ムが予め設定した条件を満たす値だけ存在する場合に、
該水平エッジの垂直方向の投影若しくは、当該水平エッ
ジ部分のヒストグラムが予め設定した条件を満たす位置
に前方車輛が存在する可能性が高いものと判断し、前方
車輛の最下部候補線上での位置を決定する様にしたもの
である。

【００３０】尚、本発明に於ける係る具体例において
は、前方車輛の位置の認識処理を実行する以前に、道路
に於ける標識線の状況を予め認識して、当該前方車輛の
走行するレーンの範囲を特定して、前方車輛の位置の認
識処理を行うと、より正確で、且つ短時間での前方車輛
の位置の認識処理を実行する事が可能となる。又、本発
明に於ける上記具体例に於いては、前方車輛の最下部候
補線が複数個得られた場合には、それらの候補線の内
で、画面上、最も近方の水平エッジ部分を当該前方車の
最下部と決定するもので有る。

【００３１】つまり、本発明に係る具体例に於いては、
例えば、該道路画像５のエッジ画像中に存在する任意の
水平エッジ部分３７（３７─１から３７─８）が存在し
ているとすると、探索線を移動させて、当該水平エッジ
部分３７─８に来た時に、該水平エッジ部分３７─８を
構成している水平エッジ成分を適宜のカウンタによりカ
ウントし、そのカウント値が予め設定した数値以上にな
れば、その水平エッジ部分３７─８が、最下部候補線と
なる。

【００３２】つまり、当該探索線上の画素のうち水平エ
ッジの成分を含んでいる画素数が予め設定した数値以上
になれば、該探索線上に存在している水平エッジ部分３
７─８に前方車両の最下部が存在していると判断される
車両の最下部３９の候補線とするものである。次いで、
本発明に係る具体例に於いては、該探索線を前記車両の
最下部候補線３７─８から、自車両から見て、遠い路面
部分に向かう方向に、予め定められた範囲で移動させな
がら、該探索線上で、上記と同様の判定を行って、最下
部候補線の有無を判断し、前記探索線の移動範囲内に於
いて、予め設定した数値以上の該車両の最下部候補線が
存在している場合（図３では、水平エッジ部分３７─７
から３７─１が存在）に、最初に設定された車両の最下
部候補線３７─８上に、前方車両の最下部３９が存在し
ていると判断するものである。

【００３３】換言するならば、本発明に於ける上記具体
例の構成は、自動車に搭載したＴＶカメラにより得られ
た道路画像から、物体の輪郭線のみを抽出したエッジ画
像を作成する手段２、該エッジ画像に於いて、予め設定
した探索線を自車両から遠い路面部分に向かって移動さ
せながら、探索線上の水平エッジの状態をみて、前方車
輛と路面との境界線を見つけ出す前方車輛の最下部決定
手段３１、該前方車輛の最下部決定手段３１で決定され
た最下部部分での前方車輛の左右の位置を判断する領域
を設定する前方車輛の探索領域決定手段３２、該前方車
輛の探索領域内の水平エッジ成分の数をカウントするカ
ウント手段を用い、前方車輛の左右の位置を決定する前
方車輛位置決定手段３３とから構成されている道路環境
認識装置である。

【００３４】更には、該前方車輛位置決定手段３３によ
り決定された前方車両の最下部から、前記ＴＶカメラの
設置状態を勘案して、自車輛と該前方車輛との実際の距
離を演算して求める前方車輛距離演算処理手段３４が設
けられている事が望ましい。更に、本発明に於いては、
前記前方車輛の最下部候補決定手段３１の前に、道路上
の標識線を認識する手段３０、望ましくは後述する様
な、本発明に係る標識線認識手段３０を設ける事が望ま
しい。

【００３５】本発明に於いては、上記した様に、該探索
線を、所定の領域４１を設けて、その範囲内で走査させ
るものであり、例えば、前方車輛の最下部が存在してい
ると判断された当該水平エッジ部分を下辺とする予め設
定された高さＨと幅Ｗを有する前方車両位置探索領域４
１を設定する事により、前方車両位置を特定する様に構
成する事も望ましい。

【００３６】つまり、図４に示さる様に、前方車の求ま
った最下部の画面上の座標から、実際の路面上での距離
を求め、その位置での予め設定した高さと幅をもつ前方
車探索領域の画面上での位置を決定し、画面上での該前
方車探索領域以外の部分をマスクする様にしたものであ
る。尚、上記領域４１の高さＨは、前方車輛として一般
的な高さを持つ自動車が、道路画像として表示された場
合の高さに近似させる様に設定する事が望ましく、又そ
の幅Ｗは、予め定められた道路の幅、好ましくは、走行
レーンの幅が画面に表示された場合の長さに近似した幅
に設定されるもので有る。

【００３７】本発明に於いては、例えば、該領域４１の
高さＨは、１．５ｍに相当する長さとし、又その幅Ｗ
は、４．０ｍに相当する長さに設定するものである。本
発明に於けるエッジ画像抽出手段２に於いては、道路画
像に於ける濃淡画素から、エッジ検出用の空間フィルタ
を用いて画像処理を行い、物体の輪郭線のみが抽出され
るエッジ画像を作成するものである。

【００３８】本発明の係る具体例に於いて使用される上
記のエッジ検出用の空間フィルタ処理は特に限定される
ものではないが、例えば、図６に示す様な公知のＳＯＢ
ＥＬオペレータによる方法を用いる事が出来る。つまり
図６の(a) は垂直方向のエッジの検出オペレータであ
り、(b) は水平方向のエッジの検出オペレータである。
本発明の係る具体例に於いては、水平エッジ部分を検出
する必要があるので、特に図６の(b) に示される様な検
出オペレータからなるフィルターを、実際に得られた道
路画像の全ての画素値に掛け合わせて積算し、所定の画
素部分の画素値を得るものである。

【００３９】本発明に於いては、斯くして得られた画素
値の絶対値が予め定めたしきい値を越える点を水平方向
のエッジ点とする。尚、道路画像において、前方車の後
部形状から、水平方向のエッジが多く現れることから、
水平方向のエッジを前方車の認識に基本データとして使
用するもので有る。本発明に於ける他の例では、当該標
識線認識部３０では、エッジ画像抽出部２で抽出したエ
ッジ画像をもとに、自車の走行している車線の左右の標
識線６を認識して自車レーンを決定し、自車レーンの中
央線４０を決定する（図２）。つまり、係る方法を採用
する事によって、自車レーン領域を決定してその内側で
前方車を捜す事が出来るので道路外の風景や雑音は除去
することができる。

【００４０】前方車の最下部候補設定手段３１では、前
記した様に、レーン中央４０から左右に予め設定した長
さの前方車の最下部を探索する探索線を設け、該探索線
を自動車に近い路面部分に対応する画面上の水平線か
ら、自動車から遠い路面部分に向かって移動させ、該探
索線上での水平エッジの状態から前方車の最下部を認識
する。

【００４１】前方車の最下部の決定方法は、探索線上で
予め設定したサンプリング間隔で画素値を抽出し、サン
プリングした画素のうち、水平エッジの成分を含んでい
る画素数が予め設定した数値（ｎ）以上になれば、その
探索線を前方車の最下部の候補線とする。そして該候補
線から画面上の遠方に向かって予め設定した範囲内で探
索線を移動させ、その間にサンプリングした水平エッジ
に於いて、水平エッジの成分を含んでいる画素数が予め
設定した数値（ｎ）以上になれば、該水平エッジも候補
線と判断し、更に、該候補線が、上記した所定の走査領
域内で予め設定された数（Ｎ）以上存在している場合
に、前方車が存在しているとしてその最初に設定した候
補線を前方車の最下部と決定するものである。

【００４２】即ち、本発明に於いて、探索線を用いて水
平エッジの状態を調べるのは、前方車の後部形状により
水平方向のエッジが複数現れる特徴を利用しており、こ
れにより影による誤認識をなくすことができる。また探
索線の予め設定する長さをレーン幅より長めに設定すれ
ば、白線等の標識線をまたいでいる車についても認識で
き、前方に割り込んでくるような車に対しても素早く対
応できる。

【００４３】前方車位置決定手段３３では、図５に示す
様に、前方車探索領域４１内で、別途予め設定した高さ
と、幅をもつ認識枠４２を移動させ、その枠４１内の水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車の位置と決定する様にしたもので有っても
良い。具体的には、前記前方車両位置探索領域４１内の
水平エッジの特徴分布から前方車両位置を探索する様に
構成したもので有って、前記前方車両位置探索領域内の
水平エッジに於ける当該水平エッジ成分を含む画素の垂
直方向の投影値に基づいて当該前方車両位置を決定する
様に構成しても良く、又図５に示す様な、水平エッジ成
分に付いてヒストグラムを作成し、その枠４２内での水
平エッジ成分を含んでいる画素数が最も多くなる認識枠
位置を前方車位置と決定する様に構成するもので有って
も良い。

【００４４】又、前記前方車両位置探索領域４１内に設
けられた、当該認識枠４２内の垂直方向の中心線に対す
る左右の対称性を検出し、最も対称性が高い認識枠４２
の位置を前方車位置と決定する様に構成するもので有っ
ても良い。又、他の具体例としては、前記前方車両位置
探索領域４１内に、所定の大きさを有する認識枠４２を
設け、当該認識枠４２を該前方車両位置探索領域４１内
で、移動させると共に、その枠４２内での水平エッジ成
分を含んでいる画素数と、該認識枠４２内の垂直方向の
中心線に対する左右の対称性を検出し、当該左右の対称
度から、前方車領域を表す評価値を設け、該評価値が最
も高い領域を当該前方車位置と決定する様に構成するも
ので有っても良い。

【００４５】更には、当該認識枠を該前方車両位置探索
領域内で、移動させると共に、その枠内での水平エッジ
成分を含んでいる画素数が最も多くなると同時に当該認
識枠内の垂直方向の中心線に対する左右の対称性を検出
し、最も対称性が高くなる認識枠位置を前方車位置と決
定する様に構成するもので有っても良い。尚、本発明に
於いては、該ＴＶカメラ１の自車両に於ける設置条件と
画面上における位置から、該画面位置に対応する実際の
大きさが一定であるように、画面上での探索領域や認識
枠の大きさを設定する様にする事が望ましい。

【００４６】又、本発明に於いては、当該決定された前
方車の最下部から自車両迄の実際の路面上の距離を求め
る前方車距離算出手段３４を設け、前方車位置決定手段
３３で求めた前方車の画面上の位置から、路面上での自
車と前方車までの距離とその位置関係を算出する。ＴＶ
カメラの設置条件と画面上の位置から該距離と位置関係
を求めることができる。

【００４７】以上、説明したように本発明の上記具体例
によれば、自動車に搭載したＴＶカメラで捉えた入力画
像から、雑音が画像中に多く含まれているような場合で
も、高速に正しく前方車の位置を認識することができ
る。またレーンとの関係も認識出来るようになる。次
に、本発明に係る道路環境認識装置に於ける第２の態様
の具体例を図面を参照しながら以下に説明する。

【００４８】図７は、本発明に係る道路環境認識装置の
第２の態様の一具体例の基本的構成を示すブロックダイ
アグラムであり、図中、ＴＶカメラ１、該ＴＶカメラ１
で捉えた画像から、物体の輪郭線のみを抽出した画像に
変換しエッジ画像を作成するエッジ画像抽出手段２、自
車輛に近い路面部分に対応する画面部分から複数点の標
識線候補点を抽出し、それらの白線を含む標識線候補点
の中から標識線を決定する近方における標識線の決定手
段４５、近方における標識線決定手段４５で求めた該複
数点の位置から標識線の輪郭線に沿って、遠方の路面部
分に対応する画面領域内で該標識線を追跡延長すること
により標識線位置を決定する遠方における標識線の追跡
手段４６及び実際の路面上での標識線位置を算出する標
識線位置算出手段４７とで構成されたもので有る。

【００４９】つまり、本発明に係る第２の態様に於いて
は、白線、黄色線を含む標識線を、容易に且つ確実に認
識する為の道路環境認識装置を開示するもので有って、
具体的には、ＴＶカメラ１で捉えた画像をエッジ画像抽
出手段２で物体の輪郭線のみを抽出した画像に変換し、
近方における標識線の決定手段４５で自動車に近い路面
部分に対応する画面部分から複数点の標識線候補点を抽
出し、それらの標識線候補点の中から標識線を決定した
後、遠方における標識線の追跡手段４６で近方における
標識線の決定手段４５で求めた該複数点の位置から標識
線の輪郭線に沿って、遠方の路面部分に対応する画面領
域内で標識線を追跡することにより標識線位置を決定
し、最後に標識線位置算出手段４７で実際の路面上での
標識線位置を算出するものである。

【００５０】図７の構成を実現するために、本発明に於
ける第２の態様に於ける一具体例に於いては、図８に示
される様に、自車輛に近い路面部分に対応する道路画面
５上で、且つ画面縦方向に複数の標識線候補点５１が取
れる領域でかつ、この領域の画面中央縦線５２から左側
の領域を第１の領域Ａ、右側の領域を領域第２の領域
Ｂ、自動車から遠い路面部分に対応する画面領域を第３
の領域Ｃとする３つの画面領域に分割し、第１の領域Ａ
では左方向に、第２の領域Ｂでは右方向に標識線候補点
を探索することにより、第１の領域Ａ、第２の領域Ｂに
おいて標識線を決定し、第３の領域Ｃでは第１の領域
Ａ、第２の領域Ｂでの標識線位置から標識線部分を追跡
して、標識線を順次決定する様に演算処理を実行するも
のである。

【００５１】まず第１の領域Ａ、第２の領域Ｂにおいて
標識線を決定するのは、画面手前のほうが遠方よりも標
識線幅に対する画素数も多くエッジの状態も良く、前方
車などの障害物の混入も少ないからである。 また第１
の領域Ａ、第２の領域Ｂを広めに指定して標識線候補点
の個数を多く抽出することで、前方車の輪郭線による標
識線候補点が入っていても、誤った標識線候補点を除
き、正しく標識線が認識できる。また標識線が破線の場
合にも、第１の領域Ａ、第２の領域Ｂの縦方向の長さを
破線間の長さ以上に設定すれば標識線を抽出することが
可能となる。

【００５２】第３の領域Ｃで標識線が追跡によって求め
るのは、遠方では前方車などの障害物が混入する確率が
高く、標識線の曲がりも大きくなるために、画面中央か
らの探索では標識線を認識できないためである。つま
り、本発明に係る該第２の態様に於ける具体的構成とし
ては、自動車に搭載したＴＶカメラ１により記録された
道路画像５から、物体の輪郭線のみを抽出したエッジ画
像を作成し、該エッジ画像から、道路に表示された標識
線６を検出して認識するに際し、該エッジ画像における
自車両に近い路面部分に対応する領域の相当する画像画
面部分の略中央部分から２つの領域に分割せしめ、当該
画像画面部分の略中央部分から左側の領域を第１の領域
Ａとすると共に、右側の領域を第２の領域Ｂとなし、且
つ自車両から遠い当該画像画面部分における路面部分に
対応する画面領域を第３の領域Ｃとする画面領域に分割
し、該第１の領域Ａでは該中央部分付近から左方向に、
又該第２の領域Ｂでは該中央部分付近から右方向に複数
の標識線候補点を探索することにより、該第１の領域Ａ
及び第２の領域Ｂにおいて標識線を決定し、又該第３の
領域Ｃでは該第１と第２の領域Ａ、Ｂで探索された標識
線位置から該標識線を延長、追跡して標識線を順次、探
索し決定する様に構成されている道路環境認識装置であ
る。

【００５３】本具体例に於いて、前記第１の領域Ａと第
２の領域Ｂに於いて、中央部からそれぞれ反対方向に画
素値の検出走査を実行するが、検出走査は、第１の領域
Ａと第２の領域Ｂに於いて互いに同期させて実行される
ものである。本発明に係る上記具体例に於いては、該Ｔ
Ｖカメラ１により記録された道路画像５から、物体の輪
郭線のみを抽出したエッジ画像を作成するに際し、全画
面領域でエッジ画像を作成する。

【００５４】該道路画像を構成する画素群を、前述した
所定の空間フィルターを用いて水平方向に走査しなが
ら、各画素値の垂直方向のエッジ成分の絶対値を求め、
該各画素値の絶対値が、予め定められたしきい値を越え
る画素部分を標識線等のエッジ点と決定する様に構成さ
れているものである。次に、本発明に係る道路環境認識
装置の第２の態様に於ける標識線の認識方法の具体例を
図９から図２０を参照しながら詳細に説明する。

【００５５】図９は、本具体例を構成するブロックダイ
アグラムが示されており、特に前記した図７に於けるブ
ロックダイアグラムに対して、近方における標識線の決
定手段４５の構成がより詳しく説明されている。つま
り、本具体例に於いては、近方における標識線の決定手
段４５は、白線を含む標識線候補抽出手段５３、レーン
幅による検証手段５４、標識線決定手段５５及び標識線
補間手段５６とから構成されたものである。

【００５６】図９の構成に於ける操作手順を図１０のフ
ローチャートに従って説明するならば、ＴＶカメラ１で
捉えた画像５をエッジ画像抽出手段２で物体の輪郭線の
みを抽出した画像に変換した後、ステップ（１）に於い
て、図８に示す様に、標識線候補点抽出手段５３で第１
の領域Ａ、第２の領域Ｂそれぞれにおいて、複数の標識
線候補点５１を抽出する。更に、ステップ（２）に於い
て、第１の領域Ａ、第２の領域Ｂの標識線候補点５１の
結果からレーン幅による検証手段５４で、特に標識線６
である可能性の高い点（有力な標識線候補点５７と称す
る）を選び、ステップ（３）に於いて、標識線決定手段
５５で該標識線候補点５１の連続性や有力な標識線候補
点５７を含む割合などから実際の標識線６を決定する。

【００５７】又、ＴＶカメラ１からの距離が最も近い画
面上の水平線を画面上の最近線５８とすると、この決定
した標識線６が最近線５８上まで求められなかった場合
や、第１の領域Ａ、第２の領域Ｂのどちらかしか標識線
６を決定できなかった場合には、ステップ（４）におい
て、標識線補間手段５６で標識線６を補間して当該標識
線を決定する様に構成しても良い。

【００５８】そしてステップ（５）に於いては、遠方へ
の標識線追跡手段４６で第３の領域Ｃ内に於いて、第１
の領域Ａ及び／又は第２の領域Ｂに於いて求められた標
識線６を上方向へ追跡しながら延長して、遠方位置の標
識線も決定する。更に、標識線位置算出手段４７で実際
の路面上での標識線位置を算出する。上記した本発明の
第２の態様に於ける具体例に於いて、エッジ画像抽出手
段２では、本発明に係る第１の態様に於いて説明したと
同様に、濃淡画像からエッジ検出用の空間フィルタ処理
を行うことにより、物体の輪郭線のみを抽出したエッジ
画像を得る。エッジ検出用の空間フィルタ処理はいくつ
かあるが、図６に示される様なＳＯＢＥＬオペレータに
よる方法が一例として採用出来、本具体例に於いては、
図６(a) に示された垂直方向のエッジの検出オペレータ
を用いるものである。

【００５９】即ち、道路画像における標識線の輪郭を認
識する場合には、垂直方向のエッジが最も重要であるか
らであり、特に高速道路の場合、道路の曲率から垂直エ
ッジしか問題にならない場合が多い。図６(a) の空間フ
ィルタ処理による垂直エッジ値の絶対値が予め定めたし
きい値を越えている画素で、正のエッジ値をとるものを
正エッジ、負の値をとるものを負エッジと呼ぶ。

【００６０】即ち、濃淡画像に於いて、画素値が画面右
方向に向かって高い値から低い値になる時で、かつ高い
値と低い値の濃度差が予め定められたしきい値より大き
な値となる点が正エッジ、低い値から高い値になる時
で、かつ低い値と高い値との濃度差が予め定められたし
きい値より大きな値となる点が負エッジとなる。正負の
エッジのみを抽出した画像の例は図１１のようになる。

【００６１】つまり、本発明に係る画像処理に於いて
は、一つの画素値を０〜２５５の２５６段階のレベルで
表示しており、標識線として例えば白線を認識しようと
する場合には、０を黒、２５５を白と定め、その間をレ
ベル値の異なる灰色に設定している。従って、今、図１
１に示す様に、道路画像５の中央部から左右方向に水平
に各画素を走査して行き、白線のエッジ部分に相当する
画素の画素値が検出されると画素値は高くなり、正エッ
ジＳが発生し、又白線から離反する他のエッジ部分に相
当する画素の画素値は低くなり負エッジＦが発生する事
になる。

【００６２】図１２は、係る検出状態を示したものであ
る。即ち、本発明に係る上記具体例に於いては、当該エ
ッジ画像は、該所定の空間フィルターを用いて得られた
画素値が、正となる複数の正エッジと、該画素値が、負
となる複数の負エッジとから構成されるものであり、又
標識線を認識する方法としては、該第１の領域Ａ、及び
第２の領域Ｂのそれぞれに於いて、当該エッジ画像を水
平方向に走査する場合に、一走査中に少なくとも隣接す
る２個のエッジ部分が存在しており、且つ該互いに隣接
する２個のエッジ部分の一方が正エッジであり又他方が
負エッジである場合であって、両エッジ間の間隔ｍが、
予め設定された標識線の幅Ｍの範囲内の間隔を有してい
る場合に、当該正負エッジ若しくはその両者の間の任意
の点を標識線候補点５１として抽出する様に構成されて
いる。

【００６３】本発明に於ける具体例に於いては、標識線
候補点抽出手段５３によって、複数の標識線候補点５１
が抽出される。係る操作は、第２の領域Ｂについても同
様なので、第１の領域Ａについてのみ説明する。図１２
に示すように探索領域内で水平方向で左方向の探索方向
に沿って、標識線の特徴を持った標識線候補点５１を探
索する。

【００６４】水平方向の探索において正エッジＳ、負エ
ッジＦの順でエッジが得られ、かつエッジ間の画素の間
隔ｍが、予め設定した標識線幅Ｍの範囲内に入っている
場合、標識線候補点５１とする。自動車に搭載したＴＶ
カメラの取り付け位置の高さ・俯角等は既知であり、実
際の路面上での距離から、画面上の距離に変換すること
ができ、実際の標識線幅Ｍに相当する画面上での幅を用
いて検証を行うことが標識線を認識するのに有効であ
る。

【００６５】尚、第２の領域Ｂの場合は、エッジの出て
くる順番は負エッジ、正エッジの順となる。次に、本発
明に於けるレーン幅による検証手段５４では、図１３に
示す様に、第１の領域Ａ、第２の領域Ｂで得られた同じ
水平軸上の左右の標識線候補点間５１、５７の間隔ｄが
予め設定したレーン幅Ｄに対して所定の許容範囲内であ
る場合、これら左右の候補点５１と５７は特に標識線６
である可能性の高い点であるとし、有力な標識線候補点
５１’５７’とする。

【００６６】標識線決定手段５５での処理のフローチャ
ートを図１４に示す。尚、係る操作フローチャートは、
第１の領域Ａ、第２の領域Ｂとも同じ処理である。該標
識線決定手段５５に於いては、前記した工程迄で、一応
の白線を含む標識線を認識しえる候補部分が検出された
ので、当該標識線候補部分を実際の標識線と認められる
か否かを判断しようとするもので有る。

【００６７】つまり、実際の道路上に設けられている白
線等の標識線は、連続状のもの、破線状のもの、横断歩
道、若しくは車間距離を確認する為のマーク等種々存在
しており、又それらの幅もそれぞれ異なっている。即
ち、当該標識線の幅が細線の場合は、連続線か破線の場
合が多く、然も比較的長い実線部分の長さを持っている
が、当該標識線の幅が太線の場合は、合流車線や登坂車
線のような短い破線の場合が多い為、連続性による標識
線の決定が難しい場合が多い。

【００６８】その為、本発明に係る上記具体例に於いて
は、まず、スタート後、ステップ（１００）に於いて、
当該標識線の幅が太線か細線かの判断を行い、当該標識
線の幅が細い場合には、即ちステップ（１００）でＮＯ
の場合、後述するステップ（１０１）をスキップしてス
テップ（１０２）に進み、当該ステップ（１０２）に於
いて、その標識線を連続性を持った標識線候補として採
用するが、ステップ（１００）に於いて当該標識線の幅
が太い場合、即ちステップ（１００）でＹＥＳの場合に
は、ステップ（１０１）に進み、、当該標識線の幅が太
い太線のみの標識線候補点間を補間した点も標識線候補
点とする。

【００６９】次いで、ステップ（１０２）に進み、当該
標識線候補点の連続性に基づいて標識線候補を決定す
る。具体的には、図１５に示される様に、例えば、第１
の領域Ａを示すエッジ画像に於いて、３個の標識線候補
点５１を含んだ第１の標識線候補点群６０と当該第１の
標識線候補点群６０の長手方向の軸線上若しくはその近
傍に、該第１の標識線候補点群６０とは分離された形
で、３個の標識線候補点５１を含んだ第２の標識線候補
点群６１が存在している事が確認された場合、両標識線
候補点群６０、６１の間の部分６２に標識線候補点５１
を適宜追加して補間し、その全体が連続しているものと
見做せる様にするもので有る。

【００７０】つまり、該第１及び第２の各領域Ａ、Ｂに
おいて求められた、標識線候補点のうち、当該標識線の
幅が太線か細線かを判別し、太線の場合は太線のみの標
識線候補点間を、一定間隔で補間した点も標識線候補点
とするもので有る。又、本発明に係る具体例の他の例と
しては、図１６に示す様に、上記の手順により求められ
たこれらの候補点５１を実際の路面上の座標系の上にプ
ロットし、長手方向に隣接する、つまり、たて方向にと
なりあった他の標識線候補点５１との位置のずれが、予
め設定されたしきい値より小さく、かつ隣接する標識線
候補点５１の標識線幅の差が予め設定された範囲以下で
ある標識線候補点同士を連結していき、この連結数が予
め設定した個数以上になれば、その標識線候補点の集合
を標識線候補６３とする。

【００７１】即ち、本具体例に於いては、該第１及び第
２の各領域Ａ、Ｂのそれぞれにおいて求められた、道路
の長手方向に隣接する複数の標識線候補点若しくは複数
組の標識線候補点群間の相互間の位置のずれが予め設定
されたしきい値よりも小さく、且つ隣接する該標識線候
補点若しくは標識線候補点群間同志の標識線の幅の差が
予め設定された範囲以下である標識線候補点同士を連結
していき、この連結される該標識線候補点の数が予め設
定した個数以上になった場合には、当該標識線候補点の
集合、若しくは標識線候補点群の集合を標識線候補とす
る様に構成されているものである。

【００７２】更に、本発明に於いては、該第１及び第２
の各領域Ａ、Ｂのそれぞれにおいて求められた、道路の
長手方向に隣接する複数個の標識線候補点群の内に、前
記した有力な標識線候補点の数が予め設定した個数以上
含まれている場合には、当該標識線候補点群の集合を標
識線候補とする様にする事も可能である。続いて、ステ
ップ（１０３）に於いては、このようにして得た標識線
候補のうち、有力な標識線候補点が予め設定した個数
（Ｎ）以上含んでいるか否か、が判断され、有力な標識
線候補点が予め設定した個数（Ｎ）以上含んでいる場合
は、その標識線候補を標識線６と決定する。

【００７３】例えば図１６においてＮ＝３の場合は標識
線候補６３は、標識線６とは判断されないが、標識線候
補６４は、有力な標識線候補点５１’を３個数含んでい
ので、標識線６となる（ステップ（１０５））。もし有
力な標識線候補点５１’を３個以上含んだ標識線候補６
３が複数存在した場合は、ステップ（１０４）に於い
て、図１５と同じ方法で両標識線候補６３、６４間を適
宜補間し、全体を標識線６と決定する。

【００７４】もし、有力な標識線候補点５１’をＮ個以
上含んだ標識線候補が存在しない場合は、ステップ（１
０６）に於いて、候補点の個数が最も多い標識線候補を
標識線６と決定する。つまり、本発明に係る上記具体例
に於いては、該第１及び第２の各領域Ａ、Ｂのそれぞれ
において求められた、道路の長手方向に隣接する複数個
の標識線候補点群の内に、前記した有力な標識線候補点
の数が予め設定した個数以上含まれている標識線候補点
群が複数個存在する場合、当該標識線候補点群間を補間
して標識線を決定する様にしても良く、又該第１及び第
２の各領域Ａ、Ｂのそれぞれにおいて求められた複数個
の標識線候補の内で、標識線候補点の個数が最も多い標
識線候補を標識線として決定する様にしても良い。

【００７５】本発明に於ける標識線補間手段５６では、
ＴＶカメラ１からの距離が最も近い画面上の水平線を画
面上の最近線５８とすると、第１の領域Ａ、第２の領域
Ｂそれぞれにおいて、決定した標識線６が画面上の最近
線５８と共通点を持たない場合には、図１７に示す様
に、得られた標識線部分６から最近線５８に向かって引
いた延長線を以てその間を補間し、その全体を標識線６
とする事も出来る。

【００７６】一方、本発明に係る上記具体例に於いて、
第１の領域Ａまたは第２の領域Ｂのどちらかで標識線６
が決定できなかった場合、図１８に示す様に、標識線の
決定できた方の領域の、標識線６中の標識線候補点５１
から標識線のレーン幅の距離Ｄを用いて、他方領域での
点５１”を補完することで標識線６を決定する事も可能
である。

【００７７】係る処理により、片側の標識線６がかすれ
ているなどの要因で認識できないような場合でも、標識
線６の位置を決定することができる。また前方車１０が
片側の標識線６を隠すような場合にもその標識線６を認
識することができる。つまり、本発明に於いて、該第１
及び第２の各領域Ａ、Ｂの何れかの領域において、標識
線を決定出来なかった場合には、標識線を決定できた一
方の当該領域の標識線中の標識線候補点から、予め設定
された標識線のレーン幅の距離だけ離れた他方の当該領
域の点を標識線候補点と見做し、係る見做し標識線候補
点間を補間した線を標識線として決定するものである。

【００７８】更に、本発明に於いて、遠方への追跡手段
４６では、上記した方法により決定した第１の領域Ａ、
第２の領域Ｂの標識線６を第３の領域Ｃの上方向に延長
して追跡するもので有る。即ち、第１の領域Ａ、第２の
領域Ｂそれぞれで決定した標識線に対し、図１９に示さ
れている様に、標識線６の輪郭線である正負のエッジ
Ｓ、Ｆに沿って、上方向に追跡していく。

【００７９】又、第１の領域Ａ、第２の領域Ｂで得られ
た標識線６が破線の場合などエッジが途切れて追跡が中
止されるような場合は、図２０に示される様に、予め認
識された破線６’の探索領域だけ延長して、新たな探索
領域７０を形成し、認識できた標識線部分６’の延長線
方向に標識線候補点抽出と同じ方法で標識線６を探索
し、標識線６”が見つかれば再びエッジを追跡する様に
構成しても良い。

【００８０】更に、本発明に於ける上記具体例に於いて
は、前記した標識線決定手段５５で有力な標識線候補点
を検出する構成に替えて、標識線候補点の個数が最も多
い標識線候補点を標識線と決定する事も望ましい。又、
上記標識線決定手段５５や標識線補間手段５６で標識線
幅やレーン幅を予め設定したしきい値ではなく、前の画
面に求めたそれぞれの値を用いて検証を行う事も可能で
ある。

【００８１】尚、以上説明した具体例に於いては、捉え
た画面の上端が最も遠方となるＴＶカメラの設置方法を
前提として説明したが、勿論、本発明はＴＶカメラの設
置方向にはよらず、成立するものである。以上説明した
様に、本発明の上記具体例によれば前方に車が存在した
り標識線が破線の場合でも、道路画像から標識線を認識
することが可能となる。また影が混入する道路画像でも
標識線を認識することが可能となる。

【００８２】次に、本発明に係る道路環境認識装置の第
３の態様に関する具体例を以下に説明する。即ち、本発
明は、走行する自動車に搭載したＴＶカメラ１で捉えた
画像から、上記のような如何なる状況でも標識線及び前
方車輌とを認識できる装置を提供するものであること
は、既に説明した通りであり、係る目的をより正確に且
つ確実に達成する為に以下の構成からなる道路環境認識
装置が提供されるのである。

【００８３】つまり、本発明に係る第３の態様の道路環
境認識装置では、前記した第１及び第２の態様で使用し
た道路環境認識装置と基本的構成が同一である道路環境
認識装置を用いるもので有って、特に、自動車に搭載し
たＴＶカメラ１により得られる道路画像５から、物体の
輪郭線のみを抽出したエッジ画像を作成するに際し、当
該ＴＶカメラ１により得られる道路画像５に残像効果付
与処理を実行した後、該エッジ画像を作成する様に構成
したもので有る。

【００８４】本発明に於ける該残像効果付与処理として
は、特に限定されるものではないが、例えば当該残像効
果付与処理は、該ＴＶカメラ１により得られる複数の連
続した道路画像５に平滑化処理を施すものであっても良
く、具体的には、例えば、自動車に搭載したＴＶカメラ
１に逐次的に得られる複数枚の道路画像５に於ける第１
の道路画像と該第１の道路画像に続いて得られる第２の
道路画像とを対比させ、両道路画像に於ける、同一の座
標位置が示す画素値の差が予め設定した範囲内ならば、
当該第１の道路画像の画素値を変更せず、該第１の道路
画像と該第２の道路画像とに於ける、同一の座標位置が
示す画素値の差が予め設定した範囲外で有る場合には、
当該第１の道路画像の画素値を予め設定した所定の値だ
け該第２の道路画像の画素値に近づける演算処理を実行
して、当該第１の道路画像の画素値を更新する操作を実
行し、更に係る操作を繰り返すことにより平滑化画像を
作成し、該平滑化画像に基づいて、前記した第１及び第
２の態様に於いて説明した各種の画像処理を実行する様
にしたものである。

【００８５】又、本発明の該具体例に於いて、該第１の
道路画像と該第２の道路画像とに於ける、同一の座標位
置が示す画素値の差が予め設定した範囲外で有る場合に
は、当該第１の道路画像の画素値を前記した両画像の画
素値の差に対して予め設定した所定の割合だけ該第２の
道路画像の画素値に近づける様な演算処理を実行するも
のであっても良い。

【００８６】本発明に於ける第３の態様に於いては、当
該道路環境認識装置には、前記した前方車輌認識システ
ムと標識線認識システムの双方が同時に搭載されている
もので有っても良い。図２１は、本発明に係る第３の態
様に関する道路環境認識装置の構成例を示す概略ブロッ
クダイアグラムである。

【００８７】つまり、本具体例に於ける道路環境認識装
置は、ＴＶカメラ１、該ＴＶカメラ１により記録された
当該画像に対して上記した様な平滑化画像処理を実行す
る平滑化画像抽出手段２００、該平滑化画像抽出手段２
００の出力から、垂直エッジ画像を形成する垂直エッジ
画像抽出手段３０１、該垂直エッジ画像抽出手段３０１
の出力から標識線を認識する標識線認識手段３０２及び
標識線位置算出手段４で構成された標識線認識処理回路
部４００と、前記平滑化画像抽出手段２００の出力から
水平エッジ画像を形成する水平エッジ画像抽出手段３０
３、該水平エッジ画像抽出手段３０３の出力から前方車
輌の位置を認識する前方車輌認識手段３０４及び前方車
輌認識手段３０４の出力を利用して、当該前方車輌迄の
距離を算出する前方車輌距離算出手段３０５で構成され
た前方車輌認識処理回路部５００とから構成されてい
る。

【００８８】処で、垂直エッジ画像抽出手段３０１の代
わりに、標識線の色に関する画素データを利用して、２
値化した画像を作成し、当該２値化画像から白線を認識
する方法もある。又、図２１に於ける標識線認識手段３
０２は、前記した第２の態様に於いて使用された標識線
候補抽出手段５３、レーン幅による検証手段５４、標識
線決定手段５５、標識線補間手段５６及び遠方への標識
線追跡手段４６で構成されたもので有っても良い。

【００８９】更に、図２１に於ける前方車輌認識手段３
０４は、前記した第１の態様に於いて使用されている、
前方車輌の最下部決定手段３１、前方車輌の探索領域決
定手段３２、前方車輌位置決定手段３３を含むもので有
っても良い。次に、本具体例に於ける平滑化画像抽出手
段２００の構成及びその作用に付いて図２２を参照しな
がら説明する。

【００９０】図２１に示す様に、本具体例に於いては、
ＴＶカメラ１で捉えた画像を平滑化画像抽出部２００
で、影などの雑音を消去し、又標識線例えば白線の破線
部が補間された画像が形成され、当該処理画像から垂直
エッジ画像が垂直エッジ画像抽出手段３０１で抽出され
る。一方、ＴＶカメラ１で捉えた画像を平滑化画像抽出
部２００で、影などの雑音を消去した画像が形成され、
当該処理画像から水平エッジ画像が水平エッジ画像抽出
手段３０３で抽出される。

【００９１】特に本具体例に於いて、上記した平滑化画
像処理を行う事によって、自車との相対速度差が小さい
もの、画面上での移動が小さいかまたは停止している物
体のみを抽出し、エッジ画像抽出手段、特に３０３に於
いて前方車輌の輪郭線のみを抽出した画像を抽出し、前
方車認識手段３０４で水平方向に予め設定した長さをも
つ探索線を設け、自動車に近い路面部分における画面上
から遠方に向かって該探索線を移動させ、該探索線上の
エッジの状態が予め設定した条件を満たした場合、該探
索線を前方車の最下部と決定し、前方車距離算出手段３
０５で前方車までの距離を算出する。

【００９２】本発明における上記画像平滑化処理の一例
としては、図２２に示された様な手段を用いるもので有
る。つまり、画像平滑化処理手段２００に於いては、入
力画像データ６０１と平滑化画像データ６０２とが使用
されるもので有る。此処で、入力画像データ６０１は、
逐次ＴＶカメラ１から、適宜のサンプリングタイミング
に同期して入力されてくる新しい画像データであり、又
平滑化画像データ６０２は基準となる画像データであっ
て、最初のステップに於いては、該ＴＶカメラ１で最初
に形成された画像データがこれに相当するので、第１の
画像データと言う。

【００９３】これに対して前記の入力画像データは、第
２の画像データと言う。そこで、先ずステップ（１）で
は、第１のサンプリングタイミングに於いて、当該ＴＶ
カメラ１に於いて第１の画像データ６０２を形成してこ
れを適宜のメモリに格納しておく。ステップ（２）で
は、第２のサンプリングタイミングで、当該ＴＶカメラ
１に於いて第２の画像データ６０１を形成してこれを適
宜のメモリに格納する。

【００９４】ステップ（３）に於いては、当該第１と第
２の画像データ６０１と６０２を比較し、当該第１の画
像データ６０２と第２の画像データ６０１に於ける同じ
座標位置の画素値の差が予め設定した範囲内ならば、平
滑化画像、即ち第１の画像６０２の画素値を変更せず、
該第１の画像の画像データをそのまま出力画像データ６
０３として出力する。

【００９５】一方、該第１の画像データ６０２と第２の
画像データ６０１に於ける同じ座標位置の画素値の差が
予め設定した範囲外ならば、該第１の画像データ６０２
の画素値を予め設定した固定値だけ当該第２の画像デー
タの画素値に近づけた画素値で更新することで出力画像
データ６０３を作成する。以下、係る操作が繰り返され
ることにより平滑化画像データが絶えず更新されながら
残存効果を示す画像がえられる事になる。

【００９６】図２２に示されている様に、今、該第１の
画像データ６０２に於けるあるアドレスでの画素値がｉ
であり、第２の画像手段６０１に於ける同一アドレスで
の画素値がｊである場合、ｊ＜ｉ−α である場合に
は、当該出力画像データ６０３の同一アドレスに於ける
画素値ｋをｋ＝ｉ−β に設定し、又ｉ−α＜ｊ＜ｉ＋
α である場合には、当該出力画像データ６０３の同一
アドレスに於ける画素値ｋをｋ＝ｉに設定し、又ｉ＋α
＜ｊ である場合には、当該出力画像データ６０３の同
一アドレスに於ける画素値ｋをｋ＝ｉ＋β に設定する
ものである。

【００９７】ここで、ｉ、ｊ、ｋは同一の座標に於ける
画素値を示し、又、α、βは予め設定された値であって
α＞βの関係にあるものとする。つまり、本発明にか
かる上記の画像平滑化処理に於いては、第１の画像デー
タ６０２と第２の画像データ６０１の画素値の差が小さ
いところだけが、はっきりと抽出され、該画素値の差が
大きいところは、ぼやけて消去される。すなわち画面上
での動きが小さいまたは停止しているところだけが、は
っきりと抽出され、画面上での動きが大きいところは、
ぼやけて消去される。

【００９８】風景の影などは、自車との相対速度差が大
きいため、該平滑化画像ではこれらの影は消去される。
白線は、影などと同じく自車との相対速度差は大きい
が、白線は画面上での変化が少なく抽出することができ
る。白線が破線の場合でも、連続的に画面上の同じ位置
を流れるように移動するので破線が補間され、白線が連
続線になった平滑化画像が得られる。

【００９９】前方を走行している自動車は、自車との相
対速度差が小さいため、画面上では移動が小さいので抽
出することができる。以上、述べたように平滑化画像抽
出手段２００では、影などの雑音は除去された白線認識
及び前方車認識し易い画像を得ることができる。本具体
例に於いては、該平滑化画像抽出手段２００で上記した
残存効果を与える平滑化画像処理を実行する事によって
図２３に示される様な画像が得られる。

【０１００】図２３では、影などの雑音は消去され、白
線は破線が補間され連続線となり、その他の物体は前方
車だけが自車との相対速度が小さいため抽出された画像
を得ることができる。又、本発明の具体例として、該平
滑化画像抽出手段２００で第１と第２の画像データ６０
２と６０１での同じ座標位置の画素値の差が予め設定し
た範囲外のとき、平滑化画像の画素値を予め設定した固
定値だけ入力画像に近づけた画素値で更新するのではな
く、該差の予め設定した割合だけ入力画像に近づけた画
素値で更新することを繰り返すことにより平滑化画像を
作成する方法も可能である。

【０１０１】更に、本発明に於ける他の具体例として
は、路面の状況と、前方車との認識処理を同時に処理す
る構成として図２４に示すブロックダイアグラムからな
る構成を採用した道路環境認識装置とする事も出来る。
係る具体例では、例えば、図３１に示す様に、ＴＶカメ
ラ１で捉えた画像を平滑化画像抽出手段７００で影など
の雑音を除去し、白線破線の補間効果を利用して、白線
破線が連続線になった画像を抽出し、色抽出手段７０１
で、例えば白色の部分のみを抽出し、白線認識手段７０
２で特定レーンの白線位置を決定する。該白線認識処理
については図２１で説明したものと同一で有っても良
い。

【０１０２】この白線認識を行った同じ平滑化画像に対
し、水平エッジ画像抽出手段７０３で前方車輌物体の輪
郭線のみを抽出した画像を抽出し、前方車認識手段７０
４で前記白線認識手段７０２で求めた特定レーンの領域
内で前方車を認識する様に構成したものである。そし
て、前方車距離算出手段７０５で前方車までの距離を算
出する。該前方車認識７０４での処理内容は図２１の場
合と同じである。

【０１０３】係る具体例に於いては、特定レーンを予め
設定することで道路外の風景や雑音を除去して、より高
い精度で前方車が認識でき、また特定レーン内の前方車
のみを認識することができる。又、他の具体例として
は、図２４の変形となるが、図２５に示す様に、ＴＶカ
メラ１で捉えた画像を垂直エッジ画像抽出手段３０１で
物体の輪郭線のみを抽出した画像を抽出し、白線認識手
段３０２で特定レーンの白線位置を決定する。該白線認
識処理については、上記した第２の態様に於ける具体例
で説明した処理方法を使用する事が可能である。

【０１０４】一方、ＴＶカメラ１で捉えた同じ画像に対
し、平滑化画像抽出手段２００で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段３０３で物体
の輪郭線のみを抽出した画像を抽出し、前方車認識手段
３０４で白線認識手段３０２で求めた特定レーンの領域
内で前方車を認識し、前方車距離算出手段３０５で前方
車までの距離を算出する。該前方車認識手段３０４での
処理内容は図２１の場合と同じである。

【０１０５】本具体例に於いても、前記具体例の場合と
同様、特定レーンを決定することが出来、道路外の風景
や雑音を除去して、より高い精度で前方車が認識でき、
また特定レーン内の前方車のみを認識することができ
る。又、更に他の具体例としては、図２５の変形となる
が、図３２に示す様に、ＴＶカメラ１で捉えた画像をエ
ッジ画像抽出手段２で物体の輪郭線のみを抽出した画像
を抽出し、白線認識手段３０２で特定レーンの白線位置
を決定する。該白線認識処理については、上記した第２
の態様に於ける具体例で説明した処理方法を使用する事
が可能である。

【０１０６】一方、ＴＶカメラ１で捉えた同じ画像に対
し、平滑化画像抽出手段２００で影などの雑音を除去し
た画像を抽出し、水平エッジ画像抽出手段３０３で物体
の輪郭線のみを抽出した画像を抽出し、前方車最下部決
定手段８００で白線認識手段３０２で求めた特定レーン
の領域内で前方車の最下部を決定する。 該前方車最下
部決定手段８００での処理内容は、第１の態様で使用さ
れている前方車最下部決定手段３１を使用することが可
能である。

【０１０７】この様にして求めた前方車の最下部から、
前方車認識手段３０４に於いて、該エッジ画像抽出手段
２からの画像中で前方車の位置を決定し、前方車距離抽
出手段３０５で前方車までの距離を算出する。該前方車
認識手段３０４での処理内容は図２１の場合と同じであ
る。本具体例に於いても、前記具体例の場合と同様、特
定レーンを決定することが出来、道路外の風景や雑音を
除去して、より高い精度で前方車が認識でき、また特定
レーン内の前方車のみを認識することができる。

【０１０８】以上、捉えた画面の上端が最も遠方となる
ＴＶカメラの設置で、実施例などを示したが勿論、本発
明はＴＶカメラの設置方向にはよらず、成立するもので
ある。

【０１０９】

【発明の効果】以上、説明したように本発明によれば、
自動車に搭載したＴＶカメラ等の画像記録手段で捉えた
入力画像から、影などの雑音が画像中に多く含まれてい
るような場合でも、容易に且つ正確に標識線である白
線、黄色線、或いは破線等の位置を認識でき、かつ前方
車の位置を正しく認識することができるので、安全運転
に貢献する多くの正確な情報を得ることが出来る。

【図面の簡単な説明】

【図１】図１は、本発明に係る道路環境認識装置に於け
る第１の態様での前方車認識システムの構成例を示すブ
ロックダイアグラムである。

【図２】図２は、本発明に係る道路環境認識装置に於け
る標識線認識手段を用いた処理結果を説明する図であ
る。

【図３】図３は、本発明に於ける道路環境認識装置で
の、前方車の最下部決定手段における処理方法を説明す
る図である。

【図４】図４は、本発明に係る道路環境認識装置に於け
る前方車の探索領域決定手段に於ける処理方法の一例を
説明する図である。

【図５】図５は、本発明に係る道路環境認識装置に於け
る前方車位置決定手段に於ける処理方法の一例を説明す
る図である。

【図６】図６は、本発明に係る道路環境認識装置に於い
て使用されるエッジ検出用空間フィルタの一例であるＳ
ＯＢＥＬオペレータを示す図である。

【図７】図７は、本発明に於ける道路環境認識装置に於
ける第２の態様に関する一具体例の構成の概略を示すブ
ロックダイアグラムである。

【図８】図８は、本発明に係る第２の形態における具体
例での標識線認識方法の一例を説明する図である。

【図９】図９は、本発明に係る第２の態様のより具体例
な構成を示すブロックダイアグラムである。

【図１０】図１０は、本発明に係る第２の態様に於ける
道路環境認識装置の演算処理の流れを示すフローチャー
トである。

【図１１】図１１は、図７の本発明に係る第２の態様で
の道路環境認識装置に於ける垂直エッジによる画像の例
を示す図である。

【図１２】図１２は、本発明に係る道路環境認識装置に
於ける標識線の検証方法の一例を示す図である。

【図１３】図１３は、本発明に係る道路環境認識装置に
於ける標識線の線幅による検証方法の一例を示す図であ
る。

【図１４】図１４は、本発明に係る第２の態様での道路
環境認識装置で使用される標識線決定手段の操作手順を
示すフローチャートである。

【図１５】図１５は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線決定手段における太
線の場合の標識線候補点の補間例を示す図である。

【図１６】図１６は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線決定手段における白
線の決定に関する他の例を示す図である。

【図１７】図１７は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線補間手段における標
識線の画面上の最近線への延長処理の例をを示す図であ
る。

【図１８】図１８は、本発明に係る第２の態様での道路
環境認識装置で使用される、標識線補間手段における片
側の認識標識線からの他方の標識線の補完処理の例を示
す図である。

【図１９】図１９は、本発明に係る第２の態様での道路
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線のエッジ追跡の例を示す図である。

【図２０】図２０は、本発明に係る第２の態様での道路
環境認識装置で使用される、遠方への白線追跡手段にお
ける標識線破線に対する探索領域の決定標識線のエッジ
追跡の例を示す図である。

【図２１】図２１は、本発明に係る第３の態様での道路
環境認識装置で使用される、構成の例を説明するブロッ
クダイアグラムである。

【図２２】図２２は、本発明に係る第３の態様での道路
環境認識装置で使用される、平滑化画像抽出手段に於け
る平滑化処理の一例を説明する図である。

【図２３】図２３は、本発明に係る第３の態様での道路
環境認識装置に於いて平滑化画像処理を行って得られた
平滑化画像の一例を示す図である。

【図２４】図２４は、本発明に係る第３の態様での道路
環境認識装置に関する他の具体例の構成を説明するブロ
ックダイアグラムである。

【図２５】図２５は、本発明に係る第３の態様での道路
環境認識装置に関する更に他の具体例の構成を説明する
ブロックダイアグラムである。

【図２６】図２６は、従来に於ける道路環境認識装置で
使用されている標識線認識システムの構成の一例を示す
ブロックダイアグラムである。

【図２７】図２７は、従来の道路環境認識装置に於いて
道路面に設けられた標識線を認識する方法の例を説明す
る図である。

【図２８】図２８は、従来の道路環境認識装置に於いて
標識線が認識出来ない場合の例を説明する図である。

【図２９】図２９は、従来に於ける道路環境認識装置で
使用されている前方車輛認識システムの構成の一例を示
すブロックダイアグラムである。

【図３０】図３０は、従来の道路環境認識装置に於いて
前方車輛を誤認識する場合の例を説明する図である。

【図３１】図３１は、図２１に示される本発明に係る道
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。

【図３２】図３２は、図２１に示される本発明に係る道
路環境認識装置の他の例に於ける構成の例を説明するブ
ロックダイアグラムである。

【符号の説明】

１…ＴＶカメラ ２…エッジ画像抽出手段 ３…標識線（白線）候補点抽出手段 ４…標識線（白線）位置算出手段 ５…道路画像 ６、６’、６”…標識線（白線） ７、８…標識線のエッジ部 ９、５１、５７…標識線候補点 １０…前方車輛 １１…間違って認識した標識線候補点 １２…影の部分 ２０…前方車輛探索手段 ２１…前方車輛位置抽出手段 ３０…標識線（白線）認識手段 ３１…前方車輛の最下部決定手段 ３２…前方車輛の探索領域決定手段 ３３…前方車輛位置決定手段 ３４…前方車輛距離算出手段 ３７…水平エッジ部 ３８…探索線 ３９…前方車輛の最下部 ４０…レーンの中央線 ４１…探索領域 ４２…移動枠体 ４５…近方に於ける標識線（白線）の決定手段 ４６…遠方に於ける標識線（白線）の追跡手段 ４７…標識線（白線）位置算出手段 ５２…画面中央縦線 ５３…標識線（白線）候補点抽出手段 ５４…レーン幅による検証手段 ５５…標識線（白線）決定手段 ５６…標識線（白線）補間手段 ５１’、５７’…有力な標識線候補点 ５８…画面上の最近線 ６０、６１、６３、６４…標識線（白線）候補 ６２、５１”…補間された標識線（白線）候補点部分 ７０…破線の探索領域 ２００、７００…平滑化画像抽出手段 ３０１…垂直エッジ画像抽出手段 ３０２、７０２…標識線（白線）認識手段 ３０３、７０３…水平エッジ画像抽出手段 ３０４、７０４…前方車輛認識手段 ３０５、７０５…前方車輛距離算出手段 ４００…標識線認識処理回路部 ５００…前方車輛認識処理回路部 ６０１…入力画像データ ６０２…平滑化画像データ ６０３…出力画像データ ７０１…色抽出手段 ８００…前方車最下部決定手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鎌田 洋 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平３−282709（ＪＰ，Ａ) 特開 平３−296200（ＪＰ，Ａ) 特開 平４−36878（ＪＰ，Ａ) 特開 平５−151341（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G08G 1/16

Claims (34)

(57)【特許請求の範囲】
1. 【請求項１】 道路環境認識装置であって、 自動車に搭載したＴＶカメラにより得られる道路画像か
   ら、物体の輪郭線のみを抽出したエッジ画像を作成する
   エッジ画像作成手段と、 前記エッジ画像作成手段で作成された道路画像のエッジ
   画像について、探索線を移動させて当該画像中に存在す
   る水平エッジ部分を検出する水平エッジ部分検出手段
   と、 当該探索線を自車両から遠い路面部分に向かう方向に予
   め定められた範囲で移動させる探索線移動手段と、 前記水平エッジ部分検出手段により前記探索線の移動に
   伴って検出された水平エッジ部分の配置状態から、自車
   両の前方を走行している自動車の最下部を決定する最下
   部決定手段と、を備え、 前記水平エッジ部分検出手段は、探索線を移動させて当
   該画像中に存在する水平エッジ部分を検出するに際し
   て、当該探索線を予め設定したサンプリング間隔で移動
   させて画素値を抽出し，サンプリングした画素のうち水
   平エッジの成分を含んでいる画素数が予め設定した数値
   以上になれば，前記探索線上に存在している水平エッジ
   部分に前方車両の最下部が存在していると判断される車
   両の最下部候補線とし、 前記探索線移動手段は、前記探索線を前記車両の最下部
   候補線から、自車両から見て遠い路面部分に向かう方向
   に予め定められた範囲で移動させ、 前記最下部決定手段は、それぞれの位置で前記車両の最
   下部候補線の有無を判断し、前記探索線の移動範囲内に
   おいて、予め設定した数値以上の車両の最下部候補線が
   存在している場合に、最初に設定された車両の最下部候
   補線上に、前方車両の最下部が存在していると判断す
   る、 ことを特徴とする道路環境認識装置。
2. 【請求項２】 道路環境認識装置であって、 自動車に搭載し道路画像を得るＴＶカメラ、 当該ＴＶカメラにより得られた道路画像から、物体の輪
   郭線のみを抽出したエッジ画像を作成するエッジ画像作
   成手段、 前記エッジ画像において、予め設定した探索線を自車両
   から遠い路面部分に向かって移動させながら、探索線上
   の水平エッジの状態をみて、前方車輛と路面との境界線
   を見つけ出し前方車輛の最下部を決定する最下部決定手
   段、 前記前方車輛の最下部決定手段で決定された最下部部分
   での前方車輛の左右の位置を判断する領域を設定する前
   方車輛の探索領域決定手段、 前記探索領域決定手段で決定された前方車輛の探索領域
   内の水平エッジ成分の数をカウントするカウント手段を
   用い、前方車輛の左右の位置を決定する前方車輛位置決
   定手段と、を備え、 さらに、前記探索線上に存在する水平エッジ部分を、予
   め設定したサンプリング間隔で画素値を抽出し、サンプ
   リングした画素のうち水平エッジの成分を含んでいる画
   素数が予め設定した数値以上になれば、前記探索線上に
   存在している水平エッジ部分に前方車両の最下部が存在
   していると判断される車両の最下部候補線と見なす最下
   部候補線見なし手段を設け、 当該車両の最下部候補線の数が、前記探索線の所定の移
   動範囲内において所定の数以上であれば、最初に前記探
   索線が設定された水平エッジ部分を自車両の前方を走行
   している車両の最下部と判定する最下部判別手段とを設
   けた、 ことを特徴とする道路環境認識装置。
3. 【請求項３】 前記探索領域決定手段は、車両の最下部
   が存在していると判断された当該水平エッジ部分を下辺
   とする予め設定された高さと幅を有する前方車両位置探
   索領域を設定する事により、前方車両位置を探索する様
   に構成された事を特徴とする請求項２に記載の道路環境
   認識装置。
4. 【請求項４】 前記前方車両位置探索領域内の水平エッ
   ジの特徴分布から前方車両位置を探索する様に構成され
   た事を特徴とする請求項３に記載の道路環境認識装置。
5. 【請求項５】 前記前方車両位置探索領域内の水平エッ
   ジに於ける当該水平エッジ成分を含む画素の垂直方向の
   投影値に基づいて、当該前方車両位置を探索する様に構
   成された事を特徴とする請求項４に記載の道路環境認識
   装置。
6. 【請求項６】 前記前方車両位置探索領域内に、所定の
   大きさを有する認識枠を設け、当該認識枠を該前方車両
   位置探索領域内で移動させると共に、その枠内での水平
   エッジ成分を含んでいる画素数が最も多くなる認識枠位
   置を、前方車位置と決定する様に構成された事を特徴と
   する請求項４に記載の道路環境認識装置。
7. 【請求項７】 前記前方車両位置探索領域内に、所定の
   大きさを有する認識枠を設け、当該認識枠内の垂直方向
   の中心線に対する左右の対称性を検出し、最も対称性が
   高い認識枠位置を前方車位置と決定する様に構成された
   事を特徴とする請求項４に記載の道路環境認識装置。
8. 【請求項８】 前記前方車両位置探索領域内に、所定の
   大きさを有する認識枠を設け、当該認識枠を該前方車両
   位置探索領域内で移動させると共に、その枠内での水平
   エッジ成分を含んでいる画素数と該認識枠内の垂直方向
   の中心線に対する左右の対称性を検出し、当該左右の対
   称度から前方車領域を表す評価値を設け、該評価値が最
   も高い領域を当該前方車位置と決定する様に構成された
   事を特徴とする請求項６又は７に記載の道路環境認識装
   置。
9. 【請求項９】 前記前方車両位置探索領域内に、所定の
   大きさを有する認識枠を設け、当該認識枠を該前方車両
   位置探索領域内で移動させると共に、その枠内での水平
   エッジ成分を含んでいる画素数が最も多くなると同時に
   当該認識枠内の垂直方向の中心線に対する左右の対称性
   を検出し、最も対称性が高くなる認識枠位置を前方車位
   置と決定する様に構成された事を特徴とする請求項６又
   は７に記載の道路環境認識装置。
10. 【請求項１０】 該ＴＶカメラの自車両に於ける設置条
    件と画面上における位置から、該画面位置に対応する実
    際の大きさが一定であるように、画面上での探索領域や
    認識枠の大きさを設定する様にした事を特徴とする請求
    項１乃至９の何れかに記載の道路環境認識装置。
11. 【請求項１１】 当該決定された前方車の最下部から自
    車両迄の実際の路面上の距離を求める手段を設けた事を
    特徴とする請求項１乃至１０の何れかに記載の道路環境
    認識装置。
12. 【請求項１２】 該道路環境認識装置は、更に、道路に
    於ける車両の走行レーンを規定する標識線を認識すると
    共に、当該標識線により特定される車両の走行レーン内
    に於いて前方車位置を探索する様に構成されている事を
    特徴とする請求項１乃至１１の何れかに記載の道路環境
    認識装置。
13. 【請求項１３】 道路環境認識装置であって、 自動車に搭載したＴＶカメラにより記録された道路画像
    から、物体の輪郭線のみを抽出したエッジ画像を作成す
    る手段と、 該エッジ画像から、道路に表示された標識線を検出して
    認識する手段と、 該エッジ画像における自車両に近い路面部分に対応する
    領域の相当する画像画面部分の略中央部分から２つの領
    域に分割し、当該画像画面部分の略中央部分から左側の
    領域を第１の領域Ａとすると共に、右側の領域を第２の
    領域Ｂとなし、且つ自車両から遠い当該画像画面部分に
    おける路面部分に対応する画面領域を第３の領域Ｃとす
    る画面領域に分割する手段と、 該第１の領域Ａでは該中央部分付近から左方向に、又該
    第２の領域Ｂでは該中央部分付近から右方向に複数の標
    識線候補点を探索する手段と、 該第１の領域Ａ及び第２の領域Ｂにおいて標識線を決定
    し、又該第３の領域Ｃでは該第１と第２の領域Ａ，Ｂで
    探索された標識線位置から該標識線を延長、追跡して標
    識線を順次，探索し決定する手段と、 を具備する道路環境認識装置。
14. 【請求項１４】 該ＴＶカメラにより記録された道路画
    像から、物体の輪郭線のみを抽出したエッジ画像を作成
    するに際し、該第１の領域Ａ，第２の領域Ｂ及び第３の
    領域Ｃのそれぞれに於いて、該道路画像を構成する画素
    群を、所定の空間フィルターを用いて水平方向に走査し
    ながら、各画素値の絶対値を求め、該各画素値の絶対値
    が、予め定められたしきい値を越える画素部分をエッジ
    点と決定する様に構成されている事を特徴とする請求項
    １３に記載の道路環境認識装置。
15. 【請求項１５】 当該エッジ画像は、該所定の空間フィ
    ルターを用いて得られた画素値が正となりかつ、該画素
    値の絶対値がしきい値より大きな画素値をもつ正エッジ
    と、該画素値が負となり、かつ該画素値の絶対値がしき
    い値より大きな画素値をもつ負エッジとから構成される
    ものである事を特徴とする請求項１４に記載の道路環境
    認識装置。
16. 【請求項１６】 該第１の領域Ａ，及び第２の領域Ｂの
    それぞれに於いて、当該エッジ画像を水平方向に走査す
    る場合に、一走査中に少なくとも隣接する２個のエッジ
    部分が存在しており、且つ該互いに隣接する２個のエッ
    ジ部分の一方が正エッジであり又他方が負エッジである
    場合であって、両エッジ間の間隔が、予め設定された幅
    以内の間隔を有している場合に、当該正負エッジ若しく
    はその両者の間の任意の点を標識線候補点として抽出す
    る事を特徴とする請求項１５に記載の道路環境認識装
    置。
17. 【請求項１７】 該第１及び第２の各領域Ａ，Ｂにおい
    て求められた、標識線候補点のうち、一方の領域におけ
    る該標識線の候補点で、他方の領域に於ける当該標識線
    の候補点との間の距離が予め設定したレーン幅範囲内に
    ある標識線候補点を、有力な標識線候補点として決定す
    る事を特徴とする請求項１６に記載の道路環境認識装
    置。
18. 【請求項１８】 当該標識線は、白線である事を特徴と
    する請求項１３に記載の道路環境認識装置。
19. 【請求項１９】 該第１及び第２の各領域Ａ，Ｂにおい
    て求められた、標識線候補点のうち、当該標識線の幅が
    太線か細線かを判別し、太線の場合は太線のみの標識線
    候補点間を、一定間隔で補間した点も標識線候補点とす
    る事を特徴とする請求項１７に記載の道路環境認識装
    置。
20. 【請求項２０】 該第１及び第２の各領域Ａ，Ｂのそれ
    ぞれにおいて求められた、道路の長手方向に隣接する標
    識線候補点相互間の位置のずれが予め設定されたしきい
    値よりも小さく、且つ隣接する該標識線候補点同志の標
    識線の幅の差が予め設定された範囲以下である標識線候
    補点同士を連結していき、この連結される該標識線候補
    点の数が予め設定した個数以上になった場合には、当該
    標識線候補点の集合を標識線として決定する様に構成さ
    れている事を特徴とする請求項１６に記載の道路環境認
    識装置。
21. 【請求項２１】 該第１及び第２の各領域Ａ，Ｂのそれ
    ぞれにおいて求められた、道路の長手方向に隣接する複
    数個の標識線候補点群の内に、前記した有力な標識線候
    補点の数が予め設定した個数以上含まれている場合に
    は、当該標識線候補点群の集合を標識線候補とする様に
    構成されている事を特徴とする請求項１７に記載の道路
    環境認識装置。
22. 【請求項２２】 該第１及び第２の各領域Ａ，Ｂのそれ
    ぞれにおいて求められた、道路の長手方向に隣接する複
    数個の標識線候補点群の内に、前記した有力な標識線候
    補点の数が予め設定した個数以上含まれている標識線候
    補点群が複数個存在する場合、当該標識線候補点群間を
    補間して標識線を決定する事を特徴とする請求項２１に
    記載の道路環境認識装置。
23. 【請求項２３】 該第１及び第２の各領域Ａ，Ｂのそれ
    ぞれにおいて求められた、複数個の標識線候補の内で、
    標識線候補点の個数が最も多い標識線候補を標識線とし
    て決定する様に構成されている事を特徴とする請求項２
    ０に記載の道路環境認識装置。
24. 【請求項２４】 該第１及び第２の各領域Ａ，Ｂの何れ
    かの領域において、標識線を決定出来なかった場合に
    は、標識線を決定できた一方の当該領域の標識線中の標
    識線候補点から、予め設定された標識線のレーン幅の距
    離だけ離れた他方の当該領域の点を標識線候補点と見做
    し、係る見做し標識線候補点間を補間した線を標識線と
    して決定する事を特徴とする請求項１３に記載の道路環
    境認識装置。
25. 【請求項２５】 該第１及び第２の各領域Ａ，Ｂのそれ
    ぞれにおいて、ＴＶカメラからの距離が最も近い画面上
    の水平線を画面上の最近線と定義し、決定された該標識
    線が画面上の当該最近線と共通点を持たない場合には、
    得られた標識線から該最近線に向かって延長線を引くこ
    とによって、該標識線を延長する様に構成されている事
    を特徴とする請求項１３乃至２４の何れかに記載の道路
    環境認識装置。
26. 【請求項２６】 該第１及び第２の各領域Ａ，Ｂのそれ
    ぞれにおいて求められた標識線のエッジ部を追跡しなが
    ら、当該標識線を該第１及び第２の各領域Ａ，Ｂの上方
    に設けられた第３の領域Ｃ内に迄延長させる処理を行う
    事を特徴とする請求項１３に記載の道路環境認識装置。
27. 【請求項２７】 該第３の領域Ｃに於ける標識線の追跡
    処理に於いて、当該標識線に破線部が存在する事によっ
    て、当該標識線の追跡が中止される場合、破線の間隔分
    まで標識線を探索する処理を行い、標識線が検出出来た
    場合、その間を補間して、さらに追跡処理を続ける事を
    特徴とする請求項２６に記載の道路環境認識装置。
28. 【請求項２８】 該ＴＶカメラの設置条件と実際の標識
    線幅やレーン幅から画面上における画面幅を求め、該画
    面幅を基準値として画面上から標識線を決定する為の検
    証処理を行う事を特徴とする請求項１３乃至２７の何れ
    かに記載の道路環境認識装置。
29. 【請求項２９】 自動車に搭載したＴＶカメラにより得
    られる道路画像から、物体の輪郭線のみを抽出したエッ
    ジ画像を作成するに際し、当該ＴＶカメラにより得られ
    る道路画像に残像効果付与処理を実行した後、該エッジ
    画像を作成する事を特徴とする請求項１に記載の道路環
    境認識装置。
30. 【請求項３０】 当該残像効果付与処理は、該ＴＶカメ
    ラにより得られる複数の連続した道路画像に平滑化処理
    を施すものである事を特徴とする請求項２９に記載の道
    路環境認識装置。
31. 【請求項３１】 自動車に搭載したＴＶカメラに逐次的
    に得られる複数枚の道路画像に於ける第１の道路画像と
    該第１の道路画像に続いて得られる第２の道路画像とを
    対比させ、両道路画像に於ける、同一の座標位置が示す
    画素値の差が予め設定した範囲内ならば、当該第１の道
    路画像の画素値を変更せず、該第１の道路画像と該第２
    の道路画像とに於ける、同一の座標位置が示す画素値の
    差が予め設定した範囲外で有る場合には、当該第１の道
    路画像の画素値を予め設定した所定の値だけ該第２の道
    路画像の画素値に近づける演算処理を実行して、当該第
    １の道路画像の画素値を更新する操作を実行し、更に係
    る操作を繰り返すことにより平滑化画像を作成し，該平
    滑化画像に基づいて前記画像処理する事を特徴とする請
    求項３０に記載の道路環境認識装置。
32. 【請求項３２】 該第１の道路画像と該第２の道路画像
    とに於ける、同一の座標位置が示す画素値の差が予め設
    定した範囲外で有る場合には、当該第１の道路画像の画
    素値を前記した両画像の画素値の差に対して予め設定し
    た所定の割合だけ該第２の道路画像の画素値に近づける
    演算処理を実行するものである事を特徴とする請求項３
    １に記載の道路環境認識装置。
33. 【請求項３３】 該平滑化画像を用いて標識線を認識す
    る様に構成されている事を特徴とする請求項３１又は３
    ２に記載の道路環境認識装置。
34. 【請求項３４】 該平滑化画像を用いて前記請求項３１
    又は３３の何れかに記載された演算処理を実行するもの
    である事を特徴とする道路環境認識装置。