JP2560702B2 - 路面上の車線認識装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、自動車の走行する路面上に描かれた車道
外側線、車道中央線、さらに車道境界線等の斜線を認識
して、これら車道と車両との相対位置関係から運転者に
警告が発せられるようにする路面上の車線認識装置に関
する。

［従来の技術］ 自動車を運転する際に要求される安全装置としては、
居眠り運転防止装置、後方視認装置等が存在する。また
車両の運転状態を監視して、異常な運転状態となったと
きに運転者に警告を出し、また運転状態を修正させるよ
うにする制御が実行されるようにすることも望まれてい
る。さらに、道路標識等を自動的に認識して、その認識
結果を運転者に報知して、より安全な運転動作が実行さ
れるようにする監視手段も望まれている。

このような運転状態の監視手段としては、走行する車
両の前方の風景を撮影し、この撮影された画像に基づい
て例えば道路標識等を認識させるようにすることが考え
られているもので、例えば特開昭59−128693号公報に示
されるような装置が提案されている。この装置にあって
は車線から外れたような状態となったときに警報を発生
するようにになるものであるが、車線にノイズが存在す
るような状態では正確に車線の存在を認識させることが
困難である。しかも、この装置では白および黒で表現さ
れる濃淡パターンから、車線等を認識させるようにして
いるものであり、このような技術では色彩を伴った認識
画像の認識を実行することは困難である。

［発明が解決しようとする問題点］ この発明は上記のような点に鑑みなされたもので、自
動車で走行している場合、この自動車の走行領域が路面
上で指定されている領域を正確に走行しているか否か
を、路面上に描かれた車線から判断して、その走行状態
を運転者に効果的に知らせることができ、また警告を発
生することができるようにして、より効果的な安全運転
が実行されるようにするものであり、特に描かれた車線
の損傷等が存在するような場合でも正確に車線の存在が
認識できるようにした路面上の車線認識装置を提供しよ
うとするものである。

［問題点を解決するための手段］ この発明に係る路面上の車線認識装置は、走行する車
両の前方路面をカラー撮像装置で撮像し、その映像信号
から各色にそれぞれ対応するカラー画像信号に変換する
もので、このカラー画像信号から車線の色彩に対応した
カラー画像信号を抽出する特徴抽出手段を備える。そし
て、この特徴抽出手段によって抽出した特徴画像に基づ
き、設定範囲内における特徴画像がストロークとして上
辺まで延びているか否かを判断し、特徴画像が上辺まで
延びていると判断したときには、特徴画像が車線である
と認識する第１の認識手段、特徴画像がストロークとし
て上辺まで延びていないと判断されたときには、特徴画
像の抽出処理と設定範囲内における特徴画像がストロー
クとして上辺まで延びているか否かの判断処理を複数回
行い、これら複数の抽出処理および判断処理に基づい
て、車線の色彩に対応した画像領域が連続して存在して
いれば特徴画像が実線の車線であると認識し、色彩に対
応した画像領域が間欠して存在していれば特徴画像が破
線の車線であると認識する第２の認識手段、第１の認識
手段および第２の認識手段でそれぞれ認識された前記特
徴画像のノイズを除去し補正した認識画像を得る補正手
段を有し、補正手段で得られた認識画像で車線であると
認識された特徴画像と車両との相対関係位置が算出さ
れ、その結果が運転者に報知されるようにしている。

［作用］ 上記のような車線認識装置にあっては、カラー画像信
号から車線を表現する色彩の画像が抽出されるようにな
る。したがって、路面の明るさの状態、また影等の影響
を受けることなく、その色彩の画像が抽出されるもので
あり、この抽出された画像のパターンから車線の存在を
認識することができる。このように特定される画面上で
車線の存在位置が認識されたならば、その画面上での車
両の位置との関係から、この車両の走行位置が明確に判
断できるようになる。そして、車線と車両との相対位置
関係が画像の状態で表示されるようになるものであり、
自身の車両の走行状態が正常であるか否かを運転者自身
で簡単に認識できるようになる。例えば、車両が車線を
跨いで走行しているような異常状態のときは、これを検
知して運転者に警報を発するようになるものである。こ
の場合、認識画像にノイズ等が存在したような場合に
は、このノイズが除去され画像が修正されるような補正
がされるもので、より確実な車線の認識が可能とされる
ものである。ここで、第１および第２の認識手段によっ
て路面上の車線に汚れ等が存在したような場合にあって
も、車線の存在が明確に認識される。

［発明の実施例］ 以下、図面を参照してこの発明の一実施例を説明す
る。第１図はその構成を示しているもので、走行する車
両の前方の路面を撮影するカラーテレビジョンカメラ11
を備える。このテレビジョンカメラ11は、例えば第２図
で示すように自動車12の前面に取り付け設定されるもの
で、この自動車12の前方の路面の特に運転者が運転中に
注意をはらうような、この図で破線で囲まれた範囲13が
効果的に撮影されるようになっている。この図で、141
は例えば黄色の線で表現された反対方向車線との境界線
であり、142および143はその各車線の範囲を区画する白
色の車線である。

このようなテレビジョンカメラ11で撮影された映像の
カラービデオ信号は、デコーダ15に供給される。このデ
コーダ15では、上記カラービデオ信号からＲ（赤）、Ｇ
（緑）、およびＢ（青）カラー画像信号を分離して取り
出すもので、このＲ、Ｇ、Ｂの各カラー画像信号は画像
信号処理部16に供給する。この画像信号処理部16では、
路面上に描かれた白または黄色の区画線を認識し、この
区画線と車両との相対位置関係を計算する。

そして、この信号処理部16で進行処理されて得られた
認識結果は、例えばCRT、液晶等の画像表示部17で表示
し、運転者において容易に認識されるようにしている。

第３図は上記画像信号処理部16の構成を示しているも
ので、デコーダ15で得られたＲ、Ｇ、Ｂのカラー画像信
号は、特徴抽出部161に供給される。この特徴抽出部161
は、入力画像信号を２値化して認識する対象、ここでは
区画線に対応する情報のみを抽出する。具体的な抽出手
段としては、区画線を形成する白色と黄色の抽出条件を
設定し、画面上の各画素の中で上記区画線を表現する色
の条件式を満足する画素を２値化情報として抽出し、出
力させるようにするものである。ここで、白色の区画線
を抽出するための条件式は次のようになる。

|R−G|＜ε/10 |G−B|＜ε/10 |B−R|＜ε/10 ε/2＜Ｒ、Ｇ、Ｂ ………（１） ここでＲ、Ｇ、Ｂの取り得る範囲の値を０〜εとして
いるものである。

また黄色の区画線を抽出するための条件式は次の通り
である。

Ｒ＞Ｂ、およびＧ＞Ｂ ………（２） そして、このような条件式に基づいて特徴抽出された
２値の画像情報は、メモリ162にストアされるようにな
る。この画像情報のストアは、例えば0.05秒毎に実行さ
れるようにする。そして、このメモリ162にストアされ
た画像情報に基づいて、認識部163で白あるいは黄色の
区画線の存在を認識し、また計算部164でこの区画線と
車両との相対位置関係を計算するものである。

第４図は上記のように構成される装置の動作の流れを
示しているもので、例えばこの車両のイグニッションス
イッチが投入されると、この処理がスタートされるよう
になっている。

まずステップ101では画面上の走査部分の設定や、上
記したような特徴抽出の条件を設定する初期設定が実行
される。次のステップ102では、撮影されたビデオ信号
からＲ、Ｇ、Ｂの画像データ信号を取り出し、次のステ
ップ103でこの画像データ信号を画像信号処理部16の特
徴抽出部に送り、例えば区画線を表現している白色およ
び黄色の特徴抽出を実行する。この特徴抽出は、前述し
たように入力画像を２値化して認識する対象に関する情
報だけを取り出すものであり、この特徴抽出された画像
データはステップ104でメモリ162にストアされる。

この特徴抽出された画像データのストアは、例えば0.
05秒毎に実行される。そして、このストアされた画像デ
ータは、ステップ105で認識部163に送られるようになる
ものであり、このに認識部163では上記メモリ162にスト
アされた画像データが車線を表現するものであるか否か
を、そのパターンによって判断し、車線の存在を判断し
ているものである。

この車線の存在を判断する手段としては種々のものが
存在するものであるが、以下その一例を説明する。第５
図はテレビジョンカメラ11の取り込んだ映像の状態を示
しているもので、これは第２図で示した破線で示す範囲
13に相当する映像であり、例えばカメラ11の位置から数
ｍ、具体的にはカメラ11の位置を基準としてその前方2m
から6mの範囲の路面の映像に相当するものである。

そして、この第５図で示される映像上に特定した設定
範囲51を設け、この設定範囲51内に特徴抽出された白ま
たは黄色の画素が存在するか否かを判断する。そして、
この設定範囲51内に白または黄色の画素が存在すると判
断された場合には、それがストロークとして上方に延び
ているか否かを調べ、このストロークが画面の上辺まで
延びていることが確認されたならば、この映像内に区画
線（車線）が存在するものと判断する。但し、このスト
ロークは連続した線分であってもよく、また破断線であ
ってもよい。

このようにして車線の存在が確認されたならば、次の
ステップ106に進む。このステップ106では、メモリ162
にストアされた画像データを計算部164に送り、自身の
車両と上記確認された車線との相対位置関係を計算す
る。

具体的には、第５図で示した設定範囲51内におけるス
トロークの位置とストローク全体の傾きから、車両の前
輪と車線との距離を計算する。すなわち、画面上の車線
の角度が大きい程、車両がその車線から離れていること
が確認されるものであり、例えば第５図の場合、車線52
と53との角度が等しい状態にあり、且つその傾斜方向が
逆の場合には、車両が上記車線52と53との中央部に位置
して走行していることが判断される。そして、この計算
結果はステップ107で表示部17に表示されるようになる
ものである。

この場合、その表示部17における表示方法は、例えば
第６図に示されるように中央に車両を示し、この車両と
の相対関係で、例えば発光等の手段で区画線を表示させ
るようにする。また、車両と車線との距離を数字によっ
て表示するようにしてもよい。

したがって、運転者は常に車両と車線との相対位置関
係を、容易且つ確実に表示部17で知ることができるもの
であり、車線に沿った走行状態が感覚だけでなく具体性
をもって認知できるようになる。

ここで、上記のような車線の認識動作を実行するに際
して、例えば車線の汚れさらに消失等による車線認識上
のノイズ対策を考慮すると効果的である。この処理は例
えば第４図に示した処理の流れにおいて特徴抽出のステ
ップ103で実行すればよいもので、このステップ103を第
７図で示すように設定する。

すなわち、このステップ103を白および黄色の抽出を
行なう特徴抽出処理のステップ501と、上記特徴抽出に
よって認知された車線を構成する画素の８近傍を拡散処
理するステップ502と、さらに８近傍の収縮処理を行な
うステップ503とによって構成する。

ここで、上記８近傍の拡散処理および収縮処理につい
て説明すると、今例えば白あるいは黄色の車線の画像が
第８図の（Ａ）に示すようになっていると仮定する。こ
の図において実線の四角はそれぞれ実際に車線を表示し
ている画素であり、さらに破線で示した四角は上記実際
の画素の周囲に存在すると仮定される画素を示してい
る。そして、８近傍とは１つの画素に対してその周囲に
隣接して存在する８つの画素をいうものであり、したが
って８近傍拡散は１つの画素に対してその周囲の８近傍
に領域を広げるようになるもので、上記（Ａ）図で示し
た画像が、（Ｂ）図で示されるように実際の画素の周囲
にさらに１個づつの画素を付加して形成される画像とな
る。また８近傍収縮は８近傍全てに領域が存在する画素
以外は除去するようになるもので、上記（Ｂ）図の画像
は同図の（Ｃ）図で示すようになるものである。

すなわち、車線の部分的な汚れの種々の大きさに対す
る処理を実行するもので、例えば白線の領域が汚れによ
って減少している場合、あるいは汚れによって部分的に
切れているような状態となると、そのストロークを追跡
することが困難となる。このような場合に上記のように
特徴抽出御において、白線あるいは黄色線の領域にその
修復処理を行なわせるようにしているものである。

このような修復処理を実行した場合でも、車線の汚れ
が大きく修復不可能な状態の場合には、ステップ105に
おける車線判定が実行できないもので、車線の存在を認
識することができない。しかし、これは次のタイミング
で画像が取り込まれ、認識処理が実行されるものである
ため、その次に汚れの大きくない部分が取り込まれれ
ば、その時点で車線有りの判断が行われるようになる。

また、車線領域が汚れによって拡大しているような状
態となっている場合は、次に説明する車線の存在の判定
ステップにおいて、その判定条件に影響を与えることが
なく、車線認識上で問題とはならない。

第９図は第４図で示した処理の流れにおける車線の判
定ステップ105をさらに詳細にして示しているもので、
まずステップ601で設定範囲51内に存在する白または黄
色の領域を抽出する。そして、この抽出結果に基づき第
１の判定ステップ602を実行させる。

この第１の判定ステップ602では、ノイズや汚れによ
って存在する小領域を除くようにしているもので、上記
設定範囲51内に存在する抽出領域の状態を判別するもの
である。

すなわち、設定範囲51内に存在する領域が車線の一部
であれば、その面積Ｗは次のような関係を満たしてい
る。

Ｗ≧W₀×X₀ 但し、W₀は車線（区画線）の最小値に相当する画素数 X₀は設定範囲51の縦方向の画素数 上記のような第１の判定ステップ602によって取り出
された領域は、車線以外（例えば進行方向標示、横断歩
道、速度標示等）である可能性もあるため、次の第２の
判定ステップ603で設定範囲51内の領域がストローク
（幅が一定の線分）として、画面の上辺まで延びている
か否かを調べる。そして、このストロークが画面の上辺
まで延びていると認識されたならば、これを車線と判定
するものである。

この第２の判定ステップ603でストロークが途中で切
れていると判定された場合は、 ａ）前方で車線が前車等によって隠れている。

ｂ）車線が破線である。

ｃ）車線ではない。

の３つの可能性が考えられる。したがって、このような
判定結果が得られた場合にはステップ604で画像の再取
り込みを行ない、その画像の特徴を抽出させるようにす
る。そして、この抽出された画像に基づいてステップ60
5でストローク有無を判断、記憶し、ステップ606でこの
判断記憶動作の回数を計数判断する。具体的にはステッ
プ606では回数が50回に達したか否かを判断しているも
ので、また50回に達していない場合には上記ステップ60
4戻り、この特徴抽出さらにストローク判断の処理を繰
返させる。ここで、この繰り返し周期は、例えば100mse
c間隔で実行される。そして、上記判断記憶動作が50回
繰返されたならば次の第３の判定ステップ607に進む。

この第３の判定ステップ607では、所定の画面内に白
あるいは黄色の領域が連続的に現れれば、これを実線の
車線と判定し、また間欠的に現れればこれを破線の車線
と判定するものである。

これまでの説明では、走行する車両と車線との相対位
置関係を表示するようにしているものであるが、例えば
車両が車線からはみ出して走行しているようなに場合
に、これを運転者に報知するようにすることもできる。

第10図はこのような判断および報知動作を実行するた
めの処理の流れを示しているもので、まず前記実施例と
同様にステップ201で特徴抽出の条件設定等の初期設定
を行ない、ステップ202で画像データを入力する。そし
て、ステップ203で特徴抽出を行ない、車線の色に相当
する画像データを抽出し、ステップ204で車線が存在す
るか否かを判断する。そして、ステップ205で車両と車
線との相対位置関係を計算させるようにする。

ステップ206では、ステップ205における計算結果か
ら、車両が車線からはみ出しているか否かを判断するも
のであり、もし車両が車線からはみ出していると判断さ
れた場合には、ステップ207で方向指示器の動作状態か
ら、この車両が車線変更している状態であるか否かを判
断する。そして、この車線からはみ出している状態で、
もし方向指示器が操作されていないと判断された場合に
は、ステップ208に進んで車線からのはみ出しを運転者
に報知する。この報知手段としては、ブザー等の音響を
使用すればよい。

また、ステップ207で方向指示器の操作状態が確認さ
れたならば、ステップ209に進んでそのはみ出した車線
が黄色であるか否かを判断する。もし黄色の車線である
場合には、これは進路変更禁止の表示であるため、ステ
ップ210に進んでこの進路変更禁止の状態で進路変更し
ようとしていることを、ブザー等によって運転者に報知
させるようにする。また、この報知手段は「はみ出して
います」「進路変更禁止です」等の合成音声によるもの
であってもよい。

したがって、このような車線の踏み越し状態を報知で
きるようにしておけば、特に居眠り運転状態の警告等に
対する警報手段としても効果的に使用できるようにな
る。また、進路変更禁止区域における運転上の注意手段
としても効果的に使用できる。

これまでの説明では、テレビジョンカメラによって車
両の前方の風景が明瞭に撮影できるものとして説明して
いるが、例えば夜間の場合にはヘッドライトによって照
明される範囲の映像のみが受像されるようになる。

車両に取り付けられているヘッドライトでは、その光
の到達距離が限定されるようになるものであり、例えば
第11図で破線で示す範囲のみがヘッドライトで照明さ
れ、この照明された部分の映像が撮像されるようにな
る。したがって、撮像された画面上で白（黄）線の現れ
る範囲は、必然的に上記破線内の範囲に限定されるもの
であり、夜間における車線認識に際しては、これを考慮
した処理を実行すると効果的である。

第12図はこのような夜間の場合に認識処理の流れを示
しているもので、まずステップ301でこれまでの実施例
と同様に処理設定し、ステップ302ではヘッドライトが
オン状態にあるか否かを、ヘッドライトスイッチ等の状
態から判別する。そして、ヘッドライトがオフ状態であ
り、夜間走行ではないと判定された場合には、ステップ
303で画像の全面追跡処理を実行させる。またステップ3
02でヘッドライトの点灯状態が確認されたならば、ステ
ップ304で画面上の追跡範囲を第11図で破線で囲まれた
範囲に限定した画面処理を実行させる。

そして、ステップ305で上記ステップ303あるいはステ
ップ304で追跡処理された画面の画像データを取り込
み、ステップ305でこの画像データから特徴抽出を行な
うものである。そして、以後はこの特徴抽出されたデー
タに基づき、これまでの実施例と同様に車線の存在等の
判定処理を実行させるようにする。

さらに道路が急カーブしているような状態となった場
合には、画面上での車線のストロークを追跡し、その曲
率を計算することによって、車両の前方に現れるカーブ
を認識させることができる。

第13図はこのような急カーブが現れた場合の警報手段
を含む車線認識装置の構成を示すもので、第１図で示し
た場合と同様にテレビジョンカメラ11で撮像したビデオ
信号をデコーダ12に供給し、このデコーダ12からのＲ、
Ｇ、Ｂの信号を画像信号処理部13に供給して画像処理を
実行させる。

また、走行する車両には速度センサ18、さらに方向指
示器の動作指令を発するウインカスイッチ19が存在する
ものであり、このセンサ18およびウインカスイッチ19か
らの信号は、上記画像処理部16からの認識結果と共に、
CPU等で構成される計算判断部に供給する。そして、こ
の計算判断部20においては、画面上で延びる車線のスト
ロークのカーブの曲率（曲線半径）、カーブまでの距
離、さらに車速から判断して、安全走行上で危険とみな
される場合には表示および報知部21でそれを表示し、ま
たブザー等によって警報が発生されるようにする。

これまでの実施例の説明では、車両の前方の風景を撮
影するように撮像手段を設定しているものであるが、こ
の撮像手段を後方に向けて設定し、この後方の風景を撮
影する撮像手段からの映像をこれまでの実施例同様に処
理すれば、例えばバックの運転状態で進入する駐車場の
区画線が効果的に認識できるようになるものであり、駐
車場の制限された範囲の駐車位置を、車体との相関関係
で正確に認識することができる。

［発明の効果］ 以上のようにこの発明に係る車線認識装置によれば、
路面に描かれた車線が確実に認識されるものであり、車
両の走行位置がこの車線との相対関係で、容易且つ確実
に運転者において認知できるように表示することができ
る。したがって、車線に沿った安全運転状態の確認が容
易且つ確実に実行できるものであり、特に車線と車両と
の相対位置関係が確実に認識できるものであり、さらに
車線の踏み越し状態を認識し運転者に報知可能とされる
ものであるため、運転者に対する警報手段等として効果
的に使用できるものである。

【図面の簡単な説明】

第１図はこの発明の一実施例に係る車線の認識装置を説
明する構成図、第２図は上記装置に使用される撮像装置
の設置状態を説明する図、第３図は上記装置を構成する
画像信号処理部の構成例を示す図、第４図は上記装置の
動作状態を説明するフローチャート、第５図は撮影され
た画像の状態を示す図、第６図は表示の状態を説明する
図、第７図は上記処理の流れにおける特徴抽出のステッ
プをより詳細に説明する図、第８図（Ａ）〜（Ｃ）はそ
れぞれ認識される車線の状態、さらに拡散および収縮処
理された状態を説明する図、第９図は同じく車線判定の
処理のより詳細な状態を説明する図、第10図は上記のよ
うな装置によって車線踏み越し状態を警告する処理の流
れを説明するフローチャート、第11図はヘッドライトに
よって照明される画像範囲を説明する図、第12図はヘッ
ドライトを使用する夜間における認識処理の例を説明す
るフローチャート、第13図は急カーブ状態を認識させる
認識装置の実施例を説明する構成図である。 11……カラーテレビジョンカメラ、12……車両、141、1
42……車線、15……デコーダ、16……画像信号処理部、
17……表示部、20……計算判断部。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】走行する車両の前方路面を撮影するカラー
   撮像装置と、 この撮像装置で撮影された映像信号から、各色にそれぞ
   れ対応するカラー画像信号に変換する手段と、 この手段で得られたカラー画像信号から車線の色彩に対
   応したカラー画像信号を抽出する特徴抽出手段と、 この特徴抽出手段によって抽出した特徴画像に基づき、
   設定範囲内における前記特徴画像がストロークとして上
   辺まで延びているか否かを判断し、前記特徴画像が上辺
   まで延びていると判断したときには、前記特徴画像が車
   線であると認識する第１の認識手段と、 前記特徴画像がストロークとして上辺まで延びていない
   と判断されたときには、前記特徴抽出手段による前記特
   徴画像の抽出処理と前記設定範囲内における前記特徴画
   像がストロークとして上辺まで延びているか否かの判断
   処理を複数回行い、これら複数の抽出処理および判断処
   理に基づいて、前記車線の色彩に対応した画像領域が連
   続して存在していれば前記特徴画像が実線の車線である
   と認識し、前記色彩に対応した画像領域が間欠して存在
   していれば前記特徴画像が破線の車線であると認識する
   第２の認識手段と、 前記第１の認識手段および第２の認識手段でそれぞれ認
   識された前記特徴画像のノイズを除去し補正した認識画
   像を得る補正手段と、 この補正手段で得られた前記認識画像で車線であると認
   識された特徴画像と車両との相対関係位置を算出する手
   段とを具備し、 その算出された結果を運転者に知らせるようにしたこと
   を特徴とする路面上の車線認識装置。