JPH085388A - 走行路検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 道路の三次元形状と道路上の自車両位置、姿
勢を少ない演算負荷で認識する。 【構成】 白線候補点検出部１２は、撮像部１１による
路面画像上の白線候補点を検出する。パラメータ記述式
から算出した仮想的な白線候補点と実際の位置情報とを
比較し、この比較結果に基づいてパラメータの最新値を
算出する。最新のパラメータが検出パラメータ保持部１
６に保持され、次の路面画像による算出部１３の比較処
理に供される。パラメータ記述式は、路面画像の座標系
で記述された２次曲線近似式であって、複数のパラメー
タは、自車両位置、姿勢等に関連付けてある。これによ
り、データ座標変換の演算が全く不要となり、処理速度
の向上、検出精度の向上、他の演算処理の割り込み等が
実現された。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自動車や無人搬送車等
における走行道路領域を画像処理によって認識する走行
路検出装置に関する。

【０００２】

【従来の技術】自動車や無人搬送車等における「危険回
避のための補助的な警報発生」、「人間の判断操作の補
助」、「全面的な自動運転」等を目的として、種々の形
式の走行路検出装置が研究されている。走行路検出装置
の一例は、走行路面の画像を採取し、画像処理して白線
部分を際立たせる撮像入力手段と、路面画像の座標系を
用いて路面画像上の白線の位置を記述する白線検出手段
と、路面画像の座標系で記述された白線の位置情報に基
づいて道路の三次元形状を推定する推定演算手段とを含
む。走行路検出装置では、刻々の車両前方の路面の三次
元形状を１／１０〜１／１００秒と言ったごく短い時間
で割り出す必要がある。しかし、路面画像から道路の三
次元関数を厳密に割り出すには膨大な演算処理が必要で
ある。従って、画像処理から三次元形状の推定に至る各
段階の処理について種々の近似や簡略化を施している。

【０００３】一般道路を走行する車両における走行路検
出装置が、第７回「産業における画像センシングシンポ
ジウム（平成４年７月７日）」において発表された「連
続道路画像からの道路構造と車両姿勢の実時間推定」と
いう論文に記載されている。この論文は、路面画像から
抽出した白線の画像データから、道路曲率、勾配、さら
には車両姿勢（ピッチ角、ヨー角、ロール角）を同時に
推定する手法について述べている。その手法の概念図を
図３７に示す。白線モデルとしては、道路座標系（Ｘ、
Ｙ、Ｚ）によって記述される多次曲線を用いる。入力さ
れた画像から白線候補を抽出し、画像座標（ｘ、ｙ）か
らカメラ座標（Ｕ、Ｖ、Ｗ）へ、カメラ座標（Ｕ、Ｖ、
Ｗ）からさらに道路座標（Ｘ、Ｙ、Ｚ）へという２段階
の座標変換を経て、白線候補を道路座標系（Ｘ、Ｙ、
Ｚ）上に投影したものと、前時刻の白線候補に基づく道
路モデルとを比較する。比較結果に基づいて多次曲線式
のパラメータの各数値が確定される。これらの数値で道
路モデルの多次曲線式を更新しつつ、上述の走行路と車
両姿勢を認識する。

【０００４】

【発明が解決しようとする課題】この従来例の走行路検
出装置は、（１）白線の関数で道路形状を記述し、白線
のみを補足する、（２）白線上の限定された個数の白線
候補のみについて座標値を決定し、演算に供する、
（３）道路モデルの関数を一定とし、関数に含まれるパ
ラメータ部分のみを順次更新する、等の手法を採用して
おり、従来の処理に比較すれば必要な演算数を大幅に削
減している。これにより、やや特殊な演算装置を必要と
するものの、毎秒３０画面を取り込んでリアルタイムに
道路形状、車両位置、および車両姿勢を演算して出力す
ることが可能である。

【０００５】しかし、現実に走行路検出装置を車両に搭
載する実用化の観点からは、さらに低速かつ小容量で、
より一般的な構造の演算装置を利用して、同等以上の速
度で演算出力できることが望まれる。また、車両に搭載
される演算装置には、道路の三次元形状の認識にとどま
らず、認識結果に基づく他の演算処理を割り込み処理で
きることが望まれる。例えば、路面画像上での先行車両
の認識、車線変更に対する警報等である。この観点から
見れば、従来例の走行路検出装置は、道路モデルと画像
から得られた白線候補との比較に際して、画像座標系か
ら道路座標系への２段階の座標変換を行わなければなら
ないため、計算が非常に複雑になるという問題があっ
た。

【０００６】一方、走行路検出装置を利用する機会が多
い高速道路等は、３００Ｒ以上の曲率一定の緩やかなカ
ーブや勾配によって構成されるため、道路モデルを従来
例のような多次式で近似しなくても実用的な結果が得ら
れる可能性がある。また、高速道路では、車両のロール
角は無視し得る。結局のところ、従来例の走行路検出装
置では、画像処理から求める位置座標の誤差から見て、
高速道路等では不必要なほどの厳密な近似を行っている
問題があった。

【０００７】本発明は、演算の負荷をさらに軽減して、
少ない演算能力でも高速かつ高精度に道路の三次元形状
等を出力できる走行路検出装置を提供することを目的と
している。

【０００８】

【課題を解決するための手段】請求項１の走行路検出装
置は、車両前方の路面画像を採取し、画像処理して路面
の白線を抽出する撮像入力手段を有し、前記路面画像上
の白線を検出して、路面の三次元形状と路面に対する車
両の相対位置関係とを識別する走行路検出装置におい
て、前記白線の二次曲線近似式を路面画像の座標系に変
換したパラメータ記述式における、走行車線内の車両位
置、道路の平面曲率、車線に対する車両の傾き、道路の
傾斜、道路幅にそれぞれ関連付けた複数のパラメータを
保持する検出パラメータ保持手段と、路面画像上の前記
白線に沿った複数の白線候補点について、路面画像の座
標系を用いた位置情報を求める白線候補点検出手段と、
前記検出パラメータ保持手段に保持した過去の複数のパ
ラメータから演算した仮想的な白線候補点に対して、路
面画像から求めた最新の白線候補点の前記位置情報を比
較して、前記複数のパラメータの最新値を求めて、前記
検出パラメータ保持手段の前記複数のパラメータを更新
させるパラメータ補正手段と、を有するものとした。

【０００９】請求項２の走行路検出装置は、請求項１記
載の走行路検出装置において、前記パラメータ補正手段
は、前記仮想的な白線候補点と最新の白線候補点とのず
れ量を算出するずれ量算出手段と、前記ずれ量に基づい
て前記複数のパラメータの変動量を算出するパラメータ
変動量算出手段と、を含み、かつ、前記パラメータ変動
量算出手段は、最小二乗法を用いて前記パラメータ変動
量を算出するものとした。

【００１０】請求項３の走行路検出装置は、請求項１ま
たは２記載の走行路検出装置において、前記パラメータ
補正手段は、更新した最新の前記複数のパラメータに基
づいて、道路の平面曲率、車線に対する車輌の傾き、道
路の傾斜を算出して出力する道路形状出力手段を含むも
のとした。

【００１１】請求項４の走行路検出装置は、請求項１、
２、または３記載の走行路検出装置において、前記パラ
メータ記述式は、走行車線内の車両位置、道路の平面曲
率、車線に対する車両の傾き、道路の傾斜、道路幅に関
連付けた複数のパラメータをそれぞれａ、ｂ、ｃ、ｄ、
ｅとし、路面画像の座標系をｘ、ｙとし、ｋを整数とし
て、ｘ＝（ａ＋ｋｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ
であるものとした。

【００１２】請求項５の走行路検出装置は、車両前方の
路面画像を採取し、画像処理して路面の白線を抽出する
撮像入力手段と、前記白線の検出結果に基づいて、少な
くとも走行車線の幅と自車線内の自車両位置とにそれぞ
れ関連付けられた２つの道路パラメータを刻々の前記路
面画像について算出する道路パラメータ推定手段と、を
有する走行路検出装置において、前記白線の推定位置に
沿って前記路面画像上に設定した複数の小領域のそれぞ
れについて、前記画像処理手段が抽出した白線の通過位
置座標を求める白線候補点検出手段と、前記路面画像上
で前記小領域を設定すべき前記白線の本数と、それぞれ
の前記白線に対する小領域の割り当て数とを決定して、
前記白線候補点検出手段に設定する白線候補点検出領域
設定手段と、前記道路パラメータに基づいて自車線内の
自車両位置を識別する自車偏位判断手段と、を有し、か
つ、前記白線候補点検出領域設定手段は、前記自車両位
置に基づいて、前記小領域を設定すべき白線の本数と、
それぞれの白線に対する前記小領域の割り当て数とを変
更し、車両が一方の白線に接近した際には、接近方向の
別の１本の白線にも前記小領域を割り当てるものとし
た。

【００１３】請求項６の走行路検出装置は、請求項５記
載の走行路検出装置において、前記白線候補点検出領域
設定手段は、走行車線の幅と自車線内の自車両位置との
差を検知し、車両が一方の白線に接近して前記差が所定
の判定基準値範囲をはみだした場合には、その白線と両
側の２本の白線を含む３本の白線に対して前記小領域を
割り当てるものとした。

【００１４】請求項７の走行路検出装置は、請求項５記
載の走行路検出装置において、前記白線候補点検出領域
設定手段は、走行車線の幅と自車線内の自車両位置との
差を検知し、車両が一方の白線を越えた後に前記差が所
定の判定基準値範囲の中に入った場合には、新しい自車
線の両側の２本の白線のみに対して前記小領域を割り当
てるものとした。

【００１５】請求項８の走行路検出装置は、請求項５、
６、または７記載の走行路検出装置において、前記白線
候補点検出領域設定手段は、走行車線の幅に関連付けて
予め設定した定数を保持しており、前記走行車線の幅に
ついては、前記パラメータ推定手段と無関係に、一定の
値を用いて前記差の検知を行うものとした。

【００１６】請求項９の走行路検出装置は、請求項５、
６、７、または８記載の走行路検出装置において、前記
白線候補点検出領域設定手段は、前記小領域を設定すべ
き白線の本数が変化しても、前記小領域の割り当ての合
計数を変化させずに小領域を設定するものとした。

【００１７】請求項１０の走行路検出装置は、請求項
５、６、７、８、または９記載の走行路検出装置におい
て、前記白線候補点検出領域設定手段は、３本の白線に
対して前記小領域を割り当てる際に、接近した白線に対
して、両側の他の２本の白線のいずれに割り当てるより
も多くの前記小領域を割り当てるものとした。

【００１８】請求項１１の走行路検出装置は、車両前方
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段と、前記白線の検出結果に基づいて、少
なくとも走行車線の幅と自車線内の自車両位置とにそれ
ぞれ関連付けられた２つの道路パラメータを刻々の前記
路面画像について算出する道路パラメータ推定手段と、
を有する走行路検出装置において、前記白線の推定位置
に沿って前記路面画像上に設定した複数の小領域のそれ
ぞれについて、前記画像処理手段が抽出した白線の通過
位置座標を求める白線候補点検出手段と、前記路面画像
上で前記小領域を設定すべき前記白線の本数と、それぞ
れの前記白線に対する小領域の割り当て数とを決定し
て、前記白線候補点検出手段に設定する白線候補点検出
領域設定手段と、前記道路パラメータに基づいて自車線
内の自車両位置を識別する自車偏位判断手段と、を有
し、かつ、前記白線候補点検出領域設定手段は、前記自
車両位置に基づいて、前記小領域を設定すべき白線の本
数と、それぞれの白線に対する前記小領域の割り当て数
とを変更し、車両が一方の白線に接近した際には、接近
方向の別の１本の白線にも前記小領域を割り当て、か
つ、自車両の方向指示器が操作されているか否かを識別
する方向指示判別手段と、自車両が一方の前記白線に接
近した際に、方向指示判別手段によって方向指示器の非
操作が識別された場合には、運転者に対して警報を出力
する警報発生手段と、を設けたものとした。

【００１９】請求項１２の走行路検出装置は、車両前方
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段と、前記白線の検出結果に基づいて、少
なくとも走行車線の幅と自車線内の自車両位置とにそれ
ぞれ関連付けられた２つの道路パラメータを刻々の前記
路面画像について算出する道路パラメータ推定手段と、
を有する走行路検出装置において、前記白線の推定位置
に沿って前記路面画像上に設定した複数の小領域のそれ
ぞれについて、前記画像処理手段が抽出した白線の通過
位置座標を求める白線候補点検出手段と、前記路面画像
上で前記小領域を設定すべき前記白線の本数と、それぞ
れの前記白線に対する小領域の割り当て数とを決定し
て、前記白線候補点検出手段に設定する白線候補点検出
領域設定手段と、前記道路パラメータに基づいて自車線
内の自車両位置を識別する自車偏位判断手段と、を有
し、かつ、前記白線候補点検出領域設定手段は、前記自
車両位置に基づいて、前記小領域を設定すべき白線の本
数と、それぞれの白線に対する前記小領域の割り当て数
とを変更し、車両が一方の白線に接近した際には、接近
方向の別の１本の白線にも前記小領域を割り当て、か
つ、前記路面画像上の自車線領域を認識する車線領域認
識手段と、前記車線領域認識手段で認識される車線領域
について前方の障害物を検出する障害物検出手段と、前
記障害物検出手段で検出される障害物と車両との衝突の
可能性を判断する衝突可能性判断手段と、衝突の可能性
が肯定された場合に運転者に対して警報を出力する警報
発生手段と、を有するものとした。

【００２０】請求項１３の走行路検出装置は、車両前方
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段と、前記白線の検出結果に基づいて、少
なくとも走行車線の幅と自車線内の自車両位置とにそれ
ぞれ関連付けられた２つの道路パラメータを刻々の前記
路面画像について算出する道路パラメータ推定手段と、
を有する走行路検出装置において、前記白線の推定位置
に沿って前記路面画像上に設定した複数の小領域のそれ
ぞれについて、前記画像処理手段が抽出した白線の通過
位置座標を求める白線候補点検出手段と、前記路面画像
上で前記小領域を設定すべき前記白線の本数と、それぞ
れの前記白線に対する小領域の割り当て数とを決定し
て、前記白線候補点検出手段に設定する白線候補点検出
領域設定手段と、前記道路パラメータに基づいて自車線
内の自車両位置を識別する自車偏位判断手段と、を有
し、かつ、前記白線候補点検出領域設定手段は、前記自
車両位置に基づいて、前記小領域を設定すべき白線の本
数と、それぞれの白線に対する前記小領域の割り当て数
とを変更し、車両が一方の白線に接近した際には、接近
方向の別の１本の白線にも前記小領域を割り当て、か
つ、前記白線候補点検出領域設定手段が定めた白線の検
出本数によって認識する領域を変化させる車線領域認識
手段と、車両が白線に接近して外側の白線に前記小領域
が割り当てられた際に隣接車線領域の障害物の有無を識
別する隣接車線障害物検出手段と、前記障害物が存在す
る場合に、その障害物に衝突することなく車線変更が可
能か否かを判断する車線変更可否判断手段と、を有する
ものとした。

【００２１】請求項１４の走行路検出装置は、車両前方
の路面画像を採取し、画像処理して路面の白線を抽出す
る撮像入力手段を有し、前記路面画像上の白線を検出し
て、路面の三次元形状と路面に対する車両の相対位置関
係とを識別する走行路検出装置において、前記白線の近
似式を路面画像の座標系に変換したパラメータ記述式に
おける複数のパラメータを保持する検出パラメータ保持
手段と、路面画像上の前記白線に沿った複数の白線候補
点について、路面画像の座標系を用いた位置情報を求め
る白線候補点検出手段と、前記検出パラメータ保持手段
に保持した過去の複数のパラメータから演算した仮想的
な白線候補点に対して、路面画像から求めた最新の白線
候補点の前記位置情報を比較して、前記複数のパラメー
タの最新値を求めて、前記検出パラメータ保持手段の前
記複数のパラメータを更新させるパラメータ補正手段
と、を有するとともに、自車線の先行車両によって前記
白線が遮断される範囲を求める白線遮蔽範囲検出手段
と、前記パラメータ記述式として、白線を二次曲線で近
似した第１パラメータ記述式と、前記白線が遮蔽された
場合に適合させて第１パラメータ記述式を簡略化した第
２パラメータ記述式とを記憶させた複数の白線モデル記
憶手段と、前記白線遮蔽範囲検出手段の検出状態に応じ
て前記複数の白線モデル記憶手段における複数のパラメ
ータ記述式を選択し、前記白線が遮蔽された場合には、
前記パラメータ補正手段に第２パラメータ記述式による
処理を実行させる白線モデル切り換え手段と、を設けた
ものとした。

【００２２】請求項１５の走行路検出装置は、請求項１
４記載の走行路検出装置において、前記白線遮蔽範囲検
出手段は、前記路面画像から自車線上の先行車両を識別
して先行車両の位置を求める車両位置検出手段と、求め
られた車両位置に基づいて白線が遮蔽される範囲を推定
する遮蔽範囲推定手段と、を有するものとした。

【００２３】請求項１６の走行路検出装置は、請求項１
５記載の走行路検出装置において、前記車両位置検出手
段は、前記路面画像から先行車両の両側端座標を求めて
先行車両の位置を計算するものとした。

【００２４】請求項１７の走行路検出装置は、請求項１
５記載の走行路検出装置において、前記車両位置検出手
段は、前記路面画像から先行車両の下端座標を求めて先
行車両の位置を計算するものとした。

【００２５】請求項１８の走行路検出装置は、請求項１
４記載の走行路検出装置において、前記白線遮蔽範囲検
出手段は、複数の指向性方向で先行車両を検知して、そ
れぞれの方向で障害物までの距離を計測可能な車間距離
検出手段と、前記パラメータに基づいて自車線の先行車
両が前記複数の指向性のいずれに相当しているかを識別
する自車走行レーン認識手段と、自車走行レーン認識手
段の識別結果に基づいて、前記車間距離検出手段が求め
た複数の車間距離から自車線上の先行車両の車間距離を
選択する車間距離値選択手段と、を含むものとした。

【００２６】請求項１９の走行路検出装置は、請求項１
４、１５、１６、１７、または１８記載の走行路検出装
置において、第１パラメータ記述式は、走行車線内の車
両位置、道路の平面曲率、車線に対する車両の傾き、道
路の傾斜、道路幅にそれぞれ関連付けた５つのパラメー
タを含み、一方、第２パラメータ記述式は、道路の平面
曲率に関連つけた１つを除く４つのパラメータを含むも
のとした。

【００２７】請求項２０の走行路検出装置は、請求項１
４、１５、１６、１７、１８、または１９記載の走行路
検出装置において、第１パラメータ記述式は二次曲線
式、一方、第２パラメータ記述式は一次直線式であるも
のとした。

【００２８】請求項２１の走行路検出装置は、請求項１
４、１５、１６、１７、１８、１９、または２０記載の
走行路検出装置前記において、パラメータ補正手段は、
選択されたパラメータ記述式による仮想的な白線候補点
と前記路面画像から求めた最新の白線候補点とのずれ量
を算出するずれ量算出手段と、前記ずれ量に基づいて前
記複数のパラメータの変動量を算出するパラメータ変動
量算出手段と、を含み、かつ、前記パラメータ変動量算
出手段は、最小二乗法を用いて前記パラメータ変動量を
算出するものとした。

【００２９】請求項２２の走行路検出装置は、請求項１
４、１５、１６、１７、１８、１９、２０、または２１
記載の走行路検出装置において、前記パラメータ補正手
段は、更新した前記複数のパラメータに基づいて道路の
三次元形状を算出し、直ちに出力する道路形状出力手段
を含むものとした。

【００３０】請求項２３の走行路検出装置は、請求項１
４、１５、１６、１７、１８、１９、２０、２１、また
は２２記載の走行路検出装置において、走行車線内の車
両位置、道路の平面曲率、車線に対する車両の傾き、道
路の傾斜、道路幅にそれぞれ関連付けたパラメータを
ａ、ｂ、ｃ、ｄ、ｅとし、前記路面画像の座標系をｘ、
ｙとし、ｉを整数とするとき、第１パラメータ記述式
は、ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ
であり、一方、第２パラメータ記述式は、ｘ＝（ａ＋ｉ
ｅ）（ｙ−ｄ）＋ｃであるものとした。

【００３１】

【作用】請求項１の走行路検出装置では、「パラメータ
記述式による前時刻の白線候補点」と「路面画像から求
めた現時刻の白線候補点」とを、路面画像の座標系で比
較する演算操作だけで、座標変換の演算を一切行うこと
なく、パラメータ記述式の複数のパラメータの最新の値
を求める。白線は、平面的には「並行する複数本の二次
曲線」、高さ方向には傾斜一定の坂道として近似式化さ
れ、この近似式を路面画像の座標系に変換してパラメー
タ記述式としている。従って、路面画像の座標系を用い
た演算操作だけで複数のパラメータを直接求めることが
でき、求めた白線候補点の数値自体の座標変換は行わな
いで済む。パラメータおよびパラメータ記述式の設定の
詳細、パラメータを決定する演算手法、パラメータから
道路の三次元形状を導き出す演算手法等については、実
施例中に詳しく説明する。

【００３２】請求項２の走行路検出装置では、「前時刻
の白線候補点」と「現時刻の白線候補点」のずれ量から
複数のパラメータの変動量を求める際に、最小二乗法を
用いる。請求項３の走行路検出装置では、決定された最
新のパラメータから、車両の進行につれて刻々と変化す
る前方の道路の平面曲率、車線に対する車輌の傾き、道
路の傾斜が算出されて、直ちに出力される。これらの数
値を用いて種々の機能、例えば、道路のカーブに追従し
た自動的なステアリング、先行車両の検出と組み合わせ
た危険評価、運転者の居眠りや不注意に対する警告等の
機能を組み立て得る。請求項４の走行路検出装置では、
ｘ＝（ａ＋ｋｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃなる
パラメータ記述式を用いてパラメータの変動量を求め
る。

【００３３】請求項５の走行路検出装置では、路面画像
の中に小領域（ウインドウ）を設定して白線候補点の位
置情報を求める。小領域は、「パラメータ記述式による
前時刻の白線候補点」に対応させて、検知すべきそれぞ
れの白線について複数個づつが設定される。そして、こ
の設定の際に、「路面画像中のどの白線に何個づつの小
領域を割り当てるかを定める操作」が実行される。車両
が走行車線の一方の白線に接近すると、反対側の白線か
ら求める白線候補点の位置情報の質が低下する（求めた
パラメータの誤差が増大する）から、この白線を踏み越
えた次の車線の白線についても小領域を設定して、反対
側の白線の白線候補点の位置情報がパラメータ決定に関
与する割合を下げる。

【００３４】請求項６の走行路検出装置では、パラメー
タから求めた走行車線の幅について２つのしきい値が設
定される。このしきい値を越えて車両が一方の白線に接
近した際には、それまでの走行車線を挟む２本の白線か
ら、接近する白線を中心にした３本の白線に改めて小領
域を割り当てる。請求項７の走行路検出装置では、パラ
メータから求めた走行車線の幅について２つのしきい値
が設定される。車両が白線を踏み越えて隣接車線のこの
しきい値を越えた際には、それまでの３本の白線から新
しい走行車線の２本の白線に改めて小領域を割り当て
る。請求項８の走行路検出装置では、走行車線の幅を定
数として保持しており、少なくとも小領域の設定操作に
ついては、走行車線の幅に関連したパラメータが変動し
ても、走行車線の幅を終始一定として演算処理する。請
求項９の走行路検出装置では、２本の白線を検知する場
合でも３本の白線を検知する場合でも同数の白線候補点
を用いてパラメータを決定する。請求項１０の走行路検
出装置では、３本の白線を検知する場合に路面画像の中
央の白線に対して、両側の白線よりも多くの小領域を割
り当てる。中央の白線は、両側の白線よりも路面画像上
で直線性が高く、撮像視点からも近いため、白線候補点
の位置情報の質が高いからである。

【００３５】請求項１１の走行路検出装置では、居眠り
や不注意によって車線変更の方向指示無しに白線を踏み
越えようとした場合に、運転者にその旨の警告を行う。

【００３６】請求項１２の走行路検出装置では、踏み越
えようとする白線を越えた隣接車線について、先行車両
等の障害物を検知して、衝突の可能性が高いと判断され
た場合には、運転者にその旨の警告を行う。隣接車線の
障害物の検知は、走行車線の一方の白線に近付いた際
に、その白線を越えた隣接車線について開始される。請
求項１３の走行路検出装置では、走行車線の２本の白線
のみに小領域を割り当てている場合には隣接車線の障害
物検知を行わないが、車両が一方の白線に接近して３本
の白線に小領域を割り当てている場合には隣接車線の障
害物を検知して、障害物があれば衝突の可能性を評価す
る。

【００３７】請求項１４の走行路検出装置では、先行車
両によって車両前方の白線が限度を越えて遮蔽された場
合に、第１パラメータ記述式を第２パラメータ記述式に
置き換える。車両に近くて遮蔽を逃れた短い部分的な白
線しか路面画像上に補足できない場合、遮蔽された部分
からは白線候補点の位置情報を採取する利益が無いから
である。

【００３８】請求項１５の走行路検出装置では、路面画
像から前方の先行車両を検出し、先行車両までの距離を
見積もり、白線の遮蔽範囲を評価して、使用すべきパラ
メータ記述式を決定する。請求項１６の走行路検出装置
では、路面画像に対して縦エッジを強調する画像処理を
行って、先行車両の両側端の位置を際立たせる。ここか
ら先行車両の両側端の座標値を求めて先行車両の位置を
計算する。請求項１７の走行路検出装置では、路面画像
に対して横エッジを強調する画像処理を行って先行車両
の下端（例えば影部分）を際立たせる。ここから先行車
両の下端座標を求めて先行車両の位置を計算する。

【００３９】請求項１８の走行路検出装置では、路面画
像から自車線の先行車両の車間距離を求める手段に代え
て（あるいは共存させて）、レーダー電波、レーザー
光、超音波等のビームを車両前方に放射して車間距離を
計測する車間距離計測手段を備える。複数の指向性の方
向は、路面画像から認識された自車線や隣接車線に対応
させる形式で、自車走行レーン認識手段によって管理さ
れる。車間距離数値選択手段によって、単なる自車前方
一定方向の障害物でなく、道路の曲り形状に左右されな
い自車線上の先行車両が補足される。

【００４０】請求項１９の走行路検出装置では、路面画
像上で白線が十分に補足できる場合のパラメータ記述式
が５つのパラメータを含む一方で、遮蔽が著しい場合の
パラメータ記述式が４つのパラメータを含み、道路の平
面曲率に関連したパラメータを含まない。請求項２０の
走行路検出装置では、路面画像上で白線が十分に補足で
きる場合のパラメータ記述式が二次の曲線式であるのに
対して、遮蔽が著しい場合のパラメータ記述式が一次の
直線式である。請求項２１の走行路検出装置では、パラ
メータの変動量を算出する際に最小二乗法を用いる。請
求項２２の走行路検出装置では、更新した最新のパラメ
ータに基づいて、道路の三次元形状を算出して出力す
る。請求項２３の走行路検出装置では、路面画像上で白
線が十分に補足できる場合のパラメータ記述式がｘ＝
（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃであるの
に対して、遮蔽が著しい場合のパラメータ記述式がｘ＝
（ａ＋ｉｅ）（ｙ−ｄ）＋ｃである。

【００４１】

【実施例】図１〜図９を用いて第１実施例を説明する。
図１は設定座標系の説明図、図２はカメラ座標系におけ
る白線モデルの説明図、図３は画像座標系における新旧
白線対応点の説明図、図４は構成の説明図、図５は処理
全体のフローチャート、図６はウインドウ更新のための
フローチャート、図７は白線候補点の検出のフローチャ
ート、図８は白線候補点の検出方法の説明図、図９はウ
インドウ設定位置の説明図である。第１実施例は、路面
画像から白線モデルのパラメータを決定する基本的な機
能を持つ走行路検出装置であり、以下の他の実施例にも
共通に応用されている。

【００４２】まず、白線モデルについて説明する。白線
モデルは、白線の三次元形状を表現する近似式である。
白線モデルを路面画像の座標系に座標変換して、第１実
施例のパラメータ記述式が作成される。パラメータ記述
式は、路面画像上の白線の関数表現である。路面画像の
座標系（ｘ、ｙ）とカメラ座標系（Ｘ、Ｙ、Ｚ）の関係
を図１に示す。図１において、道路２４上を自車両とと
もに原点が移動するカメラ座標系２３によって白線２５
の近似式を設定する。ここでは、車両進行方向とカメラ
光軸のなす角、および車両静止時のカメラ光軸と路面の
なす角がそれぞれ０となるようにカメラが車体に取り付
けられる。第１実施例の白線モデルは、主として高速道
路を対象としており、Ｚ軸回りの回転（ロール角）、路
面の勾配、バンク角を無視している。大地に固定された
座標系の代わりに、刻々の車両位置（カメラ位置）を原
点とする道路座標系を用いたから、道路構造を簡単な二
次式で近似しても、必要な計測項目に対応する複数の道
路パラメータについて、実用的に十分な検出精度を確保
できた。

【００４３】白線モデルは、道路の三次元形状、車両位
置、車両姿勢をそれぞれ表す道路パラメータを用いて、
白線２５を、水平面（Ｘ−Ｚ）では二次式、垂直面（Ｘ
−Ｙ）では一次式で近似する。図２のように道路パラメ
ータを定めて、次の（１）式のように近似式を設定し
た。図２中、（ａ）は水平面、（ｂ）は垂直面を示す。

【数１】 図２の（ａ）において、道路の左端の白線から順に白線
を０、１、２、・・ｉ番とする。０〜ｉ番の白線が共通
の（１）式で記述される。カメラ座標系（Ｘ、Ｙ、Ｚ）
の原点は、車両の進行とともに刻々と前方に移動し、
（１）式中のＡ〜Ｅのパラメータをそれぞれ変化させ
る。パラメータＡは車両の左側に位置する白線と車両中
心（撮像装置の取り付け位置）との距離（以下偏位）、
パラメータＢは車両前方の道路曲率、パラメータＣはＺ
＝０における白線の接線方向に対する車両のヨー角、パ
ラメータＤは道路平面に対する車両のピッチ角（道路と
Ｚ軸の相対角度）、パラメータＥは白線間距離（直線路
やＺ＝０では車線幅）にそれぞれ相当する。この白線モ
デルに三次元から二次元への透視変換を行って、路面画
像の座標系（ｘ、ｙ）で記述された路面画像上の白線モ
デル、すなわち第１実施例のパラメータ記述式を作成す
る。

【００４４】図１のように、三次元空間であるＸＹＺ座
標系が、焦点距離ｆの光学レンズを通して、ｘｙ座標系
の平面的な画面に投影されるとき、三次元空間のＸＹＺ
座標は、次の（２）式の透視変換を通じてｘ、ｙ座標に
変換される。ＸＹＺ座標系で記述される道路上の構造物
は、路面画像上に射影されて、（２）式によって変換さ
れたｘｙ座標系の画像となる。

【数２】 この関係を基に、（１）式は、次の（３）式のごとく、
路面画像上の白線モデルに変換される。ここで、定めた
パラメータａ〜ｅは、（３）式の記述を簡略にするため
に、前述のパラメータＡ〜Ｅにそれぞれ関連付けて新た
に定義したパラメータである。

【数３】 第１実施例では、路面画像上の白線をｘｙ座標系で検出
した後、ＸＹＺ座標系に変換することなく（３）式のパ
ラメータａ〜ｅを直接に推定する。パラメータａ〜ｅが
確定すれば、道路曲率ρ、ヨー角ｔａｎβ、ピッチ角ｔ
ａｎαの各道路パラメータは次の（４）式によって求め
得る。なお、車両の偏位と車線幅に相当するパラメータ
が含まれる道路モデルであれば、（３）式以外の道路モ
デルを利用しても、第１実施例と同様の効果が得られ
る。

【数４】

【００４５】次に、パラメータａ〜ｅの推定方法につい
て説明する。路面画像上の道路構造は時間軸に対して滑
らかに変化すると仮定する。図３は、前時刻の路面画像
と現時刻の路面画像との間の白線部分の移動を示す。こ
こで、添字new は現在のフレーム、添字old は１フレー
ム前を意味する。第１実施例では、１／３０秒間隔で路
面画像のフレームを取り込み、路面画像の白線上から複
数の白線部分を取り出してｘｙ座標値を求め、リアルタ
イムにパラメータを推定する。パラメータの推定は、１
フレーム前の路面画像から求めた前回の白線位置に対し
て、現在のフレームの白線位置を比較する手法による。
図３に示すように、前回求めたパラメータａ〜ｅからの
変動量をΔａ〜Δｅと仮定すると、路面画像（ｘ、ｙ）
におけるｉ番の白線のｊ個目の点ｘijの微小変動量Δｘ
ijは、２次以上の項を無視すればＴａｙｌｏｒの定理に
よって、次の（５）、（６）式で表される。

【数５】

【００４６】変動量Δａ〜Δｅの推定には最小二乗法を
用いる。そのための評価誤差関数として、次の（７）〜
（９）式を定義する。

【数６】 ここに、（７）式は前回の検出結果ｘij-1と新たに検出
されたｘijとの差によって定義される評価誤差関数であ
り、（７）式中のｐijは白線候補点の確からしさを表
す。また、（８）式は、パラメータが時間軸方向に滑ら
かに移動するという仮定を表現した評価誤差関数であっ
て、Ｓは重み係数である。以上に示した評価誤差関数の
和が（９）式の和ｅtotal で示され、和ｅtotal を最小
とならしめるΔａ〜Δｅを求めることにより、次の式
（１０）のごとくパラメータを更新する。

【数７】

【００４７】そして、変動量Δａ〜Δｅは、次の線形の
連立方程式（１１）を解くことによって求める。なお、
行列中、ＸijＹijＺijの形式の各要素は、二重の総和記
号を省略して記述している。すなわち、ΣΣＸijＹijＺ
ij（１番目のΣはｉ、２番目のΣはｊについての総和記
号）を意味する。

【数８】

【００４８】第１実施例は、（３）式のパラメータ記述
式を使用して、刻々の白線部分の検出結果から（１１）
式を解いて、刻々のパラメータａ〜ｅを推定する。図４
に第１実施例の機能構成を示す。撮像部１１は、車両前
方の路面を撮像して、入力画像を取り込む。入力画像に
対して、前処理のエッジ検出が実行されて白線の特徴が
際立たせられる。白線候補点検出部１２は、路面画像の
座標系で記述された複数の白線候補点の位置情報を抽出
する。ここでは、後述するように、路面画像上の白線が
想定される位置に小領域（ウインドウ）を複数個設定し
て、ウインドウ内の白線部分を検出しているが、「白線
上の複数の点の画像座標系による位置座標」は他の手法
で求めてもよい。前回の白線モデル（曲線式）上の点列
を計算する算出部１７は、前回の入力画像から求めたパ
ラメータに基づいて、前回の路面画像における白線候補
点の仮想的な位置をそれぞれ演算する。白線候補点と白
線モデル点列とのずれ量算出部１３は、白線候補点検出
部１２による現時刻の白線候補点位置と算出部１７によ
る前回の白線候補点位置とを比較し、車両の前進に伴う
前回から現時刻までの白線候補点の移動量を演算する。

【００４９】パラメータ変動量算出部１４は、白線候補
点と白線モデル点列とのずれ量算出部１３における比較
結果から、前述の（１１）式を解いて、（７）〜（９）
式の最小二乗法によるパラメータ変動量Δａ〜Δｅを推
定する。変動量に基づいて前回のパラメータを補正する
補正部１５は、式（１０）に、パラメータ変動量算出部
１４で求めたパラメータ変動量Δａ〜Δｅを代入して、
最新のパラメータａ〜ｅ（new ）を計算し、検出パラメ
ータ保持部１６の前回のパラメータａ〜ｅ（old ）を置
き換える。また、最新のパラメータから道路パラメータ
（曲率等、道路構造の定数）を算出して出力する。検出
パラメータ保持部１６は、最新のパラメータを保持し
て、白線候補点と白線モデル点列とのずれ量算出部１３
における次画面の処理に供する。以上の操作で１画面の
処理を終了する。

【００５０】第１実施例の全体処理のフローチャートが
図５に示される。図５のフローチャートにおけるステッ
プ１２２の詳細なフローチャートが図６に、ステップ１
１６の詳細なフローチャートが図７に示される。また、
図７のフローチャートにおけるステップ１５２の詳細な
フローチャートが図８の（ｂ）に示される。図４の構成
における１画面の処理は、１個の演算装置を時分割し
て、図５のステップ１１６〜１２３のループを通じて順
番に実行される。

【００５１】図５において、ステップ１１１〜１１５で
は、白線候補点の位置情報を検出するための初期値を取
り込む。これらの初期値は運転者のキーボード操作を通
じて設定されるが、例えば、真直ぐな道路の車線中央を
直進している状態に相当する一定のデータとしてＲＯＭ
に保持しておいてもよい。第１実施例では、刻々の白線
候補点検出結果に基づいてパラメータを演算する際や、
白線候補点を路面画像上で検出（ウインドウ設定）する
際に、パラメータを代入済みのパラメータ記述式が不可
欠であるから、ステップ１１６〜１２３のループを開始
する前に、初期値を与えてパラメータ記述式を完成させ
ておく。また、路面画像上の白線に対応させて初回のウ
インドウ位置と配置を設定する。すなわち、ステップ１
１１ではパラメータａ〜ｅ、ステップ１１２では路面画
像上で検知すべき白線の本数ｍ、ステップ１１３では路
面画像上のウインドウ初期設定位置、ステップ１１４で
は前述の（８）式の重み付け定数、ステップ１１５では
白線１本当たりのウインドウ設定数ｎがそれぞれ初期値
として設定される。

【００５２】図５のステップ１１６は、白線候補点検出
部１２に対応する。ステップ１１６では、初回は初期
値、２回目からは前画面の処理結果に基づいて、路面画
像上に複数の小領域（ウインドウ）を設定する。そし
て、複数のウインドウのそれぞれについて、白線候補点
の位置情報を検出する。この位置情報は、それぞれの白
線候補点の位置座標ｘ１ij、ｘ２ijと確からしさＰijと
で構成される。ステップ１１６における処理の詳細を、
図７、図９を参照して説明する。図７はウインドウ設定
処理のフローチャート、図９は画面に白線が撮像されて
いる様子である。図９中、（ａ）は路面画像、（ｂ）は
１個のウインドウにおける白線部分の検出を示す。

【００５３】図９の（ａ）において、路面画像２６に
は、道路２４Ｇ上の白線２５Ｇが捕捉されている。道路
２４Ｇの左端の白線２５Ｇからｉ＝０、１、２・・と番
号が付され、ｉ＝０、１の２本の白線に対して４個づつ
のウインドウ２１が設置されている。ウインドウ２１
は、パラメータ記述式から位置を定めて、路面画像上の
白線に沿って複数個が設定される。パラメータ記述式に
対して初回は初期値、２回目からは前回の入力画像から
求めたパラメータが代入される。ウインドウの設定は、
白線候補点の検出に関与する画素（明るさデータ）数を
削減し、また、路面と白線という明白なコントラストの
判別だけで白線部分の検出を可能にする。路面画像上の
所定の高さ位置（ｙ１、ｙ２）に定めたウインドウで白
線部分を取り出す。ウインドウの上辺と下辺を白線が横
切るｘ座標（ｘ１、ｘ２）を求めて、２つの白線候補点
の位置座標（ｘ１、ｙ１）、（ｘ２、ｙ２）を確定させ
る。

【００５４】図９の（ｂ）において、１個のウインドウ
２１は、上端の中心点（ｘ１Ｗij、ｙ１ij）、下端の中
心点（ｘ２Ｗij、ｙ２ij）、および幅Ｗ１ij、Ｗ２ijを
定めることにより位置と大きさを定める。ウインドウの
高さ位置（ｙ１、ｙ２）は所定の値として与えられ、水
平位置（ｘ１Ｗij、ｘ２Ｗij）がパラメータ記述式によ
り演算される。ここでは、ウインドウ高さをｄｙ＝一定
としている。１個のウインドウ２１から得られる２つの
白線候補点の確からしさｐ１ij、ｐ２ijは、次の式（１
２）により定義する。

【数９】 ここに、数値ｐi-max は、ｉ番目の白線上のウインドウ
群によって検出される濃度値の和の最大値である。

【００５５】図５のステップ１１６では、図７に示すフ
ローで白線候補点を検出する。図７において、ステップ
１５１で処理の初期化が行われ、ステップ１５２〜１５
５を通じて、路面画像上の同じ高さ位置ｙのｍ本の白線
に対応するｎ個のウインドウについて、順番に白線候補
点のｘ座標ｘ１ij、ｘ２ijと「ウインドウ内における白
線候補点の確からしさｐij」を検出する。ｎ個のウイン
ドウを処理し終わると、ステップ１５７を通過して、右
隣に位置する白線に対応するウインドウにおける白線候
補点の検出に移行する。このようにして、ステップ１５
２〜１５９の処理をｍ本の白線に対して完了するまで繰
り返す。図９の（ａ）に示すウインドウ設定例で言え
ば、ｉ＝０の４個のウインドウ２１でｊ＝０、１、２、
３と順番に処理し、続いてｉ＝１の４個のウインドウ２
１でｊ＝０、１、２、３と順番に処理する。

【００５６】次に、図７のステップ１５２における処理
の詳細を図８を参照して説明する。図８は１個のウイン
ドウ内における白線候補点の検出処理の説明図である。
図８中、（ａ）は１個のウインドウ、（ｂ）は白線候補
点検出処理のフローチャートである。白線候補点の検出
処理では、演算装置に取り込まれた路面画像のメモリデ
ータから、ウインドウの範囲に該当するデータを呼び出
して識別と演算を実行する。このとき、図９の（ａ）の
ように、モニター画面に表示された路面画像２６の上に
重ねてウインドウ２１の範囲が表示される。図８の
（ａ）において、ウインドウ２１は、その上底が［ｘ＝
ｘ1i（ｉ＝０〜ｎ）、ｙ＝ｙ1 ］の座標値を占め、その
下底が［ｘ＝ｘ2j（ｊ＝０〜ｍ）、ｙ＝ｙ2 ＝ｙ1 ＋ｄ
ｙ］の座標値を占める台形ウインドウである。ウインド
ウ２１が切り取る白線部分の両端が白線候補点である。
ウインドウの高さ位置（ｙ１、ｙ２）は所定の値として
与えられているので、水平位置（ｘ１ij、ｘ２ij）のみ
を求める。

【００５７】図８の（ｂ）において、ステップ１０１で
各値を初期化後、上辺の１個の画素と下辺の１個の画素
を結ぶ線分の画素群を順番に呼び出して画素の濃度値の
和ｐを算出する。ループ１０５で「上辺の１個の画素と
下辺のｍ個の画素の組み合わせが試され（ｊ＝０〜
ｍ）、ループ１０６で上辺のｎ個の画素が網羅される
（ｉ＝０〜ｎ）。ステップ１０７の条件に達すると１つ
のウインドウの処理が完了する。すなわち、ステップ１
０２で点（ｘ1i、ｙ1 ）と点（ｘ2j、ｙ2 ）を結ぶ直線
上の画素の濃度値の和ｐを算出し、ステップ１０３で濃
度和ｐの過去の最大値ｐmax と比較する。ステップ１０
３の条件が成立すれば、ステップ１０４でｐmax 、ｘ1
、ｘ2 の各値を更新する。ステップ１０９では、濃度
和ｐmax が最大となるときの（ｘ1i、ｘ2j）を白線候補
点のｘ座標値として出力する。このとき得られる濃度和
ｐmax が白線候補点の確からしさである。

【００５８】図５のステップ１１７〜１１９は、図４の
白線候補点と白線モデル点列とのずれ量算出部１３に相
当する。ステップ１１７〜１１９では、ステップ１１６
における白線候補点の検出結果から（１１）式の演算が
実行される。ステップ１２０は、パラメータ変動量算出
部１４に対応する。ステップ１２０では、（１０）式に
より最新のパラメータａ〜ｅが確定される。ステップ１
２１は、図４の変動量に基づいて前回のパラメータを補
正する補正部１５に対応する。ステップ１２１では古い
パラメータａ〜ｅが最新のパラメータに置き換えられ
る。ステップ１２２は、図４の白線候補点検出部１２に
含まれる。ステップ１２２では、最新のパラメータに基
づいて次の路面画像でウインドウを設定すべき位置を求
める。ステップ１２３は図４の変動量に基づいて前回の
パラメータを補正する補正部１５に含まれる。ステップ
１２３では、最新のパラメータから（６）式の道路パラ
メータの各値を求めて出力する。

【００５９】ステップ１２２におけるウインド更新処理
は、図６のフローチャートに従って実行される。図６に
おいて、ステップ１３１では、図９の（ａ）のｉ＝０、
１の白線における路面画像２６上で最も高い（自車両か
ら最も遠い）位置の白線候補点を検出するｊ＝０のウイ
ンドウ２１について、ウインドウ２１を設定すべき高さ
位置ｙが設定される。ステップ１３２で処理の初期化が
行われ、ステップ１３３〜１３６を通じて、図９の
（ａ）のウインドウ２１の高さ位置ｙ１ijを初めに与え
て、高さ位置ｙ１ij、ｙ２ijで白線が通過すべきｘ座標
ｘ１ｗij、ｘ２ｗijが計算される。路面画像上のｘ座標
ｘ１ｗij、ｘ２ｗijを中心とする所定の幅（図９の
（ｂ）に置けるｗ１ij、Ｗ２IJの２倍）をウインドウが
占める。ステップ１３３〜１３７を繰り返して、検出す
べきｍ本の白線に対する同じ高さ位置ｙのウインドウの
設定位置を定めた後に、路面画像上で一段低い隣接位置
のウインドウを設定する。ステップ１３３〜１３９を通
じて、ｍ本の白線のそれぞれにｎ個づつのウインドウが
設定される。

【００６０】図５のフローチャートにおいて、発明の検
出パラメータ保持手段はステップ１２１に、発明の白線
候補点検出手段はステップ１１６に、発明のパラメータ
補正手段はステップ１１７〜１２０にそれぞれ対応す
る。

【００６１】以上説明した第１実施例の走行路検出装置
では、最新のパラメータ記述式でウインドウを更新しつ
つ、白線を連続的に追従して必要な道路パラメータを出
力し続ける。このとき、路面画像の座標系における線形
演算処理のみで道路パラメータが直接に求まり、データ
の座標変換に関する演算を必要としないから、従来例の
走行路検出装置に比較して、演算負荷が軽減される。ま
た、自車両とともに原点が移動する座標系で白線の三次
元形状の近似式を記述したので、簡単な二次曲線式によ
る近似でも、道路パラメータの推定結果に十分に実用的
な精度を確保できる。そして、この近似式によれば、自
動運転や種々の警報に関して高い精度が要求される「自
車両に近い部分」について、道路パラメータを精度高く
求めることができる。また、最小二乗法を採用したか
ら、比較的に少ない数の白線候補点でも道路パラメータ
の実用的な精度を確保できる。従って、最小二乗法のマ
トリクス演算を含むにもかかわらず、データ数を少なく
して、必要な演算数をあまり多くしないで済む。さら
に、白線位置の推定によってウインドウを無駄なく白線
に割り当てるから、少ない数のウインドウでもデータ不
足によって道路パラメータを決定し損なうことが無い。

【００６２】第１実施例の走行路検出装置では、また、
白線候補点の確からしさを加味してパラメータを決定す
るから、ウインドウから白線が外れた場合にはそのウイ
ンドウの検出結果が無視され、そのウインドウによる間
違いデータが道路パラメータの推定結果に悪影響を及ぼ
さない。また、白線候補点の確からしさによって、自車
両に近くて路面画像上で明確な白線部分から求めた精度
の高いデータが重く用いられることになり、求めた道路
パラメータの精度が高まる。また、急激な車線変更等で
自車両に近い位置のウインドウから白線が外れた場合で
も、遠方の白線部分はウインドウから外れないから、遠
方の白線部分の検出結果に基づいて道路モデルが次第に
修正され、遠い位置の白線部分から順次ウインドウ内に
自動復帰して、自車両に近い位置のウインドウも白線を
再度捕捉できる。そして、その復帰の期間中、出力され
る道路パラメータの精度が向上し続ける。

【００６３】図１０〜図１３を用いて第２実施例を説明
する。図１０は構成の説明図、図１１は白線検出本数切
り替えのフローチャート、図１２は道路白線検出の例を
示した説明図、図１３はウインドウの設定を示した説明
図である。ここでは、車線幅内の自車両位置に応じてウ
インドウ設定を変更している。なお、道路モデルの設
定、ウインドウ処理、道路パラメータの推定方法等につ
いては第１実施例と共通しており、重複する説明を省略
している。

【００６４】図１０において、撮像部４１は、車両の前
方風景を撮影して路面画像を採取する。画像処理部４２
は、撮影した路面画像から走行レーンを表す白線や前方
の先行車両の特徴を抽出する。白線候補点検出部４３
は、画像処理部４２によって処理された路面画像の画面
中に直線検出用の小領域（ウインドウ）をいくつか設定
して、各々の領域内で最も路面上の白線らしい線分を検
出して、その端点の座標と白線候補点の確からしさとを
求める。道路パラメータ推定部４４は、白線候補点検出
部４３によって検出された白線候補点の位置情報から、
道路モデルのパラメータを算出する。また、道路の三次
元形状を記述する道路パラメータを演算して出力する。
自車偏位判断部４５は、道路パラメータ推定部４４によ
って算出されたパラメータと既知の定数から自車両が走
行レーンのどの位置を走行しているのかを判断する。白
線検出本数設定部４６は、自車偏位判断部４５によって
検出された自車両の走行位置から、次画面の白線検出に
おいて検出すべき白線の本数を設定する。白線候補点検
出領域設定部４７は、道路パラメータ推定部４４によっ
て算出される道路パラメータと、白線検出本数設定部４
６によって設定される白線検出本数から次画面の白線候
補点検出のための小領域（ウインドウ）の数や位置を設
定する。

【００６５】図１１に白線検出本数切り替えのフローチ
ャートを示す。第１実施例の場合と同様に、図１０の各
機能は、１個の演算装置を時分割して順番に実行され
る。以下、図１１のフローチャートに従って説明する。

【００６６】図１２の（ａ）は、前方走行風景の路面画
像から自車両走行レーンを表す２本の白線２５Ａ、２５
Ｂを検出している例である。ステップ４０１は、図１０
の撮像部４１に対応する。ステップ４０１では、ＣＣＤ
カメラ等の撮像装置によって撮影された入力画像が演算
装置のメモリに取り込まれる。ステップ４０２は図１０
の画像処理部４２に対応する。ステップ４０２では、入
力画像データに対して例えば「ｓｏｂｅｌオペレータ」
等による縦横エッジ検出の画像加工を実行し、白線や先
行車両の特徴を強調するような処理が施される。ステッ
プ４０３は、図１０の白線候補点検出領域設定部４７に
含まれる。ステップ４０３では、前画面での処理結果に
基づいて、図１２の（ａ）または（ｂ）に示すように、
白線検出の小領域（以下ウインドウ２１Ａ、２１Ｂとす
る）を設定する。ステップ４０４、４０５は、図１０の
白線候補点検出部４３に対応する。ステップ４０４でそ
れぞれのウインドウ２１Ａ、２１Ｂについて直線検出を
実行し、ステップ４０５で最も白線らしい線分の端点の
座標（図２のｘ１ij、ｘ２ij）と、その白線としての確
からしさ（図８のＰmax ）とを検出する。

【００６７】ステップ４０４における各ウインドウ内の
直線検出は、図８を用いて説明した第１実施例の場合と
同様な手順で実行される。図８の（ａ）に示すように、
ウインドウ２１の形状として台形を設定し、上底の一点
と下底の一点とを結んでできるすべての線分について、
図８の（ｂ）に示す手順で、線分上の画素のエッジ画像
での濃度値の和を算出する。そして、その和が最も大き
い線分をそのウインドウ内の検出直線とする。なお、こ
こでは、濃度値の和が最も小さい線分を検出直線として
も白線候補点の位置情報を求めることが可能である。そ
して、次のステップ４０５では、この線分の端点の座標
と、濃度値の和（図８のＰmax ）を検出結果として保持
する。濃度値の和は、白線としての確からしさのパラメ
ータとなる。

【００６８】ステップ４０６、４０７は、図１０の道路
パラメータ推定部４４に対応する。図１２の（ａ）のす
べてのウインドウ２１Ａ、２１Ｂについて検出結果が求
められたら、ステップ４０６において、これらをもとに
道路モデルのパラメータａ〜ｅの変動量Δａ〜Δｅを最
小二乗法により算出する。そして、ステップ４０７で
は、求められた変動量Δａ〜Δｅにより、パラメータａ
〜ｅを前述の（１０）式のように更新する。このよう
に、道路パラメータを更新することで道路白線を追従検
出できる。また、図２に示すように、更新するパラメー
タは、すべての検出白線に共通なパラメータであるの
で、白線検出本数ｍが増えても白線候補点の個数が変化
しなければ、処理速度は変化しない。

【００６９】このとき、パラメータａとｅの値に注目す
る。前述したように、パラメータａは走行中の車線の左
端から自車両までの距離、パラメータｅは車線幅に関連
付けられているので、両者の和（ａ＋ｅ）は、自車両が
走行レーンのどの位置を走行しているかを示す。そし
て、自車両が車線中央を走行していれば図１２の（ａ）
のように２本の白線２５Ａ、２５Ｂを検知するが、自車
両が車線の端を走行していれば、図１２の（ｂ）のよう
に３本の白線２５Ａ、２５Ｂ、２５Ｃを検知させる。具
体的には、ステップ４０８で現在の白線検出本数ｍを判
別し、２本の場合にはステップ４０９で次の（１３）式
のようなしきい値ｔｈ１、ｔｈ２を設定し、このしきい
値を越えたらステップ４１０で、図１２の（ｂ）に示す
ように、白線検出本数ｍを３本に改める。ステップ４０
９、４１０は、図１０の自車偏位判断部４５および白線
検出本数設定部４６に含まれる。

【数１０】 ここで、しきい値ｔｈ１、ｔｈ２に制限を設けたのは、
この値を越えると撮像位置が車線を越えてしまい、自車
両の一部が隣のレーンに入ってから３本検出に切り替わ
るようになってしまうからである。このように、０より
大きくｅより小さいしきい値を用いることで、自車両の
一部が隣のレーンに入る前に３本検出に切り替えられ、
自車両走行レーンと車線変更後の走行レーンの２つの領
域を認識することができる。

【００７０】ステップ４１１、４１２は、図１０の自車
偏位判断部４５および白線検出本数設定部４６に含まれ
る。図１２の（ｂ）のように白線検出本数ｍを３本とし
ている場合に、ステップ４１１で次の（１４）式のよう
なしきい値ｔｈ３、ｔｈ４を設定し、このしきい値を越
えたら、ステップ４１２で、図１２の（ａ）のように白
線検出本数ｍを２本にする。

【数１１】 ここで、ｔｈ３、ｔｈ４に制限を設けたのは、少なくと
もこの値を越えると自車両は完全に車線変更を完了して
いるからである。以上の設定により、自車両が車線を変
更しようとした際に、自車両が走行レーンの片側に寄っ
た時点で変更先の車線領域を認識するようになるので、
例えば、前方障害物の検出等を行う場合に、危険度の判
定に遅れを生じることがなくなる。ステップ４１３は、
図１０の白線候補点検出領域設定部４７に対応する。最
後に、ステップ４１３では、今回の検出結果をもとに次
回の画面に対するウインドウの数、位置、大きさを決定
し、ウインドウ設定を更新する。

【００７１】次に、ウインドウの大きさや位置の設定方
法について説明する。図１３の（ａ）は白線検出本数ｍ
が２本のときのウインドウ設定方法の説明図である。路
面画像の画面における消失点５０の近くは画素による量
子化誤差が大きくなるので、道路モデルより求められた
消失点のｙ座標より数画素（例えば６画素）下の領域か
らウインドウ５１を設定する。また、消失点から遠ざか
る位置にウインドウ５１を設定するに従って、ウインド
ウ５１のｙ方向の長さが長くなるように設定する。これ
は、画面の下側ほど自車両の近くの画像になるので明瞭
に映っているからである。前述したように、ウインドウ
５１内の直線検出において、線分上のエッジ画像の画素
の濃度和がその端点の白線候補点の確からしさとして用
いられるので、ウインドウ５１を長くすれば線分も長く
なり、長いウインドウ５１で検出したほうが短いウイン
ドウ５１で検出するよりも白線候補点の確からしさは大
きくなる。従って、明瞭に映っている部分の白線候補点
の確からしさを大きくするために、このようなウインド
ウ設定を行う。

【００７２】同様に、図１３の（ｂ）は、白線検出本数
ｍが３本のときのウインドウ設定の説明図である。路面
画像の画面における消失点５０の近くは図１３の場合と
同じ理由でウインドウを設定せず、数画素下から設定す
る。３本の白線を検出対象とする場合は、両側の２本の
白線は水平に近くなり、自車両から見て遠くの地点の白
線を検出することになるので、ウインドウ５２のｙ方向
の長さを短くする。反対に、中央の１本は自車両近くの
地点の白線であるので、ウインドウ５３のｙ方向も長く
とって中央の白線の白線候補点の重み付けを大きくす
る。以上のようにウインドウ５２、５３の大きさと位置
を設定することで、より確からしい道路形状推定が行え
るようになる。

【００７３】次に、ウインドウの設定数について説明す
る。前述したように、道路モデルのパラメータとしてす
べての検出白線に共通な道路曲率や車線幅、自車両の姿
勢等に相当するものを用いているので、道路モデル算出
の処理速度は白線検出本数ではなく、白線候補点の数に
依存する。従って、白線検出本数が増えても１画面中の
ウインドウ設定数が大きく変化しなければ、処理速度は
影響を受けない。図１３の（ａ）と（ｂ）を比較する
と、（ａ）の画面ではウインドウの数が白線１本につき
６つであるのに対し、（ｂ）の画面では白線１本につき
４つである。従って、検出すべき白線の本数は３／２倍
になっているが、１画面あたりの合計のウインドウ数は
変化していないので、両者の処理時間は等しくなる。

【００７４】図１１のフローチャートにおいて、発明の
撮像入力手段はステップ４０１〜４０２に、道路パラメ
ータ推定手段はステップ４０６〜４０７に、発明の白線
候補点検出手段はステップ４０３〜４０５に、発明の白
線候補点検出領域設定手段はステップ４０３に、発明の
自車偏位判断手段はステップ４０９、４１１に、発明の
白線候補点検出領域設定手段はステップ４１３にそれぞ
れ対応する。以上説明した第２実施例の走行路検出装置
では、車線幅内の自車両位置に応じて白線検出本数を切
り替え、さらに、３本の場合には中央の白線を重視した
ウインドウ設定を行うから、遠ざかる側の白線に設定し
たウインドウから得た「精度の低い検出データ」が道路
パラメータの推定結果に悪影響を及ぼさない。これによ
り、出力される道路パラメータの精度が高く維持され
る。また、白線検出本数が増しても画面中のウインドウ
数が変化しないように１本の白線ごとのウインドウを設
定することで、演算装置の処理速度に影響を与えない。

【００７５】図１４〜図１６を用いて第３実施例を説明
する。図１４は第３実施例の構成を示すブロック図、図
１５は第３実施例の作用、図１６は車線逸脱の警報の説
明図である。ここでは、第２実施例と同等の機能に２つ
の警報機能が付加される。１つは車線変更時の運転者の
不注意に対する警報であり、他の１つは車線変更しよう
とする隣接車線の前方障害物に対する衝突の可能性の警
報である。

【００７６】図１４において、画像入力部６１は、図示
しないＣＣＤカメラが撮影した路面画像を取り込む。エ
ッジ抽出部６２は、路面画像をエッジ画面に変換して白
線や先行車両の特徴を際立たせる。直線検出領域設定部
６３は、前画面の処理結果による道路パラメータと白線
検出本数設定に基づいて、エッジ画面上に複数のウイン
ドウを設定する。白線候補点検出部６４は、それぞれの
ウインドウについて直線検出を実行して、複数の白線候
補点の座標値と確からしさのパラメータを保持する。道
路パラメータ算出部６５では、白線候補点のデータから
道路モデルのパラメータを更新し、更新されたパラメー
タは、直ちに直線検出領域設定部６３、車線変更判断部
６６、車線領域認識部６９へと送出される。

【００７７】車線変更判断部６６では、道路パラメータ
のうち車線幅に相当するものと自車両の偏位に相当する
ものとを用いて、自車両が車線変更の動作をしている否
かを判断する。このとき、方向指示判断部７３はドライ
バーが方向指示器を操作しているか否かを判断し、自車
両が方向指示器を出さずに白線を跨ごうとしている場合
には、警報発生部７５を起動してドライバーに対して警
報を出力させる。

【００７８】また、車線変更判断部６６の判断結果によ
り、白線検出本数設定部６７は、第２実施例の場合と同
様に、次画面での白線の検出本数を設定し、設定値を直
線検出領域設定部６３に送る。さらに、白線検出本数設
定部６７における白線の検出本数の設定値に応じて、認
識車線数判断部６８は、車線領域認識部６９が次画面の
車線認識において認識すべき車線領域の数を判断する。
白線の検出本数が２本の場合には、認識すべき車線は自
車線の１本のみであるが、白線の検出本数が３本の場合
には、認識すべき車線は自車線と隣接車線の２本とされ
る。この判断結果が車線領域認識部６９に送出される。

【００７９】車線領域認識部６９は、画面上の自車線
と、認識車線数が２車線であれば設定された隣接車線の
領域とをエッジ画面上で認識する。そして、各々の領域
について、自車線については自車線上障害物検出部７０
が、隣接車線については隣車線上障害物検出部７１がそ
れぞれ先行車両等の障害物を検出する。自車線上障害物
検出部７０で障害物が検出された場合、衝突可能性判断
部７４において、自車両が検出された障害物と衝突する
かどうかを判断し、衝突する可能性が高いと判断したと
きは、警報発生部７５からドライバーに対して警報を出
力させる。

【００８０】一方、自車両が隣接車線側の白線に接近す
ると、白線検出本数が３本となるとともに、隣車線上障
害物検出部７１によって、車線変更しようとする隣接車
線の前方の障害物が検出されるようになる。隣接車線に
先行車両等の障害物が検出された場合、車線変更可否判
断部７２において、車間距離、自車両および先行車両の
相対速度等を加味して、自車両が検出された障害物と衝
突するかどうかを判断する。そして、衝突する可能性が
高いと判断したときは警報発生部７５に警報を出力させ
る。なお、警報発生部７５では、（１）方向指示の無い
車線変更、（２）自車線の先行車両との衝突可能性の増
大、（３）車線変更の不可能、という警報すべき３つの
状態のいずれに相当するかによって警報内容を変えてお
り、どの状態の警報が発生しているかをドライバーが瞬
時に判別できる。

【００８１】なお、発明の撮像入力手段は、画像入力部
６１およびエッジ抽出部６２に対応し、発明のパラメー
タ推定手段は道路パラメータ算出部６５に対応する。発
明の白線候補点検出手段は白線候補点検出部６４、発明
の白線候補点検出領域設定手段は白線検出本数設定部６
７および直線検出領域設定部、発明の自車偏位判断手段
は車線変更判断部６６に対応する。発明の方向指示判断
手段は方向指示判断部７３、発明の警報発生手段は警報
発生部７５に対応する。発明の車線領域認識手段は車線
領域認識部６９、発明の自車線障害物検出手段は自車線
上障害物検出部７０、発明の衝突可能性判断手段は衝突
可能性判断部７４に対応する。発明の隣接車線障害物検
出手段は隣接車線上障害物検出部７１、発明の車線変更
可否判断手段は、車線変更可否判断部７２に対応する。

【００８２】以上の構成により、第３実施例では、ドラ
イバーの意思によらない車線逸脱の警報と、車線変更に
も対応した前方障害物警報が実現できる。図１５の
（ａ）は自車両が走行レーンＬ１のほぼ中央を走行して
いる場合の前方風景であり、自車両の走行レーンＬ１を
表わす２本の白線を検出対象としている。ここで、走行
レーンＬ１領域のみ認識している場合には、車両７６が
走行レーンＬ１の前方を走行している車両であることは
認識できる。しかし、他の車両７７については、走行レ
ーンＬ１にいないことは判るが、図１５の（ｂ）に示す
ように隣のレーンＬ２を走行しているのか、図１５の
（ｃ）に示すようにさらに外側のレーンＬ３を走行して
いるのかは判別できない。しかし、この第３実施例にお
いては、隣の走行レーンＬ２へ車線変更しようとした場
合、自車両が走行レーンＬ１の右側白線にある程度寄っ
た時点で隣のレーンＬ２を認識できるので、自車両の一
部が隣のレーンＬ２に入る前に車両７７が隣のレーンＬ
２に存在しているかどうかが判断できる。従って、車線
変更やレーン逸脱の危険度を早期に判定できる。

【００８３】図１６は車線逸脱の警報の説明図である。
ここでは、自車両が車線を逸脱しそうになった場合の路
面画像の状態が示される。運転者の異常（例えば居眠り
等）を検出した場合で、なおかつ車線を逸脱しそうな場
合に警報を発生させる。図１６の（ａ）は自車両が走行
車線の中央を走行している場合、（ｂ）は自車両が走行
車両の左端をはみ出しかかった状態である。（ａ）の状
態から自車両が矢印のように移動して、（ｂ）の状態に
移行し、自車両の走行位置が白線に所定の限度を越えて
接近したと判断された場合、自動的に警報が出力され
る。この左側の白線については、白線モデルのパラメー
タａと、車線幅Ｗ、カメラ搭載位置（高さＨ0 、車体中
心）によって、次の（１５）式の（Ｗ／２）＋ａＨ0 ＞
０の関係が成り立つときに車線を逸脱したと判断する。
これにより、運転者の不注意や居眠りに起因する事故発
生を予防できる。

【数１２】

【００８４】図１７は第３実施例の変形例の説明図であ
る。ここでは、画像処理システムとマルチビーム型距離
センサを組み合わせて、図１４の自車線上障害物検出部
７０および隣接車線上障害物検出部７１を構成する。画
像処理システムによって検出された路面画像上の複数の
車両位置に対して、マルチビームが計測した複数の車間
距離をそれぞれ対応させる。

【００８５】画像処理システムとレーザーレーダー等の
マルチビーム型距離センサを搭載して追突警報装置を構
成した車両において、自車両の車線変更時に前方車両と
の車間距離を計測した場合、自車両の車線に対するヨー
角が変化するので自車線の先行車両が自車両の正面前方
に存在しなくなり、左右どちらかのビームで計測される
距離が前方車両との車間距離になる可能性がある。この
とき、図１７の（ａ）のように計測されている測距範囲
（エリア）Ａ１の隣のレーンＬ１、Ｌ３にも車両７６、
７８が存在すると、測距データがどちらの車両を検出し
たものか判らなくなる。このような場合、測距センサの
受光部と撮像装置が車両に固定されていれば、図１７の
（ｂ）に示すように、画面上で測距センサの測距範囲Ａ
１、Ａ２、Ａ３はそれぞれ限定できる。そして、この限
定関係に基づいて、自車両が自車線から隣接車線に車線
変更しようとする場合には、入力画面上の自車線と車線
変更先の隣接車線とを同時に認識して、入力画面上のど
の測距範囲に隣接車線の先行車両が属するかを識別す
る。そして、マルチビーム型距離センサによる複数の測
距データから必要な隣接車線の先行車両の測距データが
自動的に選択される。

【００８６】図１７の場合、車線変更時、測距範囲Ａ２
による先行車両７７の測距データが選択され、第３実施
例と同様な車線変更可否の判断と警報の処理が実行され
る。第３実施例の変形例によれば、路面画像から車間距
離を割り出す場合に比較して、はるかに正確な車間距離
の計測を実行でき、警報の信頼性が向上する。また、路
面画像から車間距離を割り出すプログラムを省略できる
から、演算装置の演算負荷が軽くなる。

【００８７】ところで、図３８は第１実施例による白線
の近似状態の説明図である。（ａ）は路面画像、（ｂ）
は、白線モデルの式（３）において、曲線か直線かを規
定するパラメータｂを約３００Ｒのときと、直線のとき
すなわちｂ＝０のときの各ｙ座標における差δｘを描い
た線図である。図３８の（ａ）において、第１実施例で
は、画像座標系上で複数のパラメータによって記述され
る白線モデル（曲線式）と入力された白線画像との差が
最小となるようなパラメータ変動量を推定することで、
モデルを更新しつつ（白線を追従しつつ）道路構造を推
定し続ける。ところが、自車線の先行車両との車間距離
が短くなって白線可視範囲が狭まると、先行車両に遮蔽
された遠方部分の白線を捕捉できなくなる。そして、白
線可視範囲内の白線候補点のデータだけでは、同じ前述
の（３）式のパラメータ記述式を用いてパラメータの推
定を実行しても、現在進行中の道路が直線であるのか曲
線であるのか識別が困難になる。そして、図３８の
（ｂ）に示すように、曲率の推定結果が著しく信頼性に
欠けるものとなり、推定結果を採用できないため曲率推
定に費やす時間が無駄になる。

【００８８】そこで、次の第４実施例では、上記に対処
して白線モデルを切り換えることとした。図１８〜図２
０を用いて第４実施例を説明する。図１８は第４実施例
の全体の構成を示し、図１９は全体処理のフローチャー
ト、図２０はウインドウ更新のフローチャートである。
ここでは、図１に示した第１実施例の構成に複数の白線
モデルを切り換えて使用する部分が付加され、先行車両
によって白線が大きく遮蔽された場合には、第１実施例
の白線モデルをさらに簡略化した白線モデルを用いて道
路パラメータの推定を行う。なお、第１実施例の構成と
共通する部分には同一の参照番号を付して詳細な説明を
省略している。

【００８９】図１８において、撮像部１１は、車両前方
の路面を撮像して、入力画像を取り込む。入力画像に対
しては、前処理として縦エッジ検出が実行され、白線や
先行車両の特徴が際立たせられる。白線候補点検出部１
２は、路面画像上の白線想定位置に設定した複数のウイ
ンドウのそれぞれについて、路面画像の座標系で記述さ
れた白線候補点のデータを検出する。前回の白線モデル
（曲線式）上の点列を計算する計算部１７は、前回のパ
ラメータに基づいて白線想定位置を求める。白線候補点
と白線モデル点列とのずれ量算出部１３は、白線候補点
検出部１２による最新の白線候補点の位置情報と、前回
の白線モデル（曲線式）上の点列を計算する計算部１７
による白線想定位置とを比較して、白線候補点のずれ量
を演算する。パラメータ移動量算出部１４は、白線候補
点と白線モデル点列とのずれ量算出部１３による比較の
結果から、白線モデルのパラメータ変動分を最小二乗法
により推定する。変動量に基づいて前回のパラメータを
補正する補正部１５は、パラメータ変動量算出部１４で
求めたパラメータ変動分を用いて最新のパラメータを計
算し、前回のパラメータを更新する。検出パラメータ保
持部１６は、変動量に基づいて前回のパラメータを補正
する補正部１５で更新されたパラメータを次画面の処理
まで保持する。

【００９０】白線遮蔽位置検出部１８は、画像処理され
た入力画像から先行車両の特徴を抽出して「先行車両が
路面画像上で白線を遮蔽する範囲」を計測する。複数の
白線モデル記憶部１９は、先行車両によって白線が遮蔽
される範囲に応じて選択される「複数のパラメータ記述
式」を保持している。白線モデル切り換え部２０は、白
線遮蔽位置検出部１８が求めた白線遮蔽範囲に応じて、
複数の白線モデル記憶部１９に保持された「複数のパラ
メータ記述式」から適当な１つを選択して、白線候補点
と白線モデル点列とのずれ量算出部１３に送出する。白
線候補点と白線モデル点列とのずれ量算出部１３は、白
線モデル切り換え部２０によって選択されたパラメータ
記述式を用いて上述の演算を実行する。

【００９１】図１９において、ステップ１１１でパラメ
ータａ〜ｅの初期値が設定され、ステップ１１２で路面
画像上で検知すべき白線の本数ｍが設定される。ステッ
プ１１３〜１１５を通じて、パラメータａ〜ｅをパラメ
ータ記述式に代入して路面画像上の白線位置が推定さ
れ、路面画像上のｍ本の白線に対して初回分の白線検出
ウインドウが設定される。ステップ１１６では、図９に
示す白線検出プログラムに従って、それぞれの白線候補
点の位置情報が検出される。ステップ１１７Ｂでは、白
線候補点の検出結果から（１１）式または後述する（１
８）式のマトリクスによる演算がなされ、Δａ〜Δｅの
演算結果から（１０）式による最新のパラメータａ〜ｅ
を確定させる。ステップ１２１では古いパラメータａ〜
ｅを最新のパラメータに置き換える。

【００９２】ステップ１２１とステップ１２２の間に挿
入されたステップ１２７は、図１８の白線遮蔽位置検出
部１８、複数の白線モデル記憶部１９、および白線モデ
ル切り換え部２０に相当する。ステップ１２７では、
「白線の遮蔽範囲を検出して、２種類のパラメータ記述
式から１つを選択する曲線／直線モデル選択処理」が実
行される。この処理は、路面画像と路面画像の２種類の
エッジ強調画像とから先行車両の位置を求め、先行車両
によってほどんど白線が遮蔽されていない場合には、第
１実施例と同様な二次曲線式のパラメータ記述式を選択
するが、先行車両によって白線が大きく遮蔽されている
場合には、二次曲線式のパラメータ記述式に代えて一次
直線式のパラメータ記述式を選択する処理である。ここ
で選択されたパラメータ記述式が、次の変更まで、ウイ
ンドウ設定やパラメータ推定の演算に供される。この処
理については、図２３、図２４を参照して後で詳しく説
明する。ステップ１２２では、次の路面画像上でウイン
ドウを設定すべき位置を求める。ステップ１２３では、
最新のパラメータから道路の三次元形状と自車両姿勢と
を記述する道路パラメータの各値を求めて出力する。ス
テップ１２４では次の路面画像とその２種類のエッジ強
調画面とが取り込まれる。ステップ１２５では縦横エッ
ジ検出による先行車両の検出が実行される。

【００９３】図２０はステップ１２２における処理の詳
細を示す。図２０のステップ１３１Ｂでは、自車線を挟
むｉ＝０、１の白線における路面画像上で最も高い位置
（自車両から最も遠い位置）の白線候補点を検出するｊ
＝０のウインドウについて、ウインドウを設定すべき高
さ位置ｙが設定される。先行車両によって白線が遮蔽さ
れている場合、画面上の遮蔽位置より低い高さｙieが選
択されるが、遮蔽されていない場合は第１実施例と同様
である。ステップ１３２で処理の初期化が行われた後、
ステップ１３３〜１３６Ｂでは、選択された一方のパラ
メータ記述式を用いて、路面画像上の２つの高さ位置ｙ
１ij、ｙ２ijで白線が通過すべきｘ座標ｘ１ｗij、ｘ２
ｗijが計算される。ステップ１３３〜１３７を繰り返し
て、検出すべきｍ本の白線に対する同じ高さ位置ｙのウ
インドウの設定位置を定め、その後、ステップ１３７を
通過して路面画像上で一段低い隣接位置のウインドウの
設定が実行される。ステップ１３３〜１３９を通じて、
ｍ本の白線のそれぞれにｎ個づつのウインドウが設定さ
れる。

【００９４】図１９のフローチャートにおいて、発明の
撮像入力手段はステップ１２４〜１２５に、発明の検出
パラメータ保持手段はステップ１２１に、発明の白線候
補点検出手段はステップ１１６に、発明のパラメータ補
正手段はステップ１１７Ｂにそれぞれ対応する。発明の
白線遮蔽位置検出手段、複数の白線モデル記憶手段、お
よび白線モデル切り換え手段は、ステップ１２７の処理
に含まれる。以上説明した第４実施例によれば、検出す
べき白線が先行車両によって遮蔽されている場合には、
遮蔽範囲を避けてウインドウが設定されるから、先行車
両の画像上にウインドウを設定して、間違いデータを検
出する心配が無い。ウインドウ内で白線と無関係な直線
検出を実行してパラメータ推定結果に悪影響を及ぼす心
配が無い。また、路面画像上で白線が明白な近接部分だ
けで白線候補点のデータ蓄積を実行するから、近接部分
について、道路形状と車両姿勢のパラメータを正確に推
定できる。そして、白線が遮蔽された場合には、簡単な
パラメータ記述式を採用して最小二乗法等の演算負荷を
軽減するから、先行車両の位置検出等の処理が追加され
ているにもかかわらず、第１実施例並みの高い処理速度
を実現できる。

【００９５】図２１〜図２９を用いて第５実施例を説明
する。図２１は白線モデル選択のための基本構成の説明
図、図２２は選択モデルの説明図、図２３、図２４はモ
デル選択のためのフローチャート、図２５、図２６は車
両候補検出（下影検出）方法の説明図、図２７は車両候
補検出（車両幅検出）方法の説明図、図２８はモデル選
択のしきい値決定方法の説明図、図２９は選択モデル
（直線検出のみの場合）の説明図である。ここでは、路
面画像の原画像とその２種類のエッジ強調画面から先行
車両の位置を見積もる手順を詳しく説明する。

【００９６】高速道路等の自動車専用道路において自車
両前方の白線が遮蔽される場合は、先行車両による場合
がほとんどである。従って、第５実施例では、 （１）自車走行レーンを第１実施例の手法によって認識
した後、車両検出を施すことによって、車両位置に基づ
いて白線遮蔽開始座標（ｙie、ｉ＝０、１）を推定す
る。 （２）該推定座標によって白線モデルの切り換えを行
う。 という考え方を採用している。図２０において、番号１
１〜２０を付した構成部分については、図１７の第４実
施例の場合と同一であるから、詳細な説明を省略する。
車両検出部１０は、路面画像から先行車両位置を割り出
して、白線遮蔽位置検出部におけるウインドウ設定の状
態を調整する。

【００９７】図２３、図２４は第５実施例のフローチャ
ートである。図１９のフローチャートのステップ１２７
における処理の詳細が図２３に示され、図２３のフロー
チャートのＢ１−Ｂ２間の処理が図２４に示される。図
１９のフローチャートのステップ１２１のモデルパラメ
ータ更新の後、図２３のフローチャートのステップ６０
１に移行する。ステップ６０１で初期値ｙ＝ｙ０が設定
された後に、ステップ６０２では、図２６に示す横エッ
ジ画像が格納された横エッジ画像メモリデータを用い
て、両側の白線モデルの間の線分ｘ１（ｙ）−ｘ０
（ｙ）のエッジ強度分布を作成する。この処理をステッ
プ６０１〜６０３、６０９、６１０のループで初期値ｙ
＝ｙ０から順次下方に移動して繰り返す。すなわち、ス
テップ６０２で作成されたエッジ強度分布において、し
きい値Ｉh-t を越える画素数ｎｈがエッジ強度分布作成
範囲ｘ1 −ｘ0 の実定数倍ｎｋ（＜１）を越えるか否か
をステップ６０３で判断する。越えた場合には、ステッ
プ６０４においてそのｙ座標値を車両下影候補座標ｙs
として格納し、次へ進む。越えない場合は、ステップ６
０９〜６１０を通じて以上の作業をｙ＝ｙmin まで繰り
返し行う。これにより、下影候補座標をサーチする（車
両判定条件１）。自車両から十分に遠い位置に該当する
路面画像上の高さｙmin までの範囲について、車線幅の
一定割合以上の長い横エッジのうちで最も低い位置にあ
るものを下影とみなしている。演算装置に付設されたメ
モリ素子には、そのフレームの原画像、原画像の縦エッ
ジ強調画像、同横エッジ強調画像の画素データが一時的
に蓄積されている。メモリ素子に格納された、原画像、
縦エッジ強調画像、横エッジ強調画像のそれぞれの画素
データ群を、ここでは、原画像メモリ、縦エッジ強調画
像メモリ、横エッジ強調画像メモリと呼んでいる。

【００９８】次に、ステップ６０５〜６０６では、図２
４に示す原画像を格納した原画像メモリをもとに、ｙ＝
ｙs-Δh における線分ｘ1 （ｙs-δh ）−ｘ0 （ｙs-δ
ｈ）上の最小輝度値ｄmin を求める。該ｄmin がしきい
値ｄ-tより暗い画素のとき、ｙs を自車走行レーン上の
先行車両の下影ｙ座標として認識する（車両判定条件
２）。下影はｙ方向に厚みを持つから、この処理によっ
て横エッジ画像における下影の下境界の線分が識別され
る。

【００９９】最後にステップ６０７〜６０８では、図２
６に示す縦エッジ画像を格納した縦エッジ画像メモリを
用いて、縦エッジ画像上の高さｙ＝ｙs-δｖにおける線
分ｘ1 （ｙ）−ｘ0 （ｙ）上のエッジ強度分布を作成す
る。該強度分布において、左右両側からしきい値Ｉv-t
とのエッジ強度比較を行ったとき、最初にしきい値を越
えるｘ座標をｘie（ｉ＝０、１）として検出する。得ら
れた２つのｘ座標の差ΔＸc 、高さｙs における線分ｘ
1 （ｙs ）−ｘ0 （ｙs ）の長さΔＸ、および道幅Ｅか
ら、車両幅相当量Ｗは、次の（１６）式で推定される。

【数１３】 自動車の車幅はある範囲に規定できるので、ステップ６
０８において、条件Ｗ-t0 ＜Ｗ＜Ｗt1を車両判定条件３
として、前方に車両が存在するかしないかの最終判定を
行う。車両が存在すると判断された場合はステップ６２
１に進む。

【０１００】ステップ６２１で処理の初期化がなされ、
ステップ６２２のｙ＝ｙs からスタートして、ｉ＝０の
白線について、ステップ６２５の条件が満たされる高さ
ｙ0kを求めて、この値をステップ６２６でｙ0eとして保
持する。次にｉ＝１の白線について、同様の処理を行っ
てｙ1eとして保持する。ｉ＝０、１の２本の白線の処理
を終えるとステップ６２９を抜け出し、ステップ６３１
で白線モデルを切り替えるか否かを判断する。すなわ
ち、ステップ６２３ではパラメータ記述式から白線上の
ｘi を求め、ステップ６２４では既に検出されている車
両エッジ位置ｘie（ｉ＝０、１）とｘi （ｙ）との差ｄ
ｘi を求める。そして、ステップ６２５において該差ｄ
ｘi がしきい値ｄｘ-tより小さくなるとき、ステップ６
２６でそのｙ座標をｙie（ｉ＝０、１）として格納す
る。この処理を図２８の（ａ）に模式的に示す。また、
モデル切り換えの判定は、数値ｙieと図２８の（ｂ）に
示すマップを用いて行う。図２８の（ａ）において、ｙ
＝ｙs から始めて、順次高い位置ｙで距離ｄｘを求め
る。距離ｄｘは、パラメータ記述式にｙを代入して得た
ｘik（ｉ＝０、１）から車両エッジｘie（ｉ＝０、１）
までの距離である。距離ｄｘがしきい値δｘ-tを割り込
む高さ位置ｙie（ｉ＝０、１）までが白線可視距離に相
当する。

【０１０１】図２８の（ｂ）に示す曲線は、図３６の
（ａ）にも示されるように、白線モデルの式（３）にお
いて、曲線か直線かを規定するパラメータｂを約３００
Ｒのときと、直線のときすなわちｂ＝０のときの各ｙ座
標における差δｘを描いたものである。このマップか
ら、例えば、該差がδx-t より小となり始めるｙ-tをモ
デル切り換えの判断基準とすればよい。すなわち、ｙie
＞ｙ-tを曲線−直線モデル切り換えの判断基準とする。
直線モデルとして次の（１７）式を用いた場合、前述の
曲線モデルの式（１０）は、次の式（１８）のように変
更されて計算負荷が軽減される。

【数１４】

【０１０２】すなわち、第５実施例では、図２１の
（ａ）に示すように、先行車両がいないか遠くにいて、
数値ｙs がしきい値ｙ-tよりも小さい（高い位置にあ
る）場合には、第１実施例と同一の二次曲線式のパラメ
ータ記述式を選択するが、図２１の（ｂ）に示すよう
に、先行車両が近くにいて、数値ｙs がしきい値ｙ-tよ
りも大きい（低い位置にある）場合には、一次直線式の
（１７）式を選択する。

【０１０３】また、さらに車間距離が接近するようなケ
ースでは、複数のウインドウによる白線候補点検出を行
わなくてもよい。この場合は、図２９に示されるよう
に、左右のウインドウ内で検出された２直線をそのまま
白線として認識する。ｉ＝０の白線の一次直線式をｘ0
＝ａ1 ｙ＋ｂ1 、ｉ＝１の白線の一次直線式をｘ1 ＝ａ
2 ｙ＋ｂ2 と置いて、係数ａ1 、ｂ1 、ａ2 、ｂ2 をウ
インドウ演算処理で直接に求めれば、車両姿勢を示すヨ
ー角およびピッチ角は、次の（１９）式から算出される
ｃ、ｄの値より、（４）式によって求めることができ
る。

【数１５】

【０１０４】図３０を用いて第６実施例を説明する。図
３０は白線モデル選択のための基本構成の説明図であ
る。ここでは、マルチビーム型レーダー車間距離センサ
を使用して白線遮蔽範囲を計測している。

【０１０５】車両の下影は晴天時にはくっきりと路面上
に投影されるが、曇天時あるいは夜間等、現れないケー
スがある。このようなケースでは、レーダ等、外光に頼
らないで車間距離を認識する手段を用いることによっ
て、第４、第５実施例のような白線モデル切り換え判断
を行うことができる。図３０の構成に示される構成部分
のうちで、第４実施例の構成中の部と機能を共通にする
構成部分については、図１８の場合と同一の符号を付し
て詳しい説明を省略する。

【０１０６】第４実施例の構成に新たに付加された走行
レーン認識部８１は、算出されたパラメータに基づいて
路面画像上の走行レーンを区別して認識する。車間距離
検出部８２は、車両前方に放射したレーダービームを用
いて、複数の指向性で前方の障害物（先行車両）までの
距離を計測する。レーダー距離値選択部８４は、車間距
離検出部８２が複数の指向性でそれぞれ計測した距離値
の中から、走行レーン認識部８１による認識結果に基づ
いた１つを選択する。画像座標系における車両ｙ座標値
推定部８３は、レーダ距離値選択部８４で選択された距
離値Ｌを、次の（２０）式を用いて画像座標系のｙ座標
（ｙs ）に変換する。白線モデル切り換え部２０Ｂは、
第４実施例の場合とは異なり、この座標変換された座標
値ｙs を直接モデル切り換えの判定に用いる。

【数１６】 白線候補点検出部１２Ｂは、ウインドウ内の白線検出と
検出データの演算処理を通じて白線候補点の位置情報を
抽出する。白線モデル切り換え部２０Ｂの出力が白線候
補点検出部１２と撮像部１１の間に図示される理由は、
白線候補点検出部１２では、切り換えられた白線モデル
を用いてウインドウ設定を行うからである。第７実施例
によれば、曇天時あるいは夜間等で車両の影が明白に現
れないケースでも車間距離を認識して、白線遮蔽範囲を
正確に見積もり、白線モデルの切り換えを実行できる。

【０１０７】図３１〜図３３を用いて第７実施例を説明
する。図３１は第７実施例の車両検出結果の説明図、図
３２はレーザビーム到達位置ベクトルの説明図、図３３
はレーダ距離値選択のためのフローチャートである。マ
ルチビーム型レーザレーダ装置を用いた従来の追突警報
装置にあっては、カーブ路において外側の路側帯に存在
する反射板の距離値を先行車両の距離値と誤認し、誤っ
た警報を発する場合があった。そこで、第７実施例で
は、路面画像上の複数の車線上の先行車両をそれぞれ区
別して検出することによって追突警報装置の警報の信頼
性を向上させている。

【０１０８】図３２の（ｂ）に示すように、自車両８６
の前端部に３本のレーザー距離計が矢印で示す所定の指
向性を与えて設置される。３本のレーザー距離計を用い
て追突警報装置を構成した車両に、第６実施例の走行路
検出装置を組み合わせて第７実施例が構成される。図３
２の（ｂ）において、右側の指向性を担当するレーザー
距離計からは先行車両８７の車間距離ｄＲが出力され
る。一方、中央および左側の指向性を担当するレーザー
距離計からは、路側帯の反射板８８までの距離ｄＬ、ｄ
Ｃが出力されている。このとき路面画像は図３３の
（ａ）に示す状態であり、楕円で示す範囲が３本のレー
ザー距離計のそれぞれの測距エリア断面に相当してい
る。

【０１０９】図３１において、第５実施例と同様な路面
画像を用いた車両検出を行うことにより、車両存在範囲
ｘ0e−Ｘ1eが求まる。ここでは、路面画像を撮像するカ
メラと３本のレーザー距離計の位置関係が固定されてい
るため、路面画像の中で３本のレーザー距離計の測距方
向のベクトルは一定である。３本のレーザから得られた
図３１の距離（ｄＬ、ｄＣ、ｄＲ）と画像上のレーザ中
心座標位置（Ｇ0 、Ｇ1 、Ｇ2 ：ベクトル）との関係
は、予めメモリデータとして記憶しておく。先行車両８
７の存在範囲の中心ｘ座標をｘc とすれば、レーザー距
離計の測定値から求めた車両候補座標と座標ｘc との画
像座標系上の距離が最小となるような距離値ｄＸ（Ｘ＝
Ｌ、Ｃ、Ｒ）を、自車線上の車両までの距離として認識
することによって、より精度の高い自車線上の障害物ま
での距離計測が可能となる。この一連の処理を図３３の
フローチャートに示す。

【０１１０】ステップ７０１で路面画像が、ステップ７
０２でレーザ距離値がそれぞれメモリに取り込まれる。
ステップ７０３では白線遮蔽範囲に応じた白線モデルの
切り換えが実行され、この白線モデルを用いてステップ
７０４で道路パラメータが求められ白線モデルが更新さ
れる。ステップ７０５では路面画像から先行車両の有無
および存在位置が求められ、先行車両がいない場合はス
テップ７１０でレーダ距離値を無視する。一方、先行車
両が存在する場合は、ステップ７０７〜７０９を通じて
先行車両を捕捉しているレーザー距離計を特定し、その
出力値を車間距離として出力させる。第７実施例によれ
ば、カーブ路において路側帯に存在する反射板の距離値
を先行車両の距離値と誤認する心配が無く、誤った警報
を発することが無い。従って、追突警報装置の精度と信
頼性が向上する。

【０１１１】図３４〜図３６を用いて第７実施例の変形
例を説明する。図３４は画像処理による先行車両検出の
説明図、図３５は全体処理のフローチャート、図３６は
レーダ距離測定値の選択のフローチャートである。ここ
では、第７実施例と同様に３本のレーザー距離計から得
られた距離Ｌ0 、Ｌ1 、Ｌ2 の中から、自車線上の先行
車両に相当する１つを選択する。ただし、第７実施例と
は別の手順を用いてレーザー距離計を特定する。また、
第５実施例では、車線幅に占める横エッジ長さの割合が
一定以上の場合を先行車両と判断して車両候補点の位置
を求めたが、ここでは、路面画像のｙ方向輝度分布から
車両候補点位置を割り出す。

【０１１２】図３４の（ａ）において、自車線上の先行
車両８７には高さがあるため、自車線上に影が投影され
ている。検出された白線モデルから自車線の中心線（ｘ
m 、ｙm ）を求めて、中心線上の画素の輝度データを原
画像メモリから抽出することにより、高さｙ＝ｙs 〜ｙ
e の範囲の輝度分布を図３４の（ｂ）のように作成す
る。影に相当する最も暗い輝度ｐc を検知し、その位置
（ｘc 、ｙc ）を車両候補点座標として出力する。図３
２の（ａ）に示される「路面画像上のレーザ中心座標位
置（図中の×印）から車両候補点座標（ｘc 、ｙc ）ま
での距離」が最小となるようなレーダ距離値が、自車線
上の先行車両８７までの距離として認識される。

【０１１３】第７実施例の場合と同様に、演算装置のメ
モリには、３本のレーザー距離計から得られた距離Ｌ0
、Ｌ1 、Ｌ2 と画像上のレーザ中心座標位置（Ｇ0 、
Ｇ1 、Ｇ2 ：ベクトル）との関係が予め記憶されてい
る。図３５において、ステップ７２１で１フレーム分の
原画像やエッジ強調画像のデータが演算装置に取り込ま
れる。ステップ７２２では、ウインドウ処理を通じて得
られた白線候補点の検出データに基づいて白線モデル補
正量が計算される。ステップ７２３では、この白線モデ
ル補正量を用いて前画面で求めた白線モデルが更新され
る。ステップ７２４では、最新の白線モデルに基づいて
中心線モデルＸm （ｙ）を作成する。ステップ７２５で
は、上述のように高さｙ＝ｙs 〜ｙe の範囲でｘm 上の
輝度分布を作成する。ステップ７２６では、最小輝度値
ｐc および車両候補点高さｙc を抽出して出力する。ス
テップ７２７では車両候補点高さｙc を中心線モデルＸ
m （ｙ）に代入して車両候補点位置ｘc を計算する。ス
テップ７２８では、最小輝度値ｐc が所定のしきい値ｐ
-t以下であるか否かを判定する。真であるならば、座標
位置（ｘc 、ｙc ）を路面画像の座標系における車両候
補点座標として認識し、図３６のステップ７３１へ進
む。

【０１１４】図３６において、ステップ７３１では、３
本のレーザー距離計による最新の距離計測値を取り込
む。ステップ７３２では、予め記憶されたメモリテーブ
ルからレーザの中心座標ベクトル（Ｇ0 、Ｇ1 、Ｇ2 ）
を読み出す。ステップ７３３では、中心座標ベクトル
（Ｇ0 、Ｇ1 、Ｇ2 ）にそれぞれの距離計測値をかけ合
わせて路面画像上の参照範囲の重心位置を求め、それぞ
れの重心位置から車両候補点座標（ｘc 、ｙc ）までの
距離Ｌgi（ｉ＝０〜２）を算出する。ステップ７３４〜
７３８で距離Ｌgiが最小となるｊの値を求める。ステッ
プ７３９では、ｊに相当するレーザレーダ距離値Ｌgi
（ｊ）を、自車線上の先行車両８７までの距離値と判断
して出力する。第７実施例の変形例によれば、より確度
の高い自車線上の障害物までの距離計測が可能となる。

【０１１５】

【発明の効果】本発明の走行路検出装置によれば、路面
画像から白線を検出して道路パラメータを推定するまで
の処理を通じて、データを座標変換する演算処理が不必
要であるから、従来例の走行路検出装置に比較して演算
量が大幅に削減され、一般的な演算装置を使用した場合
でも、毎秒１０〜１００画面の路面画像を余裕を持って
処理できる。これにより、刻々の白線状態を細かい時間
間隔で補足しても、道路の三次元形状や自車両の姿勢を
リアルタイムに出力できる。従って、種々の警報や自動
運転に対する応用が可能となる等、走行路検出装置の精
度と信頼性と実用性が共に高められた。

【０１１６】路面画像上の小領域の設定を切り換える場
合、路面画像上で精度高く検出できる部分に小領域を設
定するから、車線内の自車両位置にかかわらず、精度の
高い道路パラメータを出力し続けることができる。この
とき、小領域の合計の設定数を変化させなければ、これ
によって処理時間が増大することもない。また、方向指
示なく車線変更を実行しようとした場合に警報を出力さ
せる場合、運転者の不注意や居眠りに起因する事故発生
を予防できる。さらに、隣接車線に車線変更しようとす
る際に隣接車線の先行車両を検知し、衝突の可能性を判
断して警報を出力させる場合、車線変更に伴う事故発生
を予防できる。

【０１１７】すなわち、道路形状推定のための道路モデ
ルを、道路曲率や自車両の位置等、すべてのレーンマー
カーとなる白線に対して共通のパラメータに相当する量
で表し、これらパラメータの算出結果や既知の定数をも
とに走行レーン内の車両の走行位置を算出して、その結
果によって道路白線の検出本数を切り換えられる構成と
したため、自車両の一部が隣のレーンに入る前に隣の走
行レーン領域を認識でき、また、他のレーダ等の測距セ
ンサのデータの測距対象を判別できるという効果が得ら
れる。

【０１１８】白線の遮蔽範囲に応じてパラメータ記述式
を切り換える場合、路面画像上で捕捉できる白線部分か
ら最大限の精度で道路パラメータを求められる。また、
パラメータ記述式を簡略化することで演算負荷をさらに
軽減し、余った演算余力を他の処理、例えば、先行車両
の認識等に割り当てることも可能になる。すなわち、効
率的な道路パラメータ推定が可能となった。

【図面の簡単な説明】

【図１】設定座標系の説明図である。

【図２】カメラ座標系における白線モデルの説明図であ
る。

【図３】画像座標系における新旧白線対応点の説明図で
ある。

【図４】構成の説明図である。

【図５】処理全体のフローチャートである。

【図６】ウインドウ更新のためのフローチャートであ
る。

【図７】白線候補点の検出のフローチャートである。

【図８】白線候補点の検出方法の説明図である。

【図９】ウインドウ設定位置の説明図である。

【図１０】構成の説明図である。

【図１１】白線検出本数切り替えのフローチャートであ
る。

【図１２】道路白線検出の例を示した説明図である。

【図１３】ウインドウの設定を示した説明図である。

【図１４】第３実施例の構成を示すブロック図であ
る。、

【図１５】第３実施例の作用の説明図である。

【図１６】車線逸脱の警報の説明図である。

【図１７】第３実施例の変形例の説明図である。

【図１８】第４実施例の全体の構成の説明図である。

【図１９】全体処理のフローチャートである。

【図２０】ウインドウ更新のフローチャートである。

【図２１】白線モデル選択のための基本構成の説明図で
ある。

【図２２】選択モデルの説明図である。

【図２３】モデル選択のためのフローチャートである。

【図２４】モデル選択のためのフローチャートである。

【図２５】車両候補検出（下影検出）方法の説明図であ
る。

【図２６】車両候補検出（下影検出）方法の説明図であ
る。

【図２７】車両候補検出（車両幅検出）方法の説明図で
ある。

【図２８】モデル選択のしきい値決定方法の説明図であ
る。

【図２９】選択モデル（直線検出のみの場合）の説明図
である。

【図３０】白線モデル選択のための基本構成の説明図で
ある。

【図３１】第７実施例の車両検出結果の説明図である。

【図３２】レーダビーム到達位置ベクトルの説明図であ
る。

【図３３】レーダ距離値選択のためのフローチャートで
ある。

【図３４】画像処理による先行車両検出の説明図であ
る。

【図３５】全体処理のフローチャートである。

【図３６】レーダ距離測定値の選択のフローチャートで
ある。

【図３７】従来例の走行路検出装置の説明図である。

【図３８】二次曲線近似の精度の説明図である。

【符号の説明】

１１ 撮像部 １２ 白線候補点検出部 １３ 白線候補点と白線モデル点列とのずれ量算出部 １４ パラメータ変動量算出部 １５ 変動量の基づいて前回のパラメータを補正する補
正部 １６ 検出パラメータ保持部 １７ 前回の白線モデル（曲線式）上の点列を計算する
算出部 ２１ ウインドウ ２２、２３ 座標系 ２４、２４Ｇ 道路 ２５、２５Ｇ 白線 ２６ 路面画像 ４１ 撮像部 ４２ 画像処理部 ４３ 白線検出部 ４４ 道路パラメータ推定部 ４５ 自車偏位判断部 ４６ 白線検出本数設定部 ４７ 白線候補点検出領域設定部 ５０ 消失点 ５１、５２、５３ ウインドウ ６１ 画像入力部 ６２ エッジ抽出部 ６３ 直線検出領域設定部 ６４ 白線候補点検出部 ６５ 道路パラメータ算出部 ６６ 車線変更判断部 ６７ 白線検出本数設定部 ６８ 認識車線数判断部 ６９ 車線領域認識部 ７０ 自車線上障害物検出部 ７１ 隣接車線上障害物検出部 ７２ 車線変更可否判断部 ７３ 方向指示判断部 ７４ 衝突可能性判断部 ７５ 警報発生部 ７６、７７、７８ 先行車両 ８１ 走行レーン認識部 ８２ 車間距離検出部 ８３ 画像座標系における車両ｙ座標値推定部 ８４ レーダ距離値選択部 ８７ 先行車両 Ａ１、Ａ２、Ａ３ 検出エリア Ｌ１、Ｌ２、Ｌ３ 車線

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/60 Ｇ０８Ｇ 1/09 Ｖ // Ｇ０５Ｄ 1/02 Ｋ

Claims (23)

【特許請求の範囲】
1. 【請求項１】 車両前方の路面画像を採取し、画像処理
   して路面の白線を抽出する撮像入力手段を有し、前記路
   面画像上の白線を検出して、路面の三次元形状と路面に
   対する車両の相対位置関係とを識別する走行路検出装置
   において、 前記白線の二次曲線近似式を路面画像の座標系に変換し
   たパラメータ記述式における、走行車線内の車両位置、
   道路の平面曲率、車線に対する車両の傾き、道路の傾
   斜、道路幅にそれぞれ関連付けた複数のパラメータを保
   持する検出パラメータ保持手段と、 路面画像上の前記白線に沿った複数の白線候補点につい
   て、路面画像の座標系を用いた位置情報を求める白線候
   補点検出手段と、 前記検出パラメータ保持手段に保持した過去の複数のパ
   ラメータから演算した仮想的な白線候補点に対して、路
   面画像から求めた最新の白線候補点の前記位置情報を比
   較して、前記複数のパラメータの最新値を求めて、前記
   検出パラメータ保持手段の前記複数のパラメータを更新
   させるパラメータ補正手段と、を有することを特徴とす
   る走行路検出装置。
2. 【請求項２】 前記パラメータ補正手段は、前記仮想的
   な白線候補点と最新の白線候補点とのずれ量を算出する
   ずれ量算出手段と、 前記ずれ量に基づいて前記複数のパラメータの変動量を
   算出するパラメータ変動量算出手段と、を含み、かつ、 前記パラメータ変動量算出手段は、最小二乗法を用いて
   前記パラメータ変動量を算出することを特徴とする請求
   項１記載の走行路検出装置。
3. 【請求項３】 前記パラメータ補正手段は、更新した最
   新の前記複数のパラメータに基づいて、道路の平面曲
   率、車線に対する車輌の傾き、道路の傾斜を算出して出
   力する道路形状出力手段を含むことを特徴とする請求項
   １または２記載の走行路検出装置。
4. 【請求項４】 前記パラメータ記述式は、走行車線内の
   車両位置、道路の平面曲率、車線に対する車両の傾き、
   道路の傾斜、道路幅に関連付けた複数のパラメータをそ
   れぞれａ、ｂ、ｃ、ｄ、ｅとし、路面画像の座標系を
   ｘ、ｙとし、ｋを整数として、 ｘ＝（ａ＋ｋｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ であることを特徴とする請求項１、２、または３記載の
   走行路検出装置。
5. 【請求項５】 車両前方の路面画像を採取し、画像処理
   して路面の白線を抽出する撮像入力手段と、前記白線の
   検出結果に基づいて、少なくとも走行車線の幅と自車線
   内の自車両位置とにそれぞれ関連付けられた２つの道路
   パラメータを刻々の前記路面画像について算出する道路
   パラメータ推定手段と、を有する走行路検出装置におい
   て、 前記白線の推定位置に沿って前記路面画像上に設定した
   複数の小領域のそれぞれについて、前記画像処理手段が
   抽出した白線の通過位置座標を求める白線候補点検出手
   段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
   数と、それぞれの前記白線に対する小領域の割り当て数
   とを決定して、前記白線候補点検出手段に設定する白線
   候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
   識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
   基づいて、前記小領域を設定すべき白線の本数と、それ
   ぞれの白線に対する前記小領域の割り当て数とを変更
   し、車両が一方の白線に接近した際には、接近方向の別
   の１本の白線にも前記小領域を割り当てることを特徴と
   する走行路検出装置。
6. 【請求項６】 前記白線候補点検出領域設定手段は、走
   行車線の幅と自車線内の自車両位置との差を検知し、車
   両が一方の白線に接近して前記差が所定の判定基準値範
   囲をはみだした場合には、その白線と両側の２本の白線
   を含む３本の白線に対して前記小領域を割り当てること
   を特徴とする請求項５記載の走行路検出装置。
7. 【請求項７】 前記白線候補点検出領域設定手段は、走
   行車線の幅と自車線内の自車両位置との差を検知し、車
   両が一方の白線を越えた後に前記差が所定の判定基準値
   範囲の中に入った場合には、新しい自車線の両側の２本
   の白線のみに対して前記小領域を割り当てることを特徴
   とする請求項５記載の走行路検出装置。
8. 【請求項８】 前記白線候補点検出領域設定手段は、走
   行車線の幅に関連付けて予め設定した定数を保持してお
   り、前記走行車線の幅については、前記パラメータ推定
   手段と無関係に、一定の値を用いて前記差の検知を行う
   ことを特徴とする請求項５、６、または７記載の走行路
   検出装置。
9. 【請求項９】 前記白線候補点検出領域設定手段は、前
   記小領域を設定すべき白線の本数が変化しても、前記小
   領域の割り当ての合計数を変化させずに小領域を設定す
   ることを特徴とする請求項５、６、７、または８記載の
   走行路検出装置。
10. 【請求項１０】 前記白線候補点検出領域設定手段は、
    ３本の白線に対して前記小領域を割り当てる際に、接近
    した白線に対して、両側の他の２本の白線のいずれに割
    り当てるよりも多くの前記小領域を割り当てることを特
    徴とする請求項５、６、７、８、または９記載の走行路
    検出装置。
11. 【請求項１１】 車両前方の路面画像を採取し、画像処
    理して路面の白線を抽出する撮像入力手段と、前記白線
    の検出結果に基づいて、少なくとも走行車線の幅と自車
    線内の自車両位置とにそれぞれ関連付けられた２つの道
    路パラメータを刻々の前記路面画像について算出する道
    路パラメータ推定手段と、を有する走行路検出装置にお
    いて、 前記白線の推定位置に沿って前記路面画像上に設定した
    複数の小領域のそれぞれについて、前記画像処理手段が
    抽出した白線の通過位置座標を求める白線候補点検出手
    段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
    数と、それぞれの前記白線に対する小領域の割り当て数
    とを決定して、前記白線候補点検出手段に設定する白線
    候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
    識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
    基づいて、前記小領域を設定すべき白線の本数と、それ
    ぞれの白線に対する前記小領域の割り当て数とを変更
    し、車両が一方の白線に接近した際には、接近方向の別
    の１本の白線にも前記小領域を割り当て、かつ、 自車両の方向指示器が操作されているか否かを識別する
    方向指示判別手段と、 自車両が一方の前記白線に接近した際に、方向指示判別
    手段によって方向指示器の非操作が識別された場合に
    は、運転者に対して警報を出力する警報発生手段と、を
    設けたことを特徴とする走行路検出装置。
12. 【請求項１２】 車両前方の路面画像を採取し、画像処
    理して路面の白線を抽出する撮像入力手段と、前記白線
    の検出結果に基づいて、少なくとも走行車線の幅と自車
    線内の自車両位置とにそれぞれ関連付けられた２つの道
    路パラメータを刻々の前記路面画像について算出する道
    路パラメータ推定手段と、を有する走行路検出装置にお
    いて、 前記白線の推定位置に沿って前記路面画像上に設定した
    複数の小領域のそれぞれについて、前記画像処理手段が
    抽出した白線の通過位置座標を求める白線候補点検出手
    段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
    数と、それぞれの前記白線に対する小領域の割り当て数
    とを決定して、前記白線候補点検出手段に設定する白線
    候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
    識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
    基づいて、前記小領域を設定すべき白線の本数と、それ
    ぞれの白線に対する前記小領域の割り当て数とを変更
    し、車両が一方の白線に接近した際には、接近方向の別
    の１本の白線にも前記小領域を割り当て、かつ、 前記路面画像上の自車線領域を認識する車線領域認識手
    段と、 前記車線領域認識手段で認識される車線領域について前
    方の障害物を検出する障害物検出手段と、 前記障害物検出手段で検出される障害物と車両との衝突
    の可能性を判断する衝突可能性判断手段と、 衝突の可能性が肯定された場合に運転者に対して警報を
    出力する警報発生手段と、を有することを特徴とする走
    行路検出装置。
13. 【請求項１３】 車両前方の路面画像を採取し、画像処
    理して路面の白線を抽出する撮像入力手段と、前記白線
    の検出結果に基づいて、少なくとも走行車線の幅と自車
    線内の自車両位置とにそれぞれ関連付けられた２つの道
    路パラメータを刻々の前記路面画像について算出する道
    路パラメータ推定手段と、を有する走行路検出装置にお
    いて、 前記白線の推定位置に沿って前記路面画像上に設定した
    複数の小領域のそれぞれについて、前記画像処理手段が
    抽出した白線の通過位置座標を求める白線候補点検出手
    段と、 前記路面画像上で前記小領域を設定すべき前記白線の本
    数と、それぞれの前記白線に対する小領域の割り当て数
    とを決定して、前記白線候補点検出手段に設定する白線
    候補点検出領域設定手段と、 前記道路パラメータに基づいて自車線内の自車両位置を
    識別する自車偏位判断手段と、を有し、かつ、 前記白線候補点検出領域設定手段は、前記自車両位置に
    基づいて、前記小領域を設定すべき白線の本数と、それ
    ぞれの白線に対する前記小領域の割り当て数とを変更
    し、車両が一方の白線に接近した際には、接近方向の別
    の１本の白線にも前記小領域を割り当て、かつ、 前記白線候補点検出領域設定手段が定めた白線の検出本
    数によって認識する領域を変化させる車線領域認識手段
    と、 車両が白線に接近して外側の白線に前記小領域が割り当
    てられた際に隣接車線領域の障害物の有無を識別する隣
    接車線障害物検出手段と、 前記障害物が存在する場合に、その障害物に衝突するこ
    となく車線変更が可能か否かを判断する車線変更可否判
    断手段と、を有することを特徴とする走行路検出装置。
14. 【請求項１４】 車両前方の路面画像を採取し、画像処
    理して路面の白線を抽出する撮像入力手段を有し、前記
    路面画像上の白線を検出して、路面の三次元形状と路面
    に対する車両の相対位置関係とを識別する走行路検出装
    置において、 前記白線の近似式を路面画像の座標系に変換したパラメ
    ータ記述式における複数のパラメータを保持する検出パ
    ラメータ保持手段と、 路面画像上の前記白線に沿った複数の白線候補点につい
    て、路面画像の座標系を用いた位置情報を求める白線候
    補点検出手段と、 前記検出パラメータ保持手段に保持した過去の複数のパ
    ラメータから演算した仮想的な白線候補点に対して、路
    面画像から求めた最新の白線候補点の前記位置情報を比
    較して、前記複数のパラメータの最新値を求めて、前記
    検出パラメータ保持手段の前記複数のパラメータを更新
    させるパラメータ補正手段と、を有するとともに、 自車線の先行車両によって前記白線が遮断される範囲を
    求める白線遮蔽範囲検出手段と、 前記パラメータ記述式として、白線を二次曲線で近似し
    た第１パラメータ記述式と、前記白線が遮蔽された場合
    に適合させて第１パラメータ記述式を簡略化した第２パ
    ラメータ記述式とを記憶させた複数の白線モデル記憶手
    段と、 前記白線遮蔽範囲検出手段の検出状態に応じて前記複数
    の白線モデル記憶手段における複数のパラメータ記述式
    を選択し、前記白線が遮蔽された場合には、前記パラメ
    ータ補正手段に第２パラメータ記述式による処理を実行
    させる白線モデル切り換え手段と、を設けたことを特徴
    とする走行路検出装置。
15. 【請求項１５】 前記白線遮蔽範囲検出手段は、前記路
    面画像から自車線上の先行車両を識別して先行車両の位
    置を求める車両位置検出手段と、求められた車両位置に
    基づいて白線が遮蔽される範囲を推定する遮蔽範囲推定
    手段と、を有することを特徴とする請求項１４記載の走
    行路検出装置。
16. 【請求項１６】 前記車両位置検出手段は、前記路面画
    像から先行車両の両側端座標を求めて先行車両の位置を
    計算することを特徴とする請求項１５記載の走行路検出
    装置。
17. 【請求項１７】 前記車両位置検出手段は、前記路面画
    像から先行車両の下端座標を求めて先行車両の位置を計
    算することを特徴とする請求項１５記載の走行路検出装
    置。
18. 【請求項１８】 前記白線遮蔽範囲検出手段は、 複数の指向性方向で先行車両を検知して、それぞれの方
    向で障害物までの距離を計測可能な車間距離検出手段
    と、 前記パラメータに基づいて自車線の先行車両が前記複数
    の指向性のいずれに相当しているかを識別する自車走行
    レーン認識手段と、 自車走行レーン認識手段の識別結果に基づいて、前記車
    間距離検出手段が求めた複数の車間距離から自車線上の
    先行車両の車間距離を選択する車間距離値選択手段と、
    を含むことを特徴とする請求項１４記載の走行路検出装
    置。
19. 【請求項１９】 第１パラメータ記述式は、走行車線内
    の車両位置、道路の平面曲率、車線に対する車両の傾
    き、道路の傾斜、道路幅にそれぞれ関連付けた５つのパ
    ラメータを含み、一方、第２パラメータ記述式は、道路
    の平面曲率に関連つけた１つを除く４つのパラメータを
    含むことを特徴とする請求項１４、１５、１６、１７、
    または１８記載の走行路検出装置。
20. 【請求項２０】 第１パラメータ記述式は二次曲線式、
    第２パラメータ記述式は一次直線式であることを特徴と
    する請求項１４、１５、１６、１７、１８、または１９
    記載の走行路検出装置。
21. 【請求項２１】 前記パラメータ補正手段は、選択され
    たパラメータ記述式による仮想的な白線候補点と前記路
    面画像から求めた最新の白線候補点とのずれ量を算出す
    るずれ量算出手段と、 前記ずれ量に基づいて前記複数のパラメータの変動量を
    算出するパラメータ変動量算出手段と、を含み、かつ、 前記パラメータ変動量算出手段は、最小二乗法を用いて
    前記パラメータ変動量を算出することを特徴とする請求
    項１４、１５、１６、１７、１８、１９、または２０記
    載の走行路検出装置。
22. 【請求項２２】 前記パラメータ補正手段は、更新した
    前記複数のパラメータに基づいて道路の三次元形状を算
    出し、直ちに出力する道路形状出力手段を含むことを特
    徴とする請求項１４、１５、１６、１７、１８、１９、
    ２０、または２１記載の走行路検出装置。
23. 【請求項２３】 走行車線内の車両位置、道路の平面曲
    率、車線に対する車両の傾き、道路の傾斜、道路幅にそ
    れぞれ関連付けたパラメータをａ、ｂ、ｃ、ｄ、ｅと
    し、前記路面画像の座標系をｘ、ｙとし、ｉを整数とす
    るとき、第１パラメータ記述式は、 ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ であり、一方、第２パラメータ記述式は、 ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｃ であることを特徴とする請求項１４、１５、１６、１
    ７、１８、１９、２０、２１、または２２記載の走行路
    検出装置。