JP3557656B2 - Approach prediction device - Google Patents

Description

ここに、Ｉ，Ｊ：観測画像上の任意の点Ｐの座標値
ｉ，ｊ：Ｐ（Ｉ，Ｊ）に対応する視点変換画像上のｐ点の座標値
Ａ，Ｂ：視点変換画像の表示サイズ
ｐ，ｑ：ＣＣＤカメラの画素サイズ
θ_ｖ：ＣＣＤカメラの俯角
ｆ：ＣＣＤカメラの焦点距離
ｉｎｔ（ ）：（ ）内の値の整数部分を示す関数
なお、上述の（１），（２）式による視点変換は、ＣＣＤカメラ３により撮像された物体がすべて路面ＲＤ上に存在する平面物体であることを前提としているので、たとえば図６（ａ）に示す前方車両ＭＶｂは、同図（ｂ）ではＭＶｂ’に示すように歪んで変換される。
【００３０】
ステップＳ１３では、視点変換された画像データに対してこの画像中に含まれる白線を抽出する白線抽出動作を行う。
【００３１】
白線抽出動作の詳細を図７のフローチャートに示す。ステップＳ１３１では、白線検出用フィルタにより視点変換された画像データ中から白線候補となる領域を検出する。
【００３２】
本実施例で使用される白線検出用フィルタは、たとえば図８に示すようなものであり、座標値（ｘ，ｙ）を有する対象点ｐに対して幅ｗだけ左右に広がった「１」部と、その左右にある「−１」部とを有する。幅ｗは、抽出すべき白線ＷＬの幅に応じて予め与えておけばよく、抽出すべき白線幅をＷとしたとき、Ｗ＜ｗとなるように定められる。対象点ｐ（ｘ，ｙ）に対する白線抽出用フィルタの出力Ｆ（ｘ，ｙ）は次式で与えられる。
【数２】

【００３３】
幅ｗが適切に定められていれば、対象点ｐ（ｘ，ｙ）が白線ＷＬ上に位置すると出力Ｆ（ｘ，ｙ）の値が高くなるので、画像全体の各点において算出した出力Ｆ（ｘ，ｙ）に対して閾値処理を行うことにより白線候補の領域を抽出することができる。この際、各対象点ｐ（ｘ，ｙ）に対して適切な閾値を設定するために、次式に示すように横方向の各ライン（Ｘ軸方向）毎に閾値ｔを決定する。
【数３】

ここに、０＜ｋ＜１：定数
Ｍ：画像の横方向画素数
【００３４】
この閾値ｔを用いて生成した、白線の候補領域を表す画像データをＬ（ｘ，ｙ）とすると、このＬ（ｘ，ｙ）は次式で与えられる。
【数４】

Ｌ（ｘ，ｙ）が１の値をとる領域が、白線の候補領域である。
【００３５】
上述のステップＳ１３１で実行された白線の候補領域抽出動作では、実際に路面ＲＤ上に描かれている白線ＷＬそのものを抽出しており、図３（ａ）および図６に示すように実際の白線ＷＬは周期的に途切れている。したがって、図９（ａ）に示すように、ステップＳ１３１で抽出された白線の候補領域も（理想的には）周期的に途切れてしまう。しかし、白線という概念は実際の白線ＷＬと異なり、途中で途切れない一連の曲線であり、途切れた白線のままでいると後述する白線の方向ベクトル算出に支障を生じることもありうるので、ステップＳ１３２で白線の候補領域を連結する作業を行う。
【００３６】
図９によりステップＳ１３２の手順を詳細に説明する。ステップＳ１３１で抽出された白線候補領域を図９（ｂ）に示すように細線化し、白線候補領域の中心線を抽出する。次いで、図９（ｃ）に示すように、中心線の端点を検出してから、同図（ｄ）に示すように所定間隔以下の端点を連結する。さらに、同図（ｅ）に示すように連結された端点と上述のステップＳ１３１で抽出された白線の領域候補との論理和をとれば、同図（ｆ）に示すように白線の候補領域の連結作業が完了する。なお、ステップＳ１３２の各動作において細線化、端点検出、論理和といった画像処理は周知の手法によればよい。
【００３７】
ステップＳ１３３では、ステップＳ１３２において連結された白線の候補領域に基づいて白線のテンプレートを次のように作成する。連結された白線の候補領域に対してラベリング処理を行い、ラベリングされた各領域において最大面積を有する領域に２次曲線をマッチングさせ、テンプレートとする。たとえば、ステップＳ１３１において抽出された白線の候補領域が図１０（ａ）に示すようなものであったとすると、連結された状態においては略中央にある白線が最も長く３本の白線候補領域の中では最大面積を有する領域であるから、この略中央の白線候補領域に２次曲線がマッチングされ、同図（ｂ）に示すようなテンプレートＴ（ｘ，ｙ）が生成される。
【００３８】
ステップＳ１３４では、ステップＳ１３１において抽出された白線候補領域に対して、ステップＳ１３３において作成されたテンプレートＴ（ｘ，ｙ）を用いてこれにマッチした領域を探索する。その結果、図１０（ａ）に示すような白線候補領域に対しては、同図（ｃ）に示すような３本の白線領域ＷＬＲａ〜ＷＬＲｃが検出される。
【００３９】
（２）データ抽出
図１１は、図４に示したメインフローチャートのステップＳ４０で実行されるデータ抽出ルーチンを示すフローチャートである。ステップＳ４１では、図４のステップＳ２０で入力された車輪速センサ１からの信号に基づいて、車両ＭＶａの位置する座標を、所定時間における車両ＭＶａの位置を原点とする座標、つまり路面ＲＤに固定された絶対座標系上で求める。図２に示すように、車両ＭＶａの絶対座標値をＡ（ｘ_ａ，ｙ_ａ，０）とする。
【００４０】
車輪速センサ１から車速に応じたパルス列を取込んで車両ＭＶａの走行距離を演算する。一方、車両ＭＶａの移動方向は、左右後輪の車輪速センサ１で検出された車輪速の差から求められる。したがって、車両ＭＶａの移動距離および移動方向を順次加算すれば、車両ＭＶａの絶対座標値が求められる。
【００４１】
次に、ステップＳ４２では、図７のステップＳ１３４で求められた白線領域ＷＬＲａ〜ＷＬＲｃのデータにステップＳ４１で求められた車両ＭＶａの絶対座標値をオフセット分として加え、これにより、白線領域ＷＬＲａ〜ＷＬＲｃを絶対座標系上のデータに変換する。同様にして、ステップＳ３０で読み込まれた前方車両の相対座標値に自車両ＭＶａの絶対座標値をオフセット分として加え、前方車両の位置を絶対座標値に変換する。図２に示す例では、前方車両ＭＶｂの絶対座標値をＢ（ｘ_ｂ，ｙ_ｂ，０）で表している。
【００４２】
ステップＳ４３では、前回計測された車両ＭＶａおよび前方車両ＭＶｂの絶対座標値と今回計測された車両ＭＶａおよび前方車両ＭＶｂの絶対座標値とから、車両ＭＶａおよび前方車両ＭＶｂの絶対座標値の差分を求めることによりそれぞれの速度ベクトルを算出する。図２に示すように、これら車両ＭＶａおよび前方車両ＭＶｂの速度ベクトルをそれぞれＶａ（ｖ_ａｘ，ｖ_ａｙ，０）、Ｖｂ（ｖ_ｂｘ，ｖｂ_ｙ，０）で表す。
【００４３】
ステップＳ４４では、ステップＳ４２で絶対座標系の位置データに変換された白線領域ＷＬＲａ〜ＷＬＲｃにより複数の車線が区分されていると認識し、いずれの車線に車両ＭＶａおよび前方車両ＭＶｂがそれぞれ走行しているかを判定する。本実施例では、図２に示すように、車両ＭＶａが車線Ｒ_０を走行し、前方車両ＭＶｂが車線Ｒ_０のすぐ右隣に隣接する車線をＲ_＋１を走行しているものと判定される。なお、本明細書では、自車両の車線のすぐ左隣に隣接する車線をＲ_−１、２つ右隣にある車線をＲ_＋２、…として表現する。
【００４４】
ステップＳ４５では、前方車両ＭＶｂの近傍における白線領域ＷＬＲｂの単位方向ベクトルを検出する。白線単位方向ベクトル検出方法の詳細を図１２のフローチャートに示す。
【００４５】
図１２のステップＳ４５１では、図１３（ａ）に示すように、前方車両ＭＶｂの走行する車線Ｒ_＋１を区画する白線領域のうち車線Ｒ_０に近い側の白線領域ＷＬＲｂ上で、前方車両ＭＶｂの位置Ｂとの距離が最小になる点Ｃを検出する。ステップＳ４５２では、この白線領域ＷＬＲｂ上において、点Ｃの両側にこの点Ｃから所定距離だけ離れた点Ｃ_１，Ｃ_２を設定する。そして、ステップＳ４５３では、これら点Ｃ_１，Ｃ_２を結ぶ直線を、白線の単位方向ベクトルとして設定する。図２に示すように、この白線ＷＬｂの単位方向ベクトルはＤｂで表される。
【００４６】
（３）前方車両の挙動予測
図４のステップＳ５０の前方車両の挙動予測の詳細は次の通りである。本実施例では、前方車両ＭＶｂが車両ＭＶａの走行車線に車線変更してくるかどうかを予測する。この予測式は次式で与えられる。
【数５】

ここに、×：ベクトルの外積を表す記号
∩：アンド条件を示す演算子
ｋ_１：定数（０＜ｋ_１＜１であり、かつ、ｋ_１は０に近い値）
ｋ_２：定数（０＜ｋ_２であり、かつ、ｋ_２は０に近い値）
⊃：左辺が真ならば右辺が真であることを表す記号
ＲＣ（＋１，０）：前方車両が車線Ｒ_＋１からＲ_０に車線変更するという事実
（ ）_ｚ：（ ）内のベクトルのｚ成分
Ａ∈Ｒ_０ ：座標Ａが車線Ｒ_０内にあるという事実
Ｂ∈Ｒ_＋１：座標Ｂが車線Ｒ_＋１内にあるという事実
【００４７】
（Ｄｂ×Ｖｂ）_ｚ／｜Ｖｂ｜は、白線の単位方向ベクトルＤｂと前方車両ＭＶｂの速度ベクトルＶｂとのなす角をθとおいたときのｓｉｎθの値であり、この値が正であれば前方車両ＭＶｂは白線に接近しつつある。また、｜（Ｄｂ×Ｖｂ）_ｚ｜は、前方車両ＭＶｂの速度ベクトルＶｂの白線（の単位方向ベクトルＤｂ）に垂直な速度成分である。ｋ_１は（Ｄｂ×Ｖｂ）_ｚ／｜Ｖｂ｜の符号を判定するための定数であるが、測定誤差を考慮して０に近い定数に設定してある。また、ｋ_２は｜（Ｄｂ×Ｖｂ）_ｚ｜の閾値であり、前方車両が車線Ｒ_＋１内を若干蛇行して走った場合であっても、車線変更のおそれがあると判定されないような値に設定してある。
【００４８】
したがって、車両ＭＶａが車線Ｒ_０上を走行し、前方車両ＭＶｂが車線Ｒ_＋１を走行している状態において、（Ｄｂ×Ｖｂ）_ｚ／｜Ｖｂ｜が正の値をとり（＞ｋ_１）、かつ、｜（Ｄｂ×Ｖｂ）_ｚ｜が所定の閾値よりも大きい（＞ｋ_２）と判定されたら、前方車両ＭＶｂは車線Ｒ_＋１から車両ＭＶａが走行している車線Ｒ_０に車線変更しようとしているものと予測し、事実ＲＣ（＋１，０）が真になる。
【００４９】
（４）ルールのＩＦ部照合
図４のステップＳ６０におけるルールのＩＦ部照合は次のように行なわれる。データ抽出部５１および前方車両の挙動予測部５３で算出された各種データに基づいて、ＩＦ部照合部５３ｂが、このデータをＩＦ部のパラメータとして含むルールを接近度判断部５３のルールメモリ５３ａ内に記憶された多数のルール内から選択し、選択されたルールについて各種データを入力してＩＦ部の照合、すなわち、各ルールのＩＦ部が真と判定されるか否かを判断する。
【００５０】
図１４は、ルールメモリ５３ａ内に記憶された各種ルールを示す。本実施例において関連するルールは、ルール番号２のルールであり、ＲＣ（＋１，０）は上述のステップＳ５０で算出された前方車両の挙動を示す変数、Ｖａ，Ｖｂはともに上述のステップＳ４０（図１１のステップＳ４３）で算出された車両ＭＶａおよび前方車両ＭＶｂの速度ベクトル、ｆ（Ｖａ，Ｖｂ）は安全車間距離を示す関数であり、次式で定義される。
【数６】

ここに、Ｔ：空走時間
ルール番号２のルールのＩＦ部が真と判定されるためには、ＲＣ（＋１，０），速度ベクトルＶａ，Ｖｂおよび座標値Ａ，Ｂが入力される必要がある。
【００５１】
図２に示す例においては、前方車両ＭＶｂが車両ＭＶａの車線Ｒ_０に車線変更しようとしており、前方車両ＭＶｂの速度ベクトルＶｂは車線Ｒ_０の方向に向いているので、式（６）の左辺は真と判定される。さらに、Ｙ軸方向に沿った前方車両ＭＶｂと車両ＭＶａとの間の距離ｙ_ｂ−ｙ_ａが安全車間距離ｆ（Ｖａ，Ｖｂ）より小さい正の値を持つときは、車線変更した結果、前方車両ＭＶｂが車線Ｒ_０に入ったときにその車間距離が狭くて十分接近してしまうおそれがあり、ルール番号２のＩＦ部が真と判定されてルールが成立し、接近度＝１が出力される。ここで、
接近度＝０ ……影響なし
接近度＝１ ……前方車両に対して注意を払うべきである
接近度＝２ ……前方車両に接触するおそれがある
とする。なお、−ｆ（Ｖａ，Ｖｂ）の項に１より小さい定数を乗じたものについて距離ｙ_ｂ−ｙ_ａとの大小関係を求めれば、接近度＝２の判定もできる。
【００５２】
一方、自車両が直線路から曲線路に進入する図１５に示す場合には、前方車両ＭＶｂは既に曲線路を走行しており、従来の接近予測装置では車両ＭＶａの直前方に前方車両ＭＶｂを検出するため、実際には前方車両ＭＶｂが車線変更する可能性は低いにもかかわらず接近を示す警報が出力されるおそれがある。この場合、本実施例によれば、前方車両ＭＶｂの速度ベクトルＶｂと白線ＷＬｂの単位方向ベクトルＤｂは平行であるため、
【数７】

であり、式（６）の左辺が真と判定されずにＲＣ（＋１，０）は偽になる。この結果、ルール番号２のルールのＩＦ部は真と判定されず、ルール番号２のルールは成立せずに接近度の出力は行われない。
【００５３】
（５）ルールの競合
図４のステップＳ７０におけるルールの競合について説明する。本実施例および後述する実施例に示すように、車両ＭＶａが走行している間に接近を予測すべき状況は多数存在し、様々な状況において的確な判断をする必要があるので、接近度判断部５３のルールメモリ５３ａ内には複数のルールが記憶されている（図１４参照）。したがって、１つの状況に対して複数のルールのＩＦ部が成立する場合もあるため、ＩＦ部が成立する複数のルールを競合させて適切な接近度を出力する。
【００５４】
競合方法については、たとえば人工知能の分野で行われているような方法によればよいが、たとえば、
イ．ＩＦ部が成立するルールのそれぞれから出力される接近度の和をとる
ロ．ルールに優先順位をつけ、優先順位の高いルールの接近度を出力する
ハ．これら２つの組み合わせ
といった方法が挙げられる。イについては、接近度の加重平均をとってもよい。なお、ルールの競合を例示して詳細に後述する。
【００５５】
（６）接近度出力
図４のステップＳ８０では、次のようにして接近度が出力される。なお、ルールメモリ５３ａ内に記憶されたルールの全てのＩＦ部が成立しないときは、接近度としてデフォルト値の０が出力される。出力された接近度は、車両ＭＶａに備えられたランプ、ブザー等の警報装置により運転者に報知され、あるいは、車両ＭＶａに備えられたディスプレイ等に文字を用いて表示される。なお、出力された接近度に基づいて車両ＭＶａの走行を制御する例については後述する。
【００５６】
したがって、本実施例によれば、車両ＭＶａの前方に存在する前方車両ＭＶｂの位置，速度といった情報に加えて、車両ＭＶａの前方視界にある白線の形状（単位方向ベクトル）という走行案内情報も考慮して接近度を算出しているので、道路状況に応じて前方車両の接近度を的確に判断して予測することができる。たとえば、図２および図１５において、前方車両ＭＶｂの位置Ｂおよび速度ベクトルＶｂの方向はほぼ同一であり、従来の接近予測装置ではいずれの場合においても接近のおそれありとして警報が出力されていたが、本実施例では、図２のような実際に車線変更のおそれがあるものについてのみ接近の可能性ありとの接近度（＝１）が出力され、図１５のように前方車両ＭＶｂが単に曲線路を走行しているのみであり車線変更のおそれが少ないものについては接近の可能性は低いとの接近度（＝０）が出力され、道路状況に応じて的確な接近度判定が行われる。
【００５７】
−第１実施例の変形例−
上述の第１実施例では、白線の単位方向ベクトルを走行案内情報として利用していたが、これに限らず、道路状況を的確に把握しうる走行案内情報を用いることができる。図１６は、第１実施例の変形例を示すフローチャートであり、図４のステップＳ４０の詳細を説明するためのものである。なお、ステップＳ４０および後述するステップＳ５０を除いて、図４の他のステップの内容は上述の第１実施例と同様であるため、その説明を省略する。
【００５８】
図１１のステップＳ４１〜Ｓ４４と同様の処理を行った後、ステップＳ４５Ａでは、図２に示すように、前方車両ＭＶｂの位置Ｂと、車両ＭＶａが走行している車線Ｒ_０と前方車両ＭＶｂが走行している車線Ｒ_＋１とを隔てる白線ＷＬｂとの間の距離Ｃ（ｔ）（ｔ：時間）を算出する。距離Ｃ（ｔ）は、上述した所定位置からの経過時間ｔとともにデータ抽出部５１内に記憶される。
【００５９】
図４のステップＳ５０では、次式により前方車両の挙動、すなわち前方車両ＭＶｂが車両ＭＶａの走行車線に車線変更してくるかどうかを予測する。
【数８】

ここに、ｋ_８：定数（０＞ｋ_８）
【００６０】
（ｄＣ（ｔ）／ｄｔ）は白線ＷＬｂに直交する方向の前方車両ＭＶｂの速度であり、ｋ_８はこの速度の閾値に相当し、前方車両ＭＶｂが車線Ｒ_＋１内を若干蛇行して走った場合でも車線変更のおそれありと判定されないような値に設定してある。したがって、（ｄＣ（ｔ）／ｄｔ）が所定の閾値よりも小さい（＜ｋ_８）と判定されたら、前方車両ＭＶｂは車線Ｒ_＋１から車両ＭＶａが走行している車線Ｒ_０に車線変更しようとしているものと予測し、事実ＲＣ（＋１，０）が真になる。
【００６１】
この後は、ステップＳ５０において予測された事実ＲＣ（＋１，０）およびステップＳ４１〜Ｓ４４で算出された速度ベクトルＶａ，Ｖｂおよび座標値Ａ，Ｂに基づいて、ステップＳ６０〜Ｓ８０において接近度が算出され、出力される。よって、この変形例によっても、上述の第１実施例と同様の作用効果を得ることができる。
【００６２】
−第２実施例−
上述の第１実施例およびその変形例では、走行案内情報として白線の単位方向ベクトルを用いたが、第２実施例のように、車線に描かれた白線以外のパターンの形状をパターン認識した結果を走行案内情報として用いることもできる。
【００６３】
たとえば、図１７に示すように、車両ＭＶａの前方に前方車両ＭＶｂが存在した場合、この前方車両ＭＶｂが走行している車線はどのような種類の車線、たとえば、車線Ｒ_０，Ｒ_＋１のような走行車線であるか、あるいは、車線Ｒ_−１のような合流車線であるかどうかをその車線に描かれたパターンの形状により認識し、認識された車線形状を、車両ＭＶａの位置Ａ，速度ベクトルＶａおよび前方車両ＭＶｂの位置Ｂ，速度ベクトルＶｂとともに用いて、車両ＭＶａの走行する車線に前方車両ＭＶｂが車線変更してくるかどうか、そして、車線変更した後で車両ＭＶａに対して安全な車間距離以下に接近してしまうかどうかを判断する。図１７に示すように、合流車線は途中で右側の車線に合流して左側の路側分離帯が右側の白線に合流する形状になっており、また通常、合流車線には合流位置に合流の意味を表すパターンＭＰが描かれているので、路側分離帯が車線を横切ること、およびパターンＭＰを認識すれば車線Ｒ_−１が合流車線であることを判断することができる。
【００６４】
第２の実施例が第１の実施例と異なる点は図４のステップＳ４０で実行されるデータ抽出、ステップＳ５０の前方車両の挙動予測、ステップＳ６０のルールのＩＦ部照合、ステップＳ７０のルールの競合、およびステップＳ８０の接近度の具体的な手順であり、その他は図２の構成も含めて同様である。したがって、以下の説明では、第１実施例との相違点を中心に説明し、共通する部分については説明を省略する。
【００６５】
図１８は第２実施例におけるデータ抽出サブルーチンを示し、第１の実施例の図１１に相当する。図１１のステップＳ４１〜Ｓ４４と同様の処理を行なった後、ステップＳ４５Ｂでは、前方車両ＭＶｂが走行している車線Ｒ_−１が合流車線であるかどうかを判定する。合流車線判定方法の詳細を図１９のフローチャートに示す。
【００６６】
図１９のステップＳ４５０１では、図５のステップＳ１３で検出された白線で区切られる車線のうち、車両ＭＶａが走行している車線に隣接する車線（この中には前方車両ＭＶｂが走行している車線Ｒ_−１が含まれる）内においてエッジ検出を行い、検出されたエッジのうち白線を横切る方向に延在するエッジ（横エッジと称する）を抽出する。
【００６７】
図２０は、横エッジの検出過程の一例を示す図であり、同図（ａ）に示すような観測画像が得られると、この観測画像について視点変換作業を行った結果は同図（ｂ）に示すようなものになり、視点変換画像に対して白線検出作業を行った結果は同図（ｃ）に示すようなものになる。車両ＭＶａが走行している車線は中央の車線Ｒ_０であり、前方車両ＭＶｂはその左隣の車線Ｒ_−１を走行している。したがって、車線Ｒ_０に隣接する車線Ｒ_＋１，Ｒ_−１内に対応する視点変換画像に対して横エッジを抽出すると、同図（ｄ）に示すように複数の横エッジ（図中では代表的な横エッジｂ_１，ｂ_２，ｂ_３についてのみ符号を付している）が抽出される。なお、エッジ検出の手法は周知であり、たとえば、微分フィルタなどのエッジ検出用フィルタを視点変換画像に掛け合わせるような手法が挙げられる。
【００６８】
ステップＳ４５０２では、ステップＳ４５０１において抽出された横エッジのそれぞれにラベリング処理を行い、ラベリングされた横エッジのそれぞれの横方向の長さを計測する。ステップＳ４５０３では、横エッジの横方向の長さが隣接車線Ｒ_＋１，Ｒ_−１の幅に略等しいかどうかが判定され、判定が肯定されるとステップＳ４５０４に進み、隣接車線幅に等しい横エッジが存在する車線Ｒ_−１は合流車線であると判断する。この事実を、
【数９】
Ｒ_−１＝ＲＪ ．．．（１１）
と表す。一方、判定が否定されるとステップＳ４５０５に進み、隣接車線は合流車線でないと判断する。
【００６９】
図１７に示すように、合流車線である隣接車線Ｒ_−１に描かれたパターンＭＰ、および、合流車線の終端にある路側分離帯は、横エッジ検出の結果それぞれ図２０（ｄ）の横エッジｂ_１，ｂ_２およびｂ_３として抽出される。横エッジｂ_１，ｂ_２の横方向の長さは隣接車線Ｒ_−１の車線幅に近く、また、横エッジｂ_３の横方向の長さは隣接車線Ｒ_−１の車線幅に等しい。したがって、ステップＳ４５０１で抽出された横エッジの横方向の長さが隣接車線Ｒ_−１の車線幅（予め入力しておく）に略等しければ、その隣接車線Ｒ_−１は合流車線であると判定できる。
【００７０】
図４のステップＳ５０では、次式により前方車両の挙動、すなわち前方車両ＭＶｂが車両ＭＶａの走行車線に車線変更してくるかどうかを予測する。
【数１０】

ここに、ＲＣ_４（−１，０）：前方車両が車線Ｒ_−１からＲ_０に車線変更するという事実
Ｂ∈Ｒ_−１：座標Ｂが車線Ｒ_−１内にあるという事実
【００７１】
したがって、車両ＭＶａが車線Ｒ_０上を走行し、前方車両ＭＶｂが車線Ｒ_−１を走行している状態において、車線Ｒ_−１が合流車線であると判定されたら、前方車両ＭＶｂは車線Ｒ_−１から車両ＭＶａが走行している車線Ｒ_０に車線変更しようとしているものと予測し、事実ＲＣ（−１，０）が真になる。
【００７２】
図４のステップＳ６０では、接近度判断部５３のルールメモリ５３ａ内にある各種ルールの中から選択されたルールについて各種データを入力してＩＦ部の照合を行う。本実施例において関連するルールは、図１４に示すルール番号４のルールである。
【００７３】
図１７に示す例においては、前方車両ＭＶｂは合流車線Ｒ_−１を走行しており、前方車両ＭＶｂが合流車線Ｒ_−１の終端に至るまでには必ず車両ＭＶａの走行車線Ｒ_０に車線変更することが予測できることから、式（１２）の左辺は真と判定される。さらに、Ｙ軸方向に沿った前方車両ＭＶｂと車両ＭＶａとの間の距離ｙ_ｂ−ｙ_ａが安全車間距離ｆ（Ｖａ，Ｖｂ）より小さい正の値を持つときは、車線変更した結果、前方車両ＭＶｂが車線Ｒ_０に入ったときにその車間距離が狭くて十分接近してしまうおそれがあり、ルール番号４のＩＦ部が真と判定されてルールが成立し、接近度＝２が出力される。
【００７４】
ステップＳ７０では、ステップＳ６０においてＩＦ部が照合されたルールの競合を行う。たとえば、図２１に示すように、車両ＭＶａが走行する車線Ｒ_０の左隣の合流車線Ｒ_−１および右隣の走行車線Ｒ_＋１に、それぞれ前方車両ＭＶｂ，ＭＶｃが走行している場合を考える。図２１に示す例においてステップＳ６０でＩＦ部が真と判定されるのは、図１４に示すルール番号２，４のルールである。したがって、ルール番号２のルールからは接近度＝１が出力され、ルール番号４のルールからは接近度＝２が出力される。
【００７５】
上述のイの手法に従えば接近度の和＝１＋２＝３となる。この場合、接近度の評価は３段階以上になる。また、上述のロの手法に従えば、前方車両ＭＶｂと前方車両ＭＶｃとを比較すると、前方車両ＭＶｂは必ず車線Ｒ_０に車線変更するためにルール番号４のルールの方が優先度が高いといえる。よって、たとえば優先順位を全体で１０段階とし、ルール番号２のルールの優先順位を５、ルール番号４のルールの順位を優先順位７とすると、ルール番号４のルールの優先順位の方が高いので、接近度＝２が出力される。
【００７６】
したがって、本実施例によれば、車両ＭＶａの前方に存在する前方車両ＭＶｂの前方車両の位置，速度といった情報に加えて、車両ＭＶａの前方視界にある合流車線であるかどうかを示すパターンなどの走行案内情報も考慮して接近度を算出しているので、道路状況に応じて前方車両の接近度を的確に判断して予測することができる。
【００７７】
−第２実施例の変形例−
上述の第２実施例では、車両ＭＶａの前方視界を撮像した画面に対してパターン認識を行って合流車線の判定を行ったが、これに限らず、種々の方法により隣接車線が合流車線であるか否かを判定することができる。合流車線判定ルーチンの別の例である図２２により説明する。
【００７８】
この例では、道路の所定間隔毎にサインポスト（図示略）が設置されており、このサインポストからは道路状況を示す道路情報信号が送信されていることを前提としている。したがって、図２２（ｂ）に示すように、車両ＭＶａはこの電磁波を受信するためのアンテナ２１と、アンテナ２１を介して電磁波を受信する受信機２２を備えている他は図３に示す構成である。
【００７９】
図２２（ａ）のステップＳ４５１１では、サインポストからの道路情報信号を車両ＭＶａに付設されたアンテナで受信し、受信信号を制御装置５に取り込む。ステップＳ４５１２では、受信された道路情報信号の中に合流車線を示す信号があるか否かを判定する。
【００８０】
図２３（ａ）は合流車線判定ルーチンのさらに別の例を示すフローチャートである。この例では、車両ＭＶａがＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によるナビゲーション装置を搭載しており、このナビゲーション装置は、図２３（ｂ）に示すように、衛星からのＧＰＳ信号を受信するためのアンテナ３１と、アンテナ３１を介してＧＰＳ信号を受信する受信機３２と、緯度・経度により位置が特定される道路地図データを記憶する記憶装置３３と、ディスプレイ装置３４と、受信機３２で受信したＧＰＳ信号と記憶装置３３に記憶された道路地図データとに基づいて自車の道路地図上の位置を特定し、その道路の状況を表す道路情報を抽出し、さらにデイスプレイ装置３４に地図と自車位置を表示する制御回路３５とを備えている。
【００８１】
図２３（ａ）のステップＳ４５２１では、ナビゲーション装置が、衛星からのＧＰＳ信号により車両ＭＶａの現在位置を認識し、その位置とナビゲーション装置が備えている道路地図データとから現在車両ＭＶａが走行している地図上の位置を求める。その上で、走行している道路に与えられている道路情報を抽出して制御装置５に送る。制御装置５はステップＳ４５２２において、その道路情報の中に合流道路である情報が含まれるかを判定する。
【００８２】
したがって、これら変形例によっても、上述の第２実施例と同様の作用効果を得ることができる。
【００８３】
−第３実施例−
第３実施例は、前方車両の存在する車線に描かれたパターンを走行案内情報として利用した別の例であり、図２４に示すように、車線Ｒ_０を走行する車両ＭＶａの前方に路肩である車線Ｒ_−１を走行する前方車両ＭＶｂが存在した場合を想定している。したがって、前方車両ＭＶｂが走行している車線はどのような種類の車線であるか、たとえば、車線Ｒ_０，Ｒ_＋１のような走行車線であるか、あるいは、車線Ｒ_−１のような路肩であるかを路面に描かれているパターンの形状により認識する。その上で、車両ＭＶａの位置Ａ，速度ベクトルＶａおよび前方車両ＭＶｂの位置Ｂ，速度ベクトルＶｂを用いて、車両ＭＶａの走行する車線に前方車両ＭＶｂが車線変更してくるかどうか、そして、車線変更した後で車両ＭＶａに対して安全な車間距離以下に接近してしまうかどうかを判断するものである。
【００８４】
第３の実施例が第１の実施例と異なる点は図４のステップＳ４０で実行されるデータ抽出、ステップＳ５０の前方車両の挙動予測、ステップＳ６０のルールのＩＦ部照合、ステップＳ７０のルールの競合、およびステップＳ８０の接近度の具体的な手順であり、その他は図２の構成を含めて同様である。したがって、以下の説明では、第１実施例との相違点を中心に説明し、共通する部分については説明を省略する。
【００８５】
図２５は第３実施例におけるデータ抽出サブルーチンを示し、図４のステップＳ４０の詳細を説明する図１１に相当するものである。図１１のステップＳ４１〜Ｓ４４と同様の処理が行った後、ステップＳ４５Ｃでは、前方車両ＭＶｂが走行している車線Ｒ_−１が路肩であるかどうかを判定する。路肩判定方法の詳細を図２６のフローチャートに示す。
【００８６】
ステップＳ４５３１では、視点変換された画像に対して路側反射体ＲＦ（図２４参照）を検出し、路側反射体ＲＦとその右隣にある白線ＷＬａとの間の距離を検出する。ステップＳ４５３２では、ステップＳ４５３１で検出された路側反射体と白線との間の距離が、通常の走行車線の幅（たとえば車線Ｒ_０やＲ_＋１の幅であり、予め既知の値が入力されている）よりも十分に小さいかどうかを判定し、判定が肯定されるとステップＳ４５３３に進み、走行車線幅よりも十分小さい車線幅を有する車線Ｒ_−１は路肩であると判断する。この事実を、
【数１１】
Ｒ_−１＝ＲＣ ．．．（１３）
と表す。一方、判定が否定されるとステップＳ４５３４に進み、隣接車線は路肩でないと判断する。
【００８７】
図４のステップＳ５０では、次式により前方車両の挙動、すなわち前方車両ＭＶｂが車両ＭＶａの走行車線に車線変更してくるかどうかを予測する。
【数１２】

ここに、ｋ_３：定数（ｋ_３＞０でありかつ０に近い値）
ｋ_３は符号判定のための値であり、測定誤差等を考慮して０に近い正の定数に設定してある。
【００８８】
したがって、車両ＭＶａが車線Ｒ_０上を走行し、前方車両ＭＶｂが車線Ｒ_−１を走行している状態において、車線Ｒ_−１が路肩であると判定されたら、前方車両ＭＶｂは車線Ｒ_−１から車両ＭＶａが走行している車線Ｒ_０に車線変更しようとしているものと予測し、事実ＲＣ（−１，０）が真になる。
【００８９】
図４のステップＳ６０では、接近度判断部５３のルールメモリ５３ａ内にある各種ルールの中から選択されたルールについて各種データを入力してＩＦ部の照合を行う。本実施例において関連するルールは、図１４に示すルール番号６のルールである。
【００９０】
図２４に示す例においては、前方車両ＭＶｂが路肩Ｒ_−１上を移動していれば（｜Ｖｂ｜＞ｋ_３：停止していれば故障車であり、車線変更の可能性は低い）その後、車両ＭＶａの走行車線Ｒ_０に車線変更する可能性が高いことが予測できることから、式（１４）の左辺は真と判定される。さらに、Ｙ軸方向に沿った前方車両ＭＶｂと車両ＭＶａとの間の距離ｙ_ｂ−ｙ_ａが安全車間距離ｆ（Ｖａ，Ｖｂ）より小さい正の値を持つときは、車線変更した結果、前方車両ＭＶｂが車線Ｒ_０に入ったときにその車間距離が狭くて十分接近してしまうおそれがあり、ルール番号６のＩＦ部が真と判定されてルールが成立し、接近度＝１が出力される。
【００９１】
したがって、本実施例によっても、上述の実施例と同様の作用効果を得ることができる。
【００９２】
−第４実施例−
第４実施例は、道路の路側に所定間隔毎に設置されたサインポストから送信される道路状況を示す道路情報を車両が受信し、その受信した道路情報も使用して前方車両の挙動を予測するものである。
【００９３】
たとえば、図２７に示すように、車両ＭＶａの前方に前方車両ＭＶｂが存在した場合、この前方車両ＭＶｂが走行している車線はどのような種類の車線、たとえば、車線Ｒ_０，Ｒ_＋１のような走行車線であるか、あるいは、車線Ｒ_−１のような離脱路であるかどうかをサインポストからの道路情報により認識し、認識された道路情報を、車両ＭＶａの位置Ａ，速度ベクトルＶａおよび前方車両ＭＶｂの位置Ｂ，速度ベクトルＶｂとともに用いて、車両ＭＶａの走行する車線に前方車両ＭＶｂが車線変更してくるかどうか、そして、車線変更した後で車両ＭＶａに対して安全な車間距離以下に接近してしまうかどうかを判断する。
【００９４】
第４の実施例が第１の実施例と異なる点は、図２に示す構成に加えてサインポストからの電磁波を受信するアンテナと受信機（図２２（ｂ）参照）いずれも図示を省略する）を備えている点と、図４のステップＳ４０で実行されるデータ抽出、ステップＳ５０の前方車両の挙動予測、ステップＳ６０のルールのＩＦ部照合、ステップＳ７０のルールの競合、およびステップＳ８０の接近度の具体的な手順の点であり、その他は同様である。したがって、以下の説明では、第１実施例との相違点を中心に説明し、共通する部分については説明を省略する。
【００９５】
図２８は第４実施例を示すデータ処理ルーチンを示し、第１の実施例の図１１のフローチャートに相当する。図１１のステップＳ４１〜Ｓ４４と同様の処理を行った後、ステップＳ４５Ｄでは、前方車両ＭＶｂが走行している車線Ｒ_−１が離脱路であるかどうかを判定する。離脱車線判定方法の詳細を図２９のフローチャートに示す。
【００９６】
図２９のステップＳ４５４１では、サインポストからの道路情報信号を車両ＭＶａに付設されたアンテナで受信し、受信信号を受信機を介して制御装置５に取り込む。ステップＳ４５４２では、受信された道路情報信号に基づいて隣接車線Ｒ_−１が離脱路であるか否かを判定する。隣接車線Ｒ_−１が離脱路であるという事実を、
【数１３】
Ｒ_−１＝ＲＸ ．．．（１５）
と表す。
【００９７】
図４のステップＳ５０では、次式により前方車両の挙動、すなわち前方車両ＭＶｂが車両ＭＶａの走行車線に車線変更してくるかどうかを予測する。
【数１４】

ここに、ｋ_６：定数（０＞ｋ_６＞−１であり、かつ、ｋ_６は０に近い値）
ｋ_７：定数（ｋ_７＞０であり、かつ、ｋ_７は０に近い値）
（１６）式は上述の（６）式と類似しており、ただし、図２７に示すように前方車両ＭＶｂが左隣の車線（離脱路）Ｒ_−１を走行しているため、符号の判定が逆になっている点のみ異なる。
【００９８】
したがって、車両ＭＶａが車線Ｒ_０上を走行し、前方車両ＭＶｂが車線Ｒ_−１を走行している状態において、（Ｄｂ×Ｖｂ）_ｚ／｜Ｖｂ｜が負の値をとり（＜ｋ_６）、かつ、｜（Ｄｂ×Ｖｂ）_ｚ｜が所定の閾値よりも大きい（＞ｋ_７）と判定されたら、前方車両ＭＶｂは車線Ｒ_−１から車両ＭＶａが走行している車線Ｒ_０に車線変更しようとしているものと予測し、事実ＲＣ（ー１，０）が真になる。
【００９９】
図４のステップＳ６０では、接近度判断部５３のルールメモリ５３ａ内にある各種ルールの中から選択されたルールについて各種データを入力してＩＦ部の照合を行う。本実施例において関連するルールは、図１４に示すルール番号８のルールである。
【０１００】
図２７に示す例においては、前方車両ＭＶｂは車両ＭＶａの走行車線Ｒ_０に車線変更しようとしており、前方車両ＭＶｂの速度ベクトルＶｂは車線Ｒ_０の方向に向いているので、式（１６）の左辺は真と判定される。さらに、前方車両ＭＶｂが走行している車線は離脱路であるからＲ_−１＝ＲＸが成立し、この結果、前方車両はかなり強引に車線Ｒ_０に車線変更してくるものと予測され、ルール番号８のＩＦ部が真と判定されてルールが成立し、接近度＝２が出力される。
【０１０１】
したがって、本実施例によっても、上述の実施例と同様の作用効果を得ることができる。
【０１０２】
あるいは、上述の第４実施例において、車両ＭＶａがナビゲーション装置（図２３（ｂ）参照）を搭載しているときは、第２実施例の変形例と同様にナビゲーション装置からの道路情報を用いてもよい。図３０により説明する。
【０１０３】
図３０は、離脱路判定ルーチンの別の例を示すフローチャートである。まず、ステップＳ４５２１で上述したと同様にしてＧＰＳ信号に基づいて車両の地図上の位置を認識した上でその道路に与えられている道路情報を抽出し、制御装置５に送信する。ステップＳ４５２２Ａでは、受信した道路情報に基づいて隣接車線が離脱路であるか否かを判定する。
【０１０４】
−第５実施例−
第５実施例は、車両の前方を走行する前方車両である前方車両が２台存在した場合、これら前方車両相互の位置、速度から挙動を予測したものである。たとえば、図３１に示すように、車両ＭＶａの前方に２台の前方車両ＭＶｂ，ＭＶｃが存在した場合、先行する前方車両ＭＶｃの後方に後続する前方車両ＭＶｂが、車両ＭＶａの走行車線に車線変更して前方車両ＭＶｃを追い抜こうとしているかどうか、そして、車線変更した後で車両ＭＶａに対して安全な車間距離以下に接近してしまうかどうかを、車両ＭＶａの位置Ａ，速度ベクトルＶａ、および前方車両ＭＶｂ，ＭＶｃの位置Ｂ，Ｃ（ｘ_ｃ，ｙ_ｃ，０），速度ベクトルＶｂ，Ｖｃにより判断する。
【０１０５】
第５の実施例が第１の実施例と異なる点は図４のステップＳ４０で実行されるデータ抽出、ステップＳ５０の前方車両の挙動予測、ステップＳ６０のルールのＩＦ部照合、ステップＳ７０のルールの競合、およびステップＳ８０の接近度の具体的な手順であり、その他は図２の構成を含めて同様である。したがって、以下の説明では、第１実施例との相違点を中心に説明し、共通する部分については説明を省略する。
【０１０６】
図４のステップＳ４０では、前方車両が１台である第１の実施例と同様にして２台の前方車両に関する必要なデータを抽出する。図４のステップＳ５０では、次式により前方車両の挙動、すなわち前方車両ＭＶｂが車両ＭＶａの走行車線に車線変更してくるかどうかを予測する。
【数１５】

ここに、ｋ_４：定数（ｋ_４＞０）
ｋ_５：定数（ｋ_５＜０）
ｙ_ａ＜ｙ_ｂ＜ｙ_ｃなる条件は、前から順に前方車両ＭＶｃ、前方車両ＭＶｂ、車両ＭＶａの順に並んでいることを示しており、図３１に示す配置状態に対応している。また、ｙ_ｃ−ｙ_ｂは、Ｙ軸方向に沿った前方車両ＭＶｃと前方車両ＭＶｂとの間の距離であり、｜Ｖｃ｜−｜Ｖｂ｜は、前方車両ＭＶｃと前方車両ＭＶｂとの間の速度差である。
【０１０７】
したがって、車両ＭＶａが車線Ｒ_０上を走行し、前方車両ＭＶｂおよび前方車両ＭＶｃがともに車線Ｒ_＋１を走行している状態において、前方車両ＭＶｂ，ＭＶｃ間の距離ｙ_ｃ−ｙ_ｂが所定の車間距離ｋ_４以下で、かつ、前方車両ＭＶｂ，ＭＶｃ間の速度差｜Ｖｃ｜−｜Ｖｂ｜が所定の速度差ｋ_５以上であると、前方車両ＭＶｂは前方車両ＭＶｃに徐々に近づいて接近し、前方車両ＭＶｃを追い抜くために車線Ｒ_０に車線変更するものと予測し、事実ＲＣ_７（＋１，０）が真になる。
【０１０８】
図４のステップＳ６０では、接近度判断部５３のルールメモリ５３ａ内にある各種ルールの中から選択されたルールについて各種データを入力してＩＦ部の照合を行う。本実施例において関連するルールは、図１４に示すルール番号７のルールである。
【０１０９】
図３１に示す例においては、車両ＭＶａは車線Ｒ_０を、前方車両ＭＶｂ，ＭＶｃはともに車線Ｒ_＋１を走行しているので、前方車両ＭＶｂ，ＭＶｃ間の距離ｙ_ｃ−ｙ_ｂが所定の車間距離ｋ_４以下で、かつ、前方車両ＭＶｂ，ＭＶｃ間の速度差｜Ｖｃ｜−｜Ｖｂ｜が所定の速度差ｋ_５以上であれば式（１７）の左辺は真と判定される。さらに、Ｙ軸方向に沿った前方車両ＭＶｂと車両ＭＶａとの間の距離ｙ_ｂ−ｙ_ａが安全車間距離ｆ（Ｖａ，Ｖｂ）より小さい正の値を持つときは、車線変更した結果、前方車両ＭＶｂが車線Ｒ_０に入ったときにその車間距離が狭くて十分接近してしまうおそれがあり、ルール番号７のＩＦ部が真と判定されてルールが成立し、接近度＝２が出力される。
【０１１０】
したがって、本実施例によっても、上述の各実施例と同様の作用効果を得ることができる。
【０１１１】
−第６実施例−
上述した第１〜第５実施例では車両との接近を検出していたが、これに限らず、たとえば横断歩道を横断する歩行者との接近を検出するようにしてもよい。第６実施例は、路面に描かれたパターンの形状をパターン認識して横断歩道の有無を判断した一例である。たとえば、図３２に示すように、車両ＭＶａの前方視界にある横断歩道ＣＲの路側に歩行者ＷＰが立っていた場合、車両ＭＶａの前方視界に横断歩道ＣＲが存在するかどうかをパターン形状により認識し、その認識結果を、歩行者ＷＰの位置Ｂおよび車両ＭＶａの位置Ａ，速度ベクトルＶａとともに用いて、横断歩道ＣＲを歩行者ＷＰが横断するか、そして、歩行者ＷＰが横断歩道ＣＲを横断した場合に車両ＭＶａが安全に停止しうるかを判断する。図３２に示すように、横断歩道ＣＲは車線幅の全幅にわたる横方向の２本の白線ＷＬｄ，ＷＬｅを備えているので、車線幅の全幅にわたり横方向に延在する２本の白線ＷＬｄ，ＷＬｅをパターン認識できれば横断歩道ＣＲの存在を判断することができる。
【０１１２】
第６の実施例が第１の実施例と異なる点は次のとおりである。まず、第６の実施例における接近予測装置の全体構成を図３３に示す。第１の実施例の図３（ａ）の接近予測装置との相違点は、赤外線検知装置１０を設けた点である。赤外線検知装置１０はたとえば赤外線カメラから構成され、車両ＭＶａの前方から到来する赤外線を画像として検出する。前処理部７は、赤外線検知装置１０により検出された赤外線のうち、周囲温度より高温の領域があればその領域の形状を解析して人間が撮像されているかどうかを判断し、人間が撮像されている場合は、車両ＭＶａに対する人間の方向を検出する。
【０１１３】
さらに、図４のステップＳ１０の画像処理、ステップＳ４０のデータ抽出、ステップＳ５０の前方車両の挙動予測、ステップＳ６０のルールのＩＦ部照合、ステップＳ７０のルールの競合、およびステップＳ８０の接近度の具体的な手順が相違する他は同様である。したがって、以下の説明では、第１実施例との相違点を中心に説明し、共通する部分については説明を省略する。
【０１１４】
図３４は、第６実施例の画像処理ルーチンを示すフローチャートであり、図４のステップＳ１０の詳細を説明するためのものである。図５のステップＳ１１〜Ｓ１３と同様の処理を行った後、ステップＳ１４では、車両ＭＶａの前方に人間が存在するか否かを判定し、さらに、人間が存在した場合は車両ＭＶａに対する相対座標を求める。
【０１１５】
すなわち、上述した赤外線検知装置１０により車両ＭＶａ前方から到来する赤外線を撮像し、周囲温度より高温の領域を抽出する。ついで、高温領域の形状を解析し、高温領域が人間から放射される赤外線に起因するものか、すなわち、高温領域に人間が存在するか否かを判断する。そして、人間が前方視界内に存在すると判断されたら、車両ＭＶａに対する人間の方向を検出する。
【０１１６】
次に、図３５は第４実施例のデータ抽出ルーチンを示すフローチャートであり、図４のステップＳ４０の詳細を説明するためのものである。図１１のステップＳ４１と同様に自車の絶対座標値を算出し、ステップＳ４２Ａで白線領域の絶対座標値および人間の絶対座標値Ｂ（ｘ_ｂ，ｙ_ｂ）を算出し、ステップＳ４３Ａで自車両の速度ベクトルを算出する。本実施例では人間の速度ベクトルを求めることはない。ステップＳ４６では、車両ＭＶａの前方視界内に横断歩道ＣＲが存在するかどうかを判定する。横断歩道判定方法の詳細を図３６のフローチャートに示す。
【０１１７】
図３６において、ステップＳ４６１では視点変換された車両ＭＶａの前方視界画像に対して白線検出を行い、検出された白線で区切られる車線のうち車両ＭＶａが走行している車線Ｒ_０内においてエッジ検出を行い、検出されたエッジのうち白線を横切る方向に延在する横エッジを抽出する。横エッジ抽出の詳細はすでに図１９のステップＳ４５０１の動作説明において行っているのでその詳細は省略する。
【０１１８】
ステップＳ４６２では、図１９のステップＳ４５０２と同様にして、ステップＳ４６１において抽出された横エッジのそれぞれにラベリング処理を行い、ラベリングされた横エッジのそれぞれの横方向の長さを計測する。ステップＳ４５０３では、横エッジの横方向の長さが走行車線Ｒ_０の幅に略等しく、かつ、走行車線Ｒ_０に２本の横エッジが存在するか否かが判定され、判定が肯定されるとステップＳ４６４に進み、走行車線Ｒ_０に横断歩道が存在すると判断する。この事実を、
【数１６】
Ｋｂ＝Ｈｕｍａｎ ……（１８）
と表す。一方、判定が否定されるとステップＳ４６５に進み、走行車線Ｒ_０に横断歩道は存在しないと判断する。
【０１１９】
次に、図４のステップＳ５０では、次式により前方障害物の挙動、すなわち歩行者ＷＰが横断歩道ＣＲを横断しようとしているかどうかを予測する。
【数１７】

ここに、ｋ_１０：定数（ｋ_１０＞０）
ＲＥ：歩行者ＷＰが横断歩道を横断しようとしている事実
ｙ_ｐ ：横断歩道ＣＲの中央点Ｐ（ｘ_ｐ，ｙ_ｐ）のＹ座標
【０１２０】
｜ｙ_ｐ−ｙ_ｂ｜はＹ軸方向に沿った歩行者ＷＰと横断歩道ＣＲとの間の距離である。したがって、歩行者ＷＰが車両ＭＶａの前方視界内に存在し、この歩行者ＷＰと横断歩道ＣＲとの間の距離が所定の安全距離より小さい（＜ｋ_１０）と判定されたら、歩行者ＷＰは横断歩道ＣＲを横断しようとしているものと予測し、事実ＲＥが真になる。
【０１２１】
図４のステップＳ６０では、接近度判断部５３のルールメモリ５３ａ内にある各種ルールの中から選択されたルールについて各種データを入力してＩＦ部の照合を行う。本実施例において関連するルールは、図１４に示すルール番号１１のルールである。ここに、ｆ’（Ｖａ）は車両ＭＶａの停止距離を示す関数であり、次式で定義される。
【数１８】

ここに、α：車両ＭＶａの減速度
【０１２２】
図３２に示す例においては、車両ＭＶａの前方視界内に歩行者ＷＰが存在しているので、歩行者ＷＰと横断歩道ＣＲとの間の距離ｙ_ｐ−ｙ_ｂが所定の安全距離より小さい（＜ｋ_１０）とき、すなわち、歩行者ＷＰが横断歩道ＣＲに十分接近しているときは、式（１９）の左辺は真と判定される。さらに、Ｙ軸方向に沿った歩行者ＷＰと車両ＭＶａとの間の距離ｙ_ｂ−ｙ_ａが停止距離ｆ’（Ｖａ）より小さい正の値を持つときは、ブレーキをかけても制動距離が長く、歩行者ＷＰが横断歩道ＣＲを横断したときには車両ＭＶａが横断歩道ＣＲに接近しているおそれがあり、ルール番号１１のＩＦ部が真と判定されてルールが成立し、接近度＝２が出力される。
【０１２３】
したがって、本実施例によれば、赤外線検知装置により人間の存在を検出し、さらに白線の形状を考慮してこの人間の挙動を予測して接近度を算出しているので、道路状況に応じて人間との接近度を的確に判断して予測することができる。
【０１２４】
−第６実施例の変形例−
上述の第６実施例では、車両ＭＶａの前方視界を撮像した画面に対してパターン認識を行って横断歩道ＣＲの判定を行っていたが、上述の合流車線判定の場合と同様に、種々の方法により前方視界に横断歩道ＣＲが存在するか否かを判定することができる。
【０１２５】
図３７は、横断歩道判定ルーチンの別の例を示すフローチャートである。この例では、道路の所定間隔毎にサインポスト（図示略）が設置されており、このサインポストからは道路状況を示す道路情報信号が送信されていることを前提としている。したがって、車両ＭＶａはこの電磁波を受信するためのアンテナと受信機（図２２（ｂ）参照）を備えている。その他は図３に示す構成である。
【０１２６】
図３７のステップＳ４６０１では、サインポストからの道路情報信号を車両ＭＶａに付設されたアンテナで受信し、受信信号を制御装置５に取り込む。ステップＳ４６０２では、受信された道路情報信号に基づいて前方視界に横断歩道ＣＲが存在するか否かを判定する。
【０１２７】
また、図３８は、図２３（ｂ）で説明したナビゲーション装置から入力される道路情報により横断歩道を判定する例を示すフローチャートである。ステップＳ４６１１では、ナビゲーション装置が上述したと同様にしてＧＰＳ信号に基づいて車両の地図上の位置を認識した上でその道路に与えられている道路情報を抽出し、制御装置５に送信する。ステップＳ４６１２では、受信した道路情報に基づいて前方視界に横断歩道が存在するか否かを判定する。
【０１２８】
したがって、これら変形例によっても、上述の第６実施例と同様の作用効果を得ることができる。
【０１２９】
次に、接近度判断部５３から出力された接近度を車両ＭＶａの制御に用いる第７および第８実施例を説明する。
−第７実施例−
図３９は、いわゆる定速走行装置の制御に上述の接近予測装置から出力される接近度を用いた第７実施例の概略構成を示すブロック図である。この図において、５０は上述の第１〜第６実施例による接近予測装置である。６１は希望車速設定部であり、希望車速を車両の乗員が入力する。希望車速設定部６１は、たとえば、ＵＰ／ＤＯＷＮを指令する押ボタンを備え、ＵＰボタンが連続的に押動されると設定車速を上昇させる信号が送信され、一方、ＤＯＷＮボタンが連続的に押動されると設定車速を下降させる信号が送信されるよう構成される。６２は動作ＯＮ／ＯＦＦスイッチであり制御部６３による定速走行動作の開始及び終了を指示する。
【０１３０】
６４は制御部６３からの信号により車両各部を制御して定速走行を行なうアクチュエータ群である。アクチュエータ群６４は、スロットルの開度を制御するスロットルアクチュエータ、ブレーキ装置を制御するブレーキアクチュエータ、変速機を制御する変速アクチュエータを含む。制御部６３は、希望車速設定部６１や接近予測装置５０から入力される信号に基づいて目標速度を決定し、この目標速度と現在の車両の速度とを比較して、現在の速度が目標速度になるようにアクチュエータ群６４に制御信号を出力する。また、接近予測装置５０からの信号に基づいてアクチュエータ群６４を制御して接近度に応じた走行制御を行う。定速制御や接近度に応じた走行制御のために、
（１）スロットルアクチュエータだけを駆動
（２）スロットルアクチュエータと変速アクチュエータを駆動
（３）スロットルアクチュエータとブレーキアクチュエータを駆動
することができる。
【０１３１】
図４０は、本実施例の動作を説明するためのフローチャートである。なお、接近予測装置５０の動作は上述の第１〜第６実施例のものと同様であるのでその説明を省略する。
【０１３２】
図４０に示すプログラムは、動作ＯＮ／ＯＦＦスイッチ６２がＯＮされることにより開始する。まず、ステップＳ９１では、希望車速設定部６１によって設定された希望車速を制御部６３に取り込む。次いでステップＳ９２では、接近予測装置５０から車両ＭＶａおよび前方車両ＭＶｂの絶対座標値，速度ベクトルおよび走行車線を読み込む。
【０１３３】
ステップＳ９３では、接近度判断部５３から入力された車両ＭＶａおよび前方車両ＭＶｂの絶対座標値，速度ベクトルに基づいて、安全を確保しうる安全車間距離を演算する。安全車間距離は、たとえば上述の式（７）で定義されるようなものである。ステップＳ９４では、車両ＭＶａと前方車両ＭＶｂとの間の車間距離を算出し、この実際の車間距離がステップＳ９３で算出された安全車間距離以上であるか、または、車両ＭＶａが走行する走行車線上に前方車両が存在しないかどうかを判定する。その結果、判定が肯定されるとステップＳ９５に進み、判定が否定されるとステップＳ９６に進む。
【０１３４】
ステップＳ９４が肯定判定されるのは、車両ＭＶａの車速を希望車速に設定しても安全が確保できると判断したからでありステップＳ９５において、実際の車速が希望車速となるようにアクチュエータ群６４を制御する。一方、ステップＳ９６では、車両ＭＶａの車速を希望車速に設定すると安全が確保できないおそれがあると判断し、実際の車間距離が安全車間距離となるようにアクチュエータ群６４を制御する。
【０１３５】
一方、図４０のフローチャートに示すプログラムが実行されている間において接近予測装置５０から接近度が出力されると、割り込み動作が実行されて図４１に示すように定速走行動作が終了する。
【０１３６】
このように、接近予測装置５０によって検出された前方車両ＭＶｂの位置、速度、車線、および前方車両ＭＶｂに対する接近度を用いて、車両ＭＶａが前方車両ＭＶｂに接近しないように車両ＭＶａの挙動を制御することができる。
【０１３７】
−第７実施例の変形例−
上述の第７実施例では、接近予測装置５０から接近度が出力されると定速走行動作を一律に終了していたが、接近度のレベルに応じて制御してもよい。図４２は、このような制御手順の一例を示すフローチャートであり、図４０のフローチャートに示すプログラムが実行されている間において、接近予測装置５０から接近度が出力されると、図４２のサブルーチンフローチャートに示す割り込み動作が実行される。ステップＳ９０１では、接近予測装置５０から出力された接近度のレベルに応じて、定速走行動作が目標とする目標速度を減速する。特に、接近度のレベルが高いほど目標速度を低く設定すればよく、たとえば、接近度＝１であれば単にスロットルアクチュエータを戻してエンジンブレーキにより減速し、接近度＝２であれば積極的にブレーキアクチュエータを制御して減速すればよい。
【０１３８】
接近度のレベルに応じて段階的に定速走行動作を制御することにより、走行状況に応じたきめ細かい制御が可能になる。
【０１３９】
−第８実施例−
図４３は本発明の第８実施例を示し、接近予測装置から出力される信号に基づいて自車両が前方車両に接近することを回避する接近回避装置の概略構成を示すブロック図である。なお、以下の説明において、上述の第７実施例と共通の構成要素については同一の符号を付し、その説明を省略する。図４３において、６５は後方および側方車両検出部であり、車両ＭＶａの後方と側方の車両の存在を検出する。この後方および側方車両検出部は、たとえば距離センサ、光スイッチ等を備え、これら距離センサ、光スイッチ等の検出結果に基づいて車両の存在を検出する。また、アクチュエータ群６４は、ステアリングアクチュエータ、スロットルアクチュエータ、ブレーキアクチュエータおよび変速アクチュエータを備えている。
【０１４０】
本実施例の通常の動作は、図４０に説明した第７実施例の動作と略同一であるのでその説明を省略し、割り込み動作についてのみフローチャートで図示する。図４０のフローチャートに示すプログラムが実行されている間に接近予測装置５０から接近度が出力されると、図４４に示す割り込み動作のサブルーチンフローチャートが実行される。
【０１４１】
図４４のステップＳ９１１では、接近予測装置５０から接近度および接近度出力の要因となった前方車両の車線を取り込む。前方車両の車線は、接近度出力に寄与したルールのＩＦ部を探索することにより検出できる。ステップＳ９１２では、車両ＭＶａの車速を減速するだけで前方車両に対する接近が防止できるか否かを判定し、判定が肯定されるとステップＳ９１３に進み、判定が否定されるとステップＳ９１４に進む。ステップＳ９１２の判定は、たとえば接近度が高い（接近度が２以上である、など）場合は判定を肯定し、接近度が低い場合は判定を否定すればよい。
【０１４２】
ステップＳ９１３では、図４２のステップＳ９０１と同様に、接近予測装置５０から出力された接近度のレベルに応じて、定速走行動作が目標とする目標速度を減速する。特に、接近度のレベルが高いほど目標速度を低く設定すればよい。一方、ステップＳ９１４では、接近度出力の要因となった前方車両の存在する車線に対して反対方向の車線（つまり、前方車両が右隣の走行車線に存在すれば左隣の走行車線）を探索し、この車線において車両ＭＶａの後方と側方に車両が検出されない場合、この車線が回避可能な車線であると判断し、回避可能な車線への車線変更を行う。つまり、アクチュエータ群６４を構成するステアリングアクチュエータにより車両ＭＶａのステアリングを回避可能な車線に向け、車両ＭＶａをこの車線に移動させる。
【０１４３】
したがって、本実施例によっても、上述の第７実施例と同様の作用効果を得ることができる。
【０１４４】
以上説明した実施例と請求の範囲との対応において、ＣＣＤカメラ３やデータ抽出部５１が走行案内情報検出手段１０１を、車輪速センサ１やデータ抽出部５１が自車挙動検出手段１０２を、前方車両の挙動検出部５２が前車挙動予測手段１０３を、接近度判断部５３が接近度予測手段１０４をそれぞれ構成する。なお、本発明の接近予測装置は、その細部が上述の各実施例に限定されず、種々の変形が可能である。
【０１４５】
【発明の効果】
以上詳細に説明したように、本発明によれば、路面に描かれた車線等の走行案内情報も考慮して接近度を算出しているので、自車両前方の道路状況に応じて前方車両や移動物体の接近度を的確に判断して予測することができる
【図面の簡単な説明】
【図１】本発明の接近予測装置を示す機能ブロック図である。
【図２】第１実施例の接近予測装置の動作を説明する図である。
【図３】（ａ）は接近予測装置の一実施例を示す全体構成図、（ｂ）はその制御装置の詳細を示す図である。
【図４】接近予測装置の動作を説明するためのメインフローチャートである。
【図５】第１実施例〜第５実施例の画像処理ルーチンを示すフローチャートである。
【図６】（ａ）は撮像装置で撮像された車両の前方視界画像の一例を示す図、（ｂ）は（ａ）に対応する視点変換画像を示す図である。
【図７】白線検出ルーチンを示すフローチャートである。
【図８】白線検出用フィルタの一例を示す図である。
【図９】（ａ）〜（ｆ）はそれぞれ白線候補領域の連結手法を説明するための図である。
【図１０】（ａ）は白線候補領域の一例を示す図、（ｂ）は（ａ）の白線候補領域から得られたテンプレート、（ｃ）は（ｂ）のテンプレートを用いて検出された白線領域を示す図である。
【図１１】第１実施例のデータ抽出ルーチンを示すフローチャートである。
【図１２】白線の方向ベクトル検出ルーチンを示すフローチャートである。
【図１３】（ａ）〜（ｃ）はそれぞれ白線の単位方向ベクトルの算出方法を説明するための図である。
【図１４】ルールメモリ内に記憶されているルールの一例を示す図である。
【図１５】第１実施例の接近予測装置の動作を説明する図である。
【図１６】第１実施例の変形例のデータ抽出ルーチンを示すフローチャートである。
【図１７】第２実施例の接近予測装置の動作を説明する図である。
【図１８】第２実施例のデータ抽出ルーチンを示すフローチャートである。
【図１９】第２実施例の合流車線判定ルーチンを示すフローチャートである。
【図２０】第２実施例を説明する図で、（ａ）は撮像装置で撮像された車両の前方視界画像の一例を示す図、（ｂ）は（ａ）に対応する視点変換画像を示す図、（ｃ）は（ｂ）の視点変換画像に対して検出された白線領域を示す図、（ｄ）は（ｂ）の視点変換画像から抽出された横エッジを示す図である。
【図２１】第２実施例の接近予測装置の動作を説明する図である。
【図２２】（ａ）は第２実施例の変形例の合流車線判定ルーチンの一例を示すフローチャート、（ｂ）はサインポストからの信号を受信するシステムの構成例を示す図である。
【図２３】（ａ）は第２実施例の変形例の合流車線判定ルーチンの他の例を示すフローチャート、（ｂ）はナビゲーション装置の構成例を示す図である。
【図２４】第３実施例の接近予測装置の動作を説明する図である。
【図２５】第３実施例のデータ抽出ルーチンを示すフローチャートである。
【図２６】第３実施例の路肩判定ルーチンを示すフローチャートである。
【図２７】第４実施例の接近予測装置の動作を説明する図である。
【図２８】第４実施例のデータ抽出ルーチンを示すフローチャートである。
【図２９】第４実施例の離脱車線判定ルーチンを示すフローチャートである。
【図３０】第４実施例の変形例の離脱車線判定ルーチンを示すフローチャートである。
【図３１】第５実施例の接近予測装置の動作を説明する図である。
【図３２】第６実施例の接近予測装置の動作を説明する図である。
【図３３】第６実施例における接近予測装置の全体構成を示す図である。
【図３４】第６実施例の画像処理ルーチンを示すフローチャートである。
【図３５】第６実施例のデータ抽出ルーチンを示すフローチャートである。
【図３６】第６実施例の横断歩道判定ルーチンを示すフローチャートである。
【図３７】第６実施例の変形例の横断歩道判定ルーチンの一例を示すフローチャートである。
【図３８】第６実施例の変形例の横断歩道判定ルーチンの他の例を示すフローチャートである。
【図３９】第７実施例である接近予測装置が適用される定速走行装置を示すブロック図である。
【図４０】第７実施例の動作を説明するためのフローチャートである。
【図４１】第７実施例の割り込み動作を説明するためのフローチャートである。
【図４２】第７実施例の変形例の割り込み動作を説明するためのフローチャートである。
【図４３】第８実施例である接近予測装置が適用される接近回避装置を示すブロック図である。
【図４４】第８実施例の動作を説明するためのフローチャートである。
【符号の説明】
１ 車輪速センサ
２ タイヤ
３ ＣＣＤカメラ
４，７ 前処理部
５ 制御装置
６ レーダ装置
１０ 赤外線検知装置
５０ 接近予測装置
５１ データ抽出部
５２ 前方車両の挙動予測部
５３ 接近度判断部
５３ａ ルールメモリ
５３ｂ ＩＦ部照合部
５３ｃ ルール選択部
５３ｄ ルール競合部
ＭＶａ 車両
ＭＶｂ，ＭＶｃ 前方車両
ＷＬａ〜ＷＬｃ 白線
ＷＬＲａ〜ＷＬＲｃ 白線領域
ＭＰ 合流車線パターン
ＲＦ 路側反射体
ＣＲ 横断歩道
１０１ 走行案内情報検出手段
１０２ 自車挙動検出手段
１０３ 前車挙動予測手段
１０４ 接近度予測手段 [0001]
[Industrial applications]
The present invention relates to an approach prediction device that predicts whether a moving object such as a forward vehicle or a person traveling ahead of a host vehicle traveling on a road surface is approaching the host vehicle.
[0002]
[Prior art]
Conventionally, this type of approach prediction device can be roughly classified into the following four types.
(1) A device that detects the distance of a vehicle ahead using a radar whose detection direction is fixed within a predetermined range.
(2) Detecting the distance and direction of a vehicle ahead using a radar whose detection direction changes according to the steering angle of the host vehicle (for example, the steering operation angle).
(3) A device that narrows the angle of a radar beam (irradiation wave) and scans (scans) the beam within a predetermined angle to detect the distance and direction of a vehicle ahead.
(4) The image in front of the host vehicle taken by the image pickup device is processed by the image processing device, the lane information drawn on the road surface in front of the host vehicle is detected, and the radar detection range is controlled in the traveling lane of the host vehicle. What to do
[0003]
[Problems to be solved by the invention]
However, the above-described conventional approach prediction devices have the following problems, respectively.
[0004]
(1) Since the radar detection direction is limited to one direction, if the radar beam is narrowed down narrowly, the radar detection direction will be determined when the vehicle is traveling on a curved road, at the entrance of a curved road, or near the road. It deviates from the traveling direction, and it is difficult to detect a forward vehicle or the like. On the other hand, if the beam is widened, an unnecessary object such as an object traveling outside the road on a straight road may be detected.
[0005]
(2) By changing the radar detection direction according to the steering angle of the host vehicle, the radar beam width can be reduced to about the width of the lane, but the radar detection must be performed after the steering angle has changed. Since the direction does not change, although the effect is effective on a curved road, the radar detection direction deviates from the traveling direction of the road before the curved road or at an entrance and exit, and there is a possibility that a vehicle ahead or the like cannot be detected.
[0006]
(3) By scanning the beam, a wide range of vehicles ahead in front of the vehicle can be detected, and the vehicles ahead can be reliably detected in the middle of a curved road, at an entrance, or in front of the vehicle. Therefore, there is a possibility that it is not possible to properly determine the degree of approach to the own vehicle because the preceding vehicle or the like is detected without taking into account the above. For example, a preceding vehicle traveling in the lane next to the own vehicle in the middle of a curved road runs in a direction approaching the own vehicle when only looking at the moving direction, but in fact, the own vehicle also runs in the same direction. Therefore, the possibility of approach is low. However, in the conventional approach prediction device, there is a possibility that such a forward vehicle may be determined to be highly likely to approach.
[0007]
(4) The image processing apparatus can accurately detect a forward vehicle or the like on the lane in which the own vehicle travels. However, a forward vehicle or the like traveling in a lane other than the own vehicle lane or a location other than the lane (for example, a road shoulder or the like) ) May be difficult to detect a vehicle ahead.
[0008]
SUMMARY OF THE INVENTION It is an object of the present invention to provide an approach prediction device capable of accurately determining an approach level of a preceding vehicle or the like by grasping a road condition ahead of the own vehicle.
[0009]
[Means for Solving the Problems]
FIG. 2 is a functional block diagram of the present invention.In oneMore specifically, the present invention is applied to a device for predicting the degree of approach between a host vehicle traveling on a road surface and a preceding vehicle existing in the traveling direction..
[0010]
Travel guidance information detection means 101Detects information on the direction in which the lane extends on the road surface, and the own vehicle behavior detecting means 102 calculates the position and speed vector of the own vehicleIs preferred.
[0011]
The front vehicle behavior prediction means 103 calculates the position and speed vector of the preceding vehicle, and the direction of the speed vector of the preceding vehicle intersects with the direction in which the traveling lane of the preceding vehicle extends, and the speed vector of the preceding vehicle is Judging that the preceding vehicle changes lanes to the running lane of the own vehicle when the component approaching the running lane of the own vehicle has a predetermined value or more.Is preferred.
[0012]
The approach predicting means 104 changes the lane of the preceding vehicle to the traveling lane of the own vehicle by the preceding vehicle behavior predicting means 103.When it is determined that the vehicle is approaching based on the position of the own vehicle and the preceding vehicle obtained by the own vehicle behavior detecting means 102 and the preceding vehicle behavior predicting means 103, and the velocity vector of the own vehicle and the preceding vehicle, preferable.
[0013]
Alternatively, the traveling guide information detecting means 101 detects information related to the traveling guidance of the vehicle drawn on the road surface, the own vehicle behavior detecting means 102 calculates the position and speed vector of the own vehicle, and the preceding vehicle behavior predicting means 103 It is preferable to calculate the position and speed vector of the preceding vehicle and determine whether or not the preceding vehicle is traveling in a location where there is a high possibility that the lane will change based on the information regarding the guidance of the vehicle.
[0014]
When the preceding vehicle behavior predicting means 103 determines that the preceding vehicle is traveling in a place where there is a high possibility of changing lanes, the approach degree predicting means 104 performs the own vehicle behavior detecting means 102 and the preceding vehicle behavior predicting means 103. It is preferable to output the degree of approach based on the positions of the own vehicle and the preceding vehicle obtained in and the velocity vectors of the own vehicle and the preceding vehicle.
[0015]
The invention according to claim 3 is applied to an apparatus for predicting the degree of approach between a host vehicle traveling on a road surface and a plurality of preceding vehicles existing in the traveling direction.
The above-mentioned object is to calculate the position and speed vector of the own vehicle, calculate the position and speed vector of each of the plurality of front vehicles, and calculate the position of each of the plurality of front vehicles. Front vehicle behavior predicting means for determining whether or not one of the following vehicles of the plurality of preceding vehicles approaches the other preceding vehicle and changes lanes to the traveling lane of the own vehicle based on the speed vector and the speed vector 103 and the preceding vehicle behavior predicting means 103, when it is determined that the following vehicle of the traveling lane of the own vehicle changes lanes, the vehicle behavior detecting means 102 and the vehicle Proximity prediction that outputs a proximity based on each position of the following one of the vehicle and the preceding vehicle and each velocity vector of the following one of the own vehicle and the preceding vehicle. Stage 104 is achieved.
[0016]
[Action]
-Claim 1-
The traveling guidance information detecting means 101The vehicle behavior detecting means 102 calculates the position and speed vector of the vehicle, and the preceding vehicle behavior predicting means 103 calculates the position and speed of the preceding vehicle. When calculating the vector, the direction of the speed vector of the preceding vehicle and the direction of extension of the traveling lane of the preceding vehicle intersect, and when the speed vector of the preceding vehicle has a component approaching the traveling lane of the own vehicle at a predetermined value or more. When the preceding vehicle determines that the preceding vehicle changes lanes to the traveling lane of the own vehicle, and the approaching degree prediction means 103 determines that the preceding vehicle changes lanes to the traveling lane of the own vehicle by the preceding vehicle behavior prediction means 103, Outputs the proximity based on the positions of the own vehicle and the preceding vehicle and the velocity vectors of the own vehicle and the preceding vehicle obtained by the detecting means 102 and the preceding vehicle behavior predicting means 103.I do. The proximity is predicted in consideration of travel guidance information such as lanes drawn on the road surface, and the proximity can be predicted in consideration of the road conditions ahead of the host vehicle.
[0017]
-Claims2−
The traveling guidance information detecting means 102 detects information related to the traveling guidance of the vehicle drawn on the road surface, the own vehicle behavior detecting means 102 calculates the position and speed vector of the own vehicle, and the preceding vehicle behavior predicting means 103 , Calculating the position and speed vector of the preceding vehicle, and determining whether or not the preceding vehicle is traveling in a location where there is a high possibility that the lane change will be performed based on the information on the guidance of the vehicle. When the preceding vehicle behavior predicting means 103 determines that the preceding vehicle is traveling in a place where there is a high possibility of changing lanes, the own vehicle obtained by the own vehicle behavior detecting means 102 and the preceding vehicle behavior predicting means 103 And outputs the degree of approach based on the position of the preceding vehicle and the velocity vectors of the own vehicle and the preceding vehicle. Considering the travel guidance information such as lanes drawn on the road surfaceThe degree of approach is predicted, and the degree of approach can be predicted in consideration of the road conditions ahead of the host vehicle.
[0018]
-Claims3−
The own-vehicle behavior detecting means 102 calculates the position and speed vector of the own vehicle, and the preceding-vehicle behavior predicting means 103 calculates the position and speed vector of each of the plurality of front vehicles, and calculates each of the plurality of front vehicles. Based on the position and the speed vector of the vehicle, determine whether or not one of the following vehicles of the plurality of preceding vehicles approaches the other preceding vehicle and changes lanes to the traveling lane of the own vehicle. 104 is obtained by the own vehicle behavior detecting means 102 and the preceding vehicle behavior predicting means 103 when the preceding vehicle behavior predicting means 103 determines that one of the following vehicles ahead of the traveling lane of the own vehicle changes lane. The proximity is output based on the respective positions of the own vehicle and the preceding vehicle determined to change lanes, and the respective speed vectors of the own vehicle and the preceding vehicle determined to change lanes. Considering the proximity of the vehicles in front,The approach to the vehicle is predicted, and the approach can also be predicted in consideration of the road conditions ahead of the own vehicle.
[0019]
In the sections of the means for solving the problems described above and the operation that describe the configuration of the present invention, the drawings of the embodiments are used to make the present invention easy to understand, but the present invention is not limited to the embodiments. Not something.
[0020]
【Example】
-1st Example-
In the first embodiment, for example, as shown in FIG.₀Traffic lane R ahead of the vehicle MVa₊₁If there is a forward vehicle MVb (hereinafter, referred to as a forward vehicle) traveling on the vehicle, a position A of the vehicle MVa, a speed vector Va, a position B of the forward vehicle MVb, and a speed vector Vb are calculated.₀And lane R₊₁A direction vector Db indicating the direction of a white line WLb that is a boundary line between the vehicle MVa and the vehicle MVa is calculated based on whether the preceding vehicle MVb changes lanes to the lane in which the vehicle MVa travels. To determine whether the vehicle will approach the safe distance or less. In the following description, the X axis, the Y axis, and the Z axis are taken as shown in FIG.
[0021]
FIG. 3A is a block diagram showing a schematic configuration of an embodiment of the approach prediction device according to the present invention. As shown in FIG. 3A, the approach prediction device is mounted on a vehicle MVa that travels in a traveling direction indicated by an arrow A on a road surface RD.
[0022]
Reference numerals 1 denote wheel speed sensors that are provided near the left and right rear wheel tires 2 and detect the rotational speeds of the left and right rear wheel tires 2. The wheel speed sensor 1 includes, for example, a conductor disc having grooves formed at a predetermined pitch in a peripheral portion thereof and rotating integrally with the tire 2, and a magnetic flux emitted toward the grooves to detect a change in the magnetic flux to thereby rotate the tire 2. Although a magnetic sensor that outputs a pulse train proportional to the number is provided, its configuration is well known, and a detailed description thereof will be omitted.
[0023]
Reference numeral 3 denotes a CCD camera which is arranged in front of the vehicle MVa and captures an image of the front field of view of the vehicle MVa. A detection signal from the CCD camera 3 is processed by a preprocessing unit 4 to detect white lines WLa to WLc. . The result is input to the control device 5. The preprocessing unit 4 can also recognize a road sign, recognize a pattern other than a white line drawn on a road surface, and detect a roadside reflector installed on a road.
[0024]
Reference numeral 6 denotes a radar device arranged in front of the vehicle MVa, which irradiates an electromagnetic wave beam BM in front of the vehicle MVa and receives a reflected wave from the preceding vehicle existing on the beam BM. In the illustrated example, the electromagnetic wave beam BM is narrowed relatively narrowly, and is configured to be scanned within an angle range equal to or larger than a normal lane width (for example, ± 45 ° to 60 °). The detection signal of the radar device 6 is input to the pre-processing unit 7, where the distance to the vehicle ahead is measured from the propagation time of the reflected electromagnetic wave received by the radar device 6, and the vehicle is detected from the arrival direction of the reflected electromagnetic wave. The direction of the preceding vehicle MVb with respect to MVa is detected. From these distance and direction data, the relative coordinate position of the preceding vehicle with respect to the own vehicle is calculated. The processing result of the preprocessing unit 7 is also input to the control device 5.
[0025]
The control device 5 is mainly composed of a microcomputer, and as its functions, as shown in FIG. 3B, includes a data extraction unit 51, a behavior prediction unit 52 of a preceding vehicle, and an approach degree determination unit 53. . The data extraction unit 51 extracts data such as the position of the vehicle MVa, the traveling direction, the position of the preceding vehicle, and the traveling direction, as described later. The forward vehicle behavior prediction unit 52 predicts the behavior of the forward vehicle based on the various data extracted by the data extraction unit 51. The proximity determining unit 53 predicts and determines the proximity between the preceding vehicle and the own vehicle based on the various data extracted by the data extracting unit 51 and the behavior of the preceding vehicle predicted by the behavior predicting unit 52 of the preceding vehicle. I do.
[0026]
The proximity determining unit 53 includes a rule memory 53a, an IF unit matching unit 53b, a rule selecting unit 53c, and a rule conflicting unit 53d. In the illustrated example, a technique used in so-called artificial intelligence is used for predicting the degree of approach to a vehicle ahead. In brief, a large number of rules are stored in the rule memory 53a in advance, and each rule is described by IF to THEN rules used in artificial intelligence. The IF unit matching unit 53b selects a rule corresponding to the output of the data extracting unit 51 from among a plurality of conditions stored in the rule memory 53a, according to the outputs of the data extracting unit 51 and the behavior predicting unit 52 of the preceding vehicle. Then, the IF section of the selected rule is collated. Next, the rule selection unit 53c selects a specific rule that satisfies the IF unit based on the comparison result of the IF unit comparison unit 53b. Finally, when a plurality of rules are selected by the rule selecting unit 53c, the rule conflicting unit 53d causes the rules to compete with each other. The result of the competition by the rule competitor 53d corresponds to the degree of approach to the preceding vehicle. The details of the operation of each unit constituting these proximity determining units 53 will be described later.
[0027]
FIG. 4 is a main flowchart for explaining the operation of the approach prediction device. In step S10, image data of the front field of view of the vehicle MVa captured by the CCD camera 3 and processed by the preprocessing unit 4 is read, and image processing is performed on the image data to detect a white line. In step S20, a detection signal from the wheel speed sensor 1 is fetched. In step S30, the position and direction of the preceding vehicle calculated in advance by the preprocessing unit 7 based on the signal from the radar device 6 are read. In step S40, using the various signals read in this way, data necessary for predicting the behavior of the preceding vehicle, which will be described later, that is, the absolute coordinate values of the own vehicle, the preceding vehicle, and the white line, the own vehicle and the preceding vehicle, Each speed vector, each traveling lane of the own vehicle and the preceding vehicle, and the unit direction vector of the white line near the preceding vehicle are extracted by calculation.
[0028]
In step S50, the behavior of the preceding vehicle is predicted by the front vehicle behavior prediction unit 52 based on the extracted data. In step S60, after the IF sections of the various rules are collated by the IF section collating section 53b of the proximity determining section 53, a rule is selected by the rule selecting section 53c based on the result of the collated IF sections. In step S70, the rule selected in step S60 is made to compete by the rule competing unit 53d of the proximity determining unit 53. In step S80, the degree of approach is output based on the competing rules.
[0029]
Next, details of each step in FIG. 4 will be described.
(1) Image processing routine
FIG. 5 shows details of the image processing routine executed in step S10 of FIG. In step S11, the image data captured by the CCD camera 3 and processed by the preprocessing unit 4 is read. In step S12, the viewpoint of the image data obtained by the preprocessing unit 4 is converted. In other words, as shown in FIG. 6A, the CCD camera 3 captures an image of the road surface RD obliquely from a predetermined height of the vehicle MVa while obliquely capturing the image. It is more convenient to obtain an image in which the road surface RD and the vehicles MVa and MVb are looked down from directly above. A conversion formula for converting an observation image obtained from the CCD camera 3 shown in FIG. 6A to an image looking down from directly above (hereinafter referred to as a viewpoint conversion image) as shown in FIG. It is given by the following equation.
(Equation 1)

Here, I, J: coordinate values of an arbitrary point P on the observation image
i, j: coordinate values of point p on the viewpoint converted image corresponding to P (I, J)
A, B: Display size of viewpoint-converted image
p, q: pixel size of CCD camera
θ_v: Depression angle of CCD camera
f: Focal length of CCD camera
int (): Function indicating the integer part of the value in ()
Note that the viewpoint conversion based on the above equations (1) and (2) is based on the premise that all the objects imaged by the CCD camera 3 are planar objects existing on the road surface RD. Is converted in a distorted manner as indicated by MVb ′ in FIG.
[0030]
In step S13, a white line extraction operation for extracting white lines included in the image data subjected to the viewpoint conversion is performed.
[0031]
The details of the white line extraction operation are shown in the flowchart of FIG. In step S131, a region serving as a white line candidate is detected from the image data subjected to viewpoint conversion by the white line detection filter.
[0032]
The white line detection filter used in the present embodiment is, for example, as shown in FIG. 8, and has a “1” portion that extends right and left by a width w with respect to a target point p having a coordinate value (x, y). And "-1" portions on the left and right sides. The width w may be given in advance according to the width of the white line WL to be extracted. When the width of the white line to be extracted is W, W <w. The output F (x, y) of the white line extraction filter for the target point p (x, y) is given by the following equation.
(Equation 2)

[0033]
If the width w is appropriately determined, the value of the output F (x, y) becomes higher when the target point p (x, y) is located on the white line WL, so that the output F calculated at each point of the entire image is obtained. By performing threshold processing on (x, y), a white line candidate area can be extracted. At this time, in order to set an appropriate threshold value for each target point p (x, y), a threshold value t is determined for each horizontal line (X-axis direction) as shown in the following equation.
(Equation 3)

Where 0 <k <1: constant
M: number of pixels in the horizontal direction of the image
[0034]
Assuming that image data representing a white line candidate region generated using the threshold value t is L (x, y), L (x, y) is given by the following equation.
(Equation 4)

An area where L (x, y) takes a value of 1 is a white line candidate area.
[0035]
In the white line candidate region extraction operation executed in step S131, the white line WL itself actually drawn on the road surface RD is extracted, and as shown in FIG. 3A and FIG. WL is periodically interrupted. Therefore, as shown in FIG. 9A, the white line candidate area extracted in step S131 is also (ideally) periodically interrupted. However, unlike the actual white line WL, the concept of the white line is a series of curves that are not interrupted on the way, and if the interrupted white line is left as it is, there may be a problem in calculating the direction vector of the white line described later. Is used to connect the white line candidate areas.
[0036]
The procedure of step S132 will be described in detail with reference to FIG. The white line candidate area extracted in step S131 is thinned as shown in FIG. 9B, and the center line of the white line candidate area is extracted. Next, as shown in FIG. 9C, after detecting the end point of the center line, the end points at a predetermined interval or less are connected as shown in FIG. 9D. Furthermore, if the logical sum of the connected end points as shown in FIG. 11E and the white line region candidates extracted in step S131 is obtained, the white line candidate region is extracted as shown in FIG. The connection work is completed. In each operation of step S132, image processing such as thinning, end point detection, and logical sum may be performed by a known method.
[0037]
In step S133, a white line template is created as follows based on the white line candidate regions connected in step S132. A labeling process is performed on the connected white line candidate regions, and a quadratic curve is matched to a region having a maximum area in each of the labeled regions to obtain a template. For example, assuming that the white line candidate regions extracted in step S131 are as shown in FIG. 10A, the white line substantially at the center in the connected state is the longest among the three white line candidate regions. Is a region having the largest area, a quadratic curve is matched to the white line candidate region substantially at the center, and a template T (x, y) as shown in FIG.
[0038]
In step S134, the white line candidate area extracted in step S131 is searched for a matching area using the template T (x, y) created in step S133. As a result, for the white line candidate region as shown in FIG. 10A, three white line regions WLRa to WLRc as shown in FIG. 10C are detected.
[0039]
(2) Data extraction
FIG. 11 is a flowchart showing a data extraction routine executed in step S40 of the main flowchart shown in FIG. In step S41, based on the signal from the wheel speed sensor 1 input in step S20 of FIG. 4, the coordinates of the position of the vehicle MVa are fixed to the coordinates with the position of the vehicle MVa at a predetermined time as the origin, that is, the road surface RD. On the absolute coordinate system. As shown in FIG. 2, the absolute coordinate value of the vehicle MVa is represented by A (x_a, Y_a, 0).
[0040]
The running distance of the vehicle MVa is calculated by taking in a pulse train corresponding to the vehicle speed from the wheel speed sensor 1. On the other hand, the moving direction of the vehicle MVa is determined from the difference between the wheel speeds detected by the wheel speed sensors 1 for the left and right rear wheels. Therefore, by sequentially adding the moving distance and the moving direction of the vehicle MVa, the absolute coordinate value of the vehicle MVa can be obtained.
[0041]
Next, in step S42, the absolute coordinate value of the vehicle MVa obtained in step S41 is added as an offset to the data of the white line regions WLRa to WLRc obtained in step S134 in FIG. 7, thereby obtaining the white line regions WLRa to WLRc. Is converted to data on the absolute coordinate system. Similarly, the absolute coordinate value of the host vehicle MVa is added as an offset to the relative coordinate value of the preceding vehicle read in step S30, and the position of the preceding vehicle is converted into absolute coordinate values. In the example shown in FIG. 2, the absolute coordinate value of the preceding vehicle MVb is represented by B (x_b, Y_b, 0).
[0042]
In step S43, a difference between the absolute coordinate values of the vehicle MVa and the front vehicle MVb is determined from the absolute coordinate values of the vehicle MVa and the front vehicle MVb measured last time and the absolute coordinate values of the vehicle MVa and the front vehicle MVb measured this time. Thus, each speed vector is calculated. As shown in FIG. 2, the velocity vectors of the vehicle MVa and the forward vehicle MVb are represented by Va (v_ax, V_ay, 0), Vb (v_bx, Vb_y, 0).
[0043]
In step S44, it is recognized that a plurality of lanes are divided by the white line regions WLRa to WLRc converted into the position data of the absolute coordinate system in step S42, and the vehicle MVa and the front vehicle MVb respectively travel in any of the lanes. Is determined. In the present embodiment, as shown in FIG.₀And the preceding vehicle MVb is in the lane R₀Turn right into the adjacent lane to the right₊₁It is determined that the vehicle is traveling. In this specification, the lane immediately adjacent to and immediately to the left of the lane of the host vehicle is R_-1R on the right lane₊₂, ....
[0044]
In step S45, the unit direction vector of the white line region WLRb near the front vehicle MVb is detected. The details of the white line unit direction vector detection method are shown in the flowchart of FIG.
[0045]
In step S451 of FIG. 12, as shown in FIG.₊₁Of the white line area that defines₀Is detected on the white line region WLRb on the side closer to the point C where the distance from the position B of the preceding vehicle MVb is minimized. In step S452, on the white line region WLRb, on both sides of the point C, a point C separated by a predetermined distance from the point C is set.₁, C₂Set. Then, in step S453, these points C₁, C₂Are set as the unit direction vector of the white line. As shown in FIG. 2, the unit direction vector of the white line WLb is represented by Db.
[0046]
(3) Behavior prediction of the vehicle ahead
The details of the behavior prediction of the preceding vehicle in step S50 in FIG. 4 are as follows. In the present embodiment, it is predicted whether or not the preceding vehicle MVb will change lanes to the traveling lane of the vehicle MVa. This prediction formula is given by the following formula.
(Equation 5)

Where ×: symbol representing the cross product of vectors
∩: Operator indicating AND condition
k₁: Constant (0 <k₁<1 and k₁Is a value close to 0)
k₂: Constant (0 <k₂And k₂Is a value close to 0)
⊃: Symbol indicating that the right side is true if the left side is true
RC (+1,0): the preceding vehicle is in lane R₊₁To R₀The fact that the lane changes to
()_z: Z component of the vector in ()
A∈R₀  : Coordinate A is lane R₀The fact that
B∈R₊₁: Coordinate B is lane R₊₁The fact that
[0047]
(Db × Vb)_z/ | Vb | is the value of sin θ when the angle between the unit direction vector Db of the white line and the velocity vector Vb of the preceding vehicle MVb is θ, and if this value is positive, the preceding vehicle MVb approaches the white line I am doing it. Also, | (Db × Vb)_z| Is a speed component perpendicular to the white line (the unit direction vector Db) of the speed vector Vb of the preceding vehicle MVb. k₁Is (Db × Vb)_z/ | Vb | is a constant for determining the sign, but is set to a constant close to 0 in consideration of a measurement error. Also, k₂Is | (Db × Vb)_z|, And the vehicle ahead is in lane R₊₁The value is set so that it is not determined that there is a possibility of a lane change even when the vehicle runs slightly meandering inside.
[0048]
Therefore, when the vehicle MVa has the lane R₀When the vehicle MVb is running on the lane R₊₁(Db × Vb)_z/ | Vb | takes a positive value (> k₁) And | (Db × Vb)_zIs larger than a predetermined threshold (> k₂), The preceding vehicle MVb is in the lane R₊₁From the lane R where the vehicle MVa is traveling₀And the fact that RC (+1,0) is true.
[0049]
(4) IF section matching of rules
The IF part matching of the rule in step S60 in FIG. 4 is performed as follows. Based on the various data calculated by the data extracting unit 51 and the behavior predicting unit 53 of the preceding vehicle, the IF unit matching unit 53b stores a rule including the data as a parameter of the IF unit in the rule memory 53a of the proximity determining unit 53. Of the selected rules, various data are input for the selected rules, and the IF parts are collated, that is, it is determined whether or not the IF part of each rule is determined to be true.
[0050]
FIG. 14 shows various rules stored in the rule memory 53a. In the present embodiment, the relevant rule is the rule of rule number 2, RC (+1,0) is a variable indicating the behavior of the preceding vehicle calculated in step S50, and Va and Vb are all the values in step S40 ( The velocity vector f (Va, Vb) of the vehicle MVa and the preceding vehicle MVb calculated in step S43) of FIG. 11 is a function indicating a safe inter-vehicle distance, and is defined by the following equation.
(Equation 6)

Where T: idle time
In order for the IF part of the rule of rule number 2 to be determined to be true, it is necessary to input RC (+1,0), velocity vectors Va and Vb, and coordinate values A and B.
[0051]
In the example shown in FIG. 2, the front vehicle MVb is in the lane R of the vehicle MVa.₀The speed vector Vb of the preceding vehicle MVb is changed to the lane R₀Therefore, the left side of Expression (6) is determined to be true. Further, the distance y between the front vehicle MVb and the vehicle MVa along the Y-axis direction_b-Y_aHas a positive value smaller than the safe inter-vehicle distance f (Va, Vb), the lane change results in the preceding vehicle MVb being in the lane R₀When entering the vehicle, there is a possibility that the inter-vehicle distance is small and the vehicle may approach sufficiently. Therefore, the IF section of rule number 2 is determined to be true, the rule is established, and the proximity = 1 is output. here,
Degree of proximity = 0 …… No effect
Closeness = 1… pay attention to the vehicle ahead
Degree of approach = 2 ... There is a risk of contact with the vehicle ahead
And Note that the distance y is obtained by multiplying the term of −f (Va, Vb) by a constant smaller than 1._b-Y_aBy determining the magnitude relation between the two, it is possible to determine that the degree of approach is 2.
[0052]
On the other hand, in the case shown in FIG. 15 in which the own vehicle enters a curved road from a straight road, the preceding vehicle MVb has already traveled on a curved road, and the conventional approach prediction device sets the preceding vehicle MVb immediately before the vehicle MVa. Since the detection is performed, there is a possibility that an alarm indicating the approach may be output although the possibility that the preceding vehicle MVb changes lanes is actually low. In this case, according to the present embodiment, since the speed vector Vb of the forward vehicle MVb and the unit direction vector Db of the white line WLb are parallel,
(Equation 7)

And the left side of equation (6) is not determined to be true, and RC (+1,0) becomes false. As a result, the IF portion of the rule of the rule number 2 is not determined to be true, and the rule of the rule number 2 is not established and the output of the proximity is not performed.
[0053]
(5) Rule conflict
The rule conflict in step S70 in FIG. 4 will be described. As shown in the present embodiment and an embodiment described later, there are many situations where the approach should be predicted while the vehicle MVa is traveling, and it is necessary to make an accurate determination in various situations. A plurality of rules are stored in the rule memory 53a of the unit 53 (see FIG. 14). Therefore, since there are cases where a plurality of IF sections are established for one situation, a plurality of rules which are established by the IF sections are made to compete with each other to output an appropriate approach.
[0054]
The competitive method may be, for example, a method as performed in the field of artificial intelligence.
I. The sum of the approaches output from each of the rules that the IF section holds
B. Prioritize rules and output the proximity of rules with higher priority
C. A combination of these two
Such a method is mentioned. As for (a), a weighted average of the degrees of proximity may be taken. It is to be noted that rule conflicts will be described later in detail.
[0055]
(6) Proximity output
In step S80 of FIG. 4, the proximity is output as follows. When not all the IF sections of the rules stored in the rule memory 53a are established, a default value of 0 is output as the degree of approach. The outputted degree of approach is reported to the driver by a warning device such as a lamp or a buzzer provided on the vehicle MVa, or displayed using characters on a display provided on the vehicle MVa. An example in which the traveling of the vehicle MVa is controlled based on the output proximity will be described later.
[0056]
Therefore, according to the present embodiment, in addition to the information such as the position and the speed of the front vehicle MVb existing in front of the vehicle MVa, the traveling guidance information of the shape of the white line (unit direction vector) in the front view of the vehicle MVa is also considered. Therefore, the approaching degree of the preceding vehicle can be accurately determined and predicted according to the road condition. For example, in FIGS. 2 and 15, the position B of the forward vehicle MVb and the direction of the velocity vector Vb are almost the same, and in the conventional approach prediction device, an alarm is output in any case as a possibility of approach. In this embodiment, the approach level (= 1) indicating that there is a possibility of approaching is output only for an object that may actually change lanes as shown in FIG. 2, and the forward vehicle MVb is simply curved as shown in FIG. If the vehicle is only traveling on the road and there is little possibility of lane change, an approach (= 0) indicating that the possibility of approach is low is output, and an accurate approach determination is performed according to the road condition.
[0057]
-Modification of the first embodiment-
In the first embodiment described above, the unit direction vector of the white line is used as the travel guidance information. However, the present invention is not limited to this, and travel guidance information that can accurately grasp road conditions can be used. FIG. 16 is a flowchart showing a modification of the first embodiment, and is for explaining details of step S40 in FIG. Except for step S40 and step S50, which will be described later, the contents of the other steps in FIG. 4 are the same as those in the above-described first embodiment, and a description thereof will be omitted.
[0058]
After performing the same processes as steps S41 to S44 in FIG. 11, in step S45A, as shown in FIG. 2, the position B of the forward vehicle MVb and the lane R in which the vehicle MVa is traveling₀And the lane R where the preceding vehicle MVb is traveling₊₁Then, a distance C (t) (t: time) between the white line WLb and the white line WLb is calculated. The distance C (t) is stored in the data extraction unit 51 together with the elapsed time t from the above-described predetermined position.
[0059]
In step S50 of FIG. 4, the behavior of the preceding vehicle, that is, whether or not the preceding vehicle MVb changes lanes to the traveling lane of the vehicle MVa is predicted by the following equation.
(Equation 8)

Where k₈: Constant (0> k₈)
[0060]
(DC (t) / dt) is the speed of the preceding vehicle MVb in a direction orthogonal to the white line WLb, and k₈Corresponds to the threshold value of the speed, and the preceding vehicle MVb has the lane R₊₁The value is set so that it is not determined that there is a risk of a lane change even when the vehicle runs slightly meandering inside. Therefore, (dC (t) / dt) is smaller than a predetermined threshold (<k₈), The preceding vehicle MVb is in the lane R₊₁From the lane R where the vehicle MVa is traveling₀And the fact that RC (+1,0) is true.
[0061]
Thereafter, the degree of approach is calculated in steps S60 to S80 based on the fact RC (+1, 0) predicted in step S50, the velocity vectors Va and Vb and the coordinate values A and B calculated in steps S41 to S44. Is output. Therefore, according to this modification, the same operation and effect as those of the first embodiment can be obtained.
[0062]
-2nd Example-
In the above-described first embodiment and its modification, the unit direction vector of the white line is used as the traveling guidance information. However, as in the second embodiment, the result of pattern recognition of the shape of the pattern other than the white line drawn on the lane is performed. Can be used as travel guidance information.
[0063]
For example, as shown in FIG. 17, when a forward vehicle MVb exists in front of vehicle MVa, the type of lane on which forward vehicle MVb is traveling, for example, lane R₀, R₊₁Or the lane R_-1Is recognized based on the shape of the pattern drawn on the lane, and the recognized lane shape is determined by the position A of the vehicle MVa, the speed vector Va, the position B of the preceding vehicle MVb, and the speed vector Vb. Together with the vehicle MVa to determine whether or not the preceding vehicle MVb changes lanes to the lane in which the vehicle MVa travels, and whether or not the vehicle MVa approaches the safe inter-vehicle distance or less after the lane change. . As shown in FIG. 17, the merging lane merges with the right lane on the way, and the left road-side separation zone merges with the white lane on the right. Is drawn, so that the roadside divider crosses the lane, and if the pattern MP is recognized, the lane R_-1Is a merging lane.
[0064]
The second embodiment is different from the first embodiment in that the data extraction executed in step S40 of FIG. 4, the behavior prediction of the forward vehicle in step S50, the IF section collation of the rule in step S60, and the rule in step S70 This is a specific procedure of the competition and the degree of proximity in step S80, and the other steps are the same including the configuration in FIG. Therefore, the following description focuses on differences from the first embodiment, and a description of common parts is omitted.
[0065]
FIG. 18 shows a data extraction subroutine in the second embodiment, which corresponds to FIG. 11 in the first embodiment. After performing the same processing as in steps S41 to S44 of FIG. 11, in step S45B, the lane R in which the preceding vehicle MVb is traveling_-1Is determined to be a merging lane. Details of the merging lane determination method are shown in the flowchart of FIG.
[0066]
In step S4501 of FIG. 19, of the lanes separated by the white line detected in step S13 of FIG. 5, the lane adjacent to the lane in which the vehicle MVa is traveling (the lane in which the preceding vehicle MVb is traveling) R_-1Is included), and an edge (referred to as a horizontal edge) extending in a direction crossing the white line among the detected edges is extracted.
[0067]
FIG. 20 is a diagram showing an example of a horizontal edge detection process. When an observation image as shown in FIG. 20A is obtained, the result of performing a viewpoint conversion operation on this observation image is shown in FIG. The result of performing the white line detection operation on the viewpoint converted image is as shown in FIG. The lane in which the vehicle MVa is traveling is the central lane R₀And the preceding vehicle MVb is in the lane R on the left._-1You are traveling. Therefore, the lane R₀Lane R adjacent to₊₁, R_-1When a horizontal edge is extracted from the viewpoint conversion image corresponding to the inside, a plurality of horizontal edges (representative horizontal edge b in the figure) are obtained as shown in FIG.₁, B₂, B₃Are assigned only with reference numerals). In addition, a technique of edge detection is well known, and for example, a technique of multiplying an edge detection filter such as a differential filter with a viewpoint-converted image is exemplified.
[0068]
In step S4502, labeling processing is performed on each of the horizontal edges extracted in step S4501, and the horizontal length of each of the labeled horizontal edges is measured. In step S4503, the horizontal length of the horizontal edge is set to the adjacent lane R₊₁, R_-1It is determined whether the width is substantially equal to the width of the lane R. If the determination is affirmative, the process proceeds to step S4504, where the lane R having a lateral edge equal to the width of the adjacent lane exists._-1Is determined to be a merging lane. This fact,
(Equation 9)
R_-1= RJ. . . (11)
It expresses. On the other hand, if the determination is negative, the process proceeds to step S4505, where it is determined that the adjacent lane is not a merged lane.
[0069]
As shown in FIG. 17, the adjacent lane R which is the merging lane_-120D and the roadside separation zone at the end of the merging lane respectively indicate the horizontal edge b in FIG.₁, B₂And b₃Is extracted as Side edge b₁, B₂Is the adjacent lane R_-1Near the lane width and the side edge b₃Is the adjacent lane R_-1Equals the lane width of Therefore, the horizontal length of the horizontal edge extracted in step S4501 is equal to the adjacent lane R_-1If the lane width is approximately equal to the lane width (pre-input), the adjacent lane R_-1Can be determined to be a merging lane.
[0070]
In step S50 of FIG. 4, the behavior of the preceding vehicle, that is, whether or not the preceding vehicle MVb changes lanes to the traveling lane of the vehicle MVa is predicted by the following equation.
(Equation 10)

Where RC₄(-1, 0): the preceding vehicle is in lane R_-1To R₀The fact that the lane changes to
B∈R_-1: Coordinate B is lane R_-1The fact that
[0071]
Therefore, when the vehicle MVa has the lane R₀When the vehicle MVb is running on the lane R_-1In the state where the vehicle is traveling in the lane R_-1Is determined to be a merging lane, the preceding vehicle MVb enters the lane R_-1From the lane R where the vehicle MVa is traveling₀And the fact that RC (-1,0) is true.
[0072]
In step S60 of FIG. 4, various data are input for the rule selected from the various rules in the rule memory 53a of the degree-of-approach determination unit 53, and the IF unit is collated. The related rule in the present embodiment is the rule of rule number 4 shown in FIG.
[0073]
In the example shown in FIG. 17, the preceding vehicle MVb has a merging lane R_-1And the preceding vehicle MVb joins the merging lane R_-1Of the vehicle MVa before reaching the end of₀Since the lane change can be predicted, the left side of Expression (12) is determined to be true. Further, the distance y between the front vehicle MVb and the vehicle MVa along the Y-axis direction_b-Y_aHas a positive value smaller than the safe inter-vehicle distance f (Va, Vb), the lane change results in the preceding vehicle MVb being in the lane R₀When the vehicle enters, there is a possibility that the inter-vehicle distance is small and the vehicle approaches sufficiently. Therefore, the IF section of the rule number 4 is determined to be true, the rule is established, and the degree of approach = 2 is output.
[0074]
In step S70, the conflict of the rule whose IF part has been collated in step S60 is performed. For example, as shown in FIG.₀Merging lane R to the left of_-1And the driving lane R on the right₊₁First, consider the case where the preceding vehicles MVb and MVc are traveling. In the example shown in FIG. 21, it is the rule of rule numbers 2 and 4 shown in FIG. 14 that the IF part is determined to be true in step S60. Therefore, the rule of the rule number 2 outputs the proximity = 1, and the rule of the rule number 4 outputs the proximity = 2.
[0075]
According to the above-mentioned method (a), the sum of the degrees of proximity = 1 + 2 = 3. In this case, the evaluation of the degree of approach is three or more. Further, according to the above-described method (b), when the front vehicle MVb is compared with the front vehicle MVc, the front vehicle MVb always has the lane R₀It can be said that the rule of rule number 4 has a higher priority for changing lanes. Therefore, for example, if the priority order is set to 10 steps in total, the rule order of the rule of rule number 2 is 5 and the rule order of the rule of rule number 4 is 7, the priority order of the rule of rule number 4 is higher. , Proximity = 2.
[0076]
Therefore, according to the present embodiment, in addition to information such as the position and speed of the vehicle in front of the vehicle MVb present in front of the vehicle MVa, a pattern such as a pattern indicating whether or not the vehicle is in a merging lane in front of the vehicle MVa can be used. Since the degree of approach is calculated in consideration of the travel guide information, the degree of approach of the preceding vehicle can be accurately determined and predicted according to the road condition.
[0077]
-Modification of the second embodiment-
In the above-described second embodiment, the merging lane is determined by performing pattern recognition on the screen obtained by imaging the front field of view of the vehicle MVa. However, the present invention is not limited to this, and the adjacent lane is the merging lane by various methods. Can be determined. This will be described with reference to FIG. 22, which is another example of the merging lane determination routine.
[0078]
In this example, it is assumed that sign posts (not shown) are provided at predetermined intervals on the road, and that a road information signal indicating a road condition is transmitted from the sign posts. Therefore, as shown in FIG. 22 (b), the vehicle MVa has the configuration shown in FIG. 3 except that it has an antenna 21 for receiving the electromagnetic wave and a receiver 22 for receiving the electromagnetic wave via the antenna 21. is there.
[0079]
In step S4511 of FIG. 22A, the road information signal from the sign post is received by the antenna attached to the vehicle MVa, and the received signal is taken into the control device 5. In step S4512, it is determined whether or not the received road information signal includes a signal indicating a merging lane.
[0080]
FIG. 23A is a flowchart illustrating still another example of the merging lane determination routine. In this example, the vehicle MVa is equipped with a GPS (Global Positioning System) navigation device. The navigation device includes an antenna 31 for receiving a GPS signal from a satellite, as shown in FIG. , A receiver 32 for receiving a GPS signal via an antenna 31, a storage device 33 for storing road map data whose position is specified by latitude and longitude, a display device 34, and a GPS signal received by the receiver 32. The position of the vehicle on the road map is specified based on the road map data stored in the storage device 33, the road information representing the condition of the road is extracted, and the map and the vehicle position are displayed on the display device 34. And a control circuit 35 for performing the operation.
[0081]
In step S4521 of FIG. 23A, the navigation device recognizes the current position of the vehicle MVa based on a GPS signal from a satellite, and the current vehicle MVa runs based on the position and road map data provided in the navigation device. The location on the map where you are. Then, the road information given to the running road is extracted and sent to the control device 5. In step S4522, the control device 5 determines whether or not the road information includes information of a merging road.
[0082]
Therefore, according to these modifications, the same operation and effect as those of the second embodiment can be obtained.
[0083]
-Third embodiment-
The third embodiment is another example in which a pattern drawn on a lane in which a preceding vehicle exists is used as travel guidance information. As shown in FIG.₀Lane R which is a road shoulder ahead of the vehicle MVa_-1It is assumed that there is a preceding vehicle MVb traveling on the vehicle. Therefore, what kind of lane the preceding vehicle MVb is traveling on, for example, lane R₀, R₊₁Or the lane R_-1Is recognized by the shape of the pattern drawn on the road surface. Then, using the position A and the speed vector Va of the vehicle MVa and the position B and the speed vector Vb of the front vehicle MVb, whether or not the front vehicle MVb changes lanes to the lane in which the vehicle MVa travels, and After the change, it is determined whether or not the vehicle MVa approaches the safe inter-vehicle distance or less.
[0084]
The third embodiment is different from the first embodiment in that data is extracted in step S40 in FIG. 4, the behavior of the vehicle ahead is predicted in step S50, the IF section is compared with the rules in step S60, and the rules in step S70 are compared. The specific procedure of the competition and the degree of proximity in step S80 is the same, including the configuration of FIG. Therefore, the following description focuses on differences from the first embodiment, and a description of common parts is omitted.
[0085]
FIG. 25 shows a data extraction subroutine in the third embodiment, and corresponds to FIG. 11 for explaining the details of step S40 in FIG. After the same processing as in steps S41 to S44 in FIG. 11 is performed, in step S45C, the lane R in which the preceding vehicle MVb is traveling_-1Is determined to be a road shoulder. Details of the road shoulder determination method are shown in the flowchart of FIG.
[0086]
In step S4531, the roadside reflector RF (see FIG. 24) is detected from the viewpoint-converted image, and the distance between the roadside reflector RF and the white line WLa to the right of the roadside reflector RF is detected. In step S4532, the distance between the roadside reflector detected in step S4531 and the white line is determined by the width of the normal traveling lane (for example, lane R).₀And R₊₁It is determined whether the width is sufficiently smaller than (the known value is input in advance). If the determination is affirmative, the process proceeds to step S4533, where the lane R having the lane width sufficiently smaller than the traveling lane width is determined._-1Is determined to be a road shoulder. This fact,
(Equation 11)
R_-1= RC. . . (13)
It expresses. If the determination is negative, the process advances to step S4534 to determine that the adjacent lane is not on the road shoulder.
[0087]
In step S50 of FIG. 4, the behavior of the preceding vehicle, that is, whether or not the preceding vehicle MVb changes lanes to the traveling lane of the vehicle MVa is predicted by the following equation.
(Equation 12)

Where k₃: Constant (k₃> 0 and a value close to 0)
k₃Is a value for sign determination, and is set to a positive constant close to 0 in consideration of a measurement error and the like.
[0088]
Therefore, when the vehicle MVa has the lane R₀When the vehicle MVb is running on the lane R_-1In the state where the vehicle is traveling in the lane R_-1Is determined to be the shoulder of the road, the preceding vehicle MVb has the lane R_-1From the lane R where the vehicle MVa is traveling₀And the fact that RC (-1,0) is true.
[0089]
In step S60 of FIG. 4, various data are input for the rule selected from the various rules in the rule memory 53a of the degree-of-approach determination unit 53, and the IF unit is collated. The related rule in the present embodiment is the rule of rule number 6 shown in FIG.
[0090]
In the example shown in FIG. 24, the front vehicle MVb is_-1If it is moving up (| Vb |> k₃: If the vehicle is stopped, it is a broken vehicle and the possibility of lane change is low.) Then, the traveling lane R of the vehicle MVa₀Since it can be predicted that there is a high possibility of changing lanes, the left side of Expression (14) is determined to be true. Further, the distance y between the front vehicle MVb and the vehicle MVa along the Y-axis direction_b-Y_aHas a positive value smaller than the safe inter-vehicle distance f (Va, Vb), the lane change results in the preceding vehicle MVb being in the lane R₀When entering the vehicle, there is a possibility that the inter-vehicle distance is small and the vehicle may approach sufficiently. Therefore, the IF section of the rule number 6 is determined to be true, the rule is established, and the proximity = 1 is output.
[0091]
Therefore, according to this embodiment, the same operation and effect as those of the above-described embodiment can be obtained.
[0092]
-Fourth embodiment-
In the fourth embodiment, a vehicle receives road information indicating road conditions transmitted from sign posts installed at predetermined intervals on the road side of a road, and predicts the behavior of a preceding vehicle using the received road information. Is what you do.
[0093]
For example, as shown in FIG. 27, when a forward vehicle MVb exists in front of vehicle MVa, the type of lane in which forward vehicle MVb is traveling, for example, lane R₀, R₊₁Or the lane R_-1Is recognized based on the road information from the sign post, and the recognized road information is used together with the position A and the speed vector Va of the vehicle MVa and the position B and the speed vector Vb of the preceding vehicle MVb. Then, it is determined whether or not the preceding vehicle MVb changes lanes to the lane in which the vehicle MVa runs, and whether or not the vehicle MVa approaches the safe inter-vehicle distance after the lane change.
[0094]
The fourth embodiment is different from the first embodiment in that, in addition to the configuration shown in FIG. 2, an antenna for receiving an electromagnetic wave from a sign post and a receiver (see FIG. 22B) are omitted. 4), data extraction performed in step S40 of FIG. 4, prediction of the behavior of the vehicle ahead in step S50, comparison of the IF section of the rule in step S60, competition of the rules in step S70, and approach in step S80. The specific steps are the same, and the others are the same. Therefore, the following description focuses on differences from the first embodiment, and a description of common parts is omitted.
[0095]
FIG. 28 shows a data processing routine according to the fourth embodiment, which corresponds to the flowchart in FIG. 11 of the first embodiment. After performing the same processing as in steps S41 to S44 of FIG. 11, in step S45D, the lane R in which the preceding vehicle MVb is traveling_-1Is a departure road. Details of the departure lane determination method are shown in the flowchart of FIG.
[0096]
In step S4541 of FIG. 29, the road information signal from the sign post is received by the antenna attached to the vehicle MVa, and the received signal is taken into the control device 5 via the receiver. In step S4542, based on the received road information signal, the adjacent lane R_-1Is determined to be a departure road. Adjacent lane R_-1Is the escape road,
(Equation 13)
R_-1= RX. . . (15)
It expresses.
[0097]
In step S50 of FIG. 4, the behavior of the preceding vehicle, that is, whether or not the preceding vehicle MVb changes lanes to the traveling lane of the vehicle MVa is predicted by the following equation.
[Equation 14]

Where k₆: Constant (0> k₆> -1 and k₆Is a value close to 0)
k₇: Constant (k₇> 0 and k₇Is a value close to 0)
The expression (16) is similar to the above expression (6), except that, as shown in FIG._-1, The only difference is that the sign determination is reversed.
[0098]
Therefore, when the vehicle MVa has the lane R₀When the vehicle MVb is running on the lane R_-1(Db × Vb)_z/ | Vb | takes a negative value (<k₆) And | (Db × Vb)_zIs larger than a predetermined threshold (> k₇), The preceding vehicle MVb is in the lane R_-1From the lane R where the vehicle MVa is traveling₀It is predicted that the vehicle is about to change lanes, and the fact RC (-1,0) becomes true.
[0099]
In step S60 of FIG. 4, various data are input for the rule selected from the various rules in the rule memory 53a of the degree-of-approach determination unit 53, and the IF unit is collated. The related rule in the present embodiment is the rule of rule number 8 shown in FIG.
[0100]
In the example shown in FIG. 27, the preceding vehicle MVb is in the traveling lane R of the vehicle MVa.₀The speed vector Vb of the preceding vehicle MVb is changed to the lane R₀Therefore, the left side of Expression (16) is determined to be true. Further, since the lane in which the preceding vehicle MVb is traveling is a departure road, R_-1= RX is established, and as a result, the vehicle in front of the vehicle₀It is predicted that the lane will change to the lane, the IF section of rule number 8 is determined to be true, the rule is established, and the proximity = 2 is output.
[0101]
Therefore, according to this embodiment, the same operation and effect as those of the above-described embodiment can be obtained.
[0102]
Alternatively, in the above-described fourth embodiment, when the vehicle MVa is equipped with a navigation device (see FIG. 23B), the road information from the navigation device is used as in the modification of the second embodiment. Is also good. This will be described with reference to FIG.
[0103]
FIG. 30 is a flowchart illustrating another example of the leaving road determination routine. First, in step S4521, in the same manner as described above, the position of the vehicle on the map is recognized based on the GPS signal, and the road information given to the road is extracted and transmitted to the control device 5. In step S4522A, it is determined based on the received road information whether the adjacent lane is a departure road.
[0104]
-Fifth embodiment-
In the fifth embodiment, when there are two front vehicles that are front vehicles running ahead of the vehicle, the behavior is predicted from the mutual position and speed of these front vehicles. For example, as shown in FIG. 31, when two front vehicles MVb and MVc are present in front of vehicle MVa, the following front vehicle MVb behind the preceding front vehicle MVc changes lane to the traveling lane of vehicle MVa. Whether the vehicle MVc is going to overtake the preceding vehicle MVc, and whether the vehicle approaches the vehicle MVa after the lane change or less than a safe inter-vehicle distance. Positions B and C (x_c, Y_c, 0), and velocity vectors Vb, Vc.
[0105]
The fifth embodiment is different from the first embodiment in that the data extraction executed in step S40 in FIG. 4, the behavior prediction of the forward vehicle in step S50, the IF section collation of the rule in step S60, and the rule in step S70 The specific procedure of the competition and the degree of proximity in step S80 is the same, including the configuration of FIG. Therefore, the following description focuses on differences from the first embodiment, and a description of common parts is omitted.
[0106]
In step S40 of FIG. 4, necessary data relating to two front vehicles is extracted in the same manner as in the first embodiment in which there is only one front vehicle. In step S50 of FIG. 4, the behavior of the preceding vehicle, that is, whether or not the preceding vehicle MVb changes lanes to the traveling lane of the vehicle MVa is predicted by the following equation.
(Equation 15)

Where k₄: Constant (k₄> 0)
k₅: Constant (k₅<0)
y_a<Y_b<Y_cThe condition indicates that the front vehicle MVc, the front vehicle MVb, and the vehicle MVa are arranged in this order from the front, and corresponds to the arrangement state shown in FIG. Also, y_c-Y_bIs the distance between the front vehicle MVc and the front vehicle MVb along the Y-axis direction, and | Vc |-| Vb | is the speed difference between the front vehicle MVc and the front vehicle MVb.
[0107]
Therefore, when the vehicle MVa has the lane R₀The vehicle MVb and the preceding vehicle MVc are both in the lane R₊₁, The distance y between the preceding vehicles MVb and MVc_c-Y_bIs a predetermined inter-vehicle distance k₄And the speed difference | Vc | − | Vb | between the preceding vehicles MVb and MVc is a predetermined speed difference k.₅As described above, the preceding vehicle MVb gradually approaches and approaches the preceding vehicle MVc, and the lane R is used to overtake the preceding vehicle MVc.₀Expected to change lanes, in fact RC₇(+1,0) becomes true.
[0108]
In step S60 of FIG. 4, various data are input for the rule selected from the various rules in the rule memory 53a of the degree-of-approach determination unit 53, and the IF unit is collated. The related rule in the present embodiment is the rule of the rule number 7 shown in FIG.
[0109]
In the example shown in FIG. 31, the vehicle MVa has a lane R₀And the front vehicles MVb and MVc are both in the lane R₊₁, The distance y between the preceding vehicles MVb and MVc_c-Y_bIs a predetermined inter-vehicle distance k₄And the speed difference | Vc | − | Vb | between the preceding vehicles MVb and MVc is a predetermined speed difference k.₅If so, the left side of equation (17) is determined to be true. Further, the distance y between the front vehicle MVb and the vehicle MVa along the Y-axis direction_b-Y_aHas a positive value smaller than the safe inter-vehicle distance f (Va, Vb), the lane change results in the preceding vehicle MVb being in the lane R₀When the vehicle enters, there is a possibility that the inter-vehicle distance is small and the vehicle may approach sufficiently. Therefore, the IF portion of the rule number 7 is determined to be true, the rule is established, and the degree of approach = 2 is output.
[0110]
Therefore, according to this embodiment, the same operation and effect as those of the above-described embodiments can be obtained.
[0111]
-Sixth embodiment-
In the above-described first to fifth embodiments, the approach to the vehicle is detected. However, the approach is not limited to this. For example, the approach to a pedestrian crossing a crosswalk may be detected. The sixth embodiment is an example in which the presence or absence of a pedestrian crossing is determined by pattern recognition of the shape of a pattern drawn on a road surface. For example, as shown in FIG. 32, when the pedestrian WP stands on the road side of the pedestrian crossing CR in the field of view of the vehicle MVa, it is recognized by the pattern shape whether or not the crosswalk CR exists in the field of view of the vehicle MVa. Then, using the recognition result together with the position B of the pedestrian WP, the position A of the vehicle MVa, and the velocity vector Va, the pedestrian WP crosses the pedestrian crossing CR, and the pedestrian WP crosses the pedestrian crossing CR. Then, it is determined whether the vehicle MVa can safely stop. As shown in FIG. 32, since the pedestrian crossing CR has two white lines WLd and WLe in the lateral direction over the entire width of the lane, two white lines WLd and WLe extending laterally over the entire width of the lane. Can be recognized, the presence of the crosswalk CR can be determined.
[0112]
The differences between the sixth embodiment and the first embodiment are as follows. First, FIG. 33 shows the overall configuration of the approach prediction device according to the sixth embodiment. The difference from the approach prediction device of FIG. 3A of the first embodiment is that an infrared detection device 10 is provided. The infrared detection device 10 is configured by, for example, an infrared camera, and detects an infrared ray coming from the front of the vehicle MVa as an image. The preprocessing unit 7 analyzes the shape of the region of the infrared rays detected by the infrared detection device 10 if there is a region higher than the ambient temperature to determine whether or not a person is imaged. If so, the direction of the person with respect to the vehicle MVa is detected.
[0113]
Further, the image processing in step S10 in FIG. 4, the data extraction in step S40, the behavior prediction of the preceding vehicle in step S50, the comparison of the IF part in the rule in step S60, the conflict between the rules in step S70, and the specificity of the proximity in step S80 Except that the basic procedure is different. Therefore, the following description focuses on differences from the first embodiment, and a description of common parts is omitted.
[0114]
FIG. 34 is a flowchart showing the image processing routine of the sixth embodiment, and is for explaining the details of step S10 in FIG. After performing the same processing as in steps S11 to S13 in FIG. 5, in step S14, it is determined whether or not a human is present in front of the vehicle MVa. Further, if a human is present, the relative coordinates with respect to the vehicle MVa are determined. Ask.
[0115]
In other words, the infrared ray coming from the front of the vehicle MVa is imaged by the above-mentioned infrared ray detecting device 10, and a region higher than the ambient temperature is extracted. Next, the shape of the high-temperature area is analyzed to determine whether the high-temperature area is caused by infrared rays emitted from a human, that is, whether or not a human exists in the high-temperature area. Then, when it is determined that the human is in the front view, the direction of the human with respect to the vehicle MVa is detected.
[0116]
Next, FIG. 35 is a flowchart showing a data extraction routine according to the fourth embodiment, for explaining the details of step S40 in FIG. The absolute coordinate value of the own vehicle is calculated in the same manner as in step S41 of FIG. 11, and in step S42A, the absolute coordinate value of the white line area and the absolute coordinate value B (x_b, Y_b) Is calculated, and the speed vector of the own vehicle is calculated in step S43A. In this embodiment, no human velocity vector is obtained. In step S46, it is determined whether or not the pedestrian crossing CR exists in the front view of the vehicle MVa. Details of the pedestrian crossing determination method are shown in the flowchart of FIG.
[0117]
In FIG. 36, in step S461, white line detection is performed on the front view image of the vehicle MVa whose viewpoint has been converted, and among the lanes separated by the detected white line, the lane R in which the vehicle MVa is traveling₀, The horizontal edge extending in the direction crossing the white line is extracted from the detected edges. Since the details of the horizontal edge extraction have already been described in the description of the operation in step S4501 in FIG. 19, the details are omitted.
[0118]
In step S462, similarly to step S4502 in FIG. 19, labeling processing is performed on each of the horizontal edges extracted in step S461, and the horizontal length of each of the labeled horizontal edges is measured. In step S4503, the lateral length of the lateral edge is determined by the traveling lane R₀And the traveling lane R₀It is determined whether or not there are two horizontal edges in the traveling lane R. If the determination is affirmative, the process proceeds to step S464 where the traveling lane R₀It is determined that there is a pedestrian crossing. This fact,
(Equation 16)
Kb = Human (18)
It expresses. On the other hand, if the determination is negative, the process proceeds to step S465 and the traveling lane R₀It is determined that there is no pedestrian crossing.
[0119]
Next, in step S50 of FIG. 4, the behavior of the obstacle ahead, that is, whether the pedestrian WP is going to cross the pedestrian crossing CR is predicted by the following equation.
[Equation 17]

Where k₁₀: Constant (k₁₀> 0)
RE: The fact that pedestrians WP are going to cross the crosswalk
y_p  ： Center point P (x_p, Y_p) Y coordinate
[0120]
| Y_p-Y_b| Is the distance between the pedestrian WP and the crosswalk CR along the Y-axis direction. Therefore, the pedestrian WP is present in the front view of the vehicle MVa, and the distance between the pedestrian WP and the crosswalk CR is smaller than a predetermined safety distance (<k₁₀), It is predicted that the pedestrian WP is going to cross the pedestrian crossing CR, and the fact RE becomes true.
[0121]
In step S60 of FIG. 4, various data are input for the rule selected from the various rules in the rule memory 53a of the degree-of-approach determination unit 53, and the IF unit is collated. The related rule in the present embodiment is the rule of the rule number 11 shown in FIG. Here, f '(Va) is a function indicating the stopping distance of the vehicle MVa, and is defined by the following equation.
(Equation 18)

Where α: deceleration of the vehicle MVa
[0122]
In the example shown in FIG. 32, since the pedestrian WP exists in the front view of the vehicle MVa, the distance y between the pedestrian WP and the crosswalk CR is set._p-Y_bIs smaller than a predetermined safety distance (<k₁₀), That is, when the pedestrian WP is sufficiently close to the crosswalk CR, the left side of Expression (19) is determined to be true. Further, the distance y between the pedestrian WP and the vehicle MVa along the Y-axis direction_b-Y_aHas a positive value smaller than the stop distance f '(Va), the braking distance is long even when the brake is applied, and when the pedestrian WP crosses the pedestrian crossing CR, the vehicle MVa is approaching the pedestrian crossing CR. There is a possibility that the IF section of the rule number 11 is determined to be true, the rule is established, and the proximity = 2 is output.
[0123]
Therefore, according to the present embodiment, the presence of a person is detected by the infrared detection device, and the approach is calculated by predicting the behavior of the person in consideration of the shape of the white line. The degree of approach to humans can be accurately determined and predicted.
[0124]
-Modification of the sixth embodiment-
In the above-described sixth embodiment, the pedestrian crossing CR is determined by performing pattern recognition on the screen obtained by imaging the front field of view of the vehicle MVa. However, as in the case of the merging lane determination described above, various methods can be used. Thereby, it can be determined whether or not the pedestrian crossing CR exists in the front view.
[0125]
FIG. 37 is a flowchart showing another example of the pedestrian crossing determination routine. In this example, it is assumed that sign posts (not shown) are provided at predetermined intervals on the road, and that a road information signal indicating a road condition is transmitted from the sign posts. Therefore, the vehicle MVa is provided with an antenna for receiving the electromagnetic wave and a receiver (see FIG. 22B). Others are the structure shown in FIG.
[0126]
In step S4601 of FIG. 37, the road information signal from the sign post is received by the antenna attached to the vehicle MVa, and the received signal is taken into the control device 5. In step S4602, it is determined whether or not the pedestrian crossing CR exists in the front view based on the received road information signal.
[0127]
FIG. 38 is a flowchart illustrating an example of determining a pedestrian crossing based on the road information input from the navigation device described with reference to FIG. In step S4611, the navigation device recognizes the position of the vehicle on the map based on the GPS signal in the same manner as described above, extracts the road information given to the road, and transmits the road information to the control device 5. In step S4612, it is determined based on the received road information whether a pedestrian crossing exists in the forward field of view.
[0128]
Therefore, according to these modifications, the same operation and effect as those of the sixth embodiment can be obtained.
[0129]
Next, a description will be given of seventh and eighth embodiments in which the proximity output from the proximity determination unit 53 is used for controlling the vehicle MVa.
-Seventh embodiment-
FIG. 39 is a block diagram showing a schematic configuration of the seventh embodiment in which the so-called constant-speed traveling device is controlled using the proximity output from the above-described approach prediction device. In this figure, reference numeral 50 denotes an approach prediction device according to the above-described first to sixth embodiments. Reference numeral 61 denotes a desired vehicle speed setting unit, to which the occupant of the vehicle inputs the desired vehicle speed. The desired vehicle speed setting unit 61 includes, for example, a push button for instructing UP / DOWN. When the UP button is continuously pressed, a signal for increasing the set vehicle speed is transmitted, while the DOWN button is continuously pressed. When activated, a signal for lowering the set vehicle speed is transmitted. Reference numeral 62 denotes an operation ON / OFF switch, which instructs start and end of the constant speed traveling operation by the control unit 63.
[0130]
Numeral 64 denotes a group of actuators for controlling each part of the vehicle in accordance with a signal from the control unit 63 to perform constant speed traveling. The actuator group 64 includes a throttle actuator for controlling the opening of the throttle, a brake actuator for controlling the brake device, and a shift actuator for controlling the transmission. The control unit 63 determines a target speed based on a signal input from the desired vehicle speed setting unit 61 or the approach prediction device 50, compares the target speed with the current vehicle speed, and determines whether the current speed is the target speed. A control signal is output to the actuator group 64 such that Further, the actuator group 64 is controlled based on a signal from the approach prediction device 50 to perform travel control according to the approach degree. For cruise control according to constant speed control and proximity,
(1) Only the throttle actuator is driven
(2) Drive the throttle actuator and speed change actuator
(3) Drive the throttle actuator and brake actuator
can do.
[0131]
FIG. 40 is a flowchart for explaining the operation of this embodiment. Note that the operation of the approach prediction device 50 is the same as that of the above-described first to sixth embodiments, and a description thereof will be omitted.
[0132]
The program shown in FIG. 40 is started when the operation ON / OFF switch 62 is turned ON. First, in step S91, the desired vehicle speed set by the desired vehicle speed setting unit 61 is taken into the control unit 63. Next, in step S92, the absolute coordinate values, speed vectors, and traveling lanes of the vehicle MVa and the preceding vehicle MVb are read from the approach prediction device 50.
[0133]
In step S93, a safe inter-vehicle distance that can ensure safety is calculated based on the absolute coordinate values and the speed vector of the vehicle MVa and the preceding vehicle MVb input from the proximity determining unit 53. The safe inter-vehicle distance is, for example, as defined by the above equation (7). In step S94, the inter-vehicle distance between the vehicle MVa and the preceding vehicle MVb is calculated, and the actual inter-vehicle distance is equal to or longer than the safe inter-vehicle distance calculated in step S93, or on the traveling lane on which the vehicle MVa runs. It is determined whether there is no preceding vehicle. As a result, if the determination is affirmative, the process proceeds to step S95; if the determination is negative, the process proceeds to step S96.
[0134]
The reason why the determination in step S94 is affirmative is that it is determined that safety can be ensured even when the vehicle speed of the vehicle MVa is set to the desired vehicle speed. In step S95, the actuator group 64 is set so that the actual vehicle speed becomes the desired vehicle speed. Control. On the other hand, in step S96, it is determined that if the vehicle speed of the vehicle MVa is set to the desired vehicle speed, safety may not be ensured, and the actuator group 64 is controlled so that the actual inter-vehicle distance becomes the safe inter-vehicle distance.
[0135]
On the other hand, when the degree of approach is output from the approach predicting device 50 while the program shown in the flowchart of FIG. 40 is being executed, an interruption operation is executed and the constant speed traveling operation ends as shown in FIG.
[0136]
As described above, the behavior of the vehicle MVa is controlled so that the vehicle MVa does not approach the preceding vehicle MVb, using the position, speed, lane, and degree of approach to the preceding vehicle MVb detected by the approach predicting device 50. can do.
[0137]
-Modification of the seventh embodiment-
In the above-described seventh embodiment, the constant-speed running operation is uniformly finished when the approaching degree is output from the approaching prediction device 50. However, control may be performed according to the approaching level. FIG. 42 is a flowchart showing an example of such a control procedure. When the approach degree is output from the approach prediction device 50 while the program shown in the flowchart of FIG. 40 is being executed, the subroutine flowchart of FIG. Is executed. In step S901, the target speed targeted by the constant-speed running operation is reduced according to the level of the proximity output from the approach prediction device 50. In particular, the higher the approach level, the lower the target speed may be set. For example, if the approach level is 1, the throttle actuator is simply returned to decelerate by the engine brake, and if the approach level is 2, the braking is actively performed. What is necessary is just to control an actuator and to decelerate.
[0138]
By controlling the constant speed traveling operation stepwise according to the level of the degree of approach, fine control according to the traveling situation becomes possible.
[0139]
-Eighth embodiment-
FIG. 43 shows an eighth embodiment of the present invention, and is a block diagram showing a schematic configuration of an approach avoiding device for avoiding the own vehicle from approaching a preceding vehicle based on a signal output from the approach predicting device. In the following description, the same reference numerals are given to the same components as those in the above-described seventh embodiment, and the description thereof will be omitted. In FIG. 43, reference numeral 65 denotes a rear and side vehicle detection unit that detects the presence of vehicles behind and side of the vehicle MVa. The rear and side vehicle detectors include, for example, a distance sensor, an optical switch, and the like, and detect the presence of the vehicle based on detection results of the distance sensor, the optical switch, and the like. Further, the actuator group 64 includes a steering actuator, a throttle actuator, a brake actuator, and a shift actuator.
[0140]
The normal operation of the present embodiment is substantially the same as the operation of the seventh embodiment described with reference to FIG. 40, so that the description thereof will be omitted, and only the interrupt operation will be shown in a flowchart. When the degree of approach is output from the approach prediction device 50 while the program shown in the flowchart of FIG. 40 is being executed, the subroutine flowchart of the interrupt operation shown in FIG. 44 is executed.
[0141]
In step S911 in FIG. 44, the approach predictor 50 fetches the approach level and the lane of the preceding vehicle that has caused the approach output. The lane of the preceding vehicle can be detected by searching for the IF section of the rule that has contributed to the approach output. In step S912, it is determined whether or not approach to the preceding vehicle can be prevented by merely reducing the speed of the vehicle MVa. If the determination is affirmative, the process proceeds to step S913, and if the determination is negative, the process proceeds to step S914. The determination in step S912 may be, for example, affirmative when the degree of approach is high (the degree of approach is 2 or more), and denied when the degree of approach is low.
[0142]
In step S913, similarly to step S901 in FIG. 42, the target speed targeted by the constant-speed running operation is reduced according to the level of the proximity output from the approach prediction device 50. In particular, the higher the level of the degree of approach, the lower the target speed may be set. On the other hand, in step S914, a lane in the opposite direction to the lane in which the preceding vehicle exists, which is a factor of the proximity output, is searched (that is, if the preceding vehicle is in the right driving lane, the left driving lane) is searched. However, if no vehicle is detected behind and on the side of the vehicle MVa in this lane, it is determined that this lane is an avoidable lane, and the lane is changed to an avoidable lane. In other words, the vehicle MVa is moved to the lane in which the steering of the vehicle MVa can be avoided by the steering actuator constituting the actuator group 64.
[0143]
Therefore, according to this embodiment, the same operation and effect as those of the above-described seventh embodiment can be obtained.
[0144]
In the correspondence between the embodiment described above and the claims, the CCD camera 3 and the data extracting unit 511, The wheel speed sensor 1 and the data extraction unit 512The behavior detection unit 52 of the vehicle in front of the vehicle,ContactThe proximity determining unit 53 determines the proximity4Configure each. The details of the approach prediction device of the present invention are not limited to the above embodiments, and various modifications are possible.
[0145]
【The invention's effect】
As described in detail above, according to the present invention, the proximity is calculated in consideration of the traveling guidance information such as the lane drawn on the road surface. Accurately judge and predict the proximity of moving objects
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing an approach prediction device of the present invention.
FIG. 2 is a diagram illustrating the operation of the approach prediction device according to the first embodiment.
FIG. 3A is an overall configuration diagram illustrating an embodiment of an approach prediction device, and FIG. 3B is a diagram illustrating details of a control device thereof.
FIG. 4 is a main flowchart for explaining the operation of the approach prediction device.
FIG. 5 is a flowchart illustrating an image processing routine according to the first to fifth embodiments.
FIG. 6A is a diagram illustrating an example of a front view image of a vehicle captured by an imaging device, and FIG. 6B is a diagram illustrating a viewpoint conversion image corresponding to FIG.
FIG. 7 is a flowchart illustrating a white line detection routine.
FIG. 8 is a diagram illustrating an example of a white line detection filter.
FIGS. 9A to 9F are diagrams for explaining a method of connecting white line candidate regions.
10A is a diagram showing an example of a white line candidate area, FIG. 10B is a template obtained from the white line candidate area in FIG. 10A, and FIG. 10C is a white line detected using the template in FIG. It is a figure showing a field.
FIG. 11 is a flowchart illustrating a data extraction routine according to the first embodiment.
FIG. 12 is a flowchart showing a white line direction vector detection routine.
FIGS. 13A to 13C are diagrams for explaining a method of calculating a unit direction vector of a white line.
FIG. 14 is a diagram showing an example of a rule stored in a rule memory.
FIG. 15 is a diagram illustrating the operation of the approach prediction device of the first embodiment.
FIG. 16 is a flowchart illustrating a data extraction routine according to a modification of the first embodiment.
FIG. 17 is a diagram illustrating the operation of the approach prediction device according to the second embodiment.
FIG. 18 is a flowchart illustrating a data extraction routine according to the second embodiment.
FIG. 19 is a flowchart illustrating a merging lane determination routine according to the second embodiment.
20A and 20B are diagrams illustrating a second embodiment, in which FIG. 20A illustrates an example of a front view image of a vehicle captured by an imaging device, and FIG. 20B illustrates a viewpoint conversion image corresponding to FIG. FIG. 7C is a diagram illustrating a white line area detected with respect to the viewpoint-converted image of FIG. 7B, and FIG. 7D is a diagram illustrating horizontal edges extracted from the viewpoint-converted image of FIG.
FIG. 21 is a diagram illustrating the operation of the approach prediction device according to the second embodiment.
22A is a flowchart illustrating an example of a merging lane determination routine according to a modification of the second embodiment, and FIG. 22B is a diagram illustrating a configuration example of a system that receives a signal from a sign post.
FIG. 23A is a flowchart illustrating another example of the merging lane determination routine according to the modification of the second embodiment, and FIG. 23B is a diagram illustrating a configuration example of a navigation device.
FIG. 24 is a diagram illustrating the operation of the approach prediction device according to the third embodiment.
FIG. 25 is a flowchart illustrating a data extraction routine according to the third embodiment.
FIG. 26 is a flowchart illustrating a road shoulder determination routine according to the third embodiment.
FIG. 27 is a diagram illustrating the operation of the approach prediction device according to the fourth embodiment.
FIG. 28 is a flowchart illustrating a data extraction routine according to the fourth embodiment.
FIG. 29 is a flowchart illustrating a departure lane determination routine according to a fourth embodiment.
FIG. 30 is a flowchart illustrating a departure lane determination routine according to a modification of the fourth embodiment.
FIG. 31 is a diagram illustrating the operation of the approach prediction device according to the fifth embodiment.
FIG. 32 is a diagram illustrating the operation of the approach prediction device of the sixth embodiment.
FIG. 33 is a diagram illustrating an overall configuration of an approach prediction device according to a sixth embodiment.
FIG. 34 is a flowchart illustrating an image processing routine according to a sixth embodiment.
FIG. 35 is a flowchart illustrating a data extraction routine according to the sixth embodiment.
FIG. 36 is a flowchart illustrating a pedestrian crossing determination routine according to a sixth embodiment.
FIG. 37 is a flowchart illustrating an example of a pedestrian crossing determination routine according to a modification of the sixth embodiment.
FIG. 38 is a flowchart illustrating another example of a pedestrian crossing determination routine according to a modification of the sixth embodiment.
FIG. 39 is a block diagram showing a constant-speed traveling device to which the approach prediction device according to the seventh embodiment is applied.
FIG. 40 is a flowchart for explaining the operation of the seventh embodiment.
FIG. 41 is a flowchart for explaining an interrupt operation of the seventh embodiment.
FIG. 42 is a flowchart illustrating an interrupt operation according to a modification of the seventh embodiment.
FIG. 43 is a block diagram showing an approach avoidance device to which the approach prediction device according to the eighth embodiment is applied.
FIG. 44 is a flowchart illustrating the operation of the eighth embodiment.
[Explanation of symbols]
1 Wheel speed sensor
2 tires
3 CCD camera
4,7 Pre-processing unit
5 Control device
6 radar equipment
10 Infrared detector
50 Approach prediction device
51 Data extractor
52 Forward Vehicle Behavior Prediction Unit
53 proximity judgment unit
53a Rule memory
53b IF section collation section
53c rule selector
53d rule competition
MVa vehicle
MVb, MVc Forward vehicle
WLa-WLc White line
WLRa to WLRc White line area
MP merging lane pattern
RF roadside reflector
CR crosswalk
101 Travel guide information detecting means
102 ownVehicle behavior detection means
103 Front vehicle behavior prediction means
104 contactProximity predictorStep

Claims (3)

A device for predicting the degree of approach between a host vehicle traveling on a road surface and a preceding vehicle present in front of the traveling direction,
Traveling guidance information detecting means for detecting information on the direction of extension of the lane drawn on the road surface ,
Own vehicle behavior detecting means for calculating the position and speed vector of the own vehicle,
While calculating the position and speed vector of the preceding vehicle, the direction of the speed vector of the preceding vehicle intersects with the extending direction of the traveling lane of the preceding vehicle, and the speed vector of the preceding vehicle is A front vehicle behavior predicting unit that determines that the preceding vehicle changes lanes to the traveling lane of the host vehicle when the component approaching the traveling lane has a predetermined value or more ;
When the preceding vehicle behavior predicting means determines that the preceding vehicle changes lanes to the traveling lane of the own vehicle, the own vehicle and the preceding vehicle obtained by the own vehicle behavior detecting means and the preceding vehicle behavior predicting means; And an approach predicting means for outputting an approach based on the position of the vehicle and velocity vectors of the own vehicle and the preceding vehicle . A device for predicting the degree of approach between a host vehicle traveling on a road surface and a preceding vehicle present in front of the traveling direction,
Traveling guidance information detecting means for detecting information about the traveling guidance of the vehicle drawn on the road surface,
Own vehicle behavior detecting means for calculating the position and speed vector of the own vehicle,
A front vehicle behavior predicting means for calculating a position and a speed vector of the preceding vehicle and determining whether or not the preceding vehicle is traveling in a location where there is a high possibility of changing lanes based on information relating to guidance of the vehicle; When,
When the preceding vehicle behavior predicting means determines that the preceding vehicle is traveling in a place where there is a high possibility of changing lanes, the vehicle obtained by the own vehicle behavior detecting means and the preceding vehicle behavior predicting means is used. An approach predicting device comprising: an approach predicting unit that outputs an approach based on a position of a vehicle and the preceding vehicle and velocity vectors of the own vehicle and the preceding vehicle . A device that predicts the degree of approach between a host vehicle traveling on a road surface and a plurality of front vehicles existing in the traveling direction ahead,
Traveling guidance information detecting means for detecting information on the direction of extension of the lane drawn on the road surface,
Own vehicle behavior detecting means for calculating the position and speed vector of the own vehicle,
The position and speed vectors of each of the plurality of front vehicles are calculated, and the plurality of front vehicles are calculated based on the position and speed vectors of each of the plurality of front vehicles and information on the direction in which the detected lane extends. A preceding vehicle behavior predicting means for determining whether or not one of the following vehicles approaches the other preceding vehicle and changes lanes to the traveling lane of the own vehicle.
When the preceding vehicle behavior predicting means determines that one of the following vehicles of the plurality of front vehicles changes lanes to the traveling lane of the own vehicle, it is obtained by the own vehicle behavior detecting means and the preceding vehicle behavior predicting means. An approach predicting unit that outputs an approach based on the respective positions of the following one of the own vehicle and the preceding vehicle and the respective speed vectors of the following one of the following vehicles among the own vehicle and the preceding vehicle; and approaching prediction apparatus comprising the.

Images