JPH11153406A - 車両用障害物検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 先行車の位置を検出し、挙動を認識する。 【解決手段】 車両に取り付けられるステレオカメラ
１、２が車両の前方道路を撮像した２枚の画像を画像メ
モリ３、４に記憶させる。マッチング位置検出部７はウ
インドウ設定部６で設定したウインドウを用いて一方の
画像を分割しテンプレートとして他方の画像から最も類
似度の高いウインドウの位置を検出する。距離演算手段
８はステレオ画像処理により、各ウインドウ内の物体ま
での距離を演算する。先行車検出部９が同じ距離値が算
出されるウインドウのかたまりから路面部分を切り落と
して先行車領域を検出する。白線検出部５、走行レーン
判断部１００は先行車の位置と白線位置の関係で走行レ
ーンを判断する。走行車横方向検出部１１は先行車の白
線に対する横方向位置を検出する。車両挙動検出部１２
は横方向位置の時間的変動で車線変更などの挙動を認識
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、先行車を画像処
理によって位置検出及び挙動判定を行なう車両用障害物
検出装置に関する。

【０００２】

【従来の技術】従来、車両用の障害物検出装置として
は、例えば特開平２−３００７４１号公報に記載された
ものがある。これは、障害物の検出に熱画像とカラー画
像を用いて、熱画像においてマフラーを検出し、マフラ
ー位置から左右斜め上にオレンジまたは赤色のウインカ
をカラー画像から検出することによって車両検出を行な
うものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
ような従来のものにあっては、熱画像を得るのにやや特
殊の赤外線カメラを使い、カラー画像を撮像するカメラ
とあわせて２種類のカメラを使用しなければならず、装
置が大型になり、コスト高となってしまう。また、マフ
ラーが温まっていない場合や、気温が高く、車体が日差
しで熱を持った場合などは、マフラーの検出が困難でオ
レンジや赤のウインカの検出位置が定まらず先行車の検
出が不可能となる欠点がある。

【０００４】さらに、車両までの距離や二輪車、トラッ
クなどの車種によってマフラーとウインカの位置関係が
異なることにより、マフラーを検出してもウインカの検
出ができず、結果的に熱をもった部分やオレンジまたは
赤色の部分の検出だけで車両検出を行なうことになり、
検出結果が不確実である。

【０００５】また、ウインカの検出を色で検出している
ため、オレンジ色車体の車両ではウインカの検出が困難
である。同じ理由によりデリニエータなどのオレンジ色
の反射板がウインカに近い色を有するためウインカと誤
検出される可能性が高いなどの問題点がある。

【０００６】なお、上記の従来例では、車両の検出のみ
であって、車両の走行レーン上の位置についての判断は
行なっておらず、車両の挙動判断が行なえない。ウイン
カの点滅状態を検出して車線変更などの判断を行なうこ
とが可能としても、ウインカを点灯させずに車線変更す
る車両もあり、判断結果が不確実である。さらに走行レ
ーンを検出しないため先行車がどの車線に変更するかの
判断ができないため、先行車が自車の走行にとって障害
物になるかどうかの判断ができないという問題がある。

【０００７】またこれを判断しようとしても、熱画像上
には白線などが映らない。カラー画像も、ウインカのオ
レンジ色や赤色が検出されやすいようにコントラスト調
整が行なわれ、白線の検出しにくい画像になっており、
走行レーン判断が困難の装置となっている。本実施例
は、上記従来の問題点に鑑み、熱画像やカラー画像を必
要とせず、先行車の走行位置を正確に特定でき、挙動判
断が行なえる車両用障害物検出装置を提供することを目
的としている。

【０００８】

【課題を解決するための手段】このため、請求項１記載
の発明は、それぞれの光軸を互いに平行とし所定の眼間
距離をもって配置された２台のカメラと、前記２台のカ
メラが撮像した路面画像を第１および第２の画像として
記憶する画像メモリと、前記第１の画像内で白線を検出
する白線検出手段と、前記第１の画像内の所定領域を複
数の区域に分割するようにウインドウ設定を行なうウイ
ンドウ設定手段と、各ウインドウと最も類似度の高いウ
インドウの位置を前記第２の画像から検出するマッチン
グ位置検出手段と、２枚の画像間で互いに類似度の高い
ウインドウが存在する画像上の位置と２台のカメラの位
置関係をもとに、各ウインドウ内に撮像された物体まで
の距離を演算する距離演算手段と、同じ距離値が算出さ
れかつウインドウが隣接するウインドウのかたまりを先
行車の検出領域として検出しウインドウの距離値を先行
車の検出距離とする先行車検出手段と、前記ウインドウ
のかたまりと前記白線の位置関係に基づき先行車の走行
レーンを判断する走行レーン判断手段と、前記走行レー
ン上の先行車の横方向位置を検出する横方向位置検出手
段とを有するものとした。

【０００９】請求項２記載の発明は、前記横方向位置検
出手段に接続され、前記先行車の横方向位置の時間的変
化を検出して先行車の挙動を判定する先行車挙動判定手
段が設けられているものとした。請求項３記載の発明
は、前記先行車検出手段に接続され、前記先行車の検出
距離から先行車の画像位置を演算し、画像位置の時間的
変化により前方路面状況を認識する道路状況認識手段が
設けられているものとした。請求項４記載の発明は、前
記白線検出手段が、先行車より下方の画像領域を白線検
出領域とするものとした。

【００１０】

【作用】請求項１記載の発明では、２台のカメラがステ
レオカメラを形成し、視差をもった第１、第２の画像が
撮像されるとともに画像メモリに記憶される。白線検出
手段により第１の画像から白線が検出される。ウインド
ウ設定手段が第１の画像内の所定領域に領域を分割する
ようにウインドウ設定を行なう。マッチング位置検出手
段が各ウインドウと最も類似度の高いウインドウの位置
をマッチング処理によって第２の画像内から検出する。

【００１１】距離演算手段が第１と第２の画像間の互い
に最も類似度の高いウインドウの位置および２台のカメ
ラの位置関係をもとに三角測量法によりウインドウ内に
撮像された物体までの距離を算出する。隣接するウイン
ドウにおいて同じ距離値が算出される場合は、それらの
ウインドウには同じ対象物が撮像されていると判断でき
るので、先行車検出手段が同じ距離値が算出されかつウ
インドウが隣接するウインドウのかたまりを先行車の検
出領域として検出する。ウインドウの距離値は先行車の
検出距離となる。走行レーン判断手段がウインドウのか
たまりと白線の位置関係で先行車が走行するレーンを判
断する。横方向位置検出手段は先行車と同じ距離上の白
線位置を検出し白線に対する先行車の横方向位置を検出
する。

【００１２】このように先行車の検出をステレオ画像上
で行なうので、モノクロ画像でも用が足り、熱や車色な
どが影響要素にならず、使用環境を選ばない効果が得ら
れる。また、白線を検出し先行車の走行レーンを判断
し、かつ白線に対する先行車の横方向位置を検出するの
で、自律走行制御や接近警報などの機能が簡単に構築で
きるとともに、車両位置の時間的変化を判断すること
で、挙動判断ができより高次元の走行制御が行なえるよ
うになる。

【００１３】請求項２記載の発明では、請求項１記載の
発明に加え、先行車挙動判定手段が設けられるから、先
行車の横方向位置の時間的変化が検出され、先行車の挙
動判定ができる。例えば左白線や右白線に接近しつつあ
る場合、先行車が車線変更を行なっていると判断でき
る。またこの判断はウインカの点滅判断によらないた
め、ウインカの点滅検出も不要で、環境色や輝度に影響
されない効果が得られる。ウインカをつけない車線変更
を行なう先行車についても判断ができる。

【００１４】請求項３記載の発明では、請求項１記載の
発明に加え、道路状況認識手段が設けられ、先行車の検
出距離から先行車の画像位置を演算し、画像位置の時間
的変化により前方路面状況を認識するようにしたので、
例えば先行車の画像位置が下がったときに先行車が下だ
り坂を走行し始めると判断できる。これによって自車を
減速制御するなどの道路状況に対応した車両制御が行な
える。

【００１５】請求項４記載の発明では、白線を検出する
画像領域を先行車より下方の画像領域とすることで、先
行車に遮られた遠方白線は検出対象から除外され処理す
るデータが減少するとともに誤検出が減少される効果が
得られる。

【００１６】

【発明の実施の形態】以下、この発明の実施の形態を実
施例により説明する。ここでは、実施例に係わる装置を
具体的に説明する前に、ステレオカメラにより得られる
ステレオ画像を画像処理により前方障害物である先行車
の位置を検出する原理を説明する。

【００１７】図１は、ステレオカメラによるステレオ画
像を用いて先行車Ｃまでの距離Ｚを求める三角測量原理
を説明する図である。ここでは、ステレオカメラを構成
する２台のカメラ１、２が車両に搭載されている。カメ
ラ１、２は、同一の焦点距離ｆを有するレンズＬ１、Ｌ
２と、各レンズから撮像面までの距離が焦点距離ｆとな
るように配置されたＣＣＤ１ａ、２ａとをそれぞれ有す
るＣＣＤカメラである。

【００１８】カメラ１、２は、ＣＣＤ１ａ、２ａの各撮
像面が同一垂直面内に位置し、各撮像面の垂直基準軸で
あるＹ軸、すなわＣＣＤ１ａの撮像面の軸とＣＣＤ２ａ
の撮像面の軸（ＹＡ、ＹＢ）が一致し、レンズＬ１、Ｌ
２の光軸１ｂ、２ｂが互いに平行でかつ眼間距離（光軸
１ｂ、２ｂ間の距離）Ｄが所定の値となるように、上下
に並べて配置されている。

【００１９】焦点距離ｆ及び眼間距離Ｄが既知であり、
光軸１ｂ、２ｂが互いに平行な２台のカメラ１、２で車
両前方を撮像して得られる２つの画像からなるステレオ
画像において、２つの画像間のマッチング位置（最も類
似する画像の位置で、図１では先行車Ｃのリヤ側上縁部
の位置）のＹ座標ｙａ、ｙｂを求めることができれば、
カメラ１、２から先行車Ｃまでの距離Ｚは下記の式
（１）より求めることができる。 Ｚ＝ｆ×Ｄ／（ｙｂ−ｙａ） （１） ここで、ｆ、ｙａ、ｙｂの単位はＣＣＤ１ａ、２ａの画
素であり、Ｄ、Ｚの単位はｍｍである。一般に焦点距離
ｆは単位をｍｍで表す場合が多いが、式（１）の焦点距
離ｆは画素を単位として計算する。

【００２０】ここで、画素を単位とする焦点距離ｆの求
め方を図２に基づいて説明する。図２の（ａ）は大きさ
のわかっている幅Ｗ（ｍｍ）の物体Ｃ’を距離Ｚ（ｍ
ｍ）だけ離れたところで２台のカメラ１、２の一方（こ
こではカメラ１）により撮像したときの様子を示し、同
図の（ｂ）はそのとき得られる画像Ａを示す。以下の説
明では、カメラ１により撮像される第１の画像をＡ、そ
してカメラ２により撮像される第２の画像をＢとする。

【００２１】画素を単位とする焦点距離ｆは、大きさの
わかっている幅Ｗ（ｍｍ）の物体Ｃ’を距離Ｚ（ｍｍ）
だけ離れたところにおいて撮像し、このとき得られる画
像Ａ（または画像Ｂ）上での物体Ｃ’の幅ｘｗ（画素）
をエッジ検出などの画像処理により検出することで、下
記の式（２）により求めることができる。 ｆ＝ｘｗ×Ｚ／Ｗ （２） ここで、ｘｗの単位は画素であり、Ｚ、Ｗの単位はｍｍ
である。

【００２２】図３は、画像Ａ内の所定域をウインドウ毎
に切り、各ウインドウＷ内に撮像されている対象物の特
徴的なエッジなどを用いて、画像Ｂにおける同画像の撮
像位置を求めた結果を示す図である。（ａ）はウインド
ウを切った画像Ａで、（ｂ）は同じ対象物が求められた
ウインドウを示している画像Ｂである。ウインドウ毎に
Ａ、Ｂ画像間のマッチング位置（Ｙ軸方向）が分かれ
ば、式（１）を用いることによりウインドウに区画され
た域内のすべての物体の距離が分かる。

【００２３】ウインドウ毎に算出される距離は、その内
部に撮像されているエッジなどの特徴的な部分を持つ物
体までの距離であるので、隣接するウインドウにおいて
同じ距離が求められた場合は、それらのウインドウには
同じ対象物が撮像されていると判断することができる。
したがって同じ距離値が検出されるウインドウのかたま
りを撮像された物体として検出することができる。

【００２４】先行車はその下部が路面と繋がって撮像さ
れるため、図３の（ｂ）に示すように先行車と同じ距離
が検出されるウインドウは路面部分を含むものとなる
（太線ウインドウ）。路面部分を取り除くべく、図４の
ように同じ距離が検出されるウインドウのかたまりのう
ち路面を含まない上段ウインドウの両サイドウインドウ
位置を検出しその範囲を先行車の検出範囲として下段に
あるウインドウの抽出域を決定すれば、路面部分を含ま
ないウインドウのかたまりＥ（太線ウインドウ）を先行
車として検出できる。

【００２５】次に、検出された先行車の横方向位置の検
出について説明する。図５は、先行車Ｃのリヤ側下縁部
を距離Ｚだけ離れたところで撮像（ここではカメラ１に
より撮像）したときの様子を示す。この図から分かるよ
うに距離Ｚに検出された先行車Ｃの下縁が撮像される画
像上のＹ軸方向の位置は式（３）により求めることがで
きる。 ｙｃ＝〔（ｈ−Ｈ）・ｆ〕／Ｚ （３） ここで、Ｈは路面から先行車の下縁までの高さ、ｈは路
面からカメラのレンズ中心までの高さ、ｆは焦点距離、
Ｚは車間距離とする。

【００２６】距離Ｚはウインドウのマッチングによって
検出されるため、上記式（３）により画像上のＹ座標位
置ｙｃを求めることができる。図６のように画像上にＹ
＝ｙｃのラインを引くことによって、先行車と同じ距離
の画像位置（Ｙ軸）が決定される。したがってラインと
白線の交わる点（ｘｌｌ、ｘｌｒ）は先行車と同じ距離
上の白線位置となる。そのライン上で、先行車と白線の
交点との位置関係を判断すれば先行車が自車走行レーン
であるか、隣接走行レーンであるかの判断ができる。

【００２７】車両の横方向位置は走行レーンとの位置関
係で判断される。まず、図７に示すようにラインＹ＝ｙ
ｃと交わる２本白線の交点位置（ｘｌｌ、ｙｃ）、（ｘ
ｌｒ、ｙｃ）を算出する。したがって、白線から先行車
の両サイドまでの画像上の距離は、左白線に対する距離
ｘＬＬは、ｘｃｌ−ｘｌｌによって算出される。右白線
に対する距離ｘＬＲは、ｘｃｒ−ｘｌｒによって算出さ
れる。但し、ｘｃｌ、ｘｃｒは車両の幅を示すウインド
ウのかたまりのＸ軸位置である。

【００２８】先行車は図８のように撮像されるため、Ｃ
ＣＤ１ａ上の画像距離ｘＬＬ、ｘＬＲと走行レーン上の
実際の距離ＬＬ、ＬＲの関係は式（４）で表現される。 ＬＬ＝ｘＬＬ・Ｚ／ｆ ＬＲ＝ｘＬＲ・Ｚ／ｆ （４） ここで、ｆは焦点距離、Ｚは車間距離とする。Ｃは先行
車である。これによって白線に対する先行車の横方向位
置が検出される。上記のように、ステレオ画像を用いた
ステレオ画像処理により、先行車までの距離が検出され
るとともに、片方の画像を用いて走行レーン内で白線に
対する横方向位置も特定される。

【００２９】図９は、本発明の第１の実施例の構成を示
すブロック図である。２台のカメラ１、２がステレオカ
メラを構成し、それぞれ、同一の焦点距離ｆを有するレ
ンズＬ１、Ｌ２と、各レンズから撮像面までの距離が焦
点距離ｆとなるように配置されたＣＣＤ１ａ、２ａとを
有するＣＣＤカメラからなる。カメラ１、２は、前方を
撮影するのに適した車両上の所定の部位に取り付けられ
ている。カメラ１、２は、先の図１に示すように、ＣＣ
Ｄ１ａ、２ａの各撮像面が同一垂直面内に位置し、各撮
像面の垂直基準軸（ＹＡ軸、ＹＢ軸）が一致し、レンズ
Ｌ１、Ｌ２の光軸１ｂ、２ｂが水平かつ互いに平行とな
り、所定の眼間距離Ｄをもって上下に並べて配置されて
いる。

【００３０】カメラ１、２のそれぞれの撮像した映像信
号がディジタル画像として画像メモリ３、４に出力され
記憶される。白線検出部５は画像メモリ３からの画像Ａ
を画像処理して自車を囲む２本の白線を検出する。ウイ
ンドウ設定部６は、画像メモリ３から画像Ａを取り込
み、空などの車両が存在しえない域を除いた画面部分に
画面を分割するように複数の同サイズのウインドウを設
定する。

【００３１】マッチング位置検出部７は、画像Ａの微分
画像にウインドウを重ね合わせるとともに、各ウインド
ウと最も類似度の高いウインドウの位置を画像Ｂから検
出し、両画像間のウインドウのマッチング位置を記憶す
る。距離演算部８は、各ウインドウのマッチング位置と
カメラ１、カメラ２のレンズの焦点距離ｆおよび眼間距
離Ｄをもとにウインドウ内の撮像物体までの距離を算出
する。先行車検出部９は、同じ距離が算出され、かつ隣
接するウインドウのかたまりを先行車として検出する。

【００３２】走行レーン判断部１０は、ウインドウのか
たまりの位置と白線検出部５で検出した白線との画像上
の位置関係で先行車の走行レーンを判断する。横方向位
置検出部１１は先行車の検出距離と同じ距離上にある白
線の位置を検出する。ウインドウのかたまりの両側のウ
インドウ位置を検出し、先行車の両サイドの位置とし
て、白線との横方向距離を算出する。その画像上の距離
からカメラの透視関係によって走行路上の実距離が算出
される。

【００３３】図１０は、本実施例の処理の流れを示すフ
ローチャートである。まず、ステップ１０１で、ステレ
オ画像、すなわちカメラ１、２からそれぞれ出力される
画像Ａ、Ｂを画像メモリ３、４にそれぞれ入力して記憶
させる。ステップ１０２では、白線検出部５が画像Ａ、
Ｂのどちらか一方（本実施例では画像メモリ３に記憶さ
れた画像Ａ）に画像処理を施して白線を検出する。ここ
では、自車走行レーンだけを検出することを考えるの
で、自車左右の２本の白線を検出する。

【００３４】図１１、図１２は白線の検出原理の説明図
である。図１１の（ａ）は単眼カメラ（カメラ１）が道
路の中央で白線を撮像しているときの様子を示す平面図
で、（ｂ）はその側面図である。自車が２本白線の間を
走行している場合、２本の白線は画像の左右両側に現わ
れる。前方の白線が直線であり、自車が２本の白線の中
央を走行していると仮定して、図１１に示すように、距
離Ｚ先の白線が撮像される画像上の座標は、幾何学的計
算により、式（５）で求めることができる。 ｘｒ＝（Ｗｒ・ｆ）／（Ｚ・２）、ｙｒ＝（ｈ・ｆ）／Ｚ （５） ここで、Ｗｒは路面の幅、ｈは路面からカメラのレンズ
中心までの高さ、ｆは焦点距離、Ｚは車間距離、ｘｒ、
ｙｒは画像上の位置である。

【００３５】複数の距離値Ｚに対して式（５）に基づい
て画像上の位置ｘｒ、ｙｒを求めて、白線を検出するた
めのウインドウ設定位置を決め、各位置において例えば
図１２に示すようにｘｒ、ｙｒを中心とするウインドウ
Ｗｄを設定する。ウインドウＷｄは車両が白線の中央で
ない場合を見込んで白線が外れないように大きさが決定
される。

【００３６】そして各ウインドウＷｄにおいて微分演算
をし左右に正負のエッジが対になって現われる場所を検
出し、正負エッジのＸ軸における中心位置を演算して白
線の検出点として保存する。各ウインドウからの検出点
をさらにフィッティングするよう結ぶことで白線が検出
される。フィッティングする方法としては特願平３−３
１４５や特願平４−１７１２４０に紹介されている手法
を用いることができる。

【００３７】また車両より前方にある白線は先行車によ
り隠れてしまう場合が多いため、先行車の位置ｙｃより
画像下方の範囲だけを白線の検出範囲に限定することも
できる。これにより処理するデータ量が減少するととも
に、白線検出にかかる時間が短縮される。また先行車の
エッジを白線のエッジと誤検出することが少なくなり、
車両位置の判断がより正確になる。

【００３８】次に、ステップ１０３では、画像Ａ、Ｂの
どちらか一方（本実施例では画像Ａ）においてウインド
ウ設定部６が、空などの区域を検出しそれを除いた部分
に合わせて所定大きさのウインドウを設定する。ステッ
プ１０４では、マッチング位置検出部７が、画像メモリ
３と画像メモリ４から図１３の（ａ）に示す画像Ａ（と
画像Ｂ）の原画像を入力し、微分処理を施して水平エッ
ジを際立たせた微分画像（ｂ）を作る（以下簡単のた
め、微分画像もそのもとの画像の呼び名で画像Ａ、画像
Ｂと呼ぶ）。

【００３９】ステップ１０３で設定されたウインドウ位
置に画像Ａを図１４のように横に幅ｘｗ、縦に幅ｙｗの
ウインドウ４０毎に分割する。分割された各ウインドウ
４０をテンプレートとして、画像Ｂからテンプレートの
画像と最も類似度の高い位置を式（６）を用いた正規化
相関法により求めて、ウインドウのマッチング位置を演
算する。

【数１】 なお、式（６）において、テンプレートの画像の各画素
の輝度値をＡｉｊ、画像Ｂの各画素の輝度値をＢｉｊと
する。ここで、微分画像を用いるのは、検出対象物であ
る先行車は水平エッジをもつものが多く、先行車が背景
より強調され検出しやすくするためである。

【００４０】図１５は、正規化相関法による画像Ａ、Ｂ
間のマッチング位置の検出方法の説明図である。ここで
は２台のカメラ１、２をそれぞれのＹ軸が同一線上にの
るように配置してあるので、画像Ｂ内において、画像Ａ
のテンプレート（ウインドウ４０）と同じＸ軸の位置
で、探索位置をＹ軸方向に順次ずらした複数の位置検出
対象画像を求める。そして、図１５の（ｂ）に取り出し
て示すテンプレートと（ｃ）に示す画像Ｂから取り出し
た（ｄ１）から（ｄ３）に示す各位置検出対象画像との
比較から、類似度の最も高い位置検出対象画像を求める
ことになる。

【００４１】図中、（ｄ２）はテンプレートと類似度最
大の位置で検出対象画像を示し、（ｄ１）はそれより上
方の位置で、（ｄ３）はそれより下方の位置での検出対
象画像を示している。このように画像Ａに対し各ウイン
ドウに対応したウインドウが画像Ｂに作られる。その両
ウインドウのＹ軸位置を示すｙａとｙｂはウインドウの
マッチング位置となる。

【００４２】ステップ１０５では、距離演算部８が各ウ
インドウにおいてウインドウ内に撮像された物体までの
距離を式（１）を用いて演算する。物体が図１６に示す
ように画像Ａと画像Ｂのウインドウ内に同じ位置を占め
るので、物体のマッチング位置差は、すなわちウインド
ウのマッチング位置差（ｙｂ−ｙａ）である。したがっ
てウインドウのマッチング位置を用い、式（１）に代入
することによりウインドウ内の物体までの距離が算出さ
れる。

【００４３】上記のような処理を全てのウインドウにつ
いて行なって、ウインドウ毎にその内部に撮像されてい
る物体までの距離を求めると、ステップ１０６において
連続して同じ距離値が算出されたウインドウのかたまり
を検出し、そのウインドウのかたまりが複数ある場合、
距離の一番近いものを選んで先行車を含む検出領域とし
て検出する。この検出領域に先行車と同じ距離の路面部
分も含まれるため、先行車の距離を示すｙｃより上段に
同じ距離が検出されるウインドウのかたまりの両側のウ
インドウのＸ座標位置内から下段ウインドウを抽出して
先行車の領域として検出する。

【００４４】またここでは先行車が遠く撮像される場
合、先行車画像が小さく、ウインドウ位置をもって車両
の幅として検出すると、精度が低下する。それを防ぐた
め、図１７に示すようにウインドウのかたまりの両側に
あるウインドウ（ａ）に対して（ｂ）のように細分化し
た小ウインドウｗｓを用いて上記と同じようにマッチン
グしてウインドウの距離を算出する。そしてウインドウ
のかたまりと同じ距離の小ウインドウを用いて先行車と
して検出する。なお図１７においては右側のウインドウ
を示している。ｘｃｒはその小ウインドウの位置で車両
のサイド位置として検出されたものである。

【００４５】またウインドウを細分化する代わりに図１
８のようなウインドウから縦方向エッジｔ、ｖを検出
し、車両のテクスチャ、色または輝度が先行車と同様で
ある否かを判断して先行車の両サイド位置を検出するこ
とも可能である。これにより先行車が小さく撮像されて
も精度を落とさずに先行車の位置特定ができる。

【００４６】ステップ１０７では、ウインドウのかたま
りが検出できたかをチェックし、できなかった場合、先
行車なしとしてステップ１０１に戻り、次の画像を入力
して上記の処理を繰り返す。ウインドウのかたまりを検
出できた場合、先行車ありとしてウインドウで演算され
た距離値を先行車までの距離検出値として記憶しステッ
プ１０８へ進む。

【００４７】ステップ１０８では、先行車の走行レーン
についての判断を行なう。自車と同一走行レーンである
か否かを走行レーン判断部１０が判断する。これは、図
６に示したように、ウインドウのかたまりの距離と同じ
位置ｙｃをラインとしてステップ１０２で検出された２
つの白線と交わる２つの点を検出する。そしてウインド
ウのかたまりがこの２つの交点の中にあるかどうかを判
断して先行車が自車と同一走行レーンであるか否かを判
断する。自車と異なる走行レーンである場合、ステップ
１０１へ戻り、上記処理を再び行なう。検出した先行車
が自車と同一走行レーンである場合、ステップ１０９へ
進む。

【００４８】ステップ１０９では、先行車の検出距離と
同じ位置ｙｃのラインから、ラインと白線の交点ｘｌｌ
（左側白線）、ｘｌｒ（右側白線）を検出する。また車
両を検出するウインドウのかたまりの両側のウインドウ
位置を検出する。それらを式（４）に代入して、走行レ
ーン上の横方向位置を算出する。上記のように、ステレ
オ画像処理により、先行車までの距離と走行レーン内で
の横方向位置を検出することができる。

【００４９】本実施例は以上のように構成され、ステレ
オ画像の一方に画像を分割するウインドウを設定し、各
ウインドウと最も類似度の高いウインドウの位置を他方
の画像から検出し三角測量原理に基づいた距離演算を
し、隣接するウインドウから同じ距離演算値が演算され
たウインドウのかたまりを先行車として検出する。そし
て先行車として認識されたウインドウのかたまりと走行
レーンの位置を比較して自車と同一走行レーンかの判断
を経て先行車の白線に対する横方向位置を検出するの
で、従来と比べて距離のみでなく横方向位置も算出され
る。またカメラが１種類で、かつモノクロでも充分に用
が足り、処理が簡単になるとともに、検出環境を選ばな
いという効果が得られる。

【００５０】次に、本発明の第２の実施例について説明
する。この実施例は、上記第１の実施例で検出された先
行車の位置変動を観測してその挙動判断を行なうように
したものである。図１９は、本実施例の構成を示すブロ
ック図であり、図９に示した第１の実施例のブロック図
に車両挙動判定部１２を設けたものである。車両挙動判
定部１２はメモリを有し横方向位置検出部１１で検出さ
れた先行車の横方向位置を記憶し、その位置の時間的変
動により先行車の挙動を判定する。

【００５１】またこの実施例では自車走行レーンのほか
に隣接走行レーンについても検出するため、その機能を
備えた走行レーン判断部１００を用いる。その他は第１
の実施例と同様である。走行レーン判断部１００の内容
は以下の処理の流れにおいて説明する。

【００５２】図２０は上記構成における処理の流れを示
すフローチャートである。ステップ１０１〜ステップ１
０７までは第１の実施例と同様に、カメラ１、２からの
ステレオ画像を入力して画像メモリ３、４に記憶する。
白線検出部５が第１の実施例と同様にステレオ画像の一
方から自車の左右２本白線を検出しフィッテング処理に
よりデータ化する。

【００５３】ウインドウ設定部６によってウインドウ設
定された一方の画像をマッチング位置検出部７が正規化
相関法により他方の画像から類似度の最も高いウインド
ウの位置を検出する。先行車検出部９が距離演算部８に
おいて距離演算されたウインドウのうち、同じ距離値が
算出されかつ隣接するウインドウのかたまりから先行車
の領域を検出する。

【００５４】ステップ２０８において、画像Ａから走行
レーン判断部１００がウインドウのかたまりの距離と同
じＹ軸位置上の白線位置を検出する。ここでは自車走行
レーンのほかに隣車線の白線の位置も検出する。すなわ
ち図２１に示すように自車が２車線道路を走行している
場合、白線が３本であるので、それら全てがカメラ１、
２の撮像範囲内にあれば、左車線を走行している場合で
は、距離Ｚ前方にある白線は、図２２のように先行車が
検出されるＹ＝ｙｃライン上にｘｌ、ｘｒ、ｘｒ２の位
置に撮像される。先行車とそれらとの位置判断で先行車
の自車走行レーンを判定することができる。図２３は自
車走行レーンと右隣接車線上から先行車が同時に撮像さ
れている画像を示す図である。Ｍは自車走行レーン、Ｎ
は右隣接車線上の先行車である。これらはウインドウの
かたまり（太線部分）によって検出される。

【００５５】ステップ２０８では以下のように先行車の
走行レーン判断を行なう。ラインＹ＝ｙｃと白線の近似
線の交点から自車走行レーン上の白線位置ｘｌｌ、ｘｌ
ｒを求める。白線間の距離Ｗｒは通常３．５ｍ程度であ
ることから、図２５のように、距離Ｚ離れたところで右
隣接レーンの外側の白線の画像上の位置ｘｌｒは、式
（７）により求めることができる。 ｘｌｒ＝ｘｌｌ＋（ｆ×Ｗｒ）／Ｚ （７） Ｚは車両までの距離検出値、ｆはカメラの焦点距離、Ｗ
ｒは白線幅である。ここでは、ｘｌｌは自車走行レーン
上の右側白線の位置である。

【００５６】ウインドウのかたまりが自車走行レ−ンの
白線内にある場合、自車と同じ走行レ−ン上にあるとし
て、ステップ２０９へ進む。自車走行レーンでないと判
定された場合、走行レーン判断部１００は式（７）に基
づいて仮想的に右走行レーンの外側の白線位置ｘｌｒの
位置を算出する。ウインドウのかたまりが自車の右白線
と仮想白線の間にあるかどうかを判定する。なお、車間
距離が近い場合、ｘｌｒは画像の右外に出てしまう場合
が考えられが、そのような位置のときは、ｘｌｒがｘｌ
ｌの外側にあることを考慮したうえ、判定を行なう。そ
して、判定の結果は、ウインドウのかたまりが右走行レ
ーンにある場合、先行車が右隣接車線上にあり、ステッ
プ２１０へ進む。ウインドウのかたまりが右走行レーン
でない場合、先行車が左隣車線上にあるとしてステップ
２１１へ進む。

【００５７】ステップ２０９において、図２４に示すよ
うにＹ＝ｙｃライン上の位置ｘｌｌあるいはｘｌｒに対
し、先行車を検出するウインドウのかたまりＭのサイド
位置ｘｃｌもしくはｘｃｒからの白線に対する画像距離
ｘＬＬ、ｘＬＲのいずれかの一方を算出する。本実施例
ではｘＬＲを算出する。

【００５８】ステップ２１０は、ステップ２０９と同じ
ように右走行レーンの白線Ｒ１とＲ２に対する画像距離
ｘＬＬもしくはｘＬＲを図２５から算出する。ステップ
２１１は、図２６のように左走行レーンの白線Ｌ１、Ｌ
２に対するｘＬＬもしくはｘＬＲを算出する。

【００５９】ステップ２１２では、前記式（４）を用い
て画像上の横方向位置（ｘＬＬ、ｘＬＲ）から先行車の
走行路上の横方向位置（ＬＬ、ＬＲ）を算出しメモリに
記憶する。そして、横方向位置の時間的変動により先行
車の挙動を判断する。図２７、２８、２９、３０はそれ
ぞれ右白線に対する横方向位置ＬＲの時間的変化をプロ
ットしたグラフである。図上には最小二乗誤差直線が示
されている。各横方向位置を最小二乗誤差直線にフィッ
ティングして誤差を求める。誤差が所定値内の場合最小
二乗誤差直線の傾きで先行車の挙動を判定する。すなわ
ち図２７では走行にしたがって先行車の右白線に対する
横方向位置ＬＲは殆ど変化しないため、レ−ンをキ−プ
しながら走行していると判断できる。

【００６０】また図２８では徐々に横方向位置ＬＲが長
くなるため左車線への変更と判断できる。図２９は右車
線への変更を示している。また図３０では最小二乗誤差
直線に対して振動が大きいため、蛇行していると判断で
きる。

【００６１】本実施例は以上のように構成され、先行車
の白線に対する横方向距離および距離変化を検出し挙動
判断をするようにしたので、ウインカの点滅を判断しな
くても車線変更が検出できる。またウインカの点滅判断
では困難な蛇行等の検出も行なえ居眠りなど推定も可能
になる。

【００６２】次に、第３の実施例について説明する。こ
の実施例は図１９に示すブロック図の構成において、先
行車検出部９を車両挙動検出部１２に接続したものであ
る。車両挙動検出部１２は第２実施例で説明したように
先行車の横方向位置の時間的変化で挙動を判断するが、
この実施例ではさらに道路状況認識手段として先行車検
出部９の先行車の距離から路面状況を判断する機能が付
加されている。

【００６３】車両挙動検出部１２はまず図３１に示すよ
うにウインドウのかたまりの下段のウインドウＰを一つ
のウインドウとして取り出す。ウインドウＰを図３２の
ように縦方向に複数の小ウインドウｗｔに細分し、小ウ
インドウを用いて先行車の下端位置ｙｃｄを求める。ま
た小ウインドウを設ける代わりに図３３のように横エッ
ジで区分される域内の色や輝度が先行車と一致するかど
うかの判断で車両の下端位置ｙｃｄを算出することもで
きる。ｙｃｄは先行車の下端位置であり、ウインドウの
マッチングによって得られた先行車位置ｙｃと同じもの
で、直接算出することにより精度が高くなっている。

【００６４】先行車の下端位置ｙｃｄとそのときの車両
の距離Ｚが分かれば、図３４に示す撮像原理でカメラ１
の光軸１ｂに対する実際の高さｙｄは、式（８）により
求められる。 ｙｄ＝ｙｃｄ・Ｚ／ｆ （８） ｙｄの検出を時間毎に行ない、メモリに保存させる。過
去数回分のｙｄの変動を見ることで、先行車の縦方向の
運動を認識し道路状況を判断する。

【００６５】図３５〜４０はｙｄの時間的変化をプロッ
トしたグラフである。各グラフには第２の実施例と同じ
ように最小二乗誤差直線が求められている。図３５で
は、最小二乗誤差直線の傾きが０に近いので、前方は平
坦道路と判断する。図３６では、最小二乗誤差直線の傾
きが正なので、ｙｄが大きくなって行くことを示し、前
方道路が下だり坂と判断する。

【００６６】図３７では、最小二乗誤差直線の傾きが負
なので、ｙｄが小さくなって行くことを示し前方道路が
登ぼり坂と判断する。図３８では、最小二乗誤差直線に
対して、ｙｄの誤差が大きいので、前方道路が凸凹道と
判断する。図３９および図４０は、最小二乗誤差直線の
傾きが大きく変化するので、前方道路上に石や穴または
段差があると判断する。本実施例は以上のように構成さ
れ、先行車の位置と距離によりカメラに対する上下位置
を演算し、その位置の変動で路面状況が判断されるか
ら、先行車を検出する際のデータを利用することがで
き、演算負担にならずに処理できる。

【００６７】

【発明の効果】以上説明した通り、請求項１によれば入
力画像を複数のウインドウに区切り、ウインドウ毎に求
めた距離値を元に、同じ距離値が演算される隣接ウイン
ドウのかたまりから先行車の領域を検出するとともに距
離を演算する。また片方の画像から白線を検出先行車と
白線の位置関係を求め、横方向位置を検出するようにし
たので、赤外線カメラなどが不要で、装置の構成が簡単
になるとともに先行車の挙動判断を行なうことが可能に
なる。請求項２記載の発明では、請求項１記載の発明に
加え、先行車挙動判定手段が設けられるから、先行車の
横方向位置の時間的変化が検出され、先行車の挙動判定
ができる。例えば左白線や右白線に接近する場合、先行
車が車線変更を行なっていると判断できる。またこの判
断はウインカの点滅判断によらないため、ウインカの点
滅検出も不要で、環境色や輝度に影響されない効果が得
られる。ウインカをつけない車線変更を行なう先行車に
ついても判断ができる。

【００６８】請求項３記載の発明では、請求項１記載の
発明に加え、道路状況認識手段が設けられ、先行車の検
出距離から先行車の画像位置を演算し、画像位置の時間
的変化により前方路面状況を認識するようにしたので、
例えば先行車の画像位置が下がったときに先行車が下だ
り坂を走行し始めると判断できる。これによって自車を
減速制御するなどの道路状況に対応した車両制御が行な
える。

【００６９】請求項４記載の発明では、白線を検出する
画像領域を先行車より下方の画像領域とすることで、先
行車に遮られた遠方白線は検出対象から除外され処理す
るデータが減少するとともに誤検出が減少される効果が
得られる。

【図面の簡単な説明】

【図１】ステレオ画像処理による距離算出手法を説明す
るための説明図である。

【図２】画素と焦点距離の関係を示す説明図である。

【図３】マッチングによるウインドウ設定の説明図であ
る。

【図４】先行車検出の説明図である。

【図５】距離と画像上の位置関係の説明図である。

【図６】先行車の走行レーン判断の説明図である。

【図７】先行車の横方向位置検出の説明図である。

【図８】画像位置と横方向位置検出の説明図である。

【図９】第１の実施例の構成を示すブロック図である。

【図１０】第１の実施例における処理の流れを示すフロ
ーチャートである。

【図１１】白線を検出するための説明図である。

【図１２】ウインドウ設定の説明図である。

【図１３】微分処理の効果を示す図である。

【図１４】先行車を検出ためのウインドウ設定の説明す
る図である。

【図１５】正規化相関法によるステレオ画像間でのマッ
チング位置の検出方法を示す説明図である。

【図１６】ウインドウ内の画像とウインドウの位置関係
を示す図である。

【図１７】ウインドウを細分化する説明図である。

【図１８】撮像内容による先行車のサイド部の検出説明
図である。

【図１９】第２の実施例の構成を示すブロック図であ
る。

【図２０】第２の実施例における処理の流れを示すフロ
ーチャートである。

【図２１】隣車線の検出原理を示す図である。

【図２２】隣車線の撮像位置を示す図である。

【図２３】自車走行レーンと隣車線上に先行車が検出さ
れた状態を示す図である。

【図２４】自車走行レーン上の先行車の横方向位置検出
の説明図である。

【図２５】右隣車線上の先行車の横方向位置検出の説明
図である。

【図２６】左隣車線上の先行車の横方向位置検出の説明
図である。

【図２７】先行車両がレーンキープ時の横方向位置の変
化を示すグラフである。

【図２８】先行車両が左車線へ変更時の横方向位置の変
化を示すグラフである。

【図２９】先行車両が左車線へ変更時の横方向位置の変
化を示すグラフである。

【図３０】先行車両が蛇行しているときの横方向位置の
変化を示すグラフである。

【図３１】先行車の下端位置検出の説明図である。

【図３２】ウインドウを細分化する説明図である。

【図３３】撮像内容による先行車の下端の検出説明図で
ある。

【図３４】先行車の下端位置とカメラの光軸の距離関係
を示す図である。

【図３５】先行車両が平坦地を走行しているときのグラ
フである。

【図３６】先行車両が下り坂を走行しているときのグラ
フである。

【図３７】先行車両が登り坂を走行しているときのグラ
フである。

【図３８】先行車両が凹凸な道を走行しているときのグ
ラフである。

【図３９】先行車両が走行している道路上に石等の障害
物があるときのグラフである。

【図４０】先行車両が走行している道路上に穴などがあ
るときのグラフである。

【符号の説明】

１、２ カメラ １ａ、２ａ ＣＣＤ １ｂ、２ｂ 光軸 ３、４ 画像メモリ ５ 白線検出部（白線検出手段） ６ ウインドウ設定部（ウインドウ設定手段） ７ マッチング位置検出部（マッチング位置検出
手段） ８ 距離演算部（距離演算手段） ９ 先行車検出部（先行車検出手段） １０、１００ 走行レーン判断部（走行レーン判断
手段） １１ 横方向位置検出部（横方向位置検出手段） １２ 車両挙動判定部（車両挙動判定手段） Ｃ 先行車 Ｅ ウインドウのかたまり ｆ 焦点距離 Ｄ 眼間距離 Ｌ１、Ｌ２ レンズ Ｗ ウインドウ ｗｄ ウインドウ Ｗｒ 道路幅 ｙａ、ｙｂ マッチング位置 ｙｃ 先行車の撮像位置 ｘｒ Ｘ軸上のウインドウ設定位置 ｘｗ ウインドウの横幅 ｙｗ ウインドウの縦幅 ｙｒ Ｙ軸上のウインドウ設定位置 Ｚ 撮像距離

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ４１５

Claims (4)

【特許請求の範囲】
1. 【請求項１】 それぞれの光軸を互いに平行とし所定の
   眼間距離をもって配置された２台のカメラと、前記２台
   のカメラが撮像した路面画像を第１および第２の画像と
   して記憶する画像メモリと、前記第１の画像内で白線を
   検出する白線検出手段と、前記第１の画像内の所定領域
   を複数の区域に分割するようにウインドウ設定を行なう
   ウインドウ設定手段と、各ウインドウと最も類似度の高
   いウインドウの位置を前記第２の画像から検出するマッ
   チング位置検出手段と、２枚の画像間で互いに類似度の
   高いウインドウが存在する画像上の位置と２台のカメラ
   の位置関係をもとに、各ウインドウ内に撮像された物体
   までの距離を演算する距離演算手段と、同じ距離値が算
   出されかつウインドウが隣接するウインドウのかたまり
   を先行車の検出領域として検出しウインドウの距離値を
   先行車の検出距離とする先行車検出手段と、前記ウイン
   ドウのかたまりと前記白線の位置関係に基づき先行車の
   走行レーンを判断する走行レーン判断手段と、前記走行
   レーン上の先行車の横方向位置を検出する横方向位置検
   出手段とを有することを特徴とする車両用障害物検出装
   置。
2. 【請求項２】 前記横方向位置検出手段に接続され、前
   記先行車の横方向位置の時間的変化を検出して先行車の
   挙動を判定する先行車挙動判定手段が設けられているこ
   とを特徴とする請求項１記載の車両用障害物検出装置。
3. 【請求項３】 前記先行車検出手段に接続され、前記先
   行車の検出距離から先行車の画像位置を演算し、画像位
   置の時間的変化により前方路面状況を認識する道路状況
   認識手段が設けられたことを特徴とする請求項１記載の
   車両用障害物検出装置。
4. 【請求項４】 前記白線検出手段は、先行車より下方の
   画像領域を白線検出領域とすることを特徴とする請求項
   １記載の車両用障害物検出装置。