JPH05108149A - 移動車の環境認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 移動車の環境認識装置の応答性および信頼性
をより向上させること。 【構成】 走行路前方の画像は、ルーフカメラ７０によ
るシングル画像と左右ピラーカメラ６０，８０によるス
テレオ画像の形式で入力される。左右走行車線検出モジ
ュール２０，４０は、シングル画像に基づいて左右車線
を検出する。遠方の障害物はシングル画像に基づいて遠
方障害物検出モジュール３０により検出され、近傍の障
害物はステレオ画像に基づいて近傍障害物検出モジュー
ル５０により検出される。検出した障害物は遠方障害物
検出モジュール３０で追跡される。三次元構造再構成モ
ジュール１０は、各モジュールの検出結果に基づいて、
外界の環境の三次元構造を再構成する。各モジュールは
それぞれＣＰＵを有し、非同期で独立して動作する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は移動車の環境認識装置、
特に、ビデオカメラなどで得た画像に基づいて走行車線
や障害物の位置を認識するための移動車の環境認識装置
に関する。

【０００２】

【従来の技術】自律走行車などでは、外界の環境（特に
走行車線の位置や障害物の存在）を認識するために環境
認識装置が用いられている。このような装置としては、
たとえば、特開平２−２７００４〜２７００６号公報
に、自律走行車両用の環境認識装置が開示されており、
特開平３−１００４１７〜１００４１９号公報に、車両
用の現在位置検出装置が開示されている。一般に、外界
の環境認識を行う装置では、ビデオカメラなどで走行路
前方の画像を入力し、この画像に基づいて走行車線や障
害物の認識が行われている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
環境認識装置は、多車線を有する高速道路で実走行を行
うような場合には、十分な環境認識を行うことができな
い。高速道路では、走行速度が速くなるため、環境認識
のための演算処理を短時間に行う必要が生じ、しかも、
安全確保の面から、確実な環境認識が要求される。とこ
ろが、従来の環境認識装置は、高速道路走行に用いるに
は、応答性も信頼性も不十分である。

【０００４】そこで本発明は、移動車の環境認識装置の
応答性および信頼性をより向上させることを目的とす
る。

【０００５】

【課題を解決するための手段】本発明は、移動車の環境
認識装置において、外界の環境について、シングル画像
とステレオ画像とを得ることができるように、少なくと
も２台のカメラを有する撮像手段と、撮像手段から得ら
れるシングル画像に基づいて走行車線を検出する走行車
線検出手段と、撮像手段から得られるシングル画像と、
走行車線検出手段で検出した走行車線のデータと、に基
づいて遠方の障害物を検出する遠方障害物検出手段と、
撮像手段から得られるステレオ画像と、走行車線検出手
段が検出した走行車線のデータと、に基づいて近傍の障
害物を検出する近傍障害物検出手段と、検出した走行車
線および障害物の各データに基づいて、外界の環境の三
次元構造を再構成する三次元構造再構成手段と、を設け
たものである。

【０００６】

【作 用】本発明に係る移動車の環境認識装置では、外
界の環境画像に基づく車線の検出と障害物の検出とが、
別個の手段によってそれぞれ独立して行われる。しかも
障害物の検出は、シングル画像に基づいて遠方の障害物
を検出する手段と、ステレオ画像に基づいて近傍の障害
物を検出する手段と、の２つの手段によってそれぞれ独
立して行われる。こうして、独立して検出された車線デ
ータおよび障害物データは、最終的に三次元構造再構成
手段によって統合される。このような構成により、応答
性が良く信頼性の高い環境認識が可能になる。

【０００７】

【実施例】§１． 装置の全体構成 以下、本発明を図示する実施例に基づいて説明する。図
１は、本発明の一実施例に係る移動車の環境認識装置の
基本構成を示すブロック図である。この環境認識装置
は、５つのモジュール１０，２０，３０，４０，５０
と、３台のビデオカメラ６０，７０，８０によって構成
される。３台のビデオカメラのうち、ルーフカメラ７０
は移動車のルーフ中央部に取り付けられ、走行路前方の
外部環境を撮像する。一方、左ピラーカメラ６０および
右ピラーカメラ８０は、それぞれ移動車の左右ピラー部
に取り付けられ、走行路前方の外部環境を撮像する。ル
ーフカメラ７０により撮影した画像データは、左走行車
線検出モジュール２０、遠方障害物検出モジュール３
０、右走行車線検出モジュール４０、にそれぞれ与えら
れる。一方、左ピラーカメラ６０および右ピラーカメラ
８０により撮像した画像データは、近傍障害物検出モジ
ュール５０に与えられる。左ピラーカメラ６０により撮
影した画像と右ピラーカメラ８０により撮影した画像と
の間には、所定の視差分だけのずれが存在するため、両
画像に基づいて奥行きをもった三次元の情報を得ること
ができる。そこで、本明細書では、これら左右のピラー
カメラ６０，８０から得られる一対の画像をステレオ画
像と呼び、ルーフカメラ７０から得られる通常の画像を
シングル画像と呼ぶことにする。

【０００８】左走行車線検出モジュール２０は、ルーフ
カメラ７０から与えられるシングル画像に基づいて、走
行路左側の走行車線を検出し、左車線データを出力する
機能を有する。一方、右走行車線検出モジュール４０
は、ルーフカメラ７０から与えられるシングル画像に基
づいて、走行路右側の走行車線を検出し、右車線データ
を出力する機能を有する。出力された左右の車線データ
は、三次元構造再構成モジュール１０、遠方障害物検出
モジュール３０、および近傍障害物検出モジュール５０
に与えられる。

【０００９】遠方障害物検出モジュール３０は、ルーフ
カメラ７０から与えられるシングル画像と、左走行車線
検出モジュール２０から与えられる左車線データと、右
走行車線検出モジュール４０から与えられる右車線デー
タと、に基づいて、遠方の障害物を検出する機能を有す
る。また、近傍障害物検出モジュールは、左ピラーカメ
ラ６０および右ピラーカメラ８０から与えられるステレ
オ画像と、左走行車線検出モジュール２０から与えられ
る左車線データと、右走行車線検出モジュール４０から
与えられる右車線データと、に基づいて、近傍の障害物
を検出する機能を有する。後に詳述するように、遠方障
害物検出モジュール３０は、検出した障害物を逐次追跡
する機能を有する。また、遠方障害物検出モジュール３
０は、近傍障害物検出モジュール５０に対して結果要求
信号を与え、近傍障害物検出モジュール５０が検出した
近傍障害物の位置を示す障害物位置データを要求するこ
とができ、この近傍障害物に対する追跡を行うこともで
きる。

【００１０】三次元構造再構成モジュール１０は、左走
行車線検出モジュール２０から出力される左車線デー
タ、右走行車線検出モジュール４０から出力される右車
線データ、および遠方障害物検出モジュール３０が検出
あるいは追跡した障害物の位置を示す障害物位置デー
タ、に基づいて、外界の環境の三次元構造を再構成す
る。また、車両制御系から自車両速度を入力することに
より、障害物の速度を求め、所定時間後の自車両の目標
位置を示す目標位置データを演算する機能を有する。こ
うして、三次元構造再構成モジュール１０は、左右の走
行車線の位置を示す左右車線データと、障害物の位置と
速度とを示す障害物データと、自車両の目標位置を示す
目標位置データと、を車両制御系に与える。

【００１１】この環境認識装置の特徴は、５つのモジュ
ール１０〜５０のそれぞれが独自のＣＰＵを備えてお
り、それぞれ独立して演算処理を行う点にある。すなわ
ち、各ＣＰＵは非同期で動作することになる。各モジュ
ール間のデータの転送は、通信線を介して行われ、送信
側と受信側とのタイミングが同期した時にデータ転送が
なされる。なお、この実施例では、各ＣＰＵに並列処理
機能を備えたユニットを用いており、それぞれに割り当
てられた本来の演算処理（たとえば、障害物認識処理）
を実行しながら、同時に他のＣＰＵとの通信処理を実行
することができる。このため、通信処理において同期を
とるための待ち時間は大幅に削減される。なお、各モジ
ュール間における転送データについて、図１では、（２
Ｄ）または（３Ｄ）なる符号を付して示してあるが、
（２Ｄ）なる符号が付されたデータは画像平面上の二次
元データであり、（３Ｄ）なる符号が付されたデータは
自車両を原点にとった三次元ワールド座標系での三次元
データである。

【００１２】以上のように、この実施例に係る環境認識
装置では、５つのモジュールにそれぞれ独自の処理を分
散させて行わせるようにしたため、応答性が著しく向上
する。しかも、５つのＣＰＵはそれぞれ独立しているた
め、万一、いずれかのＣＰＵが暴走するような事故が生
じても、このような事故はそのモジュール内だけにとど
まり、他のモジュールに影響を与えることはない。たと
えば、障害物を検出するためのモジュールが暴走したと
しても、走行車線を検出するモジュールは正常に動作す
るため、三次元構造再構成モジュール１０は、目標位置
の設定を正常に行うことができる。したがって、安全面
における信頼性の向上も期待できる。

【００１３】以上、この装置の全体構成について述べた
が、続いて、各モジュールにおける各処理を順に説明す
ることにする。

【００１４】§２． 走行車線の検出処理 まず、左走行車線検出モジュール２０および右走行車線
検出モジュール４０による走行車線の検出機能を説明す
る。図２は、この走行車線の検出処理を行うための構成
要素を示すブロック図である。ルーフカメラ７０からの
シングル画像は、入力画像同期装置７１からの指令に基
づく同期タイミングで、画像入力装置７２から入力さ
れ、左車線検出用画像バッファ２１および右車線検出用
画像バッファ４１に蓄積される。バッファに蓄積された
各画像に対して、左車線認識装置２２および右車線認識
装置４２による車線認識処理が行われる。走行路前方の
画像に基づいて、走行車線を高速に認識する手法として
は、直線近似による手法などが知られている。本明細書
ではこの走行車線の認識を行うための新規な手法の一例
を§６で述べることにする。車線の認識が完了したら、
認識結果出力装置２３，４３から認識結果を左車線デー
タおよび右車線データとして出力するとともに、左車線
検出用画像バッファ２１および右車線検出用画像バッフ
ァ４１内の蓄積画像を新しい画像に入れ替え、この新し
い画像についての処理を続行する。

【００１５】前述のように、左走行車線検出モジュール
２０と右走行車線検出モジュール４０とでは、全く独立
して処理が行われる。すなわち、左車線の処理系と右車
線の処理系とは非同期で処理が実行されることになる。
もっとも、処理速度が十分に速ければ、両処理系の処理
速度は、新たな画像を入力する周期に依存するので、結
果的には同期処理と同等の出力が得られることになる。

【００１６】§３． 障害物の検出処理 この環境認識装置の特徴のひとつは、２つのモジュール
で別個に障害物の検出処理を行う点にある。すなわち、
遠方障害物検出モジュール３０では遠方の障害物を、近
傍障害物検出モジュール５０では近傍の障害物を、それ
ぞれ検出する。この役割分担の様子を図３に示す。図３
は、カメラから得られた走行路前方の画像であり、左車
線Ｌは左走行車線検出モジュール２０により検出され、
右車線Ｒは右走行車線検出モジュール４０により検出さ
れる。ここで、近傍領域Ａ（左下がりの斜線ハッチング
部分）は、近傍障害物検出モジュール５０の受け持ちと
なる領域であり、この領域内の障害物が近傍障害物とし
て検出される。一方、遠方領域Ｂ（右下がりの斜線ハッ
チング部分）は、遠方障害物検出モジュール３０の受け
持ちとなる領域であり、この領域内の障害物が遠方障害
物として検出される。

【００１７】このような役割分担は非常に効果的であ
る。一般に、シングル画像に基づく障害物の検出は、検
出処理のための演算はそれほど複雑ではないため、処理
速度の点では有利である。しかし、障害物か否かの判定
が困難であり、車両の振動や道路の傾斜などの条件によ
っては距離計測に誤差が含まれるようになり、高精度の
障害物検出はできないという欠点がある。これに対し
て、ステレオ画像に基づく障害物の検出は、検出処理の
ための演算量が膨大になり、処理速度が遅くなるという
問題はある。しかし、障害物か否かの判定は比較的容易
に行うことができ、高精度の障害物検出を行うことがで
きる。ここで、近傍にある障害物と遠方にある障害物と
の特徴の相違を考えると、近傍にある障害物は自車両に
対する危険度が高く、しかも画像上での動きが大きいた
め、障害物か否かの判定や障害物までの距離測定を高精
度で行う必要がある。これに対して、遠方にある障害物
は自車両に対する危険度は低く、しかも画像上で占める
面積も動きもともに小さい。そこで、本発明に係る環境
認識装置では、近傍の障害物の検出にはステレオ画像を
用い、遠方の障害物の検出にはシングル画像を用いるよ
うな役割分担を行い、効率的な障害物検出を行ってい
る。

【００１８】遠方障害物検出モジュール３０において行
うシングル画像に基づく障害物検出方法としては、種々
の方法が知られている。この実施例の装置では、画像を
構成する各画素の濃度値の分布に基づいて、障害物の影
の位置を推定し、遠方障害物を検出する方法を用いてい
るが、この他どのような方法を用いてもかまわない。ま
た、近傍障害物検出モジュール５０において行うステレ
オ画像に基づく障害物検出方法も、種々の方法が知られ
ており、どのような方法を用いてもかまわない。たとえ
ば、V. Grafe: "Precise Range Measurement by Monocu
lar Stereo Vision", Proc. 1990 Japan-USA Symp. on
Flexible Automation, Kyoto, Japan,1990、J. Aloimon
os: "Visual Shape computation", Proc. IEEE, 76, 8,
pp.899-916, 1988 などの文献には、ステレオ画像に基
づいて移動体の障害物を認識するための様々な手法が開
示されている。また、特願平３−９１１６８号明細書に
は、ステレオ画像を座標変換することにより障害物の認
識を行う新規な方法が開示されている。なお、この実施
例では、ルーフカメラ７０からシングル画像を、左ピラ
ーカメラ６０および右ピラーカメラ８０からステレオ画
像を、それぞれ得るようにし、合計３台のカメラを用い
ているが、シングル画像をいずれか一方のピラーカメラ
から得るようにすれば、２台のカメラだけを用いて本発
明の環境認識装置を構成することも可能である。ただ、
この実施例のように３台のカメラを用いる構成の方が実
用的である。

【００１９】§４． 障害物の追跡処理 各カメラから得られる画像は、所定の時間間隔で更新さ
れる。したがって、ある画像で障害物が検出された場
合、この障害物が次の画像においてどの位置に存在する
かを認識する処理、すなわち障害物の追跡処理を行う必
要がある。本発明に係る環境認識装置では、遠方障害物
検出モジュール３０において、この障害物の追跡処理が
行われる。結局、遠方障害物検出モジュール３０は、自
分自身で障害物を検出する第１の処理（図３の遠方領域
Ｂ内の障害物を検出する処理）と、近傍障害物検出モジ
ュール５０が検出した障害物（図３の近傍領域Ａ内の障
害物）の位置を認識する第２の処理と、検出された障害
物を追跡する第３の処理と、を実行することになる。以
下、図４の流れ図を参照して、遠方障害物検出モジュー
ル３０で実行されるこれらの処理について説明する。

【００２０】まず、ステップＳ１において、左右の車線
データに基づいてウインドウの設定を行う。すなわち、
図３に示す例では、左車線Ｌのデータと右車線Ｒのデー
タとに基づいて、遠方領域Ｂをウインドウとして設定す
ることになる。続いて、ステップＳ２において、このウ
インドウ内での遠方障害物検出処理が行われる。その結
果、遠方障害物が存在すれば、たとえば、図５に示すよ
うに遠方障害物Ｏ１が検出されることになる。このよう
な遠方障害物が検出されなかった場合には、ステップＳ
３において、近傍障害物が検出されたか否かを認識す
る。前述のように、近傍障害物検出モジュール５０は、
非同期で全く独立して近傍障害物の検出処理を行ってい
る。そこで、遠方障害物検出モジュール３０から近傍障
害物検出モジュール５０へ結果要求信号を与え、近傍障
害物検出モジュール５０による検出結果を転送させる。
近傍障害物が検出されていなければその旨の結果報告が
なされ、検出されていればその位置を示すデータが転送
される。近傍障害物が検出されていない旨の結果報告が
なされたら、遠方にも近傍にも障害物は検出されていな
いことになるので、ステップＳ３からステップＳ１へと
戻る。一方、近傍障害物が検出されており、その位置を
示す障害物位置データが転送されてきたら、ステップＳ
４において、ウインドウの再設定を行い、障害物の検出
処理を行う。たとえば、図６に示すように、近傍障害物
検出モジュール５０によって近傍領域Ａ内に近傍障害物
Ｏ２が検出されていたような場合、遠方障害物検出モジ
ュール３０は、この障害物Ｏ２の位置データを近傍障害
物検出モジュール５０から受け取り、障害物Ｏ２の位置
を含むような新たな遠方領域Ｂ´をウインドウとして再
設定し、このウインドウ内から障害物Ｏ２を検出する。

【００２１】ステップＳ２において遠方障害物検出モジ
ュール３０自身が障害物を検出した場合、あるいは、ス
テップＳ４において近傍障害物検出モジュール５０が検
出した障害物に基づいて遠方障害物検出モジュール３０
が障害物の検出を行った場合、いずれの場合でも、続い
てステップＳ５において追跡処理が行われる。すなわ
ち、新たに入力した画像内で、障害物を再認識する処理
が行われる。たとえば、図６に示すような障害物Ｏ２
を、カメラから入力した次の画像において図７に示すよ
うな障害物Ｏ３として再認識する処理が行われる。この
ような障害物の追跡処理の手法としては、種々のものが
提案されているが、最近では、Patrick Stelmaszykによ
って研究されている「トークントラッカー」による方法
が注目を浴びている。この方法は、物体をセグメント近
似してセグメントの集合として取扱い、各セグメントを
１つのトークンとして追跡することにより物体の三次元
の動きを規定するものである。本明細書では、この方法
についての説明は省略するが、詳細については、P. Ste
lmaszyk et.al: "A FAST AND RELIABLE TOKENTRACKER",
IAPR Workshop on Computer Vision, OCT.12-14, 198
8, TOKYO などの文献を参照されたい。

【００２２】続いて、ステップＳ６で追跡が成功したか
否かを判断する。追跡中の障害物がウインドウ外へ移動
してしまったような場合（たとえば、図８のような場
合）や、はるか遠方に移動してしまったような場合に
は、ステップＳ５における追跡処理によって障害物の新
たな位置は認識できない。このように追跡が不成功であ
った場合には、ステップＳ１へ戻る。一方、追跡が成功
した場合には、ステップＳ７において、近傍障害物が検
出されたか否かを認識する。この処理は、ステップＳ３
の処理と同じ処理である。すなわち、遠方障害物検出モ
ジュール３０から近傍障害物検出モジュール５０へ結果
要求信号を与え、近傍障害物検出モジュール５０による
検出結果を転送させる。近傍障害物が検出されていなけ
ればその旨の結果報告がなされ、検出されていればその
位置を示すデータが転送される。近傍障害物が検出され
ていない旨の結果報告がなされたら、ステップＳ７から
ステップＳ５へ戻り、現在追跡中の障害物についての追
跡処理をそのまま続行する。一方、近傍障害物が検出さ
れており、その位置を示す障害物位置データが転送され
てきたら、ステップＳ８において、追跡対象の変更を行
うかどうかの判断を行う。すなわち、現在追跡中の障害
物についての追跡処理をそのまま続行するのか、あるい
は、近傍障害物検出モジュール５０が検出した新たな障
害物を検出して、この新たな障害物の追跡処理への切り
換えを行うのか、をステップＳ８で判断する。いずれの
障害物を追跡対象とするかの判断は単純である。すなわ
ち、自車両により近い方の障害物を追跡対象とするので
ある。一般に、障害物は自車両に近いほど危険であると
考えられる。したがって、近傍障害物検出モジュール５
０が検出した新たな障害物が、現在追跡中の障害物より
も近くにある場合には、ステップＳ８からステップＳ４
へと進み、この新たな障害物を検出するためのウインド
ウ再設定を行い、この新たな障害物を検出し、続くステ
ップＳ５では、この新たな障害物を追跡対象とする追跡
処理を行う。たとえば図９に示す例では、現在追跡中の
障害物Ｏ５に対して、近傍障害物検出モジュール５０に
よって検出された新たな障害物Ｏ６の方が近いので、遠
方領域Ｂのウインドウを再設定することにより、追跡対
象を障害物Ｏ５から障害物Ｏ６に変更する。逆に、現在
追跡中の障害物の方が近くにある場合には、新たな障害
物は無視し、続くステップＳ５では、今までどおり現在
追跡中の障害物を追跡対象とする追跡処理を行う。

【００２３】こうすることにより、常に、危険度の高い
障害物についての追跡処理が行われることになる。たと
えば、図１０(a) に示すように、ハッチングを施した自
車両が、他の車両を追跡中に、新たな車両が車両
の手前に割り込んできた場合、現在追跡中の車両より
も新たな車両の方が自車両に近いので、追跡対象は車
両から車両に変更される。ところが、図１０(b)に
示すように、ハッチングを施した自車両が、他の車両
を追跡中に、新たな車両が車両のむこう側に割り込
んできた場合、現在追跡中の車両の方が新たな車両
よりも自車両に近いので、追跡対象は依然として車両
となる。

【００２４】§５． 三次元構造再構成処理 左走行車線検出モジュール２０で検出された左車線と、
右走行車線検出モジュール４０で検出された右車線と、
遠方障害物検出モジュール３０で追跡されている障害物
と、は三次元構造再構成モジュール１０において統合さ
れ、三次元構造が再構成される。三次元構造再構成モジ
ュール１０に与えられる左右の車線データおよび障害物
位置データは、いずれも各カメラに固有の画像平面上で
表現されたデータであるが、三次元構造再構成モジュー
ル１０は、これらのデータを、全カメラに共通した三次
元のワールド座標系に変換して再構成する。座標系の変
換処理は、各カメラの取り付け位置および向きに関する
情報に基づいて行うことができる。

【００２５】三次元構造再構成モジュール１０は、この
ほか、障害物の速度を検出する処理と自車両の所定時間
後の目標位置を演算する処理を行う。まず、障害物と自
車両との相対速度が、現在追跡中の障害物の位置データ
（遠方障害物検出モジュール３０から与えられる）に基
づいて求められる。たとえば、時刻ｔにおける画像につ
いての障害物の位置Ｄｔと、時刻（ｔ＋Δｔ）における
画像についての障害物の位置Ｄ(t+1) と、が求まれば、
この障害物の自車両に対する相対速度Ｖｒは、 Ｖｒ＝（Ｄｔ−Ｄ(t+1) ）／Δｔ で演算できる。そこで、車両制御系から自車両の速度Ｖ
ｓを入力すれば、障害物の速度Ｖｏは、 Ｖｏ＝Ｖｓ＋Ｖｒ なる式により求めることができる。また、自車両の所定
時間後の目標位置は、左右の車線データと自車両の速度
Ｖｓとに基づいて演算できる。すなわち、左右の車線デ
ータに基づいて走行路の三次元構造を再構成し、現在の
車速を維持したままこの道路を走行すれば、所定時間後
に自車両がどの位置に到達するかを演算により求めれば
よい。

【００２６】こうして、三次元構造再構成モジュール１
０において、三次元ワールド座標系における左右車線デ
ータと、障害物データ（障害物の位置および速度）と、
自車両の所定時間後の目標位置データと、が演算により
求められ、これらのデータが車両制御系に与えられる。
なお、障害物の速度として、自車両に対する相対速度だ
けを求めればよい場合には、自車両の速度Ｖｓは必要な
い。したがって、自車両の速度Ｖｓは、障害物の絶対速
度、あるいは自車両の所定時間後の目標位置が必要な場
合に必要となる量であり、速度Ｖｓを三次元構造再構成
モジュール１０に与えることは、本発明の必須の要件で
はない。

【００２７】§６． 走行車線の検出処理 最後に、走行車線の検出処理の新規な方法を開示してお
く。通常、走行車線は路面上に引かれた白線によって構
成されており、カメラで撮影した画像上で、この白線位
置を認識することにより走行車線の検出が行われる。一
般的な検出方法では、画像処理によって白線の候補点集
合を検出し、この候補点集合に対して、カメラの設定条
件に基づく逆透視変換を施し、仮想道路平面上に候補点
をプロットする。そして、この平面上にプロットされた
候補点に曲線近似法を適用して連続曲線としての走行車
線を得るのが一般的な方法である。しかしながら、画像
処理の結果得られた候補点には、誤ったものも多く含ま
れているため、曲線近似の精度が低下しがちになる。

【００２８】ここに開示する手法は、仮想道路平面上に
逆透視変換された白線候補点の妥当性を検査し、妥当性
に欠く候補点を除外した後に曲線近似を行い、より精度
の高い走行車線の検出を可能にするものである。

【００２９】まず、カメラによって撮影された画像に対
して、公知の方法により白線候補点の抽出を行う。たと
えば、図１１に示すように、９つの白線候補点が抽出さ
れたものとする。続いて、この白線候補点を仮想道路平
面上に逆透視変換する。すなわち、道路に対するカメラ
の位置や向きなどの設定条件が一定であるとの仮定に基
づき、水平な仮想道路面に白線候補点をプロットする。
このような座標変換は、カメラの設定条件に基づく演算
により行うことができる。いま、たとえば、図１１に示
すようなカメラの撮影画像を逆透視変換した結果、図１
２(a) に示すような仮想道路面（ＸＹ平面）が得られた
ものとする。ここで、ＸＹ座標の原点Ｏが自車両の位置
であり、１〜９を付した各点は、図１１における各点１
〜９をＸＹ平面上に逆透視変換した点である。ここで、
候補点１〜９がすべて白線上の真の点であれば、これら
の全点に対して曲線近似を行ってかまわないが、通常は
偽の候補点が含まれている。そこで、次のような方法で
各候補点の妥当性を検査する。

【００３０】すなわち、ｉ番目の点、（ｉ＋１）番目の
点、（ｉ＋２）番目の点、を通る円を求め、この円の半
径Ｒが所定の設定値Ｓより大きい場合には、これらの３
点は白線候補点として妥当であると判断するのである。
ｉ＝１から順次ｉを１ずつ増加させて同様に検査を行
い、いずれの検査においても妥当であると判断されなか
った点については、妥当性がないと判断し、白線候補点
から除外する。これを、図１２(a) に示す具体例で説明
しよう。いま、点ｉ，（ｉ＋１），（ｉ＋２）の３点に
よる検査を（ｉ，（ｉ＋１），（ｉ＋２））と示し、こ
の３点を通る円の半径をＲｉとし、以下のような結果が
得られたものとする。

【００３１】 ｉ＝１のときの検査（１，２，３）の結果 Ｒ１＞Ｓ 妥当 ｉ＝２のときの検査（２，３，４）の結果 Ｒ２＞Ｓ 妥当 ｉ＝３のときの検査（３，４，５）の結果 Ｒ３＜Ｓ 不可 ｉ＝４のときの検査（４，５，６）の結果 Ｒ４＜Ｓ 不可 ｉ＝５のときの検査（５，６，７）の結果 Ｒ５＜Ｓ 不可 ｉ＝６のときの検査（６，７，８）の結果 Ｒ６＜Ｓ 不可 ｉ＝７のときの検査（７，８，９）の結果 Ｒ７＞Ｓ 妥当 図１２(a) には、ｉ＝４のときの検査（４，５，６）の
様子が示されている。すなわち、３点４，５，６を通る
円Ｃについての半径Ｒ４が求められている。このような
７回の検査において、上のような結果が得られたとする
と、ｉ＝１のときの検査により候補点１，２，３につい
ての妥当性が確認され、ｉ＝２のときの検査により候補
点２，３，４の妥当性が確認され、ｉ＝７のときの検査
により候補点７，８，９の妥当性が確認されたことにな
る。ところが、候補点５，６については、いずれの検査
においても妥当性は確認されていない。したがって、こ
の例では、候補点５，６の２点が妥当でない点として除
外され、図１２(b) に示すように、候補点５，６を除外
した７点に対して曲線近似が行われ、近似曲線Ｔが走行
車線として求められる。

【００３２】このように、各候補点の妥当性を予め検査
し、妥当性のない候補点を除外して曲線近似を行うよう
にしたため、より信頼性の高い走行車線の検出が可能に
なる。

【００３３】

【発明の効果】以上のとおり本発明に係る移動車の環境
認識装置では、外界の環境画像に基づく車線の検出と障
害物の検出とを、別個の手段によってそれぞれ独立して
行い、しかも障害物の検出は、シングル画像に基づく遠
方障害物の検出と、ステレオ画像に基づく近傍障害物の
検出とに分離するようにしたため、応答性が良く信頼性
の高い環境認識が可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る移動車の環境認識装置
の基本構成を示すブロック図である。

【図２】図１に示す装置における走行車線の検出処理を
行うための構成要素を示すブロック図である。

【図３】図１に示す装置のカメラから得られた走行路前
方の画像を示す図である。

【図４】図１に示す装置における遠方障害物検出モジュ
ール３０で実行される処理の流れ図である。

【図５】図４の流れ図のステップＳ２における遠方障害
物検出の様子を示す図である。

【図６】図４の流れ図のステップＳ４におけるウインド
ウ再設定の様子を示す図である。

【図７】図４の流れ図のステップＳ５における障害物追
跡の様子を示す図である。

【図８】図４の流れ図のステップＳ６において追跡不成
功と判断される場合の例を示す図である。

【図９】図４の流れ図のステップＳ８における追跡対象
の変更が実行される場合の例を示す図である。

【図１０】図４の流れ図のステップＳ８における追跡対
象の変更を行うか否かの判断例を示す図である。

【図１１】走行車線認識に用いる白線候補点を含んだ画
像の一例を示す図である。

【図１２】走行車線認識の新規な手法を説明する図であ
る。

【符号の説明】

１０…三次元構造再構成モジュール ２０…左走行車線検出モジュール ２１…左車線検出用画像バッファ ２２…左車線認識装置 ２３…認識結果出力装置 ３０…遠方障害物検出モジュール ４０…右走行車線検出モジュール ４１…右車線検出用画像バッファ ４２…右車線認識装置 ４３…認識結果出力装置 ５０…近傍障害物検出モジュール ６０…左ピラーカメラ ７０…ルーフカメラ ７１…入力画像同期装置 ７２…画像入力装置 ８０…右ピラーカメラ Ａ…近傍領域 Ｂ…遠方領域 Ｌ…左走行車線 Ｒ…右走行車線

Claims (2)

【特許請求の範囲】
1. 【請求項１】 外界の環境について、シングル画像とス
   テレオ画像とを得ることができるように、少なくとも２
   台のカメラを有する撮像手段と、 前記撮像手段から得られるシングル画像に基づいて走行
   車線を検出する走行車線検出手段と、 前記撮像手段から得られるシングル画像と、前記走行車
   線検出手段で検出した走行車線のデータと、に基づいて
   遠方の障害物を検出する遠方障害物検出手段と、 前記撮像手段から得られるステレオ画像と、前記走行車
   線検出手段が検出した走行車線のデータと、に基づいて
   近傍の障害物を検出する近傍障害物検出手段と、 検出した走行車線および障害物の各データに基づいて、
   外界の環境の三次元構造を再構成する三次元構造再構成
   手段と、 を備えることを特徴とする移動車の環境認識装置。
2. 【請求項２】 請求項１に記載の環境認識装置におい
   て、 遠方障害物検出手段が、自分自身が検出した障害物を追
   跡する機能と、近傍障害物検出手段が検出した障害物を
   追跡する機能と、を有し、追跡対象となる障害物が複数
   存在する場合には、いずれか近い方の障害物についての
   追跡を行うことを特徴とする移動車の環境認識装置。