JP3857698B2 - 走行環境認識装置 - Google Patents

Description

本発明は、自動車などの車両に搭載され、自車両が走行する道路の環境を認識する装置に係り、特に画像処理により走行環境を認識する装置に関する。

自動車の性能が向上するにつれ、走行レーンや、他の車両など、自車両が走行する周囲の環境を認識して、事故が発生しそうな状況を検出し、ドライバーに警報を出して危険回避操作を促したり、或いは積極的に車を自動制御して事故を未然に防止するという予防安全機能の付与が重要になってきている。

更に、このとき、ドライバーに警告を与えるだけでなく、積極的に車両を制御し、例えば車間距離を一定に制御して走行する自動クルーズや、更には自動運転等のシステムに対する関心が大きく高まってきているが、このような予防安全、自動クルーズ走行、更には自動運転を達成するためには、自車両の走行環境を高速で認識する必要がある。

そこで、ＴＶカメラなどの撮像装置を用い、車両の前方を中心とする画像情報を処理することより、走行レーンや他車両などを抽出し、車両の走行環境を認識する技術が、従来から用いられていた。

上記従来技術は、画像情報から走行レーンや他車両などを抽出するのに必要な画像信号処理が膨大になる点についての配慮がされておらず、必要とする応答性に対して信号処理能力の大幅な増強を要するという問題があった。

すなわち、画像情報による車両の走行環境の認識には、画像情報の中から認識すべき対象を探索して切り出す必要があるが、従来技術では、撮像装置から得た複雑な画像情報からそのまま切り出し処理を実行しているため、その信号処理に膨大な計算量が必要になり、この結果、要求される応答性の維持に、大幅な信号処理能力の増強を伴ってしまうのである。

特に、近年、走行環境があまり変化しない自動車専用道路(高速道路)だけでなく、一般道路をも対象とする点についての要望が高まっているが、この要望を満たすためには、信号機、交差点内の右左折車、歩行者等も認識する必要があり、更に複雑な画像が対象となる。

そうすると、このように更に複雑な画像から、走行レーンや前方車両の他に、信号機等の対象物を切り出すためには、従来技術では、より膨大な計算量を要することになり、上記の問題は、より一層、深刻なものになってしまう。

本発明の目的は、計算量の増加を抑えながら、充分な応答性の維持が得られるようにした走行環境認識装置を提供することにある。

上記目的は、車両に搭載したレーダから得た車両前方の前方車両や静止物までの距離、方位、更にはＧＰＳ装置から得た車両位置に対応付けた道路地図から車両前方の交差点情報を用い、これにより撮像装置から得られる画像内での走行レーン、前方車両、静止物、信号機、横断歩道等の位置を推定して走行環境を認識するようにして達成される。

撮像装置は車両の走行方向の画像を撮影する。

画像処理装置は撮像装置から得られる画像内で、走行レーン、前方車両、静止物、信号機、横断歩道等の位置を推定して車両周囲の走行環境を認識する。

レーダは電波やレーザ光を発射し、反射信号を処理して、車両前方の前方車両や静止物までの距離、方位を計測する。

道路地図装置は、ＧＰＳ装置から得た車両位置を道路地図上に対応付け、車両前方での交差点の有無、交差点までの距離情報を画像処理装置に出力する。

本発明によれば、複雑な走行環境においても、応答性良く自車両の周囲状況を認識することができ、この結果、安全性の向上と、自動車の自動運転化を大いに図ることができる。

以下、本発明による走行環境認識装置について、図示の一実施形態により詳細に説明する。

図１は本発明の一実施形態例で、１は画像処理装置、２は撮像装置、３はレーダ、４は道路地図装置、５はＧＰＳアンテナ、６は表示装置である。

そして、これらは、例えば図２に示すように、車両１００に設置されて用いられる。従って、以下、この車両１００を自車両１００と記す。

この図２で、自車両１００は、例えば自動車で、図２(a)は自車両１００の側面から見た状態で、図２(b)は自車両１００を上面から見た状態である。

画像処理装置１は、マイクロコンピュータを備え、所定のプログラムを搭載していて、撮像装置２、レーダ３、道路地図装置４などから所定の各種の信号の供給をうけ、後述する各種の画像信号処理を実行する。

撮像装置２は、自車両１００の前方の所定範囲を撮像視野とするテレビジョンカメラなどで構成されており、自車両１００が走行中の画像信号を画像処理装置１に供給する働きをする。

レーダ３は、電波又はレーザ光(以下、電波等という)を用いて、自車両１００の前方にある物体までの距離と方位を測定し、測定結果を画像処理装置１に供給する働きをするが、このとき、後述する座標変換を簡単化するため、図２(b)から明らかなように、方位がゼロのときレーダ３から発射される電波等の放射軸、すなわち検出軸が撮像装置２の撮像光軸と同一の軸Ｚに合わせて設置してある。

なお、撮像装置２とレーダ３については、必ずしもこのように設置する必要はなく、ドライバーの視点から見た画像を必要とする場合は撮像装置を運転席側に設置すればよい。

また、運転席と反対側に設置すれば、ドライバーから見えない部分も含んだ画像を得ることができる。

道路地図装置４は、ＧＰＳアンテナ５と共にカーナビゲーション装置として周知の人工衛星電波による車両位置検出装置を構成し、自車両１００の位置を逐次検出し、その位置の検出結果と、その位置に対応した道路地図の画像情報を記憶装置の中から選択し、その道路地図の表示に必要な画像信号とを画像処理装置１に供給する働きをする。

表示装置６は、カラー液晶表示素子などの画像モニタで構成され、画像処理装置１から供給される画像情報をカラー画像として表示させ、ドライバーに認識させる働きをする。

次に、これら図１、図２に示した走行環境認識装置を用い、走行する車両の周囲環境を認識する方法について、以下に説明する。

まず、本発明の実施形態では、例えば図３に示すように、前方に右カーブがある高速道路上において、自車両１００の前方に、先行(前方)車両１０１、１０２が存在していて、共に走行している場合を想定する。ここで、走行レーンは路面に描かれている白線で規定されているものとする。

そして、この図３で、ｒ１、ｒ２は、自車両１００に搭載されているレーダ３で計測した、先行車両１０１と１０２のＰ１点及びＰ２点までの距離で、θ１、θ２は、Ｚ軸を基準としたＰ１点及びＰ２点までの角度、つまり方位を表わしている。

この図３の状況を、自車両１００に登載した撮像装置２で撮影すると、図４に示すような画像が得られる。

この図４の画像では、走行レーンの白線の一部が、先行車両１０２によって隠されているため、この隠されている部分に対しては、白線を認識する処理が行われないようにする必要があり、このためには、まず先行車両１０２を抽出する必要がある。

しかしながら、図４には示されていないが、道路の周囲は一般的に複雑な背景画像になっている上、車両の影も存在するため、これらを排除しながら画像の中から車両を抽出しなければならない。

従って、これが、従来技術で処理時間を多く必要としていた理由である。

しかして、これが、この実施形態によれば、レーダ３からの信号を使うことにより簡単に解決できる。すなわち、レーダ３によれば、上記したように、先行車両までの距離と方向を計測することができ、これらの距離と方位を用いることにより、上記の問題が解決できるのである。

そして、このように、先行車両の距離と方向が判れば、これと、撮像装置２で撮影した画像との対応付けは、画像処理装置１による座標変換で容易に得ることができる。

但し、このとき、レーダでは、先行車両だけでなく、電波等を反射する物体の全てを検知してしまう。

そこで、画像処理装置１は、レーダ３で検出した距離の変化を計算し、検出されている物体と自車両の相対速度を測定し、これにより、例えば自車両と同じ速度で接近してくる物体は静止物で、さらに早い速度で接近してくる物体は対向車両であるなどの判断を行うことができ、この結果、相対速度が所定値以下のものだけを選定することにより、先行している車両だけの情報を抽出するようになっている。

次に、画像処理装置１による座標変換について説明する。

まず、この実施形態では、撮像装置２で撮像した先行車両の画像と、レーダ３で測定された距離と方位との対応付けのため、次の２段のステップを用いる。

・・撮像装置２の俯角や焦点距離を考慮して、先行車両１０１及び
１０２を画像面上にマップするステップ。

・・レーダ３で測定された先行車両１０１及び１０２までの距離と
方向を、撮像装置２のレンズからの距離と方向に変換して表示す
るステップ。

この実施形態では、先行車両１０１及び１０２を画像面上に表示するために、レーダ３を原点とする座標系(レーダ座標系という)と、撮像装置２のレンズを原点とする座標系(ワールド座標系という)との間の座標変換と、さらにワールド座標系と画像面上に設定された座標系(画像座標系という)との間の座標変換とを用いる。

また、距離と方向の変換には、ワールド座標系における先行車両の座標を利用する。

以下、これらについて、
Ａ．ワールド座標系、画像座標系、レーダ座標系の定義
Ｂ．レーダ座標系の先行車両の画像座標系へ変換方法
の順で説明する。

Ａ．ワールド座標系、画像座標系、レーダ座標系の定義について
＜ワールド座標系＞
ワールド座標系(Ｘ，Ｙ，Ｚ)は、車両に固定された座標系で、レンズの中心から進行方向をＺ軸とする右手座標系であり、従って、原点０(０，０，０)は、レンズの中心点となる。

＜画像座標系＞
画像座標系(ｘ，ｙ)のｘ軸は、図５に示すように、ワールド座標系のＸ軸に平行で逆方向、ｙ軸はＹ軸と逆方向で、撮像装置２のレンズの光軸の上下方向の傾き角φだけ傾いている。

従って、撮像装置２レンズの焦点距離をＦとすると、画像座標系の原点は、ワールド座標系の(０，Ｆsinφ，−Ｆcosφ)になる。

そして、ワールド座標系の点Ｐ(Ｘ，Ｙ，Ｚ)と、点Ｐが画像上に透視されたときの画像座標系の点ｑ(ｘ，ｙ)との関係は、次の(1)式で表される。

ｘ＝−ＦＸ／(Ｚcosφ−Ｙsinφ)
ｙ＝−Ｆ(Ｙcosφ−Ｚsinφ)／(Ｚcosφ−Ｙsinφ)
…… ……(1)

＜レーダ座標系＞
レーダ座標系(ｒ，θ)は、図６に示すように、レーダ３を原点とする極座標系で、θはワールド座標系のＺ軸から反時計回りとする。

いま、レーダ座標系の原点のワールド座標系に対する座標を(０，Ｙd ，Ｚd )とすると、レーダ座標系の点Ｐ(ｒ，θ)と、この点をワールド座標系から見た点Ｐ(Ｘ，Ｙ，Ｚ)との関係は、次の(2)式で表される。

Ｘ＝−ｒsinθ
Ｙ＝Ｙd
Ｚ＝Ｚd ＋ｒcosθ
…… ……(2)

Ｂ．レーダ座標系の先行車両の画像座標系へ変換方法について
図６に示すように、レーダ３により、距離ｒ、方向θと測定された先行車両Ｐに対する画像座標系での座標について説明する。

まず、レーダ３のワールド座標系における座標を(０，Ｙd ，Ｚd )とする。

一方、先行車両Ｐのワールド座標系での座標(Ｘ，Ｙ，Ｚ)は、上記の(2)式で表されるので、この座標(Ｘ，Ｙ，Ｚ)の画像座標系上での座標は、上記(1)式を用いて、次の(3)式で表される。

ｘ＝−Ｆｒsinθ／〔(Ｚd ＋ｒcosθ)cosφ−Ｙd sinφ〕
ｙ＝−Ｆ〔Ｙd cosφ−(Ｚd ＋ｒcosθ)sinφ〕／
〔(Ｚd ＋ｒcosθ)cosφ−Ｙd sinφ〕
…… ……(3)

この(3)式を用いることにより、図７に示すように、レーダ３で計測した先行車両１０１及び１０２等の位置を、表示装置６に表示された画像上で対応付けることができる。

そして、この図７のようにして先行車両１０１、１０２の位置Ｐ１、Ｐ２が決定されたら、次に画像処理装置１により、以下のようにして、車両が存在する領域を推定する。

まず、車両の画像には水平方向に類似した画素成分が多く含まれるという知識を用い、例えば、点Ｐ１からｘ軸に沿って、画像の輝度、或いは色を調べ、点Ｐ１の輝度、或いは色に近い画素をまとめていくことにより、車両領域２１の水平幅を計測することができる。

この水平幅と距離から車両の車種(大型、中型、小型)が判別でき、さらに車種から車両の高さ、すなわち車両領域２１の垂直幅が推定できるので、結局、図７に示すように、先行車両１０１が存在する車両領域２１の全体を推定することができるのである。

これと同様の処理を点Ｐ２について行えば、同じく図７に示すように、先行車両１０２が存在する車両領域２２も推定することができる。

このようにして車両領域が推定されたら、その領域を避けて走行レーンを認識すればよい。

この実施形態では、走行レーンの認識に、路面に描かれている白線を利用するようになっており、画像処理装置１は、この白線の認識を、以下のようにして行うように構成されている。

すなわち、図８に示すように、白線の初期モデルを作成するインバータ１１を決定し、領域１１内で白線の初期モデルを作成し、次いで、実際の白線の画像上に合うように初期モデルを変形させるのである。

まず領域１１を次のようにして決定する。

領域１１のｙ軸方向の長さは、画面下から車両領域２２の下端までとし、ｘ軸方向の長さは、画面左端から車両領域２１の左端までとする。

このようにすれば、前方を走行する車両に邪魔されることなく、白線の初期モデルが作成できる。

次に、白線の初期モデルを作成する。

最初に、図８の画像全体に対して画像の水平方向の明るさの変化を強調するための水平微分処理を行う。

そして、領域１１に、ｘ軸に平行な複数の線分１２−１〜１２−ｎを設定し、これらの線分に沿って順次画素の輝度レベルを調べ、最初に到達した所定輝度変化レベル以上の輝度を持つ画素位置を第１の白線のエッジとし、次に到達した所定輝度変化レベル以上の輝度を持つ画素位置を第２の白線のエッジとする。

次いで、これら第１と第２の白線のエッジ位置に基づいて、直線近似により白線のモデルを２本作成し、これら２本の直線の延長線が交差する点を、道路の消失点とする。

しかしながら、このようにして作成した白線の初期モデルは、領域１１内に限定されており、且つ線分１２−１〜１２−ｎのように代表線で検出した白線エッジを用いているだけなので、領域１１内の白線を正確に求めている訳ではないことと、領域１１の外で白線がどのように変化しているのかは判らない。

そこで、最後に、実際の画像の白線上に合うように、初期モデルを変形させる白線適合化処理を実行する。

そこで、図８に示すように、最初、線分１２−１で検出した白線のエッジの位置を中心として所定サイズの白線追跡領域１３を設定する。

そして、この白線追跡領域１３を白線モデルに沿って移動させ、白線追跡領域１３内の白線のエッジの傾きに適合するように白線モデルを変化させる。

このときの傾きの適合方法としては、例えば白線追跡領域１３内に白線の初期モデルを作成したときと同様な複数の線分を設定し、これらの線分に沿って白線のエッジ位置を求め、このエッジ位置から傾きを求めてやればよい。

次に、この白線追跡領域１３内で求めた傾きを用いて白線の初期モデルを再び作成する。

そして、この再度作成したモデルに沿って白線追跡領域１３を消失点の方向に向かって移動させ、そこで白線追跡領域１３の白線の傾きを求めてモデルを変更する。

この操作を、以下、白線追跡領域１３内に消失点が含まれるようになるまで繰り返す。

ここで、白線追跡領域１３を移動させていったとき、車両領域にぶつかった場合(図８では、車両領域２２にぶつかる)には、この車両によって白線が隠されている可能性がある。

そこで、今までは第１の白線エッジに着目して移動させていた白線追跡領域１３を、右側の白線モデルに着目した白線に沿って移動させ、白線モデルの適合処理を続けるのである。

ところで、道路が直線の場合は、消失点は移動しないが、図８のようにカーブがある場合は白線適合処理により消失点が移動する。

そこで、消失点が検出される毎に、前回の位置と比較して移動量を求め、それが所定値を越えたとき、前方にカーブがあると判断し、さらに、図８のように、その移動方向がｘ軸方向のときには右カーブ、ーｘ軸方向なら左カーブと判断するのである。

こうして、カーブ有りと判断されたら、画像処理装置１は、表示装置６に所定の信号を供給し、図８に示すように、その表示画面のメッセージ領域３０に、判断結果を文章として表示させ、ドライバーの注意が喚起されるようにし、安全速度の順守と的確な操舵が得られるようにする。

また、このとき、画像処理装置１は、信号線７にも所定の信号を出力し、これにより自車両１００の速度制御、操舵制御などに用いられるようにする。

さらに、この白線モデル適合処理により逐次認識した走行レーンの中に、レーダ３で計測した静止物が存在していた場合には、前述した車両の対応付けと同様の手法で、この静止物の画像上での位置を求め、例えばその位置を囲む枠に所定の色を付けるなどの方法により、静止物の存在を強調して画像上に表示させ、ドライバーに注意を喚起させるようにする。

従って、この実施形態によれば、予め設定されている車両領域により、先行車両の影響が除かれているので、膨大な計算量を要することなく、走行レーンの認識を行うことができる。

ところで、以上の説明は、自動車専用道路など、道路環境が比較的良い場合の動作であり、従って、処理もそれほど複雑にはならない。

しかして、車間距離制御による自動クルーズ装置や自動運転装置は、自動車専用道路での利用に限らず、一般道路でも利用できれば、更に望ましい。

しかし、一般道路は、自動車専用道路とは異なり、道路環境が非常に複雑になる。そして、その代表が交差点付近の道路環境である。

図９は、交差点を含んだ一般道路の概要を示したもので、自車両１００の進行方向には、自車両と同一方向に進行する車両１０３が存在するだけでなく、交差点内で右折を待つ車両１０４や、横断歩道１０６−１〜１０６−４を歩行している人(歩行者)、信号機１０５等が存在する。

従って、交差点付近では、先行車両に追従していくとき、先行車両１０３が信号機が黄色から赤に変わる直前に交差点を渡った場合、そのまま前歩車両１０３に追従すると事故を引き起こすことになる。

また、自車両１００と先行車両１０３の間を歩行者や右折車両１０４が横切る虞れもあり、その場合は危険回避措置をしなければならない。

従って、どのような状況にも対応できる走行環境認識を実現する必要がある。

そのためには、まず自車両１００が交差点付近にいるかどうかを判断する必要があるが、この実施形態では、図１に示されている道路地図装置４を利用する。

道路地図装置４は、道路地図が記憶されたＣＤ−ＲＯＭ、ハードディスクなどを備えている。

そして、この実施形態での道路地図装置４に記憶されている道路地図は、図１０に示す実際の道路の外、これ対応して、図１１に示すように、ノード(道路と道路が交差する点、すなわち交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報とからなるテーブル状のデータベースとで構成されている。ここで、白抜き丸印〇がノードで、リンクは線で示されており、数字は、それぞれの番号である。

なお、道路地図には、道路以外にも、建物や公園などの施設、鉄道、水系などの位置や、名称データ等もあり、カーナビゲーション用としては、これらも道路地図装置４に記憶しておく必要があるが、本発明には関連しないので、ここでは省略する。

図１１に示すように、このデータベースは、ノードテーブルとリンクテーブルがあり、まずノードテーブルは、ノードの番号、座標、そのノードから流出するリンク数及びそれらのリンク番号を含み、次に、リンクテーブルは、リンクの番号、リンクを構成する始点ノードと終点ノード、リンク長を含んでいる。

このとき、ノード番号は、互いに重なりがないように決められ、リンク番号も同様である。

次に、図１１のテーブルと実際の道路地図との対応を、図１０の道路地図を例に説明すると、図１１のノードテーブル中のノードの番号１５と３４は、それぞれの座標値から、図１０の〇印で示したノードであることが判る。

そして、番号１５のノードから流出するリンク数は４本あり、それらはリンク番号２０、２１、１９、３０であることも判る。

また、リンクテーブルのリンク番号２１を見れば、これは、ノード１５からノード３４に向かう道路であることが判り、従って、この道路が一方通行でなければ、ノード３４からノード１５に向う道路が存在し、リンクテーブルを見れば、この道路には、リンク番号５５が付けられているのが判る。

なお、この図１１に示したデータベースは、基本的な構成であり、このデータの他にも、ノードに隣接するノード、右折の可否、リンクの幅員等の情報を付加しても良い。

図１に示すように、この道路地図装置４にはＧＰＳアンテナ５が設けてあり、これにより、周知のカーナビゲーション装置と同様に、自車両１００の位置に応じて、対応する道路地図を表示装置６に表示し、この表示された道路地図上に、図１０に示すように、自車両１００を表す□印を表示してゆくように構成されている。

そこで、いま、図示のように、自車両１００がノード３４に向かって走行しているとする。

そうすると、自車両１００の位置、ノード３４の位置及び自車両１００の速度から、ノード３４に到着するまでの時間を計算することができる。なお、このため図示してないが、この道路地図装置４には、自車両に備えられている速度センサから、走行速度が入力されている。

こうして、予め設定してある所定時間で、自車両１００がノード３４に到着できることが判ると、ここで道路地図装置４は、交差点到着信号と交差点までの距離を画像処理装置１に出力する。

画像処理装置１は、この交差点到着信号と交差点までの距離を受け取ると、撮像装置２で撮影した画像を基にして、上記した白線認識処理に加えて、さらに信号機認識、右折車両認識、歩行者認識等の追加認識処理を実行する。

そこで、これらの追加認識処理について、図１２により説明する。

信号機認識処理では、交差点までの距離と、予め設定してある信号機の高さの知識から、上記した先行車両と画像との対応付けで行ったと同じ手法により、信号機が存在すると推定される領域、すなわち、信号機領域１１０を決定し、その内部の色情報から信号状態を認識する。

そして、黄色又は赤色が認識されたときは、追従走行を停止するような信号を図１の信号線７を介して出力したり、画像上に認識結果をメッセージ等で表示するのである。

次に、右折車両認識処理、つまり右折待ちで静止している右折車両の認識処理は、レーダ３で計測した静止物の位置情報から、白線認識で決定してきた白線モデルのうちの右側の白線モデルに近接している静止物を選択することにより、右折車両１０４と判断するのである。

そして、必要に応じて減速信号を信号線７から出力し、車両の制御に適用するのである。

また、歩行者認識処理は、白線モデルと、交差点までの距離情報を用いて横断歩道が存在すると推定される領域、すなわち、歩行者領域１２０−１及び１２０−２を推定し、撮像装置２で撮像した画像の対応する領域に対して、公知の移動体識別技術を適用し、歩行者を認識するのである。

ここで、この移動体識別技術の公知例としては、例えば、下記の文献の記載を挙ることができる。

１９９０年電子情報通信学会春季全国大会、
阿居院 猛等 「動画像を用いた移動人物の抽出」 pp.7-383〜7-384
従って、この実施形態によれば、一般道路でも充分正確に走行環境を識別することができ、安全運転の確保と自動運転実現に大きく貢献することができる。

本発明による走行環境認識装置の一実施形態を示すブロック図である。 本発明による走行環境認識装置の実施形態における各装置の設置図である。 本発明が対象とする車両の高速道路走路における位置の一例を示す説明図である。 本発明の一実施形態による撮像画像例を示す説明図である。 本発明の一実施形態におけるワールド座標系と画像座標系の説明図である。 本発明の一実施形態におけるワールド座標系とレーダ座標系の説明図である。 本発明の一実施形態による先行車両領域推定処理の説明図である。 本発明の一実施形態による白線認識推定及び白線追跡処理の説明図である。 車両の一般道路走路における位置の説明図である。 本発明の一実施形態における道路地図の一例を示す説明図である。 本発明の一実施形態における道路地図データベースの説明図である。 本発明の一実施形態を一般道路に適用した場合の説明図である。

符号の説明

１：画像処理装置
２：撮像装置
３：レーダ
４：道路地図装置
５：ＧＰＳアンテナ
６：表示装置
１００ ：車両
２１、２２：前方車の車両領域
１１：白線認識領域
１３：白線追跡領域
３０：メッセージ領域
１１０：信号機領域
１２０−１、１２０−２：歩行者

Claims (15)

1. 自車両の走行方向を撮像視野とする撮像手段と、
   車両外部から取得される車両位置情報を道路地図情報に対応付ける道路地図手段と、
   前記道路地図手段から自車両と走行前方の交差点との距離及び当該交差点に設置された信号機の高さの情報を受け取り、当該距離及び高さの情報に基づいて、前記撮像手段から得られた画像内で信号機が撮像されている信号機領域を推定し、当該信号機領域内の画像に基づいて信号機の状態を認識する画像処理手段とを備えた走行環境認識装置。
2. 請求項１において、
   自車速を検知する車速センサを備え、
   前記画像処理手段は、前記交差点との距離情報と前記自車速とに基づいて、自車両が所定時間内に当該交差点に到達するか否かを判定し、前記自車両が所定時間内に当該交差点に到達すると判定された場合に、前記信号機の状態の認識を行うことを特徴とする走行環境認識装置。
3. 請求項１又は２において、
   前記画像処理手段は、前記信号機領域内の色情報に基づいて信号機の状態を認識することを特徴とする走行環境認識装置。
4. 請求項１から３のいずれか一項において、
   信号機が黄色又は赤色を表示していると認識した場合は、追従走行を停止する信号を出力することを特徴とする走行環境認識装置。
5. 請求項１から３のいずれか一項において、
   信号機が黄色又は赤色を表示していると認識した場合は、運転者に画像情報を表示する表示装置に対して、当該認識結果を出力することを特徴とする走行環境認識装置。
6. 自車両の走行方向を撮像視野とする撮像手段と、
   前記撮像手段で撮像した画像情報に基づいて、道路上の車線の認識を行う画像処理手段と、
   車両外部から取得される車両位置情報を道路地図情報に対応付ける道路地図手段と、
   前記道路地図手段から自車両と走行前方の交差点との距離の情報を受け取り、当該距離情報と、前記認識した道路上の車線とに基づいて、前記撮像手段から得られた画像内で横断歩道が撮像されている歩行者領域を推定し、当該歩行者領域内の画像に基づいて歩行者の認識を行なう画像処理手段とを備えた走行環境認識装置。
7. 請求項６において、
   自車速を検知する車速センサを備え、
   前記画像処理手段は、前記交差点との距離情報と前記自車速とに基づいて、自車両が所定時間内に当該交差点に到達するか否かを判定し、前記自車両が所定時間内に当該交差点に到達すると判定された場合に、前記歩行者の認識を行うことを特徴とする走行環境認識装置。
8. 自車両の走行方向を撮像視野とする撮像手段と、
   自車両の走行方向を検出範囲とするレーダと、
   自車速を検知する車速センサと、
   前記撮像手段で撮像した画像情報に基づいて、道路上の車線の認識を行う画像処理手段と、
   車両外部から取得される車両位置情報を道路地図情報に対応付ける道路地図手段とを備え、
   前記道路地図手段から自車両と走行前方の交差点との距離の情報を受け取り、
   前記交差点との距離情報と前記自車速とに基づいて、自車両が所定時間内に当該交差点に到達するか否かを判定し、
   前記自車両が所定時間内に当該交差点に到達すると判定された場合において、前記レーダで検知された物体が前記画像処理手段により検出された自車線の右側の線に近接しているときは、当該物体を右折車であると判断することを特徴とする走行環境認識装置。
9. 請求項６から８のいずれか一項において、
   前記画像処理手段は、
   前記画像情報による画面の中央に垂直線分を設定し、該垂直線分から水平方向に画素の輝度の変化を調べることにより、路面に描かれている白線のエッジを検出し、そのエッジの位置座標を用いて白線のモデルを作成するように構成されていることを特徴とする走行環境認識装置。
10. 請求項９において、
    前記画像処理手段は、
    作成した白線のモデルに沿って小さな白線追跡領域を移動させ、前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させるように構成されていることを特徴とする走行環境認識装置。
11. 請求項９又は請求項１０において、
    前記画像処理手段は、
    前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させる際に、前記白線追跡領域が車両領域にぶつかった場合、前記白線追跡領域を対となる隣の白線モデルに移動して白線モデルの適合処理を続けるように構成されていることを特徴とする走行環境認識装置。
12. 請求項８において、
    前記撮像手段の撮像光軸と前記レーダの検出軸が同一軸上に設置されていることを特徴とする走行環境認識装置。
13. 請求項１から１２の何れか一項において、
    前記撮像手段が車両の運転席側に設置され、
    運転者の視点方向の画像を撮像するように構成されていることを特徴とする走行環境認識装置。
14. 請求項１から１２の何れか一項において、
    前記撮像手段が車両の運転席と反対側に設置され、
    運転者から見えない部分も含んだ画像を撮像するように構成されていることを特徴とする走行環境認識装置。
15. 請求項１から１２の何れか一項において、
    前記道路地図手段は、ＧＰＳから車両位置情報を受信することを特徴とする走行環境認識装置。

Images