JP6462328B2 - 走行制御システム - Google Patents

Description

本発明は、自車両周辺の道路のレーンマーカーや停止位置などの路面表示を検知し、自車両周辺の複数の移動体・障害物などの立体物を検知し、道路上の走行領域を判定して、立体物との衝突を回避しながら、予め設定された走行ルートを走行する自動運転システムやドライバの操作を支援する運転支援システムに関するものであり、特に、自車両に搭載された外界認識センサを用いて自車両周辺の路面表示、移動体・障害物等の立体物を検知する際に、外界認識センサの検知性能を判定し、外界認識センサの検知性能に応じて自動運転システムや運転支援システムの制御を変更する走行制御システムに関するものである。

従来、車両の自動運転システムや運転支援システムを実現するためには、自車両周辺の外界情報として、自車両周辺の障害物や移動体などの立体物に加えて、道路上のレーンマーカー、停止線などの路面表示（路面ペイント）や道路周辺に存在する信号機、標識などの立体物を認識し、自車両の外界周辺状況に応じた走行制御を行っている。車載センサで外界周辺状況を認識し、制御を行うためには、自車両周辺の複数の障害物や複数の移動体の種別である車両、自転車、歩行者を判定し、その位置や速度などの情報を検出する必要があり、更に、自車両が走行する上で、道路上のレーンマーカーや停止線などのペイントの意味や標識の意味を判定することが必要である。このような自車両周辺の外界情報を検知する車載センサとしては、カメラを用いた画像認識手段が有効である。しかしながら、カメラを用いた画像認識手段を用いて外部環境を認識する場合、自車両周辺の天候（雨天、霧など）や時間帯（夜間、薄暮、逆光など）などの外部環境によってカメラによる画像認識手段の検出性能が変化する。具体的には、自車両周辺の移動体、障害物、道路上のペイントの検知に関して、画像認識手段による誤検知や未検知が増加する。

このような画像認識手段による性能の低下は、自車両周辺の移動体、障害物、道路ペイントが存在しているかいないかを把握していないため、画像認識手段のみでは、誤検知をしているのか、未検知であるのかの状態を正しく判定することが困難な場合がある。

このような課題に対し、自車両前方の道路形状に関して、ナビゲーションの地図から取得したカーブ形状と画像認識手段で検知したカーブ形状から最終的に前方の道路形状を判定する道路情報認識装置の例が特許文献１に記載されている。

特許文献１では、ナビゲーション装置にて保有する地図情報をもとに、第１の道路情報である第１の道路情報検出手段と、走行中の道路状況を検出し、その道路状況をもとに第２の道路情報を得る第２の道路情報検出手段と、第１の道路情報と第２の道路情報に基づいて最終的な道路情報を得る道路情報決定手段を備えており、具体的には、第１の道路情報に関しては、ナビゲーションの地図から前方のカーブを検知し、第２の道路情報に関しては、車載カメラから前方のカーブを検知し、この検知結果から前方のカーブを最終判定している。

特開平１１−２１１４９２号公報

上記の特許文献１に記載されている内容は、ナビゲーションの地図から得られる道路の直線、カーブなどの道路形状と画像認識手段で取得した前方の道路の直線、カーブなどの道路形状を比較し、前方の道路形状を最終判定しているため、前方の道路形状に関する判定のみを行っている。しかし、自動運転システムや衝突回避などを行う運転支援システムでは、前方の道路形状情報のみが判定できても車両走行制御を安全に行うことが困難な場合がある。例えば、自車両の進行方向に移動体や障害物が存在する場合、画像認識手段とナビゲーション地図によって前方の道路形状が確定でき、自車両の走行する道路が確定できていても、自車両前方に存在する移動体や障害物を画像認識手段で検知を確定できない場合、ナビゲーションの地図には対応する障害物の情報が存在しないため、立体物を確定することが困難である。この結果、画像認識手段によって前方の障害物が検知できていないのか、立体障害物が存在しないのかを判定することが困難であるため、車両の走行制御を行うのか、解除するかの判定を行うことが困難な場合がある。

このような課題に対して、本発明は、安全な自動運転システムあるいは運転支援システムを提供することである。

本発明の走行制御システムは、車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする。

または、本発明の走行制御システムは、車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記画像認識手段の検知性能の状態を通知することを特徴とする。

本発明により、自動運転システムあるいは運転支援システムの安全性を向上させることができる。

本実施形態の走行制御システムを搭載した車両の一実施例の全体構成を示した説明図である。 自車両１００に搭載される画像認識装置８０による外界認識領域について示した一例である。 自車両１００に搭載される画像認識装置８０による外界認識領域について示した他の例である。 本実施形態の外界検出手段に関する別の一実施例の構成を示した説明図である。 本実施形態の走行制御装置の一実施例に関する説明図である。 本実施形態の走行制御装置の別の一実施例に関する説明図である。 本実施形態の走行制御装置における性能判定手段の一実施例に関する説明図である。 本実施形態の走行制御装置における性能判定手段の別の一実施例に関する説明図である。 本実施形態の走行制御に関する一実施例のフローチャートを示した図である。 本実施形態の走行制御に関する別の一実施例のフローチャートを示した図である。 本実施形態の走行制御に関する別の一実施例のフローチャートを示した図である。 本実施形態の走行制御に関する更に別の一実施例のフローチャートを示した図である。 本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両の周辺環境記憶手段として、自車両が有する地図とともに、周辺環境の情報が記憶されている場合に関する説明図である。 本実施形態の周辺環境記憶手段に記憶されている周辺環境の情報に関する説明図である。 本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両の周辺環境記憶手段として、道路などのインフラに設置されたセンサ情報が自車両が有する地図とともに記憶されている場合に関する説明図である。 本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両の周辺環境記憶手段として、他車両が検出した情報を自車両が有する地図とともに記憶されている場合に関する説明図である。 本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両が走行中に、複数の地点において画像認識装置が検知した結果と自車両の周辺環境記憶手段に記憶されている情報に関する説明図である。 本実施形態の走行制御システムおいて、周辺環境記憶手段に記憶された路面情報と画像認識装置によって検知された路面情報とから類似度合を判定する一実施例に関する説明図である。 本実施形態の走行制御システムおいて、周辺環境記憶手段に記憶された立体物情報と画像認識装置によって検知された立体物情報とから類似度合を判定する一実施例に関する説明図である。 本実施形態の走行制御システムにおいて、第１類似度合と第２類似度合に応じて画像認識装置の性能を通知する一実施例に関する説明図である。 第１類似度合、第２類似度合、走行制御装置６０の実行する制御モードの時間変化を示している。 図２０（Ａ）とは異なるシーンにおける第１類似度合、第２類似度合、走行制御装置６０の実行する制御モードの時間変化を示している。

まず本発明の概要を説明する。本発明の走行制御システムは、自車両の周辺環境を検知する画像認識手段と自車両の自動運転や運転支援の走行制御を行う走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記走行制御装置にて行う走行制御のモードを変更させること、あるいは、前記画像認識手段の検知性能の状態を通知することを特徴としており、車両の周辺環境に関する情報を記憶する周辺環境記憶手段を有し、画像認識手段によって検知された結果と周辺環境記憶手段に記憶された情報から画像認識手段が車両の周辺環境を検知できているかを判定することが可能であるという効果があり、その判定結果に基づいて、画像認識の性能に応じた走行制御に変更することで、より最適な自動運転や運転支援の走行制御を実現することができるという効果がある。

または、本発明の走行制御システムは、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶される比較対象物と、前記画像認識手段によって検出した対象物との類似度合を求め、該類似度合に基づき、走行制御装置にて行う自動運転や運転支援などの走行制御のモードを変更させること、あるいは、該類似度合に基づき、前記画像認識手段の検知性能を判定し、前記画像認識手段の検知性能の状態を通知することを特徴としており、周辺環境記憶手段に記憶された車両の周辺環境に関する情報と画像認識手段によって検知された結果の類似度合から画像認識手段の検知性能を判定すること可能であるという効果があり、検知性能に基づいて、走行制御に変更することで、より最適な自動運転や運転支援の走行制御を実現することができるという効果がある。

更に、本発明の走行制御システムは、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記車両が異なる複数の地点にて、前記画像認識手段が検出した対象物と、前記周辺環境記憶手段に記憶される前記異なる複数の地点に対応した比較対象物との類似度合を算出し、該類似度合から前記画像認識手段の検知性能を判定し、該検知性能に基づいて前記走行制御装置にて自動運転や運転支援などの走行制御のモードを変更させること、あるいは、該検知性能に基づいて前記画像認識手段の検知性能の状態を通知することを特徴としており、走行している道路環境において、周辺環境の特徴を示す情報が少ない場合でも、自車両が走行する複数の異なる地点における比較対象物に関して類似度合を求めることが可能であるため、画像認識手段の検知性能を判定することが可能であるという効果がある。

更に、本発明の走行制御システムは、周辺環境記憶手段に記憶された車両周辺の道路の路面に関する特徴量と画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、周辺環境記憶手段に記憶された立体物に関する特徴量と画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を求め、該２つの類似度合に応じて、走行制御装置の自動運転や運転支援などの制御を変更する、あるいは、画像認識手段の検知性能の状態を通知することを特徴としており、路面上のレーンマーカーや停止線などの路面情報に関する検知性能と、道路周辺の立体物の検知性能を個別に判定することができ、画像認識手段の検知性能を詳細に判定することができるという効果があり、それに応じた詳細な自動運転や運転支援の走行制御や通知が可能となるという効果がある。

以下、図面を用いて、本発明に実施形態を説明する。

図１は、本発明の走行制御システムを搭載した車両の一実施例の全体構成の概要を示している。

図１において、車両１００は、上側をフロント側、下側をリア側とした図であり、車両１００を駆動するための原動機１０、原動機１０の動力を伝達する変速機２０、原動機１０を制御する原動機制御装置３０によって、車両１００は駆動される。なお、図１の例では、フロント側に原動機１０、変速機２０を搭載して、フロント側のタイヤを駆動する例であるが、リア側のタイヤを駆動、あるいは四輪全部を駆動する場合でも、以下、同様である。

車両１００は、原動機１０と変速機２０を制御する原動機制御装置３０以外にも、車両全体の制御を行う車両制御装置６０、外部との通信を行う通信装置５０、車両１００の四輪のタイヤに設けられている制動装置（９０−１、９０−２、９０−３、９０−４）を制御する制動制御装置４０など複数の制御装置が搭載されており、それらは、制御用ネットワーク７０に接続され、互いに情報を通信している。図１の実施例では、走行制御装置６０は、車両１００に搭載されており、車両１００の周辺の外界情報を取得する画像認識装置（８０−１、８０−２、８０−３、８０−４）で取得した外界情報と車両１００の状態を示す車両状態量（速度、ヨーレート、ヨー角、前後加速度、横加速度、操舵角度など）の情報を受け取り、外界情報に応じて、車両１００の制御を行う。車両１００の状態を示す車両状態量は、図１には図示されていないヨーレートセンサ、加速度センサ、速度センサ、操舵角センサなどによって検出される。

通信装置５０は、外部からの通信を授受する装置であり、例えば、走行周辺の道路情報として路面情報（レーンマーカー位置、停止線位置、横断歩道、などの路面ペイント種別と位置など）と立体物情報（標識、信号機、地物、など道路周辺に存在する立体物）を取得する。後ほど述べるが、これらの情報は、道路インフラなどに設置されたセンサによって検知した情報、データセンタに記憶された道路周辺情報（路面情報と立体物情報など）、他車両が検知した道路周辺情報（路面情報と立体物情報など）を通信装置５０を用いて取得することも可能である。更に、事前に記憶している走行周辺の道路情報を通信装置５０を用いて最新の情報に変更することも可能である。

画像認識装置８０（８０−１、８０−２、８０−３、８０−４）は、車両１００周辺の外界に情報を取得する装置であり、具体的な例としては、カメラによる画像認識がある。カメラとしては、一つのカメラで外界を認識する単眼カメラと２つのカメラで外界を認識するステレオカメラなどがある。カメラによる画像認識では、車両１００の外部情報として、車両、歩行者、軽車両（自転車など）など車両１００周辺に移動する複数の移動体を同時に認識でき、更に、移動体の特性を分類することが可能である。また、ステレオカメラを用いることで、車両１００周辺に存在する移動体や障害物の相対距離を検出することが可能である。更に、カメラによる画像認識では、道路上にペイントされた路面情報として、レーンマーカー（白線）の位置と大きさ、停止線の位置、横断歩道の位置などの情報を取得することが可能である。更に、立体物としては、道路脇に存在する標識の種別、大きさ、位置の情報、信号機の大きさ、位置の情報、その他特定の立体地物の位置の情報を取得することが可能である。ステレオカメラを用いた場合は、２つのカメラの視差画像を用いて、検知した立体物や路面ペイントまでの距離も検知することができる。

また、一つのカメラの画像では、予めカメラ毎に設定されたカメラ座標系を用いて、検知した路面ペイントや画像情報の距離も検知することも可能である。更に、一つのカメラの画像と距離検知センサ、例えば、レーダなどを組み合わせることで、距離検知の精度を向上させる場合もある。

警報装置１１０及び表示装置１２０は、走行制御装置６０において判定した画像認識装置８０の性能状態を表示したり、画像認識装置８０の性能状態をドライバに知らせる。あるいは、画像認識装置８０の性能状態に応じて、走行制御装置６０が行う制御の変更などを事前に通知や表示を行う。

図２（Ａ）は、自車両１００に搭載される画像認識装置８０による外界認識領域について示した一例である。図２（Ｂ）は、自車両１００に搭載される画像認識装置８０による外界認識領域について示した他の例である。図２（Ａ）、（Ｂ）の自車両１００は、図１の実施例のように、画像認識装置８０として、自車両１００の前方の外界認識を行う画像認識装置８０−１、自車両１００の右側方の外界認識を行う画像認識装置８０−２、自車両１００の左側方の外界認識を行う画像認識装置８０−３、そして、自車両１００の後方の外界認識を行う画像認識装置８０−４にカメラを用いた場合である。特に、図２（Ａ）では、前方の外界認識を行う画像認識装置８０−１は、一つの画像認識装置にて、広角近傍の外界情報と遠方の外界情報の両方を認識可能であり、領域Ａの範囲に存在する路面情報や立体物情報を検知することが可能である。つまり、自車両１００の前方に存在する道路のレーンマーカー（白線）、停止線、横断歩道などの路面情報と前方車両、対向車両、標識、信号機などの立体物の情報を検知することが可能である。

一方、図２（Ｂ）では、画像認識装置８０−１は、２つの画像認識装置を用いた場合であり、近傍の広角の領域である領域Ａ２と遠方の領域Ａ１を個々に検知する場合である。この場合も、図２（Ａ）と同様に、自車両１００の前方に存在する道路のレーンマーカー（白線）、停止線、横断歩道などの路面情報と前方車両、対向車両、標識、信号機などの立体物の情報を検知することが可能である。

更に、図２（Ａ）、（Ｂ）では、自車両１００の前方のみならず、右左側方及び後方の外界情報を検知することが可能であり、領域Ｂに存在する道路のレーンマーカー（白線）、停止線、横断歩道などの路面情報と前方車両、対向車両、標識、信号機などの立体物の情報を検知することが可能である。この場合、画像認識装置８０−１〜８０−４は、それぞれが検知可能な領域における周辺情報を周辺環境記憶手段から取得し、各画像認識装置８０−１〜８０−４のそれぞれに関する画像認識の検知性能を判定することができる。

図３は、自車両１００に搭載される画像認識装置８０による外界認識領域について別の実施例について示している。図３では、図２の実施例で説明した領域Ａ１、領域Ａ２、領域Ｂをカメラによる画像認識装置８０を用いており、更に、自車両１００の周辺をカメラとは異なるレーダセンサを車両周辺に搭載し、レーダによって、自車両１００の全周囲を検出する。

レーダは、移動体、障害物の識別を行うことは困難であるが、移動体や障害物の距離、速度をカメラと比較すると比較的精度良く検出することが可能である。図３の実施例では、自車両１００の前方・後方の左右の４か所にレーダを搭載し、領域D_FL、領域D_FR、領域D_RL、領域D_RRの移動体・障害物の距離、速度を検出する。このような構成にすることで、車両１００周辺の路面情報や立体物の識別をカメラで行い、立体物の距離をレーダ検知することで、より精度の良い立体物の検知が可能となる。

図４は、図１に示した走行制御装置６０の具体的な構成の一実施例を示している。走行制御装置６０には、画像認識装置８０−１〜８０−４によって検知した自車両１００の周辺環境の情報が入力される。図４の実施例では、走行制御装置６０は、性能判定手段６１、周辺環境記憶手段６２、車両制御手段６３、操作量演算手段６４、表示手段６５、警報手段６６から構成されている。

性能判定手段６１は、画像認識装置８０−１〜８０−４で検知した周辺情報と周辺環境記憶手段６２に記憶された自車両１００の位置の周辺環境情報を入力とし、画像認識装置８０−１〜８０−４の検知性能の判定を行う。性能判定手段６１にて判定した画像認識装置８０−１〜８０−４の検知性能の判定結果は、車両制御手段６３へ出力する。車両制御手段６３では、性能判定手段６１で求めた画像認識装置８０−１〜８０−４の検知性能の判定結果に基づき、自車両１００の走行制御方法及び画像認識装置８０−１〜８０−４の性能に関するドライバへの通知を決定する。

例えば、ドライバの選択によって、自車両１００を前方のレーンマーカーを検知し、レーンの中央位置を維持する自動操舵制御、車両前方の障害物や移動体に応じた自動的な加減速制御が車両制御手段６３によって実行されている場合において、画像認識装置８０−１〜８０−４の検知性能が低下していないと判定されると、車両制御装置６３は、現在行われている自動操舵制御と自動加減速制御を継続実行する。

そして、画像認識装置８０−１〜８０−４の検知性能の低下が判定されると、画像認識装置８０−１〜８０−４による周辺環境の検知性能が低下していること、現在行われている自動操舵制御と自動加減速制御を解除することを警報手段６６によってドライバへ通知し、その後、自動操舵制御と自動加減速制御を解除することで、走行制御の制御モードを切り替える。この時、性能判定手段６１にて、判定した画像認識装置８０−１〜８０−４の検知性能の状態を表示手段６５によって表示する。なお、周辺環境記憶手段６２に記憶されている周辺環境情報は、通信装置５０によって、周辺環境情報を管理しているデータセンタなどから取得することも可能である。

図５は、図１に示した走行制御装置６０の具体的な構成の別の一実施例を示している。図４と同様に、走行制御装置６０には、画像認識装置８０−１〜８０−４によって検知した自車両１００の周辺環境情報が入力される。

図５の実施例では、走行制御装置６０は、性能判定手段６１、周辺環境記憶手段６２、車両制御手段６３、操作量演算手段６４、表示手段６５、警報手段６６に加えて、画像認識記憶手段６７と自車位置記憶手段から構成されている。

性能判定手段６１は、図４と同様に、画像認識装置８０−１〜８０−４で検知した周辺情報と周辺環境記憶手段６２に記憶された自車両１００の位置周辺の外界環境情報を入力とし、画像認識装置８０−１〜８０−４の検知性能の判定を行う。性能判定手段６１にて判定した画像認識装置８０−１〜８０−４の検知性能の判定結果は、車両制御手段６３へ出力する。

車両制御手段６３では、性能判定手段６１で求めた画像認識装置８０−１〜８０−４の検知性能の判定結果に基づき、自車両１００の走行制御方法及び画像認識装置８０−１〜８０−４の性能に関するドライバへの通知を決定する。図５の実施例では、周辺環境記憶手段６２に記憶されている周辺環境情報は、画像認識記憶装置６７から取得している。

画像認識記憶手段６７は、画像認識装置８０−１〜８０−４によって過去に走行した際に取得した周辺環境情報を記憶し、自車位置記憶手段６８は、画像認識記憶手段６７に記憶した情報を取得した際の自車両１００の位置を記憶する。

周辺環境記憶手段６２は、画像認識記憶手段６７に記憶した周辺環境情報と対応した自車位置記憶手段６８の自車両の位置情報から現在走行中の周辺環境の情報を取得する。画像認識装置８０−１〜８０−４によって過去に走行した際に取得した周辺環境情報が存在しない場合は、図４の実施例と同様に、自社位置の情報から道路周辺の外界情報を通信装置５０によって、周辺環境情報を管理しているデータセンタなどから取得することが可能である。

また、自車両１００が走行中に画像認識装置８０−１〜８０−４によって取得した周辺環境情報を自車両１００の走行制御装置６０の画像認識記憶手段６７に記憶させておくことも可能であるが、走行中に取得した情報を記憶させておくには膨大な記憶容量が必要となる。そこで、画像認識記憶手段６７に記憶した周辺環境情報は、通信装置５０によって、自車両１００からデータセンタのように大容量のデータを記憶できる外部の設備へデータを送信し、外部のデータセンタの記憶装置に蓄積させておくことも可能である。この際、自車両１００の現在位置情報に基づき、大容量の周辺環境情報データから現在位置における周辺環境情報を抽出し、自車両１００が存在する位置における周辺環境情報を自車両１００へ通信装置５０を用いて出力する。このように、周辺環境情報を、自車両の位置情報とリンクしたデータ形式で、自車両１００の外に設置されたデータセンタにおいて管理することで、自車両１００の内部処理や蓄積データ量を限定することが可能となる効果がある。

図６は、図４及び図５の走行制御装置６０における性能判定手段６１の具体的な構成の実施例を示している。図６の実施例では、性能判定手段６１は、類似度合演算手段６１１と性能定量化手段６１２から構成されている。

類似度合演算手段６１１には、画像認識装置８０−１〜８０−４によって検知した自車両１００の周辺環境の情報と周辺環境記憶手段６２に記憶されている現在の周辺環境の情報が入力される。類似度合演算手段６１１は、自車両１００に搭載されている画像認識装置８０−１〜８０−４によって検知した自車両１００の周辺環境の情報と周辺環境記憶手段６２に記憶されている現在位置の自車両１００の周辺環境の情報から、画像認識装置８０−１〜８０−４で検知した周辺の検知結果と周辺記憶手段６２に記憶している対応した対象物が合致するかについて評価することで、類似度合を演算する。

例えば、画像認識装置８０−１〜８０−４が周辺環境から１０個の特徴量（停止線などの路面情報や標識などの立体物）が検知され、それに相当する特徴量（停止線などの路面情報や標識などの立体物）が周辺環境記憶手段６２から取得し、全てが合致する場合は、類似度度合が高いと判定され、合致する特徴量が少ない場合は、類似度合が低いと判定される。ここで、画像認識装置８０−１〜８０−４で検知した周辺環境の検知結果は、ある時刻における画像データから検知しても構わないし、所定時間内における複数地点での複数の画像データから検知することも可能である。

類似度合演算手段６１１にて演算された類似度合は、性能定量化手段６１２へ入力され、性能定量化手段６１２にて、画像認識装置８０−１〜８０−４の各画像認識装置の検知性能を定量化する。例えば、画像認識装置８０−１で検知した特徴量と周辺環境記憶手段６２で取得した特徴量の類似度合から、画像認識装置８０−１の検知性能を定量化し、同様に画像認識装置８０−２〜８０−４についても類似度合から検知性能を定量化する。

定量化としては、類似度合が高い場合は、検知性能が高いように定量化し、類似度合が少しでも低下すると検知性能は大幅に低下するなど類似度合と検知性能は比例関係で有る必要はない。類似度合が低下することは、画像認識装置８０−１〜８０−４の未検知、誤検知が増加していることを意味しているため、類似度合が所定の閾値を下回ると検知性能は自動運転や運転支援に利用できないと考えられるため、検知性能を大幅に低下するように設定することが可能である。

図７は、図４、５の走行制御装置６０における性能判定手段６１の具体的な構成の別の実施例を示している。図７の実施例では、性能判定手段６１は、第１類似度合演算手段６１３と第２類似度合演算手段６１４、性能定量化手段６１２から構成されている。また、周辺環境記憶手段６２は、周辺環境の情報として、路面に関する情報を記憶した路面特徴量記憶手段６２１と立体物に関する情報を記憶した立体物特徴量記憶手段６２２から構成されている。

性能判定手段６１における第１類似度合演算手段６１３は、画像認識装置８０−１〜８０−４によって検知した車両周辺の路面に関する検知結果（レーンマーカー位置、停止線位置、横断歩道位置などの路面ペイント位置情報）と周辺環境記憶手段６２の路面特徴量記憶手段６２１に記憶された路面に関する情報（レーンマーカー位置、停止線位置、横断歩道位置などの路面ペイント位置情報）を入力として、自車両１００周辺の路面に関する画像認識装置８０−１〜８０−４の検知結果と路面特徴量記憶手段６２１の情報の類似度合を演算する。例えば、画像認識装置８０−１〜８０−４が周辺環境から１０個の路面に関する特徴量（停止線や横断歩道など）が検知され、それに相当する特徴量（停止線や横断歩道など）が路面特徴量記憶手段６２１から取得し、全てが合致する場合は、第１類似度度合が高いと判定され、合致する特徴量が少ない場合は、第１類似度合が低いと判定される。ここで、画像認識装置８０−１〜８０−４で検知した周辺環境の検知結果は、ある時刻における画像データを用いて検知しても構わないし、所定時間内の複数の地点における複数の画像データを用いて検知することも可能である。

性能判定手段６１における第２類似度合演算手段６１４は、画像認識装置８０−１〜８０−４によって検知した車両周辺の立体物に関する検知結果（標識、信号機、特定の立体地物などの道路周辺の固定された立体物の大きさや位置情報）と周辺環境記憶手段６２の立体物特徴量記憶手段６２２に記憶された道路周辺の立体物に関する情報（標識、信号機、特定の立体地物などの道路周辺の固定された立体物の大きさや位置情報）を入力として、自車両１００周辺の立体物に関する画像認識装置８０−１〜８０−４の検知結果と立体物特徴量記憶手段６２２の情報の類似度合を演算する。例えば、画像認識装置８０−１〜８０−４が周辺環境から１０個の道路周辺の立体物に関する特徴量（標識や信号機など）が検知され、それに相当する特徴量（標識や信号機など）が立体物特徴量記憶手段６２２から取得し、全てが合致する場合は、第２類似度度合が高いと判定され、合致する特徴量が少ない場合は、第２類似度合が低いと判定される。ここで、画像認識装置８０−１〜８０−４で検知した周辺環境の検知結果は、ある時刻における画像データを用いて検知しても構わないし、所定時間内の複数の地点における複数の画像データを用いて検知することも可能である。

第１類似度合演算手段６１３で演算された路面情報に関する類似度合（第１類似度合）と第２類似度合演算手段６１４で演算された道路周辺の立体物に関する類似度合（第２類似度合）は、性能定量化手段６１２へ入力され、性能定量化手段６１２にて、画像認識装置８０−１〜８０−４の各画像認識装置の路面情報の検知性能と立体物情報の検知性能を定量化する。図６の場合と同様に、画像認識装置８０−１〜８０−４のそれぞれに関する第１類似度合、第２類似度から各画像認識装置の個々の検知性能を定量化する。

定量化としては、類似度合が高い場合は、検知性能が高いように定量化し、類似度合が少しでも低下すると検知性能は大幅に低下するなど類似度合と検知性能は比例関係としても良いし、比例関係でなく、類似度が高くなれば、検知性能も高くなるように設定しても良い。類似度合が低下することは、画像認識装置８０−１〜８０−４の未検知、誤検知が増加していることを意味しているため、類似度合が所定の閾値を下回ると検知性能は自動運転や運転支援に利用できないと考えられるため、検知性能を大幅に低下するように設定することが可能である。

このように、図７の実施例では、画像認識装置８０−１〜８０−４の検知性能を路面情報に関する検知性能と立体物情報に関する検知性能の２つの検知性能の定量化を行うことが可能となる。その結果、路面に関する検知性能が大きく影響する走行制御への対応や立体物に関する検知性能が大きく影響する走行制御への対応など、検知性能に応じた走行制御の変更を行うことが可能となる。

図８は、本実施形態において、画像認識装置８０−１〜８０−４と周辺環境記憶手段６２を用いて類似度合と検知性能を演算し、その結果に応じて走行制御を変更する際のフローの概要を示した一実施例の図である。

図８に示すように、先ず、自車両１００の位置を判定する（Ｓ１）。ここでは、自車両１００の位置を判定することは、自車両１００の周辺情報を周辺情報記憶手段６２から取得する際に、自車両１００の位置が特定できていないと取得できないためである。自車両１００の位置を特定する方法としては、ＧＰＳを活用して大まかな自車両位置を特定する方法、自車両１００に搭載されている自車両の速度、操舵角、ヨーレートなどから自車両１００の移動を推定する方法、自車両１００の搭載する外界認識手段によって、ランドマークの情報を取得して自車位置を補正する方法などを組み合わせることで、自車両１００の位置を特定することが可能である。

自車両１００の位置が特定できると、次に、自車両１００に搭載された画像認識装置８０−１〜８０−４の異常を判定する（Ｓ２）。これは、画像認識装置８０−１〜８０−４が画像認識できないなどセンサ単体としての異常を判定する。ここで、画像認識装置８０−１〜８０−４が異常と判定されると、画像認識装置８０−１〜８０−４を用いた走行制御を解除する（Ｓ８）。

一方、画像認識装置８０−１〜８０−４が異常なしであると判定されると、現在の自車両１００が走行している位置周辺に関する複数の周辺情報の特徴量を周辺情報記憶手段６２から取得する（Ｓ３）。

次に、周辺情報記憶手段６２から取得した複数の周辺環境特徴量と画像認識装置８０−１〜８０―４で検知した周辺環境の特徴量との類似度合を演算する。（Ｓ４）。

Ｓ４で類似度を演算すると、演算した類似度合から画像認識装置８０−１〜８０―４の検知性能に関する定量的な性能指標を演算する（Ｓ５）。

次に、Ｓ５で演算した検知性能の指標の大きさを判定する。具体的には、予め設定した所定の閾値と検知性能の指標を比較し、予め設定した所定の閾値よりも小さいか否かを判定する（Ｓ６）。ここで、演算した検知性能の指標が予め設定した所定の閾値よりも大きい場合は、検知性能は低下していないと判定される。

一方、演算した検知性能の指標が予め設定した所定の閾値よりも小さい場合は、画像認識装置８０−１〜８０−４の検知性能が低下していると判定され、表示装置などで検知性能の低下を表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置８０−１〜８０−４の検知性能の低下に応じて、画像認識装置８０−１〜８０−４を用いた走行制御が継続できない場合があるため、画像認識装置８０−１〜８０−４を用いた走行制御を変更する（Ｓ７）。例えば、具体的には、自車両１００の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御を行っている走行制御を実行している場合で、画像認識装置８０−１〜８０−４の検知性能の低下が判定されると、画像認識装置８０−１〜８０−４によるレーンマーカーの検知性能も低下すると判定され、レーンマーカーを認識して、走行する走行制御モードが継続困難であることを報知し、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードからドライバが操舵と加減速制御を行う手動制御モードへ変更するなどがある。

図９は、本実施形態において、画像認識装置８０−１〜８０−４と周辺環境記憶手段６２を用いて類似度合と検知性能を演算し、その結果に応じて走行制御を変更する際のフローの概要を示した別の一実施例の図である。

図９の一部は、図８と同じような処理を行う。図９において、先ず、自車両１００の位置を判定する（Ｓ１０）。図８と同様に、自車両１００の位置を判定することは、自車両１００の周辺情報を周辺情報記憶手段６２から取得する際に、自車両１００の位置が特定できていないと取得できないためであり、自車両１００の位置を特定する方法としては、ＧＰＳを活用し大まかな自車両位置を特定する方法、自車両１００に搭載されている自車両の速度、操舵角、ヨーレートなどから自車両１００の移動を推定する方法、自車両１００の搭載する外界認識手段によって、ランドマークの情報を取得して自車位置を補正する方法などを組み合わせることで、自車両１００の位置を特定することが可能である。

自車両１００の位置が特定できると、次に、自車両１００に搭載された画像認識装置８０−１〜８０−４の異常を判定する（Ｓ２０）。これは、画像認識装置８０−１〜８０−４が画像認識処理をできないなどセンサ単体としての異常を判定する。

ここで、画像認識装置８０−１〜８０−４が異常と判定されると、画像認識装置８０−１〜８０−４を用いた走行制御を解除する（Ｓ８）。

一方、画像認識装置８０−１〜８０−４が異常なしであると判定されると、現在の自車両１００が走行している位置周辺に関する複数の周辺情報の特徴量を周辺情報記憶手段６２から取得する。複数の周辺情報の特徴量の取得としては、周辺情報記憶手段６２の路面特徴量記憶手段６２１から路面情報に関する複数の特徴量を取得し（Ｓ３０）、周辺情報記憶手段６２の立体物特徴量記憶手段６２２から周辺の立体物に関する複数の特徴量を取得する（Ｓ４０）。ここで、路面情報に関する複数の特徴量としては、レーンマーカー、停止線、横断歩道など路面表示（路面ペイント）の特徴量の位置や大きさを示し、立体物の特徴量とは、道路近傍にある標識、信号機、特定の立体地物などの位置や大きさを示している。

次に、周辺情報記憶手段６２の路面特徴量記憶手段６２１から取得した路面情報に関する複数の特徴量と画像認識装置８０−１〜８０−４で検知した路面情報に関する複数の特徴量との類似度合（第１類似度合）を演算する（Ｓ５０）。

更に、周辺情報記憶手段６２の立体物特徴量記憶手段６２２から取得した周辺の立体物に関する複数の特徴量と画像認識装置８０−１〜８０−４で検知した道路近傍の立体物に関する複数の特徴量との類似度合（第２類似度合）を演算する（Ｓ６０）。

そして、Ｓ５０、Ｓ６０で演算された第１類似度合と第２類似度合から画像認識装置８０−１〜８０−４の路面情報を検知する路面情報検知性能と立体物を検知する立体物検知性能の２種類の検知性能の指標を演算する。

次に、Ｓ７０で演算した路面情報検知性能の指標の大きさと立体物検知性能の指標の大きさを判定する（Ｓ８０，Ｓ９０）。Ｓ８０では、路面情報検知性能に関して判定しており、路面情報の検知性能を判定するために予めに設定した所定の閾値と、路面情報検知性能の指標とを比較し、予め設定した所定の閾値よりも小さいか否かを判定する。例えば、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも大きい場合は、路面情報の検知性能は低下していないと判定される。一方、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置８０−１〜８０−４の路面情報に関する検知性能が低下していると判定される。

同様に、Ｓ９０では、立体物の検知性能に関して判定しており、立体物の検知性能を判定するために予めに設定した所定の閾値と、立体物検知性能の指標とを比較し、予め設定した所定の閾値よりも小さいか否かを判定する。例えば、演算した立体物検知性能の指標が予め設定した立体物検知性能評価用の所定の閾値よりも大きい場合は、立体物の検知性能は低下していないと判定される。一方、演算した立体物検知性能の指標が予め設定した立体物検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置８０−１〜８０−４の立体物に関する検知性能が低下していると判定される。

Ｓ８０にて、路面情報の検知性能は低下していないと判定されるとＳ９０へ進み、一方、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置８０−１〜８０−４の路面情報に関する検知性能が低下していると判定され、Ｓ１１０へ進む。

Ｓ１１０では、画像認識装置８０−１〜８０−４の路面情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置８０−１〜８０−４の路面情報に関する検知性能の低下に応じて、画像認識装置８０−１〜８０−４の路面情報の検知結果を用いた走行制御が継続できない場合があるため、路面情報を用いた走行制御を解除する（Ｓ１１０）。

例えば、具体的には、自車両１００の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両１００の前方にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置８０−１〜８０−４の路面情報の検知性能の低下が判定されると、画像認識装置８０−１〜８０−４によるレーンマーカーの検知性能も低下すると判定され、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。

一方、Ｓ８０にて、路面情報の検知性能は低下していないと判定されると、画像認識装置８０−１〜８０−４によるレーンマーカーの検知性能は低下していないと判定され、レーンマーカーを認識して、走行する走行制御モードは継続される。

次に、Ｓ８０にて、路面情報の検知性能は低下していないと判定されると、Ｓ９０へ進み、立体物の検知性能に関する判定を行う。Ｓ９０では、立体物の検知性能を判定するために予めに設定した所定の閾値と、立体物検知性能の指標とを比較し、予め設定した所定の閾値よりも小さいか否かを判定する。ここで、画像認識装置８０−１〜８０−４の立体物に関する検知性能が低下していると判定されると、Ｓ１００へ進む。Ｓ１００では、画像認識装置８０−１〜８０−４の立体物情報に関する検知性能が低下していることを表示装置１２０などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置８０−１〜８０−４の立体物情報に関する検知性能の低下に応じて、画像認識装置８０−１〜８０−４の立体物情報の検知結果を用いた走行制御が継続できない場合があるため、立体物情報を用いた走行制御を解除する（Ｓ１００）。例えば、具体的には、自車両１００の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両１００の進行方向にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置８０−１〜８０−４の立体物情報の検知性能の低下が判定されると、画像認識装置８０−１〜８０−４による自車両１００の進行方向に存在する先行車、移動体、障害物の検知性能も低下すると判定され、自車両１００の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、自車両１００の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。

一方、Ｓ９０にて、立体物情報の検知性能は低下していないと判定されると、画像認識装置８０−１〜８０−４の立体物の検知性能は低下していないと判定され、画像認識装置８０−１〜８０−４を用いて自車両１００の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードは継続される。

なお、図９では、路面検知に関する第１類似度合と検知性能判定を最初に行い（Ｓ８０）、次に立体物に関する第２類似度合と検知性能判定を行っている（Ｓ９０)が、最初に、立体物に関する第２類似度合と検知性能判定を行い、次に、路面検知に関する第１類似度合と検知性能判定を行っても良い。

更に、図１０に示すように、路面検知に関する第１類似度合と検知性能判定と立体物に関する第２類似度合と検知性能判定を行い（Ｓ１２０）、ここで、路面検知の検知性能が低いと判定されると、Ｓ１１０へ進み、図９にて述べたように、画像認識装置８０−１〜８０−４の路面情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。

更に、画像認識装置８０−１〜８０−４の路面情報に関する検知性能の低下に応じて、画像認識装置８０−１〜８０−４の路面情報の検知結果を用いた走行制御が継続できない場合があるため、路面情報を用いた走行制御を解除する。また、Ｓ１２０にて、画像認識装置８０−１〜８０−４の立体物に関する検知性能が低下していると判定されると、Ｓ１００へ進み、図９にて述べたように、画像認識装置８０−１〜８０−４の立体物情報に関する検知性能が低下していることを表示装置１２０などに表示したり、ドライバへ警報にて知らせたりする。

更に、画像認識装置８０−１〜８０−４の立体物情報に関する検知性能の低下に応じて、画像認識装置８０−１〜８０−４の立体物情報の検知結果を用いた走行制御が継続できない場合があるため、立体物情報を用いた走行制御を解除する。一方、Ｓ１２０にて、路面情報に関する検知性能と立体物情報の検知性能の両方とも低下していないと判定されると、画像認識装置８０−１〜８０−４の立体物の検知性能は低下していないと判定され、画像認識装置８０−１〜８０−４を用いて自車両１００の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードは継続される。

図１１は、本実施形態において、画像認識装置８０−１〜８０−４と周辺環境記憶手段６２を用いて類似度合と検知性能を演算し、その結果に応じて走行制御を変更する際のフローの概要を示した更に別の一実施例の図である。

図１１の一部は、図８、図９と同じような処理を行う。図１１において、Ｓ１０からＳ９０は、図９に示したフローと同じである。図９との差異は、Ｓ１１１、Ｓ１１２の処理フローである。図１１において、図９と同様に、Ｓ８０にて、路面情報の検知性能は低下していないと判定されるとＳ９０へ進み、一方、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置８０−１〜８０−４の路面情報に関する検知性能が低下していると判定され、Ｓ１１０へ進む。

Ｓ１１０では、画像認識装置８０−１〜８０−４の路面情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置８０−１〜８０−４の路面情報に関する検知性能の低下に応じて、画像認識装置８０−１〜８０−４の路面情報の検知結果を用いた走行制御が継続できない場合があるため、路面情報を用いた走行制御を解除する（Ｓ１１０）。

次に。Ｓ１１２へ進み、路面情報を用いた走行制御を解除した後、ドライバによる操作へ遷移することを通知し、所定時間後に、全ての運転支援走行制御、自動運転制御を解除する。例えば、具体的には、自車両１００の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両１００の前方にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置８０−１〜８０−４の路面情報の検知性能の低下が判定されると、画像認識装置８０−１〜８０−４によるレーンマーカーの検知性能も低下すると判定され、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。

更に、画像認識装置８０−４〜８０−４の全体的な検知性能が低下する可能性もあるため、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードを解除するような制御モードへ遷移した後、全ての操作をドライバ操作へ受け渡すことを通知し、所定時間経過後に、操舵制御・加減速制御を行う運転支援走行制御や自動運転走行制御を解除する。これによって、画像認識装置８０−１〜８０−４の一部の検知性能低下が判定されてから、所定時間後にドライバの操作へ受け渡すことが可能となり、ドライバが十分な余裕時間を持ってドライバ操作へ移行することが可能となる。

次に、Ｓ９０では、立体物の検知性能を判定するために予めに設定した所定の閾値と、立体物検知性能の指標とを比較し、画像認識装置８０−１〜８０−４の立体物に関する検知性能を判定し、立体物に関する検知性能が低下していると判定されると、Ｓ１００へ進む。Ｓ１００では、画像認識装置８０−１〜８０−４の立体物情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置８０−１〜８０−４の立体物情報に関する検知性能の低下に応じて、画像認識装置８０−１〜８０−４の立体物情報の検知結果を用いた走行制御が継続できない場合があるため、立体物情報を用いた走行制御を解除する（Ｓ１００）。

次に。Ｓ１１１へ進み、立体物情報を用いた走行制御を解除した後、ドライバによる操作へ遷移することを通知し、所定時間後に、全ての運転支援走行制御、自動運転制御を解除する。例えば、具体的には、自車両１００の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両１００の前方にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置８０−１〜８０−４の立体物情報の検知性能の低下が判定されると、画像認識装置８０−１〜８０−４による自車両１００の進行方向に存在する先行車、移動体、障害物の検知性能も低下すると判定され、自車両１００の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、自車両１００の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。更に、画像認識装置８０−４〜８０−４の全体的な検知性能が低下する可能性もあるため、自車両１００の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードを解除するような制御モードへ遷移した後、全ての操作をドライバ操作へ受け渡すことを通知し、所定時間経過後に、操舵制御・加減速制御を行う運転支援走行制御や自動運転走行制御を解除する。

これによって、画像認識装置８０−１〜８０−４の一部の検知性能低下が判定されてから、所定時間後にドライバの操作へ受け渡すことが可能となり、ドライバが十分な余裕時間を持ってドライバ操作へ移行することが可能となる。

図１２は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両１００の周辺環境記憶手段６２として、自車両１００が有する地図とともに、周辺環境の情報が記憶されている場合に関する説明図である。

図１２は、自車両１００が交差点付近を走行している走行シーンであり、自車両１００の周辺環境情報の中の路面情報としては、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などがある。

また、自車両１００の周辺環境情報の中の立体物情報としては、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などがある。また、それ以外の移動体としては、他車両Ａ１００１、他車両Ｂ１００２、歩行者１００３、などが存在する。

自車両周辺の移動体は、時々刻々変化するものであるが、一般的に路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであると考えることができる。そして、このような常時存在するものである路面のペイントや標識、信号機の位置を地図上の情報として周辺環境記憶手段６２に記憶させておく。これによって、自車両１００が走行中に、自車両１００の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両１００の周辺環境の路面情報として、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などの位置を取得することが可能であり、自車両１００の周辺環境の立体物情報として、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などの位置や大きさ、高さの情報を取得することが可能である。

一方、図１２の実施例では、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などの路面情報は、自車両１００に搭載されている画像認識装置８０−１〜８０−４によって検知可能な領域にある。従って、画像認識装置８０−１〜８０−４の検知性能が低下していない状態では、これらの路面情報を検知することが可能であり、画像認識装置８０−１〜８０−４で検知した路面情報と周辺環境記憶手段６２に記憶した路面情報から第１の類似度合を求めることが可能となる。

また、自車両１００の周辺環境情報の中の立体物情報としては、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などは、自車両１００に搭載されている画像認識装置８０−１〜８０−４によって検知可能な領域にある。従って、画像認識装置８０−１〜８０−４の検知性能が低下していない状態では、これらの立体物情報を検知することが可能であり、画像認識装置８０−１〜８０−４で検知した立体物情報と周辺環境記憶手段６２に記憶した立体物情報から第２の類似度合を求めることが可能となる。

図１３は、本実施形態の周辺環境記憶手段６２に記憶されている周辺環境の情報に関する説明図である。図１３には、周辺環境記憶手段６２に記憶されている情報としては、少なくとも、図１３に示すように路面情報と立体物情報の２種類の情報がある。

路面情報は、路面特徴量記憶手段６２１に記憶される情報であり、例えば、図１３に示すように、その種別としては、レーンマーカー、停止線、路面ペイント、横断歩道などがあり、これらの路面ペイントが地図上のどの位置に存在するかを表現する座標で表現される。また、路面ペイントの種別によっては、そのペイントの大きさを情報として格納する。

これによって、自車両１００の地図上の位置が特定されると、自車両１００の位置からどの位置に、路面ペイントが存在するかが分かる。また、立体物情報は、立体物特徴量記憶手段６２２に記憶される情報であり、例えば、図１３に示すように、その種別としては、標識、看板、信号機、その他立体地物などがあり、これらの道路周辺に存在する立体物が、地図上のどの位置に存在するかを表現する座標で表現される。また、立体物の高さ、幅など、立体物の大きさを表現するパラメータも情報として格納する。これによって、自車両１００の地図上の位置が特定されると、自車両１００の位置からどの位置に、どんな立体物が存在するかが分かる。

図１４は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両１００の周辺環境記憶手段６２として、道路などのインフラに設置されたセンサ情報が自車両１００の有する地図とともに記憶されている場合に関する説明図である。

図１４は、図１２と同様に、自車両１００が交差点付近を走行している走行シーンであり、自車両１００の周辺環境情報の中の路面情報としては、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などがある。

また、自車両１００の周辺環境情報の中の立体物情報としては、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などがある。また、それ以外の移動体としては、他車両Ａ１００１、他車両Ｂ１００２、歩行者１００３、などが存在する。

自車両周辺の移動体は、時々刻々変化するものであるが、一般的に路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであると考えることができる。このような交差点においては、交通状況のモニタリングや交差点近傍の交通情報を交差点に進入する各車両に情報を提供して、運転の支援を行うために、道路近傍にインフラ設置センサ２０００を設ける場合がある。このインフラ設置センサ２０００の一例としては、画像認識装置を適用する場合があり、インフラ設置センサ２０００の画像認識装置にて、道路周辺の環境を認識する場合がある。このインフラ設置センサ２０００は、悪環境下でも交通状況を把握するために、赤外線カメラなど複数のセンサで交通状況を検知する場合もある。このようなインフラ設置センサ２０００によって検知された道路周辺の移動体、立体物、路面に関する情報を通信装置によって、自車両１００が取得することで、自車両１００の周辺環境記憶手段６２に記憶された周辺環境の情報を最新の情報に更新することが可能である。

これによって、周辺環境記憶手段６２に記憶されている路面情報や立体物情報を現在の最新情報にすることで、画像認識装置８０−１〜８０−４の検知性能の判定結果をより信頼の高いものにすることができるという効果がある。また、インフラ設置センサ２０００では、現在のみ存在する移動体に関しても検知するこが可能であり、このような現在のみ存在する移動体の検知結果と自車両１００の画像認識装置８０−１〜８０−４によって検知した移動体に関する情報を比較することで移動立体物の検知性能の判定も行うことが可能になるという効果がある。上記の例では、インフラ設置センサ２０００として、画像認識装置を用いた例について述べたが、スキャン式のレーダを用いて、道路周辺に存在する立体物やペイントの情報を取得する場合もある。

以上のようにインフラ設置センサ２０００によって検知された情報を通信装置によって自車両１００が取得し、路面のペイントや標識、信号機の位置を地図上の情報として周辺環境記憶手段６２に記憶させておくことができる。これによって、図１２にて説明した場合と同様に、自車両１００が走行中に、自車両１００の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両１００の周辺環境の路面情報として、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などの位置を取得することが可能であり、自車両１００の周辺環境の立体物情報として、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などの位置や大きさ、高さの情報を取得することが可能である。

そして、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などの路面情報を、自車両１００に搭載されている画像認識装置８０−１〜８０−４によって検知し、画像認識装置８０−１〜８０−４で検知した路面情報と周辺環境記憶手段６２に記憶した路面情報から第１の類似度合を求め、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などの立体物情報を自車両１００に搭載されている画像認識装置８０−１〜８０−４によって検知し、画像認識装置８０−１〜８０−４で検知した立体物情報と周辺環境記憶手段６２に記憶した立体物情報から第２の類似度合を求めることが可能となる。

図１５は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両１００の周辺環境記憶手段６２として、他車両が検出した情報を自車両が有する地図とともに記憶されている場合に関する説明図である。

図１５は、図１２、図１４と同様に、自車両１００が交差点付近を走行している走行シーンであり、自車両１００の周辺環境情報の中の路面情報としては、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などがある。

また、自車両１００の周辺環境情報の中の立体物情報としては、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などがある。また、それ以外の移動体としては、他車両Ａ１００１、他車両Ｂ１００２、他車両Ｃ１００４、歩行者１００３、などが存在する。自車両周辺の移動体は、時々刻々変化するものであるが、一般的に路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであると考えることができる。

このような走行シーンにおいて、他車両Ａ１００１、他車両Ｂ１００２、他車両Ｃ１００４は、それぞれ、各車両の周辺情報を検知する車載センサを搭載しており、車両の有する情報を通信装置で他の車両やデータセンサと通信できる場合がある。このような周辺環境を検知するセンサと通信装置を有する他車両が存在する場合、他車両Ａ１００１は、車載センサで検知した路面情報（停止線位置、レーンマーカー位置、横断歩道位置など）、立体物情報（標識Ａ、Ｂの位置、信号機Ａの位置、地物Ａの位置）、自車両（他車両Ａ１００１）以外の移動体の位置、および自車両（他車両Ａ１００１）の位置の情報を有しており、他車両Ａ１００１の有するこれらの情報を通信によって自車両１００が取得することができる。

これによって、自車両１００が有する画像認識手段８０−１〜８０−４で検知した情報ではない周辺情報を取得することができる。これを自車両１００の周辺情報記憶手段６２に記憶させることで、自車両１００の周辺環境記憶手段６２に記憶された周辺環境の情報を最新の情報に更新することが可能である。つまり、周辺環境記憶手段６２に記憶されている路面情報や立体物情報を現在の最新情報にすることで、画像認識装置８０−１〜８０−４の検知性能の判定結果をより信頼の高いものにすることができるという効果がある。

更に、他車両Ａ１００１以外の他車両Ｂ１００２、他車両Ｃ１００４からも同様に情報を取得することで、自車両１００の周辺環境記憶手段６２に記憶されている路面情報や立体物情報を広範囲で更新することが可能である。また、他車両Ａ１００１、他車両Ｂ１００２、他車両Ｃ１００４は、現在のみ存在する移動体に関しても検知するこが可能であり、このような現在のみ存在する移動体の検知結果と自車両１００の画像認識装置８０−１〜８０−４によって検知した移動体に関する情報を比較することで移動立体物の検知性能の判定も行うことが可能になるという効果がある。更に、他車両Ａ１００１、他車両Ｂ１００２、他車両Ｃ１００４の各車両の位置も取得することが可能であり、各車両の位置と自車両１００の画像認識装置８０−１〜８０−４によって検知した移動体に関する情報を比較することで車両の検知性能の判定も行うことが可能になるという効果がある。

以上のように、他車両で検知した周辺情報を通信装置によって自車両１００が取得し、路面のペイントや標識、信号機の位置、更には、移動体の位置を地図上の情報として周辺環境記憶手段６２に記憶させておくことができる。これによって、図１２、図１４にて説明した場合と同様に、自車両１００が走行中に、自車両１００の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両１００の周辺環境の路面情報として、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などの位置を取得することが可能であり、自車両１００の周辺環境の立体物情報として、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などの位置や大きさ、高さの情報を取得することが可能である。

そして、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、自車両１００の進行方向前方にある停止線１０１３、自車両１００の進行方向前方にある横断歩道１０１４、横断歩道１０１５などの路面情報を、自車両１００に搭載されている画像認識装置８０−１〜８０−４によって検知し、画像認識装置８０−１〜８０−４で検知した路面情報と周辺環境記憶手段６２に記憶した路面情報から第１の類似度合を求め、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、信号機１０２３、地物Ａ１０２４などの立体物情報を自車両１００に搭載されている画像認識装置８０−１〜８０−４によって検知し、画像認識装置８０−１〜８０−４で検知した立体物情報と周辺環境記憶手段６２に記憶した立体物情報から第２の類似度合を求めることが可能となる。更に、他車両Ａ１００１、他車両Ｂ１００２、他車両Ｃ１００４の位置が取得できるため、画像認識装置８０−１〜８０−４で検知した車両結果と比較することで、画像認識装置８０−１〜８０−４の立体物検知の性能の中でも、車両検知の性能も判定することができるという効果がある。
図１６は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両１００が走行中に、複数の地点において画像認識装置８０−１〜８０−４が検知した結果と自車両１００の周辺環境記憶手段６２に記憶されている情報に関する説明図である。

図１６は、自車両１００が複数の交差点を有する直線道路を直線走行している走行シーンであり、自車両１００の周辺環境情報の路面情報としては、自車両１００が走行している車線の両脇のレーンマーカー１０１１、１０１２、１０１６、１０１７、自車両１００の進行方向前方にある停止線１０１３、１０１８、自車両１００の進行方向前方にある横断歩道１０１４、１０１５、１０１９などがある。

また、自車両１００の周辺環境情報の立体物情報としては、自車両１００が走行している道路脇に存在する標識Ａ１０２１、標識Ｂ１０２２、標識Ｃ１０２５、標識Ｃ１０２７、信号機Ａ１０２３、信号機Ｂ１０２８、地物Ａ１０２４、地物Ｂ１０２６などがある。また、それ以外の移動体としては、他車両１００１、１００２、１００４、１００６、歩行者１００３、１００５などが存在する。

上記の移動体は、時々刻々と変化するが、既に述べたように、路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであり、このような路面のペイントや標識、信号機の位置を地図上の情報として周辺環境記憶手段６２に記憶させておく。

これによって、自車両１００が走行中に、自車両１００の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両１００の周辺環境の路面情報として、自車両１００が走行している車線の両脇のレーンマーカー、停止線、横断歩道などの位置を取得することが可能であり、自車両１００の周辺環境の立体物情報として、自車両１００が走行している道路脇に存在する標識、信号機、地物などの位置や大きさ、高さの情報を取得することが可能である。

図１６の例では、自車両１００は、位置Ａから位置Ｂへ移動していく。自車両１００が位置Ａの地点では、自車両１００の周辺環境の路面情報として、レーンマーカー１０１１、１０１２、停止線１０１３、横断歩道１０１４、横断歩道１０１５などを、自車両１００の周辺環境の立体物情報として、標識Ａ１０２１、標識Ｂ１０２２、信号機Ａ１０２３、地物Ａ１０２４などの位置や大きさを画像認識装置８０−１〜８０−４で検知することが可能である。

また、この位置Ａの地点にて、周辺情報記憶手段６２に記憶している路面情報と立体物情報を取得することができるため、この位置Ａにおける画像認識装置８０−１〜８０−４で検知した路面情報と周辺環境記憶手段６２に記憶した路面情報の類似度合と、画像認識装置８０−１〜８０−４で検知した立体物情報と周辺環境記憶手段６２に記憶した立体物情報の類似度合を記憶しておくことが可能である。

そして、自車両１００が移動し、位置Ｂにおいても同様に、自車両１００の周辺環境の路面情報として、レーンマーカー１０１６、１０１７、停止線１０１８、横断歩道１０１９などを、自車両１００の周辺環境の立体物情報として、標識Ｃ１０２５、標識Ｄ１０２７、信号機Ｂ１０２８、地物Ｂ１０２６などの位置や大きさを画像認識装置８０−１〜８０−４で検知することが可能である。

また、この位置Ｂの地点にて、周辺情報記憶手段６２に記憶している路面情報と立体物情報を取得することができるため、この位置Ｂにおける画像認識装置８０−１〜８０−４で検知した路面情報と周辺環境記憶手段６２に記憶した路面情報の類似度合と、画像認識装置８０−１〜８０−４で検知した立体物情報と周辺環境記憶手段６２に記憶した立体物情報の類似度合を記憶しておくことが可能である。このように自車両１００が移動する過程で、複数の位置における路面情報に関する類似度合と、立体物情報に関する類似度合を記憶しておき、これら複数の位置における類似度合の情報を用いて、現在の立体物や路面に関する類似度合を最終的に求めることが可能である。

このように、複数の位置における類似度合の情報を記憶して最終的な立体物や路面に関する類似度合を求めることで、各位置において判定するために利用可能な路面情報（停止線、横断歩道など）や立体物情報（標識、信号機など）が少ない場合でも、複数の位置における利用可能な路面情報（停止線、横断歩道など）や立体物情報（標識、信号機など）を用いることで、判定するために必要なデータ量を増加させることが可能となり、検知性能の判定の信頼性を高めることが可能となる。

図１７は、本実施形態の走行制御システムおいて、周辺環境記憶手段６２に記憶された路面情報と画像認識装置８０−１〜８０−４によって検知された路面情報とから類似度合を判定する一実施例に関する説明図である。

周辺環境記憶手段６２に記憶された路面情報としては、図１７の例に示すように、左右のレーンマーカー、停止線、横断歩道などの路面ペイント情報がある。これらの情報は、自車両の位置によって変化していく。自車両１００が、ある位置において、画像認識装置８０−１〜８０−４によって自車両１００周辺の路面情報を検知すると、検知した位置と種別に対応した周辺環境記憶手段６２に記憶された路面情報と比較を行う。

例えば、図１７の例では、自車両１００の前方ｘ[m]先の右側のレーンマーカーに関して、画像認識装置８０−１〜８０−４が検知し、周辺環境記憶手段６２に記憶された路面情報として同様な情報がある場合は、類似判定結果として１を設定する。同様に、自車両１００の前方ｘ[m]先の左側のレーンマーカーに関して、画像認識装置８０−１〜８０−４が検知し、周辺環境記憶手段６２に記憶された路面情報として同様な情報がある場合は、類似判定結果として１を設定する。

また、周辺環境記憶手段６２に記憶された路面情報として自車両１００の前方ｋ[m]先に停止線Ａがあるが、画像認識装置８０−１〜８０−４は、自車両１００の前方の同様な位置には、停止線を検知できなかった場合は、類似判定結果として０を設定する。

更に、周辺環境記憶手段６２に記憶された路面情報として自車両１００の前方Ｌ[m]先に横断歩道Ａがあり、画像認識装置８０−１〜８０−４によって、自車両１００の前方の同様な位置に横断歩道を検知した場合は、類似判定結果として１を設定する。以上のような方法によって、路面情報に関する類似判定結果を求める。これらの結果から類似度合を求める方法としては、類似判定を行った対象物の総数に対する類似判定結果の総和の割合を類似度として設定することが可能である。

つまり、類似判定を行った総数と類似判定結果の総和が同じになると類似度合は１となり、類似判定結果の総和が０であると類似度合は０となる。ここで類似度合を求めるために用いる類似判定を行った対象物は、最新に検知した結果から過去にさかのぼって所定の総数を利用して行うことも可能である。また、現在から過去所定時間内に類似判定を行った全ての対象物としても良い。過去の類似判定結果も利用して類似度合を求めることで、画像認識装置８０−１〜８０−４の検知性能の変化の履歴を捉えることが可能となり、検知性能の低下を判定することができるという効果もある。

図１８は、本実施形態の走行制御システムおいて、周辺環境記憶手段６２に記憶された立体物情報と画像認識装置８０−１〜８０−４によって検知された立体物情報とから類似度合を判定する一実施例に関する説明図である。

周辺環境記憶手段６２に記憶された立体物情報としては、図１８の例に示すように、信号機、標識、立体物などの道路周辺の立体物情報がある。これらの情報は、自車両の位置によって変化していく。自車両１００が、ある位置において、画像認識装置８０−１〜８０−４によって自車両１００周辺の立体物情報を検知すると、検知した位置と種別に対応した周辺環境記憶手段６２に記憶された立体物情報と比較を行う。

例えば、図１８の例では、自車両１００の前方ｘ[m]先の信号機Ａに関して、画像認識装置８０−１〜８０−４が信号機Ａを検知し、周辺環境記憶手段６２に記憶された立体物情報として同様な信号機の情報がある場合は、類似判定結果として１を設定する。自車両１００の前方ｙ[m]先の標識Ｂに関して、画像認識装置８０−１〜８０−４が検知し、周辺環境記憶手段６２に記憶された立体物情報として同様な標識情報がある場合は、類似判定結果として１を設定する。

そして、周辺環境記憶手段６２に記憶された立体物情報として自車両１００の前方ｚ[m]先に標識Ａがあるが、画像認識装置８０−１〜８０−４は、自車両１００の前方の同様な位置には、標識Ａを検知できなかった場合は、類似判定結果として０を設定する。

以上のように周辺環境記憶手段６２に記憶された各立体物情報と自車両１００の画像認識装置８０−１〜８０−４による検知結果を比較することで、類似判定結果として、０あるいは１を設定する。以上のような方法によって、立体物情報に関する類似判定結果を求める。これらの結果から類似度合を求める方法としては、類似判定を行った対象物の総数に対する類似判定結果の総和の割合を類似度として設定することが可能である。つまり、類似判定を行った総数と類似判定結果の総和が同じになると類似度合は１となり、類似判定結果の総和が０であると類似度合は０となる。

ここで類似度合を求めるために用いる類似判定を行った対象物は、最新に検知した結果から過去にさかのぼって所定の総数を利用して行うことも可能である。また、現在から過去所定時間内に類似判定を行った全ての対象物としても良い。過去の類似判定結果も利用して類似度合を求めることで、画像認識装置８０−１〜８０−４の検知性能の変化の履歴を捉えることが可能となり、検知性能の低下を判定することができるという効果もある。

なお、画像認識装置８０−１〜８０−４全体で周辺の路面や立体物を検知して、全体としての第１類似度合や第２類似度合を求めることも可能であり、画像認識装置８０−１〜８０−４の個々の検知可能領域毎に、類似度合を求め、画像認識装置の個別の第１類似度合、第２類似度合を求め、各画像認識装置の検知性能の変化を求めることも可能である。

図１９は、本実施形態の走行制御システムにおいて、第１類似度合と第２類似度合に応じて画像認識装置８０−１〜８０−４の性能を通知する一実施例に関する説明図である。図１９は、上から第１類似度合、第２類似度合、路面情報検知警報、立体物情報検知警報の時間変化を示した例である。

第１類似度合と第２類似度合に関しては、それぞれ、判定値Ｊ１１、Ｊ１２と判定値Ｊ２１、Ｊ２２を設定する。また、路面情報検知警報、立体物情報検知警報に関しては、路面情報検知や立体物情報検知が低下していることを表示する警告表示モードと路面情報検知や立体物情報検知が低下して、路面情報検知結果や立体物情報検知結果を用いて走行制御を行うことは困難であることを表示する制御解除モードの２つがある。

図１９では、路面情報に関する第１類似度合が低下していく場合の例である。第１類似度合は時間とともに低下し、時刻ｔ１にて判定値Ｊ１１を下回っている。第１類似度合が判定値Ｊ１１を下回った時刻ｔ１にて、路面情報検知警報では、警告表示モードとなり、路面情報検知が低下していることを表示する。そして、そのまま、路面情報に関する第１類似度合が低下し、時刻ｔ２にて判定値Ｊ１２を下回っている。第１類似度合が判定値Ｊ１２を下回った時刻ｔ２にて、路面情報検知警報では、制御解除モードとなり、路面情報検知が低下して路面情報検知結果を用いた走行制御を継続することが困難であること表示し、実際に、路面情報検知結果を用いた走行制御を解除する。

本実施例では、路面情報検知警報に関する例を示したが、立体物情報検知警報に関しても同様である。また、第１類似度合と第２類似度合を用いて説明したが、第１類似度合から演算された路面検知性能の指標や第２類似度合から演算された立体物検知性能の指標を代わりに用いても同様である。

以上のように、類似度合の低下や検知性能の指標から検知性能の低下の判定と表示を行い、検知性能の低下の判定と表示を行った後に、検知性能低下に伴う走行制御の解除を行うことで、ドライバに対して急激に制御を解除することがないため、検知性能の低下に伴う制御の解除に対してもドライバは事前に対応することができるという効果がある。

図２０は、本発明の走行制御システムにおいて、第１類似度合と第２類似度合に応じて走行制御装置６０の走行制御を変更する一実施例に関する説明図である。図２０（Ａ）は、第１類似度合、第２類似度合、走行制御装置６０の実行する制御モードの時間変化を示している。また、図２０（Ｂ）は、（Ａ）とは異なるシーンにおける第１類似度合、第２類似度合、走行制御装置６０の実行する制御モードの時間変化を示している。

図１９と同様に、図２０（Ａ）、（Ｂ）に示す第１類似度合と第２類似度合に関しては、それぞれ、判定値Ｊ１１、Ｊ１２と判定値Ｊ２１、Ｊ２２を設定する。また、走行制御装置６０は、制御モードとして、モードＡ、モードＢ、モードＣ、キャンセルの４つのモードを有しているとする。ここで、モードＡ、Ｂ、Ｃ、キャンセルの例としては、モードＡは、自車両１００の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御と自車両１００の前方の移動体や障害物を検知して衝突を回避する制御を融合した自動走行制御モード、モードＢは、自車両１００の前方の移動体や障害物を検知して衝突を回避する制御モード、モードＣは、自車両１００の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御モード、キャンセルは、全ての自動運転や運転支援モードを解除する。

図２０（Ａ）の例について説明する。図２０（Ａ）では、先ず、自車両１００の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御と自車両１００の前方の移動体や障害物を検知して衝突を回避する制御を融合した自動走行制御モード（モードＡ）で走行し、路面情報に関する第１類似度合が低下していく場合の例である。図２０（Ａ）に示すように、第１類似度合は時間とともに低下し、時刻ｔ１にて判定値Ｊ１１を下回る。時刻ｔ１で判定値Ｊ１１を下回ると、路面検知性能の低下していることをドライバへ表示するが、制御モードは変化せず、モードＡを維持する。そして、更に、路面情報に関する第１類似度合が低下し、時刻ｔ２にて判定値Ｊ１２を下回ると、路面検知性能が低下して、路面検知に基づいた制御を維持することは困難であると判定される。その結果、自車両１００の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御を維持できなくなり、自車両１００の前方の移動体や障害物を検知して衝突を回避する制御のみが維持可能と判定され、制御モードは、モードＡからモードＢへ遷移する。画像認識装置８０−１〜８０−４の検知性能の低下でモードＡからモードＢへ遷移した場合、遷移後に所定時間経過すると時刻ｔ３にて、画像認識装置８０−１〜８０−４の検知性能の低下にてモード遷移していることから全ての自動制御を解除するキャンセルのモードへ遷移する。

次に、図２０（Ｂ）の例について説明する。図２０（Ｂ）では、先ず、自車両１００の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御と自車両１００の前方の移動体や障害物を検知して衝突を回避する制御を融合した自動走行制御モード（モードＡ）で走行し、立体物情報に関する第２類似度合が低下していく場合の例である。図２０（Ｂ）に示すように、第２類似度合は時間とともに低下し、時刻ｔ１にて判定値Ｊ２１を下回る。時刻ｔ１で判定値Ｊ２１を下回ると、立体物検知性能の低下していることをドライバへ表示するが、制御モードは変化せず、モードＡを維持する。そして、更に、立体物情報に関する第２類似度合が低下し、時刻ｔ２にて判定値Ｊ２２を下回ると、立体物検知性能が低下して、立体物検知に基づいた制御を維持することは困難であると判定される。その結果、自車両１００の前方の移動体や障害物を検知して衝突を回避する制御を維持できなくなり、自車両１００の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御のみが維持可能と判定され、制御モードは、モードＡからモードＣへ遷移する。画像認識装置８０−１〜８０−４の検知性能の低下でモードＡからモードＣへ遷移した場合、遷移後に所定時間経過すると時刻ｔ３にて、画像認識装置８０−１〜８０−４の検知性能の低下にてモード遷移していることから全ての自動制御を解除するキャンセルのモードへ遷移する。

本実施例では、第１類似度合と第２類似度合を用いて説明したが、第１類似度合から演算された路面検知性能の指標や第２類似度合から演算された立体物検知性能の指標を代わりに用いても同様である。

以上のように、類似度合の低下や検知性能の指標から検知性能の低下の判定と表示を行い、検知性能の低下の判定と表示を行った後に、検知性能低下に伴う走行制御の解除を行うことで、ドライバに対して急激に制御を解除することがないため、検知性能の低下に伴う制御の解除に対してもドライバは事前に対応することができるという効果がある。また、路面検知性能、立体物検知性能のいずれかが低下した場合は、性能が先に低下した検知結果を用いた制御を最初に解除し、その次に、もう一方の検知結果を用いた制御を解除することで、ドライバに余裕を持たせて全体の制御を解除することが可能になる。

１０ 原動機
２０ 変速機
３０ 原動機制御装置
４０ 制動制御装置
５０ 通信装置
６０ 走行制御装置
６１ 性能判定手段
６２ 周辺環境記憶手段
６３ 車両制御手段
６４ 操作量演算手段
６５ 表示装置
６６ 警報手段
６７ 画像認識記憶装置
６８ 自己位置記憶手段
８０−１ 画像認識装置
８０−２ 画像認識装置
８０−３ 画像認識装置
８０−４ 画像認識装置
９０ 制動装置
１００ 車両、自車両
１１０ 警報装置
１２０ 表示装置
６１１ 類似度演算手段
６１２ 性能定量化手段
６１３ 第１類似度演算手段
６１４ 第２類似度演算手段
６２１ 路面特徴量記憶手段
６２２ 立体物特徴量記憶手段

Claims (20)

1. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させ、
   前記周辺環境記憶手段に記憶される比較対象物と、前記画像認識手段によって検出した対象物との類似度合を求め、該類似度合に基づき、前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする走行制御システム。
2. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させ、
   前記車両が異なる複数の地点にて、前記画像認識手段が検出した対象物と、前記周辺環境記憶手段に記憶される前記異なる複数の地点に対応した比較対象物との類似度合を算出し、該類似度合から前記画像認識手段の検知性能を判定し、該検知性能に基づいて前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする走行制御システム。
3. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記画像認識手段の検知性能の状態を通知し、
   前記周辺環境記憶手段に記憶される比較対象物と、前記画像認識手段によって検出した対象物との類似度合を求め、該類似度合に基づき、前記画像認識手段の検知性能を判定し、前記画像認識手段の検知性能の状態を通知することを特徴とする走行制御システム。
4. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、 前記画像認識手段の検知性能の状態を通知し、
   前記車両が異なる複数の地点にて、前記画像認識手段が検出した対象物と、前記周辺環境記憶手段に記憶される前記異なる複数の地点に対応した比較対象物との類似度合を算出し、該類似度合から前記画像認識手段の検知性能を判定し、前記画像認識手段の検知性能の状態を通知することを特徴とする走行制御システム。
5. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させ、
   前記周辺環境記憶手段は、道路の路面に関する特徴量を記憶する路面情報記憶手段と、
   道路周辺の立体物に関する特徴量を記憶する立体物情報記憶手段とを有することを特徴とする走行制御システム。
6. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記画像認識手段の検知性能の状態を通知し、
   前記周辺環境記憶手段は、道路の路面に関する特徴量を記憶する路面情報記憶手段と、
   道路周辺の立体物に関する特徴量を記憶する立体物情報記憶手段とを有することを特徴とする走行制御システム。
7. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させ、
   前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を求め、該２つの類似度合に応じて、前記走行制御装置によって操舵制御を変更することを特徴とする走行制御装置。
8. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、 前記画像認識手段の検知性能の状態を通知し、
   前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を求め、該２つの類似度合に応じて、前記走行制御装置によって操舵制御を変更することを特徴とする走行制御装置。
9. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
   前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
   前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させ、
   前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を求め、該２つの類似度合に応じて、前記走行制御装置によって加減速制御を変更することを特徴とする走行制御装置。
10. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
    前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
    前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記画像認識手段の検知性能の状態を通知することを
    前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を求め、該２つの類似度合に応じて、前記走行制御装置によって加減速制御を変更することを特徴とする走行制御装置
11. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
    前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
    前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させ、
    前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を出力することを特徴とする走行制御システム。
12. 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
    前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
    前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記画像認識手段の検知性能の状態を通知し、
    前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を出力することを特徴とする走行制御システム。
13. 請求項１ないし４に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段は、道路の路面に関する特徴量を記憶する路面情報記憶手段と、道路周辺の立体物に関する特徴量を記憶する立体物情報記憶手段とを有することを特徴とする走行制御システム。
14. 請求項１ないし４に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を求め、該２つの類似度合に応じて、前記走行制御装置によって操舵制御を変更することを特徴とする走行制御装置。
15. 請求項１ないし４に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を求め、該２つの類似度合に応じて、前記走行制御装置によって加減速制御を変更することを特徴とする走行制御装置。
16. 請求項１ないし４に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第１類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第２類似度合の２つの類似度合を出力することを特徴とする走行制御システム。
17. 請求項１ないし１６に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段は、自車両が過去に通過した道路において、前記自車両の前記画像認識手段によって検出した自車両周辺の環境情報を記憶したものであることを特徴とする走行制御システム。
18. 請求項１ないし１６に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段は、道路周辺に設置された外界認識センサで検出した周辺環境の情報を自車両が有する通信装置によって受信し、記憶したものであることを特徴とする走行制御システム。
19. 請求項１ないし１６に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段は、自車両以外の車両が検出した周辺環境の情報を前記自車両が有する通信装置によって受信し、記憶したものであることを特徴とする走行制御システム。
20. 請求項１７ないし１９に記載のいずれかの走行制御システムであって、
    前記周辺環境記憶手段は、前記自車両が過去に通過した道路において前記自車両の前記画像認識手段によって検出した自車両周辺の環境情報、あるいは、道路周辺に設置された外界認識センサで検出した周辺環境の情報、あるいは、自車両以外の車両が検出した周辺環境の情報を取得し、前記情報を記憶したデータセンタから前記自車両が有する通信装置によって受信して、記憶したものであることを特徴とする走行制御システム。

Images