JP6133861B2 - 状態認識システム及び状態認識方法 - Google Patents

Description

参照による取り込み

本出願は、平成２４年（２０１２年）７月３日に出願された日本出願である特願２０１２−１４９３２２の優先権を主張し、その内容を参照することにより、本出願に取り込む。

本発明は、状態を認識するシステムに関し、特に、車両に搭載され、路面の状態を認識するシステムに関する。

車両の電子制御技術の進歩に伴い、路面の状態を的確に判定する技術が求められている。路面の状態を判定することは、自動車等の車両の安全走行の上で好ましいものである。

例えば、特開２０１１−１７４７９４号は、カメラで撮影された画像についてガボールフィルタ処理して、短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得る。この両データから正規化処理して、正規化値を所定のしきい値と比較することにより、路面の乾湿状態を判定する技術を開示する。

前述した特開２０１１−１７４７９４号に記載された技術では、路面テクスチャの周波数解析結果に基づいて路面の乾湿状態を判定するので、テクスチャが明瞭に見えない悪天候や暗夜において、路面の状態を判定することは困難である。また、車外に設置される車載カメラに応用する場合、レンズに汚れが付着しやすいため、路面の状態を判定することが困難である。

本発明は、このような路面状態を明瞭に観測できない状況においても、走行路の状態がオンロードであるかオフロードであるかを好適に判別することを目的とする。

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、車両が走行する走行路の状態を認識する状態認識システムであって、車両に搭載されたカメラによって撮影された画像から前記走行路の路面の特徴を解析する路面解析部と、前記路面解析部で解析された特徴から得られた路面情報に基づいて、前記走行路がオンロードかオフロードかを判別する走行路判別部と、を有し、前記走行路判別部は、前記路面情報が、実線レーン、周期レーン及び路面ペイントのいずれかを示す情報である場合、前記走行路がオンロードであると判別する。

本発明の代表的な実施の形態によれば、路面状態を明瞭に観測できない状況においても好適に走行路の種別を判別することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

本発明の第１の実施例の外界認識システムの構成を示すブロック図である。 本発明の第１の実施例の路面解析部の構成を示すブロック図である。 本発明の第１の実施例の外界認識システムに入力される画像の例を説明する図である。 本発明の第１の実施例の走行路判別部が実行する処理のフローチャートである。 本発明の第２の実施例の外界認識システムの構成を示すブロック図である。 本発明の第２の実施例の走行路判別部が実行する処理のフローチャートである。 本発明の第３の実施例の外界認識装置を搭載した車両の情報系の構成を示すブロック図である。

＜実施例１＞
図１は、本発明の第１の実施例の外界認識システム１の構成を示すブロック図である。

本実施例の外界認識システム１は、プロセッサ（ＣＰＵ）１０１、メモリ１０２及び入出力インターフェース１０３を有し、これらの構成がバスで接続された計算機である。

プロセッサ１０１は、メモリ１０２に格納されたプログラムを実行する演算装置である。

メモリ１０２は、例えば、フラッシュメモリのような不揮発性の記憶装置やＤＲＡＭ（Dynamic Random Access Memory）のような高速かつ揮発性の記憶装置であり、オペレーティングシステム（ＯＳ）及びアプリケーションプログラムを格納する。プロセッサ１０１が、オペレーティングシステムを実行することによって、計算機の基本機能が実現され、アプリケーションプログラムを実行することによって、外界認識システム１が提供する機能が実現される。

プロセッサ１０１が、所定のプログラムを実行することによって、街灯解析部２０１、路面解析部２０２、走行路判別部２０３、レンズ診断部２０４が外界認識システム１に実装される。

外界認識システム１へ入力される画像を撮影する車載カメラは、画角が広い広角カメラ又は画角が狭く遠方まで撮像できる狭角カメラであり、車両の前方又は後方に取り付けられる。一般に、車両の後方に取り付けられるカメラの方が、車両による泥や雪の跳ね上げの影響を受けやすく、そのレンズが汚れやすいので、本実施例を適用することによる効果が高い。

街灯解析部２０１は、入力された画像の地平線より上（空）の領域において、所定の輝度より明るい高輝度領域を抽出することによって、走行路の周囲の灯火（街灯、周囲の建物の灯り）を解析する。街灯解析部２０１は、昼夜判定機能を有しており、夜間のみ動作するように制御される。なお、昼夜判定機能は、入力された画像の明るさや、画像を撮影するカメラの露光制御（Auto Exposure）情報によって、昼か夜かを判定することができる。

路面解析部２０２は、入力された画像中から路面の特徴を抽出し、路面の特徴量及び認識結果を路面情報として出力する。路面解析部２０２の構成の詳細は、図２を用いて後述する。走行路判別部２０３は、街灯解析部２０１が解析した灯火情報と路面解析部２０２が解析した路面情報とレンズ診断部２０４が診断したレンズ状態とに基づいて、走行路の状態がオンロードであるかオフロードであるかを判別する。すなわち、走行路判別部２０３は、灯火情報及び路面情報を時系列に解析することによって、走行路がオンロード（舗装路）であるか、オフロード（未舗装路、泥道、雪道、草原、砂漠など）であるかを判別する。走行路判別部２０３における処理の詳細は、図３を用いて後述する。

レンズ診断部２０４は、画像情報と走行路状態に基づいてレンズ状態を診断するものであり、汚れ抽出部２０４１及び汚れ判定部２０４２を有する。代表的なレンズ汚れには、水滴、泥、雪、水滴痕などがあり、汚れ抽出部２０４１はこれら汚れであると疑われる領域（付着物候補領域）を抽出する。例えば、入力された画像内のエッジ、色、形状、大きさ、及び時間変化によって付着物候補領域を抽出する。

汚れ判定部２０４２は、走行路判別部２０３によって判別された走行路状態に基づいて、抽出された付着物候補領域の種別を判定し、判定された付着物候補領域の種別と付着物の量とをレンズ状態情報として出力する。例えば、夜間においては水滴と泥水との判別が困難であるため、走行路状態に基づいて、より高精度の判別を実現する。オンロードにおいて水滴又は泥水らしい付着物を検出した場合は、その付着物を水滴であると判定する。一方、オフロードにおいて水滴又は泥水らしい付着物を検出した場合、その付着物を泥水であると判定する。これによって、レンズ汚れとしての影響が大きい泥水をより適切に判別する。

外界認識システム１は、二次記憶装置を有してもよい。二次記憶装置は、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置であり、プロセッサ１０１によって実行されるプログラム及びプログラム実行時にプロセッサ１０１が使用するデータを格納してもよい。この場合、プログラムは、二次記憶装置から読み出され、メモリ１０２にロードされて、プロセッサ１０１によって実行される。

入出力インターフェース１０３は、ＵＳＢなどのデータを入出力するインターフェースである。入出力インターフェース１０３は、車内ネットワークに接続される通信インターフェースを含んでもよい。

なお、プロセッサ１０１によって実行されるプログラムは、不揮発性の記憶媒体又はネットワークを介して計算機に提供される。このため、計算機は、記憶媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）を読み込むインターフェースを備えるとよい。

図２は、第１の実施例の路面解析部２０２の構成を示すブロック図である。

路面解析部２０２は、実線レーン特徴抽出部２０２０、実線レーン有無判定部２０２１、周期レーン特徴抽出部２０２２、周期レーン有無判定部２０２３、路外特徴抽出部２０２４、路外安定性有無判定部２０２５、路面ペイント特徴抽出部２０２６、路面ペイント有無判定部２０２７、路面色特徴抽出部２０２８及び路面被覆有無判定部２０２９を有する。これらの構成が路面を解析することによって、悪天候や暗夜においても走行路状態を好適に判別する。

実線レーン特徴抽出部２０２０は、左右のレーン解析領域の画像から実線の成分を抽出し、抽出された実線の直線度合い及び色を解析し、実線レーンの特徴量を出力する。実線レーン有無判定部２０２１は、実線レーン特徴量に基づいて、実線レーンの有無を判定し、実線レーンが存在する確率を示す実線レーン情報を出力する。

周期レーン特徴抽出部２０２２は、左右のレーン解析領域の画像から周期性を有する形状（破線など）を抽出し、抽出された形状の周期性を解析し、周期レーンの特徴量を出力する。周期レーン有無判定部２０２３は、周期レーン特徴量に基づいて、周期レーンの有無を判定し、周期レーンが存在する確率を示す周期レーン情報を出力する。

なお、レーンは、実線タイプ（白色、黄色）と、周期タイプ（破線、ボッツドッツなど）に大別することができ、実線レーン特徴抽出部２０２０及び周期レーン特徴抽出部２０２２は、各々、異なる特徴量を抽出する。なお、実線レーン及び／又は周期レーンが検出されれば、オンロード（舗装路）である可能性が高い。

路外特徴抽出部２０２４は、左右の路外解析領域の画像の特徴量（輝度など）を抽出し、路外特徴量を出力する。路外安定性有無判定部２０２５は、出力された路外特徴量の時系列変化（周期性、安定性）を解析して、路外の物体が人工物であるのか、草、雪、泥などの自然物であるのかを判定し、路外の物体が人工物である確率を示す路外情報を出力する。例えば、路外解析領域の輝度が時系列で変化しない場合、路外には路側帯が設けられていると判定することができる。また、路外解析領域の輝度が周期的に変化する場合、路外には人工物（例えば、ガードレール、防音壁など）が設置されていると判定することができる。なお、路外に人工物が検出されれば、オンロード（舗装路）である可能性が高い。路外に自然物が検出されれば、オフロード（未舗装路）である可能性が高い。

路面ペイント特徴抽出部２０２６は、左右のレーン解析部の間の領域で、路面ペイント（例えば、横断歩道、停止線、制限速度の文字ペイントなど）の特徴を抽出する。路面ペイント有無判定部２０２７は、路面ペイントの特徴量を解析して、路面ペイントの有無を判定し、路面ペイントが存在する確率を示す路面ペイント情報を出力する。なお、路面ペイントが検出されれば、オンロード（舗装路）である可能性が高い。

路面色特徴抽出部２０２８は、画像の色の比率を判定する。路面被覆有無判定部２０２９は、判定された画像の色によって、路面が被覆されているかを判定し、路面が被覆されている確率を示す路面被覆情報を出力する。例えば、画像中の色が白が支配的である場合、路面を雪が被覆している可能性が高い。

図３は、第１の実施例の外界認識システム１に入力される画像の例を説明する図である。

第１の実施例の外界認識システム１には、車載カメラから画像が入力される。車載カメラは、画角が広い広角カメラ又は画角が狭く遠方まで撮像できる狭角カメラであり、車両の前方又は後方に取り付けられる。図３は、広角カメラが取得した画像を例示している。

車載カメラから入力される画像の上部には、車体及び／又は遮光板が写り込んだ領域４０１があり、また、下部には車体が写り込んだ領域４０２がある。また、画像の左右には車両が走行するレーンを解析するためのレーン解析領域４０３が設けられる。さらに、レーン解析領域の左右外側には走行路の外側の状態を解析するための路外解析領域４０４が設けられる。

舗装路では、図３に示すような、実線レーン４１１、周期レーン４１２、路面ペイント４１３、街灯４１４、安定した路側部などの特徴が現れることが多い。一方、未舗装路では、これらの特徴が現れることは少ない。これらの特徴は、走行路がオンロードであるかオフロードであるかを判別するための好適な特徴であり、悪天候や暗夜においても明瞭さを大きく失うことなく抽出することができる。

図４は、第１の実施例の走行路判別部２０３が実行する処理のフローチャートである。

まず、走行路判別部２０３は、レンズ診断部２０４が出力したレンズ状態情報を用いて、走行路の判別が可能なレンズ状態か否かを判定する（Ｓ１０１）。例えば、路面がほとんど見えないレンズ状態であれば、誤ってオフロードと判定される可能性が高まるため、走行路の判別が不可能であると判定する。ここで、走行路の判別が可能なレンズ状態と判定された場合、走行路判別部２０３は、路面解析部２０２が解析した路面情報を用いて、オフロードである確率を計算する（Ｓ１０２）。

例えば、オフロードである確率は、下記のベイズ推定によって求めることができる。具体的には、走行路クラスをＣ（オフロード、オンロード）、路面情報をＮ個のベクトルｘ_ＬＡＮＥ（実線レーン情報、周期レーン情報、路外情報、路面ペイント情報、路面被覆情報・・・）で表すと、路面情報を得た上での走行路クラスの事後確率（オフロードらしさ） ｐ（Ｃ｜ｘ_ＬＡＮＥ）は次式によって求めることができる。

ここで、各路面情報ベクトルに独立性があると仮定すると、事後確率を次式によって計算することができる。

すなわち、走行路クラスから各観測値が得られる確率を事前に学習しておき、それらの積を事前確率に乗じることによって、事後確率を計算することができる。事前確率は任意の値を設定してもよいし、一様分布で与えてもよい。

上記は観測データの生起確率をモデル化する生成モデルの例であるが、判別関数をモデル化する識別モデルによって走行路クラスを決定してもよい。例えば、サポートベクターマシンやブースティングなどのアルゴリズムを用いて、観測情報を得た上での走行路クラスの確率及び判別結果を求めても構わない。また、隠れマルコフモデル（HMM：Hidden Markov Model）のような時系列生成モデルを用いて、観測情報を得た上での走行路クラスの確率及び判別結果を求めてもよい。

次に、走行路判別部２０３は、街灯解析部２０１が解析した灯火情報ベクトルｘ_{ＬＩＧＨＴ}（高輝度領域面積率、高輝度領域集中度、高輝度領域点数・・・）を用いて、オフロードである確率ｐ（Ｃ｜ｘ_{ＬＩＧＨＴ}）を次式によって計算する（Ｓ１０３）。例えば、高輝度領域の面積率が所定の閾値以上であればオンロードである可能性が高く、高輝度領域の集中度が高い場合は後続車などによるライト直射でありオンロードである可能性が高い、高輝度領域点数が多い場合は街灯や周囲の建物の灯りらしくオンロードである可能性が高い、といった観点によってスコアを求めることができる。

Ｓ１０１において走行路判別が不可能であると判定された場合、上記のｐ（Ｃ｜ｘ_ＬＡＮＥ）及びｐ（Ｃ｜ｘ_{ＬＩＧＨＴ}）の計算も不正確となるため、これらのスコアに規定値を設定する（Ｓ１０４）。例えば、ｐ（Ｃ｜ｘ_ＬＡＮＥ）及びｐ（Ｃ｜ｘ_{ＬＩＧＨＴ}）をゼロに設定し、オンロードであると仮定したうえで後述する処理（Ｓ１０５）に移行する。

その後、走行路判別部２０３は、ステップＳ１０１及びＳ１０２で計算された確率の重み付け和を計算することによって、オフロードスコア即値ｐ（Ｃ｜ｘ_ｔ）を求める（Ｓ１０５）。ここで、αは路面情報の重み、βは灯火情報の重みである。

そして、複数のフレームのオフロードスコアを所定数（一定時間）蓄積し、その平均値又は中央値を求めることによってオフロードスコアの時系列代表値を算出する（Ｓ１０６）。その後、求めたオフロードスコアの時系列代表値が所定の閾値を超えているか否かを判定する（Ｓ１０７）。時系列代表値が閾値を超えていれば、走行路はオフロードであると判定する（Ｓ１０８）。一方、オフロードスコアが所定の閾値以下であれば、走行路はオンロードであると判定する（Ｓ１０９）。

なお、路面情報を用いたオフロード確率、街灯情報を用いたオフロード確率の順に計算したが、この順序は図示したものに限らない。また、路面情報を用いたオフロード確率及び街灯情報を用いたオフロード確率を別に計算した後に、重み付け和を計算することによってオフロードスコアを求めたが、路面情報及び街灯情報を総合的に用いて現フレームのオフロードスコアを求めてもよい。

また、前述したように各路面情報の確率を用いる方法の他に、決定木を用いたルールによってオフロードかオンロードかを判定してもよい。

以上に説明したように、本発明の第１の実施例によると、画像中の灯火を解析する街灯解析部と、画像から路面の特徴を解析する路面解析部とを有するので、空間中及び路面上の二つの特徴を用いて、オンロードであるかオフロードであるかを的確に判定することができる。また、路面解析部で用いる路面情報は、悪天候や暗夜においても明瞭さを大きく失うことのない特徴（実線レーン、周期レーン、路外安定性、路面ペイントなど）であるため、天候や時間帯などによる大きな影響を受けることなく、好適な走行路判定が可能となる。すなわち、走行路状態の誤判定や不判定を大きく低減することができる。

また、レンズ状態に基づいて走行路判別を行うか否かを決定するため、レンズが極めて汚れた状態で無理に判定を行うことを避けることができる。すなわち、レンズ汚れに起因する誤判定や不判定を大きく低減することができる。また、オンロードであるかオフロードであるかの判定結果を用いて、レンズの汚れやすさを的確に判定することができる。例えば、レンズへの付着物のうち水滴と泥水との判別は困難であるため、オンロードであるかオフロードであるかの判定結果を用いて、レンズの付着物の種類を推定することができる。

＜実施例２＞
次に、本発明の第２実施例について説明する。

図５は、本発明の第２の実施例の外界認識システム１の構成を示すブロック図である。

第２の実施例の外界認識システム１は、前述した第１の実施例の外界認識システム１と異なり、オフロードかオンロードかの判定に、車載センサからの情報を併用する点が異なる。このため、第２の実施例の外界認識システム１は、車両挙動解析部２０５を有する。なお、第２の実施例では、前述した第１の実施例と同じ構成及び処理には同じ符号を付し、それらの説明は省略する。

第２の実施例の外界認識システム１が搭載される車両には、複数の車載センサ(例えば、車速センサ、操舵角センサ、加速度センサ、ヨーレートセンサ、車輪速センサなど）が搭載される。このため、外界認識システム１は、様々な車載センサから出力される情報を利用することができる。例えば、車載センサ情報として、車速センサから出力される車速、操舵角センサから出力される操舵角、加速度センサから出力される横加速度及び前後加速度、ヨーレートセンサから出力されるヨーレート、車輪速センサから出力される車輪速などを利用することができる。さらに、車載センサ情報として、アンチロックブレーキングシステム（ＡＢＳ）、トラクションコントロールシステム（ＴＣＳ）、ビークルダイナミクスコントロール（ＶＤＣ）などの各種制御システムの動作情報を利用することができる。また、前述したような、一般的に車両に搭載されるセンサから得られる情報の他に、車の沈み込みを測定する車高センサ、縦方向の揺れを測定する加速度センサを用いてピッチング量を取得し、これらの車載センサ情報を利用してもよい。さらに、前述した以外のセンサからの情報を利用してもよい。

車両挙動解析部２０５は、プロセッサ１０１が、所定のプログラムを実行することによって実装される。車両挙動解析部２０５は、車載センサから出力される情報を解析して、車両の挙動を示す車両挙動情報を走行路判別部２０３に出力する。

ここで、車両挙動解析部２０５は路面解析部２０２に車両挙動情報を出力し、路面解析部２０２は車両挙動解析部２０５に路面情報を出力する。例えば、路面解析部２０２が出力する実線レーン情報及び周期レーン情報と、車両挙動解析部２０５が出力する舵角情報との両方を用いることによって、レーンチェンジを高精度に検出することができる。さらに、路面解析部２０２は、車両挙動解析部２０５から取得した車速に基づいて、周期レーン特徴抽出部２０２２が抽出した特徴量（周期性）が妥当であるかを判定することができる。このように、双方の情報を共有することにより、オンロードと判定できる情報の精度を高めることができ、好適に走行路を判別することができる。

走行路判別部２０３は、街灯解析部２０１が解析した灯火情報と、路面解析部２０２が解析した路面情報と、車両挙動解析部２０５が解析した車両挙動情報と、レンズ診断部２０４が診断したレンズ状態とに基づいて、走行路の状態がオンロードであるかオフロードであるかを判別する。すなわち、走行路判別部２０３は、灯火情報、路面情報及び車両挙動情報を時系列に解析することによって、走行路がオンロードであるか、オフロードであるかを判別する。走行路判別部２０３における処理の詳細は、図６を用いて後述する。

図６は、第２の実施例の走行路判別部２０３が実行する処理のフローチャートである。

第２の実施例の走行路判別部２０３は、灯火情報及び路面情報に加え、車両挙動解析部２０５が解析した車両挙動情報に基づいて、走行路の状態を判定する。このため、ステップＳ１１０が追加される。

走行路判別部２０３は、ステップＳ１０３において、灯火情報を用いてオフロードである確率を計算した後、車両挙動情報を用いて、オフロードである確率を計算する（Ｓ１１０）。

例えば、車速が極めて高い（例えば、１００ｋｍ／ｈを超える）場合、高速道路を走行していることが推定され、オンロード（舗装路）である可能性が高い。また、走行中に大きな舵角が継続して検出される場合、すなわち旋回半径が小さい場合、交差点を曲がっている、又は駐車場のような場内を周回していると推定され、オンロードである可能性が高い。また、車速のばらつき及び／又は舵角のばらつきが大きい場合、オフロードである可能性が高い。さらに、車輪速のばらつきが大きい場合、各車輪のグリップが異なっていることが推定され、オフロードである可能性が高い。また、横加速度が大きい場合、横揺れが大きいので、オフロード（未舗装路）である可能性が高い。また、大きな前後加速度が検出される場合、頻繁に加速・減速が行われているので、オフロード（未舗装路）である可能性が高い。また、ＡＢＳ、ＴＣＳ、ＶＤＣが頻繁に作動している場合、路面のグリップ（摩擦）が低いと推定され、オフロード（未舗装路）である可能性が高い。さらに、大きなピッチングが検出される場合、縦揺れが大きいので、オフロード（未舗装路）である可能性が高い。これらの知識を確率モデルで記述するために、車両情報ベクトルをｘ_{ＶＥＨＩＣＬＥ}で表し、オフロードである確率ｐ（Ｃ｜ｘ_{ＶＥＨＩＣＬＥ}）を次式によって計算する（Ｓ１１０）。

その後、走行路判別部２０３は、ステップＳ１０２、Ｓ１０３、Ｓ１１０で計算された確率の重み付け和を計算することによって、オフロードスコア即値ｐ（Ｃ｜ｘ_ｔ）を求める（Ｓ１０５）。ここで、αは路面情報の重み、βは灯火情報の重み、γは車両挙動情報の重みである。

その後の判定方法は、前述した第１の実施例と同じであるため、説明は省略する。

なお、路面情報を用いたオフロード確率、街灯情報を用いたオフロード確率、車両挙動情報を用いたオフロード確率の順に計算したが、この順序は図示したものに限らない。また、路面情報を用いたオフロード確率、街灯情報を用いたオフロード確率及び車両挙動情報を用いたオフロード確率を別に計算した後に、重み付け和を計算することによってオフロードスコアを求めたが、路面情報、街灯情報及び車両挙動情報を総合的に用いてオフロードスコア即値を求めてもよい。

例えば、路面情報、街灯情報、車両挙動情報の中には確率モデルの記述に適した曖昧な情報（単独の情報だけでは走行路を断定できず組み合わせで効力を発揮する情報）と、確率モデルの記述に適さない情報（単独の情報だけで走行路を断定できる決定的な情報）とがある。このため、路面情報、街灯情報、車両挙動情報のうち、確率モデルの記述に適した部分的な情報を選別して路面・街灯・車両挙動情報ベクトルを構成し、前述した方法と同様にオフロードスコア即値を求めてもよい。その後、走行路を断定できる情報を用いてオフロードスコア即値を強制的に書き換えてもよい。例えば、車速が１２０ｋｍ／ｈ以上であればオンロードと断定する、ＴＣＳ／ＶＤＣが作動すればオフロードと断定する、などの処理を追加することによって、より好適に走行路を判別することができる。

以上に説明したように、本発明の第２の実施例によると、車載センサの情報を用いるため、画像情報だけでは判別困難な暗闇や悪天候などの環境やレンズが汚れた状態において、オンロード／オフロードの判定性能をさらに向上させることができる。また、車載センサから得られる判別性能が高い特徴を用いることで、走行路がオンロードなのかオフロードなのかを断定できるケースを増やすことができる。すなわち、走行路状態が正しく判定される率を高めることができる。

＜実施例３＞
次に、本発明の第３実施例について説明する。

図７は、前述した第１又は第２の実施例の外界認識システム１を搭載した車両の情報系の構成を示すブロック図である。

第３の実施例の外界認識システム１は、前述した第１及び第２の実施例の外界認識システム１と、制御部２０６及び物体検出部２０７を有する点が異なる。なお、第３の実施例では、前述した第１又は第２の実施例と同じ構成及び処理には同じ符号を付し、それらの説明は省略する。

入出力インターフェース１０３には、カメラ３０１、車載センサ３０２、及びカーナビゲーションシステム３０３が接続される。カメラ３０１は、画角が広い広角カメラ又は画角が狭く遠方まで撮像できる狭角カメラであり、車両の前方又は後方に取り付けられ、車外の画像を外界認識システム１に提供する。車載センサ３０２は、車速センサ、操舵角センサ、加速度センサ、ヨーレートセンサ、車輪速センサなどであり、車両の挙動の情報を外界認識システム１に提供する。なお、車載センサ３０２は、ＡＢＳ、ＴＣＳ、ＶＤＣなどの各種制御システムを含んでもよい。カーナビゲーションシステム３０３は、自車両の位置と目的地までの経路案内を行うシステムであり、道路種別及び道路幅員などの道路情報を外界認識システム１に提供する。

また、入出力インターフェース１０３には、スピーカ３１１、ディスプレイ３１２、ランプ（ＬＥＤ）３１３及び汚れ除去装置３１４が接続される。

スピーカ３１１、ディスプレイ３１２、ランプ３１３及び汚れ除去装置３１４は、外界認識システム１の制御対象となる装置であり、制御部２０６によって、その動作が制御される。

スピーカ３１１は、電気信号を音に変換する装置である。ディスプレイ３１２は、所定のメッセージを表示する表示装置で、例えば、液晶表示パネル（ＬＣＤ）によって構成される。ランプ３１３は、発光ダイオードなどの発光素子である。これらのスピーカ３１１、ディスプレイ３１２、ランプ３１３は、汚れの量が所定の閾値を超えたことを運転者又は同乗者に報知する報知装置である。

なお、スピーカ３１１、ディスプレイ３１２及びランプ３１３は、物体検出部２０７が検出した衝突物体に関する警告を報知する報知装置としても機能する。

汚れ除去装置３１４は、カメラ３０１のレンズ汚れを除去する装置であり、ワイパー、ウォッシャ、空気噴射装置などである。

制御部２０６及び物体検出部２０７は、プロセッサ１０１が、所定のプログラムを実行することによって実装される。制御部２０６は、制御対象（汚れ除去装置、物体認識部、報知装置）などを制御する。例えば、レンズの付着物の種別及び付着量を求め、汚れの量が所定の閾値を超えた場合、汚れ除去装置（レンズ汚れを除去するワイパー、ウォッシャ、空気噴射装置など）を動作させる。物体検出部２０７は、入力された画像に含まれる、車両の走行に影響する可能性がある物体（車両、二輪車、歩行者など）を抽出する。これによって、自車両と衝突の可能性が高い物体が検出された場合に警告を報知する衝突警告システムを実現することができる。

走行路判別部２０３は、カーナビゲーションシステム３０３から取得した道路の種別に基づいて、走行路がオンロードであるかオフロードであるかを判定してもよい。例えば、現在走行中の道路の種別が高速道路又は一般道路であれば、オンロードであると断定することができる。

物体検出部２０７は、走行路判別部２０３が、オフロード走行中であると判定した場合、衝突物体が存在する可能性が低いので、物体検出に用いる判定閾値を高くしてもよい。

以上に説明したように、本発明の第３の実施例によると、オンロード／オフロードの判定結果に基づいて、的確に衝突物体を検出し、誤検出を抑制することができる。また、オンロード／オフロードの判定結果に基づいて汚れを好適に判別し、汚れ除去を的確に行うことができる。また、カーナビゲーションから得られた道路情報を用いることによって、高い確度で走行路を判定することができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (10)

1. 車両が走行する走行路の状態を認識する状態認識システムであって、
   車両に搭載されたカメラによって撮影された画像から前記走行路の路面の特徴を解析する路面解析部と、
   前記路面解析部で解析された特徴から得られた路面情報に基づいて、前記走行路がオンロードかオフロードかを判別する走行路判別部と、を有し、
   前記走行路判別部は、前記路面情報が、実線レーン、周期レーン及び路面ペイントのいずれかを示す情報である場合、前記走行路がオンロードであると判別することを特徴とする状態認識システム。
2. 請求項１に記載の状態認識システムであって、
   前記画像から昼夜を判定し、夜間に前記画像において所定の輝度より明るい高輝度領域を抽出して、前記走行路の周囲の灯火を解析する灯火解析部をさらに有し、
   前記走行路判別部は、前記灯火解析部が解析した灯火の情報が街灯を示すものである場合、前記走行路がオンロードであると判別することを特徴とする状態認識システム。
3. 請求項１又は２に記載の状態認識システムであって、
   前記車両の走行状態を検出する複数のセンサからの情報に基づいて、前記車両の挙動を解析する車両挙動解析部をさらに有し、
   前記走行路判別部は、前記車両挙動解析部が解析した車両の挙動に基づいて、前記走行路がオンロードかオフロードかを判別することを特徴とする状態認識システム。
4. 請求項１から３のいずれか一つに記載の状態認識システムであって、
   前記カメラによって撮影された画像から前記カメラのレンズの付着物を検出するレンズ診断部をさらに有し、
   前記レンズ診断部は、前記走行路判別部が判別した前記走行路の状態に基づいて、前記付着物が水であるか泥であるかを判別することを特徴とする状態認識システム。
5. 請求項１から３のいずれか一つに記載の状態認識システムであって、
   前記カメラによって撮影された画像から前記カメラのレンズの付着物を検出するレンズ診断部をさらに有し、
   前記走行路判別部は、前記レンズ診断部が検出した前記レンズの付着物の状態に基づいて、前記走行路の判別が可能か否かを判別することを特徴とする状態認識システム。
6. 車両が走行する走行路の状態を車載システムが認識するための状態認識方法であって、
   前記車載システムは、プログラムを実行することによって以下のステップの処理を行うプロセッサと、前記プログラムを格納するメモリとを有し、
   前記方法は、
   前記プロセッサが、車両に搭載されたカメラによって撮影された画像から前記走行路の路面の特徴を解析する路面解析ステップと、
   前記プロセッサが、前記路面解析ステップで解析された特徴から得られた路面情報に基づいて、前記走行路がオンロードかオフロードかを判別する走行路判別ステップと、を含み、
   前記走行路判別ステップでは、前記路面情報が、実線レーン、周期レーン及び路面ペイントのいずれかを示す情報である場合、前記走行路がオンロードであると判別することを特徴とする状態認識方法。
7. 請求項６に記載の状態認識方法であって、
   前記プロセッサが、前記画像から昼夜を判定し、夜間に前記画像において所定の輝度より明るい高輝度領域を抽出して、前記走行路の周囲の灯火を解析する灯火解析ステップをさらに含み、
   前記走行路判別ステップでは、前記灯火解析ステップで解析された灯火の情報が街灯を示すものである場合、前記走行路がオンロードであると判別することを特徴とする状態認識方法。
8. 請求項６又は７に記載の状態認識方法であって、
   前記プロセッサが、前記車両の走行状態を検出する複数のセンサからの情報に基づいて、前記車両の挙動を解析する車両挙動解析ステップをさらに含み、
   前記走行路判別ステップでは、前記車両挙動解析ステップで解析された車両の挙動に基づいて、前記走行路がオンロードかオフロードかを判別することを特徴とする状態認識方法。
9. 請求項６から８のいずれか一つに記載の状態認識方法であって、
   前記プロセッサが、前記カメラによって撮影された画像から前記カメラのレンズの付着物を検出するレンズ診断ステップをさらに含み、
   前記レンズ診断ステップでは、前記走行路判別ステップで判別された前記走行路の状態に基づいて、前記付着物が水であるか泥であるかを判別することを特徴とする状態認識方法。
10. 請求項６から８のいずれか一つに記載の状態認識方法であって、
    前記プロセッサが、前記カメラによって撮影された画像から前記カメラのレンズの付着物を検出するレンズ診断ステップをさらに含み、
    前記走行路判別ステップでは、前記レンズ診断ステップで検出された前記レンズの付着物の状態に基づいて、前記走行路の判別が可能か否かを判別することを特徴とする状態認識方法。

Images