JP6876269B2 - 路面状態推定装置 - Google Patents

Description

本発明は路面状態推定装置に関する。

特許文献１には、車両等に固定設置されたカメラで撮像したカメラ画像を基に当該車両等の周辺環境を推定する環境推定装置及びこの装置を用いた車両制御装置が記載されている。

特許第５５０１４７７号公報

路面の状態は、該路面を走行する車両に影響を与える。本発明はこのような実状に鑑みてなされたものであって、車両前方の路面の状態を、該車両の前方を写した車両前方画像に基づいて推定することを目的とする。

上記の目的を達成するために、本発明に係る路面状態推定装置は、車両前方を写した車両前方画像において、前走車両のランプ部の領域を基準画像として抽出する基準画像抽出部と、車両前方の路面の濡れに起因する前記ランプ部の前記路面への反射により、前記ランプ部の映り込みが生じている可能性のある前記車両前方画像内の領域を探索領域として設定する探索領域設定部と、前記探索領域内のピクセルの色情報を前記基準画像内のピクセルの色情報と比較することにより前記路面の濡れ度合いを推定する推定部とを備えている。

本発明によれば、車両前方の路面の状態を、該車両の前方を写した車両前方画像に基づいて推定することができる。

路面状態推定装置を備えたシステムの説明図である。 システムにより行われる処理のフローチャートである。 車両前方画像を示す説明図である。 基準画像を示す説明図である。 第１探索領域の設定例を示す説明図である。 第２探索領域の設定例を示す説明図である。 濡れ度合いと映り込みの度合いとの関係を示すグラフである。

以下に本発明の実施形態を説明する。ただし、本発明は、以下の実施形態によって限定されるものではない。

図１に、路面状態推定装置１を備えたシステムＳを示す。システムＳは車両に搭載され、システムＳが搭載された車両を自車両とも呼ぶ。システムＳは、車両前方撮像装置２と、車両情報取得装置３と、路面状態を自車両のドライバに知らせる警報装置４と、路面状態を周囲の車両または道路管理者に知らせる通信装置５とを更に備えており、これらの装置は路面状態推定装置１に接続される。

自車両前方の路面が降雨等により濡れている場合、自車両の前方を走行する前走車両のランプ部が路面に反射し、自車両前方を写した車両前方画像において該ランプ部の映り込みが生じる。路面の濡れ度合いが大きいほど、映り込みの度合いも大きくなると考えられる。路面状態推定装置１は、自車両前方の路面の濡れ度合いを、車両前方画像における前走車両のランプ部の映り込みの度合いから推定する。路面状態推定装置１は、画像取得部１１と、前走車両検出部１２と、基準画像抽出部１３と、探索領域設定部１４と、推定部１５と、信号出力部１６とを備えている。

路面状態推定装置１は、そのハードウェア構成として、各部の機能を実行するように動作可能なプログラム及びデータを格納するメモリと、演算処理を行うプロセッサと、システムＳ内の他の装置とのインタフェースとを備えている。

車両前方撮像装置２は、自車両の前方を車両前方画像として撮影する。この車両前方画像は、車両前方撮像装置２から路面状態推定装置１へ送られる。車両前方撮像装置２として、近年、車両周囲の死角を低減する目的で普及が進んでいる全方位カメラを用いることができる。また、車両前方の障害物や白線を検出して追突や車線逸脱を防止する機能の普及が進んでおり、これらの機能で使用されているステレオカメラ、単眼カメラを車両前方撮像装置２として用いてもよい。

図２に、システムＳにより行われる処理のフローを示す。まず、ステップＳ１０１において、車両情報取得装置３は、走行中の自車両の車両情報を自車両から取得し、取得した情報を路面状態推定装置１に入力する。車両情報の例として、車速、ハンドル舵角、ブレーキスイッチの状態、アクセル開度、シフトポジション、ワイパー作動状況等が挙げられる。

ステップＳ１０２において、路面状態推定装置１内の画像取得部１１は、車両前方撮像装置２から一定間隔（例えばビデオレート３０Ｈｚ）で送られてくる、一定サイズ（例えばＶＧＡサイズ横６４０×縦４８０ピクセル）の車両前方画像を取得する。車両前方画像の一例を図３に示す。車両前方画像６には、自車両の前方を走行する前走車両６１と、自車両及び前走車両が走行する路面６２とが写っている。さらに、前走車両６１並びに該前走車両の左側のブレーキランプ部６３_Ｌ及び右側のブレーキランプ部６３_Ｒが、濡れた路面６２への反射により映り込んでいる。前走車両６１並びにブレーキランプ部６３_Ｌ及び６３_Ｒが映り込んだ領域をそれぞれ、符号６１_１並びに６３_Ｌ１及び６３_Ｒ１として示す。

ステップＳ１０３において、前走車両検出部１２は、車両前方画像６において前走車両６１を検出する。前走車両を検出する手法としては、一般的に知られている、テンプレートマッチング法、ニューラルネットワーク法等を用いることができる。ニューラルネットワーク法では、実際に撮影した数多くの画像群をデータベース化して教師データとして利用し、事前にニューラルネットワークに学習させておく。

車両前方撮像装置２としてステレオカメラを使用している場合は、距離情報から路面以外の高さのある物体を前走車両の候補として抽出し、その候補について前走車両であるか否かの推定を行うことで検出精度を向上させることができる。また、車両前方撮像装置２から事前に白線情報を取得し、自車両の前方の白線領域内に検出範囲を絞り込んでもよい。

ステップＳ１０４において、前走車両検出部１２は前走車両が検出されたかどうかを判断する。前走車両が検出されたと判断された場合は後述するステップＳ１０５に進み、さもなければステップＳ１０１に戻る。

ステップＳ１０５において、基準画像抽出部１３は、前走車両６１における車両左側のブレーキランプ部６３_Ｌの領域及び車両右側のブレーキランプ部６３_Ｒの領域をそれぞれ左側基準画像及び右側基準画像として抽出する。左側基準画像及び右側基準画像はいずれも、正方形状又は矩形状である。具体的には、基準画像抽出部１３は、車両前方画像６においてブレーキランプ部の色情報に近い色情報を有するピクセルを抽出する。この色情報として例えばＲＧＢ色情報を用いることができる。

一般にＲＧＢ色情報は、赤色の成分を示すＲ値（０〜２５５）、緑色の成分を示すＧ値（０〜２５５）、青色の成分を示すＢ値（０〜２５５）から構成される。本実施形態においては、ブレーキランプ部の色情報の範囲を、例えば、２００≦Ｒ値≦２５５かつ０≦Ｇ値≦５０かつ０≦Ｂ値≦５０とする。この範囲内のＲ値、Ｇ値及びＢ値を有する車両前方画像６内のピクセルをブレーキランプ部の候補ピクセルとして抽出する。

一般的に、ブレーキランプ部は車両後部の左右端に左右対称に取り付けられている。そのため、基準画像抽出部１３は、抽出されたブレーキランプ部の候補ピクセルが車両の左右両端に左右対称に位置している場合に、それら候補ピクセルを抽出し、基準画像とする。図４に基準画像の一例を示す。同図（ａ）は、前走車両６の左側のブレーキランプ部６３_Ｌが写った左側基準画像７_Ｌである。同図（ｂ）は、前走車両６の右側のブレーキランプ部６３_Ｒが写った右側基準画像７_Ｒである。

ステップＳ１０６において、基準画像抽出部１３は、基準画像が抽出されたかどうかを判断する。基準画像が抽出されたと判断された場合は後述するステップＳ１０７に進み、さもなければステップＳ１０１に戻る。

探索領域設定部１４は、２段階の探索領域設定を行う。ステップＳ１０７では、探索領域設定部１４は探索領域設定の第１段階として、車両前方画像６内に第１探索領域を設定する。図５に、第１探索領域Ｂ_Ｌ及びＢ_Ｒの設定例を示す。第１探索領域Ｂ_Ｌ及びＢ_Ｒはそれぞれ、前走車両６１の車両左側のブレーキランプ部６３_Ｌ及び車両右側のブレーキランプ部６３_Ｒに対応して設定される。第１探索領域Ｂ_Ｌ及びＢ_Ｒはそれぞれ、車両前方画像６において前走車両６１の左右のブレーキランプ部６３_Ｌ及び６３_Ｒの領域の下方に設定される。

具体的には、左側の第１探索領域Ｂ_Ｌは、前走車両６１の後輪６４_Ｌ及び６４_Ｒと路面６２との２つの接触箇所を通る直線Ａを基準として、ブレーキランプ部６３_Ｌの領域と線対称な位置関係にある領域を含むものとなるように設定される。すなわち、左側のブレーキランプ部６３_Ｌの中心と直線Ａとの距離Ｌ_１は、第１探索領域Ｂ_Ｌの中心と直線Ａとの距離Ｌ_２に等しい。同様に、右側の第１探索領域Ｂ_Ｒは、直線Ａを基準として、ブレーキランプ部６３_Ｒの領域と線対称な位置関係にある領域を含むものとなるように設定される。

第１探索領域Ｂ_Ｌ及びＢ_Ｒのサイズは、基準画像７_Ｌ及び７_Ｒの縦横サイズよりも大きいサイズとすることができる。例えば、基準画像の縦横サイズの２倍に設定することができる。

ステップＳ１０８では、推定部１５は、第１探索領域Ｂ_Ｌ内のピクセルの色情報を基準画像７_Ｌ内のピクセルの色情報と比較し、第１探索領域Ｂ_Ｌにおいて基準画像７_Ｌと一致する箇所が存在するか否かを判断する。さらに、推定部１５は、第１探索領域Ｂ_Ｒ内のピクセルの色情報を基準画像７_Ｒ内のピクセルの色情報と比較し、第１探索領域Ｂ_Ｒにおいて基準画像７_Ｒと一致する箇所が存在するか否かを判断する。探索手法としては、例えばテンプレートマッチング法を使用することができる。さらには色情報の一致度をしきい値判断してもよい。

同ステップにて、第１探索領域Ｂ_Ｌにおいて基準画像７_Ｌと一致する箇所が存在し、かつ第１探索領域Ｂ_Ｒにおいて基準画像７_Ｒと一致する箇所が存在すると判断された場合は、ステップＳ１０９に進み、さもなければステップＳ１１０に進む。

ステップＳ１０９では、路面に水が溜まっているとして推定部１５により路面の濡れ度合いＷが１．０に設定され、この濡れ度合いＷを推定部１５が信号出力部１６へ出力した後に、後述するステップＳ１１２に進む。

路面の濡れ度合いが比較的大きい場合、つまり路面に水が溜まっている場合、前走車両のブレーキランプ部が鏡面反射して直線Ａを基準として線対称な位置関係にある領域に映り込んでいる可能性が高いという見地に基づいて、上記のようなステップＳ１０７〜Ｓ１０９が行われる。

路面の濡れ度合いＷとは、路面の濡れの程度を数値的に表す指標である。濡れ度合いＷの数値が大きいほど濡れの程度も大きくなる。第１探索領域に基準画像と一致する箇所が存在する場合は、上述したように濡れ度合いＷが１．０に設定される。

ステップＳ１１０では、探索領域設定部１４は探索領域設定の第２段階として、車両前方画像６内に正方形状又は矩形状の第２探索領域を設定する。図６に、第２探索領域Ｃ_Ｌ及びＣ_Ｒの設定例を示す。左側の第２探索領域Ｃ_Ｌは、第１探索領域Ｂ_Ｌと直線Ａとの間の領域として設定される。左側の第２探索領域Ｃ_Ｌの横幅は、ブレーキランプ部６３_Ｌの横幅よりも大きくなるように設定される。例えば、基準画像７_Ｌの横サイズと同じにすることができる。左側の第２探索領域Ｃ_Ｌの縦の長さは、第１探索領域Ｂ_Ｌの上辺から直線Ａまでの長さに等しい。

右側の第２探索領域Ｃ_Ｒも同様に、第１探索領域Ｂ_Ｒと直線Ａとの間の領域として設定される。右側の第２探索領域Ｃ_Ｒの横幅は、ブレーキランプ部６３_Ｒの横幅よりも大きくなるように設定される。例えば、基準画像７_Ｒの横サイズと同じにすることができる。右側の第２探索領域Ｃ_Ｒの縦の長さは、第１探索領域Ｂ_Ｒの上辺から直線Ａまでの長さに等しい。

ステップＳ１１１において、推定部１５は、第２探索領域において、基準画像内のピクセルの色情報（一般的には赤色）に近い色情報を有するピクセルを探索する。具体的には、まず、推定部１５は、基準画像７_Ｌ及び７_ＲのＲＧＢ色情報を求める。赤色の情報ＢＡＳＥ_Ｒは、基準画像７_Ｌ及び７_Ｒにおける全ピクセルのＲ値の平均値、中央値、最大値等を用いる。緑色の情報ＢＡＳＥ_Ｇ、青色の情報ＢＡＳＥ_Ｂについても同様である。例えば、ＢＡＳＥ_Ｒ＝２００、ＢＡＳＥ_Ｇ＝１０、ＢＡＳＥ_Ｂ＝２０である。

続いて、推定部１５は、第２探索領域Ｃ_Ｌ及びＣ_ＲのＲＧＢ色情報を求める。赤色の情報ＡＲＥＡ_Ｒは、第２探索領域Ｃ_Ｌ及びＣ_Ｒにおける全ピクセルのＲ値の平均値、中央値、最大値等を用いる。緑色の情報ＡＲＥＡ_Ｇ、青色の情報ＡＲＥＡ_Ｂについても同様である。例えば、ＡＲＥＡ_Ｒ＝１００、ＡＲＥＡ_Ｇ＝１６、ＡＲＥＡ_Ｂ＝１２である。

同ステップではさらに、推定部１５は、基準画像のＲＧＢ色情報（ＢＡＳＥ_Ｒ、ＢＡＳＥ_Ｇ、ＢＡＳＥ_Ｂ）と探索領域のＲＧＢ色情報（ＡＲＥＡ_Ｒ、ＡＲＥＡ_Ｇ、ＡＲＥＡ_Ｂ）とを用いて濡れ度合いＷを算出する。

これは、路面の濡れ度合いＷと、第２探索領域にブレーキランプ部が映り込んでいる度合いとは相関があるという見地に基づいている。図７に、路面の濡れ度合いＷと映り込みの度合いとの関係の一例を示す。路面の濡れ度合いＷが大きくなるにつれて映り込みの度合いも大きくなる。ただし、路面の濡れ度合いＷが１．０以上の場合、路面に水が溜まっているとして、映り込みの度合いは最大かつ一定であるとする。ステップＳ１０８の判断結果が「否」となった時点で、路面の濡れ度合いＷは１．０未満である。図７に示した関係から、路面の濡れ度合いＷを次式により求める。
Ｗ＝α×（ＡＲＥＡ_Ｒ÷ＢＡＳＥ_Ｒ） （１）

ここで、映り込みの度合いは、ＡＲＥＡ_Ｒ÷ＢＡＳＥ_Ｒで表される。また、αは係数であり、例えば０．８とすることができる。例えば、路面の濡れ度合いと映り込みの度合いとの関係について、走行場所が一般道路か高速道路かの違いに応じて係数αの値を変えても良いし、直線（比例）の関係ではなく高次曲線の関係としても良い。

同ステップではさらに、推定部１５は、ＡＲＥＡ_Ｇ÷ＢＡＳＥ_Ｇの値と、ＡＲＥＡ_Ｂ÷ＢＡＳＥ_Ｂの値とを算出し、各値が所定のしきい値以下であるかどうかを判断する。これらの２つの値がしきい値以下の場合は、式（１）による路面の濡れ度合いＷの値を推定部１５が信号出力部１６へ出力する。その他の場合はステップＳ１０１に戻る（不図示）。

路面に水が溜まっているわけではないものの、路面が濡れている場合には、前走車両のブレーキランプ部が拡散反射して直線Ａと第１探索領域Ｂ_Ｌ及びＢ_Ｒとの間の領域に映り込んでいる可能性が高いと考えられる。この見地に基づいて、上記のようなステップＳ１１０及びＳ１１１が行われる。このように映り込んだ領域を図６の符号６３_Ｌ２及び６３_Ｒ２として示す。

ステップＳ１１２において、信号出力部１６は、推定部１５から出力された路面の濡れ度合いＷに応じた信号を警報装置４へ出力する。そして、警報装置４は、信号出力部１６から出力された信号に応じて、路面の状態を、音、振動、ランプ、表示等で自車両のドライバに警報する。

ステップＳ１１３において、信号出力部１６は、推定部１５から出力された路面の濡れ度合いＷに応じた信号を通信装置５へ出力する。そして、通信装置５は、信号出力部１６から出力された信号に応じて、路面の状態を自車両周辺の別の車両や道路管理者に知らせる。ステップＳ１１３を終えるとステップＳ１０１に戻る。

上記の実施形態によれば、自車両が走行する路面の、降雨等による濡れ度合いを、自車両の前方を写した車両前方画像に基づいて推定することができる。この推定は、自車両の前方を走行する前走車両のブレーキランプ部が抽出された基準画像をテンプレートとして行われる。そのため、処理の複雑度を抑えて、比較的簡易な構成で路面の濡れ度合いを推定することができる。

また、車両前方画像を用いて推定が行われるため、安価なハードウェア構成で、路面に対して物理的に接触することなく、路面の濡れ度合いを推定することができる。

一般的に、路面が乾いている場合に比べて、路面が濡れている場合は、自車両が前走車両に追突する可能性が高くなると考えられる。上記実施形態により路面の濡れ度合いを推定し、自車両のドライバに警報を発することで、自車両が前走車両に追突する可能性を低減することができる。

探索領域設定部は、車両前方画像においてブレーキランプ部領域の下方の領域を探索領域として設定するため、推定を効率的に行うことができる。また、探索領域設定は２段階に分けて行われるため、推定の効率がさらに高まる。

路面は黒っぽい色であることが多いことから、赤色情報を基準として路面状態の推定を行うことで、推定の誤差を抑えることができる。

前走車両のブレーキランプ部に限らず、テールランプ部等の任意のランプ部を基準画像として抽出することもできる。

色情報を定量的に表すにあたり、ＲＧＢ色空間に限らず、別の色空間あるいは表色系を用いてもよい。

ワイパー作動時のみ路面状態の推定を行うようにシステムＳを構成することもできる。

ステップＳ１１２において、信号出力部１６は、推定部１５から出力された路面の濡れ度合いＷに応じた信号を車両制御装置（不図示）へ出力することもできる。そして、この車両制御装置により、自車両がスリップ、横滑り等にならないように、自車両のブレーキ、アクセル、シフトポジション、エンジントルク等を制御することができる。
さらに、路面の濡れ度合いの信号に応じて、車間距離維持装置（ＡＣＣ）、衝突被害軽減ブレーキ（ＡＥＢ）、横滑り防止装置（ＥＳＣ）等における制御タイミングや制御時間を変更させても良い。

左側の第１探索領域Ｂ_Ｌを、直線Ａを基準として、ブレーキランプ部６３_Ｌの領域と線対称な位置関係にある領域そのものとして設定することもできる。このように設定された左側の第１探索領域Ｂ_Ｌと直線Ａとの間の領域を第２探索領域Ｃ_Ｌとして設定することができる。
同様に、右側の第１探索領域Ｂ_Ｒを、直線Ａを基準として、ブレーキランプ部６３_Ｒの領域と線対称な位置関係にある領域そのものとして設定することもできる。このように設定された右側の第１探索領域Ｂ_Ｒと直線Ａとの間の領域を第２探索領域Ｃ_Ｌとして設定することができる。

前述したシステムＳ及び路面状態推定装置１の機能的構成及び物理的構成は、前述の態様に限られるものではなく、例えば、各機能や物理資源を統合して実装したり、逆に、さらに分散して実装したりすることも可能である。

１ 路面状態推定装置

１１ 画像取得部
１２ 前走車両検出部
１３ 基準画像抽出部
１４ 探索領域設定部
１５ 推定部
１６ 信号出力部

２ 車両前方撮像装置
３ 車両情報取得装置
４ 警報装置
５ 通信装置

６ 車両前方画像
６１ 前走車両
６２ 路面
６３_Ｌ、６３_Ｒ ブレーキランプ部

７_Ｌ、７_Ｒ 基準画像
Ｂ_Ｌ、Ｂ_Ｒ 第１探索領域
Ｃ_Ｌ、Ｃ_Ｒ 第２探索領域

Claims (6)

1. 車両前方を写した車両前方画像において、前走車両のランプ部の領域を基準画像として抽出する基準画像抽出部と、
   車両前方の路面の濡れに起因する前記ランプ部の前記路面への反射により、前記ランプ部の映り込みが生じている可能性のある前記車両前方画像内の領域を探索領域として設定する探索領域設定部と、
   前記探索領域内のピクセルの色情報を前記基準画像内のピクセルの色情報と比較することにより前記路面の濡れ度合いを推定する推定部と
   を備えた路面状態推定装置。
2. 前記探索領域が、前記車両前方画像において前記ランプ部の領域の下方に設定される、請求項１に記載の路面状態推定装置。
3. 前記探索領域が、前記前走車両の後輪と前記路面との２つの接触箇所を通る直線を基準として、前記ランプ部の領域と線対称な位置関係にある第１探索領域を含む、請求項２に記載の路面状態推定装置。
4. 前記探索領域が、前記第１探索領域と前記直線との間の第２探索領域をさらに含む、請求項３に記載の路面状態推定装置。
5. 前記ランプ部がブレーキランプ部又はテールランプ部である、請求項１〜４のいずれか一項に記載の路面状態推定装置。
6. 前記色情報が赤色情報である、請求項１〜５のいずれか一項に記載の路面状態推定装置。

Images