JPWO2017068743A1 - 路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法 - Google Patents

Abstract

本開示の路面状態判定装置１４は、カメラによって撮像された路面を表す画像を取得する取得部１５と、画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて、路面が濡れているか乾いているかを判定するコントローラ１６と、を備える。

Description

関連出願の相互参照

本出願は、２０１５年１０月２２日出願の日本国特許出願２０１５−２０８２４３の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

本開示は、路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法に関する。

近年、自動車等の車両に、該車両が走行する方向に存在する人物、他の車両、障害物、路面等の情報を取得し、取得した情報を、車両の衝突回避のためのドライバへの警告、自動ブレーキ制御、および、オートクルーズコントロールの為のアクセル制御等の運転支援に活用することが知られている。

車両の運転は、車両が走行する路面の状態に影響を受ける。例えば、車両が所望の方向に所望の速度で走行するにあたって、路面が凍結しているのか、濡れているのか、乾燥しているのといった路面の状態によって運転者が行うブレーキ操作やハンドル操作は異なる。また、路面の状態に基づいて、運転者に対して注意を喚起するための情報を出力したり、車両の制御を支援するための装置へ情報を送信したりすることは安全な運転を支援するために有用である。

そこで、車両の走行中に路面状態を判定する方法が知られている（例えば、特許文献１参照）。特許文献１に記載されている方法では、波長の異なる光を投光し、路面からの反射光を受光する。そして、受光した反射光のレベルを比較することで路面状態を判定している。路面の状態によって反射光のレベルが異なるため、２種類の波長の光の反射率の比に基づいて、路面が凍結しているか、濡れているかを判定している。

特開平８−２４７９４０号公報

本開示の路面状態判定装置は、取得部とコントローラとを備える。前記取得部は、カメラによって撮像された路面を表す画像を取得する。前記コントローラは、前記画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて、前記路面が濡れているか乾いているかを判定する。

本開示の撮像装置は、カメラと路面状態判定装置とを備える。前記路面状態判定装置は、取得部とコントローラとを含む。前記取得部は、前記カメラによって撮像された路面を表す画像を取得する。前記コントローラは、および前記画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて、前記路面が濡れているか乾いているかを判定する。

本開示の撮像システムは、温度検出部と撮像装置とを備える。前記温度検出部は、路面の温度を計測する。前記撮像装置は、カメラと路面状態判定装置を含む。前記路面状態判定装置は、取得部とコントローラとを有する。前記取得部は、前記カメラによって撮像された路面を表す画像並びに前記路面の温度に関連する信号を取得する。前記コントローラは、前記画像に含まれる画素の輝度に基づいて、前記路面が濡れているか乾いているかを判定し、且つ、前記路面の温度に関連する信号に基づいて、前記路面が凍結しているか否かを判定する。

本開示の路面状態判定方法は、取得部が、カメラによって撮像された路面を表す画像を取得することを含む。前記路面状態判定方法は、コントローラが、前記画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて、前記路面が濡れているか乾いているかを判定することを含む。

図１は、第１の実施形態に係る撮像システムの概略構成を示す機能ブロック図である。 図２は、取得部によって取得された画像について説明する図であり、図２（ａ）は、濡れている路面が撮像されている画像の例を示す図、図２（ｂ）は、図２（ａ）に示す画像のＡＡ’線における輝度を示す図である。 図３は、取得部によって取得された他の画像について説明する図であり、図３（ａ）は、路面が撮像されている画像の例を示す図、図３（ｂ）は、図３（ａ）に示す画像のＡＡ’線における輝度を示す図である。 図４は、輝度の非振動成分について説明する図である。 図５は、第１の実施形態において路面状態を判定する手順を示すフローチャートである。 図６は、第１の実施形態における乾湿判定処理の詳細な手順を示すフローチャートである。 図７は、第１の実施形態における凍結判定処理の詳細な手順を示すフローチャートである。 図８は、第２の実施形態に係る撮像システムの概略構成を示す機能ブロック図である。 図９は、第２の実施形態における乾湿判定処理の詳細な手順を示すフローチャートである。 図１０は、第３の実施形態に係る撮像システムの概略構成を示す機能ブロック図である。 図１１は、取得部によって取得された画像について説明する図であり、図１１（ａ）は、区画線を含む、乾いている路面が撮像されている画像の例を示す図、図１１（ｂ）は、図１１（ａ）に示す画像のＡＡ’線における輝度を示す図である。 図１２は、取得部によって取得された画像について説明する図であり、図１２（ａ）は、区画線を含む、濡れている路面が撮像されている画像の例を示す図、図１２（ｂ）は、図１２（ａ）に示す画像のＡＡ’線における輝度を示す図である。 図１３は、第３の実施形態において路面状態を判定する手順を示すフローチャートである。

上述のような従来技術の方法では、投光した光の反射光を受光すると同時に、太陽光、照明光、他の車両によって投光された光等の外光を受光してしまうことがある。この場合、反射光のみでなく、反射光と外光とを含んだ光のレベルを比較することになり、路面状態を正確に判定することができないおそれがある。

本開示の路面状態判定装置、撮像装置、撮像システムおよび路面状態判定方法によれば、より正確に路面の状態を判定することができる。

＜第１の実施形態＞
以下、本開示の第１の実施形態について、図面を参照して説明する。

図１に示すように、撮像システム１０は、撮像装置１１と、ＦＩＲ（Far Infrared：遠赤外線）カメラ１２とを含んで構成される。また、撮像装置１１は、可視光カメラ１３と、路面状態判定装置１４とを含んで構成されている。

ＦＩＲカメラ１２は、被写体の表面から放射される赤外線を撮像して、被写体の遠赤外画像を生成し、該被写体の温度、すなわち路面の温度に関連する信号として路面状態判定装置１４に送信する。本実施形態では、ＦＩＲカメラ１２は、路面を被写体とする。また、ＦＩＲカメラ１２が被写体である路面を撮像する方向は、可視光カメラ１３が該路面を撮像する方向と同一とする。また、ＦＩＲカメラ１２の撮像範囲は、可視光カメラ１３の撮像範囲を含むものとする。以降の説明では、ＦＩＲカメラ１２の撮像範囲と、可視光カメラ１３の撮像範囲とは同一であるものとして説明する。

また、撮像システム１０は、ＦＩＲカメラ１２を備える代わりに、路面の温度を計測する温度計、温度センサ等から路面の温度に関連する信号を取得しても良い。ＦＩＲカメラ１２、温度計、温度センサ等の路面の温度を計測するものを「温度検出部」という。

可視光カメラ１３は、好適にはＣＣＤカメラやＣＭＯＳカメラであり、本実施形態では、路面を被写体として撮像し、可視光による被写体の表面の画像である可視画像を生成する。また、可視光カメラ１３が被写体である路面を撮像する方向は任意である。以下の説明では、可視光カメラ１３は車両のフロント部に取り付けられ、車両の走行する方向の路面を撮像するものとする。また、撮像された画像において、図２に示すように、可視画像の横方向にｘ軸をとり、ｘ軸に直交する方向にｙ軸をとって説明する。実空間において、ｘ軸は車両の左右方向に対応し、ｙ軸は車両の進行方向および上下方向に対応する。図３，１１，および１２についても同様である。なお、可視光カメラ１３としては、モノクロカメラを使用しても良い。また、撮像システム１０は、可視光カメラ１３を備える代わりに、近赤外領域（ＮＩＲ）に感度を有する近赤外線カメラを使用することもできる。また、可視光カメラ１３および近赤外線カメラのうち任意のカメラを単に「カメラ」という。

路面状態判定装置１４は、可視光カメラ１３が路面を撮像することによって生成した可視画像に基づいて、路面の乾湿状態、すなわち、路面が濡れているか、乾燥しているかを判定する。また、路面状態判定装置１４は、ＦＩＲカメラ１２が路面から反射した赤外線を撮像することによって生成した遠赤外画像に基づいて、路面の凍結状態、すなわち、路面が凍結しているか否かを判定する。路面状態判定装置１４は、取得部１５と、コントローラとしての制御部１６と、出力部１７との各機能ブロックを含んで構成されている。

取得部１５は、路面状態判定装置１４の入力インタフェースである。取得部１５は、可視光カメラ１３の撮像信号の伝送方式に対応し、可視光カメラ１３から可視画像を取得する。また、取得部１５は、ＦＩＲカメラ１２の撮像信号の伝送方式にも対応し、ＦＩＲカメラ１２から遠赤外画像を取得する。さらに、取得部１５は取得した可視画像および遠赤外画像を制御部１６に引き渡す。

制御部１６は、路面状態判定装置１４の種々の演算処理を実行する部分であり、ソフトウェアプログラムに従い処理を実行する汎用のＣＰＵ（Central Processing Unit）および／または画像処理用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等を含んで構成することができる。制御部１６は、輝度抽出部１８と、空間周波数算出部１９と、判定部２０との各機能ブロックを含んで構成される。

次に、制御部１６の各構成要素について説明する。

輝度抽出部１８は、可視光カメラ１３によって取得された可視画像から、可視画像内の１つの線分（連続した領域）上にある画素の輝度を抽出する。本実施の形態では、線分は、図２（ａ）および図３（ａ）に示す可視画像の画像空間におけるｙ軸方向に平行な、画像の一の端部と他の端部とを端点とする線分とする。しかし、線分はこれに限られず、例えば、ｘ軸に平行な線分としても良いし、ｘ軸に対して斜めとなる線分としても良い。また、輝度抽出部１８は、線分ではなく、曲線上または面内にある画素の輝度を抽出しても良い。

例えば、図２（ａ）に示される可視画像の例において、輝度を抽出する線分をＡＡ’線とした場合、縦軸に画像の点Ａからの長さｙ、横軸に画素の輝度をとった輝度グラフは、図２（ｂ）のように表される。

また、輝度抽出部１８は、以下のように輝度グラフから、路面の形状により生じる輝度の振動成分を除いた、全体的な輝度の高さの変動を示す非振動成分を算出する。一般に、路面が乾燥している場合、車道中央線、車線境界線等の区画線５１，５２の部分を除いては同様の明るさ、すなわち輝度が所定の範囲内である。しかし、路面が濡れて雨水で覆われている場合、図２（ａ）に示すように、路面の濡れている領域に周囲の物体（建物、木、車両、人物等）や空が映り込むことがある。この場合、例えば、空が映り込む領域は、図２（ｂ）の太線（１）で示されるように平均的な輝度の高さが他の領域の平均的な輝度の高さよりも高くなる。また、木々などの物体が映り込む領域は、図２（ｂ）の太線（２）で示されるように、平均的な輝度の高さが他の領域の平均的な輝度の高さよりも低くなる。ここで、輝度グラフに現れる輝度の波形は、路面の凹凸に起因して生じる空間周波数による振動成分を有している。そこで、輝度抽出部１８は、輝度グラフから路面の凹凸により生じる周期よりも短い周期の振動成分を除いたものを、非振動成分として算出する。

ここで、輝度の非振動成分について図４を参照して説明する。図４の折れ線は、図２（ｂ）の２−２で示す部分の一部の輝度値を拡大して表したものである。例えば、非振動成分は、２本の破線内に示されるような、振動の１周期の範囲内での輝度値の平均値（図４のＬ_aveを参照）である。同様にして、他の周期についても周期ごとに輝度値の平均値を非振動成分とすることによって、図２（ｂ）の太線（２）に示されるような、振動成分を除いた輝度の平均の高さの変動を表す、輝度の非振動成分が算出される。また、図２（ｂ）の２−２で示す部分以外についても同様にして非振動成分が算出される。輝度抽出部１８は、抽出された線分上の各画素の輝度とともに、これらの輝度の非振動成分を判定部２０に受け渡す。

また、ここで説明した輝度の非振動成分は、変動する輝度値の振動成分を除いた高さを表す量の一例であり、輝度値の高さを表す他の任意の量を用いて以降の処理を行っても良い。

空間周波数算出部１９は、輝度抽出部１８によって抽出された画素群の輝度に基づいて空間周波数を算出する。

ここで、路面の状態と空間周波数との関係について詳細に説明する。前述のように、路面は、所定の値以上の摩擦係数を有するように、その表面が微細な凹凸を有するように形成されている。そのため、路面の乾いている領域には微細な凹凸があり、輝度が変化しやすい。路面の濡れている領域には、路面の表面を雨水が覆っているため、その表面の輝度分布は滑らかである。そのため、乾いている路面の領域を表す画素の輝度の空間周波数は、濡れている領域についての空間周波数より高い。

空間周波数は、空間周波数に対応するパラメータ（以下、「空間周波数パラメータ」という）の変化として観察される。空間周波数パラメータは、例えば、画素を抽出した線分上で画素信号の振動を観察したときの、単位長さ当たりの振動のピークの数である。また、空間周波数パラメータは、上述の輝度の非振動成分を画素信号の波形が上から下へあるいは下から上へ横切った単位長さ当たりの回数としてもよい。図３を参照して説明すると、図３（ａ）に示す可視画像のＡＡ’線上の３−１で示す領域では路面が乾いており、３−２で示す領域では路面が濡れている。そのため、図３（ｂ）に示すように、３−１で示す部分の空間周波数パラメータは、３−２で示す部分の空間周波数パラメータより高い。

すなわち、画像内の区画線５１以外の領域の一つの線分上において、所定の範囲内の空間周波数が連続している部分（図３（ｂ）の３−１および３−２を参照）が２つ以上あることがわかる。また、２つ以上の部分のうち、高い方の空間周波数パラメータに係る画素からなる第１の領域が乾いており、低い方の空間周波数パラメータに係る画素からなる第２の領域が濡れていることがわかる。

また、空間周波数算出部１９は、画素信号によって表される空間領域を空間周波数領域に変換し、ピーク値を与える周波数を空間周波数として算出しても良い。その場合、算出した空間周波数そのものを空間周波数パラメータとして使用することができる。

判定部２０は、画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて路面が乾いているか、濡れているかを判定する乾湿判定処理を行う。空間的変化とは、画像に関する特徴量の画像空間における変化であって、輝度抽出部１８より取得した各画素の輝度および線分上の輝度の非振動成分、空間周波数算出部１９から取得した空間周波数パラメータ等である。

乾湿判定処理において、判定部２０は、まず、空間周波数算出部１９によって算出された空間周波数パラメータに基づいて、画像に表されている路面の乾いている領域、濡れている領域を判定する第１の判定処理を行う。

第１の判定処理では、判定部２０は、所定の範囲内の空間周波数パラメータが所定の画素数ａ以上連続している周波数連続部分をそれぞれ抽出する。ここで、所定の画素数ａとは、この値以上に所定の範囲内の空間周波数が連続している場合に路面状態を判定するのに適していると見込まれる値である。すなわち、所定の画素数ａとは、この値より小さい範囲で空間周波数が連続している場合にはノイズが含まれるため路面状態の判定に用いるには適していないと考えられる値である。例えば、所定の画素数ａは１０画素としてもよいが、適宜設定されてもよい。

そして、判定部２０は、抽出された複数の周波数連続部分それぞれにおける、上述のように算出した空間周波数パラメータを比較する。判定部２０は、複数の空間周波数パラメータの差が所定の値以上であった場合に、高い方の空間周波数パラメータに係る画素からなる第１の領域（図３（ａ）の３−１）が乾いていると判定する。また、判定部２０は、低い方の空間周波数パラメータに係る画素からなる第２の領域（図３（ａ）の３−２）が濡れていると判定する。ここで、所定の値とは、この値以上に空間周波数に差がある場合に、路面には乾いている領域と濡れている領域とがあるとみなせる値である。具体的には、所定の値とは、経験的に、乾いている領域で算出されることのある空間周波数パラメータと、濡れている領域について算出されることのある空間周波数パラメータとの差のうち最小のものとする。例えば、この所定の値を低い方の空間周波数の３０％に相当する値としてもよいが、適宜設定されてもよい。

また、乾湿判定処理において、判定部２０は、輝度抽出部１８によって抽出された輝度の非振動成分に基づいて、画像に表されている路面に濡れている領域があるか否かを判定する第２の判定処理を行う。

第２の判定処理においては、判定部２０は、輝度抽出部１８によって抽出された、線分上にある画素の輝度の非振動成分が所定の範囲内で連続している輝度連続部分（図２（ｂ）の２−１、２−２を参照）を抽出する。そして、判定部２０は、抽出された複数の輝度連続部分それぞれにおける輝度の非振動成分を比較する。さらに、判定部２０は、輝度の非振動成分の差が所定の値以上であった場合、第２の判定処理に係る画像が表している路面の少なくとも一部が濡れていると判定する。ここで、所定の値とは、この値以上に非振動成分に差がある場合に、路面には濡れている領域があるとみなせる値である。例えば、この所定の値を低い方の非振動成分の３０％に相当する値としてもよいが、適宜設定されてもよい。

図２で示す画像の例で説明すると、図２（ａ）のＡＡ’線上の２−１で示す領域においては水面に空が映り込んでいるため、図２（ｂ）の２−１に対応する部分の輝度の非振動成分は他の部分の輝度の非振動成分より高い。また、図２（ａ）のＡＡ’線上の２−２に対応する領域においては水面に木が映り込んでいるため、図２（ｂ）の２−２に対応する部分の輝度の非振動成分は他の部分の非振動成分より低い。

すなわち、判定部２０は、画像内の区画線５１，５２以外の領域が次の２つの条件を満たす場合に画像に表されている路面には濡れている領域があると判定する。第１の条件は、一つの線分上において、所定の範囲内で輝度の非振動成分が連続している部分（図２（ｂ）の２−１，２−２参照）が２つ以上あるということである。第２の条件は、連続している非振動成分の差が所定の値以上であるということである。

上記のように、可視画像に表されている路面の領域が濡れているか否かについて判定されると、さらに判定部２０は、その領域が凍結しているか否かを判定する凍結判定処理を行う。

具体的には、判定部２０は、可視画像に基づいて濡れていると判定された路面の領域について、ＦＩＲカメラ１２によって生成された遠赤外画像により路面の温度が所定の温度以上であるか否かを判定する。路面の温度が所定の温度以上であると判定された場合、その路面の領域は濡れていて、かつ凍結していないと判定される。また、路面の温度が所定の温度未満であると判定された場合、その路面の領域は濡れていて、かつ凍結していると判定される。ここで、所定の温度とは、路面を覆っている雨水が液体から固体に変化する臨界温度であり、−２℃〜０℃程度とすることが望ましい。

また、判定部２０は、可視画像に基づいて乾いていると判定された路面の領域について、遠赤外画像が示す路面の温度が所定の温度以上であるか否かを判定する。所定の温度以上であると判定された場合、その路面の領域は乾いていて、かつ凍結していないと判定される。また、所定の温度未満であると判定された場合、その路面の領域は乾いていて、かつ凍結していると判定される。

また、乾湿判定処理で、路面の少なくとも一部が濡れているか否が判定された場合には、判定部２０は、該路面の温度が所定の温度以上であるか否かを判定する。そして、判定部２０は、路面の温度が所定の温度以上である場合には路面が凍結していないと判定する。また判定部２０は、路面の温度が所定の温度未満である場合には路面が凍結していると判定する。

上記の説明において、制御部１６は、１つの線分であるＡＡ’線上にある画素を対象として処理を行ったが、予め定められた画像上の範囲にある全ての画素について処理を行うために、ＡＡ’線を順次ずらして、その都度、同様の処理を行う。この場合、予め定められた画像上の範囲は、画素の輝度の空間的変化に基づいて制御部１６により路面状態が判定される連続した領域である。また、制御部１６は、予め定められた画像上の範囲にある画素について任意の間隔で処理を行ってもよく、この場合、ＡＡ’線を任意の間隔でずらして処理を行う。

また、ＡＡ’線をずらす間隔は、ＡＡ’線の方向がｘ方向、すなわち実空間における車両の横方向の場合、可視光カメラ１３およびＦＩＲカメラ１２を搭載した車両に対して近い領域であるほど、狭くしてもよい。車両または運転者にとっては、走行する路面の遠くの領域より、近くの領域について路面状態が高い精度で判定することによって、直近の運転のための情報を得ることができるからである。

また、路面状態判定装置１４は、ＦＩＲカメラ１２から遠赤外画像を取得する代わりに、温度計または温度センサから温度を表す信号を取得しても良い。この場合、温度計または温度センサによって取得された路面の温度に基づいて上記のように路面が凍結しているか否かを判定する。

出力部１７は、路面状態判定装置１４の出力インタフェースである。出力部１７は、制御部１６によって判定された路面の状態を、路面状態判定装置１４に接続されている表示装置、車両制御装置等に出力する。

以下に、図５のフローチャートを用いて、第１の実施形態に係る路面状態判定装置１４の路面状態判定方法について説明する。

まず、取得部１５が、可視光カメラ１３から路面を撮像した可視画像を取得し、ＦＩＲカメラ１２から路面から放射される赤外線を撮像した遠赤線画像を取得する（ステップＳ１１）。

ステップＳ１１で可視画像を取得すると、輝度抽出部１８が、可視画像内の１つの線分上にある画素の輝度を抽出する（ステップＳ１２）。そして、空間周波数算出部１９が、輝度抽出部１８によって抽出された線分上の画素の輝度についての空間周波数パラメータを算出する（ステップＳ１３）。

次に、判定部２０が、空間周波数算出部１９によって算出された空間周波数パラメータに基づいて乾湿判定処理を行う（ステップＳ１４）。図６に示すように、乾湿判定処理では、まず、第１の判定処理として、判定部２０が、所定の範囲内の空間周波数パラメータが所定の画素数ａ以上連続している周波数連続部分を抽出する（ステップＳ１４１）。そして、判定部２０は、ステップＳ１４１で抽出された複数の周波数連続部分それぞれにおける空間周波数パラメータの差が所定の値以上であるか否かを判定する（ステップＳ１４２）。

ステップＳ１４２で、複数の空間周波数パラメータの差が所定の値以上であった場合、判定部２０は、高い方の空間周波数パラメータに係る画素からなる第１の領域が乾いており、低い方の空間周波数パラメータに係る画素からなる第２の領域が濡れていると判定する（ステップＳ１４３）。

続いて、判定部２０は、ステップＳ１４２で、空間周波数パラメータの差が所定の値未満であると判定された場合、乾湿判定処理の第２の判定処理を行う。第２の判定処理では、判定部２０は、輝度抽出部１８によって抽出された、線分上にある画素の輝度の非振動成分が所定の範囲内で連続している輝度連続部分を抽出する（ステップＳ１４４）。そして、判定部２０は、抽出された輝度連続部分それぞれの非振動成分の差が所定の値以上であるか否かを判定する（ステップＳ１４５）。非振動成分の差が所定の値以上であった場合、画像に表されている路面の少なくとも一部は濡れていると判定する（ステップＳ１４６）。

また、判定部２０は、非振動成分それぞれの差が所定の値未満であった場合、画像に表されている路面は乾いていると判定する（ステップＳ１４７）

続いて、図５に戻って、判定部２０は、ステップＳ１４で濡れている、または乾いていると判定された路面の領域について、凍結しているか否かを判定する凍結判定処理を行う（ステップＳ１５）。

凍結判定処理においては、図７に示すように、判定部２０は、濡れていると判定された路面の領域について、ＦＩＲカメラ１２によって生成された遠赤外画像による温度が所定の温度以上であるか否かを判定する（ステップＳ１５１）。所定の温度以上であると判定された場合、判定部２０は、路面の領域は濡れていて、かつ凍結していないと判定する（ステップＳ１５２）。また、所定の温度未満であると判定された場合、路面の領域は濡れていて、かつ凍結していると判定する（ステップＳ１５３）。

同様にして、判定部２０は、乾いている路面の領域についてもステップＳ１５１の処理を行う。この場合、所定の温度以上であると判定された場合、判定部２０は、路面の領域は乾いていて、かつ凍結していないと判定する（ステップＳ１５２）。また、所定の温度未満であると判定された場合、路面の領域は乾いていて、かつ凍結していると判定する（ステップＳ１５３）。

また、判定部２０は、少なくとも一部が濡れているか否かを判定された路面についても凍結しているか否かを判定する凍結判定処理を行う（ステップＳ１５）。この凍結判定処理は、上記の判定処理と同様であり、詳細な説明は省略する。

以上説明したように、第１の実施形態によれば、判定部２０は、可視画像に含まれる画素の輝度に基づいて、路面の状態、具体的には、路面が濡れているか否かを判定する。この方法は、車両から投光してその反射光を用いて路面所状態を判定する従来の方法とは異なり、外光の影響を受けて正確な判定ができなくなるというような不具合を避けることができる。そのため、路面の状態を正確に判定することができる。

また、第１の実施形態によれば、判定部２０は、輝度の空間周波数に関連した空間周波数パラメータに基づいて路面の濡れている領域と乾いている領域とを判定する。そのため、微細な凹凸があるために輝度が変化しやすい、すなわち空間周波数パラメータが高いという特性を有する、乾いている領域であるのか、路面の表面を覆う雨水があるためにその表面の輝度分布が滑らかな、すなわち空間周波数パラメータが低いという特性を有する、濡れている領域であるのかを、路面を表す画像の特性を利用して定量的指標に基づいて判定することができる。

また、第１の実施形態によれば、抽出した線分上にある画素の輝度の非振動成分が所定の範囲内で連続している輝度連続部分を抽出し、複数の輝度連続部分を比較することによって、路面が濡れているか否かを判定する。すなわち、雨水に物体や空が映り込むことによる輝度値の差があることによって、路面が濡れていると判定しているため、雨水に周囲の状況が映り込んで輝度分布が滑らかにならなかった場合にも、路面が濡れていることを正確に判定することができる。

また、第１の実施形態によれば、遠赤外画像に基づいて凍結しているか否かを判定するため、路面の乾湿状態だけでなく、路面の乾いている領域と濡れている領域とのそれぞれが凍結しているか否かを知ることができる。そのため、この情報を車両の制御システム等に出力することによって、例えば、単に濡れている領域よりも、濡れていて凍っている領域を車両等が通過する場合には、より強く注意を喚起したり、スリップを防ぐように運転を支援したりすることができる。

＜第２の実施形態＞
以下、本開示の第２の実施形態の撮像システム３０について、図面を参照して説明する。第１の実施形態における撮像システム１０と同様の機能ブロックについては同一の参照符号を付して、適宜、説明を省略する。

図８に示すように、第２の実施形態における撮像システム３０は、第１の実施形態における撮像システム１０と同様に、撮像装置１１と、ＦＩＲカメラ１２とを含んで構成される。また、撮像装置１１は、可視光カメラ１３と、路面状態判定装置１４とを含んで構成されている。また、路面状態判定装置１４は、取得部１５と、路面状態メモリ３１と、制御部１６と、出力部１７との各機能ブロックを含んで構成されている。

路面状態メモリ３１は、基準輝度および基準空間周波数パラメータを記憶するための書き換え可能なメモリを備える。

基準輝度とは、撮像装置１１が、制御部１６によって濡れているか否かを判定する路面を撮像した画像、すなわち制御部１６が判定を行う直前の一定の期間に撮像された画像を構成する画素の輝度のうち最も出現頻度の高い輝度である。路面の大部分は乾いており、一部に濡れている部分があるという前提のもと、この基準輝度は乾燥している路面を表す画素の輝度であるとする。

また、基準空間周波数パラメータとは、撮像装置１１が、制御部１６によって濡れているか否かを判定する路面を撮像した画像の空間周波数パラメータのうち最も出現頻度の高い空間周波数パラメータである。制御部１６によって濡れているか否かを判定する路面を撮像した画像とは、制御部１６が判定を行う直前の一定の期間に撮像された画像である。路面の大部分は乾いており、一部に濡れている部分があるという前提のもと、この基準空間周波数パラメータは、路面における乾燥している領域の空間周波数パラメータであるとする。

また、書き換え可能なメモリとしては、例えば、フラッシュメモリ、磁気抵抗メモリ（ＭＲＡＭ（Magnetoresistive Random Access Memory））、強誘電体メモリ（ＦｅＲＡＭ（Ferroelectric Random Access Memory））などの不揮発性メモリ等を用いることができる。

制御部１６は、輝度抽出部１８、空間周波数算出部１９、判定部３２、および基準更新部３３を含んで構成される。第２の実施形態においては判定部３２の処理が、第１の実施形態における判定部２０の処理とは異なる。

判定部３２は、空間周波数算出部１９によって算出された、所定の範囲内の空間周波数パラメータが所定の画素数ａ以上連続している周波数連続部分（図３の３−１および３−２を参照）を抽出する。そして、判定部３２は、抽出された周波数連続部分における空間周波数パラメータを、路面状態メモリ３１に記憶されている基準空間周波数パラメータと比較する。

さらに、判定部３２は、空間周波数パラメータと基準空間周波数パラメータとの差が所定の値以上であった場合、周波数連続部分に対応する路面の領域は濡れていると判定する。また、判定部３２は、空間周波数パラメータと基準空間周波数パラメータとの差が所定の値未満である場合に、該画像に表されている路面の領域について後述するような輝度に基づく判定を行う。

また、判定部３２は、輝度抽出部１８によって抽出された、ＡＡ’線上にある画素の輝度の非振動成分が所定の範囲内で連続している輝度連続部分を抽出する。そして、判定部３２は、抽出された輝度連続部分における輝度の非振動成分を、路面状態メモリ３１に記憶されている基準非振動成分と比較する。さらに、判定部３２は、輝度の非振動成分の基準非振動成分に対する差が所定の値以上であった場合に、輝度連続部分に対応する路面の領域は濡れていると判定する。また、判定部３２は、輝度の非振動成分の基準非振動成分に対する差が所定の値未満であった場合に、輝度連続部分に対応する路面の領域は乾いていると判定する。

また、判定部３２は、第１の実施形態の判定部２０と同様に、路面の乾湿状態が判定されると、路面が凍結しているか否かを判定する凍結判定処理を行う。判定部３２による凍結判定処理は、第１の実施形態の判定部２０による凍結判定処理と同一であるため、詳細な説明を省略する。

基準更新部３３は、撮像装置１１が、同一の道路を走行している一定の期間に撮像された画像を構成する画素の輝度のうち最も出現頻度の高い輝度を基準輝度として路面状態メモリ３１に記憶させる。また、基準更新部３３は、撮像装置１１が、同一の道路を走行している一定の期間に撮像された画像から算出した空間周波数パラメータのうち最も出現頻度の高い空間周波数パラメータを基準空間周波数パラメータとして路面状態メモリ３１に記憶させる。

第２の実施形態に係る路面状態判定装置１４の路面状態判定方法は、第１の実施形態に係る路面状態判定装置１４の路面状態判定方法と概ね同様であるが、乾湿判定処理が異なる。次に、第２の実施形態における乾湿判定処理について説明する。

まず、第２の実施形態における乾湿判定処理の第１の判定処理について説明する。第１の判定処理では、図９に示すように、判定部３２は、所定の範囲内の空間周波数パラメータが所定の画素数ａ以上連続している周波数連続部分を抽出する（ステップＳ２４１）。そして、判定部３２は、ステップＳ２４１で抽出された複数の周波数連続部分における空間周波数パラメータと基準空間周波数パラメータとの差が所定の値以上か否かを判定する（ステップＳ２４２）。

ステップＳ２４２で、空間周波数パラメータと基準空間周波数パラメータとの差が所定の値以上であった場合、判定部３２は、その空間周波数パラメータに係る画素からなる領域が濡れていると判定する（ステップＳ２４３）。

ステップＳ２４２で、空間周波数パラメータと基準空間周波数パラメータとの差が所定の値未満であった場合、第２の判定処理を行う。

第２の判定処理では、判定部３２は、輝度抽出部１８によって抽出された、線分上にある画素の輝度の非振動成分が所定の範囲内で連続している輝度連続部分を抽出する（ステップＳ２４４）。そして、判定部２０は、抽出された輝度連続部分における輝度の非振動成分と基準非振動成分との差が所定の値以上であるか否かを判定する（ステップＳ２４５）。輝度の非振動成分と基準非振動成分との差が所定の値以上であった場合、路面は濡れていると判定する（ステップＳ２４６）。

また、判定部３２は、輝度の非振動成分と基準非振動成分との差が所定の値未満であった場合、路面は乾いていると判定する（ステップＳ２４７）。

以上説明したように、第２の実施形態によれば、判定部３２は、乾いている領域の空間周波数パラメータとみなされる基準空間周波数パラメータに基づいて路面の状態を判定する。また、基準空間周波数パラメータは、同一の道路を走行している一定の期間に撮像された画像の空間周波数パラメータのうち最も出現頻度の高い空間周波数パラメータとする。したがって路面の大部分は乾いており、一部に濡れている部分がある路面については、路面の乾いている領域を正確に判定することができる。

＜第３の実施形態＞
以下、本開示の第３の実施形態の撮像システム４０について、図面を参照して説明する。第１の実施形態における撮像システム１０、および第２の実施形態における撮像システム３０と同様の機能ブロックについては同一の参照符号を付して、適宜、説明を省略する。

図１０に示すように、第３の実施形態における撮像システム４０は、第１の実施形態における撮像システム１０と同様に、撮像装置１１と、ＦＩＲカメラ１２とを含んで構成される。また、撮像装置１１は、可視光カメラ１３と、路面状態判定装置１４とを含んで構成されている。また、路面状態判定装置１４は、取得部１５と、制御部１６と、出力部１７との各機能ブロックを含んで構成されている。第３の実施形態においては、制御部１６の処理が、第１の実施形態における制御部１６とは異なる。

制御部１６は、区画線検出部４１および判定部４２を含んで構成される。

区画線検出部４１は、取得部１５によって取得された可視画像から区画線５３（図１１参照）を抽出できるか否かを判定する。

ここで、路面の状態と区画線検出可否との関係について詳細に説明する。図１１（ａ）に示すように、一般に、路面に表示されている区画線５３は白色等である。そのため、図１１（ｂ）に示すように、区画線５３に相当する、１０−１に示す部分の画素の輝度が高くなっている。このように、区画線５３を表す画素と区画線５３を除く道路を表す画素とでは画素値が所定の値以上の差があるため、区画線５３の端部に相当する画素はエッジとして検出され、抽出されたエッジ群の近似直線を区画線５３として検出することができる。

しかし、図１２（ａ）に示すように、路面が濡れている場合には、太陽光、照明光等の光が路面を覆う雨水に反射することによって、点線で囲まれている部分５４のように光が反射している領域で輝度値が緩やかに変化するためエッジが検出されないことがある。

そのため、可視画像における関心領域内で、エッジが検出されないために区画線５３を検出することができなかった場合、画像に表されている路面が濡れていることがわかる。

区画線検出部４１は、可視画像に基づいて、公知の区画線検出方法を用いて区画線５３を検出するための処理を行い、区画線５３が検出できるか否かを判定する。

具体的には、区画線検出部４１は、取得部１５によって取得された画像における所定の関心領域内に表されている１本の区画線５３の端部に対応するエッジを検出するための公知の処理を行う。その結果、２本の直線にそれぞれ近似される２組のエッジ群が検出され、それらの２本の直線の間の距離が区画線５３の幅に相当する距離であった場合、区画線検出部４１は、区画線５３の検出が可であるという検出結果を出力する。また、区画線検出部４１は、エッジが検出されなかった場合、区画線検出部４１は、区画線５３の検出が不可であるという検出結果を出力する。

判定部４２は、区画線５３の検出が不可であるという検出結果が出力されると、画像に表されている路面が濡れていると判定する。また、判定部４２は、区画線５３の検出が可であるという検出結果が出力されると、画像に表されている路面が乾いていると判定する。

また、判定部４２は、第１の実施形態の判定部２０と同様に、画像に表されている路面が濡れているか乾いているかを判定した後、その路面が凍結しているか否かを判定する凍結判定処理を行う。判定部４２による凍結判定処理は、第１の実施形態の判定部２０による凍結判定処理と同一であるため、詳細な説明を省略する。

以下に、図１３のフローチャートを用いて、第３の実施形態に係る路面状態判定装置１４の路面状態判定方法について説明する。

まず、取得部１５が、可視光カメラ１３から路面を撮像した可視画像、ＦＩＲカメラ１２から路面から放射される赤外線を撮像した遠赤外画像を取得する（ステップＳ３１）。

ステップＳ３１で可視画像が生成されると、区画線検出部４１は、可視画像に基づいて、公知の区画線検出方法を用いて区画線検出をするための処理を行うことによって、区画線検出の可否を示す検出結果を出力する（ステップＳ３２）。

ステップＳ３２で、区画線５３の検出が可であるという検出結果が出力されると、判定部４２は、画像に表されている路面が乾いていると判定する（ステップＳ３３）。また、ステップＳ３２で区画線５３の検出が不可であるという検出結果が出力されると、判定部４２は、画像に表されている路面が濡れていると判定する（ステップＳ３４）。

続いて、判定部２０は、ステップＳ３３で乾いていると判定された路面、および、ステップＳ３４で濡れていると判定された路面について凍結しているか否かを判定する凍結判定処理を行う（ステップＳ３５）。これによって、判定部２０は、路面が乾いていて凍結しているのか、乾いていて凍結していないのか、濡れていて凍結しているのか、濡れていて凍結していないのかを判定することができる。ステップＳ３５の凍結判定処理は、第１の実施形態の凍結判定処理と同様であるため、ここでの詳細な説明は省略する。

以上説明したように、第３の実施形態によれば、路面状態判定装置１４は、区画線５３を検出するための処理を行い、区画線５３を検出することができた場合に路面が乾いていると判定し、区画線５３を検出することができなかった場合に路面が濡れていると判定する。このように法令で定められている区画線５３に基づいて判定がなされるため、区画線５３が標示されている道路においては、正確に路面の状態を判定することができる。

＜第４の実施形態＞
以下、本開示の第４の実施形態の撮像システム１０について、図面を参照して説明する。第１の実施形態における撮像システム１０と同様の機能ブロックについては同一の参照符号を付して、適宜、説明を省略する。

第４の実施形態の撮像システム１０は、第１の実施形態の撮像システム１０と同様に、図１に示すように、撮像装置１１と、ＦＩＲ（Far Infrared：遠赤外線）カメラ１２とを含んで構成される。また、撮像装置１１は、可視光カメラ１３と、路面状態判定装置１４とを含んで構成される。

第４の実施形態の路面状態判定装置１４は、第１の実施形態の路面状態判定装置１４は路面状態判定装置１４と同様に、取得部１５と、コントローラとしての制御部１６と、出力部１７との各機能ブロックを含んで構成されている。また、第４の実施形態の制御部１６は、第１の実施形態の制御部１６と同様に、輝度抽出部１８と、空間周波数算出部１９と、判定部２０との各機能ブロックを含んで構成される。

上述のように、第１の実施形態の判定部２０は、乾いていると判定された領域と、濡れていると判定された領域とについて、凍結しているか否かを判定する。第４の実施形態において、判定部２０は、乾いていると判定された領域と、濡れていると判定された領域とのいずれか１つ以上について凍結しているか否かを判定する。

第１の実施形態においては、判定部２０は、乾湿判定処理の後に凍結判定処理を行っているが、乾湿判定処理のみを行って凍結判定処理を行わなくてもよい。

１０，３０，４０ 撮像システム
１１ 撮像装置
１２ ＦＩＲカメラ
１３ 可視光カメラ
１４ 路面状態判定装置
１５ 取得部
１６ 制御部
１７ 出力部
１８ 輝度抽出部
１９ 空間周波数算出部
２０，３２，４２ 判定部
３１ 路面状態メモリ
４１ 区画線検出部
５１，５２，５３ 区画線

Claims (11)

1. カメラによって撮像された路面を表す画像を取得する取得部と、
   前記画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて、前記路面が濡れているか乾いているかを判定するコントローラと、
   を備えた路面状態判定装置。
2. 前記コントローラは、前記輝度の空間周波数に対応するパラメータを算出し、該算出したパラメータに基づいて、前記路面の濡れている領域を判定することを特徴とする請求項１に記載の路面状態判定装置。
3. 前記コントローラは、前記画像の前記連続した領域の前記空間周波数に対応するパラメータが所定の長さ以上連続している周波数連続部分を抽出し、複数の周波数連続部分が抽出された場合、抽出された前記複数の周波数連続部分のうち、前記パラメータがより低い空間周波数に対応する前記周波数連続部分で路面が濡れていると判定することを特徴とする請求項２に記載の路面状態判定装置。
4. 前記コントローラは、前記輝度の前記空間的変化から、路面の形状により生じる輝度の振動成分を除いた全体的な輝度の高さの変動を示す非振動成分を検出し、該非振動成分の変化に基づいて、前記路面の少なくとも一部が濡れているか否かを判定することを特徴とする請求項１乃至３のいずれか一項に記載の路面状態判定装置。
5. 前記コントローラは、前記画像の前記連続した領域に含まれる画素のうち、前記非振動成分が所定の長さ以上連続している輝度連続部分を抽出し、複数の前記輝度連続部分が抽出された場合、抽出された前記複数の前記輝度連続部分に対応する前記非振動成分を比較することによって、前記路面の少なくとも一部が濡れているか否かを判定することを特徴とする請求項４に記載の路面状態判定装置。
6. 前記コントローラは、前記画像に含まれる連続した領域の前記画素の輝度の変化から、前記路面上の区画線を検出するための処理を行い、前記区画線を検出することができた場合に、前記路面が乾いており、前記区画線を検出することができなかった場合に、前記路面が濡れていると判定することを特徴とする請求項１に記載の路面状態判定装置。
7. 前記取得部は、路面の温度を計測する温度検出部から前記路面の温度に関連する信号を取得し、前記コントローラは、前記路面の温度に関連する信号に基づいて、前記路面が凍結しているか否かを判定することを特徴とする請求項１乃至６のいずれか一項に記載の路面状態判定装置。
8. 前記温度検出部は、前記路面を撮像する遠赤外線カメラであり、前記コントローラは前記遠赤外線カメラにより撮像された遠赤外画像に基づいて、前記路面上の所定の領域が凍結しているか否かを判定する請求項７に記載の路面状態判定装置。
9. カメラと、
   前記カメラによって撮像された路面を表す画像を取得する取得部、および前記画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて、前記路面が濡れているか乾いているかを判定するコントローラを含む路面状態判定装置と、
   を備えた撮像装置。
10. 路面の温度を計測する温度検出部と、
    カメラ、前記カメラによって撮像された路面を表す画像並びに前記路面の温度に関連する信号を取得する取得部、および前記画像に含まれる画素の輝度に基づいて、前記路面が濡れているか乾いているかを判定し、且つ、前記路面の温度に関連する信号に基づいて、前記路面が凍結しているか否かを判定するコントローラを有する路面状態判定装置を含む撮像装置と、
    を備えた撮像システム。
11. 取得部が、カメラによって撮像された路面を表す画像を取得し、コントローラが、前記画像に含まれる連続した領域の画素の輝度の空間的変化に基づいて、前記路面が濡れているか乾いているかを判定し、
    を含む路面状態判定方法。

Images