JP3747056B2 - 路面状態判別装置 - Google Patents
路面状態判別装置 Download PDFInfo
- Publication number
- JP3747056B2 JP3747056B2 JP2002361769A JP2002361769A JP3747056B2 JP 3747056 B2 JP3747056 B2 JP 3747056B2 JP 2002361769 A JP2002361769 A JP 2002361769A JP 2002361769 A JP2002361769 A JP 2002361769A JP 3747056 B2 JP3747056 B2 JP 3747056B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- value
- pixel
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、路面が乾燥状態であるか否か（路面上に水分の有無）などの路面状態を判別する路面状態判別装置に関し、特に、撮像手段を用いた路面状態判別装置に関するものである。
【０００２】
【従来の技術】
この種の路面状態判別装置として、例えば、特許文献１に開示された路面状態判別装置が提案されている。この路面状態判別装置は、路面を俯瞰するように取付けられた可視カメラからの路面映像信号をもとに、ある路面範囲における路面の湿潤、乾燥等の状態を検知する路面状態把握装置において、検知したい路面状況に対応した画像を、例えば湿潤に対して、外乱因子となる天候条件、すなわち晴天、曇り、夜間等の環境条件にそれぞれ対応して予め撮像し、それを基に、その時の路面の状態を反映した色、輝度、模様等の特徴量を抽出して、基準画特徴量として蓄えておき、新たに撮像した検査画像に対して同様な処理によって得られる検査画特徴量とを多変量解析によって比較分析することにより、検査画像がどの基準画特徴量に最も近いかを判定して、検査画像における路面状態がどの基準画像に最も近いかを判別するものである。
【０００３】
そして、特許文献１には、前記特徴量として、検査画像と基準画像との差分画像からそれぞれ求めた（１）色差及びその分散、（２）輝度及びその分散、並びに（３）テクスチャの、組み合わせを用いることが開示されている。
【０００４】
【特許文献１】
特開２００２−１６２３４３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、前記従来の路面状態判別装置では、選定された特徴量が路面状態を捉えるものとして必ずしも適切なものではないため、十分な精度で路面状態を判別することが困難であった。
【０００６】
また、前記路面状態判別装置では、検査画像における路面状態がどの基準画像に最も近いかを判別するために、多変量解析法のマハラノビスの汎距離を用いて線形分離を行っているため、種々の天候条件等に応じて大きく非線形に変化する画像の状態に対応することが困難であった。したがって、この点からも、十分な精度で路面状態を判別することが困難であった。
【０００７】
本発明は、このような事情に鑑みてなされたもので、高い精度で路面状態を判別することができる路面状態判別装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するため、本発明の第１の態様による路面状態判別装置は、路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、前記撮像手段から得られたカラー画像のうちの前記所定領域に対応する画像領域の各画素の各色の濃淡値に基づいて、前記画像領域の各色ごとの分散値を得る分散値演算手段と、前記各色をそれぞれ空間の異なる次元として、前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の各色ごとの前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。なお、前記撮像手段は、路面の前記所定領域を俯瞰するように取り付けられることになる。
【０００９】
前記画像領域の各色ごとの分散値は、全体として路面の光沢のムラを示している。前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態は、光沢の強さを示している。したがって、前記第１の態様では、路面の光沢の強さとムラを特徴量として用いている。
【００１０】
本発明者の研究の結果、以下に説明する事項が判明した。すなわち、撮像手段のレンズに入る路面からの反射光は、正反射光が最も強いと考えられる。つまり、撮像手段は路面の正反射光の強さを計測していることになり、路面の光沢を測っていると考えられる。そして、昼夜を問わず乾燥している路面は、拡散面となり光沢は弱く、路面上に水分（水、氷又は積雪）が存在する時は半鏡面状態となり光沢は強くなる。また、乾燥路面は、一様な表面特性であるので、路面画像領域内のどの点においても光沢の強さはほぼ同一であり、光沢にムラがほとんどない。一方、路面は見かけは平らであるが実際には大小様々な凹凸があるため、路面に水分がある場合は光沢にムラが生じる。
【００１１】
これらの現象から、路面の光沢の強さ及び路面の光沢のムラを特徴量として用いることが路面状態を適切に捉える上で好ましい。よって、前記第１の態様によれば、高い精度で路面状態を判別することができる。
【００１２】
ところで、前記第１の態様では、各色の濃淡値を用いているが、色自体を特徴量としているわけではない。これは、後に詳述するように種々の理由から路面画像における色は完全な無彩色ではないので、各色の濃淡値を総合的に取り扱った方が、単に輝度で取り扱う場合に比べて、より精度良く光沢の強さや光沢のムラを捉えることができ、ひいては、より高い精度で路面状態を判別することができるためである。もっとも、本発明では、後述する第２、第４及び第５の態様のように、輝度を用いて光沢の強さや光沢のムラを捉えてもよい。
【００１３】
本発明の第２の態様による路面状態判別装置は、路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、前記撮像手段から得られた画像のうちの前記所定領域に対応する画像領域の各画素の輝度の濃淡値に基づいて、前記画像領域の輝度の分散値を得る分散値演算手段と、各色をそれぞれ空間の異なる次元として、前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の輝度の前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。
【００１４】
この第２の態様によっても、前記第１の態様と同様の利点が得られる。
【００１５】
本発明の第３の態様による路面状態判別装置は、前記第１又は第２の態様において、前記指標演算手段は、（ａ）前記各色にそれぞれ対応する入力層ユニットと所定数の競合層ユニットとを有し、前記画像領域の前記各画素の各色の濃淡値が、訓練パターンとして、対応する入力層ユニットにそれぞれ入力されて、自己組織化を行う自己組織化ニューラルネットワークと、（ｂ）自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離を得る距離演算手段と、を有し、前記距離演算手段により得られた前記距離に応じた値を、前記指標として用いるものである。
【００１６】
この第３の態様によれば、前記指標を、前記自己組織化ニューラルネットワーク及び前記距離演算手段を用いることで得ているので、前記分布の広がりを精度良く適切に捉えることができ、ひいては、より高い精度で路面状態を判別することができる。コホーネン（kohonen）の自己組織化マップのような自己組織化ニューラルネットワークは、自己組織化後の競合層ユニットのマッピング位置が入力ベクトルの分布を反映したものとなるという性質がある。前記第３の態様では、この性質を巧みに利用することで、数値化に適した状態で、前記分布の広がりを精度良く捉えることができるのである。
【００１７】
本発明の第４の態様による路面状態判別装置は、路面の所定領域を含む領域の画像を撮像する撮像手段と、前記撮像手段から得られた画像のうちの前記所定領域に対応する画像領域の各画素の輝度の濃淡値に基づいて、前記画像領域の輝度の分散値を得る分散値演算手段と、前記輝度を一次元空間として、前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の輝度の前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。なお、前記撮像手段は、路面の前記所定領域を俯瞰するように取り付けられることになる。また、この第４の態様では、撮像手段は、カラー画像を撮像してもよいし、白黒画像を撮像してもよい。
【００１８】
前記画像領域の輝度の分散値は、路面の光沢のムラを示している。前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態は、光沢の強さを示している。したがって、前記第４の態様では、前記第１の態様と同様に、路面の光沢の強さとムラを特徴量として用いている。よって、前記第４の態様によれば、前記第１の態様と同様に、高い精度で路面状態を判別することができる。
【００１９】
ただし、前記第４の態様では、輝度を用いて光沢の強さや光沢のムラを捉えているので、前記第１の態様に比べると、光沢の強さや光沢のムラを捉える精度がやや低下すると考えられる。しかしながら、第４の態様では、前記第１の態様に比べて処理が簡単となるという利点が得られる。
【００２０】
本発明の第５の態様による路面状態判別装置は、路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、前記撮像手段から得られたカラー画像のうちの前記所定領域に対応する画像領域の各画素の各色の濃淡値に基づいて、前記画像領域の各色ごとの分散値を得る分散値演算手段と、輝度を一次元空間として、前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の各色ごとの前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。
【００２１】
この第５の態様によっても、前記第１の態様と同様の利点が得られる。
【００２２】
本発明の第６の態様による路面状態判別装置は、前記第４又は第５の態様において、前記指標演算手段は、（ａ）前記輝度に対応する入力層ユニットと所定数の競合層ユニットとを有し、前記画像領域の前記各画素の輝度の濃淡値が訓練パターンとして前記入力層ユニットに入力されて、自己組織化を行う自己組織化ニューラルネットワークと、（ｂ）自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離を得る距離演算手段と、を有し、前記距離演算手段により得られた前記距離に応じた値を、前記指標として用いるものである。
【００２３】
この第６の態様によれば、前記指標を、前記自己組織化ニューラルネットワーク及び前記距離演算手段を用いることで得ている。したがって、この第６の態様によれば、前記第３の態様と同様の利点が得られる。
【００２４】
本発明の第７の態様による路面状態判別装置は、前記第１乃至第６のいずれかの態様において、前記水分有無判別手段は、教師あり学習により予め学習されたニューラルネットワークを含むものである。
【００２５】
この第７の態様によれば、前記水分有無判別手段が、教師あり学習により予め学習されたニューラルネットワークを含むので、特徴量の非線形分離を行うことができる。したがって、種々の天候条件等に応じて画像の状態が大きく変化しても、高い精度で路面状態を判別することができる。
【００２６】
本発明の第８の態様による路面状態判別装置は、前記第７の態様において、前記予め学習されたニューラルネットワークが階層型ニューラルネットワークであるものである。
【００２７】
この第８の態様のように階層型ニューラルネットワークを用いると、より高い精度で路面状態を判別することができ、好ましい。
【００２８】
本発明の第９の態様による路面状態判別装置は、前記第７又は第８の態様において、前記予め学習されたニューラルネットワークがバックプロパゲーション型ニューラルネットワークであるものである。
【００２９】
この第９の態様のように、バックプロパゲーション型ニューラルネットワークを用いると、教師あり学習を適切に行うことができ、好ましい。
【００３０】
本発明の第１０の態様による路面状態判別装置は、前記第１乃至第６のいずれかの態様において、前記水分有無判別手段は、互いに異なる条件下で教師あり学習により予め学習された複数のニューラルネットワークを含み、前記複数のニューラルネットワークのうち現在の条件に対応するニューラルネットワークを用いて、前記路面上の水分の有無を判別するものである。
【００３１】
この第１０の態様のように、各条件ごとに学習された複数のニューラルネットワークを用いれば、各ニューラルネットワークの判定の精度が高まり、ひいては、より精度良く路面状態を判別することができる。
【００３２】
本発明の第１１の態様による路面状態判別装置は、前記第１０の態様において、前記条件が季節であるものである。
【００３３】
当該装置が屋外（トンネル内など以外）に設置される場合、季節（春夏秋冬）により太陽高度が大きく異なるので、この第１１の態様のように、季節ごとに学習された複数のニューラルネットワークを用いると、より高い精度で路面状態を判別することができる。なお、当該装置が屋外に設置される場合でも、単一の学習済みニューラルネットワークを用いる場合には、夏に学習されたニューラルネットワークを用いる方が、冬に学習されたニューラルネットワークを用いる場合に比べて好ましい。夏は太陽高度が高い状態から低い状態まで含むが、冬は夏の高い太陽高度の状態を含まないからである。
【００３４】
本発明の第１２の態様による路面状態判別装置は、前記第１乃至第１１のいずれかの態様において、前記所定領域付近に車両が存在するか否かを検出する車両検出手段と、該車両検出手段により前記所定領域付近に車両が存在すると検出された場合に、路面状態の判別を中止するものである。
【００３５】
この第１２の態様によれば、車両の存在による誤った路面状態の判別を回避することができ、好ましい。
【００３６】
本発明の第１３の態様による路面状態判別装置は、前記第１２の態様において、前記車両検出手段は、前記撮像手段により得られた画像に基づいて、前記所定領域付近に車両が存在するか否かを判定する手段を含むものである。
【００３７】
前記第１２の態様では、前記車両検出手段として、周知の光学式車両検知器などのセンサを用いてもよいが、前記第１３の態様のように、撮像手段により得られた画像に基づいて車両の存在の有無を判定すれば、特別のセンサが不要となり、好ましい。
【００３８】
本発明の第１４の態様による路面状態判別装置は、前記第１乃至第１３のいずれかの態様において、前記撮像手段の視界が所望の程度に確保されているか否かを検出する視界検出手段を備え、該視界検出手段により前記視界が前記所望の程度に確保されていないと検出された場合に、路面状態の判別を中止するものである。
【００３９】
この第１４の態様によれば、霧や豪雨や降雪等により視界が確保されていないことによる路面状態の判別を回避することができ、好ましい。
【００４０】
本発明の第１５の態様による路面状態判別装置は、前記第１４の態様において、前記視界検出手段は、前記撮像手段により得られた画像に基づいて、前記撮像手段の視界が所望の程度に確保されているか否かを判定する手段を含むものである。
【００４１】
前記第１４の態様では、前記視界検出手段として、周知の視程計などのセンサを用いてもよいが、前記第１５の態様のように、撮像手段により得られた画像に基づいて視界を判定すれば、特別のセンサが不要となり、好ましい。
【００４２】
本発明の第１６の態様による路面状態判別装置は、前記第１乃至第１５のいずれかの態様において、路面温度を検出する路面温度検出手段と、前記水分有無判別手段により路面上に水分があると判定され、かつ、前記路面温度検出手段により検出された路面温度が所定温度より高い場合に、路面が湿潤状態であると判別する手段と、を備えたものである。
【００４３】
この第１６の態様によれば、路面状態として、路面上の水分の有無（すなわち、路面が乾燥状態であるか否か）だけでなく、路面が湿潤状態（凍結や積雪でない状態の水が存在する状態）であるか、それとも、凍結状態及び積雪状態のいずれかの状態であるか、も判別することができ、より細かい路面状態の判別が可能となり、好ましい。
【００４４】
本発明の第１７の態様による路面状態判別装置は、前記第１６の態様において、路面上の積雪の有無を検出する積雪検出手段と、前記水分有無判別手段により路面上に水分があると判定され、前記路面温度検出手段により検出された路面温度が所定温度以下であり、かつ、前記積雪検出手段により路面上の積雪が存在しないと検出された場合に、路面が凍結状態であると判別する手段と、前記水分有無判別手段により路面上に水分があると判定され、前記路面温度検出手段により検出された路面温度が所定温度以下であり、かつ、前記積雪検出手段により路面上の積雪が存在すると検出された場合に、路面が積雪状態であると判別する手段と、を備えたものである。
【００４５】
この第１７の態様によれば、路面が凍結状態であるか積雪状態であるかも判別することができ、より細かい路面状態の判別が可能となり、好ましい。
【００４６】
本発明の第１８の態様による路面状態判別装置は、前記第１７の態様において、前記積雪検出手段は、前記撮像手段により得られた画像に基づいて、路面上の積雪の有無を判定する手段を含むものである。
【００４７】
前記第１７の態様では、前記積雪検出手段として、周知の積雪深計（例えば、超音波で上面の高さを計測する計測器）などのセンサを用いてもよいが、前記第１８の態様のように、撮像手段により得られた画像に基づいて積雪を判定すれば、特別のセンサが不要となり、好ましい。
【００４８】
【発明の実施の形態】
以下、本発明による路面状態判別装置について、図面を参照して説明する。
【００４９】
［第１の実施の形態］
【００５０】
図１は、本発明の第１の実施の形態による路面状態判別装置を示す概略ブロック図である。
【００５１】
本実施の形態による路面状態判別装置は、図１に示すように、フルカラー画像を撮像する撮像手段としてのテレビカメラ１と、テレビカメラ１からの画像信号に対してＡ／Ｄ変換及び必要に応じて信号形式の変換を行う画像信号変換部２と、画像信号変換部２により変換された画像（画像信号）を記憶する画像メモリ３と、路面温度を検出する路面温度検出手段としての放射温度計等の路面温度計４と、画像メモリ３からの画像に対して後述する処理を行うとともに路面温度計４からの信号に基づく処理を行って、判別結果としての路面状態を出力する処理部５と、を備えている。なお、図面には示していないが、処理部５は、後述する動作を実現するように、例えば、マイクロコンピュータ及び他の電子回路等で構成されている。
【００５２】
本実施の形態では、画像信号変換部２は、処理部５からの指令に応じて、後述する水分有無判別用路面領域に相当する画像領域Ｒ１（図３、図９参照）についてＲ（赤色），Ｇ（緑色），Ｂ（青色）及びＹ（輝度）の画像を得るとともに、後述する視界検出用領域に相当する画像領域Ｒ２（図９参照）についてＲ，Ｇ，Ｂの画像を得るようになっており、これらの画像が画像メモリ３に取り込まれる。なお、本実施の形態では、後述する積雪検出用領域に相当する画像領域Ｒ３は画像領域１に含まれているので、画像信号変換部２は、画像領域Ｒ３についてＲ，Ｇ，Ｂの画像を得ることは行わないが、画像領域３が画像領域１に含まれない場合は、画像信号変換部２が領域Ｒ３についてＲ，Ｇ，Ｂの画像を得るようにすればよい。
【００５３】
図２は、テレビカメラ１により撮像された画像の実例を示す概略図である。図２において、１１は道路の一方側の車線の像、１２はセンターラインの像、１３は他方側の本線車線の像、１４は他方側の登坂車線の像、１５はトンネルの像、１６は登坂車線の終了に伴って本線車線へ誘導するための矢印の像である。図２では、街路灯などの像は省略している。
【００５４】
図面には示していないが、テレビカメラ１は、路面の所定領域を含む領域の画像を撮像するべく、例えば図２に示す画像を撮像するように、支柱やアーム等を用いて道路上方又は路側上方に設置され、路面を俯瞰するように設置されている。また、図面には示していないが、路面温度計４は、画像領域Ｒ１に相当する路面領域付近の温度を計測するように、支柱等に取り付けられている。
【００５５】
図３は、実際の水分有無判別用路面領域に相当する撮像画像上の画像領域Ｒ１の設定例を示している。この例では、領域Ｒ１は、実際の路面上の車線幅×１５０ｍ程度の領域に相当している。このように領域Ｒ１に相当する実際の路面領域を広範囲に設定すると、道路パトロール員の目視と合致した判別結果が得られ、冬季等における道路管理の有効性が期待できる。もっとも、領域Ｒ１に相当する実際の領域の大きさはこの例に何ら限定されるものではない。
【００５６】
なお、画像領域Ｒ１に相当する路面領域の少なくとも一部は、図示しない街路灯等により照明されるようになっている。
【００５７】
ここで、図３中の画像上のＡ，Ｂ，Ｃ点に相当する実際の路面上の点からテレビカメラ１のレンズに入射する光の様子について、下記の（１）〜（６）に場合分けして考察する。図４乃至図６は、各場合におけるこの光の様子を示す説明図である。
【００５８】
（１）昼間曇天時
昼間曇天時は、太陽は雲に隠れ、光源としては面光源となる。したがって、図３に示すＡ，Ｂ，Ｃ点に相当する点における入射光の強度は同一と考えられ、その反射光の強度も同一と考えられる。
【００５９】
また、テレビカメラ１のレンズに入射される路面からの反射光は、図４に示すように、画像領域Ｒ１に相当する路上領域内の各々の路面上ポイントの正反射光が最も強いと考えられる。
【００６０】
つまり、テレビカメラ１は、路面の正反射光の強さを計測していることになる。この正反射光の強さは、路面の光沢を表していると考えられる。
【００６１】
アスファルト路面は、拡散面であるので太陽光（ここでは、昼間曇天時であるので、雲からの光）における路面での反射光の配光特性は、図５に示すようになる。画像領域Ｒ１に相当する路上領域内のアスファルトは一様な特性であると仮定すると、反射光の強度も一様であると考えられる。
【００６２】
（２）昼間雨天時（昼間における日照のない通常の雨天時）
昼間雨天時は、昼間曇天時と同様に、画像領域Ｒ１に相当する路面領域内の入射光の強度は同一と考えられる。
【００６３】
アスファルト路面は、乾燥時は拡散面であるが、路面上に水分（水、氷又は積雪）が存在する時は、半光沢面となり太陽光（雲からの光）における路面での反射光の配光特性は図６に示すようになる。昼間雨天時の正反射光の強度は、昼間曇天時より強くなる。この状態は、昼間曇天時で路面が濡れている時も同じである。
【００６４】
また、アスファルト路面は、見た目には平らに見えるが実際は凸凹している。そのため、路面が濡れている時は、正反射光にムラが生じ、画像領域Ｒ１に相当する路面領域内の各々の路面上ポイントの正反射光強度は異なる。この様子を図７に示している。
【００６５】
（３）昼間晴天時
昼間晴天時は、雲が存在しない状態で太陽光が直接、路面に降り注ぐ。地球と太陽との距離が太陽の直径より十分に長いので理論上は太陽は点光源であるが、路面の一部分に照射されているのではなく、広範囲の地域に照射されている。また、青空は青い面光源として考えられ、実際には、正反射光の強度は昼間曇天時よりも強いが、路面での反射光の配光特性は昼間曇天時と似ていると思われる。
【００６６】
（４）昼間天気雨時（昼間において日照のある雨天時）
昼間天気雨時は、昼間雨天時と同じであると考えられる。しかし、路面に太陽光が映り込むことが考えられる。この場合は、一部分の路面の正反射光が強くなり、正反射光のムラも強調される。
【００６７】
（５）夜間晴天時及び夜間曇天時
夜間は、人工光が必要で、晴天時及び曇天時とも、路面が拡散面であるため昼間と同様に正反射光は弱い。また、路面に人工光が照射されている部分とそうでない部分では、反射光のムラは存在するが昼間における路面上に水分が存在する時に比べてかなり少ない。
【００６８】
（６）夜間雨天時
夜間雨天時は、路面が半光沢状態になり、正反射光が強くなる。また、路面に人工光が照射されている部分とそうでない部分とでは、明暗がはっきりしており、正反射光のムラが顕著に現れる。
【００６９】
以上の（１）〜（６）のことから、路面上に水分が存在する場合には、昼間および夜間において反射光が強くなる一方、路面上に水分が存在しない場合には、昼間および夜間において反射光が弱い。また、路面上に水分が存在する場合には、昼間および夜間において反射光のムラが多い一方、路面上に水分が存在しない場合には、昼間および夜間において反射光のムラが少ない。したがって、路上の水分の有無を判別するためには、自然光・人工光による路面での正反射光の強さ（路面の光沢の強さ）と正反射光のムラ（路面の光沢のムラ）を特徴量として捉えれば良いことが判明した。そこで、本実施の形態では、後述する図８中のステップＳ５で光沢の強さを数値化し、図８中のステップＳ６で光沢のムラを数値化している。
【００７０】
次に、処理部５の動作について、図８を参照して説明する。図８は、本実施の形態による路面状態判別装置の主に処理部５の動作の一例を示す概略フローチャートである。
【００７１】
図８中のステップＳ１は、本装置の設置時にのみ行われる初期設定処理である。まず、ステップＳ１において、本装置の設置時に、テレビカメラ１の俯角やテレビカメラ１のレンズの焦点距離やテレビカメラ１の設置高さやテレビカメラ１の画角などの計測条件を設定し、更に、水分有無判別用路面領域に相当する画像領域Ｒ１（図３、図９参照）、視界検出用領域に相当する画像領域Ｒ２（図９参照）及び積雪検出用領域に相当する画像領域Ｒ３（図９参照）を設定する。これらの設定情報は、処理部５の内部メモリ（図示せず）内に格納される。
【００７２】
ステップＳ１の初期設定処理の後、ステップＳ２〜Ｓ１３の本処理が行われる。テレビカメラ１からは、順次新たな画像が得られるが、所定時間間隔（例えば、約１００ｍＳ）で最新に得られた画像が画像メモリ３に順次上書きされることで、取り込まれる。ただし、領域Ｒ１のＹ画像については、約１００ｍＳ間隔で得られた最新の２枚の画像が前記画像メモリ３に保持される。
【００７３】
まず、例えば約１００ｍＳ間隔で、テレビカメラ１から得られた新たな画像について、領域Ｒ１のＲ，Ｇ，Ｂ，Ｙ画像、領域Ｒ２のＲ，Ｇ，Ｂ画像及び領域３のＲ，Ｇ，Ｂ画像が、処理部５によって画像メモリ３内に取り込まれる（ステップＳ２）。なお、以下の説明では、Ｒ，Ｇ，Ｂ，Ｙの階調は２５６階調であり、Ｒ，Ｇ，Ｂ，Ｙの値は、０〜２５５をとり得るものとする。
【００７４】
次に、処理部３は、ステップＳ２で最新に取り込まれた領域２のＲ，Ｇ，Ｂ画像に基づいて、テレビカメラ１の視界が確保されているか否かを判定する（ステップＳ３）。このステップＳ３の処理について、以下に説明する。
【００７５】
霧や豪雨や降雪等によりテレビカメラ１の視界が確保されなくなると、テレビカメラ１から領域Ｒ１に相当する路面領域が見えなくなり、正しい路面状態の判別が不能となる。ステップＳ１において、視界が確保されている通常状態で例えば黒色又はこれに近い色をなす領域を領域２（図９参照）として設定しておくと、領域２は、テレビカメラ１の視界が低下していくに従って灰色に近づき、テレビカメラ１の視界が確保されなくなると灰色となる。
【００７６】
この現象に着目して、ステップＳ３において、処理部５は、まず、領域２の画像の画素のうち、Ｒの濃淡値（以下、単に「Ｒ値」という。）、Ｇの濃淡値（以下、単に「Ｇ値」という。）及びＢの濃淡値（以下、単に「Ｂ値」という。）のいずれもが１００〜１２０である画素（すなわち、灰色又はこれに近い色の画素。以下、単に「灰色画素」と呼ぶ。）の数を数える。灰色画素の数が０個の場合は視界が良好であり、その数が増えるほど視界が低下していることを意味する。次に、処理部５は、領域２の全画素数に対する灰色画素数の割合を算出し、その割合が所定の割合（例えば、７０％）以上であれば、テレビカメラ１の視界が確保されていないと判定し、所定の割合未満であれば、テレビカメラ１の視界が確保されていると判定する。
【００７７】
このように、本実施の形態では、テレビカメラ１で撮像された画像に基づいて、テレビカメラ１の視界が確保されているか否かを判定することで、テレビカメラ１の視界が確保されているか否かの検出を行っている。しかしながら、本発明では、周知の視程計などのセンサを用い、その信号に基づいて、視界が確保されているか否かを処理部５がステップＳ３で判定するようにしてもよい。
【００７８】
ステップＳ３で視程が確保されていないと判定されると、ステップＳ４以降の処理が中止されて路面状態の判別が中止され、ステップＳ２へ戻る。このとき、処理部５は、最後に出力した路面状態の判別結果をそのまま出力し続ける。その代わりに、処理部５は、路面状態の判別が不能である旨を出力してもよい。
【００７９】
誤った路面状態の判別を回避するために、ステップＳ３を行うことが好ましいが、本発明ではステップＳ３を必ずしも行わなくてもよい。
【００８０】
ステップＳ３で視程が確保されていると判定されると、処理部５は、ステップＳ２で最新に取り込まれた領域Ｒ１のＹ画像及び前回に取り込まれた領域Ｒ１の画像の、２枚のＹ画像に基づいて、領域Ｒ１に相当する路面領域に車両が存在するか否かを判定する（ステップＳ４）。このステップＳ４の処理について、以下に説明する。
【００８１】
前記２枚の領域Ｒ１のＹ画像の撮像タイミングは、先の説明からわかるように、例えば１００ｍｓずれている。車両が時速５０ｋｍで走行していると仮定すると１００ｍｓ後に約１．４ｍ移動する。前記２枚の領域Ｒ１のＹ画像の差分画像を得ると、前記２枚の画像のいずれかの画像に走行車両が存在すれば、前記差分画像にはエッジ等の部分が現れる一方、前記２枚の領域Ｒ１のＹ画像のいずれにも走行車両が存在しなければ、前記差分画像にはエッジ等の部分は現れない。
【００８２】
この現象に着目して、ステップＳ４において、処理部５は、まず、前記２枚の領域Ｒ１のＹ画像の差分画像を得る。次に、処理部５は、この差分画像の分散値を算出し、この分散値が所定値以上であれば、領域Ｒ１に相当する路面領域に車両が存在すると判定し、この分散値が所定値未満であれば、領域Ｒ１に相当する路面領域に車両が存在しないと判定する。
【００８３】
このように、本実施の形態では、テレビカメラ１で撮像された画像に基づいて、領域Ｒ１に相当する路面領域に車両が存在するか否かを判定することで、領域Ｒ１に相当する路面領域に車両が存在するか否かの検出を行っている。しかしながら、本発明では、周知の車両感知器などのセンサを用い、その信号に基づいて、領域Ｒ１に相当する路面領域に車両が存在するか否かを処理部５がステップＳ４で判定するようにしてもよい。
【００８４】
ステップＳ４で領域Ｒ１に相当する路面領域に車両が存在すると判定されると、ステップＳ５以降の処理が中止されて路面状態の判別が中止され、ステップＳ２へ戻る。このとき、処理部５は、最後に出力した路面状態の判別結果をそのまま出力し続ける。その代わりに、処理部５は、路面状態の判別が不能である旨を出力してもよい。
【００８５】
誤った路面状態の判別を回避するために、ステップＳ４を行うことが好ましいが、本発明ではステップＳ４を必ずしも行わなくてもよい。
【００８６】
ステップＳ４で領域Ｒ１に相当する路面領域に車両が存在しないと判定されると、ステップＳ５へ移行する。
【００８７】
ステップＳ５において、処理部５は、Ｒ，Ｇ，Ｂをそれぞれ空間の異なる次元として、ステップＳ２で最新に取り込まれた領域Ｒ１のＲ，Ｇ，Ｂ画像の各画素を当該画素のＲ値、Ｇ値及びＢ値に従って前記空間（ＲＧＢ三次元空間）内にプロットしたときの、領域Ｒ１の各画素の前記空間内における分布の広がり状態を示す指標を得る。
【００８８】
ここで、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布状態の代表例を、図１０及び図１１に示す。図１０は領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）の各画素の分布状態を示し、図１１は領域Ｒ１に相当する路面領域に水分が存在する場合の各画素の分布状態を示している。この分布の広がり状態は路面の光沢の強さを示し、この分布が広がる（長い）ほど光沢が強く、この分布が広がらない（短い）ほど光沢が弱い。
【００８９】
このように、本実施の形態では、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布状態によって路面の光沢の強さを捉え、路面の光沢の強さを捉えるためにＲ，Ｇ，Ｂの３値を用いている。その理由を以下に説明する。アスファルト路面やコンクリート路面の色は、黒色から白色に至る無彩色であるが、経年変化によって汚れが付着し、少しであるが茶色を帯びてくる。また、路面は、完全拡散面ではないので乾燥状態であっても自然光による反射が存在し、自然光の色が見えることになる。例えば、夕日や朝日などオレンジを帯びることがある。夜間は、街路灯を用いるので低圧および高圧ナトリューム灯のオレンジ色が路面に写し出される。最近では、路面とタイヤとの摩擦を増やすために茶色の帯状の段差を設けた路面が存在する。以上のことから、路面には多少ではあるが無彩色以外の有彩色が存在する。そのため、Ｒ，Ｇ，Ｂ値を総合的に取り扱った方が、単に輝度で取り扱う場合に比べて、より精度良く光沢の強さを捉えることができ、ひいては、より高い精度で路面状態を判別することができるためである。同様の理由から、本実施の形態では、後述するようにステップＳ６で、Ｙ画像の分散値ではなく、Ｒ画像の分散値、Ｇ画像の分散値及びＢ画像の分散値によって、路面の光沢のムラを捉えている。
【００９０】
ステップＳ５において、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布の広がり状態を示す指標を、具体的にいかに得るかについては、後に詳述する。
【００９１】
ステップＳ５の後、処理部５は、ステップＳ２で最新に取り込まれた領域Ｒ１のＲ，Ｇ，Ｂ画像の各々について、下記の数１〜数３に従って分散値ＶＲ，ＶＧ，ＶＢを得る（ステップＳ６）。ＶＲは領域Ｒ１のＲ画像の分散値、ＶＧは領域Ｒ１のＧ画像の分散値、ＶＢは領域Ｒ１のＢ画像の分散値、Ｒｉは領域Ｒ１のｉ番目の画素のＲ値、Ｇｉは領域Ｒ１のｉ番目の画素のＧ値、Ｂｉは領域Ｒ１のｉ番目の画素のＢ値、Ｒ＊は領域Ｒ１の全画素のＲ値の平均値、Ｇ＊は領域Ｒ１の全画素のＧ値の平均値、Ｂ＊は領域Ｒ１の全画素のＢ値の平均値、ｎは領域Ｒ１の画素数を示す。これらの分散値ＶＲ，ＶＧ，ＶＢは路面の光沢のムラを示し、これらの分散値が大きいほど光沢のムラが大きく、これらの分散値が小さいほど光沢のムラが小さい。
【００９２】
【数１】
【００９３】
【数２】
【００９４】
【数３】
【００９５】
ステップＳ６の後、処理部５は、ステップＳ５で得た指標及びステップＳ６で得た分散値ＶＲ，ＶＧ，ＶＢに基づいて、領域Ｒ１に相当する路面領域の水分の有無を判別する（ステップＳ７）。
【００９６】
ここで、ステップＳ５〜Ｓ７を示す機能ブロック図を、図１２に示す。図１２を参照して、ステップＳ５〜Ｓ７の内容について具体的に説明する。なお、図１２に示す機能は、本実施の形態ではソフトウエアにより実現されるが、ハードウエアにより実現されるように構成できることは、言うまでもない。
【００９７】
図１２において、２１はステップＳ５の処理を行う指標演算部、２２はステップＳ６の処理を行う分散値演算部、２３はステップＳ７の処理を行う水分有無判別部を構成するバックプロパゲーション型ニューラルネットワークである。
【００９８】
指標演算部２１は、Ｒ，Ｇ，Ｂにそれぞれ対応する入力層ユニットと所定数（本実施の形態では４個）の競合層ユニットとを有し、領域Ｒ１の各画素のＲ値，Ｂ値，Ｃ値が、訓練パターンとして、対応する入力層ユニットにそれぞれ入力されて、自己組織化を行う自己組織化ニューラルネットワークと、自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離（本実施の形態では、４個の競合層ユニットの隣接するユニット間の距離ｒ１，ｒ２，ｒ３）を得るユニット間距離演算部２５と、を有している。図１２において、３１は自己組織化ニューラルネットワーク２４の入力層、３２は自己組織化ニューラルネットワーク２４の競合層を示している。
【００９９】
本実施の形態では、図１２に示すように、ステップＳ５の処理を行うために自己組織化ニューラルネットワーク２４を用いている。その理由を以下に説明する。自然環境は、複雑であり規則性は存在しない。そのため、路面に照射される昼間の自然光の強さは、薄暮時や日中では大きく異なり、月や季節によっても大きく異なる。１年を通して見た場合、複雑である。路面の反射光の強さは複雑な状態であることが言えるため、図１０及び図１１に示したようなＲ，Ｇ，Ｂ値の分布状態は実際には様々な形状をとる。したがって、多変量解析法などを用いて分布形状を一意的に決めることが困難である。そのため、領域Ｒ１の画像を格納する度に、非線形な分布状態の形状を求める必要がある。そこで、本実施の形態では、図１０及び図１１に示したようなＲ，Ｇ，Ｂ値の分布状態から形状を近似するために、自己組織化ニューラルネットワーク２４を用いている。
【０１００】
本実施の形態では、自己組織化ニューラルネットワーク２４として、コホーネン（kohonen）の自己組織化マップを用いている。
【０１０１】
まず、コホーネンの自己組織化ニューラルネットワークについて、一般的に説明する。このネットワークは自己組織化を特徴として教師なし学習により位相マッピングを行うものである。
【０１０２】
図１３に、コホーネンの自己組織化ニューラルネットワークの基本構造の一例を模式的に示す。このニューラルネットワークは、２層ネットワークであり、入力層（第１層）と競合層（第２層）とを有している。図１３の例では、競合層は２次元として構成されている。図１３には示していないが、入力層と競合層とは完全結合しており、各入力層ユニットは全ての競合層ユニットと結合している。入力層へ訓練パターンとして入力される入力パターンＥは、ベクトル表記され、下記の数４によって表される。ｎは入力層ユニットの数である。図１３では、この入力から競合層の単一のユニットへの結合を示している。入力層から競合層への結合の重み（結合係数）は、ここのユニット間の重みを要素とするベクトル表記され、下記の数５で表される。ただし、ｉは競合層のユニットを表す（これらの重みはユニットｉへ行く。競合層の次元に拘わらず、競合層ユニットは単一の数で識別する。）。
【０１０３】
【数４】
Ｅ＝［ｅ１，ｅ２，ｅ３，…，ｅｎ］
【０１０４】
【数５】
Ｕｉ＝［ｕｉ１，ｕｉ２，…，ｕｉｎ］
【０１０５】
このニューラルネットワークの自己組織化（教師なし学習、訓練）の際には、手順１として、Ｕｉとして任意の初期値を与える。
【０１０６】
次に、手順２として、Ｅとして訓練用の入力パターンをＥとして与え、各競合層ユニットｉのうちから勝者ユニットを決定する。このとき、各競合層ユニットｉに対して一致値が算出される。この一致値として例えばユークリッド距離が用いられる。ユニットｉに対する一致値は、‖Ｅ−Ｕｉ‖であり、次の数６で算出される。
【０１０７】
【数６】
【０１０８】
各競合層ユニットｉのうち、一致値‖Ｅ−Ｕｉ‖が最も低い（最も一致する）競合層ユニットが勝者ユニットとして決定される。複数の競合層ユニットが同じ一致値を持つ場合には、例えば、より小さな識別値ｉを持つユニットが勝者ユニットとして決定される。
【０１０９】
次に、手順３として、勝者ユニットから距離ｄで定まる近傍の競合層ユニット（勝利ユニットを含む）に対する重みが更新される。この更新方程式は下記の数７〜数９で示す通りである。
【０１１０】
【数７】
Δｕｉｊ＝α（ｅｊ−ｕｉｊ）：ユニットｉが前記近傍にある場合
【０１１１】
【数８】
Δｕｉｊ＝０：それ以外の場合
【０１１２】
【数９】
【０１１３】
数７においてαは学習率であり、学習率αは初期値として比較的大きな値を持ち、学習過程で何回もの繰り返しの間に減少する。αの初期値は適当に選択され、α０で表される。学習率αは、例えば下記の数１０に示すように設定される。数１０において、ｔは現在の訓練回数であり、Ｔは行われるべき訓練の全回数である。
【０１１４】
【数１０】
【０１１５】
勝者ユニットの近傍を決定する距離ｄは、例えば、下記の数１１に従って設定される。数１１において、ｄ０は距離ｄの初期値、ｔは現在の訓練回数であり、Ｔは行われるべき訓練の全回数である。
【０１１６】
【数１１】
【０１１７】
以上説明した手順２，３を、全ての訓練用の入力データについて行う。これが１回の学習（訓練）である。この学習を全回数Ｔまで繰り返し、全ての学習（自己組織化）が終了する。
【０１１８】
今、入力層ユニットの数ｎが２で、競合層が２次元であるものとして、訓練用の入力パターン（ｅ１，ｅ２）として、図１４に示す一様に分布した入力データを用いて前述した自己組織化を行うものとする。図１４中の小さい黒点が、個々の入力データを示している。すると、前述した自己組織化後に、各競合層ユニットは、図１５に示すように競合層にマッピングされる。図１５中の黒点が競合層ユニットを示している。図１４及び図１５から、自己組織化後の競合層ユニットのマッピング位置が入力データ（訓練パターン）の分布を反映したものとなることがわかる。
【０１１９】
また、入力層ユニットの数ｎが２で、競合層が２次元であるものとして、訓練用の入力パターン（ｅ１，ｅ２）として、図１６に示すように部分的に密に分布した入力データを用いて前述した自己組織化を行うものとする。図１６中の小さい黒点が、個々の入力データを示している。すると、前述した自己組織化後に、各競合層ユニットは、図１７に示すように競合層にマッピングされる。図１７中の黒点が競合層ユニットを示している。図１６及び図１７からも、自己組織化後の競合層ユニットのマッピング位置が入力データ（訓練パターン）の分布を反映したものとなることがわかる。
【０１２０】
このように、自己組織化ニューラルネットワークは、自己組織化後の競合層ユニットのマッピング位置が入力データ（訓練パターン）の分布を反映したものとなるという性質がある。本実施の形態では、この性質を利用して、図１０や図１１に示すような分布状態を数値化する。
【０１２１】
今、入力層ユニットの数ｎが３、競合層が３次元、競合層ユニットの数が４であり、訓練用の入力パターン（ｅ１，ｅ２，ｅ３）として、ｅ１をＲ値、ｅ２をＧ値、ｅ３をＢ値とした入力パターンを用い、図１８及び図１９中の小黒点で示される画素を個々の入力データとして入力することで、前述した自己組織化を行うものとする。図１８は、自己組織化前の初期状態の４個の競合層ユニットのマッピング位置を合わせて示している。図１９は、自己組織化後の状態の４個の競合層ユニットのマッピング位置を合わせて示している。ただし、図１８及び図１９では、競合層ユニットがマッピングされる空間の各次元をＲ，Ｇ，Ｂに合わせかつそのスケールも一致させている。図１８に示すように初期状態で空間の中央付近に密に位置していた競合層ユニットが、自己組織化後には、入力データ（ここでは、ＲＧＢ三次元空間における各画素）の分布状態を反映して、図１９に示すように広がる。したがって、自己組織化後の４個の競合層ユニットの互いに隣接するもの同士の距離ｒ１，ｒ２，ｒ３は、ＲＧＢ三次元空間における各画素の分布の広がり状態を示す指標となり得ることがわかる。
【０１２２】
本実施の形態では、図１２中の自己組織化ニューラルネットワーク２４として、入力層ユニットの数ｎが３、競合層３２が３次元、競合層ユニットの数が４の、コホーネンの自己組織化マップが用いられている。そして、このニューラルネットワーク２４では、訓練用の入力パターン（ｅ１，ｅ２，ｅ３）として、ｅ１をＲ値、ｅ２をＧ値、ｅ３をＢ値とした入力パターンが用いられ、ステップＳ２で最新に取り込まれた領域Ｒ１の画像の個々の画素のＲ値，Ｇ値，Ｂ値が訓練パターンの個々の入力データとして、入力層３１に入力され、これにより前述した自己組織化（教師なし学習）が行われるようになっている。
【０１２３】
今、自己組織化ニューラルネットワーク２４の入力層３１に、図１０に示すようなＲＧＢ三次元空間における分布をなす各画素のＲ値，Ｇ値，Ｂ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２０に示すようにマッピングされる。また、図１１に示すようなＲＧＢ三次元空間における分布をなす各画素のＲ値，Ｇ値，Ｂ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２０に示すようにマッピングされる。なお、図２０及び図２１においても、図１９の場合と同様に、競合層ユニットがマッピングされる空間の各次元をＲ，Ｇ，Ｂに合わせかつそのスケールも一致させている。なお、図２０及び図２１から、領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）には、自己組織化後の４個の競合層ユニットの互いに隣接するもの同士の距離ｒ１，ｒ２，ｒ３は短くなる一方、領域Ｒ１に相当する路面領域に水分が存在する場合には、距離ｒ１，ｒ２，ｒ３が長くなることがわかる。
【０１２４】
本実施の形態では、自己組織化ニューラルネットワーク２４は、このような自己組織化後の４つの競合層ユニットのマッピング位置を、ユニット間距離演算部２５に出力する。なお、競合層ユニットのマッピング位置は、当該競合層ユニットに対する重み及び競合層の次元等により定まる。そして、ユニット間距離演算部２５は、前記距離ｒ１，ｒ２，ｒ３を算出する。
【０１２５】
本実施の形態では、このように、前記距離ｒ１，ｒ２，ｒ３が、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布の広がり状態を示す指標として用いられている。しかしながら、本発明では、例えば、前記４個の競合層ユニットのうちの両端の競合層ユニット間の距離を算出して、これを前記指標として用いてもよい。また、競合層ユニットの数も４個に限定されるものではない。さらに、競合層２４は、必ずしも３次元に限定されるものではなく、２次元又は１次元でもよいし、他の次元数でもよい。さらにまた、自己組織化ニューラルネットワーク２４は、コホーネンの自己組織化マップに限定されるものではなく、例えば、コホーネンの自己組織化マップを適宜改変したような自己組織化ニューラルネットワークを用いてもよい。
【０１２６】
図１２に示す分散値演算部２２は、前述したステップＳ６で説明した動作を行うので、その重複説明は省略する。
【０１２７】
図１２に示すバックプロパゲーション型ニューラルネットワーク２３は、指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢが入力層４１に入力されて、これらの入力に応じた領域Ｒ１の路面領域の水分の有無を示す出力を、出力層４４から出力する。ニューラルネットワーク２３は、周知のバックプロパゲーション法により、実際の種々の状況で得られた指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢに対して目視等により調べた実際の水分の有無の情報を、教師データとして用いることで、予め学習されたものである。
【０１２８】
本実施の形態では、このネットワーク２３は、入力層４１及び出力層４４の他に、２つの中間層４２，４３を有し、入力層４１は６個のユニットを持ち、中間層４２は３０個のユニットを持ち、中間層４３は１５個のユニットを持ち、出力層４４は３個のユニットを持っている。例えば、出力層４４の３個のユニットの値が１，０，１の場合に水分があることを示し、１，１，０の場合に水分がないことを示すようになっている。もっとも、本発明では、バックプロパゲーション型ニューラルネットワークの構造自体はこのような構造に限定されるものではなく、また、ニューラルネットワーク２３に代えて、バックプロパゲーション型ニューラルネットワーク以外の階層型ニューラルネットワークや、教師あり学習により予め学習されたニューラルネットワークを用いてもよい。
【０１２９】
自然環境は、複雑であり規則性は存在しない。そのため、路面に照射される昼間の自然光の強さは、薄暮時や日中では大きく異なり、月や季節によっても大きく異なる。１年を通して見た場合、複雑である。路面の反射光の強さやムラも通年では複雑な状態であることが言える。つまり、状態が非線形であることが言える。このことから、指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢは、複雑に分布しており、多変量解析法等を用いて線形分離することは困難である。そこで、本実施の形態では、バックプロパゲーション型ニューラルネットワーク２３が用いられているのである。
【０１３０】
再び図８を参照すると、ステップＳ７で水分が無いと判別されると、処理部５は、判別結果として、路面状態が乾燥状態である旨の信号を出力し（ステップＳ１３）、ステップＳ２へ戻る。
【０１３１】
ステップＳ７で水分があると判別されると、処理部５は、路面温度計４からの信号に基づいて、路面温度が所定温度（例えば、１℃）以下であるか否かを判別する（ステップＳ８）。所定温度より高ければ、処理部５は、路面状態が湿潤状態である旨の信号を出力し（ステップＳ１２）、ステップＳ２へ戻る。
【０１３２】
ステップＳ８で所定温度以下であると判別されると、処理部５は、ステップＳ２で最新に取り込まれた領域３（図９参照）のＲ，Ｇ，Ｂ画像に基づいて、路面上に積雪が存在するか否か判定する（ステップＳ９）。積雪があれば領域３が白くなることから、具体的には、処理部５は、領域Ｒ３の画素のうち、Ｒ値，Ｇ値及びＢ値のいずれもが所定値（例えば、２４０）以上である画素（白色又はこれに近い色）の画素（以下、単に白色画素」と呼ぶ。）の数を数える。そして、処理部５は、全画素数に対する白色画素の割合を算出し、その割合が所定の割合（例えば、８０％）以上であれば積雪状態であると判別し、前記所定の割合未満であれば凍結状態であると判別する。
【０１３３】
このように、本実施の形態では、テレビカメラ１で撮像された画像に基づいて、路面上に積雪が存在するか否かを判定することで、積雪の有無の検出を行っている。しかしながら、本発明では、周知の積雪深計などのセンサを用い、その信号に基づいて、積雪の有無を処理部５がステップＳ９で判定するようにしてもよい。
【０１３４】
そして、処理部５は、ステップＳ９で路面状態が凍結状態であると判別すると、その旨の信号を出力し（ステップＳ１１）、ステップＳ２へ戻る。一方、処理部５は、ステップＳ９で路面状態が積雪状態であると判別すると、その旨の信号を出力し（ステップＳ１０）、ステップＳ２へ戻る。
【０１３５】
本実施の形態によれば、路面の光沢の強さ及び路面の光沢のムラを特徴量として用いることと、水分有無の判別に教師あり学習により予め学習されたバックプロパゲーション型ニューラルネットワーク２４を用いること、の両方が相俟って、高い精度で路面状態を判別することができる。
【０１３６】
なお、処理部５は、ステップＳ８，Ｓ９の処理を行わずに、ステップＳ７で水分があると判定された場合には、その旨の信号を出力し、ステップＳ２へ戻ってもよい。本発明では、このように路面状態が乾燥状態であるか否かを判別するだけでもよい。
【０１３７】
［第２の実施の形態］
【０１３８】
図２２は、本発明の第２の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２に対応している。図２２において、図１２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１３９】
本実施の形態が前記第１の実施の形態と異なる所は、前記第１の実施の形態では単一のバックプロパゲーション型ニューラルネットワーク２３が用いられているのに対し、本実施の形態では、４つのバックプロパゲーション型２３ａ〜２３ｄと、これらの入出力を切り替え指令に応答してそれぞれ切り替える切り替え部５１，５２を備えている点のみである。
【０１４０】
本実施の形態では、４つのバックプロパゲーション型ニューラルネットワーク２３ａ〜２３ｄは、春夏秋冬の４つの季節ごとに、実際の種々の状況で得られた指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢに対して目視等により調べた実際の水分の有無の情報を、教師データとして用いることで、予めそれぞれ学習されたものである。本実施の形態では、処理部５は、図８中のステップＳ７の際に、処理部５に内蔵された時計に基づいて現時点がいずれの季節であるかを判別し、４つのニューラルネットワーク２３ａ〜２３ｄのうち、当該季節に応じて学習されたものを選択的に用いて水分の有無を判別する。図２２では、この切り替え機能を切り替え部５１，５２として示している。
【０１４１】
季節によって太陽高度等が比較的大きく変化するので、本実施の形態のように、季節ごとに学習されたニューラルネットワーク２３ａ〜２３ｄを現在の季節に応じて用いれば、より高い精度で路面状態を判別することができる。
【０１４２】
なお、本実施の形態では、季節ごとに学習させた水分有無判別用のニューラルネットワークを用意したが、他の条件ごとに学習させた水分有無判別用のニューラルネットワークを用意し、現在の条件に対応するニューラルネットワークを用いて水分の有無を判別するようにしてもよい。
【０１４３】
［第３の実施の形態］
【０１４４】
図２３は、本発明の第３の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２に対応している。図２３において、図１２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１４５】
本実施の形態が前記第１の実施の形態と異なる所は、以下に説明する点のみである。
【０１４６】
輝度（Ｙ）の一次元空間における領域Ｒ１の各画素の分布状態の代表例を、図２４及び図２５に示す。図２４は領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）の各画素の分布状態を示し、図２５は領域Ｒ１に相当する路面領域に水分が存在する場合の各画素の分布状態を示している。この分布の広がり状態は路面の光沢の強さを示し、この一次元分布が広がる（長い）ほど光沢が強く、この一次元分布が広がらない（短い）ほど光沢が弱い。また、領域Ｒ１のＹ画像の分散値は、領域Ｒ１に相当する路面領域の光沢のムラを示している。本実施の形態では、これらのことを利用する。
【０１４７】
前記第１の実施の形態では、指標演算部２１は、Ｒ，Ｇ，Ｂをそれぞれ空間の異なる次元として、ステップＳ２で最新に取り込まれた領域Ｒ１のＲ，Ｇ，Ｂ画像の各画素を当該画素のＲ値、Ｇ値及びＢ値に従って前記空間（ＲＧＢ三次元空間）内にプロットしたときの、領域Ｒ１の各画素の前記空間内における分布の広がり状態を示す指標として、距離ｒ１，ｒ２，ｒ３を得る。これに対し、本実施の形態では、指標演算部２１は、輝度（Ｙ）を一次元空間として、ステップＳ２で最新に取り込まれた領域Ｒ１のＹ画像の各画素を当該画素のＹ値（輝度の濃淡値）に従って前記一次元空間内にプロットしたときの、領域Ｒ１の各画素の前記一次元空間内における分布の広がり状態を示す指標として、距離ｒ１’，ｒ２’，ｒ３’を得る。
【０１４８】
本実施の形態では、自己組織化ニューラルネットワーク２４として、入力層ユニットの数ｎが１、競合層３２が１次元、競合層ユニットの数が４の、コホーネンの自己組織化マップが用いられている。そして、このニューラルネットワーク２４では、訓練用の入力パターン（ｅ１）として、ｅ１をＹ値した入力パターンが用いられ、ステップＳ２で最新に取り込まれた領域Ｒ１の画像の個々の画素のＹ値が訓練パターンの個々の入力データとして、入力層３１に入力され、これにより前述した自己組織化（教師なし学習）が行われるようになっている。
【０１４９】
今、自己組織化ニューラルネットワーク２４の入力層３１に、図２４に示すようなＹ一次元空間における分布をなす各画素のＹ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２６に示すようにマッピングされる。また、図２５に示すようなＹ一次元空間における分布をなす各画素のＹ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２７に示すようにマッピングされる。なお、図２６及び図２７において、競合層ユニットがマッピングされる空間の次元をＹに合わせかつそのスケールも一致させている。なお、図２６及び図２７から、領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）には、自己組織化後の４個の競合層ユニットの互いに隣接するもの同士の距離ｒ１’，ｒ２’，ｒ３’は短くなる一方、領域Ｒ１に相当する路面領域に水分が存在する場合には、距離ｒ１’，ｒ２’，ｒ３’が長くなることがわかる。
【０１５０】
本実施の形態では、自己組織化ニューラルネットワーク２４は、このような自己組織化後の４つの競合層ユニットのマッピング位置を、ユニット間距離演算部２５に出力する。なお、競合層ユニットのマッピング位置は、当該競合層ユニットに対する重み及び競合層の次元等により定まる。そして、ユニット間距離演算部２５は、前記距離ｒ１’，ｒ２’，ｒ３’を算出する。
【０１５１】
本実施の形態では、分散値演算部２２は、ステップＳ２で最新に取り込まれた領域Ｒ１のＹ画像の分散値ＶＹを、下記の数１２に従って得る。Ｙｉは領域Ｒ１のｉ番目の画素のＹ値、Ｙ＊は領域Ｒ１の全画素のＹ値の平均値、ｎは領域Ｒ１の画素数を示す。これらの分散値ＶＹは路面の光沢のムラを示し、これらの分散値が大きいほど光沢のムラが大きく、これらの分散値が小さいほど光沢のムラが小さい。
【０１５２】
【数１２】
【０１５３】
本実施の形態では、バックプロパゲーション型ニューラルネットワーク２３は、指標演算部２１からの出力される距離ｒ１’，ｒ２’，ｒ３’及び分散値演算部２２から出力されるＹの分散値ＶＹが入力層４１に入力されて、これらの入力に応じた領域Ｒ１の路面領域の水分の有無を示す出力を、出力層４４から出力する。ニューラルネットワーク２３は、周知のバックプロパゲーション法により、実際の種々の状況で得られた指標演算部２１からの出力される距離ｒ１’，ｒ２’，ｒ３’及び分散値演算部２２から出力されるＹの分散値ＶＹに対して目視等により調べた実際の水分の有無の情報を、教師データとして用いることで、予め学習されたものである。なお、入力層４１のユニット数は４個に変更されている。
【０１５４】
本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。ただし、本実施の形態では、輝度を用いて光沢の強さや光沢のムラを捉えているので、前記第１の実施の形態に比べると、光沢の強さや光沢のムラを捉える精度がやや低下すると考えられる。しかしながら、本実施の形態では、前記第１の実施の形態に比べて処理が簡単となるという利点が得られる。
【０１５５】
［第４の実施の形態］
【０１５６】
図２８は、本発明の第４の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２及び図２２に対応している。図２８において、図１２及び図２２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１５７】
本実施の形態が前記第１の実施の形態と異なる所は、分散値演算部２２が第３の実施の形態の分散値演算部２２と同じ構成に変更され、これに伴う変更がバックプロパゲーション型ニューラルネットワーク２３に加えられている点のみである。なお、本実施の形態の指標演算部２１は第１の実施の形態の指標演算部２１と同一である。
【０１５８】
本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。
【０１５９】
［第５の実施の形態］
【０１６０】
図２９は、本発明の第５の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２及び図２２に対応している。図２９において、図１２及び図２２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１６１】
本実施の形態が前記第１の実施の形態と異なる所は、指標演算部２１が第３の実施の形態の指標演算部２１と同じ構成に変更され、これに伴う変更がバックプロパゲーション型ニューラルネットワーク２３に加えられている点のみである。なお、本実施の形態の分散値演算部２２は第１の実施の形態の分散値演算部２２と同一である。
【０１６２】
本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。
【０１６３】
【実施例】
前記第１の実施の形態による路面状態判別装置を実際に作製し、所定箇所に設置して、平成１３年１２月から平成１４年３月の期間中に、路面状態の判別精度を検証した。この設置状態で得られる画像は、図３に示す通りであった。バックプロパゲーション型ニューラルネットワーク２３の学習は、１２月から２月に渡って行った。
【０１６４】
判別結果の検証は、期間中の１時間毎に収集した路面画像を凍結、積雪、湿潤、乾燥に分類し、その結果と設置した路面状態判別装置の出力と比較し目視判定を行った。凍結は、目視で判定することが困難であるため路面が湿潤状態であり路温が設定値以下（例えば１℃以下）の場合とした。
【０１６５】
期間中の１時間毎に収集した路面画像を目視で凍結、積雪、湿潤、乾燥の４状態に分別し、この結果を真値とした。
【０１６６】
自然環境下における路面状態の推移は独立して存在するものではなく、降雨、降雪、気温等の変化が影響して路面状態が変化するものであり、通常、凍結と圧雪、圧雪と湿潤、凍結と湿潤、湿潤と乾燥などの混在状態は頻繁に発生する。
【０１６７】
また、本装置を設置した場所は、峠道であり気象状態が変化し易く、トンネルの出口から先が長い下り坂になっていることから凍結防止のための散水設備がある。そのため、降雪時は水が撒かれており雪が積もらないので積雪は検証対象外とした。
【０１６８】
精度検証は、平成１３年１２月後半から平成１４年３月末日まで１７０４時間行った。各々の月における画像式と目視の路面状態判別時間を、図３０に示す。平成１３年度の検証結果を図３１に示し、一日の路面状態出現図を図３２に示す。
【０１６９】
図３１に示すように収集した路面画像の目視判定結果と路面状態判別装置出力を検証した結果、精度は９０％以上であった。この結果から、この路面状態判別装置は、冬季の道路管理に大いに役立つものと言える。
【０１７０】
しかし、図３１に示されている路面状態判別時間は、画像式判別と目視判別とは、個々の月では異なっている。これは、バックプロパゲーション型ニューラルネットワーク２３の学習における教師データの与え方が必ずしも十分ではなく、月毎の太陽高度の差が判定されたものと考えられる。よって、十分な学習を行えば、更に判別精度を高めることができる。なお、夜間の路面状態判別は、道路照明灯の人工光源を用いるので月毎の変化はない。
【０１７１】
以上、本発明の各実施の形態及び実施例について説明したが、本発明はこれらに限定されるものではない。
【０１７２】
例えば、テレビカメラ１として既存の道路空間監視カメラを用い、管理センタ等に処理装置を設置して、、路線上に点在する道路空間監視カメラ画像を中央に伝送し、一カ所に集約した形で画像処理を行い、路面状態の判別を行うことも可能である。この場合、大幅なコスト削減が可能となる。
【０１７３】
【発明の効果】
以上説明したように、本発明によれば、高い精度で路面状態を判別することができる路面状態判別装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による路面状態判別装置を示す概略ブロック図である。
【図２】テレビカメラにより撮像された画像の実例を示す概略図である。
【図３】実際の水分有無判別用路面領域に相当する撮像画像上の画像領域の設定例を示す図である。
【図４】所定の状態の光の様子を示す説明図である。
【図５】他の状態の光の様子を示す説明図である。
【図６】更に他の状態の光の様子を示す説明図である。
【図７】更に他の状態の光の様子を示す説明図である。
【図８】本実施の形態の第１の実施の形態による路面状態判別装置の主に処理部の動作の一例を示す概略フローチャートである。
【図９】画像上の各領域の設定例を示す図である。
【図１０】ＲＧＢ三次元空間における各画素の分布状態の代表例を示す図である。
【図１１】ＲＧＢ三次元空間における各画素の分布状態の他の代表例を示す図である。
【図１２】本実施の形態の第１の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図１３】コホーネンの自己組織化ニューラルネットワークの基本構造の一例を示す図である。
【図１４】入力層への入力データの分布の例を示す図である。
【図１５】競合層ユニットの自己組織化後のマッピングの様子を示す図である。
【図１６】入力層への入力データの分布の他の例を示す図である。
【図１７】競合層ユニットの自己組織化後のマッピングの様子を示す他の図である。
【図１８】入力層への入力データの分布と競合層ユニットの自己組織化前のマッピングの様子を示す図である。
【図１９】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す図である。
【図２０】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す他の図である。
【図２１】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す更に他の図である。
【図２２】本発明の第２の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図２３】本発明の第３の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図２４】Ｙ一次元空間における各画素の分布状態の代表例を示す図である。
【図２５】Ｙ一次元空間における各画素の分布状態の他の代表例を示す図である。
【図２６】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す更に他の図である。
【図２７】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す更に他の図である。
【図２８】本発明の第４の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図２９】本発明の第５の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図３０】各々の月における画像式と目視の路面状態判別時間を示す図である。
【図３１】判別精度の検証結果を示す図である。
【図３２】一日の路面状態出現の様子を示す図である。
【符号の説明】
１ テレビカメラ
２ 画像変換部
３ 画像メモリ
４ 路面温度計
５ 処理部
２１ 指標演算部
２２ 分散値演算部
２３ バックプロパゲーション型ニューラルネットワーク
２４ 自己組織化ニューラルネットワーク
２５ ユニット間距離演算部
【発明の属する技術分野】
本発明は、路面が乾燥状態であるか否か（路面上に水分の有無）などの路面状態を判別する路面状態判別装置に関し、特に、撮像手段を用いた路面状態判別装置に関するものである。
【０００２】
【従来の技術】
この種の路面状態判別装置として、例えば、特許文献１に開示された路面状態判別装置が提案されている。この路面状態判別装置は、路面を俯瞰するように取付けられた可視カメラからの路面映像信号をもとに、ある路面範囲における路面の湿潤、乾燥等の状態を検知する路面状態把握装置において、検知したい路面状況に対応した画像を、例えば湿潤に対して、外乱因子となる天候条件、すなわち晴天、曇り、夜間等の環境条件にそれぞれ対応して予め撮像し、それを基に、その時の路面の状態を反映した色、輝度、模様等の特徴量を抽出して、基準画特徴量として蓄えておき、新たに撮像した検査画像に対して同様な処理によって得られる検査画特徴量とを多変量解析によって比較分析することにより、検査画像がどの基準画特徴量に最も近いかを判定して、検査画像における路面状態がどの基準画像に最も近いかを判別するものである。
【０００３】
そして、特許文献１には、前記特徴量として、検査画像と基準画像との差分画像からそれぞれ求めた（１）色差及びその分散、（２）輝度及びその分散、並びに（３）テクスチャの、組み合わせを用いることが開示されている。
【０００４】
【特許文献１】
特開２００２−１６２３４３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、前記従来の路面状態判別装置では、選定された特徴量が路面状態を捉えるものとして必ずしも適切なものではないため、十分な精度で路面状態を判別することが困難であった。
【０００６】
また、前記路面状態判別装置では、検査画像における路面状態がどの基準画像に最も近いかを判別するために、多変量解析法のマハラノビスの汎距離を用いて線形分離を行っているため、種々の天候条件等に応じて大きく非線形に変化する画像の状態に対応することが困難であった。したがって、この点からも、十分な精度で路面状態を判別することが困難であった。
【０００７】
本発明は、このような事情に鑑みてなされたもので、高い精度で路面状態を判別することができる路面状態判別装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するため、本発明の第１の態様による路面状態判別装置は、路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、前記撮像手段から得られたカラー画像のうちの前記所定領域に対応する画像領域の各画素の各色の濃淡値に基づいて、前記画像領域の各色ごとの分散値を得る分散値演算手段と、前記各色をそれぞれ空間の異なる次元として、前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の各色ごとの前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。なお、前記撮像手段は、路面の前記所定領域を俯瞰するように取り付けられることになる。
【０００９】
前記画像領域の各色ごとの分散値は、全体として路面の光沢のムラを示している。前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態は、光沢の強さを示している。したがって、前記第１の態様では、路面の光沢の強さとムラを特徴量として用いている。
【００１０】
本発明者の研究の結果、以下に説明する事項が判明した。すなわち、撮像手段のレンズに入る路面からの反射光は、正反射光が最も強いと考えられる。つまり、撮像手段は路面の正反射光の強さを計測していることになり、路面の光沢を測っていると考えられる。そして、昼夜を問わず乾燥している路面は、拡散面となり光沢は弱く、路面上に水分（水、氷又は積雪）が存在する時は半鏡面状態となり光沢は強くなる。また、乾燥路面は、一様な表面特性であるので、路面画像領域内のどの点においても光沢の強さはほぼ同一であり、光沢にムラがほとんどない。一方、路面は見かけは平らであるが実際には大小様々な凹凸があるため、路面に水分がある場合は光沢にムラが生じる。
【００１１】
これらの現象から、路面の光沢の強さ及び路面の光沢のムラを特徴量として用いることが路面状態を適切に捉える上で好ましい。よって、前記第１の態様によれば、高い精度で路面状態を判別することができる。
【００１２】
ところで、前記第１の態様では、各色の濃淡値を用いているが、色自体を特徴量としているわけではない。これは、後に詳述するように種々の理由から路面画像における色は完全な無彩色ではないので、各色の濃淡値を総合的に取り扱った方が、単に輝度で取り扱う場合に比べて、より精度良く光沢の強さや光沢のムラを捉えることができ、ひいては、より高い精度で路面状態を判別することができるためである。もっとも、本発明では、後述する第２、第４及び第５の態様のように、輝度を用いて光沢の強さや光沢のムラを捉えてもよい。
【００１３】
本発明の第２の態様による路面状態判別装置は、路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、前記撮像手段から得られた画像のうちの前記所定領域に対応する画像領域の各画素の輝度の濃淡値に基づいて、前記画像領域の輝度の分散値を得る分散値演算手段と、各色をそれぞれ空間の異なる次元として、前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の輝度の前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。
【００１４】
この第２の態様によっても、前記第１の態様と同様の利点が得られる。
【００１５】
本発明の第３の態様による路面状態判別装置は、前記第１又は第２の態様において、前記指標演算手段は、（ａ）前記各色にそれぞれ対応する入力層ユニットと所定数の競合層ユニットとを有し、前記画像領域の前記各画素の各色の濃淡値が、訓練パターンとして、対応する入力層ユニットにそれぞれ入力されて、自己組織化を行う自己組織化ニューラルネットワークと、（ｂ）自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離を得る距離演算手段と、を有し、前記距離演算手段により得られた前記距離に応じた値を、前記指標として用いるものである。
【００１６】
この第３の態様によれば、前記指標を、前記自己組織化ニューラルネットワーク及び前記距離演算手段を用いることで得ているので、前記分布の広がりを精度良く適切に捉えることができ、ひいては、より高い精度で路面状態を判別することができる。コホーネン（kohonen）の自己組織化マップのような自己組織化ニューラルネットワークは、自己組織化後の競合層ユニットのマッピング位置が入力ベクトルの分布を反映したものとなるという性質がある。前記第３の態様では、この性質を巧みに利用することで、数値化に適した状態で、前記分布の広がりを精度良く捉えることができるのである。
【００１７】
本発明の第４の態様による路面状態判別装置は、路面の所定領域を含む領域の画像を撮像する撮像手段と、前記撮像手段から得られた画像のうちの前記所定領域に対応する画像領域の各画素の輝度の濃淡値に基づいて、前記画像領域の輝度の分散値を得る分散値演算手段と、前記輝度を一次元空間として、前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の輝度の前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。なお、前記撮像手段は、路面の前記所定領域を俯瞰するように取り付けられることになる。また、この第４の態様では、撮像手段は、カラー画像を撮像してもよいし、白黒画像を撮像してもよい。
【００１８】
前記画像領域の輝度の分散値は、路面の光沢のムラを示している。前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態は、光沢の強さを示している。したがって、前記第４の態様では、前記第１の態様と同様に、路面の光沢の強さとムラを特徴量として用いている。よって、前記第４の態様によれば、前記第１の態様と同様に、高い精度で路面状態を判別することができる。
【００１９】
ただし、前記第４の態様では、輝度を用いて光沢の強さや光沢のムラを捉えているので、前記第１の態様に比べると、光沢の強さや光沢のムラを捉える精度がやや低下すると考えられる。しかしながら、第４の態様では、前記第１の態様に比べて処理が簡単となるという利点が得られる。
【００２０】
本発明の第５の態様による路面状態判別装置は、路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、前記撮像手段から得られたカラー画像のうちの前記所定領域に対応する画像領域の各画素の各色の濃淡値に基づいて、前記画像領域の各色ごとの分散値を得る分散値演算手段と、輝度を一次元空間として、前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態を示す指標を得る、指標演算手段と、前記分散値演算手段により得られた前記画像領域の各色ごとの前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、を備えたものである。
【００２１】
この第５の態様によっても、前記第１の態様と同様の利点が得られる。
【００２２】
本発明の第６の態様による路面状態判別装置は、前記第４又は第５の態様において、前記指標演算手段は、（ａ）前記輝度に対応する入力層ユニットと所定数の競合層ユニットとを有し、前記画像領域の前記各画素の輝度の濃淡値が訓練パターンとして前記入力層ユニットに入力されて、自己組織化を行う自己組織化ニューラルネットワークと、（ｂ）自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離を得る距離演算手段と、を有し、前記距離演算手段により得られた前記距離に応じた値を、前記指標として用いるものである。
【００２３】
この第６の態様によれば、前記指標を、前記自己組織化ニューラルネットワーク及び前記距離演算手段を用いることで得ている。したがって、この第６の態様によれば、前記第３の態様と同様の利点が得られる。
【００２４】
本発明の第７の態様による路面状態判別装置は、前記第１乃至第６のいずれかの態様において、前記水分有無判別手段は、教師あり学習により予め学習されたニューラルネットワークを含むものである。
【００２５】
この第７の態様によれば、前記水分有無判別手段が、教師あり学習により予め学習されたニューラルネットワークを含むので、特徴量の非線形分離を行うことができる。したがって、種々の天候条件等に応じて画像の状態が大きく変化しても、高い精度で路面状態を判別することができる。
【００２６】
本発明の第８の態様による路面状態判別装置は、前記第７の態様において、前記予め学習されたニューラルネットワークが階層型ニューラルネットワークであるものである。
【００２７】
この第８の態様のように階層型ニューラルネットワークを用いると、より高い精度で路面状態を判別することができ、好ましい。
【００２８】
本発明の第９の態様による路面状態判別装置は、前記第７又は第８の態様において、前記予め学習されたニューラルネットワークがバックプロパゲーション型ニューラルネットワークであるものである。
【００２９】
この第９の態様のように、バックプロパゲーション型ニューラルネットワークを用いると、教師あり学習を適切に行うことができ、好ましい。
【００３０】
本発明の第１０の態様による路面状態判別装置は、前記第１乃至第６のいずれかの態様において、前記水分有無判別手段は、互いに異なる条件下で教師あり学習により予め学習された複数のニューラルネットワークを含み、前記複数のニューラルネットワークのうち現在の条件に対応するニューラルネットワークを用いて、前記路面上の水分の有無を判別するものである。
【００３１】
この第１０の態様のように、各条件ごとに学習された複数のニューラルネットワークを用いれば、各ニューラルネットワークの判定の精度が高まり、ひいては、より精度良く路面状態を判別することができる。
【００３２】
本発明の第１１の態様による路面状態判別装置は、前記第１０の態様において、前記条件が季節であるものである。
【００３３】
当該装置が屋外（トンネル内など以外）に設置される場合、季節（春夏秋冬）により太陽高度が大きく異なるので、この第１１の態様のように、季節ごとに学習された複数のニューラルネットワークを用いると、より高い精度で路面状態を判別することができる。なお、当該装置が屋外に設置される場合でも、単一の学習済みニューラルネットワークを用いる場合には、夏に学習されたニューラルネットワークを用いる方が、冬に学習されたニューラルネットワークを用いる場合に比べて好ましい。夏は太陽高度が高い状態から低い状態まで含むが、冬は夏の高い太陽高度の状態を含まないからである。
【００３４】
本発明の第１２の態様による路面状態判別装置は、前記第１乃至第１１のいずれかの態様において、前記所定領域付近に車両が存在するか否かを検出する車両検出手段と、該車両検出手段により前記所定領域付近に車両が存在すると検出された場合に、路面状態の判別を中止するものである。
【００３５】
この第１２の態様によれば、車両の存在による誤った路面状態の判別を回避することができ、好ましい。
【００３６】
本発明の第１３の態様による路面状態判別装置は、前記第１２の態様において、前記車両検出手段は、前記撮像手段により得られた画像に基づいて、前記所定領域付近に車両が存在するか否かを判定する手段を含むものである。
【００３７】
前記第１２の態様では、前記車両検出手段として、周知の光学式車両検知器などのセンサを用いてもよいが、前記第１３の態様のように、撮像手段により得られた画像に基づいて車両の存在の有無を判定すれば、特別のセンサが不要となり、好ましい。
【００３８】
本発明の第１４の態様による路面状態判別装置は、前記第１乃至第１３のいずれかの態様において、前記撮像手段の視界が所望の程度に確保されているか否かを検出する視界検出手段を備え、該視界検出手段により前記視界が前記所望の程度に確保されていないと検出された場合に、路面状態の判別を中止するものである。
【００３９】
この第１４の態様によれば、霧や豪雨や降雪等により視界が確保されていないことによる路面状態の判別を回避することができ、好ましい。
【００４０】
本発明の第１５の態様による路面状態判別装置は、前記第１４の態様において、前記視界検出手段は、前記撮像手段により得られた画像に基づいて、前記撮像手段の視界が所望の程度に確保されているか否かを判定する手段を含むものである。
【００４１】
前記第１４の態様では、前記視界検出手段として、周知の視程計などのセンサを用いてもよいが、前記第１５の態様のように、撮像手段により得られた画像に基づいて視界を判定すれば、特別のセンサが不要となり、好ましい。
【００４２】
本発明の第１６の態様による路面状態判別装置は、前記第１乃至第１５のいずれかの態様において、路面温度を検出する路面温度検出手段と、前記水分有無判別手段により路面上に水分があると判定され、かつ、前記路面温度検出手段により検出された路面温度が所定温度より高い場合に、路面が湿潤状態であると判別する手段と、を備えたものである。
【００４３】
この第１６の態様によれば、路面状態として、路面上の水分の有無（すなわち、路面が乾燥状態であるか否か）だけでなく、路面が湿潤状態（凍結や積雪でない状態の水が存在する状態）であるか、それとも、凍結状態及び積雪状態のいずれかの状態であるか、も判別することができ、より細かい路面状態の判別が可能となり、好ましい。
【００４４】
本発明の第１７の態様による路面状態判別装置は、前記第１６の態様において、路面上の積雪の有無を検出する積雪検出手段と、前記水分有無判別手段により路面上に水分があると判定され、前記路面温度検出手段により検出された路面温度が所定温度以下であり、かつ、前記積雪検出手段により路面上の積雪が存在しないと検出された場合に、路面が凍結状態であると判別する手段と、前記水分有無判別手段により路面上に水分があると判定され、前記路面温度検出手段により検出された路面温度が所定温度以下であり、かつ、前記積雪検出手段により路面上の積雪が存在すると検出された場合に、路面が積雪状態であると判別する手段と、を備えたものである。
【００４５】
この第１７の態様によれば、路面が凍結状態であるか積雪状態であるかも判別することができ、より細かい路面状態の判別が可能となり、好ましい。
【００４６】
本発明の第１８の態様による路面状態判別装置は、前記第１７の態様において、前記積雪検出手段は、前記撮像手段により得られた画像に基づいて、路面上の積雪の有無を判定する手段を含むものである。
【００４７】
前記第１７の態様では、前記積雪検出手段として、周知の積雪深計（例えば、超音波で上面の高さを計測する計測器）などのセンサを用いてもよいが、前記第１８の態様のように、撮像手段により得られた画像に基づいて積雪を判定すれば、特別のセンサが不要となり、好ましい。
【００４８】
【発明の実施の形態】
以下、本発明による路面状態判別装置について、図面を参照して説明する。
【００４９】
［第１の実施の形態］
【００５０】
図１は、本発明の第１の実施の形態による路面状態判別装置を示す概略ブロック図である。
【００５１】
本実施の形態による路面状態判別装置は、図１に示すように、フルカラー画像を撮像する撮像手段としてのテレビカメラ１と、テレビカメラ１からの画像信号に対してＡ／Ｄ変換及び必要に応じて信号形式の変換を行う画像信号変換部２と、画像信号変換部２により変換された画像（画像信号）を記憶する画像メモリ３と、路面温度を検出する路面温度検出手段としての放射温度計等の路面温度計４と、画像メモリ３からの画像に対して後述する処理を行うとともに路面温度計４からの信号に基づく処理を行って、判別結果としての路面状態を出力する処理部５と、を備えている。なお、図面には示していないが、処理部５は、後述する動作を実現するように、例えば、マイクロコンピュータ及び他の電子回路等で構成されている。
【００５２】
本実施の形態では、画像信号変換部２は、処理部５からの指令に応じて、後述する水分有無判別用路面領域に相当する画像領域Ｒ１（図３、図９参照）についてＲ（赤色），Ｇ（緑色），Ｂ（青色）及びＹ（輝度）の画像を得るとともに、後述する視界検出用領域に相当する画像領域Ｒ２（図９参照）についてＲ，Ｇ，Ｂの画像を得るようになっており、これらの画像が画像メモリ３に取り込まれる。なお、本実施の形態では、後述する積雪検出用領域に相当する画像領域Ｒ３は画像領域１に含まれているので、画像信号変換部２は、画像領域Ｒ３についてＲ，Ｇ，Ｂの画像を得ることは行わないが、画像領域３が画像領域１に含まれない場合は、画像信号変換部２が領域Ｒ３についてＲ，Ｇ，Ｂの画像を得るようにすればよい。
【００５３】
図２は、テレビカメラ１により撮像された画像の実例を示す概略図である。図２において、１１は道路の一方側の車線の像、１２はセンターラインの像、１３は他方側の本線車線の像、１４は他方側の登坂車線の像、１５はトンネルの像、１６は登坂車線の終了に伴って本線車線へ誘導するための矢印の像である。図２では、街路灯などの像は省略している。
【００５４】
図面には示していないが、テレビカメラ１は、路面の所定領域を含む領域の画像を撮像するべく、例えば図２に示す画像を撮像するように、支柱やアーム等を用いて道路上方又は路側上方に設置され、路面を俯瞰するように設置されている。また、図面には示していないが、路面温度計４は、画像領域Ｒ１に相当する路面領域付近の温度を計測するように、支柱等に取り付けられている。
【００５５】
図３は、実際の水分有無判別用路面領域に相当する撮像画像上の画像領域Ｒ１の設定例を示している。この例では、領域Ｒ１は、実際の路面上の車線幅×１５０ｍ程度の領域に相当している。このように領域Ｒ１に相当する実際の路面領域を広範囲に設定すると、道路パトロール員の目視と合致した判別結果が得られ、冬季等における道路管理の有効性が期待できる。もっとも、領域Ｒ１に相当する実際の領域の大きさはこの例に何ら限定されるものではない。
【００５６】
なお、画像領域Ｒ１に相当する路面領域の少なくとも一部は、図示しない街路灯等により照明されるようになっている。
【００５７】
ここで、図３中の画像上のＡ，Ｂ，Ｃ点に相当する実際の路面上の点からテレビカメラ１のレンズに入射する光の様子について、下記の（１）〜（６）に場合分けして考察する。図４乃至図６は、各場合におけるこの光の様子を示す説明図である。
【００５８】
（１）昼間曇天時
昼間曇天時は、太陽は雲に隠れ、光源としては面光源となる。したがって、図３に示すＡ，Ｂ，Ｃ点に相当する点における入射光の強度は同一と考えられ、その反射光の強度も同一と考えられる。
【００５９】
また、テレビカメラ１のレンズに入射される路面からの反射光は、図４に示すように、画像領域Ｒ１に相当する路上領域内の各々の路面上ポイントの正反射光が最も強いと考えられる。
【００６０】
つまり、テレビカメラ１は、路面の正反射光の強さを計測していることになる。この正反射光の強さは、路面の光沢を表していると考えられる。
【００６１】
アスファルト路面は、拡散面であるので太陽光（ここでは、昼間曇天時であるので、雲からの光）における路面での反射光の配光特性は、図５に示すようになる。画像領域Ｒ１に相当する路上領域内のアスファルトは一様な特性であると仮定すると、反射光の強度も一様であると考えられる。
【００６２】
（２）昼間雨天時（昼間における日照のない通常の雨天時）
昼間雨天時は、昼間曇天時と同様に、画像領域Ｒ１に相当する路面領域内の入射光の強度は同一と考えられる。
【００６３】
アスファルト路面は、乾燥時は拡散面であるが、路面上に水分（水、氷又は積雪）が存在する時は、半光沢面となり太陽光（雲からの光）における路面での反射光の配光特性は図６に示すようになる。昼間雨天時の正反射光の強度は、昼間曇天時より強くなる。この状態は、昼間曇天時で路面が濡れている時も同じである。
【００６４】
また、アスファルト路面は、見た目には平らに見えるが実際は凸凹している。そのため、路面が濡れている時は、正反射光にムラが生じ、画像領域Ｒ１に相当する路面領域内の各々の路面上ポイントの正反射光強度は異なる。この様子を図７に示している。
【００６５】
（３）昼間晴天時
昼間晴天時は、雲が存在しない状態で太陽光が直接、路面に降り注ぐ。地球と太陽との距離が太陽の直径より十分に長いので理論上は太陽は点光源であるが、路面の一部分に照射されているのではなく、広範囲の地域に照射されている。また、青空は青い面光源として考えられ、実際には、正反射光の強度は昼間曇天時よりも強いが、路面での反射光の配光特性は昼間曇天時と似ていると思われる。
【００６６】
（４）昼間天気雨時（昼間において日照のある雨天時）
昼間天気雨時は、昼間雨天時と同じであると考えられる。しかし、路面に太陽光が映り込むことが考えられる。この場合は、一部分の路面の正反射光が強くなり、正反射光のムラも強調される。
【００６７】
（５）夜間晴天時及び夜間曇天時
夜間は、人工光が必要で、晴天時及び曇天時とも、路面が拡散面であるため昼間と同様に正反射光は弱い。また、路面に人工光が照射されている部分とそうでない部分では、反射光のムラは存在するが昼間における路面上に水分が存在する時に比べてかなり少ない。
【００６８】
（６）夜間雨天時
夜間雨天時は、路面が半光沢状態になり、正反射光が強くなる。また、路面に人工光が照射されている部分とそうでない部分とでは、明暗がはっきりしており、正反射光のムラが顕著に現れる。
【００６９】
以上の（１）〜（６）のことから、路面上に水分が存在する場合には、昼間および夜間において反射光が強くなる一方、路面上に水分が存在しない場合には、昼間および夜間において反射光が弱い。また、路面上に水分が存在する場合には、昼間および夜間において反射光のムラが多い一方、路面上に水分が存在しない場合には、昼間および夜間において反射光のムラが少ない。したがって、路上の水分の有無を判別するためには、自然光・人工光による路面での正反射光の強さ（路面の光沢の強さ）と正反射光のムラ（路面の光沢のムラ）を特徴量として捉えれば良いことが判明した。そこで、本実施の形態では、後述する図８中のステップＳ５で光沢の強さを数値化し、図８中のステップＳ６で光沢のムラを数値化している。
【００７０】
次に、処理部５の動作について、図８を参照して説明する。図８は、本実施の形態による路面状態判別装置の主に処理部５の動作の一例を示す概略フローチャートである。
【００７１】
図８中のステップＳ１は、本装置の設置時にのみ行われる初期設定処理である。まず、ステップＳ１において、本装置の設置時に、テレビカメラ１の俯角やテレビカメラ１のレンズの焦点距離やテレビカメラ１の設置高さやテレビカメラ１の画角などの計測条件を設定し、更に、水分有無判別用路面領域に相当する画像領域Ｒ１（図３、図９参照）、視界検出用領域に相当する画像領域Ｒ２（図９参照）及び積雪検出用領域に相当する画像領域Ｒ３（図９参照）を設定する。これらの設定情報は、処理部５の内部メモリ（図示せず）内に格納される。
【００７２】
ステップＳ１の初期設定処理の後、ステップＳ２〜Ｓ１３の本処理が行われる。テレビカメラ１からは、順次新たな画像が得られるが、所定時間間隔（例えば、約１００ｍＳ）で最新に得られた画像が画像メモリ３に順次上書きされることで、取り込まれる。ただし、領域Ｒ１のＹ画像については、約１００ｍＳ間隔で得られた最新の２枚の画像が前記画像メモリ３に保持される。
【００７３】
まず、例えば約１００ｍＳ間隔で、テレビカメラ１から得られた新たな画像について、領域Ｒ１のＲ，Ｇ，Ｂ，Ｙ画像、領域Ｒ２のＲ，Ｇ，Ｂ画像及び領域３のＲ，Ｇ，Ｂ画像が、処理部５によって画像メモリ３内に取り込まれる（ステップＳ２）。なお、以下の説明では、Ｒ，Ｇ，Ｂ，Ｙの階調は２５６階調であり、Ｒ，Ｇ，Ｂ，Ｙの値は、０〜２５５をとり得るものとする。
【００７４】
次に、処理部３は、ステップＳ２で最新に取り込まれた領域２のＲ，Ｇ，Ｂ画像に基づいて、テレビカメラ１の視界が確保されているか否かを判定する（ステップＳ３）。このステップＳ３の処理について、以下に説明する。
【００７５】
霧や豪雨や降雪等によりテレビカメラ１の視界が確保されなくなると、テレビカメラ１から領域Ｒ１に相当する路面領域が見えなくなり、正しい路面状態の判別が不能となる。ステップＳ１において、視界が確保されている通常状態で例えば黒色又はこれに近い色をなす領域を領域２（図９参照）として設定しておくと、領域２は、テレビカメラ１の視界が低下していくに従って灰色に近づき、テレビカメラ１の視界が確保されなくなると灰色となる。
【００７６】
この現象に着目して、ステップＳ３において、処理部５は、まず、領域２の画像の画素のうち、Ｒの濃淡値（以下、単に「Ｒ値」という。）、Ｇの濃淡値（以下、単に「Ｇ値」という。）及びＢの濃淡値（以下、単に「Ｂ値」という。）のいずれもが１００〜１２０である画素（すなわち、灰色又はこれに近い色の画素。以下、単に「灰色画素」と呼ぶ。）の数を数える。灰色画素の数が０個の場合は視界が良好であり、その数が増えるほど視界が低下していることを意味する。次に、処理部５は、領域２の全画素数に対する灰色画素数の割合を算出し、その割合が所定の割合（例えば、７０％）以上であれば、テレビカメラ１の視界が確保されていないと判定し、所定の割合未満であれば、テレビカメラ１の視界が確保されていると判定する。
【００７７】
このように、本実施の形態では、テレビカメラ１で撮像された画像に基づいて、テレビカメラ１の視界が確保されているか否かを判定することで、テレビカメラ１の視界が確保されているか否かの検出を行っている。しかしながら、本発明では、周知の視程計などのセンサを用い、その信号に基づいて、視界が確保されているか否かを処理部５がステップＳ３で判定するようにしてもよい。
【００７８】
ステップＳ３で視程が確保されていないと判定されると、ステップＳ４以降の処理が中止されて路面状態の判別が中止され、ステップＳ２へ戻る。このとき、処理部５は、最後に出力した路面状態の判別結果をそのまま出力し続ける。その代わりに、処理部５は、路面状態の判別が不能である旨を出力してもよい。
【００７９】
誤った路面状態の判別を回避するために、ステップＳ３を行うことが好ましいが、本発明ではステップＳ３を必ずしも行わなくてもよい。
【００８０】
ステップＳ３で視程が確保されていると判定されると、処理部５は、ステップＳ２で最新に取り込まれた領域Ｒ１のＹ画像及び前回に取り込まれた領域Ｒ１の画像の、２枚のＹ画像に基づいて、領域Ｒ１に相当する路面領域に車両が存在するか否かを判定する（ステップＳ４）。このステップＳ４の処理について、以下に説明する。
【００８１】
前記２枚の領域Ｒ１のＹ画像の撮像タイミングは、先の説明からわかるように、例えば１００ｍｓずれている。車両が時速５０ｋｍで走行していると仮定すると１００ｍｓ後に約１．４ｍ移動する。前記２枚の領域Ｒ１のＹ画像の差分画像を得ると、前記２枚の画像のいずれかの画像に走行車両が存在すれば、前記差分画像にはエッジ等の部分が現れる一方、前記２枚の領域Ｒ１のＹ画像のいずれにも走行車両が存在しなければ、前記差分画像にはエッジ等の部分は現れない。
【００８２】
この現象に着目して、ステップＳ４において、処理部５は、まず、前記２枚の領域Ｒ１のＹ画像の差分画像を得る。次に、処理部５は、この差分画像の分散値を算出し、この分散値が所定値以上であれば、領域Ｒ１に相当する路面領域に車両が存在すると判定し、この分散値が所定値未満であれば、領域Ｒ１に相当する路面領域に車両が存在しないと判定する。
【００８３】
このように、本実施の形態では、テレビカメラ１で撮像された画像に基づいて、領域Ｒ１に相当する路面領域に車両が存在するか否かを判定することで、領域Ｒ１に相当する路面領域に車両が存在するか否かの検出を行っている。しかしながら、本発明では、周知の車両感知器などのセンサを用い、その信号に基づいて、領域Ｒ１に相当する路面領域に車両が存在するか否かを処理部５がステップＳ４で判定するようにしてもよい。
【００８４】
ステップＳ４で領域Ｒ１に相当する路面領域に車両が存在すると判定されると、ステップＳ５以降の処理が中止されて路面状態の判別が中止され、ステップＳ２へ戻る。このとき、処理部５は、最後に出力した路面状態の判別結果をそのまま出力し続ける。その代わりに、処理部５は、路面状態の判別が不能である旨を出力してもよい。
【００８５】
誤った路面状態の判別を回避するために、ステップＳ４を行うことが好ましいが、本発明ではステップＳ４を必ずしも行わなくてもよい。
【００８６】
ステップＳ４で領域Ｒ１に相当する路面領域に車両が存在しないと判定されると、ステップＳ５へ移行する。
【００８７】
ステップＳ５において、処理部５は、Ｒ，Ｇ，Ｂをそれぞれ空間の異なる次元として、ステップＳ２で最新に取り込まれた領域Ｒ１のＲ，Ｇ，Ｂ画像の各画素を当該画素のＲ値、Ｇ値及びＢ値に従って前記空間（ＲＧＢ三次元空間）内にプロットしたときの、領域Ｒ１の各画素の前記空間内における分布の広がり状態を示す指標を得る。
【００８８】
ここで、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布状態の代表例を、図１０及び図１１に示す。図１０は領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）の各画素の分布状態を示し、図１１は領域Ｒ１に相当する路面領域に水分が存在する場合の各画素の分布状態を示している。この分布の広がり状態は路面の光沢の強さを示し、この分布が広がる（長い）ほど光沢が強く、この分布が広がらない（短い）ほど光沢が弱い。
【００８９】
このように、本実施の形態では、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布状態によって路面の光沢の強さを捉え、路面の光沢の強さを捉えるためにＲ，Ｇ，Ｂの３値を用いている。その理由を以下に説明する。アスファルト路面やコンクリート路面の色は、黒色から白色に至る無彩色であるが、経年変化によって汚れが付着し、少しであるが茶色を帯びてくる。また、路面は、完全拡散面ではないので乾燥状態であっても自然光による反射が存在し、自然光の色が見えることになる。例えば、夕日や朝日などオレンジを帯びることがある。夜間は、街路灯を用いるので低圧および高圧ナトリューム灯のオレンジ色が路面に写し出される。最近では、路面とタイヤとの摩擦を増やすために茶色の帯状の段差を設けた路面が存在する。以上のことから、路面には多少ではあるが無彩色以外の有彩色が存在する。そのため、Ｒ，Ｇ，Ｂ値を総合的に取り扱った方が、単に輝度で取り扱う場合に比べて、より精度良く光沢の強さを捉えることができ、ひいては、より高い精度で路面状態を判別することができるためである。同様の理由から、本実施の形態では、後述するようにステップＳ６で、Ｙ画像の分散値ではなく、Ｒ画像の分散値、Ｇ画像の分散値及びＢ画像の分散値によって、路面の光沢のムラを捉えている。
【００９０】
ステップＳ５において、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布の広がり状態を示す指標を、具体的にいかに得るかについては、後に詳述する。
【００９１】
ステップＳ５の後、処理部５は、ステップＳ２で最新に取り込まれた領域Ｒ１のＲ，Ｇ，Ｂ画像の各々について、下記の数１〜数３に従って分散値ＶＲ，ＶＧ，ＶＢを得る（ステップＳ６）。ＶＲは領域Ｒ１のＲ画像の分散値、ＶＧは領域Ｒ１のＧ画像の分散値、ＶＢは領域Ｒ１のＢ画像の分散値、Ｒｉは領域Ｒ１のｉ番目の画素のＲ値、Ｇｉは領域Ｒ１のｉ番目の画素のＧ値、Ｂｉは領域Ｒ１のｉ番目の画素のＢ値、Ｒ＊は領域Ｒ１の全画素のＲ値の平均値、Ｇ＊は領域Ｒ１の全画素のＧ値の平均値、Ｂ＊は領域Ｒ１の全画素のＢ値の平均値、ｎは領域Ｒ１の画素数を示す。これらの分散値ＶＲ，ＶＧ，ＶＢは路面の光沢のムラを示し、これらの分散値が大きいほど光沢のムラが大きく、これらの分散値が小さいほど光沢のムラが小さい。
【００９２】
【数１】
【数２】
【数３】
ステップＳ６の後、処理部５は、ステップＳ５で得た指標及びステップＳ６で得た分散値ＶＲ，ＶＧ，ＶＢに基づいて、領域Ｒ１に相当する路面領域の水分の有無を判別する（ステップＳ７）。
【００９６】
ここで、ステップＳ５〜Ｓ７を示す機能ブロック図を、図１２に示す。図１２を参照して、ステップＳ５〜Ｓ７の内容について具体的に説明する。なお、図１２に示す機能は、本実施の形態ではソフトウエアにより実現されるが、ハードウエアにより実現されるように構成できることは、言うまでもない。
【００９７】
図１２において、２１はステップＳ５の処理を行う指標演算部、２２はステップＳ６の処理を行う分散値演算部、２３はステップＳ７の処理を行う水分有無判別部を構成するバックプロパゲーション型ニューラルネットワークである。
【００９８】
指標演算部２１は、Ｒ，Ｇ，Ｂにそれぞれ対応する入力層ユニットと所定数（本実施の形態では４個）の競合層ユニットとを有し、領域Ｒ１の各画素のＲ値，Ｂ値，Ｃ値が、訓練パターンとして、対応する入力層ユニットにそれぞれ入力されて、自己組織化を行う自己組織化ニューラルネットワークと、自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離（本実施の形態では、４個の競合層ユニットの隣接するユニット間の距離ｒ１，ｒ２，ｒ３）を得るユニット間距離演算部２５と、を有している。図１２において、３１は自己組織化ニューラルネットワーク２４の入力層、３２は自己組織化ニューラルネットワーク２４の競合層を示している。
【００９９】
本実施の形態では、図１２に示すように、ステップＳ５の処理を行うために自己組織化ニューラルネットワーク２４を用いている。その理由を以下に説明する。自然環境は、複雑であり規則性は存在しない。そのため、路面に照射される昼間の自然光の強さは、薄暮時や日中では大きく異なり、月や季節によっても大きく異なる。１年を通して見た場合、複雑である。路面の反射光の強さは複雑な状態であることが言えるため、図１０及び図１１に示したようなＲ，Ｇ，Ｂ値の分布状態は実際には様々な形状をとる。したがって、多変量解析法などを用いて分布形状を一意的に決めることが困難である。そのため、領域Ｒ１の画像を格納する度に、非線形な分布状態の形状を求める必要がある。そこで、本実施の形態では、図１０及び図１１に示したようなＲ，Ｇ，Ｂ値の分布状態から形状を近似するために、自己組織化ニューラルネットワーク２４を用いている。
【０１００】
本実施の形態では、自己組織化ニューラルネットワーク２４として、コホーネン（kohonen）の自己組織化マップを用いている。
【０１０１】
まず、コホーネンの自己組織化ニューラルネットワークについて、一般的に説明する。このネットワークは自己組織化を特徴として教師なし学習により位相マッピングを行うものである。
【０１０２】
図１３に、コホーネンの自己組織化ニューラルネットワークの基本構造の一例を模式的に示す。このニューラルネットワークは、２層ネットワークであり、入力層（第１層）と競合層（第２層）とを有している。図１３の例では、競合層は２次元として構成されている。図１３には示していないが、入力層と競合層とは完全結合しており、各入力層ユニットは全ての競合層ユニットと結合している。入力層へ訓練パターンとして入力される入力パターンＥは、ベクトル表記され、下記の数４によって表される。ｎは入力層ユニットの数である。図１３では、この入力から競合層の単一のユニットへの結合を示している。入力層から競合層への結合の重み（結合係数）は、ここのユニット間の重みを要素とするベクトル表記され、下記の数５で表される。ただし、ｉは競合層のユニットを表す（これらの重みはユニットｉへ行く。競合層の次元に拘わらず、競合層ユニットは単一の数で識別する。）。
【０１０３】
【数４】
Ｅ＝［ｅ１，ｅ２，ｅ３，…，ｅｎ］
【０１０４】
【数５】
Ｕｉ＝［ｕｉ１，ｕｉ２，…，ｕｉｎ］
【０１０５】
このニューラルネットワークの自己組織化（教師なし学習、訓練）の際には、手順１として、Ｕｉとして任意の初期値を与える。
【０１０６】
次に、手順２として、Ｅとして訓練用の入力パターンをＥとして与え、各競合層ユニットｉのうちから勝者ユニットを決定する。このとき、各競合層ユニットｉに対して一致値が算出される。この一致値として例えばユークリッド距離が用いられる。ユニットｉに対する一致値は、‖Ｅ−Ｕｉ‖であり、次の数６で算出される。
【０１０７】
【数６】
各競合層ユニットｉのうち、一致値‖Ｅ−Ｕｉ‖が最も低い（最も一致する）競合層ユニットが勝者ユニットとして決定される。複数の競合層ユニットが同じ一致値を持つ場合には、例えば、より小さな識別値ｉを持つユニットが勝者ユニットとして決定される。
【０１０９】
次に、手順３として、勝者ユニットから距離ｄで定まる近傍の競合層ユニット（勝利ユニットを含む）に対する重みが更新される。この更新方程式は下記の数７〜数９で示す通りである。
【０１１０】
【数７】
Δｕｉｊ＝α（ｅｊ−ｕｉｊ）：ユニットｉが前記近傍にある場合
【０１１１】
【数８】
Δｕｉｊ＝０：それ以外の場合
【０１１２】
【数９】
数７においてαは学習率であり、学習率αは初期値として比較的大きな値を持ち、学習過程で何回もの繰り返しの間に減少する。αの初期値は適当に選択され、α０で表される。学習率αは、例えば下記の数１０に示すように設定される。数１０において、ｔは現在の訓練回数であり、Ｔは行われるべき訓練の全回数である。
【０１１４】
【数１０】
勝者ユニットの近傍を決定する距離ｄは、例えば、下記の数１１に従って設定される。数１１において、ｄ０は距離ｄの初期値、ｔは現在の訓練回数であり、Ｔは行われるべき訓練の全回数である。
【０１１６】
【数１１】
以上説明した手順２，３を、全ての訓練用の入力データについて行う。これが１回の学習（訓練）である。この学習を全回数Ｔまで繰り返し、全ての学習（自己組織化）が終了する。
【０１１８】
今、入力層ユニットの数ｎが２で、競合層が２次元であるものとして、訓練用の入力パターン（ｅ１，ｅ２）として、図１４に示す一様に分布した入力データを用いて前述した自己組織化を行うものとする。図１４中の小さい黒点が、個々の入力データを示している。すると、前述した自己組織化後に、各競合層ユニットは、図１５に示すように競合層にマッピングされる。図１５中の黒点が競合層ユニットを示している。図１４及び図１５から、自己組織化後の競合層ユニットのマッピング位置が入力データ（訓練パターン）の分布を反映したものとなることがわかる。
【０１１９】
また、入力層ユニットの数ｎが２で、競合層が２次元であるものとして、訓練用の入力パターン（ｅ１，ｅ２）として、図１６に示すように部分的に密に分布した入力データを用いて前述した自己組織化を行うものとする。図１６中の小さい黒点が、個々の入力データを示している。すると、前述した自己組織化後に、各競合層ユニットは、図１７に示すように競合層にマッピングされる。図１７中の黒点が競合層ユニットを示している。図１６及び図１７からも、自己組織化後の競合層ユニットのマッピング位置が入力データ（訓練パターン）の分布を反映したものとなることがわかる。
【０１２０】
このように、自己組織化ニューラルネットワークは、自己組織化後の競合層ユニットのマッピング位置が入力データ（訓練パターン）の分布を反映したものとなるという性質がある。本実施の形態では、この性質を利用して、図１０や図１１に示すような分布状態を数値化する。
【０１２１】
今、入力層ユニットの数ｎが３、競合層が３次元、競合層ユニットの数が４であり、訓練用の入力パターン（ｅ１，ｅ２，ｅ３）として、ｅ１をＲ値、ｅ２をＧ値、ｅ３をＢ値とした入力パターンを用い、図１８及び図１９中の小黒点で示される画素を個々の入力データとして入力することで、前述した自己組織化を行うものとする。図１８は、自己組織化前の初期状態の４個の競合層ユニットのマッピング位置を合わせて示している。図１９は、自己組織化後の状態の４個の競合層ユニットのマッピング位置を合わせて示している。ただし、図１８及び図１９では、競合層ユニットがマッピングされる空間の各次元をＲ，Ｇ，Ｂに合わせかつそのスケールも一致させている。図１８に示すように初期状態で空間の中央付近に密に位置していた競合層ユニットが、自己組織化後には、入力データ（ここでは、ＲＧＢ三次元空間における各画素）の分布状態を反映して、図１９に示すように広がる。したがって、自己組織化後の４個の競合層ユニットの互いに隣接するもの同士の距離ｒ１，ｒ２，ｒ３は、ＲＧＢ三次元空間における各画素の分布の広がり状態を示す指標となり得ることがわかる。
【０１２２】
本実施の形態では、図１２中の自己組織化ニューラルネットワーク２４として、入力層ユニットの数ｎが３、競合層３２が３次元、競合層ユニットの数が４の、コホーネンの自己組織化マップが用いられている。そして、このニューラルネットワーク２４では、訓練用の入力パターン（ｅ１，ｅ２，ｅ３）として、ｅ１をＲ値、ｅ２をＧ値、ｅ３をＢ値とした入力パターンが用いられ、ステップＳ２で最新に取り込まれた領域Ｒ１の画像の個々の画素のＲ値，Ｇ値，Ｂ値が訓練パターンの個々の入力データとして、入力層３１に入力され、これにより前述した自己組織化（教師なし学習）が行われるようになっている。
【０１２３】
今、自己組織化ニューラルネットワーク２４の入力層３１に、図１０に示すようなＲＧＢ三次元空間における分布をなす各画素のＲ値，Ｇ値，Ｂ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２０に示すようにマッピングされる。また、図１１に示すようなＲＧＢ三次元空間における分布をなす各画素のＲ値，Ｇ値，Ｂ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２０に示すようにマッピングされる。なお、図２０及び図２１においても、図１９の場合と同様に、競合層ユニットがマッピングされる空間の各次元をＲ，Ｇ，Ｂに合わせかつそのスケールも一致させている。なお、図２０及び図２１から、領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）には、自己組織化後の４個の競合層ユニットの互いに隣接するもの同士の距離ｒ１，ｒ２，ｒ３は短くなる一方、領域Ｒ１に相当する路面領域に水分が存在する場合には、距離ｒ１，ｒ２，ｒ３が長くなることがわかる。
【０１２４】
本実施の形態では、自己組織化ニューラルネットワーク２４は、このような自己組織化後の４つの競合層ユニットのマッピング位置を、ユニット間距離演算部２５に出力する。なお、競合層ユニットのマッピング位置は、当該競合層ユニットに対する重み及び競合層の次元等により定まる。そして、ユニット間距離演算部２５は、前記距離ｒ１，ｒ２，ｒ３を算出する。
【０１２５】
本実施の形態では、このように、前記距離ｒ１，ｒ２，ｒ３が、ＲＧＢ三次元空間における領域Ｒ１の各画素の分布の広がり状態を示す指標として用いられている。しかしながら、本発明では、例えば、前記４個の競合層ユニットのうちの両端の競合層ユニット間の距離を算出して、これを前記指標として用いてもよい。また、競合層ユニットの数も４個に限定されるものではない。さらに、競合層２４は、必ずしも３次元に限定されるものではなく、２次元又は１次元でもよいし、他の次元数でもよい。さらにまた、自己組織化ニューラルネットワーク２４は、コホーネンの自己組織化マップに限定されるものではなく、例えば、コホーネンの自己組織化マップを適宜改変したような自己組織化ニューラルネットワークを用いてもよい。
【０１２６】
図１２に示す分散値演算部２２は、前述したステップＳ６で説明した動作を行うので、その重複説明は省略する。
【０１２７】
図１２に示すバックプロパゲーション型ニューラルネットワーク２３は、指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢが入力層４１に入力されて、これらの入力に応じた領域Ｒ１の路面領域の水分の有無を示す出力を、出力層４４から出力する。ニューラルネットワーク２３は、周知のバックプロパゲーション法により、実際の種々の状況で得られた指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢに対して目視等により調べた実際の水分の有無の情報を、教師データとして用いることで、予め学習されたものである。
【０１２８】
本実施の形態では、このネットワーク２３は、入力層４１及び出力層４４の他に、２つの中間層４２，４３を有し、入力層４１は６個のユニットを持ち、中間層４２は３０個のユニットを持ち、中間層４３は１５個のユニットを持ち、出力層４４は３個のユニットを持っている。例えば、出力層４４の３個のユニットの値が１，０，１の場合に水分があることを示し、１，１，０の場合に水分がないことを示すようになっている。もっとも、本発明では、バックプロパゲーション型ニューラルネットワークの構造自体はこのような構造に限定されるものではなく、また、ニューラルネットワーク２３に代えて、バックプロパゲーション型ニューラルネットワーク以外の階層型ニューラルネットワークや、教師あり学習により予め学習されたニューラルネットワークを用いてもよい。
【０１２９】
自然環境は、複雑であり規則性は存在しない。そのため、路面に照射される昼間の自然光の強さは、薄暮時や日中では大きく異なり、月や季節によっても大きく異なる。１年を通して見た場合、複雑である。路面の反射光の強さやムラも通年では複雑な状態であることが言える。つまり、状態が非線形であることが言える。このことから、指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢは、複雑に分布しており、多変量解析法等を用いて線形分離することは困難である。そこで、本実施の形態では、バックプロパゲーション型ニューラルネットワーク２３が用いられているのである。
【０１３０】
再び図８を参照すると、ステップＳ７で水分が無いと判別されると、処理部５は、判別結果として、路面状態が乾燥状態である旨の信号を出力し（ステップＳ１３）、ステップＳ２へ戻る。
【０１３１】
ステップＳ７で水分があると判別されると、処理部５は、路面温度計４からの信号に基づいて、路面温度が所定温度（例えば、１℃）以下であるか否かを判別する（ステップＳ８）。所定温度より高ければ、処理部５は、路面状態が湿潤状態である旨の信号を出力し（ステップＳ１２）、ステップＳ２へ戻る。
【０１３２】
ステップＳ８で所定温度以下であると判別されると、処理部５は、ステップＳ２で最新に取り込まれた領域３（図９参照）のＲ，Ｇ，Ｂ画像に基づいて、路面上に積雪が存在するか否か判定する（ステップＳ９）。積雪があれば領域３が白くなることから、具体的には、処理部５は、領域Ｒ３の画素のうち、Ｒ値，Ｇ値及びＢ値のいずれもが所定値（例えば、２４０）以上である画素（白色又はこれに近い色）の画素（以下、単に白色画素」と呼ぶ。）の数を数える。そして、処理部５は、全画素数に対する白色画素の割合を算出し、その割合が所定の割合（例えば、８０％）以上であれば積雪状態であると判別し、前記所定の割合未満であれば凍結状態であると判別する。
【０１３３】
このように、本実施の形態では、テレビカメラ１で撮像された画像に基づいて、路面上に積雪が存在するか否かを判定することで、積雪の有無の検出を行っている。しかしながら、本発明では、周知の積雪深計などのセンサを用い、その信号に基づいて、積雪の有無を処理部５がステップＳ９で判定するようにしてもよい。
【０１３４】
そして、処理部５は、ステップＳ９で路面状態が凍結状態であると判別すると、その旨の信号を出力し（ステップＳ１１）、ステップＳ２へ戻る。一方、処理部５は、ステップＳ９で路面状態が積雪状態であると判別すると、その旨の信号を出力し（ステップＳ１０）、ステップＳ２へ戻る。
【０１３５】
本実施の形態によれば、路面の光沢の強さ及び路面の光沢のムラを特徴量として用いることと、水分有無の判別に教師あり学習により予め学習されたバックプロパゲーション型ニューラルネットワーク２４を用いること、の両方が相俟って、高い精度で路面状態を判別することができる。
【０１３６】
なお、処理部５は、ステップＳ８，Ｓ９の処理を行わずに、ステップＳ７で水分があると判定された場合には、その旨の信号を出力し、ステップＳ２へ戻ってもよい。本発明では、このように路面状態が乾燥状態であるか否かを判別するだけでもよい。
【０１３７】
［第２の実施の形態］
【０１３８】
図２２は、本発明の第２の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２に対応している。図２２において、図１２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１３９】
本実施の形態が前記第１の実施の形態と異なる所は、前記第１の実施の形態では単一のバックプロパゲーション型ニューラルネットワーク２３が用いられているのに対し、本実施の形態では、４つのバックプロパゲーション型２３ａ〜２３ｄと、これらの入出力を切り替え指令に応答してそれぞれ切り替える切り替え部５１，５２を備えている点のみである。
【０１４０】
本実施の形態では、４つのバックプロパゲーション型ニューラルネットワーク２３ａ〜２３ｄは、春夏秋冬の４つの季節ごとに、実際の種々の状況で得られた指標演算部２１からの出力される距離ｒ１，ｒ２，ｒ３及び分散値演算部２２から出力されるＲ，Ｇ，Ｂの分散値ＶＲ，ＶＧ，ＶＢに対して目視等により調べた実際の水分の有無の情報を、教師データとして用いることで、予めそれぞれ学習されたものである。本実施の形態では、処理部５は、図８中のステップＳ７の際に、処理部５に内蔵された時計に基づいて現時点がいずれの季節であるかを判別し、４つのニューラルネットワーク２３ａ〜２３ｄのうち、当該季節に応じて学習されたものを選択的に用いて水分の有無を判別する。図２２では、この切り替え機能を切り替え部５１，５２として示している。
【０１４１】
季節によって太陽高度等が比較的大きく変化するので、本実施の形態のように、季節ごとに学習されたニューラルネットワーク２３ａ〜２３ｄを現在の季節に応じて用いれば、より高い精度で路面状態を判別することができる。
【０１４２】
なお、本実施の形態では、季節ごとに学習させた水分有無判別用のニューラルネットワークを用意したが、他の条件ごとに学習させた水分有無判別用のニューラルネットワークを用意し、現在の条件に対応するニューラルネットワークを用いて水分の有無を判別するようにしてもよい。
【０１４３】
［第３の実施の形態］
【０１４４】
図２３は、本発明の第３の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２に対応している。図２３において、図１２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１４５】
本実施の形態が前記第１の実施の形態と異なる所は、以下に説明する点のみである。
【０１４６】
輝度（Ｙ）の一次元空間における領域Ｒ１の各画素の分布状態の代表例を、図２４及び図２５に示す。図２４は領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）の各画素の分布状態を示し、図２５は領域Ｒ１に相当する路面領域に水分が存在する場合の各画素の分布状態を示している。この分布の広がり状態は路面の光沢の強さを示し、この一次元分布が広がる（長い）ほど光沢が強く、この一次元分布が広がらない（短い）ほど光沢が弱い。また、領域Ｒ１のＹ画像の分散値は、領域Ｒ１に相当する路面領域の光沢のムラを示している。本実施の形態では、これらのことを利用する。
【０１４７】
前記第１の実施の形態では、指標演算部２１は、Ｒ，Ｇ，Ｂをそれぞれ空間の異なる次元として、ステップＳ２で最新に取り込まれた領域Ｒ１のＲ，Ｇ，Ｂ画像の各画素を当該画素のＲ値、Ｇ値及びＢ値に従って前記空間（ＲＧＢ三次元空間）内にプロットしたときの、領域Ｒ１の各画素の前記空間内における分布の広がり状態を示す指標として、距離ｒ１，ｒ２，ｒ３を得る。これに対し、本実施の形態では、指標演算部２１は、輝度（Ｙ）を一次元空間として、ステップＳ２で最新に取り込まれた領域Ｒ１のＹ画像の各画素を当該画素のＹ値（輝度の濃淡値）に従って前記一次元空間内にプロットしたときの、領域Ｒ１の各画素の前記一次元空間内における分布の広がり状態を示す指標として、距離ｒ１’，ｒ２’，ｒ３’を得る。
【０１４８】
本実施の形態では、自己組織化ニューラルネットワーク２４として、入力層ユニットの数ｎが１、競合層３２が１次元、競合層ユニットの数が４の、コホーネンの自己組織化マップが用いられている。そして、このニューラルネットワーク２４では、訓練用の入力パターン（ｅ１）として、ｅ１をＹ値した入力パターンが用いられ、ステップＳ２で最新に取り込まれた領域Ｒ１の画像の個々の画素のＹ値が訓練パターンの個々の入力データとして、入力層３１に入力され、これにより前述した自己組織化（教師なし学習）が行われるようになっている。
【０１４９】
今、自己組織化ニューラルネットワーク２４の入力層３１に、図２４に示すようなＹ一次元空間における分布をなす各画素のＹ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２６に示すようにマッピングされる。また、図２５に示すようなＹ一次元空間における分布をなす各画素のＹ値が訓練パターンの個々の入力データとして入力され、自己組織化が行われると、自己組織化後の４個の競合層ユニットは、画素の分布を反映して図２７に示すようにマッピングされる。なお、図２６及び図２７において、競合層ユニットがマッピングされる空間の次元をＹに合わせかつそのスケールも一致させている。なお、図２６及び図２７から、領域Ｒ１に相当する路面領域に水分が存在しない場合（乾燥状態）には、自己組織化後の４個の競合層ユニットの互いに隣接するもの同士の距離ｒ１’，ｒ２’，ｒ３’は短くなる一方、領域Ｒ１に相当する路面領域に水分が存在する場合には、距離ｒ１’，ｒ２’，ｒ３’が長くなることがわかる。
【０１５０】
本実施の形態では、自己組織化ニューラルネットワーク２４は、このような自己組織化後の４つの競合層ユニットのマッピング位置を、ユニット間距離演算部２５に出力する。なお、競合層ユニットのマッピング位置は、当該競合層ユニットに対する重み及び競合層の次元等により定まる。そして、ユニット間距離演算部２５は、前記距離ｒ１’，ｒ２’，ｒ３’を算出する。
【０１５１】
本実施の形態では、分散値演算部２２は、ステップＳ２で最新に取り込まれた領域Ｒ１のＹ画像の分散値ＶＹを、下記の数１２に従って得る。Ｙｉは領域Ｒ１のｉ番目の画素のＹ値、Ｙ＊は領域Ｒ１の全画素のＹ値の平均値、ｎは領域Ｒ１の画素数を示す。これらの分散値ＶＹは路面の光沢のムラを示し、これらの分散値が大きいほど光沢のムラが大きく、これらの分散値が小さいほど光沢のムラが小さい。
【０１５２】
【数１２】
本実施の形態では、バックプロパゲーション型ニューラルネットワーク２３は、指標演算部２１からの出力される距離ｒ１’，ｒ２’，ｒ３’及び分散値演算部２２から出力されるＹの分散値ＶＹが入力層４１に入力されて、これらの入力に応じた領域Ｒ１の路面領域の水分の有無を示す出力を、出力層４４から出力する。ニューラルネットワーク２３は、周知のバックプロパゲーション法により、実際の種々の状況で得られた指標演算部２１からの出力される距離ｒ１’，ｒ２’，ｒ３’及び分散値演算部２２から出力されるＹの分散値ＶＹに対して目視等により調べた実際の水分の有無の情報を、教師データとして用いることで、予め学習されたものである。なお、入力層４１のユニット数は４個に変更されている。
【０１５４】
本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。ただし、本実施の形態では、輝度を用いて光沢の強さや光沢のムラを捉えているので、前記第１の実施の形態に比べると、光沢の強さや光沢のムラを捉える精度がやや低下すると考えられる。しかしながら、本実施の形態では、前記第１の実施の形態に比べて処理が簡単となるという利点が得られる。
【０１５５】
［第４の実施の形態］
【０１５６】
図２８は、本発明の第４の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２及び図２２に対応している。図２８において、図１２及び図２２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１５７】
本実施の形態が前記第１の実施の形態と異なる所は、分散値演算部２２が第３の実施の形態の分散値演算部２２と同じ構成に変更され、これに伴う変更がバックプロパゲーション型ニューラルネットワーク２３に加えられている点のみである。なお、本実施の形態の指標演算部２１は第１の実施の形態の指標演算部２１と同一である。
【０１５８】
本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。
【０１５９】
［第５の実施の形態］
【０１６０】
図２９は、本発明の第５の実施の形態による路面状態判別装置の要部を示す機能ブロック図であり、図１２及び図２２に対応している。図２９において、図１２及び図２２中の要素と同一又は対応する要素には同一符号を付し、その重複する説明は省略する。
【０１６１】
本実施の形態が前記第１の実施の形態と異なる所は、指標演算部２１が第３の実施の形態の指標演算部２１と同じ構成に変更され、これに伴う変更がバックプロパゲーション型ニューラルネットワーク２３に加えられている点のみである。なお、本実施の形態の分散値演算部２２は第１の実施の形態の分散値演算部２２と同一である。
【０１６２】
本実施の形態によっても、前記第１の実施の形態と同様の利点が得られる。
【０１６３】
【実施例】
前記第１の実施の形態による路面状態判別装置を実際に作製し、所定箇所に設置して、平成１３年１２月から平成１４年３月の期間中に、路面状態の判別精度を検証した。この設置状態で得られる画像は、図３に示す通りであった。バックプロパゲーション型ニューラルネットワーク２３の学習は、１２月から２月に渡って行った。
【０１６４】
判別結果の検証は、期間中の１時間毎に収集した路面画像を凍結、積雪、湿潤、乾燥に分類し、その結果と設置した路面状態判別装置の出力と比較し目視判定を行った。凍結は、目視で判定することが困難であるため路面が湿潤状態であり路温が設定値以下（例えば１℃以下）の場合とした。
【０１６５】
期間中の１時間毎に収集した路面画像を目視で凍結、積雪、湿潤、乾燥の４状態に分別し、この結果を真値とした。
【０１６６】
自然環境下における路面状態の推移は独立して存在するものではなく、降雨、降雪、気温等の変化が影響して路面状態が変化するものであり、通常、凍結と圧雪、圧雪と湿潤、凍結と湿潤、湿潤と乾燥などの混在状態は頻繁に発生する。
【０１６７】
また、本装置を設置した場所は、峠道であり気象状態が変化し易く、トンネルの出口から先が長い下り坂になっていることから凍結防止のための散水設備がある。そのため、降雪時は水が撒かれており雪が積もらないので積雪は検証対象外とした。
【０１６８】
精度検証は、平成１３年１２月後半から平成１４年３月末日まで１７０４時間行った。各々の月における画像式と目視の路面状態判別時間を、図３０に示す。平成１３年度の検証結果を図３１に示し、一日の路面状態出現図を図３２に示す。
【０１６９】
図３１に示すように収集した路面画像の目視判定結果と路面状態判別装置出力を検証した結果、精度は９０％以上であった。この結果から、この路面状態判別装置は、冬季の道路管理に大いに役立つものと言える。
【０１７０】
しかし、図３１に示されている路面状態判別時間は、画像式判別と目視判別とは、個々の月では異なっている。これは、バックプロパゲーション型ニューラルネットワーク２３の学習における教師データの与え方が必ずしも十分ではなく、月毎の太陽高度の差が判定されたものと考えられる。よって、十分な学習を行えば、更に判別精度を高めることができる。なお、夜間の路面状態判別は、道路照明灯の人工光源を用いるので月毎の変化はない。
【０１７１】
以上、本発明の各実施の形態及び実施例について説明したが、本発明はこれらに限定されるものではない。
【０１７２】
例えば、テレビカメラ１として既存の道路空間監視カメラを用い、管理センタ等に処理装置を設置して、、路線上に点在する道路空間監視カメラ画像を中央に伝送し、一カ所に集約した形で画像処理を行い、路面状態の判別を行うことも可能である。この場合、大幅なコスト削減が可能となる。
【０１７３】
【発明の効果】
以上説明したように、本発明によれば、高い精度で路面状態を判別することができる路面状態判別装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による路面状態判別装置を示す概略ブロック図である。
【図２】テレビカメラにより撮像された画像の実例を示す概略図である。
【図３】実際の水分有無判別用路面領域に相当する撮像画像上の画像領域の設定例を示す図である。
【図４】所定の状態の光の様子を示す説明図である。
【図５】他の状態の光の様子を示す説明図である。
【図６】更に他の状態の光の様子を示す説明図である。
【図７】更に他の状態の光の様子を示す説明図である。
【図８】本実施の形態の第１の実施の形態による路面状態判別装置の主に処理部の動作の一例を示す概略フローチャートである。
【図９】画像上の各領域の設定例を示す図である。
【図１０】ＲＧＢ三次元空間における各画素の分布状態の代表例を示す図である。
【図１１】ＲＧＢ三次元空間における各画素の分布状態の他の代表例を示す図である。
【図１２】本実施の形態の第１の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図１３】コホーネンの自己組織化ニューラルネットワークの基本構造の一例を示す図である。
【図１４】入力層への入力データの分布の例を示す図である。
【図１５】競合層ユニットの自己組織化後のマッピングの様子を示す図である。
【図１６】入力層への入力データの分布の他の例を示す図である。
【図１７】競合層ユニットの自己組織化後のマッピングの様子を示す他の図である。
【図１８】入力層への入力データの分布と競合層ユニットの自己組織化前のマッピングの様子を示す図である。
【図１９】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す図である。
【図２０】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す他の図である。
【図２１】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す更に他の図である。
【図２２】本発明の第２の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図２３】本発明の第３の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図２４】Ｙ一次元空間における各画素の分布状態の代表例を示す図である。
【図２５】Ｙ一次元空間における各画素の分布状態の他の代表例を示す図である。
【図２６】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す更に他の図である。
【図２７】入力層への入力データの分布と競合層ユニットの自己組織化後のマッピングの様子を示す更に他の図である。
【図２８】本発明の第４の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図２９】本発明の第５の実施の形態による路面状態判別装置の要部を示す機能ブロック図である。
【図３０】各々の月における画像式と目視の路面状態判別時間を示す図である。
【図３１】判別精度の検証結果を示す図である。
【図３２】一日の路面状態出現の様子を示す図である。
【符号の説明】
１ テレビカメラ
２ 画像変換部
３ 画像メモリ
４ 路面温度計
５ 処理部
２１ 指標演算部
２２ 分散値演算部
２３ バックプロパゲーション型ニューラルネットワーク
２４ 自己組織化ニューラルネットワーク
２５ ユニット間距離演算部
Claims (18)
- 路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、
前記撮像手段から得られたカラー画像のうちの前記所定領域に対応する画像領域の各画素の各色の濃淡値に基づいて、前記画像領域の各色ごとの分散値を得る分散値演算手段と、
前記各色をそれぞれ空間の異なる次元として、前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態を示す指標を得る、指標演算手段と、
前記分散値演算手段により得られた前記画像領域の各色ごとの前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、
を備えたことを特徴とする路面状態判別装置。 - 路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、
前記撮像手段から得られた画像のうちの前記所定領域に対応する画像領域の各画素の輝度の濃淡値に基づいて、前記画像領域の輝度の分散値を得る分散値演算手段と、
各色をそれぞれ空間の異なる次元として、前記画像領域の各画素を当該画素の各色の濃淡値に従って前記空間内にプロットしたときの、前記画像領域の各画素の前記空間内における分布の広がり状態を示す指標を得る、指標演算手段と、
前記分散値演算手段により得られた前記画像領域の輝度の前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、
を備えたことを特徴とする路面状態判別装置。 - 前記指標演算手段は、（ａ）前記各色にそれぞれ対応する入力層ユニットと所定数の競合層ユニットとを有し、前記画像領域の前記各画素の各色の濃淡値が、訓練パターンとして、対応する入力層ユニットにそれぞれ入力されて、自己組織化を行う自己組織化ニューラルネットワークと、（ｂ）自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離を得る距離演算手段と、を有し、
前記距離演算手段により得られた前記距離に応じた値を、前記指標として用いることを特徴とする請求項１又は２記載の路面状態判別装置。 - 路面の所定領域を含む領域の画像を撮像する撮像手段と、
前記撮像手段から得られた画像のうちの前記所定領域に対応する画像領域の各画素の輝度の濃淡値に基づいて、前記画像領域の輝度の分散値を得る分散値演算手段と、
前記輝度を一次元空間として、前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態を示す指標を得る、指標演算手段と、
前記分散値演算手段により得られた前記画像領域の輝度の前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、
を備えたことを特徴とする路面状態判別装置。 - 路面の所定領域を含む領域のカラー画像を撮像する撮像手段と、
前記撮像手段から得られたカラー画像のうちの前記所定領域に対応する画像領域の各画素の各色の濃淡値に基づいて、前記画像領域の各色ごとの分散値を得る分散値演算手段と、
輝度を一次元空間として、前記画像領域の各画素を当該画素の輝度の濃淡値に従って前記一次元空間内にプロットしたときの、前記画像領域の各画素の前記一次元空間内における分布の広がり状態を示す指標を得る、指標演算手段と、
前記分散値演算手段により得られた前記画像領域の各色ごとの前記分散値、及び、前記指標演算手段により得られた前記指標に基づいて、前記路面上の水分の有無を判別する水分有無判別手段と、
を備えたことを特徴とする路面状態判別装置。 - 前記指標演算手段は、（ａ）前記輝度に対応する入力層ユニットと所定数の競合層ユニットとを有し、前記画像領域の前記各画素の輝度の濃淡値が訓練パターンとして前記入力層ユニットに入力されて、自己組織化を行う自己組織化ニューラルネットワークと、（ｂ）自己組織化後の前記所定数の競合層ユニットのうちの少なくとも２つの競合層ユニット間の距離を得る距離演算手段と、を有し、
前記距離演算手段により得られた前記距離に応じた値を、前記指標として用いることを特徴とする請求項４又は５記載の路面状態判別装置。 - 前記水分有無判別手段は、教師あり学習により予め学習されたニューラルネットワークを含むことを特徴とする請求項１乃至６のいずれかに記載の路面状態判別装置。
- 前記予め学習されたニューラルネットワークが階層型ニューラルネットワークであることを特徴とする請求項７記載の路面状態判別装置。
- 前記予め学習されたニューラルネットワークがバックプロパゲーション型ニューラルネットワークであることを特徴とする請求項７又は８記載の路面状態判別装置。
- 前記水分有無判別手段は、互いに異なる条件下で教師あり学習により予め学習された複数のニューラルネットワークを含み、前記複数のニューラルネットワークのうち現在の条件に対応するニューラルネットワークを用いて、前記路面上の水分の有無を判別することを特徴とする請求項１乃至６のいずれかに記載の路面状態判別装置。
- 前記条件が季節であることを特徴とする請求項１０記載の路面状態判別装置。
- 前記所定領域付近に車両が存在するか否かを検出する車両検出手段と、該車両検出手段により前記所定領域付近に車両が存在すると検出された場合に、路面状態の判別を中止することを特徴とする請求項１乃至１１のいずれかに記載の路面状態判別装置。
- 前記車両検出手段は、前記撮像手段により得られた画像に基づいて、前記所定領域付近に車両が存在するか否かを判定する手段を含むことを特徴とする請求項１２記載の路面状態判別装置。
- 前記撮像手段の視界が所望の程度に確保されているか否かを検出する視界検出手段を備え、該視界検出手段により前記視界が前記所望の程度に確保されていないと検出された場合に、路面状態の判別を中止することを特徴とする請求項１乃至１３のいずれかに記載の路面状態判別装置。
- 前記視界検出手段は、前記撮像手段により得られた画像に基づいて、前記撮像手段の視界が所望の程度に確保されているか否かを判定する手段を含むことを特徴とする請求項１４記載の路面状態判別装置。
- 路面温度を検出する路面温度検出手段と、
前記水分有無判別手段により路面上に水分があると判定され、かつ、前記路面温度検出手段により検出された路面温度が所定温度より高い場合に、路面が湿潤状態であると判別する手段と、を備えたことを特徴とする請求項１乃至１５のいずれかに記載の路面状態判別装置。 - 路面上の積雪の有無を検出する積雪検出手段と、
前記水分有無判別手段により路面上に水分があると判定され、前記路面温度検出手段により検出された路面温度が所定温度以下であり、かつ、前記積雪検出手段により路面上の積雪が存在しないと検出された場合に、路面が凍結状態であると判別する手段と、
前記水分有無判別手段により路面上に水分があると判定され、前記路面温度検出手段により検出された路面温度が所定温度以下であり、かつ、前記積雪検出手段により路面上の積雪が存在すると検出された場合に、路面が積雪状態であると判別する手段と、
を備えたことを特徴とする請求項１６記載の路面状態判別装置。 - 前記積雪検出手段は、前記撮像手段により得られた画像に基づいて、路面上の積雪の有無を判定する手段を含むことを特徴とする請求項１７記載の路面状態判別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361769A JP3747056B2 (ja) | 2002-12-13 | 2002-12-13 | 路面状態判別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361769A JP3747056B2 (ja) | 2002-12-13 | 2002-12-13 | 路面状態判別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004191276A JP2004191276A (ja) | 2004-07-08 |
| JP3747056B2 true JP3747056B2 (ja) | 2006-02-22 |
Family
ID=32760392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002361769A Expired - Fee Related JP3747056B2 (ja) | 2002-12-13 | 2002-12-13 | 路面状態判別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3747056B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110805877A (zh) * | 2018-08-06 | 2020-02-18 | 株式会社小糸制作所 | 车辆用灯具 |
| US11417083B2 (en) | 2019-04-16 | 2022-08-16 | Denso Corporation | Image processing apparatus |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5190204B2 (ja) * | 2007-01-25 | 2013-04-24 | 福井県 | 路面積雪検出装置及び路面積雪検出方法 |
| JP4956400B2 (ja) * | 2007-12-18 | 2012-06-20 | 株式会社京三製作所 | 車両存否判定装置、車両存否判定方法及びプログラム |
| JP5572339B2 (ja) * | 2009-07-03 | 2014-08-13 | 富士重工業株式会社 | オンラインリスク認識システム |
| JP5457224B2 (ja) * | 2010-02-24 | 2014-04-02 | 国立大学法人九州工業大学 | 路面状態検出装置 |
| CN109689463B (zh) | 2016-09-13 | 2022-03-15 | 松下知识产权经营株式会社 | 路面状态预测系统、驾驶支援系统、路面状态预测方法以及数据分发方法 |
| KR101795652B1 (ko) | 2017-04-12 | 2017-11-09 | 주식회사 누리플랜 | 안개피해방지장치용 가시거리 측정장치 |
| JP6902246B2 (ja) * | 2017-09-07 | 2021-07-14 | 岩崎工業株式会社 | 除雪車の自動制御システム |
| JP6983145B2 (ja) * | 2018-12-12 | 2021-12-17 | 株式会社日立ソリューションズ | データ処理システム、方法、およびプログラム |
| JP7314693B2 (ja) * | 2019-07-31 | 2023-07-26 | 株式会社リコー | 路面性状調査システム、路面性状調査方法、及び路面性状調査プログラム |
| CN111091066B (zh) * | 2019-11-25 | 2023-09-22 | 重庆工程职业技术学院 | 一种自动驾驶汽车地面状态评定方法及系统 |
| CN111461413B (zh) * | 2020-03-20 | 2024-04-19 | 淮阴工学院 | 一种公路路面使用性能检测系统 |
| JP7021798B1 (ja) | 2020-12-04 | 2022-02-17 | 国立研究開発法人土木研究所 | 学習済みモデル生成方法、路面滑り摩擦係数推定装置、路面滑り摩擦係数推定プログラムおよび路面滑り摩擦係数推定方法 |
| JP7025080B1 (ja) * | 2021-08-18 | 2022-02-24 | 株式会社アーバンエックステクノロジーズ | 識別装置、識別プログラム、および識別方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62155138A (ja) * | 1985-12-27 | 1987-07-10 | Aisin Warner Ltd | 自動車の安全装置 |
| JPH01110237A (ja) * | 1987-10-23 | 1989-04-26 | Suzuki Motor Co Ltd | 路面状態検出装置 |
| JPH08201288A (ja) * | 1995-01-24 | 1996-08-09 | Mitsubishi Electric Corp | 路面状態検出装置 |
| JPH09264783A (ja) * | 1996-03-27 | 1997-10-07 | A Bui One:Kk | 光の反射率及び透過率を利用して物質の状態を判定する監視システム。 |
| JPH10213674A (ja) * | 1997-01-28 | 1998-08-11 | Hokkaido Gas Co Ltd | 路面積雪検知装置 |
| JP3994594B2 (ja) * | 1999-09-16 | 2007-10-24 | 株式会社デンソー | 路面状況推定装置 |
| JP3314923B2 (ja) * | 1999-10-19 | 2002-08-19 | 独立行政法人産業技術総合研究所 | 路面水分検知方法および路面水分検知装置 |
| JP2001357386A (ja) * | 2000-06-14 | 2001-12-26 | Takuwa Corp | 路面状況検出方法およびその装置 |
| JP2002157676A (ja) * | 2000-11-21 | 2002-05-31 | Natl Inst For Land & Infrastructure Management Mlit | 可視画像式路面状況把握装置における路面状況判定方法 |
| JP3500425B2 (ja) * | 2000-11-24 | 2004-02-23 | 国土交通省国土技術政策総合研究所長 | 可視画像式路面状況把握装置における路面状況判定方法 |
| JP3612565B2 (ja) * | 2002-02-20 | 2005-01-19 | 国土交通省国土技術政策総合研究所長 | 路面状況判定方法 |
-
2002
- 2002-12-13 JP JP2002361769A patent/JP3747056B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110805877A (zh) * | 2018-08-06 | 2020-02-18 | 株式会社小糸制作所 | 车辆用灯具 |
| US11066006B2 (en) | 2018-08-06 | 2021-07-20 | Koito Manufacturing Co., Ltd. | Vehicle lamp |
| CN110805877B (zh) * | 2018-08-06 | 2021-10-01 | 株式会社小糸制作所 | 车辆用灯具 |
| US11417083B2 (en) | 2019-04-16 | 2022-08-16 | Denso Corporation | Image processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004191276A (ja) | 2004-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3747056B2 (ja) | 路面状態判別装置 | |
| CN111694010B (zh) | 一种基于视觉与激光雷达融合的路侧车辆识别方法 | |
| Cline et al. | Estimating the spatial distribution of snow in mountain basins using remote sensing and energy balance modeling | |
| CN109804119A (zh) | 一种基于红外热像图分析的沥青路面裂缝发育程度检测方法 | |
| CN109358162B (zh) | 一种基于空间几何原理的新型遥感生态指数的构建方法 | |
| CN102194103B (zh) | 用于车辆的主动可视性支持设备和方法 | |
| CN105424655A (zh) | 一种基于视频图像的能见度检测方法 | |
| CN106778629B (zh) | 大棚识别方法及装置 | |
| CN101957309A (zh) | 一种能见度的全天候视频测量方法 | |
| CN102789686B (zh) | 一种基于路面亮度组合模式识别的道路交通流检测方法 | |
| CN112649900A (zh) | 一种能见度的监测方法、装置、设备、系统和介质 | |
| Cheng et al. | Modeling weather and illuminations in driving views based on big-video mining | |
| WO2014116472A1 (en) | System and method for atmospheric parameter enhancement | |
| CN114066876B (zh) | 一种基于分类结果及cva-sgd法的建筑垃圾变化检测方法 | |
| Yu et al. | Spatio-temporal monitoring of urban street-side vegetation greenery using Baidu Street View images | |
| Basterretxea et al. | HSI-drive: A dataset for the research of hyperspectral image processing applied to autonomous driving systems | |
| CN107239886B (zh) | 基于高分卫星遥感数据的gdp密度分析系统 | |
| JP3500425B2 (ja) | 可視画像式路面状況把握装置における路面状況判定方法 | |
| Pimentel et al. | Terrestrial photography as an alternative to satellite images to study snow cover evolution at hillslope scale | |
| Sankelo et al. | Melt pond formation and temporal evolution at the drifting station Tara during summer 2007 | |
| CN115203624B (zh) | 一种基于时序遥感的任意时刻地表环境综合评估方法 | |
| Álvarez-Martínez et al. | Can training data counteract topographic effects in supervised image classification? A sensitivity analysis in the Cantabrian Mountains (Spain) | |
| Tan et al. | Measuring lake water level using multi-source remote sensing images combined with hydrological statistical data | |
| Cheng et al. | Big-video mining of road appearances in full spectrums of weather and illuminations | |
| JP3817611B2 (ja) | 可視画像式路面状況把握装置における路面状況判定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3747056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111202 Year of fee payment: 6 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121202 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131202 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |