JP6776614B2 - 路面状態判別システムおよび移動体 - Google Patents

Description

この発明は路面状態判別システムおよび移動体に関する。

撮像手段の撮像素子上に、領域分割した偏光フィルタを設置し、ピクセル毎に取得する光の偏光方向を変えて、撮影した画像の偏光情報を得ることにより、路面状態の判別を行うことが知られている（特許文献１、２）。

この発明は、撮像手段により取得される偏光情報により路面状態を検知する新規な路面状態検知ユニットの実現を課題とする。

この発明の路面状態判別システムは、路面をスポット状に照明する照明光源と、該照明光源によりスポット状に照明された前記路面による反射光のＰ偏光成分画像とＳ偏光成分画像を撮像する複数の撮像手段と、を有し、前記撮像手段の少なくとも１つは、その結像光学系の光軸が前記スポット状に照明された被照明部の中心に向かい、且つ、前記照明光源による照明光束の正反射角：θＬに対して、前記照明光束の正反射方向から±０．２θＬの角範囲にある設置角：θＣに設定されている路面状態検知ユニットと、前記路面状態検知ユニットの前記複数の撮像手段から得られる前記Ｐ偏光成分画像および前記Ｓ偏光成分画像とともに、前記複数の撮像手段の間の前記Ｐ偏光の強度差および前記複数の撮像手段の間のＳ偏光の強度差の少なくとも一方に基づき、路面の状態の判別を行う状態判別手段と、を有する。

この発明によれば、撮像手段により取得される偏光情報により路面状態を検知する新規な路面状態検知ユニットを実現できる。

路面状態検知ユニットの実施の１形態を説明するための概念図である。 撮像手段の１形態例を説明するための図である。 路面情報判別システムの実施の１形態を概念図として示す図である。 路面状態の判別を行う工程を説明する図である。 反射光におけるＳ偏光、Ｐ偏光の強度と差分偏光度を示す図である。 特徴量としてのヒストグラムを説明するための図である。 特徴量としての輝度平均値および差分偏光度画像平均値を説明するための図である。 図７の輝度平均値、差分偏光度画像平均値を特徴量として、路面状態の判別を行う手順の１例を示す判別フロー図である。 路面状態検知ユニットの実施の別形態を説明するための図である。 路面による反射光のＰ偏光とＳ偏向の反射角による変化の１例を示す図である。 路面状態に応じた撮像手段ＣＭＡ、ＣＭＢ間の撮像手段間差分輝度Ｐの値と、撮像手段間差分輝度Ｓの値の１例を示す図である。 路面状態判別システムの使用例を２例示す図である。

以下、実施の形態を説明する。
図１は、路面状態検知ユニットの実施の１形態を説明するための概念図である。
図１（ａ）において、符号ＵＴで示す部分が「路面状態検知ユニット」を示す。
路面状態検知ユニットＵＴは、照明光源ＬＳと撮像手段ＣＭとを有する。照明光源ＬＳは、路面ＥＲをスポット状に照明するものであり「ＬＥＤやハロゲンランプ等、無偏光の照明光束を放射する発光源」を用いる公知の適宜の光源装置を用いることができる。
図１（ａ）において、符号ＬＰは「照明光束の主光線（照明光束中で「最大の光強度」を持つ光線）」を示す。
照明光束の主光線ＬＰは路面ＥＲにおける位置ＣＳＰに入射する。
路面ＥＲは照明光束によりスポット状に照明されるが、主光線ＬＰが入射する位置ＣＳＰを「スポット状の被照明部の中心」と称する。「照明光束」は、平行光束、収束光束、発散光束等、種々の光束形態が許容されるが、光利用効率の観点からは「被照射部におけるスポット形状があまり大きくない」ことが好ましく、この観点からすると、照明光束の光束形態は、平行光束や「弱い発散性もしくは弱い収束性」の光束形態が好適である。

図１（ａ）において、符号「ｎ」は、位置ＣＳＰにおいて路面に立てた法線を示し、角：θ１は「主光線ＬＰと法線ｎとがなす角」であり、この角：θ１をもって「照明光束の入射角」とする。
図１（ａ）において、符号ＬＲＰは、照明光束の主光線ＬＰの路面ＥＲによる正反射光を示し、正反射光ＬＲＰと法線ｎとのなす角：θＬを「照明光束の正反射角」と言う。
撮像手段ＣＭについては後述するが、撮像素子と「路面ＥＲの被照明部の像を撮像素子上に結像する結像光学系」を有しており、図１（ａ）における符号「ＡＸ」は、撮像手段ＣＭにおける結像光学系の光軸を示している。撮像手段ＣＭは、光軸ＡＸが、路面ＥＲ状の位置ＣＳＰ、即ち「スポット状に照明された被照明部の中心」を通るように向きを定められる。図中の角：θＣは「光軸ＡＸと法線ｎとがなす角」であり、この角：θＣを「撮像手段ＣＭの設置角」と呼ぶ。

付言すると、一般に、路面の状態は、乾燥状態および湿潤状態では「凹凸を持つ粗面」であり、凍結状態では「平面に近い状態」となる。

上記法線ｎ、入射角：θ１、正反射角：θＬ、設置角：θＣは何れも、上記粗面を「平面と見做した状態」で定義される。
撮像手段ＣＭの設置角：θＣは、照明光束の正反射方向、即ち、正反射光ＬＲＰの正反射角：θＬに対して「±０．２θＬ」の角範囲にある。
即ち「撮像手段ＣＭの光軸（位置ＣＳＰを通る。）と正反射光ＬＲＰとがなす角」は「±０．２θＬ」の範囲に含まれる。
図１（ｂ）を参照すると、この図は、正反射光ＬＲＰを軸、位置ＣＳＰを頂点とし、頂角が｜０．４θＬ｜である円錐状領域を示している。
撮像手段ＣＭの設置角：θＣが「照明光束の正反射角：θＬに対して、照明光束の正反射方向から±０．２θＬの角範囲にある」とは、撮像手段ＣＭの結像光学系の光軸ＡＸが位置ＣＳＰを通り、図１（ｂ）に示す円錐状領域内に含まれることを意味する。
特別の場合として、図１（ａ）に示す「主光線ＬＰと法線ｎ、正反射光ＬＲＰを含む平面内」で考えれば、設置角：θＬは、
θＬ−０．２θＬ≦θＣ≦θＬ＋０．２θＬ
の範囲にあることになる。
撮像手段ＣＭの設置角：θＣに関する上記条件は、撮像手段ＣＭの光軸ＡＸが「正反射光ＬＲＰと合致」する場合を含むことは言うまでもない。

図２を参照して撮像手段の１形態を説明する。
図２（ａ）は、撮像手段ＣＭの概念図である。
撮像手段ＣＭは、照明光源によりスポット状に照明された路面による反射光の偏光情報として「Ｐ偏光成分画像とＳ偏光成分画像」を撮像する手段である。
撮像手段ＣＭは、図２（ａ）に示すように、「結像光学系」であるレンズＬＮと、撮像素子ＩＳと、光学フィルタＦＬとをケーシング内に有している。
図２（ｃ）は、撮像素子ＩＳと光学フィルタＦＬを横方向から見た状態を示す。
撮像素子ＩＳは、基板ＳＴ上にピクセルの２次元配列による受光部１２を有している。説明中の例では、受光部１２のピクセルの配列は正方行列配置となっている。
光学フィルタＦＬは、偏光フィルタ１３２を、透明基板１３１と充填層１３３で挟持した構成となっている。図１（ｃ）では、離れたように描かれている光学フィルタＦＬと撮像素子ＩＳは、実際には互いに密着している。
即ち、偏光フィルタ１３２と撮像素子ＩＳの近接部に充填層１３３が「接着剤」として充填されて両者を一体化している。
偏光フィルタ１３２は、偏光方向の異なる複数種の偏光フィルタ素子を撮像素子ＩＳのピクセルに併せて２次元的に配列してなる所謂「領域分割偏光フィルタ」である。

図２（ｂ）において、受光部１２における隣接する４つのピクセルＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４に対応して、偏光フィルタ素子ＰＯＬ１、ＰＯＬ２、ＰＯＬ３、ＰＯＬ４が重ね合わされている。
偏光フィルタ１３２に用いられた「偏光フィルタ素子」の種類は、Ｐ偏光を透過させるものと、Ｓ偏光を透過させるものの２種類である。
これら２種の偏光フィルタ素子は、図２（ｂ）における撮像素子ＩＳのピクセル配列の縦方向（２次元行列配列の列方向）を長手方向とする短冊状である。
これら短冊状の偏光フィルタ素子は、横方向（行方向）へ交互に配列されている。
図２（ｂ）に示すように、ピクセルＰＣ１とＰＣ２が配列する縦方向には、Ｓ偏光成分を透過させる偏光フィルタ素子ＰＯＬ１、ＰＯＬ２が配列されてピクセルＰＣ１、ＰＣ２に対応する。また、ピクセルＰＣ３とＰＣ４が配列する縦方向には、Ｐ偏光成分を透過させる偏光フィルタ素子ＰＯＬ３、ＰＯＬ４が、ピクセルＰＣ３、ＰＣ４に対応するように配列している。

結像光学系であるレンズＬＮによる被写体（スポット状に照明された路面）の像は偏光フィルタ１３２上に結像し、各偏光フィルタ素子を透過することによりＰ偏光あるいはＳ偏光となって撮像素子ＩＳに受光される。
このようにして、撮像素子ＩＳにより「Ｐ偏光の像であるＰ偏光成分画像」および「Ｓ偏光の像であるＳ偏光成分画像」が撮像される。
このように撮像された画像が「偏光情報を有する画像」であり、図２（ａ）に示すように「出力画像信号」として出力される。
「出力画像信号」は、画像の情報としては「輝度画像と偏光情報」とを有しており、これらを別個に抽出できる。
なお、上に説明した偏光フィルタ１３２は、例えば「サブ波長構造（ＳＷＳ）」により構成することができる。
また、撮像素子ＩＳとして、上の例では「モノクロのイメージセンサ」が想定されているが、これに限らず、カラーイメージセンサを用いることもできる。
撮像素子ＩＳの、偏光フィルタ１３２が形成されている領域では、Ｐ、Ｓの各領域のＰ、Ｓの偏光画像が撮像される。

ここで「輝度画像」と「差分偏光度画像」について説明する。
説明中の実施の形態では撮像手段ＣＭにおける光学フィルタＦＬの偏光フィルタ１３２は「領域偏光フィルタ」であり「Ｐ偏光を透過させる偏光フィルタ素子と、Ｓ偏光を透過させる偏光フィルタ素子」が２次元的に配列されている。
そこで、撮像素子ＩＳの撮像領域を２次元ｘ，ｙ座標で表し、位置：(ｘ，ｙ)のピクセルが受光したＳ偏光、Ｐ偏光の強度をそれぞれ「Ｉ_Ｓ(ｘ，ｙ)、Ｉ_Ｐ(ｘ，ｙ)」とすると、輝度画像：ＩＢＲ（ｘ，ｙ）は、以下の式（Ａ）で表すことができる。
ＩＢＲ（ｘ，ｙ）＝｛Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)｝／２ （Ａ） 。

「差分偏光度画像：ＳＤＯＰ(ｘ，ｙ)」は、上記Ｉ_Ｓ(ｘ，ｙ)とＩ_Ｐ(ｘ，ｙ)を用いて、次式（Ｂ）：
ＳＤＯＰ(ｘ，ｙ)＝{Ｉ_Ｓ(ｘ，ｙ)−Ｉ_Ｐ(ｘ，ｙ)}/{Ｉ_Ｓ(ｘ，ｙ)＋Ｉ_Ｐ(ｘ，ｙ)} (Ｂ）
により表すことができる。

上記「Ｉ_Ｐ(ｘ，ｙ)」で表される画像が「Ｐ偏光成分画像」、「Ｉ_Ｓ(ｘ，ｙ)」で表される画像が「Ｓ偏光成分画像」であり、これらが撮像手段ＣＭにより撮像される。
このように得られる「輝度画像」、「差分偏光度画像」は、以下に説明する路面状態の判別のための情報として供される。

図３は、この発明の路面情報判別システムの実施の１形態を概念図として示している。

この路面状態判別システムは、路面状態検知ユニットＵＴと状態判別手段１００とを有する。路面状態検出ユニットＵＴは、例えば、図１に即して説明した実施の形態のものを用いることができる。
状態判別手段１００は、路面状態検知ユニットＵＴからの出力画像信号（上に説明した撮像手段ＣＭで撮像されるＰ偏光成分画像および前記Ｓ偏光成分画像を含んでいる。）に基づき「路面の状態の判別」を行う。
判別すべき路面の状態としては「乾燥状態」、「湿潤状態」、「凍結状態」の３種類を例示する。
「乾燥状態」は、路面が乾燥している状態であり、路面表面は粗面で反射光は拡散光が多くなる。
「湿潤状態」は、路面が濡れた状態であり、路面表面の細かい凹凸が水分で満たされ、乾燥状態に対し拡散光は減少する。
「凍結状態」は、路面が凍結している状態であり、路面の状態は平面に近くなり、拡散光は更に減少する。この場合でも、表面には微小な凹凸や気泡などがあれば、僅かな拡散光は存在する。

状態判別手段１００は、コンピュータ等として構成され、種々の演算機能を有する。
「路面状態の判別」は、図４に示す各工程に從って行われる。
第１の工程は「撮像工程」であり、路面状態検知ユニットＵＴにより路面の撮像が行われる。撮像工程においては、路面状態検知ユニットＵＴの照明光源が、路面をスポット状に照明し、このスポット状の被照明部を撮像手段が撮像する。
状態判別手段１００は、Ｐ偏光画像成分画像：Ｉ_Ｐ(ｘ，ｙ)および、Ｓ偏光成分画像：Ｉ_Ｓ(ｘ，ｙ)を含む「出力画像信号」の入力を受け、前述の輝度画像：ＩＢＲ（ｘ，ｙ）と差分偏光度画像：ＳＤＯＰ(ｘ，ｙ)とを、それぞれ前述の式（Ａ）、（Ｂ）に從って算出する。この工程が図４の「演算工程」である。
演算工程に続く「特徴量抽出工程」では、演算工程で算出された輝度画像、差分偏光度画像にもとづき上記３つの状態を特徴づける「特徴量」を抽出する。このように抽出された特徴量に基づき、路面の状態を判別する工程が図４の「判別処理」である。

「特徴量」には種々のものが考えられるが、ここでは「輝度画像および差分偏光度画像の少なくとも一方の画像から得られるヒストグラム」を特徴量とする場合と、「輝度画像から得られる輝度平均値および差分偏光度画像から得られる差分偏光度平均値の組み合わせ」を特徴量とする場合を説明する。
図１に即して説明した路面状態検知ユニットＵＴにおいて、照明光源ＬＳによる照明光の主光線ＬＰの入射角：θ１を５５度に設定した。
また、撮像手段ＣＭの設置角：θＣは４５度に設定した。なお、撮像手段ＣＭは、その結像光学系の光軸ＡＸが、図１（ａ）における「主光線ＬＰと法線ｎ、正反射光ＬＲＰを含む平面内」にあるように設置した。
撮像手段ＣＭの設置角：θＣを４５度に設定した状態で、路面を「平面と仮定」して入射角：θ１を変化させると撮像手段ＣＭが撮像する反射光におけるＳ偏光とＰ偏光における光強度は、図５上図の如くに変化する。入射角：θ１＝５５度は、湿潤状態の路面における水の「ブリュースタ角」に近く、路面で反射した反射光では、Ｐ偏光の光強度が最小となり、入射角の増大と共に単調増加するＳ偏光の光強度との差が大きくなるので、上に説明したＰ偏光成分画像とＳ偏光成分画像との差が大きくなる。
照明光源ＬＳにおける入射角：θ１を５５度に設定したことにより、正反射光ＬＲＰの正反射角：θＬも５５度となる。
撮像手段ＣＭの上記設置角：θＣ：４５度は、正反射角：θＬ＝５５度の２０％（０．２θＬ）が１１度であるから「θＬ（１−０．２）＜θＣ」の条件を満足する。
図５下図は、図５上図の如き「Ｓ偏光とＰ偏光における光強度」から算出される「差分偏光度（ＳＤＯＰ）」の入射角に対する変化を示している。この図においては、枠の上端が０で、下方が正の方向である。從って、差分偏光度は、入射角：θ１（＝θＬ）＝５５度で最大となっている。実際には、路面の粗面状態（粗さ）等の詳細な形状によっても多少異なるが、差分偏光度は一般的な傾向として、撮像手段の設置角：θＣが正反射角（入射角）：θＬの近傍の数値であるときに「差分偏光度の絶対値」が高い値をとる。

このようにして、入射角：θ１（＝５５度）、設置角：θＣ（＝４５度）を定めた状態で、前記の如くＰ偏光成分画像、Ｓ偏光成分画像を求め、これらから「輝度画像」および「差分偏光度画像（ＳＤＯＰ画像）」を求め、これら「輝度画像および差分偏光度画像の少なくとも一方の画像から得られるヒストグラム」、「輝度画像から得られる輝度平均値および差分偏光度画像平均値の組み合わせ」を特徴量として算出する。
「輝度画像から得られるヒストグラム」の場合を説明すると、式（Ａ）で算出される輝度画像：ＩＢＲ（ｘ，ｙ）において、「同じ輝度値となるピクセルの個数」を輝度値ごとに加算したものであり、１例を示すと、図６（ａ）の如きものとなる。
このようなヒストグラムは、算出もとの輝度画像の性質を反映しているが、図６（ａ）における半値幅：Ｗとピーク値：Ｐを「特徴量」として求める。
ヒストグラムの半値幅：Ｗとピーク値：Ｐは、路面状態に從って変化する。図６は、具体的な１例である。
即ち、ピーク値：Ｐ、半値幅：Ｗとも、路面状態「乾燥、湿潤、凍結」により異なっている。從って、ヒストグラムのピーク値：Ｐ、半値幅：Ｗの少なくとも一方を「特徴量」として、これらの値が上記３状態の何れかに該当するかを適当な閾値により振り分けて、路面状態を判別することができる。
なお、図６（ｂ）における各数値は「取りうる数値の最大値を１として規格化した値」である。
ヒストグラムを用いる方法では、上記「輝度画像のヒストグラム」に代えて「差分偏光度画像のヒストグラム」を用い、例えば、その半値幅およびピーク値を特徴量として用いることもできるし、輝度画像のヒストグラムと共に差分偏光度画像のヒストグラムを用いて、これらから「１以上の特徴量」を適宜に選択することもできる。

特徴量の抽出の別の例として「輝度画像から得られる輝度平均値および差分偏光度画像平均値の組み合わせ」を特徴量とする場合を説明する。
「輝度平均値」は、前記輝度画像における各ピクセルの輝度値の全ピクセルにおける画素値（輝度値）の平均値であり、同様に、「差分偏光度画像平均値」は、差分偏光度画像の全ピクセルにおける画素値（差分偏光度値）の平均値である。
図７（ａ）は、路面状態が「乾燥」、「湿潤」、「凍結」の各状態にあるときの、輝度平均値と差分偏光度画像平均値とを示している。各値は「最大値を１として規格化した値」である。
図７（ａ）を見ると、差分偏光度画像平均値は、湿潤状態では０．４より大きく、乾燥状態および凍結状態では０．４より小さい。また、輝度平均値は、凍結状態では０．５より大きく、乾燥状態、湿潤状態では０．５より小さい。
そこで、縦軸に「差分偏光度画像平均値」、横軸に「輝度平均値」をとり、図７（ａ）の数値を割り振ると、図７（ｂ）に示すようになる。

從って、このような場合、輝度平均値に対して閾値：０．５を設定し、輝度平均値の値を閾値：０．５で振り分ければ、凍結状態と「乾燥状態および湿潤状態」を判別でき、また、差分偏光度画像平均値に対して閾値：０．４を設定して、差分偏光度画像平均値の値を閾値：０．４で振り分ければ、乾燥状態と湿潤状態とを判別できる。
從って、例えば、図８の如き判別フロー図により、路面状態の判別が可能である。
図８において、ステップ：Ｓ０で開始し、ステップ：Ｓ１で、輝度平均値：Ｉ、差分偏光度画像平均値：Ｊを設定する。輝度平均値：Ｉ、差分偏光度画像平均値：Ｊは、撮像手段ＣＭの撮像により得られた輝度画像および差分偏光度画像に基づいて算出された値である。
ステップ：Ｓ２で差分偏光度画像平均値：Ｊが閾値：０．４より大きいか否かが判定され「Ｙ（イエス）」ならば、ステップ：Ｓ３に進んで「路面状態が湿潤状態」であると判別し、ステップ：Ｓ７に進んで終了する。
ステップ：Ｓ２で差分偏光度画像平均値：Ｊが閾値：０．４より小さい（Ｎ（ノー））と判定されると、ステップ：Ｓ４に進んで、輝度平均値：Ｉが閾値：０．５」より大きいか否かが判定され「Ｙ（イエス）」ならば、ステップ：Ｓ５に進んで「路面状態が凍結状態」であると判別し、ステップ：Ｓ７に進んで終了する。
ステップ：Ｓ４で輝度平均値：Ｉが０．５より小さい（Ｎ（ノー））と判定されると、ステップ：Ｓ６に進んで「路面状態は乾燥状態」であると判別し、ステップ：Ｓ７に進んで終了する。

このようにして、路面状態検知ユニットＵＴで得られる出力画像信号に基づいて、路面の状態が「乾燥状態であるか湿潤状態であるか凍結状態であるか」を判別できる。

付言すると、偏光情報を用いて路面状態の判別を行う方法として従来から知られた方法では、照明光として「太陽光や道路照明用ランプ」等の既存の照明光源を用いている。これら既存の照明光源では、路面の照明状態が「天候状態や時間、地域により変化」するので撮像した路面画像の偏光情報を得ても、この偏光情報自体が天候状態等の要因で変化するため、路面状態の正確な判別は必ずしも容易ではない。

上に説明した、この発明の方式では「照明光源と路面と撮像手段の位置関係」が一定に保たれているので、常に安定した状態で路面情報を取得でき、路面状態の精度の良い判別を容易に実現できる。

以下には、路面状態検知ユニットの実施の別形態と、これを用いる路面状態判別システムの実施の１形態を説明する。
図９（ａ）は、路面状態検知ユニットの実施の別形態を説明する概念図である。繁雑を避けるため、混同の恐れが無いと思われるものについては、図１（ａ）におけると同一の符号を付した。従って、図１（ａ）におけると同一の符号を付したものは、図１（ａ）のものと同じである。
図９（ａ）に示す路面状態検知ユニットＵＴ１が、図１（ａ）に示す路面状態検知ユニットＵＴと異なる部分は、路面状態検知ユニットＵＴ１は、撮像手段として第１の撮像手段ＣＭＡと第２の撮像手段ＣＭＡを有する点である。図９（ａ）において、符号ＡＸＡは第１の撮像手段ＣＭＡの結像光学系の光軸、符号ＡＸＢは第２の撮像手段ＣＭＢの結像光学系の光軸をそれぞれ示す。第１、第２の撮像手段ＣＭＡ、ＣＭＢは何れも、その結像光学系の光軸ＡＸＡ、ＡＸＢが、図９（ａ）における「主光線ＬＰと法線ｎ、正反射光ＬＲＰを含む平面内」にあるように設置した。
具体的に説明すると、照明光源ＬＳからの照明光束の入射角：θ１は５５度、撮像手段ＣＭＡは、図１（ａ）における撮像手段ＣＭと同一の配置態位、即ち、設定角：θＣ１が４５度となるように設定され、照明光束の正反射角：θＬ（＝θ１＝５５度）に対して０．２θＬ（１１度）の角範囲内にある。即ち、第１の撮像手段ＣＭＡの配置状態は、図１の撮像手段ＣＭと同じである。
一方、第２の撮像手段ＣＭＢは、光軸ＡＸＢが被照明部の中心ＣＳＰを通り、且つ、光軸ＡＸＢと中心ＣＳＰにおいて被照明部に立てた法線ｎに対し、撮像手段ＣＭＡと同じ側（図の右側）において、０度ないしθＣＡの範囲となる設置角：θＣＢに設定されている。

設置角：θＣＢが０度以下（即ち、法線ｎに対して、撮像手段ＣＭＡと逆側）になると、Ｐ偏光とＳ偏光の両成分の差異が僅少もしくはなくなるためである。

一般的には、設置角：θＣＢは、上記「０度ないしθＣＡの範囲」において、設置角：撮像手段ＣＭＡで取得されるＰ偏光、Ｓ偏光の各強度に対する比を大きく取れる値に選択される。
説明中の具体的な例では、角：θＣＢは２０度である。
このように設置角：θＣＡ（＝４５度）の撮像手段ＣＭＡと、設置角：θＣＢ（＝２０度）の撮像手段ＣＭＢを用いると、図９（ｂ）に示すように、これらの設置角の各々に応じたＰ偏光及びＳ偏光の光強度、差分偏光度を得ることができるので、路面状態の判別に用いる情報が増え、より精細な判別が可能になる。

撮像素子ＣＭＡ、ＣＭＢを用いると、撮像素子ＣＭＡ単独で得られる情報に加え、「撮像手段ＣＭＢで得られる情報」も利用できるとともに、これら撮像手段ＣＭＡ、ＣＭＢで得られる情報の「相対的な関係」をも利用することができる。

１例として、撮像手段ＣＭＡとＣＭＢで得られるＰ偏光成分画像相互の差、Ｓ偏光成分画像相互の差を挙げることができる。

撮像手段ＣＭＡで得られるＰ偏光成分画像の輝度和を「Ｉ_ＰＡ」、Ｓ偏光成分画像の輝度和を「Ｉ_ＳＡ」、撮像手段ＣＭＢで得られるＰ偏光成分画像の輝度和を「Ｉ_ＰＢ」、Ｓ偏光成分画像の輝度和を「Ｉ_ＳＢ」とすると、撮像手段間のＰ偏光の強度差「ΔＰＡＢ」は、例えば、以下のように定義できる。

ΔＰＡＢ＝（Ｉ_ＰＡ―Ｉ_ＰＢ）／（Ｉ_ＰＡ＋Ｉ_ＰＢ）
同様に、撮像手段間のＳ偏光の強度差「ΔＳＡＢ」は、例えば、以下のように定義できる。

ΔＳＡＢ＝（Ｉ_ＳＡ―Ｉ_ＳＢ）／（Ｉ_ＳＡ＋Ｉ_ＳＢ） 。

各撮像手段ＣＭＡ、ＣＭＢで得られる情報（上述の「輝度平均値や差分偏光度画像平均値、輝度画像のヒストグラムの半値幅やピーク値」等）を個別に用いるとともに、これらの信号：ΔＰＡＢ、ΔＳＡＢを用いることで路面状態のより詳細な判別が可能となる。

路面による反射光のＰ偏光とＳ偏向の「反射角による変化」は、図９（ｂ）上図のようになる場合もあるが、また、図１０上図のようになる場合もある。図９（ａ）上図の場合と、図１０上図の場合とでは、Ｓ偏光の変化はわずかであるが、Ｐ偏光は大きく変化している。この場合でも、差分偏向強度は、両場合において大きな変化はない。このような場合でも、上記の「ΔＰＡＢ」を用いると、Ｐ偏光の変化に対して感度の高い情報が得られる。

図１１には、路面状態に応じた、撮像手段ＣＭＡ、ＣＭＢ間の上記ΔＰＡＢ（撮像手段間差分輝度Ｐ）の値と、ΔＳＡＢ（撮像手段間差分輝度Ｓ）の値の１例を示す。

これから明らかなように、撮像手段間差分輝度Ｐが「負の値か正の値か」により、路面が「凍結しているか否か」を判別できる。
また、撮像手段間差分輝度Ｓが例えば０．０５より大きいか否かにより、路面が「乾燥しているか否か」を判別できる。從って、先に図７（ｂ）に即して説明した例と同様、撮像手段間差分輝度Ｐに対して閾値（＝０）を設定し、撮像手段間差分輝度Ｓに対して閾値（＝０．０５）を設定して、各々、閾値より大きいか小さいかを見ることにより、路面の状態を判別できる。

実際には、撮像手段間差分輝度Ｐ、撮像手段間差分輝度Ｓのみならず、撮像手段ごとの輝度画像のヒストグラムや、輝度平均値、差分偏向度画像のヒストグラム等を有効に用いて、路面状態の精細な判別が可能である。

「路面情報の判別プロセス」は、図４に示したものと同様であるが「撮像工程」では撮像手段ＣＭＡ、ＣＭＢによる撮像情報が採取される。「演算工程」では、撮像手段ごとの輝度画像のヒストグラムや、輝度平均値、差分偏向度画像のヒストグラム等とともに、上記撮像手段間差分輝度Ｐ、撮像手段間差分輝度Ｓ等を算出する。そして「判別工程」ではこれらを特徴量として路面状態の判別を行うことができる。

さらには、例えば、撮像手段ＣＭＡ、ＣＭＢで得られる画像情報から得られる例えば「撮像手段間差分輝度Ｂ（＝ΔＳＡＢ）を用い、これらの撮像手段に設定角の間の状態を１次関数で推定近似し、その係数を「特徴量」として判別に用いてもよい。

撮像手段は２種に限らず、３種類以上に増やすこともでき、その場合は、上記の状態を高次関数で近似して、その係数を特徴量として用いることもできる。

以下には、路面状態判別システムの使用態様を説明する。
図１２は、上に実施の形態を説明した「路面状態判別システム」の使用態様を２例示している。
図１２（ａ）は、この発明の路面状態判別システムＳＹＳを固定手段ＦＸにより路面ＥＲに対して固定的に配置して用いる例である。この場合、路面状態判別システムＳＹＳを配置した「特定の場所」における路面状態を判別することができる。

図１２（ｂ）は、この発明の路面状態判別システムＳＹＳを「移動体」としての自動車ＡＴの車両に搭載して用いる例である。この場合には、自動車ＡＴを走行させて、広い範囲における路面状態の判別を行うことが可能である。

図１２（ａ）、（ｂ）の例において、路面ＥＲや自動車ＡＴに設けるのは、必ずしも、路面状態判別システムそのものでなくともよく、例えば、路面状態判別システムにおいて状態判別手段を「発信部と判別部」に分け、路面や自動車には「路面状態検知ユニットと発信部」を設け、「判別部」は離れた位置（路面状態データセンタ等）に設置し、路面状態検知ユニットから得られる出力画像信号を、上記発信部により離れた位置に設置された判別部に送信し、判別作業は判別部において行うようにしてもよい。

図１２（ｂ）の自動車ＡＴは「路面状態判別システムＳＹＳを搭載された移動体」の１例である。移動体は自動車に限らず、種々の車両であることもできるし、あるいは「ドローン」のような飛行体であってもよい。

補足すると、上に説明した形態例では、照明光源による照明光の主光線ＬＰの入射角の例として「５５度」を例示した。主光線の入射角は、これに限定されないが、照明光源や撮像手段の配置の容易さを考慮すると「３０度以上」であることが好ましい。
また、前述の如く少なくとも１つの撮像手段の設置角は、撮像手段の結像光学系の光軸が「正反射光と合致」する場合を含む。しかし、例えば「主光線とその正反射光とを含む平面内」において、撮像手段の設置角を主光線の入射角に合致させた場合、撮像手段により明るい像を撮像できるが、路面の状態が湿潤しているような場合に、反射光の強度が大きくなり、撮像素子の受光レベルが飽和して輝度差を検出できなくなる場合も想定されるので、上に説明したように、正反射角に対し撮像手段の設置角を若干ずらすのが良い。

また、上には、図２に示したものを例として撮像手段（これは一般に偏光カメラと呼ばれるものである。）を説明したが、撮像手段はこの例に限定されるものではなく、例えば特許文献３に記載された「複数の偏光方向の偏光子を組み合わせた偏光子プレートを結像レンズの前に配し、回転しつつ撮像を行う構成のもの」でもよい。

さらには、２個の撮像カメラの一方に「Ｓ偏光を透過させる偏光フィルタ」、他方に「Ｐ偏光を透過させる偏光フィルタ」を組み合わせ、これら２個の撮像カメラをユニットとして１つの撮像手段を構成してもよい。

以上のように、この発明によれば、以下の如き新規な路面状態検知ユニットおよび路面状態判別システムおよび移動体を実現できる。

［１］
路面（ＥＲ）をスポット状に照明する照明光源（ＬＳ）と、該照明光源によりスポット状に照明された前記路面による反射光のＰ偏光成分画像とＳ偏光成分画像を撮像する複数の撮像手段（ＣＭ、ＣＭＡ、ＣＭＢ）と、を有し、前記撮像手段の少なくとも１つ（ＣＭ、ＣＭＡ）は、その結像光学系の光軸（ＡＸ）が前記スポット状に照明された被照明部の中心（ＣＳＰ）に向かい、且つ、前記照明光源による照明光束の正反射角：θＬに対して、前記照明光束の正反射方向から±０．２θＬの角範囲にある設置角：θＣに設定されている路面状態検知ユニット（図１、図９）と、路面状態検知ユニットの複数の撮像手段（ＣＭ、ＣＭＡ、ＣＭＢ）から得られるＰ偏光成分画像およびＳ偏光成分画像とともに、複数の撮像手段（ＣＭ、ＣＭＡ、ＣＭＢ）の間の前記Ｐ偏光の強度差および前記複数の撮像手段の間のＳ偏光の強度差の少なくとも一方に基づき、路面の状態の判別を行う状態判別手段（１００）と、を有する路面状態判別システム（図３、図１２）。

［２］
［１］記載の路面状態判別システムであって、前記撮像手段の少なくとも１つの前記結像光学系の光軸が、前記照明光束の正反射方向と合致しない路面状態判別システム。

［３］
［１］または［２］記載の路面状態判別システムであって、前記照明光源（ＬＳ）が路面（ＥＲ）をスポット状に照明する前記照明光束の入射角（θ１）が３０度以上である路面状態判別システム。

［４］
［１］ないし［３］の何れか１に記載の路面状態判別システムであって、撮像手段Ａ（ＣＭＡ）および撮像手段Ｂ（ＣＭＢ）を有し、前記撮像手段Ａは、その結像光学系ＯＡの光軸（ＡＸＡ）が、前記スポット状に照明された被照明部の中心（ＣＳＰ）に向かい、且つ、前記照明光源による照明光束の正反射角：θＬに対して±０．２θＬの角範囲にある設置角：θＣＡに設定され、前記撮像手段Ｂ（ＣＭＢ）は、その結像光学系ＯＢの光軸ＡＸＢが、前記スポット状に照明された被照明部の中心（ＣＳＰ）に向かい、且つ、前記光軸ＡＸＢと前記照明部の中心において前記被照明部に立てた法線（ｎ）に対し、前記撮像手段Ａと同じ側において、０度ないしθＣＡの範囲となる設置角：θＣＢに設定されている路面状態判別システム。

［５］
［１］ないし［４］の何れか１に記載の記載の路面状態判別システムであって、前記状態判別手段（１００）が、前記路面状態検知ユニットの前記１以上の撮像手段から得られる前記Ｐ偏光成分画像および前記Ｓ偏光成分画像に基づいて得られる輝度画像と差分偏光度画像とを用いて前記判別を行う路面状態判別システム（図４〜図１１）。
［６］
［５］記載の路面状態判別システムであって、前記状態判別手段（１００）が、前記輝度画像および前記差分偏光度画像のうちの少なくとも一方の画像の画素値の、ヒストグラムおよび平均値の少なくとも一方により前記判別を行う路面状態判別システム（図６、図７、図８）。
［７］
［６］記載の路面状態判別システムであって、前記状態判別手段が、前記撮像手段Ａおよび前記撮像手段Ｂの差分偏光度画像により前記判別を行う路面状態判別システム（図９〜図１１）。
［８］
［７］記載の路面状態判別システムであって、前記状態判別手段が、前記撮像手段Ａおよび前記撮像手段Ｂの差分偏光度画像、及び前記輝度画像のうちの何れか１以上とともに、撮像手段間差分輝度Ｐ、撮像手段間差分輝度Ｓのうちの何れか１以上を用いて前記判別を行う路面状態判別システム（図９）。

［９］
［１］ないし［８］の何れか１に記載の路面状態判別システム（ＳＹＳ）であって、路面（ＥＲ）に対して固定的に配置される路面状態判別システム（図１２（ａ））。

［１０］
［１］ないし［８］の何れか１に記載の路面状態判別システム（ＳＹＳ）であって、前記路面（ＥＲ）に対して移動する移動体（ＡＴ）に搭載される路面状態判別システム（図１２（ｂ））。

［１１］
前記路面（ＥＲ）に対して移動する移動体（ＡＴ）であって、［１］ないし［８］の何れか１に記載の路面状態判別システム（ＳＹＳ）を搭載された移動体（図１２）。

以上、発明の好ましい実施の形態について説明したが、この発明は上述した特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された発明の趣旨の範囲内において、種々の変形・変更が可能である。
この発明の実施の形態に記載された効果は、発明から生じる好適な効果を列挙したに過ぎず、発明による効果は「実施の形態に記載されたもの」に限定されるものではない。

ＵＴ 路面状態検知ユニット
ＥＲ 路面
ＬＳ 照明光源
ＣＭ 撮像手段
ＡＸ 撮像手段ＣＭの結像光学系の光軸
ＬＰ 照明光束の主光線
ＣＳＰ スポット状に照明される被照明部の中心

特許第２７０７４２６号公報 特開２０１５−１０９６２５号公報 特開２０１１−２９９０３号公報

Claims (11)

1. 路面をスポット状に照明する照明光源と、
   該照明光源によりスポット状に照明された前記路面による反射光のＰ偏光成分画像とＳ偏光成分画像を撮像する複数の撮像手段と、を有し、
   前記撮像手段の少なくとも１つは、その結像光学系の光軸が前記スポット状に照明された被照明部の中心に向かい、且つ、前記照明光源による照明光束の正反射角：θＬに対して、前記照明光束の正反射方向から±０．２θＬの角範囲にある設置角：θＣに設定されている路面状態検知ユニットと、
   前記路面状態検知ユニットの前記複数の撮像手段から得られる前記Ｐ偏光成分画像および前記Ｓ偏光成分画像とともに、前記複数の撮像手段の間の前記Ｐ偏光の強度差および前記複数の撮像手段の間のＳ偏光の強度差の少なくとも一方に基づき、路面の状態の判別を行う状態判別手段と、を有する路面状態判別システム。
2. 請求項１記載の路面状態判別システムであって、
   前記撮像手段の少なくとも１つの前記結像光学系の光軸が、前記照明光束の正反射方向 と合致しない路面状態判別システム。
3. 請求項１または２記載の路面状態判別システムであって、
   前記照明光源が路面をスポット状に照明する前記照明光束の入射角が３０度以上である路面状態判別システム。
4. 請求項１ないし３の何れか１項に記載の路面状態判別システムであって、
   撮像手段Ａおよび撮像手段Ｂを有し、
   前記撮像手段Ａは、その結像光学系ＯＡの光軸ＡＸＡが、前記スポット状に照明された被照明部の中心に向かい、且つ、前記照明光源による前記照明光束の正反射角：θＬに対して±０．２θＬの角範囲にある設置角：θＣＡに設定され、
   前記撮像手段Ｂは、その結像光学系の光軸ＡＸＢが、前記スポット状に照明された前記被照明部の中心に向かい、且つ、前記光軸ＡＸＢと前記被照明部の中心において前記被照明部に立てた法線に対し、前記撮像手段Ａと同じ側において、０度ないしθＣＡの範囲となる設置角：θＣＢに設定されている路面状態判別システム。
5. 請求項１乃至４の何れか１つに記載の路面状態判別システムであって、
   前記状態判別手段が、前記路面状態検知ユニットの前記複数の撮像手段から得られる前記Ｐ偏光成分画像および前記Ｓ偏光成分画像に基づいて得られる輝度画像と差分偏光度画像とを用いて前記判別を行う路面状態判別システム。
6. 請求項５記載の路面状態判別システムであって、
   前記状態判別手段が、前記輝度画像および前記差分偏光度画像のうちの少なくとも一方の画像の画素値の、ヒストグラムおよび平均値の少なくとも一方により前記判別を行う路面状態判別システム。
7. 請求項６記載の路面状態判別システムであって、
   前記状態判別手段が、前記撮像手段Ａおよび前記撮像手段Ｂの差分偏光度画像により前記判別を行う路面状態判別システム。
8. 請求項７記載の路面状態判別システムであって、
   前記状態判別手段が、前記撮像手段Ａおよび前記撮像手段Ｂの前記差分偏光度画像、及び前記輝度画像のうちの何れか１以上とともに、撮像手段間差分輝度Ｐ、撮像手段間差分輝度Ｓのうちの何れか１以上を用いて前記判別を行う路面状態判別システム。
9. 請求項１ないし８の何れか１項に記載の路面状態判別システムであって、
   路面に対して固定的に配置される路面状態判別システム。
10. 請求項１ないし８の何れか１項に記載の路面状態判別システムであって、
    前記路面に対して移動する移動体に搭載される路面状態判別システム。
11. 前記路面に対して移動する移動体であって、
    請求項１ないし８の何れか１項に記載の路面状態判別システムを搭載された移動体。

Images