JP3817611B2

JP3817611B2 - 可視画像式路面状況把握装置における路面状況判定方法

Info

Publication number: JP3817611B2
Application number: JP2003069373A
Authority: JP
Inventors: 則幸川田; 茂幸渡辺
Original assignee: National Institute for Land and Infrastructure Management
Current assignee: National Institute for Land and Infrastructure Management
Priority date: 2003-03-14
Filing date: 2003-03-14
Publication date: 2006-09-06
Anticipated expiration: 2023-03-14
Also published as: JP2004280339A

Description

【０００１】
【発明の属する技術分野】
本発明は、可視画像式路面状況把握装置における路面状況判定方法、さらに詳しくは道路交通において、車への路面情報提供による運転の安全性向上、あるいは道路管理において積雪、凍結などの情報提供による除雪などの道路管理作業の効率化などに寄与する技術として、汎用的な可視カメラで得られる可視画像を利用して、そのために必要な路面状態情報を自動的かつ非接触で検出し、関連の施設にその情報を提供することを可能にする技術に関する。
【０００２】
【従来の技術】
従来、路面の湿潤、乾燥、積雪、凍結などの路面状態を判別する方法として種々の装置が開発されている。例えば非接触で検出できる方法では、レーザ光の反射特性の変化を利用する方法、マイクロ波や赤外線を用いる方法などが有るが、いずれも測定範囲が比較的狭い領域に限定されたり、路面状態によって種類分けが必要となったりして、路面のような面的に広い領域に亘って路面状態を監視したいと言うニーズには必ずしも応えられていないのが現状である。また、比較的広範囲が検査できる赤外線カメラを利用した方法ではコスト的に高価となるなどの欠点もある。
【０００３】
これに対して、可視カメラを用いる方法は、監視領域と言う点で１００〜１５０ｍの比較的広範囲が検査可能である上に、コスト的にも比較的安価となる。また、可視カメラそのものは路面検知とは別の目的、例えば、交通量や事故の監視などの目的で既に多数取り付けられている状況にあり、また、道路の高度情報化の流れの中で、今後も路線毎に比較的密に取り付けられることが予想されている。
【０００４】
そのため、可視カメラの他目的の一つとしてこの路面状況把握機能が付加できれば、コスト面で非常に有益なシステムとなり得る。しかし、可視カメラにより撮影された画像をもとに路面状況を把握する場合には、その画像から色、輝度、模様などを数量化した、場合によっては数十の多くの画像特徴量が必要となる。路面状態が未知の画像（以下、検査画像と呼ぶ）の画像特徴量から、その画像の路面状態を判別する際に、予め各路面状態について、路面状態が既知である画像（以下、基準画像と呼ぶ）の画像特徴量から判別関数を作成する必要があるが、画像特徴量の数が多くなると判別関数を作成する時間も長くなる。
【０００５】
【発明が解決しようとする課題】
この発明は上記のような課題を解決するためになされたものであり、路面状態を判別する際に必要な判別関数を作成する時間を低減させることができる可視画像式路面状況把握装置における路面状況判定方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するため、この発明は、路面を俯瞰するように取り付けられた可視カメラからの路面映像信号から得られる色、輝度、模様を数量化した画像特徴量をもとに、ある路面範囲における路面の湿潤、乾燥などの状態を検知する路面状態把握装置において、検知したい路面状況に対応した画像を、外乱因子となる環境条件毎にそれぞれ対応して予め撮像し、この撮像された画像を基に、撮像時の路面の状態を反映した色、輝度、模様を特徴点として抽出して、これらの特徴点を有した基準画特徴量として蓄えておき、前記環境条件毎に蓄積された基準画特徴量と、新たに撮像した検査画像に対して同様な処理によって得られる検査画特徴量とを、前記各特徴量毎の座標軸で規定される座標空間に表された座標点としての位置を比較することにより、検査画像がどの基準画特徴量に最も近いかを判定して、検査画像における路面状態を判別する路面状況判定方法であって、前記検査画像が処理されることで抽出される複数の画像特徴量から路面状態把握に有効な少数の特徴量を合成して合成特徴量を求めるに際し、画像特徴量ｘ _ｖ（ｖ＝１，２，・・・，Ｖ）に対する合成特徴量ｙの数値の算出は次式（１）を用いるとともに、これにより求めた合成特徴量を多次元空間の座標として、路面状態を判別することを特徴とする可視画像式路面状況把握装置における路面状況判定方法。

ここで、路面状態判別に有効な合成特徴量に対する係数ａ _ｖは、Σｗ ^-1 ΣＢの固有ベクトルの内、その固有ベクトルに対する固有値が大きいものとなる。また、Σｗ，ΣＢは、それぞれ郡内分散，異なる路面状態間での群間分散であり、路面状態ｒ、詳細分類（晴れ，曇りなど）ｓに含まれるデータ数をＮ _ｒｓ、ｎ番目のデータのｖ番目の画像特徴量をｘ _ｖｒｓｎ、ｖ番目の画像特徴量の平均を

とすると、

であらわされる。
【０００７】
【発明の実施の形態】
以下、本発明に係る路面状況把握装置の一実施の形態について図面を参照して説明する。
【０００８】
図１は一実施の形態における機器構成を示すブロック図である。路面画像を撮影するための通常のＴＶカメラ１０が路面を俯瞰するように路側に取り付けられ、その映像出力信号をデジタル化するためのＡ／Ｄ変換器１８、その画像を一旦検査画像として保存する検査画像メモリ部１７、検査画像から画像データ処理により路面状況に則した画像特徴量，合成特徴量を抽出するための画像処理装置１１と、そのようにして抽出された基準画特徴量を保管しておくための基準メモリ部１２、及び基準画合成特徴量を基に路面状況を判定するための演算処理装置１３、判定結果を外部に出力するための表示部１４及びインターフェイス部１５、並びに全体の機器を制御するための制御装置１６からなる。
【０００９】
ＴＶカメラ１０は検出範囲である数１０ｍから１００数十ｍの路面が視野に入るように路側上方にポールあるいはガントリ上に設置される。路面画像は画像処理装置等の装置本体が設置されている建屋まで場合によっては数１０ｋｍ信号線で送られる。ＴＶカメラ１０は色の情報も取る必要があるため通常はカラーカメラを使用する。画像の取得サイクルは通常１秒間に３０画面である。画像処理装置１１に入力された映像信号はＡ／Ｄ変換後、制御装置１６のコントロールによって後述する手法によって画像処理され、その結果は演算処理装置１３に入力される。演算処理装置１３は基準メモリ部１２に保管されている基準画合成特徴量から作成される判別関数を参照しながら、これも後述する手順により多変量解析処理され、その結果に基づき路面状態が判定され、表示部１４や他の装置へインターフェイス部１５を介して出力される。
【００１０】
次に本装置で実行される画像処理内容について詳述する。
【００１１】
先ず基準画特徴量の取得について説明する。基準画特徴量算出の基となる基準画像は基本的には対象とする路面における乾燥、湿潤、水膜、積雪、凍結などの路面状態に対応して取得され、画像処理により基準画特徴量に変換される。しかし、本路面状況把握装置は屋外画像が対象であり、そのため太陽の位置や雲の状態、周囲の建物などにより路面への照射環境条件が大きく変動し、それにしたがって画像の状態も変動する。同じ路面状態でも特に日が射した状態と曇天時ではその画像状態が大きく異なり、単純な検査画面のみに頼った多変量解析では判定が難しくなる。
【００１２】
そのため、本方法では図２に一部示すように、晴天時の乾燥、湿潤、水膜、積雪、凍結、同様に曇天時の乾燥、湿潤、水膜、積雪、凍結、更に夜間照明下における乾燥、湿潤、水膜、積雪、凍結、必要ならば晴天時、及び曇天時を更に２ないし３の環境状態に別けてそれぞれに対応した路面状態を取得し基準画特徴量算出のための基準画像としている。更に晴天時では太陽の位置によっても画像が変化するため大まかな時間帯域による基準画像の取得も対象の路面によっては必要になる。
【００１３】
ここで、晴天時に路面に生じる影の問題が別途懸念されるが、これについては全ての影の状態に対して基準画を取得するのは現実的でなく、別途検査画像から影の部分をエッジ処理等により検出し、それに合わせて影部では曇天時の基準画特徴量を用いて処理することとなるが、本実施の形態と直接関係しないため省略する。
【００１４】
以上の基準画特徴量の取得時期であるが、上記全てのケースについて短期間に取得することは非常に困難であり、ある程度時間をかけて整備して行く必要がある。そのため、図３に基準画特徴量取得が簡便に行なえるフローを示す。極端な例として装置設置時、晴天時の乾燥状態のみが基準画特徴量として取得できているものとする。新たに取得した検査画像に対して後述する画像処理及び多変量解析により路面状態を判定するが、基準画特徴量が一つしかないため真の路面状態にかかわらず乾燥と判定される。
【００１５】
当然、乾燥以外では誤判定となるが、これをその時点、あるいは後日、検査画像メモリ部１７の記録と判定結果を目視で付き合わせることにより、誤判定した検査画像を画像処理により新たに基準画特徴量に変換して基準メモリ部１２に保管する。基本的には人手を介して行なうことになるが、検査画像には判定結果が記録、表示されており、また、全ての画像について実施する必要は無く、代表的なケースについてデータを概観すれば良く、操作は比較的簡単である。
【００１６】
このようにして順次基準画特徴量を充実させて行くことで、少なくとも１シーズン後には路面状態把握装置として十分な判定の信頼性を有するものに向上して行くこととなる。
【００１７】
次に、検査画像から路面状況を判定する手法について、図６のブロック図に基づき述べる。先ず、検査画像の中から処理すべき路面の画像が抽出される。これは予め路面画像に基づき設定された処理に従うものである。次に、画像処理装置１１により検査画像が画像処理され、次に示すような画像特徴量が抽出される。
（１）色差およびその分散

画像の色ＨはカラーカメラのＲＧＢ信号を基に、例えば以下の式で算出できる。
（２）輝度及びその分散
画像の輝度ＩはカラーカメラのＲＧＢ信号を基に、例えば以下の式で算出できる。

（３）テクスチャ
テクスチャとは積雪時、車の轍で生じる縦縞の模様や、湿潤、水膜発生時においてカメラ視野の手前と後方との間で生じる反射強度の勾配（偏光特性が原因）、新雪における粒状的な輝度分布など、路面に生じる模様を微分処理などで数値的な特徴量に変換した量を指す。
この他に判定要素（特徴量）として、特に凍結などの判定に有効な路面温度を利用する場合も当然考えられ、上記特徴量空間の一つとして加えればその信頼性はさらに向上するものと考えられる。
【００１８】
画像特徴量の算出については色々工夫がなされているが、本実施の形態に直接係るものでないため詳述はしないが、基本的には一般に利用されている画像解析ツールで求められる特徴量が利用可能である。この様な特徴量抽出処理で特徴量を求める。
【００１９】
次に、複数の画像特徴量から路面状態判別に有効な合成特徴量を算出する手順を示す。
画像特徴量x_v(v=1,2,・・・,V)に対して、合成特徴量yを

とすると、路面状態判別に有効な合成特徴量に対する係数a_vは、Σ_w ^-1Σ_Bの固有ベクトルの内、その固有ベクトルに対する固有値が大きいものとなる。ここで、Σ_w，Σ_Bは、それぞれ郡内分散，異なる路面状態間での群間分散であり、路面状態r、詳細分類(晴れ，曇りなど)sに含まれるデータ数をＮ_rs、n番目のデータのv番目の画像特徴量をx_vrsn、v番目の画像特徴量の平均を

とすると、

であらわされれる。このとき、合成特徴量は１０を下回る少数で、元の特徴量に相当する路面状態を判別するために必要な情報をもつ。判別に用いる特徴量を有効なものに絞り込むことで少数とすることができるため、路面状態を判別する関数を求める時間が小さくなる。
【００２０】
図４に路面状態判別に用いる特徴量を２つの特徴量から１つの合成特徴量に減少させる様子を示す。図４において、特徴量１および特徴量２は画像から求める色、輝度などである。また、図中の●印、■印は１点が１つの基準画像から算出された特徴量をプロットしたものである。このとき、合成特徴量の値は路面状態１、路面状態２の各点を合成特徴量の軸に射影したときの値となる。路面状態１と路面状態２を判別する場合、特徴量１のみ、特徴量２のみでは判別することはできず、特徴量１と特徴量２の２つを用いる必要があるが、合成特徴量を用いれば、１つの合成特徴量のみで２つの路面状態の判別が可能である。
【００２１】
このようにして求めた合成特徴量を多次元空間の座標として考え、それぞれの座標値からその検査画像における特徴座標点が決まる。この操作を複数の基準画像に対して実施することで、多次元空間内に同数の特徴座標点が求められる。これが基準画特徴空間とも呼べるもので、これに対して検査画像に対する特徴量座標が更に１点求まることとなる。この検査画特徴座標に対して各基準画特徴座標点までの統計的距離が最も短いものに対応する基準画像が求める路面状態を表すこととなる。この様子を図５に示す。
【００２２】
図５は一般に多変量解析と呼ばれているもので、多次元空間の中での近似度を解析する手法である。方法としては大きく別けて２つの手法が適用できる。第一の手法は上記の操作で取得された多数の基準画特徴点に対して、単純に検査画像から得られる検査画特徴点との空間内におけるユークリッド距離を算出し、その大小で判定する手法である。第二の手法は、クラス分析とも呼ばれている手法で、前記したように各路面状態を例えば晴天時の乾燥、曇天時の乾燥、夜間照明下における乾燥、などある近似したグループにクラス分けして解析する手法である。その場合、データとしてはそのグループの平均特徴座標とグループ内データの広がりである分散値が定義されることになる。判定方法は平均特徴座標までの距離並びに分散度を考慮したマハラノビス汎距離と呼ばれている距離で評価することになる。グループ化をうまくすれば第一の方法よりも演算が簡便となり、信頼性の向上も期待できる。また、より信頼性を上げるための変形手法もあるが、これらの多変量解析手法については既に確立されたものであり、文献の類も多く、式も煩雑になるためここでは記載しない。
【００２３】
次に、本手法の特徴を述べる。可視画像から画像特徴量を算出し判別を行う場合、通常はできるだけ多くの画像特徴量を用いることで、より正しく判別を行うことが可能となる。しかし、画像特徴量の数が多くなれば、判別を行うために必要な判別関数を算出するために多くの時間を要する。
【００２４】
本手法によれば、可視画像から算出される画像特徴量から、路面状態を判別するために有効な少数の合成特徴量を作成するこにより、判別関数を算出する時間を低減することができる。
【００２５】
【発明の効果】
以上説明したように、従来、路面状態を精度よく判別するためには、多くの画像特徴量を用いる必要があり、このとき、路面状態を判別する判別関数を作成するためには多くの時間を要するものであった。しかしながら、可視画像式路面状況把握装置に本発明の判別方法を用いることにより、路面状態の判別を少数の合成特徴量により行うことができ、判別関数を作成する時間を低減することが可能となるという優れた効果がある。
【図面の簡単な説明】
【図１】本発明に係る可視画像式路面状況把握装置の一実施の形態における機器構成を示すブロック図である。
【図２】同上の特徴である日射環境条件などに対応して路面状況毎に基準画特徴量を求める概念を示す図である。
【図３】基準画特徴量取得のフロー図である。
【図４】合成特徴量を説明する図である。
【図５】路面状況判定の判定手法を示す概念図である。
【図６】路面状況判定処理の内容を示すフロー図である。
【符号の説明】
１０可視（ＴＶ）カメラ
１１画像処理装置
１２基準画メモリ部
１３演算処理装置
１４表示部
１５インターフェイス部
１６制御装置
１７検査画像メモリ部
１８Ａ／Ｄ変換器

Claims

路面を俯瞰するように取り付けられた可視カメラからの路面映像信号から得られる色、輝度、模様を数量化した画像特徴量をもとに、ある路面範囲における路面の湿潤、乾燥などの状態を検知する路面状態把握装置において、
検知したい路面状況に対応した画像を、外乱因子となる環境条件毎にそれぞれ対応して予め撮像し、この撮像された画像を基に、撮像時の路面の状態を反映した色、輝度、模様を特徴点として抽出して、これらの特徴点を有した基準画特徴量として蓄えておき、前記環境条件毎に蓄積された基準画特徴量と、新たに撮像した検査画像に対して同様な処理によって得られる検査画特徴量とを、前記各特徴量毎の座標軸で規定される座標空間に表された座標点としての位置を比較することにより、検査画像がどの基準画特徴量に最も近いかを判定して、検査画像における路面状態を判別する路面状況判定方法であって、
前記検査画像が処理されることで抽出される複数の画像特徴量から路面状態把握に有効な少数の特徴量を合成して合成特徴量を求めるに際し、画像特徴量ｘ _ｖ（ｖ＝１，２，・・・，Ｖ）に対する合成特徴量ｙの数値の算出は次式（１）を用いるとともに、これにより求めた合成特徴量を多次元空間の座標として、路面状態を判別することを特徴とする可視画像式路面状況把握装置における路面状況判定方法。

ここで、路面状態判別に有効な合成特徴量に対する係数ａ _ｖは、Σｗ ^-1 ΣＢの固有ベクトルの内、その固有ベクトルに対する固有値が大きいものとなる。また、Σｗ，ΣＢは、それぞれ郡内分散，異なる路面状態間での群間分散であり、路面状態ｒ、詳細分類（晴れ，曇りなど）ｓに含まれるデータ数をＮ _ｒｓ、ｎ番目のデータのｖ番目の画像特徴量をｘ _ｖｒｓｎ、ｖ番目の画像特徴量の平均を

とすると、

であらわされる。