JP4183542B2 - Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program - Google Patents
Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program Download PDFInfo
- Publication number
- JP4183542B2 JP4183542B2 JP2003091927A JP2003091927A JP4183542B2 JP 4183542 B2 JP4183542 B2 JP 4183542B2 JP 2003091927 A JP2003091927 A JP 2003091927A JP 2003091927 A JP2003091927 A JP 2003091927A JP 4183542 B2 JP4183542 B2 JP 4183542B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- intensity
- vehicle
- image
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関し、特に、車両前方路面の路面状態を検出する車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムに関する。
【0002】
【従来の技術】
従来、この種の路面状態検出装置は、撮像した路面の垂直偏光画像および水平偏光画像の垂直偏光成分および水平偏光成分の各偏光成分の比である偏光比強度を算出するとともに、同算出した偏光比強度に基づいて路面が湿潤状態であるか乾燥状態であるかを検出するものが知られている(例えば、非特許文献1を参照。)。
【0003】
【非特許文献1】
第14回 外観検査の自動化ワークショップ VIEW2002(2002.12.5−6 横浜)にて発表された「車載型路面状態検出センサの開発」
【0004】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置を車両に搭載した場合、算出する偏光比強度に走行中に変化する外光状態や車載カメラの設置俯角に起因して発生するノイズが含まれてしまうという問題があった。このとき、かかる従来の路面状態検出装置に慣用技術である移動平均手法等を用いてノイズを低減させることも可能であるが、この路面状態検出装置は定点観測を前提としているため、走行中に変動する走行速度に応じて要求される検出性能に動的に対応することはできない。
【0005】
本発明は、上記課題にかんがみてなされたもので、ノイズを取り除いて路面状態の検出精度を向上させるとともに、車両の走行速度に応じて路面状態の検出性能を得ることが可能な車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラムの提供を目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、前方路面を撮像可能に車両に設置され、同前方路面の垂直偏光画像および水平偏光画像を撮像する画像撮像手段と、上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出手段と、上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算手段と、上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御手段と、上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別手段とを具備する構成としてある。
【0007】
上記のように構成した請求項1にかかる発明においては、車両の前方路面を撮像可能に画像撮像手段を設置し、この画像撮像手段にて前方路面の垂直偏光画像と水平偏光画像を撮像する。次に、偏光比強度算出手段は垂直偏光画像と水平偏光画像の偏光比強度を算出する。ここで、移動平均強度演算手段は偏光比強度が算出される毎に、偏光比強度の時系列データに関して、所定期間の平均を演算する。本発明ではこの演算結果を移動平均強度と呼ぶ。次に、移動平均強度演算手段が移動平均強度を演算するにあたり、演算制御手段は、車両の走行速度を取得し、この走行速度に基づいて所定期間を変化させる。ここで、演算制御手段は、車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づいて上述した所定期間の変化を行う。そして、路面状態判別手段は、演算された移動平均強度が所定の閾値以上である場合、路面状態が略湿潤状態であると判別する。
【0008】
このように、偏光比強度を算出する際に、いわゆる移動平均を導入することによって偏光比強度に発生し得る高周波成分のノイズを取り除くことが可能になり、偏光比強度の算出精度を向上させるとともに、路面状態の検出精度を向上させることが可能になる。また、この移動平均を演算する際に移動平均の重みとなる所定期間を走行速度の関数(走行速度の上昇に略対応させて所定期間を低減させる関数)として扱うことによって、高速走行時のように早急な判断が必要となる場合は、レスポンス性を重視した路面状態の検出を行うことが可能になるとともに、低速走行時は検出安定性を重視した路面状態の検出を行うことが可能になる。
【0009】
また、請求項2にかかる発明は、上記請求項1に記載の車両用路面状態検出装置において、上記演算制御手段は、上記走行速度と上記所定期間との対応関係を予め規定した対応パターンを記憶する対応パターン記憶手段を有し、上記取得した走行速度に基づいて同対応パターンを検索し、上記移動平均強度を演算する際の所定期間を決定する構成としてある。
上記のように構成した請求項2にかかる発明において、演算制御手段は対応パターン記憶手段に予め走行速度と所定期間との対応関係を規定した対応パターンを記憶しておく。そして、取得した走行速度に基づいて、この対応パターン記憶手段に記憶されている対応パターンを検索し、取得した走行速度に対応した所定期間を取得し、同取得した所定期間により、移動平均強度を演算する際の所定期間を決定する。
【0010】
さらに、請求項3にかかる発明は、上記請求項1または請求項2のいずれかに記載の車両用路面状態検出装置において、上記対応パターン記憶手段は、上記判別される路面状態に応じて上記走行速度と上記所定期間との対応関係を予め規定した複数の対応パターンを記憶し、上記演算制御手段は、上記路面状態判別手段にて判別された路面状態に対応する対応パターンに基づいて上記所定期間を決定する構成としてある。
上記のように構成した請求項3にかかる発明においては、対応パターン記憶手段に判別される路面状態に応じた複数の対応パターンを記憶させておく。そして、演算制御手段は、路面状態判別手段にて判別された路面状態に対応する対応パターンを対応パターン記憶手段から取得し、同取得した対応パターンに従って移動平均を演算する際の所定期間を決定する。
【0011】
さらに、請求項4にかかる発明は、上記請求項1〜請求項3のいずれかに記載の車両用路面状態検出装置において、上記偏光比強度算出手段は、上記算出した偏光比強度を算出する毎に前回算出した偏光比強度と今回算出した偏光比強度とを比較するとともに、各偏光比強度の変化度合いが所定の閾値以上であるか否かを判別し、同判別にて変化度合いが所定の閾値以上であると判別された場合に、今回算出した偏光比強度を前回算出した偏光比強度に置換する構成としてある。
上記のように構成した請求項4にかかる発明においては、偏光比強度算出手段は、算出した偏光比強度を算出する毎に前回算出した偏光比強度と今回算出した偏光比強度とを比較する。そして、各偏光比強度の変化度合いが所定の閾値以上であるか否かを判別し、判別にて変化度合いが所定の閾値以上であると判別した場合に、今回算出した偏光比強度を前回算出した偏光比強度に置換する。
【0012】
さらに、請求項5にかかる発明は、上記請求項4に記載の車両用路面状態検出装置において、上記偏光比強度算出手段は、上記偏光比強度算出手段は、上記走行速度の上昇に略対応して上記閾値の設定を減少させて設定する構成としてある。
上記のように構成した請求項5にかかる発明において、偏光比強度算出手段は変化度合いが閾値以上であるか否かを判別する際に、走行速度を取得し、この走行速度に基づいてこの閾値を変化させる。ここでは、走行速度の上昇に略対応して閾値の設定を減少させて設定する。
【0013】
ここで、上述してきた車両に配置され前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する車両用路面状態検出装置は、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する手順を提示した方法としても成立することは言うまでもない。
そこで、請求項6にかかる発明においては、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する車両用路面状態検出方法であって、上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出工程と、上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算工程と、上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御工程と、上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別工程とを具備する構成とする。
必ずしも実体のある車両用路面状態検出装置に限らず、車両用路面状態検出方法としても有効であることに相違はない。
【0014】
また、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する方法および装置は、上述した車両用路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。
【0015】
その一例として請求項7にかかる発明においては、車両前方路面の垂直偏光画像および水平偏光画像の偏光比強度に基づいて路面状態を検出する機能をコンピュータにて実現可能にする車両用路面状態検出装置の制御プログラムであって、上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出機能と、上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算機能と、上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御機能と、上記演算された移動平均強度が所定の閾値以上である場合に上記路面状態が略湿潤状態であると判別する路面状態判別機能とを具備する構成としてある。
【0016】
すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【0017】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【0018】
【発明の効果】
以上説明したように本発明は、偏光比強度の算出精度を向上させて路面状態の検出精度を向上させるとともに、走行中に変動する走行速度に応じて要求される路面状態の検出性能(検出安定性あるいはレスポンス性)に動的に対応することが可能な車両用路面状態検出装置を提供することができる。
また、請求項2にかかる発明によれば、予め対応パターンを規定しておくことにより、走行速度に対応する所定期間を高速に決定することが可能になる。
さらに、請求項3にかかる発明によれば、路面状態に応じて適宜対応パターンを可変させることによって路面状態に適した性能を実現可能にする。
さらに、請求項4にかかる発明によれば、インパルス的なノイズを取り除くことが可能になる。
【0019】
さらに、請求項5にかかる発明によれば、走行速度の状況に応じて発生環境が変わりうるインパルス的なノイズをこの走行速度の状況に応じて適切に取り除くことが可能になる。
さらに、請求項6にかかる発明によれば、偏光比強度の算出精度を向上させて路面状態の検出精度を向上させるとともに、走行中に変動する走行速度に応じて要求される路面状態の検出性能(検出安定性あるいはレスポンス性)に動的に対応することが可能な車両用路面状態検出方法を提供することができる。
さらに、請求項7にかかる発明によれば、偏光比強度の算出精度を向上させて路面状態の検出精度を向上させるとともに、走行中に変動する走行速度に応じて要求される路面状態の検出性能(検出安定性あるいはレスポンス性)に動的に対応することが可能な車両用路面状態検出装置の制御プログラムを提供することができる。
【0020】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
(1)車両用路面状態検出装置の構成:
(2)路面状態検出処理の処理内容:
(3)変形例1:
(4)変形例2:
(5)まとめ:
【0021】
(1)車両用路面状態検出装置の構成:
図1は、本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。同図において、車両用路面状態検出装置10は、内部にCPU11を有し、同CPU11はバスラインを介して接続されたフレームメモリ13と、ROM14と、RAM15と、ユーザインターフェース部16とを制御可能になっており、CPU11はROM14に格納されている所定機能を実現可能にする制御プログラムをRAM15をワークエリアとして使用しつつ実行可能になっている。ここで、フレームメモリ13にはアナログデータをデジタルデータに変換する機能を有するAD変換器12を介して撮像部20が接続されている。
【0022】
従って、撮像部20にて撮像されたアナログデータの画像は、AD変換器12にてデジタルデータに変換されるとともに、フレームメモリ13によって取り込まれる。本実施形態では撮像部20にて路面を撮像する。本実施形態においては後述するとおり、撮像部20にて車両の前方路面の垂直偏光画像と水平偏光画像を撮像し、この垂直偏光画像および水平偏光画像の偏光特性を利用して路面状態を検出する。このとき、垂直偏光画像の輝度情報に基づいた垂直偏光成分の強度と、水平偏光画像の輝度情報に基づいた水平偏光成分の強度とに基づいて路面状態を検出する。また、ユーザインターフェース部16は車載テレビ等とのインターフェースであり検出した結果を同車載テレビに表示することによって運転者に通知可能になっている。
【0023】
図2は、上述した撮像部20の構成を示したブロック構成図である。
同図において、撮像部20は上述したとおり車両の前方路面を撮像する。このとき、路面から入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部20には、1:1の透過性を備えるハーフミラーボックス21と、ミラー22と、垂直偏光フィルタ23と、水平偏光フィルタ24と、垂直偏光フィルタ23を介して視野像を撮像するCCD25と、水平偏光フィルタ24を介して視野像を撮像するCCD26と、フィールドメモリ27と、フィールドメモリ28とを有する構成となっている。
【0024】
かかる構成において、視野像は、ハーフミラーボックス21を通過してミラー22で反射し、垂直偏光フィルタ23を介してCCD25に結像して垂直偏光画像を形成し、ハーフミラーボックス21を透過し、水平偏光フィルタ24を介してCCD26に結像して水平偏光画像を形成する。そして、このように形成された垂直偏光画像はフィールドメモリ27に格納される。また、水平偏光画像はフィールドメモリ28に格納される。このフィールドメモリ27,28に格納された垂直偏光画像および水平偏光画像はAD変換器12を介してフレームメモリ16に転送し、一旦格納させる。
本実施形態における撮像部20では、上述のとおり、入射する視野像をハーフミラーボックス21によって2つに分岐させることによって、垂直偏光画像および水平偏光画像を撮像することが可能な構成を採用した。むろん、垂直偏光画像および水平偏光画像を撮像する構成は、これに限定されるものではなく、例えば、垂直偏光フィルタを装着したCCDと、水平偏光フィルタを装着したCCDとにて個別に視野像を入射することにより、垂直偏光画像および水平偏光画像を撮像する構成を採用しても良い。また、これらに限定されるものでもなく、垂直偏光画像および水平偏光画像を撮像することが可能な構成であれば適宜選択可能である。
【0025】
図3は、車両に車両用路面状態検出装置10を搭載した場合における撮像部20の撮像視野について模式的に示した模式図である。
同図において、撮像部20は車両の前方の視野像を撮像可能に配置されている。このとき、撮像部20の撮像視野と運転者の視野とを略同等にするため、当該撮像部20をフロントガラスの上部位置に設置する。そして、運転者の視野範囲である全景を撮像部20にて視野像として取得するため、同撮像部20の設置俯角を本実施形態においては約33°に設定する。このように約33°の設置俯角を設定することによって、前方における路面Rの検出範囲は71°〜88°となり、撮像部20の設置位置から車両前方に向けて約50mの路面Rを視野像として取得することが可能になる。そして、この視野像における路面Rについて上述した垂直偏光画像および水平偏光画像を撮像する。ここで、この垂直偏光画像および水平偏光画像は路面の状態(乾燥状態もしくは略湿潤状態)に応じて偏光成分の特性が変化する。次に、この偏光成分の特性について説明する。
【0026】
図4は、路面が乾燥状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
同図において、路面Rが乾燥状態の場合は、撮像部20に入射される光は路面Rの凹凸面(粗面)に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部20の垂直偏光フィルタ23にて抽出される垂直偏光成分S1の反射光である垂直偏光成分S11の強度と、水平偏光フィルタ24にて抽出される水平偏光成分S2の反射光である水平偏光成分S21の強度とを比較すると、ほぼ同等の強度となる。
【0027】
図5は、路面が略湿潤状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
同図において、路面Rが略湿潤状態の場合は、路面Rの凹凸面(粗面)に水が溜まることによって鏡面となるため、撮像部20に入射される光はこの鏡面にて反射したものとなる。このように鏡面においては、反射光が偏光特性を示すことになる。このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部20の垂直偏光フィルタ23にて抽出される垂直偏光成分S1の反射光である垂直偏光成分S12の強度と、水平偏光フィルタ24にて抽出される水平偏光成分S2の反射光である水平偏光成分S22の強度とを比較すると、垂直偏光成分S12の強度の方が相対的に強くなる。
【0028】
この略湿潤状態において垂直偏光成分の強度と水平偏光成分の強度とにより示される偏光特性は、垂直偏光成分の路面Rにおける反射率をRsおよび水平偏光成分の路面Rにおける反射率をRpとし、入射光強度を強度Iとして場合、この強度Iに対する反射光の強度は次式(1)にて表現される。ここで、Isは垂直偏光成分の強度を示し、Ipは水平偏光成分の強度を示している。
Is=Rs*I
Ip=Rp*I ・・・式(1)
すなわち、反射光の強度は入射光の入射角度に依存することになる。ここで、入射光の入射角度と垂直偏光成分の強度,水平偏光成分の強度および相互の強度の比である偏光比強度との関係を図6の関係図に示す。同図おいて、鏡面における反射光の水平偏光成分は、入射角がブリュースタ角53.1°に等しいときに強度が0となり、垂直偏光成分の反射光の強度は入射角度の増大に伴って漸増する特性を示す。一方、路面が乾燥状態の場合、上述のとおり表面が粗面であるため、乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。従って、垂直偏光フィルタ23および水平偏光フィルタ24を介して撮像された垂直偏光画像および水平偏光画像の輝度情報から偏光特性に基づいて路面状態を判別できることになる。
【0029】
図7は、上述してきた構成にて撮像した垂直偏光画像および水平偏光画像から算出した垂直偏光成分の強度および水平偏光成分の強度の比である偏光比強度の時間推移を示した図である。
同図においては、横軸に時刻変化を規定し、縦軸に偏光比強度の変化を規定している。本実施形態においては、偏光比強度に基づいて路面が湿潤(強)状態であるか、湿潤(弱)状態であるか、乾燥状態であるかを検出する。本実施形態においては、偏光比強度が略120以上の場合に路面状態を湿潤(強)状態と検出し、偏光比強度が略40以上であり120より小さい場合に路面状態を湿潤(弱)状態と検出し、偏光比強度が40より小さい場合に路面状態を乾燥状態と検出している。
【0030】
ここで、この偏光比強度の時刻変化では▲1▼および▲2▼に指し示したようなインパルス的なノイズが含まれたり、高周波成分のノイズが信号全体に重畳している。このインパルス的なノイズは、突然の逆光あるいは影によって外界の輝度が大きく変化した場合に、撮像部20がこの変化に追従できないため発生する。かかる場合、垂直偏光画像および水平偏光画像は真っ白あるいは真っ黒になる。この画像がインパルス的なノイズとして表出することになる。一方、高周波成分のノイズは、撮像部20の車載搭載条件が原因となっている。すなわち、図6に示したとおり撮像部20の設置俯角が上述したブリュースタ角である場合には最大効率の偏光特性を示す垂直偏光画像および水平偏光画像を撮像できるが、運転者からの全景を視野像にすることを考慮した設置俯角(図6において網掛けで表示した領域)では同偏光特性の効率は低くなってしまう。
【0031】
そこで、本実施形態においては、このインパルス的なノイズおよび高周波成分のノイズを取り除くことにより、精度の高い偏光比強度を取得し、精度の高い路面状態の検出を行うことを実現する。ここで、かかる機能を実現するに際して本実施形態では、車両の走行速度や走行状態に応じたインパルス的なノイズおよび高周波成分のノイズの除去を行うことを特徴としている。すなわち、単にインパルス的なノイズおよび高周波成分のノイズを取り除くのではなく、適宜変化し得る車両の状況に応じてノイズの除去態様を変更にすることによって、車両の状況に応じた適切な路面状態の検出を可能にする。かかる機能を実現するために、本実施形態にかかる車両用路面状態検出装置10では、次に説明する路面状態検出処理を実行する。
【0032】
(2)路面状態判別処理の処理内容:
図8は、CPU11の制御によって実行される路面状態判別処理の処理内容を示したフローチャートである。
同図において、先ず最初に撮像部20にて路面Rの垂直偏光画像および水平偏光画像を撮像させるとともに、この撮像した垂直偏光画像および水平偏光画像をフレームメモリ13に転送させて一旦格納させる(ステップS105)。次に、このフレームメモリ13に格納された垂直偏光画像および水平偏光画像を読み出しつつ各画像の輝度情報を抽出するとともに、同抽出した輝度情報に基づいて当該垂直偏光画像の垂直偏光成分および水平偏光画像の水平偏光成分の強度を算出し(ステップS110)、この算出した各強度の比である偏光比強度を算出する(ステップS115)。そして、この今回算出した偏光比強度と、前回の偏光比強度と差分の絶対値を演算し、この差分の絶対値が閾値T1より大きいか否かを判別する(ステップS120)。
【0033】
差分の絶対値が閾値T1より大きいと判別した場合は、前回の偏光比強度を今回の偏光比強度に置き換える。これにより前回の偏光比強度からインパルス的に閾値T1より大きい変化度合いで変化するノイズ的な偏光比強度を取り除くことができる(ステップS125)。むろん、計測開始においては前回の偏光比強度は初期値(例えば0)であるため、かかる処理を実行しないことは言うまでもない。また、この処理で今回の偏光比強度とされたデータはRAM15に格納する。そして、次の処理でこのRAM15に格納した次回の偏光比強度として利用することになる。ここで、このインパルス的なノイズの除去を実現する手法を次式(2)に示す。IFは条件分岐を示しており、elseではIFでの条件を満たさなかった場合の処置を示している。
IF f(t)−f(t−1)>T1
f(t)=f(t−1)
else ・・・式(2)
f(t)=f(t)
f(t)は今回算出した偏光比強度を示し、f(t−1)は前回算出された偏光比強度を示している。
【0034】
ここで、かかるインパルス的なノイズを取り除く処理のみを行った場合の偏光比強度の時間推移を図9に示しておく。同図と先に示した図7とを比較すると、図7にて▲1▼および▲2▼で指し示したインパルス的なノイズが除去できていることが分かる。これにより、上述した原因で撮像されてしまう画像を排除することが可能になり、算出される偏光比強度の精度を向上させることが可能になる。このようにインパルス的なノイズを取り除いた後に、高周波成分のノイズを低減させるため、本実施形態では算出した偏光比強度の移動平均を演算する。ここで、移動平均とは今回算出した偏光比強度と所定回数分の前回算出された偏光比強度との平均であり、次式(3)にて演算される。
f(t+1)=1/N*ΣA(t−j+1) ・・・式(3)
ただし、Nは上述した所定回数であり本実施形態では移動平均パラメータと呼ぶ。f(t)は高周波成分のノイズを低減させた偏光比強度であり本実施形態では移動平均強度と呼ぶ。j(t)は実測にて算出された偏光比強度を示している。また、Σの演算はj=1からNまで行う。
【0035】
この移動平均を演算するに際して、先ず最初に所定の手法に基づいて車両の走行速度を取得する(ステップS130)。この走行速度の取得方法は既存の技術を利用すれば良く特に言及しない。そして、ROM14から所定の対応テーブルを読み出す。この対応テーブルのテーブル構成を図10に示す。同図において、対応テーブルA1は走行速度Vと移動平均パラメータNとの対応関係を規定している。ここで本実施形態においては、走行速度Vの上昇に略対応させて移動平均パラメータNを低減させている。ここで、移動平均パラメータNは、本発明にかかる移動平均強度演算手段にて演算に使用する所定期間に対応している。かかる対応テーブルA1に基づいて取得した走行速度Vに対応する移動平均パラメータNを決定し(ステップS135)、上述した式(3)により移動平均強度を演算する(ステップS140)。
【0036】
ここで、インパルス的なノイズを取り除く処理を行った後に、かかる移動平均による高周波成分のノイズの低減を行った際の偏光比強度の時間推移を図11に示しておく。同図と先に示した図9とを比較すると、全体的に偏光比強度の変移がなだらかに変化していることが分かる。すなわち、高周波成分が取り除かれていることが分かる。これにより、偏光比強度の精度を向上させることが可能になる。そして、次にこの演算した移動平均強度に基づいて路面状態を検出する処理に移行する。先ず最初に演算した移動平均強度が閾値T2以上であるか否かを判別し(ステップS145)、閾値T2以上であると判別した場合は、路面状態が湿潤(強)状態であると検出する(ステップS150)。
【0037】
また、移動平均強度が閾値T3以上であるとともに、閾値T2より小さいと判別した場合は(ステップS155)、路面状態が湿潤(弱)状態であると検出する(ステップS160)。一方、移動平均強度が閾値T3より小さいと判別した場合は、路面状態が乾燥状態であると検出する(ステップS165)。以上のように路面状態を検出すると、ユーザインターフェース部16の制御を介して当該検出された各路面状態を車載テレビに表示し、運転者において視認可能に通知する(ステップS170)。むろん、この通知は車載テレビに表示する態様に限定されず、スピーカから音のみで通知しても良いし、フロントパネルに配置されたランプなどの発光手段にて通知しても良い。このとき路面状態、例えば湿潤度合いに従って音量もしくは発光色を変化させればより好ましい。
【0038】
ここで、移動平均強度を演算す際の移動平均パラメータNは、高周波成分についての平滑化の度合いを直接左右するものであり、この移動平均パラメータNの値を大きくすれば路面状態の検出安定性は高くなるが、レスポンス性(応答性)は損なわれる。両者はトレードオフの関係にあるため、単純に移動平均パラメータNを固定値としてしまうと、路面状態を検出する性能を損なうことになる。そこで、本実施形態においては、上述したように移動平均パラメータNを走行速度Vの関数(走行速度Vの上昇に略対応させて移動平均パラメータNを低減させる関数)として扱い、路面状態の検出安定性およびレスポンス性を制御する。すなわち、高速走行時は早急な判断を必要とするため、レスポンス性を重視して移動平均パラメータNを小さく設定し、低速走行時は検出安定性を重視するために移動平均パラメータNを大きく設定する。
【0039】
上述した実施形態においては、インパルス的なノイズの低減と、高周波成分のノイズの低減とを組み合わせて路面状態検出処理を実行する態様を採用したが、むろん、インパルス的なノイズの低減に関する処理を単独に実行し、処理結果の偏光比強度に基づいて路面状態を検出する態様を採用しても良いし、高周波成分のノイズの低減に関する処理を単独に実行し、処理結果の偏光比強度に基づいて路面状態を検出する態様を採用しても良く、その態様は適宜選択可能である。
【0040】
(3)変形例1:
ここで、上述した実施形態においてはROM14に予め格納された対応テーブルA1に基づいて移動平均パラメータNを決定する態様を採用した。一方、検出安定性やレスポンス性を鑑みた場合、路面状態に応じて重視される性能が異なってくると考えられる。例えば、雨天時においては走行速度Vに拘わらず路面状態の検出にレスポンス性が主に要求されると考えられる。一方、晴天時においては、検出安定性が主に要求されると考えられる。そこで、ROM14に走行速度Vと移動平均パラメータNと対応関係について異なる関数にて表現される複数の対応テーブルを予め格納しておき、検出された路面状態に応じて適宜移動平均の演算に利用する対応テーブルを切り替えるようにしても良い。
【0041】
複数の対応テーブルのテーブル構成の一例を図12に示す。同図において、本実施形態では、雨天用対応テーブルA2と、通常対応テーブルA3とをROM14に予め格納しておく態様を採用する。雨天用対応テーブルA2は走行速度Vの上昇に略対応させて移動平均パラメータNを低減させているが、その低減度合いを小さくするとともに、全体的に移動平均パラメータNを小さく設定してある。これにより走行速度Vの変化全般に亘ってレスポンス性を重視した路面状態の検出を実現可能にする。一方、通常対応テーブルA3は上述した対応テーブルA1と同等であり、走行速度Vに応じて検出安定性およびレスポンス性を取得可能になっている。
【0042】
図13は、かかる機能を実現する際にCPU11にて実行される対応テーブル設定処理の処理内容を示したフローチャートである。
同図において、先ず最初に路面状態検出処理にて検出された路面状態を取得するとともに(ステップS205)、取得した路面状態が湿潤状態を示すものであるか否かを判別する(ステップS210)。取得した路面状態が湿潤状態であると判別した場合は、湿潤状態変数Xをインクリメントする(ステップS215)。次に、この湿潤状態変数Xが所定の閾値T4以上であるか否かを判別し(ステップS220)、閾値T4より小さい場合はステップS205に戻る。一方、閾値T4以上であると判別した場合は、路面状態が継続的に湿潤状態を示していると判断し、雨天であると判断する。そして、ROM14に格納された雨天用対応テーブルA2を移動平均パラメータNの決定用の対応テーブルとして設定する(ステップS225)。
【0043】
これによって、路面状態検出処理におけるステップS135では雨天用対応テーブルA2に基づいた移動平均パラメータNを決定することが可能になる。一方、ステップS210にて乾燥状態であると判別した場合は、乾燥状態変数Yをインクリメントする(ステップS230)。次に、この乾燥状態変数Yが所定の閾値T5以上であるか否かを判別し(ステップS235)、閾値T5より小さい場合はステップS205に戻る。一方、閾値T5以上であると判別した場合は、路面状態が継続的に乾燥状態を示していると判断し、晴天であると判断する。そして、ROM14に格納された通常対応テーブルA3を移動平均パラメータNの決定用の対応テーブルとして設定する(ステップS240)。これによって、路面状態検出処理におけるステップS135では通常対応テーブルA3に基づいた移動平均パラメータNを決定することが可能になる。
【0044】
(4)変形例2:
上述したようにインパルス的なノイズは、突然の逆光あるいは影によって外界の輝度が大きく変化した場合に、撮像部20がこの変化に追従できないため発生する。従って、車両の走行速度が高速の場合は突然外界の輝度が大きく変化する可能性が高くなるので、かかるノイズが発生し易い環境となる。従って、高速走行時は閾値T1の値を小さく設定し、よりインパルス的なノイズを除去可能な状態とし、低速走行時は閾値T1を大きく設定するようにしても良い。ここで、図14は、かかる機能を実現する際にCPU11にて実行される閾値設定処理の処理内容を示したフローチャートである。
同図において、先ず最初に所定の手法にて車両の走行速度を取得する(ステップS305)。 次に、この走行速度が所定の高速走行もしくは低速走行を判別するための所定の閾値T6以上であるか否かを判別し(ステップS310)、走行速度が閾値T6以上であると判別した場合は、閾値T1に通常の値より小さい値の閾値T1’を代入し、同閾値T1(=T1’)に基づいてインパルス的なノイズを取り除く(ステップS315)。一方、走行速度が閾値T6より小さいと判別した場合は、通常の閾値T1に基づいてインパルス的なノイズを取り除く(ステップS320)。
【0045】
(5)まとめ:
このように、偏光比強度を算出した際にインパルス的なノイズと高周波成分のノイズとを取り除くことにより、偏光比強度の算出精度を向上させるとともに、路面状態の検出精度を向上させることが可能になる。また、高周波成分のノイズを取り除くにあたり移動平均を演算する際に、移動平均の重みとなる移動平均パラメータNを走行速度Vの関数(走行速度Vの上昇に略対応させて移動平均パラメータNを低減させる関数)として扱うことによって、高速走行時のように早急な判断が必要となる場合は、レスポンス性を重視した路面状態の検出を行うことが可能になるとともに、低速走行時は検出安定性を重視した路面状態の検出を行うことが可能になる。
【図面の簡単な説明】
【図1】本発明にかかる車両用路面状態検出装置の構成を示したブロック構成図である。
【図2】撮像部の構成を示したブロック構成図である。
【図3】車両に車両用路面状態検出装置を搭載した場合における撮像部の撮像視野について模式的に示した模式図である。
【図4】路面が乾燥状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
【図5】路面が略湿潤状態の場合における垂直偏光成分および水平偏光成分の特性を模式的に示した模式図である。
【図6】入射光の入射角度と垂直偏光成分の強度,水平偏光成分の強度および相互の強度の比である偏光比強度との関係を示した関係図である。
【図7】各ノイズが含まれている状態の偏光比強度の時間推移を示した図である。
【図8】路面状態判別処理の処理内容を示したフローチャートである。
【図9】インパルス的なノイズを取り除いた状態の偏光比強度の時間推移を示した図である。
【図10】ROMに格納された対応テーブルのテーブル構成を示した図である。
【図11】各ノイズを取り除いた状態の偏光比強度の時間推移を示した図である。
【図12】ROMに格納された複数の対応テーブルのテーブル構成を示した図である。
【図13】対応テーブル設定処理の処理内容を示したフローチャートである。
【図14】閾値設定処理の処理内容を示したフローチャートである。
【符号の説明】
10…車両用路面状態検出装置
11…CPU
12…AD変換器
13…フレームメモリ
14…ROM
15…RAM
16…ユーザインターフェース部
20…撮像部
21…ハーフミラーボックス
22…ミラー
23…垂直偏光フィルタ
24…水平偏光フィルタ
25…CCD
26…CCD
27…フィールドメモリ
28…フィールドメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicular road surface state detection device, a vehicular road surface state detection method, and a control program for a vehicular road surface state detection device, and more particularly to a vehicular road surface state detection device and a vehicular road surface which detect a road surface state of a road surface ahead of the vehicle. The present invention relates to a state detection method and a control program for a vehicle road surface state detection device.
[0002]
[Prior art]
Conventionally, this type of road surface condition detection device calculates a polarization ratio intensity which is a ratio of vertical polarization components and horizontal polarization components of a vertical polarization image and a horizontal polarization image of a captured road surface, and the calculated polarization One that detects whether the road surface is wet or dry based on the specific strength is known (see, for example, Non-Patent Document 1).
[0003]
[Non-Patent Document 1]
"Development of an on-vehicle road condition detection sensor" presented at VIEW2002 (2002.2.12.5-6 Yokohama)
[0004]
[Problems to be solved by the invention]
When the above-described conventional road surface state detection device is mounted on a vehicle, there is a problem in that noise generated due to an outside light state that changes during traveling or an installation angle of an in-vehicle camera is included in the calculated polarization ratio intensity. there were. At this time, it is possible to reduce noise by using a moving average method or the like that is a conventional technique for such a conventional road surface state detection device, but since this road surface state detection device is premised on fixed point observation, It is not possible to dynamically cope with the detection performance required according to the changing traveling speed.
[0005]
The present invention has been made in view of the above problems, and it is possible to improve the detection accuracy of the road surface state by removing noise and to obtain the road surface state detection performance according to the traveling speed of the vehicle. It is an object to provide a control program for a detection device, a vehicle road surface state detection method, and a vehicle road surface state detection device.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an invention according to
[0007]
In the invention according to
[0008]
In this way, when calculating the polarization ratio intensity, by introducing a so-called moving average, it becomes possible to remove high-frequency component noise that may occur in the polarization ratio intensity, and improve the calculation accuracy of the polarization ratio intensity. The road surface condition detection accuracy can be improved. Further, by treating the predetermined period, which is the weight of the moving average when calculating the moving average, as a function of the traveling speed (a function that reduces the predetermined period substantially corresponding to the increase in traveling speed), It is possible to detect road surface conditions with an emphasis on responsiveness, and also detect road surface conditions with an emphasis on detection stability when driving at low speeds. .
[0009]
According to a second aspect of the present invention, in the vehicular road surface state detecting device according to the first aspect, the calculation control means stores a correspondence pattern that predefines a correspondence relationship between the traveling speed and the predetermined period. Corresponding pattern storage means for searching for the corresponding pattern based on the acquired traveling speed, and determining a predetermined period when calculating the moving average intensity.
In the invention according to claim 2 configured as described above, the arithmetic control means stores a correspondence pattern that prescribes a correspondence relationship between the traveling speed and the predetermined period in the correspondence pattern storage means. Then, based on the acquired traveling speed, the corresponding pattern stored in the corresponding pattern storage means is searched, a predetermined period corresponding to the acquired traveling speed is acquired, and the moving average intensity is determined by the acquired predetermined period. A predetermined period for calculation is determined.
[0010]
Furthermore, the invention according to claim 3 is the vehicle road surface condition detecting device according to
In the invention according to claim 3 configured as described above, a plurality of corresponding patterns corresponding to the road surface state determined by the corresponding pattern storage means are stored. Then, the calculation control means acquires a corresponding pattern corresponding to the road surface state determined by the road surface state determination means from the corresponding pattern storage means, and determines a predetermined period when calculating the moving average according to the acquired corresponding pattern. .
[0011]
Furthermore, the invention according to
In the invention according to
[0012]
Further, the invention according to claim 5 is the vehicle road surface condition detecting device according to
In the invention according to claim 5 configured as described above, the polarization ratio intensity calculating means acquires a traveling speed when determining whether or not the degree of change is equal to or greater than a threshold value, and based on the traveling speed, the threshold value is obtained. To change. In this case, the threshold value is set to decrease substantially corresponding to the increase in the traveling speed.
[0013]
Here, the road surface state detection device for a vehicle, which is disposed on the vehicle and detects the road surface state based on the polarization ratio intensity of the vertical polarization image and the horizontal polarization image of the front road surface, has the vertical polarization image and the horizontal polarization of the road surface ahead of the vehicle. Needless to say, this method is also effective as a method for presenting a procedure for detecting a road surface state based on the polarization ratio intensity of an image.
Accordingly, in the invention according to claim 6, there is provided a vehicle road surface state detection method for detecting a road surface state based on the polarization ratio intensities of the vertical polarization image and the horizontal polarization image of the road surface ahead of the vehicle, and the front road surface can be imaged. An image capturing step for causing the imaging means installed in the vehicle to capture the vertically polarized image and the horizontally polarized image, a polarization ratio intensity calculating step for calculating a polarization ratio strength of the vertically polarized image and the horizontally polarized image, and the polarization ratio A moving average intensity calculating step for calculating a moving average intensity corresponding to an average of a predetermined period in the time-series data of the same polarization ratio intensity every time the intensity is calculated, and the vehicle running when calculating the moving average intensity The predetermined period is changed according to the acquired traveling speed on the basis of the correspondence relationship in which the speed is acquired and the predetermined period is shortened substantially corresponding to the increase in the traveling speed of the vehicle. That the arithmetic control step, a structure in which the computed moving average intensity and a road surface state determination step of determining that the road surface condition is substantially wet state if more than a predetermined threshold value.
The present invention is not necessarily limited to a substantial vehicle road surface state detection device, but is effective even as a vehicle road surface state detection method.
[0014]
Further, the method and apparatus for detecting the road surface state based on the polarization specific intensity of the vertical polarization image and the horizontal polarization image of the road surface in front of the vehicle may be realized by the above-described vehicle road surface state detection device alone, or a certain device. The idea of the invention includes various aspects such as being used in a state of being incorporated in the software, and can be changed as appropriate, such as software or hardware. In the case of software for controlling the road surface state detection device as an embodiment of the idea of the invention, the invention is also realized as the hardware or software recording medium.
[0015]
As an example, in the invention according to claim 7, a vehicle road surface state detecting device that enables a computer to realize a function of detecting a road surface state based on the polarization ratio intensities of the vertically polarized image and the horizontally polarized image of the road surface ahead of the vehicle. An image capturing function for causing the imaging means installed in the vehicle to image the front road surface to capture the vertically polarized image and the horizontally polarized image, and the polarization ratio intensity of the vertically polarized image and the horizontally polarized image A polarization ratio intensity calculation function for calculating the above, a moving average intensity calculation function for calculating a moving average intensity corresponding to an average of a predetermined period in time series data of the same polarization ratio intensity each time the polarization ratio intensity is calculated, and When calculating the moving average strength, the travel speed of the vehicle is acquired, and the predetermined period is shortened by substantially corresponding to the increase in the travel speed of the vehicle. A calculation control function for changing the predetermined period according to the travel speed acquired based on the person in charge, and when the calculated moving average intensity is equal to or greater than a predetermined threshold, the road surface state is determined to be a substantially wet state. The road surface condition determination function is provided.
[0016]
In other words, the invention may be formed by a program that can be realized by a computer. Of course, the software recording medium may be a magnetic recording medium, a magneto-optical recording medium, or any recording medium to be developed in the future.
[0017]
The same is true without any question about the duplication stage of the primary reproduction product and the secondary reproduction product. In addition, even when the communication method is used as a supply method, the present invention is not changed, and the same applies to the case where data is written on a semiconductor chip. Further, even when a part is software and a part is realized by hardware, the idea of the invention is not completely different, and a part is recorded on a recording medium, and it is appropriately changed as necessary. It may be in the form of being read.
[0018]
【The invention's effect】
As described above, the present invention improves the detection accuracy of the road surface condition by improving the calculation accuracy of the polarization ratio intensity, and also detects the road surface condition detection performance (detection stability) required according to the traveling speed that fluctuates during traveling. It is possible to provide a vehicular road surface state detecting device capable of dynamically responding to the characteristics or responsiveness.
According to the second aspect of the present invention, it is possible to determine a predetermined period corresponding to the traveling speed at a high speed by prescribing the corresponding pattern in advance.
Furthermore, according to the third aspect of the invention, it is possible to realize performance suitable for the road surface condition by appropriately changing the corresponding pattern according to the road surface condition.
Furthermore, according to the fourth aspect of the present invention, it is possible to remove impulse noise.
[0019]
Furthermore, according to the fifth aspect of the present invention, it is possible to appropriately remove the impulse noise that can change the generation environment according to the traveling speed situation according to the traveling speed situation.
Furthermore, according to the invention of claim 6, the accuracy of calculating the polarization ratio intensity is improved to improve the detection accuracy of the road surface state, and the detection performance of the road surface state required according to the traveling speed that varies during traveling. It is possible to provide a vehicle road surface state detection method capable of dynamically responding to (detection stability or responsiveness).
Furthermore, according to the invention of claim 7, the accuracy of calculating the polarization ratio intensity is improved to improve the detection accuracy of the road surface state, and the detection performance of the road surface state required according to the traveling speed that fluctuates during traveling. It is possible to provide a control program for a vehicle road surface state detection device capable of dynamically responding to (detection stability or responsiveness).
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Here, embodiments of the present invention will be described in the following order.
(1) Configuration of road surface condition detection device for vehicles:
(2) Processing contents of road surface state detection processing:
(3) Modification 1:
(4) Modification 2:
(5) Summary:
[0021]
(1) Configuration of road surface condition detection device for vehicles:
FIG. 1 is a block configuration diagram showing a configuration of a vehicle road surface state detection apparatus according to the present invention. In the figure, a vehicle road surface
[0022]
Therefore, the analog data image picked up by the
[0023]
FIG. 2 is a block configuration diagram illustrating the configuration of the
In the figure, the
[0024]
In such a configuration, the field image passes through the half mirror box 21 and is reflected by the
As described above, the
[0025]
FIG. 3 is a schematic diagram schematically illustrating an imaging field of the
In the figure, the
[0026]
FIG. 4 is a schematic diagram schematically showing the characteristics of the vertical polarization component and the horizontal polarization component when the road surface is in a dry state.
In the figure, when the road surface R is in a dry state, the light incident on the
[0027]
FIG. 5 is a schematic diagram schematically showing the characteristics of the vertical polarization component and the horizontal polarization component when the road surface is substantially wet.
In the figure, when the road surface R is in a substantially wet state, water is accumulated on the uneven surface (rough surface) of the road surface R to become a mirror surface, so that the light incident on the
[0028]
In this substantially wet state, the polarization characteristics indicated by the intensity of the vertical polarization component and the intensity of the horizontal polarization component are represented by Rs as the reflectance of the vertical polarization component on the road surface R and Rp as the reflectance of the horizontal polarization component on the road surface R. When the light intensity is intensity I, the intensity of the reflected light with respect to the intensity I is expressed by the following equation (1). Here, Is indicates the intensity of the vertical polarization component, and Ip indicates the intensity of the horizontal polarization component.
Is = Rs * I
Ip = Rp * I (1)
That is, the intensity of the reflected light depends on the incident angle of the incident light. Here, the relationship between the incident angle of incident light and the intensity of the vertical polarization component, the intensity of the horizontal polarization component, and the polarization ratio intensity, which is the ratio of the mutual intensities, is shown in the relationship diagram of FIG. In the figure, the horizontal polarization component of the reflected light on the mirror surface has an intensity of 0 when the incident angle is equal to the Brewster angle of 53.1 °, and the intensity of the reflected light of the vertical polarization component increases with an increase in the incident angle. It shows a gradually increasing characteristic. On the other hand, when the road surface is dry, since the surface is rough as described above, irregular reflection is dominant, the reflected light does not exhibit polarization characteristics, and the reflectance of the vertical polarization component and the horizontal polarization component are substantially equal. Therefore, the road surface state can be determined based on the polarization characteristics from the luminance information of the vertical polarization image and the horizontal polarization image captured through the vertical polarization filter 23 and the horizontal polarization filter 24.
[0029]
FIG. 7 is a diagram showing the temporal transition of the polarization ratio intensity, which is the ratio of the intensity of the vertical polarization component and the intensity of the horizontal polarization component, calculated from the vertical polarization image and the horizontal polarization image captured with the configuration described above.
In the figure, a change in time is defined on the horizontal axis, and a change in polarization ratio intensity is defined on the vertical axis. In the present embodiment, it is detected whether the road surface is in a wet (strong) state, a wet (weak) state, or a dry state based on the polarization specific intensity. In the present embodiment, the road surface state is detected as a wet (strong) state when the polarization specific intensity is approximately 120 or higher, and the road surface state is wet (weak) state when the polarization specific intensity is approximately 40 or higher and smaller than 120. When the polarization specific intensity is less than 40, the road surface state is detected as a dry state.
[0030]
Here, the time-dependent change in the polarization ratio intensity includes impulse noise as indicated by (1) and (2), or high-frequency component noise is superimposed on the entire signal. This impulsive noise occurs because the
[0031]
Therefore, in this embodiment, by removing the impulse noise and the high-frequency component noise, it is possible to obtain a highly accurate polarization ratio intensity and to detect a highly accurate road surface state. Here, in realizing this function, the present embodiment is characterized by removing impulse noise and high frequency component noise according to the traveling speed and traveling state of the vehicle. That is, instead of simply removing impulse noise and high-frequency component noise, by changing the noise removal mode according to the vehicle situation that can be changed as appropriate, the road surface condition appropriate for the vehicle situation can be changed. Enable detection. In order to realize such a function, the road surface
[0032]
(2) Processing contents of road surface state determination processing:
FIG. 8 is a flowchart showing the processing contents of the road surface state determination processing executed under the control of the
In the figure, first, a vertical polarization image and a horizontal polarization image of the road surface R are picked up by the
[0033]
When it is determined that the absolute value of the difference is larger than the threshold value T1, the previous polarization ratio intensity is replaced with the current polarization ratio intensity. As a result, it is possible to remove noise-like polarization ratio intensities that change with a degree of change greater than the threshold T1 in an impulse manner from the previous polarization ratio intensity (step S125). Of course, since the previous polarization ratio intensity is an initial value (for example, 0) at the start of measurement, it goes without saying that such processing is not executed. Further, the data obtained as the current polarization ratio intensity by this processing is stored in the
IF f (t) -f (t-1)> T1
f (t) = f (t-1)
else ・ ・ ・ Formula (2)
f (t) = f (t)
f (t) indicates the polarization ratio intensity calculated this time, and f (t−1) indicates the polarization ratio intensity calculated last time.
[0034]
Here, FIG. 9 shows the time transition of the polarization ratio intensity when only the process of removing the impulse noise is performed. Comparing this figure with FIG. 7 shown earlier, it can be seen that the impulse noise indicated by (1) and (2) in FIG. 7 can be removed. As a result, it is possible to eliminate an image that has been captured due to the above-described cause, and it is possible to improve the accuracy of the calculated polarization ratio intensity. In this embodiment, the moving average of the calculated polarization ratio intensities is calculated in order to reduce high-frequency component noise after removing impulse noise in this way. Here, the moving average is an average of the polarization ratio intensity calculated this time and the polarization ratio intensity calculated last time for a predetermined number of times, and is calculated by the following equation (3).
f (t + 1) = 1 / N * ΣA (t−j + 1) (3)
However, N is the predetermined number of times described above and is called a moving average parameter in the present embodiment. f (t) is a polarization specific intensity in which high frequency component noise is reduced, and is referred to as a moving average intensity in this embodiment. j (t) represents the polarization specific intensity calculated by actual measurement. The calculation of Σ is performed from j = 1 to N.
[0035]
When calculating the moving average, first, the traveling speed of the vehicle is acquired based on a predetermined method (step S130). This travel speed acquisition method is not particularly mentioned as long as it uses existing technology. Then, a predetermined correspondence table is read from the
[0036]
Here, FIG. 11 shows the temporal transition of the polarization ratio intensity when the high-frequency component noise is reduced by the moving average after the process of removing the impulse noise. Comparing this figure with FIG. 9 shown above, it can be seen that the change of the polarization ratio intensity changes gently as a whole. That is, it can be seen that the high frequency component is removed. This makes it possible to improve the accuracy of the polarization ratio intensity. Then, the process proceeds to processing for detecting a road surface state based on the calculated moving average intensity. First, it is determined whether or not the moving average intensity calculated first is greater than or equal to the threshold value T2 (step S145). If it is determined that the moving average intensity is equal to or greater than the threshold value T2, it is detected that the road surface condition is a wet (strong) condition ( Step S150).
[0037]
When it is determined that the moving average intensity is equal to or greater than the threshold T3 and smaller than the threshold T2 (step S155), it is detected that the road surface state is a wet (weak) state (step S160). On the other hand, when it is determined that the moving average intensity is smaller than the threshold value T3, it is detected that the road surface state is a dry state (step S165). When the road surface state is detected as described above, the detected road surface state is displayed on the in-vehicle television through the control of the
[0038]
Here, the moving average parameter N when calculating the moving average intensity directly influences the degree of smoothing of the high frequency component. If the value of the moving average parameter N is increased, the road surface condition detection stability is increased. However, the response (responsiveness) is impaired. Since both are in a trade-off relationship, if the moving average parameter N is simply set to a fixed value, the performance of detecting the road surface condition is impaired. Therefore, in the present embodiment, as described above, the moving average parameter N is treated as a function of the traveling speed V (a function that reduces the moving average parameter N substantially corresponding to the increase in the traveling speed V), and the road surface state detection is stable. Control and response. That is, since a quick determination is required during high-speed traveling, the moving average parameter N is set to a small value with an emphasis on responsiveness, and the moving average parameter N is set to a large value to emphasize the detection stability during low-speed traveling. .
[0039]
In the above-described embodiment, an aspect in which road surface state detection processing is executed by combining impulse noise reduction and high-frequency component noise reduction is adopted. Of course, processing related to impulse noise reduction is performed alone. The road surface state may be detected based on the polarization ratio intensity of the processing result, or the processing related to the reduction of the noise of the high frequency component may be performed independently and based on the polarization ratio intensity of the processing result. A mode of detecting the road surface condition may be adopted, and the mode can be appropriately selected.
[0040]
(3) Modification 1:
Here, in the above-described embodiment, a mode in which the moving average parameter N is determined based on the correspondence table A1 stored in advance in the
[0041]
An example of a table configuration of a plurality of correspondence tables is shown in FIG. In this figure, the present embodiment adopts a mode in which a rainy weather correspondence table A2 and a normal correspondence table A3 are stored in the
[0042]
FIG. 13 is a flowchart showing the processing contents of the correspondence table setting processing executed by the
In the figure, first, the road surface state detected in the road surface state detection process is acquired (step S205), and it is determined whether or not the acquired road surface state indicates a wet state (step S210). When it is determined that the acquired road surface state is a wet state, the wet state variable X is incremented (step S215). Next, it is determined whether or not the wet state variable X is equal to or greater than a predetermined threshold T4 (step S220). If the wet state variable X is smaller than the threshold T4, the process returns to step S205. On the other hand, if it is determined that it is equal to or greater than the threshold value T4, it is determined that the road surface state continuously indicates a wet state, and it is determined that it is raining. Then, the rainy weather correspondence table A2 stored in the
[0043]
Thus, in step S135 in the road surface state detection process, it is possible to determine the moving average parameter N based on the rainy weather correspondence table A2. On the other hand, if it is determined in step S210 that the state is dry, the dry state variable Y is incremented (step S230). Next, it is determined whether or not the dry state variable Y is equal to or greater than a predetermined threshold T5 (step S235), and if smaller than the threshold T5, the process returns to step S205. On the other hand, if it is determined that the value is equal to or greater than the threshold value T5, it is determined that the road surface state continuously indicates a dry state, and it is determined that the sky is clear. Then, the normal correspondence table A3 stored in the
[0044]
(4) Modification 2:
As described above, impulse noise occurs when the brightness of the outside world changes greatly due to sudden backlight or shadow, because the
In the figure, first, the traveling speed of the vehicle is acquired by a predetermined method (step S305). Next, it is determined whether or not the traveling speed is equal to or higher than a predetermined threshold T6 for determining a predetermined high speed traveling or low speed traveling (step S310), and when it is determined that the traveling speed is equal to or higher than the threshold T6. Then, a threshold value T1 ′ having a value smaller than the normal value is substituted for the threshold value T1, and impulse noise is removed based on the threshold value T1 (= T1 ′) (step S315). On the other hand, when it is determined that the traveling speed is smaller than the threshold value T6, impulse noise is removed based on the normal threshold value T1 (step S320).
[0045]
(5) Summary:
In this way, by removing impulse noise and high-frequency component noise when calculating the polarization ratio intensity, it is possible to improve the calculation accuracy of the polarization ratio intensity and improve the detection accuracy of the road surface condition. Become. Further, when calculating the moving average in removing high-frequency component noise, the moving average parameter N, which is a weight of the moving average, is reduced by making the moving average parameter N a function of the traveling speed V (approximately corresponding to the increase in the traveling speed V). Function, it is possible to detect road surface conditions with an emphasis on responsiveness when it is necessary to make an immediate decision, such as during high-speed driving, and to improve detection stability during low-speed driving. It is possible to detect an important road surface state.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram showing a configuration of a vehicle road surface condition detection apparatus according to the present invention.
FIG. 2 is a block configuration diagram illustrating a configuration of an imaging unit.
FIG. 3 is a schematic diagram schematically showing an imaging field of view of an imaging unit when a vehicle road surface state detection device is mounted on a vehicle.
FIG. 4 is a schematic diagram schematically showing characteristics of a vertical polarization component and a horizontal polarization component when a road surface is in a dry state.
FIG. 5 is a schematic diagram schematically showing the characteristics of a vertical polarization component and a horizontal polarization component when the road surface is substantially wet.
FIG. 6 is a relational diagram showing the relationship between the incident angle of incident light and the intensity of the vertical polarization component, the intensity of the horizontal polarization component, and the polarization ratio intensity, which is the ratio of the mutual intensities.
FIG. 7 is a diagram showing a temporal transition of polarization ratio intensity in a state where each noise is included.
FIG. 8 is a flowchart showing processing details of road surface state determination processing;
FIG. 9 is a diagram showing a temporal transition of polarization ratio intensity in a state where impulse noise is removed.
FIG. 10 is a diagram showing a table configuration of a correspondence table stored in a ROM.
FIG. 11 is a diagram showing a temporal transition of polarization ratio intensity in a state where each noise is removed.
FIG. 12 is a diagram showing a table configuration of a plurality of correspondence tables stored in a ROM.
FIG. 13 is a flowchart showing the contents of a correspondence table setting process.
FIG. 14 is a flowchart showing the contents of threshold setting processing.
[Explanation of symbols]
10 ... Vehicle road surface condition detection device
11 ... CPU
12 ... AD converter
13 ... Frame memory
14 ... ROM
15 ... RAM
16. User interface part
20 ... Imaging unit
21 ... Half mirror box
22 ... Mirror
23. Vertical polarization filter
24 ... Horizontal polarization filter
25 ... CCD
26 ... CCD
27 ... Field memory
28 ... Field memory
Claims (5)
上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出手段と、
上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算手段と、
上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御手段と、
上記演算された移動平均強度が所定の閾値以上である場合に路面状態が略湿潤状態であると判別する路面状態判別手段とを具備し、
上記演算制御手段は、上記路面状態に応じて上記走行速度と上記所定期間との対応関係を予め規定した複数の対応パターンを記憶する対応パターン記憶手段を有し、上記走行速度および上記路面状態に対応する対応パターンに基づいて上記所定期間を決定することを特徴とする車両用路面状態検出装置。An image imaging means that is installed in a vehicle so as to be able to image a front road surface, and that captures a vertical polarization image and a horizontal polarization image of the front road surface;
A polarization ratio intensity calculating means for calculating a polarization ratio intensity of the vertical polarization image and the horizontal polarization image;
A moving average intensity calculating means for calculating a moving average intensity corresponding to an average of a predetermined period in time-series data of the same polarization ratio intensity each time the polarization ratio intensity is calculated;
When calculating the moving average intensity, the vehicle speed is acquired according to the acquired speed based on the correspondence relationship that acquires the travel speed of the vehicle and substantially corresponds to the increase in the travel speed of the vehicle to shorten the predetermined period. Arithmetic control means for changing the predetermined period;
; And a road surface condition judging means which the computed moving average intensity is determined to a road surface state when it is above a predetermined threshold is substantially wet,
The calculation control means includes correspondence pattern storage means for storing a plurality of correspondence patterns in which correspondence relations between the traveling speed and the predetermined period are defined in advance according to the road surface state, and sets the traveling speed and the road surface state. The vehicle road surface condition detecting device, wherein the predetermined period is determined based on a corresponding correspondence pattern .
上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像工程と、
上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出工程と、
上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算工程と、
上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御工程と、
上記演算された移動平均強度が所定の閾値以上である場合に路面状態が略湿潤状態であると判別する路面状態判別工程とを含み、
上記演算制御工程においては、上記路面状態に応じて上記走行速度と上記所定期間との対応関係を予め規定した複数の対応パターンから、上記走行速度および上記路面状態に対応する対応パターンを取得し、当該取得した対応パターンに基づいて上記所定期間を決定する工程を含むことを特徴とする車両用路面状態検出方法。A vehicle road surface state detection method for detecting a road surface state based on a polarization ratio intensity of a vertical polarization image and a horizontal polarization image of a vehicle front road surface,
An image imaging step of causing the imaging means installed in the vehicle to image the front road surface to capture the vertically polarized image and the horizontally polarized image;
A polarization ratio intensity calculating step of calculating a polarization ratio intensity of the vertical polarization image and the horizontal polarization image;
A moving average intensity calculation step for calculating a moving average intensity corresponding to an average of a predetermined period in time series data of the same polarization ratio intensity each time the polarization ratio intensity is calculated;
When calculating the moving average intensity, the vehicle speed is acquired according to the acquired speed based on the correspondence relationship that acquires the travel speed of the vehicle and substantially corresponds to the increase in the travel speed of the vehicle to shorten the predetermined period. A calculation control step for changing the predetermined period;
A road surface state determination step of determining that the road surface state is a substantially wet state when the calculated moving average intensity is equal to or greater than a predetermined threshold value ,
In the calculation control step, a corresponding pattern corresponding to the traveling speed and the road surface state is acquired from a plurality of corresponding patterns in which a correspondence relationship between the traveling speed and the predetermined period is defined in advance according to the road surface state. vehicle road surface condition detecting method characterized by comprising the step of determining the predetermined time period based on the corresponding pattern the acquired.
上記前方路面を撮像可能に車両に設置された撮像手段に上記垂直偏光画像および水平偏光画像を撮像させる画像撮像機能と、
上記垂直偏光画像と水平偏光画像の偏光比強度を算出する偏光比強度算出機能と、
上記偏光比強度が算出される毎に同偏光比強度の時系列データにおける所定期間の平均に対応する移動平均強度を演算する移動平均強度演算機能と、
上記移動平均強度を演算する際に、上記車両の走行速度を取得するとともに同車両の走行速度の上昇に略対応させて上記所定期間を短縮させる対応関係に基づき同取得した走行速度に応じて上記所定期間を変化させる演算制御機能と、
上記演算された移動平均強度が所定の閾値以上である場合に路面状態が略湿潤状態であると判別する路面状態判別機能とを含み、
上記演算制御機能においては、上記路面状態に応じて上記走行速度と上記所定期間との対応関係を予め規定した複数の対応パターンから、上記走行速度および上記路面状態に対応する対応パターンを取得し、当該取得した対応パターンに基づいて上記所定期間を決定する機能を含むことを特徴とする車両用路面状態検出装置の制御プログラム。A control program for a vehicle road surface state detection device that enables a computer to realize a function of detecting a road surface state based on the polarization specific intensity of a vertical polarization image and a horizontal polarization image of a vehicle front road surface,
An image capturing function for causing the imaging means installed in the vehicle to capture the front road surface to capture the vertically polarized image and the horizontally polarized image;
A polarization ratio intensity calculation function for calculating the polarization ratio intensity of the vertical polarization image and the horizontal polarization image;
A moving average intensity calculation function for calculating a moving average intensity corresponding to an average of a predetermined period in time series data of the same polarization ratio intensity each time the polarization ratio intensity is calculated;
When calculating the moving average intensity, the vehicle speed is acquired according to the acquired speed based on the correspondence relationship that acquires the travel speed of the vehicle and substantially corresponds to the increase in the travel speed of the vehicle to shorten the predetermined period. A calculation control function for changing a predetermined period;
A road surface state determination function for determining that the road surface state is a substantially wet state when the calculated moving average intensity is equal to or greater than a predetermined threshold ,
In the calculation control function, a corresponding pattern corresponding to the traveling speed and the road surface state is acquired from a plurality of corresponding patterns in which a correspondence relationship between the traveling speed and the predetermined period is defined in advance according to the road surface state. A control program for a road surface condition detecting device for a vehicle , comprising a function of determining the predetermined period based on the acquired correspondence pattern .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003091927A JP4183542B2 (en) | 2003-03-28 | 2003-03-28 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003091927A JP4183542B2 (en) | 2003-03-28 | 2003-03-28 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004299443A JP2004299443A (en) | 2004-10-28 |
JP4183542B2 true JP4183542B2 (en) | 2008-11-19 |
Family
ID=33405178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003091927A Expired - Fee Related JP4183542B2 (en) | 2003-03-28 | 2003-03-28 | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4183542B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9025027B2 (en) | 2010-09-16 | 2015-05-05 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007064888A (en) * | 2005-09-01 | 2007-03-15 | Tokai Rika Co Ltd | Road surface condition detector |
CN102782720B (en) * | 2009-12-25 | 2015-08-05 | 株式会社理光 | Object recognition equipment, mobile agent control device and information provider unit |
JP5967463B2 (en) * | 2010-09-16 | 2016-08-10 | 株式会社リコー | Object identification device, and moving body control device and information providing device provided with the same |
EP3585045B1 (en) | 2017-02-15 | 2023-11-01 | Sony Group Corporation | Information processing device, information processing method, and program |
DE102018218733A1 (en) * | 2018-10-31 | 2020-04-30 | Robert Bosch Gmbh | Method for supporting a camera-based environment detection of a means of transportation by means of road wetness information from a first ultrasonic sensor |
JP7424272B2 (en) * | 2020-11-04 | 2024-01-30 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
-
2003
- 2003-03-28 JP JP2003091927A patent/JP4183542B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9025027B2 (en) | 2010-09-16 | 2015-05-05 | Ricoh Company, Ltd. | Object identification device, moving object controlling apparatus having object identification device, information presenting apparatus having object identification device, and spectroscopic image capturing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2004299443A (en) | 2004-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6772113B2 (en) | Adhesion detection device and vehicle system equipped with it | |
JP4878644B2 (en) | Moving object noise removal processing apparatus and moving object noise removal processing program | |
US8854455B2 (en) | Method and device for processing recorded image information from a vehicle | |
CN111860120B (en) | Automatic shielding detection method and device for vehicle-mounted camera | |
KR20210006276A (en) | Image processing method for flicker mitigation | |
JP4183542B2 (en) | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program | |
JP4157790B2 (en) | Vehicle road surface state detection device, vehicle road surface state detection method, and vehicle road surface state detection device control program | |
CN110659547A (en) | Object recognition method, device, vehicle and computer-readable storage medium | |
CN105740835A (en) | Preceding vehicle detection method based on vehicle-mounted camera under night-vision environment | |
JP2019168821A (en) | Car outside environment recognition device | |
JP2004312402A (en) | System and apparatus for road monitoring | |
CN104751138B (en) | A kind of vehicle mounted infrared image colorization DAS (Driver Assistant System) | |
KR20050065421A (en) | Imaging system | |
JP2970168B2 (en) | Vehicle detection device | |
JP3655496B2 (en) | VEHICLE DETECTING DEVICE, VEHICLE DETECTING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING VEHICLE DETECTING PROGRAM | |
JP4697063B2 (en) | Approaching vehicle detection device | |
CN110611772B (en) | Image capturing device for vehicle and exposure parameter setting method thereof | |
JP2004304303A (en) | Object recognizer and object recognizing method | |
JPH1066060A (en) | Image pickup device for vehicle | |
JPH06233309A (en) | Improving method for contrast of displayed image | |
JP7114965B2 (en) | Target detection method, device and image processing device | |
JP2876493B2 (en) | Vehicle dynamics measurement method | |
JP2021052234A (en) | Deposit detection device and deposit detection method | |
JP3562327B2 (en) | Automatic wiper device | |
US8487997B2 (en) | Method for displaying an image recorded by a video camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080902 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140912 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |