JP4011505B2 - 路面状態検出装置、路面状態検出方法および路面状態検出プログラム - Google Patents
路面状態検出装置、路面状態検出方法および路面状態検出プログラム Download PDFInfo
- Publication number
- JP4011505B2 JP4011505B2 JP2003072719A JP2003072719A JP4011505B2 JP 4011505 B2 JP4011505 B2 JP 4011505B2 JP 2003072719 A JP2003072719 A JP 2003072719A JP 2003072719 A JP2003072719 A JP 2003072719A JP 4011505 B2 JP4011505 B2 JP 4011505B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- surface state
- composite image
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
Description
【０００１】
【発明の属する技術分野】
本発明は、路面状態検出装置、路面状態検出方法および路面状態検出プログラムに関し、特に、路面の湿潤状態および乾燥状態を検出する路面状態検出装置、路面状態検出方法および路面状態検出プログラムに関する。
【０００２】
【従来の技術】
従来、この種の路面状態検出装置は、撮像手段としてのテレビカメラの前面に水平偏光フィルタと、垂直偏光フィルタとをフィルタ変換部にて交互にセット可能にしている。かかる構成において、路面の画像を撮像するにあたり、フィルタ変換部の制御に基づいて先ず垂直偏光フィルタをテレビカメラの前面にセットし、路面の垂直偏光画像を撮像する。そして、この垂直偏光画像に対してフーリエ変換を施し、周波数空間上の垂直偏光パワースペクトル画像を取得する。次に、フィルタ変換部の制御に基づいて水平偏光フィルタをテレビカメラの前面にセットし、路面の水平偏光画像を撮像する。そして、この水平偏光画像に対してフーリエ変換を施し、周波数空間上の水平偏光パワースペクトル画像を取得する。次に、取得した垂直偏光パワースペクトル画像および水平偏光パワースペクトル画像の二つの画像に対し低周波成分を除去後に逆フーリエ変換を施して二つの実空間画像を求め、その輝度分布データに基づいて、路面が乾燥しているか、湿潤しているか、もしくは凍結しているかを検出している（例えば、特許文献１を参照。）。
【０００３】
【特許文献１】
特許第２７０７４２６号公報
【０００４】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置においては、垂直偏光フィルタおよび水平偏光フィルタをテレビカメラの前面に対して交互にセットする必要があるため、路面状態の検出の処理をリアルタイムに行うことができなかった。また、垂直偏光画像および水平偏光画像の二つの画像に対して画像処理を行わなければならないため、処理負荷が大きくなり、この点においても路面状態の検出をリアルタイムに行うことができなかった。
【０００５】
本発明は、上記課題にかんがみてなされたもので、簡素な処理にて路面状態の検出をリアルタイムに行うことが可能な路面状態検出装置、路面状態検出方法および路面状態検出プログラムの提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出装置であって、上記合成画像を作成する画像作成手段と、上記作成された合成画像を取得する画像取得手段と、上記画像取得手段にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別手段とを具備する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出装置を提供する。このとき、先ず画像作成手段にて垂直偏光画像および水平偏光画像に基づいて合成画像を作成する。そして、画像取得手段にてこの作成された合成画像を取得し、路面判別手段にて取得された合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面の状態を判別する。ここで、路面の状態に応じて垂直偏光成分の強度と水平偏光成分の強度とは異なる偏光特性を有する。すなわち、路面が乾燥状態の場合には、粗面にて光が乱反射するため垂直偏光画像に含まれる垂直偏光成分の強度と、水平偏光画像に含まれる水平偏光成分の強度は略同等になって撮像される。
【０００８】
一方、路面が略湿潤状態の場合には、鏡面反射となるために偏光特性によって垂直偏光成分の強度が水平偏光成分の強度より相対的に大きくなる。すなわち、隣接するラスタにおいて垂直偏光成分と水平偏光成分の強度変化が相対的に小さいときはラスタ位置の路面が乾燥状態であり、強度変化が大きいときはラスタ位置の路面が略湿潤状態であると判別することが可能になる。そこで、本発明はかかる偏光特性を利用して、合成画像の隣り合うラスタ、すなわち垂直偏光成分を有するラスタと、水平偏光成分を有するラスタとの強度変化に基づいて路面状態を検出可能としている。このように、本発明は合成画像の隣接ラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、路面状態の検出に際して１フレームに形成された合成画像を利用するため、処理負荷を低減し、処理の高速化を図ることを可能にしている。
【０００９】
隣接するラスタについての垂直偏光成分および水平偏光成分の強度変化は周波数空間にて把握することが可能である。すなわち、強度変化が大きいときは周波数が高くなり、強度変化が小さいときは周波数が低くなる。従って、周波数成分に基づいて合成画像の路面状態を検出することが可能になる。そこで、請求項２にかかる発明は、上記請求項１に記載の路面状態検出装置において、上記路面判別手段は、上記取得された合成画像を周波数空間に変換する周波数空間変換手段を有し、同変換された周波数空間における周波数成分の分布に基づいて識別可能な上記強度変化により上記路面の状態を判別する構成としてある。
上記のように構成した請求項２にかかる発明においては、路面判別手段に周波数変換手段を備えさせ、この周波数変換手段にて、画像取得手段で取得された合成画像を周波数空間に変換する。この周波数空間における周波数成分の分布に基づいて隣接するラスタの垂直偏光成分および水平偏光成分の強度変化を把握することができるため、路面判別手段では、この変換された周波数空間における周波数成分の分布に基づいて路面の状態を判別する。
【００１０】
周波数空間にて検出できる具体的な路面状態の一例として、請求項３にかかる発明は、上記請求項２に記載の路面状態検出装置において、上記路面判別手段は、上記変換した周波数空間の周波数成分の分布にて所定のしきい値以上の高周波成分が含まれるか否かを判別し、同高周波成分が含まれる場合に上記路面の状態が略湿潤状態であると判別する構成としてある。
上記のように構成した請求項３にかかる発明において、路面判別手段では周波数変換手段にて変換された周波数空間の周波数成分の分布に所定のしきい値以上の高周波成分が含まれるか否かを判別する。そして、同路面判別手段は、この判別の結果、周波数空間に高周波成分が含まれると判別された場合に、路面の状態が略湿潤状態であると判別する。
【００１１】
周波数空間に高周波成分が含まれているか否かを判別する手法の一例として、請求項４にかかる発明は、上記請求項３に記載の路面状態検出装置において、上記路面判別手段は、上記所定のしきい値以上の高周波成分が含まれるか否かを判別するに際して、上記変換した周波数空間からナイキスト周波数成分を抽出し、同抽出したナイキスト周波数成分に基づいて上記高周波成分が含まれるか否かを判別する構成としてある。
上記のように構成した請求項４にかかる発明においては、路面判別手段にて周波数空間に所定のしきい値以上の高周波成分が含まれるか否かを判別するに際し、変換した周波数空間からナイキスト周波数成分を抽出する。そして、この抽出したナイキスト周波数成分に基づいて周波数空間に高周波成分が含まれるか否かを判別する。
【００１２】
路面が略湿潤状態の場合に、かかる状態をユーザ（例えば、運転者）に通知することができると、運転者は注意を喚起することができて好適である。そこで、請求項５にかかる発明は、上記請求項３または請求項４のいずれかに記載の路面状態検出装置において、上記路面判別手段は、上記判別された路面の状態を取得するとともに、同取得した路面状態が略湿潤状態である場合にその旨を外部に通知する路面状態通知手段を有する構成としてある。
上記のように構成した請求項５にかかる発明においては、路面判別手段に路面状態通知手段を備えさせる。この路面状態通知手段では路面判別手段にて判別された路面の状態を取得し、この取得した路面状態が略湿潤状態である場合に、その旨を外部に通知する。この通知は運転者が認知することが可能なものであれば良く、その態様は種々勘案できる。例えば、発光手段にて通知して視覚的に認知可能にしても良いし、音にて通知して聴覚的に認知可能にしても良い。むろん、文字情報や図柄情報にて通知しても良い。
【００１３】
路面の略湿潤状態の度合いは強度変化の度合いに基づいて判別することができる。すなわち、略湿潤状態と判別された場合において、強度変化が相対的に大きい場合は湿潤度合いが大きく、強度変化が相対的に小さい場合は湿潤度合いが小さいと勘案できる。そこで、上述した通知の際に、湿潤度合いを通知できると、運転者は適切に路面の状態を把握することができて好適である。そこで、請求項６にかかる発明は、上記請求項５に記載の路面状態検出装置において、上記路面状態通知手段は、上記高周波成分の強度に基づいて上記路面の略湿潤状態の湿潤度合いを判別し、同判別した湿潤度合いに基づいて上記通知の態様を変化させる構成としてある。
上記のように構成した請求項６にかかる発明においては、路面状態通知手段にて高周波成分の強度に基づいて路面の略湿潤状態の湿潤度合いを判別する。そして、この判別した湿潤度合いに基づいて通知の態様を変化させる。例えば、発光手段による通知の場合、湿潤度合いが大きいときには赤色にて通知し、湿潤状態が小さいときには黄色で通知したりする。また、音による通知の場合、湿潤度合いが大きいときには相対的に大きな音量で通知し、湿潤度合いが小さいときには相対的に小さい音量で通知する。これにより運転者は発光状態もしくは音量状態にて湿潤度合いを把握することが可能になる。
【００１４】
上述した手法を利用することにより、路面の状態を検出することが可能となる。ここで、ナイキスト周波数成分を逆フーリエ変換して実空間画像に戻すと、実空間画像において何れの部位が略湿潤状態であるかを視認することが可能になる。そこで、請求項７にかかる発明は、上記請求項４〜請求項６のいずれかに記載の路面状態検出装置において、上記路面判別手段は、上記抽出したナイキスト周波数成分を逆フーリエ変換して実空間画像データを取得するとともに、同取得した実画像データに基づいた画像を所定の表示手段にて視認可能に表示する実空間画像表示手段を有する構成としてある。
上記のように構成した請求項７にかかる発明においては、路面判別手段に実空間画像表示手段を備えさせる。そして、この実空間画像表示手段では、路面判別手段が抽出したナイキスト周波数成分を逆フーリエ変換して実空間画像データを取得する。そして、取得した実画像データに基づいた画像を所定の表示手段にて視認可能に表示する。これにより運転者はこの表示に基づいて路面の水分量および水分分布を視認することが可能となる。
【００１５】
ここで、上述してきた合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出する路面状態検出装置は、路面状態検出の手順を提示した方法としても成立することは言うまでもない。そこで、請求項８にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出方法であって、上記合成画像を作成する画像作成工程と、上記画像作成工程にて作成された合成画像を取得する画像取得工程と、上記画像取得工程にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別工程とを具備する構成とする。必ずしも実体のある路面状態検出装置に限らず、路面状態検出方法としても有効であることに相違はない。
【００１６】
また、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出する装置および方法は、上述した路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。その一例として請求項９にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する機能をコンピュータにて実現可能にする路面状態検出プログラムであって、上記合成画像を作成する画像作成機能と、上記画像作成機能にて作成された合成画像を取得する画像取得機能と、上記画像取得機能にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別機能とを具備する構成としてある。すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【００１７】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【００１８】
【発明の効果】
以上説明したように本発明は、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため各フレーム画像を個々に処理する場合に比べて１／４の時間で処理を実行することが可能となり、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出装置を提供することができる。
また、請求項２にかかる発明によれば、周波数空間にて隣接するラスタの垂直偏光成分および水平偏光成分の強度変化を把握することが可能になる。
さらに、請求項３にかかる発明によれば、周波数空間にて路面の略湿潤状態を判別することが可能になる。
さらに、請求項４にかかる発明によれば、ナイキスト周波数成分に基づいて路面が略湿潤状態であることを判別することが可能になる。
さらに、請求項５にかかる発明によれば、路面が略湿潤状態であることを運転者に認識させることが可能となる。
【００１９】
さらに、請求項６にかかる発明によれば、略湿潤状態の度合いを運転者に認識させることが可能になる。
さらに、請求項７にかかる発明によれば、実空間画像にて路面の状態を視認することが可能になる。
さらに、請求項８にかかる発明によれば、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出方法を提供することができる。
さらに、請求項９にかかる発明によれば、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出プログラムを提供することができる。
【００２０】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）路面状態検出装置の構成：
（２）撮像部の構成：
（３）画像の構成：
（４）垂直および水平偏光成分について：
（５）路面状態検出処理の処理内容：
（６）路面状態通知処理の処理内容：
（７）変形例：
（８）まとめ：
【００２１】
（１）路面状態検出装置の構成：
図１は、本発明にかかる路面状態検出装置の構成を示したブロック構成図である。
同図において、路面状態検出装置１０は、内部にＣＰＵ１１を有し、同ＣＰＵ１１はバスラインを介して接続されたフレームメモリ１３と、フーリエ変換器１４と、ナイキスト周波数抽出部１５と、表示制御部１６と、メモリ１７とを制御可能になっている。ここで、フレームメモリ１３にはアナログデータをデジタルデータに変換する機能を有するＡＤ変換器１２を介して撮像部２０が接続されており、同撮像部２０にて撮像されたアナログデータの画像は、ＡＤ変換器１２にてデジタルデータに変換されるとともに、フレームメモリ１３によって取り込まれる。本実施形態では撮像部２０にて路面を撮像する。そして、ＡＤ変換器１２にてデジタルデータに変換された路面の画像は、本発明の画像取得手段に相当するフレームメモリ１３に一旦格納されるようになっている。また、表示制御部１６には表示板３０が接続されている。
【００２２】
本実施形態における表示板３０は屋外用表示装置であり、道路脇に立てられた支柱に取り付けられ運転者に道路情報を提供する装置である。当該表示板３０の表示面には画素として複数のＬＥＤが配置されており、表示制御部１９の制御に基づいてこれらのＬＥＤの何れかが点灯され、表示面上に文字や図柄を表示する。この表示によって交通情報、路面情報等が表示されるようになっている。本実施形態においては後述するとおり、撮像部２０にて路面の垂直偏光画像と水平偏光画像を撮像するとともに、同垂直偏光画像および水平偏光画像を合成して合成画像を作成し、同合成画像をフレームメモリ１３に格納する。そして、フーリエ変換器１４およびナイキスト周波数抽出部１５では、このフレームメモリ１３に格納された合成画像から路面状態を検出するために所定の画像処理を実行する構成となっている。
【００２３】
（２）撮像部の構成：
図２は、上述した撮像部２０の構成を示したブロック構成図である。
同図において、撮像部２０は上述した支柱などに取り付けられ表示板３０の後方の路面を俯瞰撮影する。このとき、路面から撮像部２０に入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部２０には、１：１の透過性を備えるハーフミラーボックス２１と、ミラー２２と、垂直偏光フィルタ２３と、水平偏光フィルタ２４と、垂直偏光フィルタ２３を介して視野像を撮像するＣＣＤ２５と、水平偏光フィルタ２４を介して視野像を撮像するＣＣＤ２６と、フィールドメモリ２７と、フィールドメモリ２８と、合成画像作成部２９とを有する構成となっている。
【００２４】
かかる構成において、視野像は、ハーフミラーボックス２１を通過してミラー２２で反射し、垂直偏光フィルタ２３を介してＣＣＤ２５に結像して垂直偏光画像Ｐ１を形成し、ハーフミラーボックス２１を透過し、水平偏光フィルタ２４を介してＣＣＤ２６に結像して水平偏光画像Ｐ２を形成する。そして、このように形成された垂直偏光画像Ｐ１はフィールドメモリ２７に格納される。また、水平偏光画像Ｐ２はフィールドメモリ２８に格納される。ここで、合成画像作成部２９は、このフィールドメモリ２７，２８に格納された垂直偏光画像Ｐ１および水平偏光画像Ｐ２を読み出すとともに、同垂直偏光画像Ｐ１および水平偏光画像Ｐ２を形成する各ラスタを合成画像を形成するのに必要な走査線の位置から１ラスタ毎に合成して１フレームを形成した合成画像を映像信号として出力し、路面状態検出装置１０のＡＤ変換器１２でデジタル信号に変換した後、フレームメモリ１３に格納させる。
【００２５】
（３）画像の構成：
ここで、図３に垂直偏光画像Ｐ１の画像の説明図および図４に水平偏光画像Ｐ２の画像の説明図を示す。図においては、説明を容易とするため垂直偏光画像Ｐ１および水平偏光画像Ｐ２は、６０Ｈｚの周期にて奇数と偶数の各フィールド画像としてフィールドメモリ２７および２８に取り込まれることを表現しており、各図においては奇数フィールド画像が記憶された状態を示している。かかる構成の垂直偏光画像Ｐ１および水平偏光画像Ｐ２に基づいて作成する合成画像の説明図を図５に示す。同図においては、垂直偏光画像Ｐ１の画像データを有する奇数ラスタを番号順に同合成画像Ｐ３の奇数ラスタに配置するとともに、水平偏光画像Ｐ２の画像データを有する奇数ラスタを番号順に同合成画像Ｐ３の偶数ラスタに配置することによって奇数フィールドどうしの偏光画像による１フレームの合成画像Ｐ３が形成されることを説明している。
【００２６】
上述したように各フィールド画像からなる垂直偏光画像Ｐ１および水平偏光画像Ｐ２は６０Ｈｚというスピードで高速に形成される。従って、この６０Ｈｚにて形成される垂直偏光画像Ｐ１および水平偏光画像Ｐ２から合成される合成画像Ｐ３も６０Ｈｚというスピードで形成することが可能になる。そして、本実施形態においては、１フレームに形成された合成画像Ｐ３における隣接する垂直偏光画像Ｐ１のラスタと、水平偏光画像Ｐ２のラスタとにおける偏光成分の強度変化に基づいて、同合成画像Ｐ３から路面状態（乾燥状態もしくは略湿潤状態）を検出する。このように本実施形態では６０Ｈｚの高速で形成される合成画像Ｐ３に基づいて路面状態の検出を行うことを可能にしているため、リアルタイムに路面状態を検出することが可能となる。次に、偏光成分の強度変化に基づいて路面状態を検出する手法について簡単に説明する。
【００２７】
（４）垂直水平偏光成分について：
図６は、路面が乾燥状態の場合における垂直偏光成分および水平偏光成分の態様を模式的に示した模式図である。
同図において、路面Ｒが乾燥状態の場合は、撮像部２０に入射される光は路面Ｒの凹凸面（粗面）に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１１の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２１の強度とを比較すると、ほぼ同等の強度となる。従って、合成画像Ｐ３において、隣接するラスタの垂直偏光成分Ｓ１１と、水平偏光成分Ｓ２１との強度の変化が相対的に緩やかな場合はその路面は乾燥状態であることが分かる。
【００２８】
図７は、路面が略湿潤状態の場合における垂直偏光成分および水平偏光成分の態様を模式的に示した模式図である。
同図において、路面Ｒが略湿潤状態の場合は、路面Ｒの凹凸面（粗面）に水が溜まることによって鏡面となるため、撮像部２０に入射される光はこの鏡面にて反射したものとなる。このように鏡面においては、反射光が偏光特性を示すことになる。このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１２の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２２の強度とを比較すると、垂直偏光成分Ｓ１２の強度の方が相対的に強くなる。従って、合成画像Ｐ３において、隣接するラスタの垂直偏光成分Ｓ１２と、水平偏光成分Ｓ２２との強度の変化が相対的に強い場合はその路面は略湿潤状態であることが分かる。本実施形態においては以上の特性に基づいて路面状態を検出する。このとき路面状態検出装置１０では後述する路面状態検出処理を実行する。なお、本実施形態では隣接するラスタ間の偏光成分の強度変化を検出するためにフーリエ変換器１４にてフーリエ変換の処理、および、ナイキスト周波数抽出部１５にてナイキスト周波数抽出の処理を実行する。
【００２９】
（５）路面状態検出処理の処理内容：
図８は、路面状態検出装置１０にて実行される路面状態検出処理の処理内容を示したフローチャートである。また、図９は、本実施形態において路面状態を検出する際に撮像部にて撮像された垂直偏光画像、水平偏光画像および同垂直偏光画像および水平偏光画像から作成された合成画像の画像構成を示した画像構成図である。このとき、垂直偏光画像Ｐ１が垂直偏光画像Ｐ１１に対応し、水平偏光画像Ｐ２が水平偏光画像Ｐ２１に対応し、合成画像Ｐ３が合成画像Ｐ３１に対応する。図においては、先ず最初に、撮像部２０の合成画像作成部２９で作成されたＡＤ変換器１２でデジタル信号に変換されたフレーム画像をフレームメモリ１３に取得する（ステップＳ１１０）。そして取得したフレーム画像に対してフーリエ変換を施すことによって周波数空間に変換し、２次元空間周波数画像を作成する（ステップＳ１１５）。このフーリエ変換は次式（１）に基づいて実行される。
Ｉ（ω）＝Ｆ｛ｉ（ｔ）｝ ・・・式（１）
ただし、ｉ（ｔ）は時刻ｉにサンプリングした合成画像Ｐ３１を示している。また、関数Ｆは２次元フーリエ変換関数を示している。Ｉ（ω）はｉ（ｔ）の２次元空間周波数画像を示している。本実施形態においては周波数空間への変換にフーリエ変換を利用したが、むろん、コンボリューション等の演算手法を利用しても良い。
【００３０】
ここで、この２次元空間周波数画像を図１０に示す。同図において、２次元空間周波数画像Ｐ１０は、中央部分が０周波数成分であり、この中央部分から外側に向けて周波数成分が高くなることを示している。本実施形態の合成画像Ｐ３１の場合、画像の略中央部分に低周波成分領域が現れ、そして、画像の上下端略中央部分に高周波成分領域が現れる態様となっている。次に、ナイキスト周波数抽出部１５が起動される。このナイキスト周波数抽出部１５は、フーリエ変換器１４にて作成された２次元空間周波数画像Ｐ１０から偏光情報の変化を表す高周波成分を抽出して、ナイキスト周波数抽出画像を作成する（ステップＳ１２０）。このナイキスト周波数成分の抽出は次式（２）に基づいて実行される。
Ｈ（ω）＝Ｉ（ω）・Ｇ（ω） ・・・式（２）
ただし、Ｇ（ω）は高周波成分を抽出する所定の周波数フィルタ関数を示し、Ｈ（ω）はフィルタ処理の結果、すなわち、ナイキスト周波数抽出画像を示している。
【００３１】
ここで、このナイキスト周波数抽出画像を図１１に示す。同図において、ナイキスト周波数抽出画像Ｐ２０は、上述した２次元空間周波数画像Ｐ１０と同様に中央部分が０周波数成分であり、この中央部分から外側に向けて周波数成分が高くなることを示している。本実施形態の場合、画像の上下端略中央部分に高周波成分領域、すなわちナイキスト周波数が現れていることが分かる。そして、抽出したナイキスト周波数成分の強度を判別するとともに（ステップＳ１２５）、同強度が所定のしきい値以上であるか否かを判別する（ステップＳ１３０）。同強度が所定のしきい値以上であると判別された場合は、路面が略湿潤状態であると検知する（ステップＳ１３５）。略湿潤状態であることが検知された場合、表示制御部１６が起動され、路面状態通知手段の一形態であるところの表示板３０に略湿潤状態である旨を伝える所定の表示を行い、運転者に対して通知する。当該表示板３０による通知の一例を図１２に示す。同図において、表示板３０には「注意！！路面が濡れています」という文字情報を二段書きにて表示している。従って、運転者はこの表示を視認して、走行中の路面が略湿潤状態であると判断することが可能となり、適宜路面状態に応じた適切な運転を行うことが可能となる。一方、ステップＳ１３０にて強度が所定のしきい値より小さいと判別された場合は路面が乾燥状態であると判別することになる（ステップＳ１４０）。
【００３２】
上述した実施形態によって運転者は、表示板３０の表示に基づいて走行中の路面が略湿潤状態であるか乾燥状態であるかを判断することができる。一方、略湿潤状態であっても、略湿潤度合いが大きい（水分量が多い）場合があったり、略湿潤度合いが小さい（水分量が少ない）場合があったりする。ここで、この略湿潤度合いが判別できるとともに、同湿潤度合いに応じた態様によって運転者に通知を行うことができると、より好ましい。ここで、この略湿潤度合いは、垂直偏向成分および水平偏光成分の強度変化の度合いに略比例するものであり、この強度変化の度合いは抽出したナイキスト周波数の強度に対応する。従って、ナイキスト周波数の強度が相対的に大きい場合は略湿潤度合いが大きく、小さい場合は略湿潤度合いが小さくなる。次に、この略湿潤度合いに基づいて通知の態様を変化させる際に実行される路面状態通知処理について説明する。
【００３３】
（６）路面状態通知処理の処理内容：
図１３は、路面状態検出装置１０にて実行される路面状態通知処理の処理内容を示したフローチャートである。
同図において、先ず最初に路面が略湿潤状態であるか否かを判別する。この判別は上述したステップＳ１３０における判断結果に基づいて行う（ステップＳ２００）。次に、抽出されたナイキスト周波数成分の強度を判別する（ステップＳ２０５）。この判別にてナイキスト周波数成分の強度が、略湿潤度合いが大きいと判別される値以上であるか否かを判断する（ステップＳ２１０）。そして、この強度が略湿潤度合いが大きいと判別される値以上であると判断された場合は、図１２に示した文字情報の表示を赤色表示することにより運転者により一層の注意を喚起させる（ステップＳ２１５）。
【００３４】
一方、ステップＳ２１０における判別にて、強度が略湿潤度合いが大きいと判別される値より小さいと判断された場合は、図１２に示した文字情報の表示を黄色表示することにより運転者に警告する（ステップＳ２２０）。このように、略湿潤度合いによって表示板３０に表示される文字情報の表示色を変えると、運転者に路面状態を適切に通知することができて好適である。また、この実施形態においては、図１２に示した文字情報と、この文字情報の表示色とにより路面状態を通知する態様を採用したが、むろん、路面の略湿潤状態をランプ等の発光手段（注意灯）にて通知し、その際に略湿潤度合いに応じて同ランプ等の表示色を変化させるようにしても良いし、ブザー等の音声にて路面の略湿潤状態を通知し、その際に略湿潤度合いに応じて同ブザー等の音量を変化させるようにしても良く、適宜採用可能である。
【００３５】
（７）変形例：
上述した実施形態においては、表示板３０に路面が略湿潤状態であることを文字情報として表示する態様を採用した。これは、路面状態を表示板３０にて運転者に示し、運転者が走行中の路面が略湿潤状態であるか否かを認知することができれば良いとの観点に基づいている。一方、本実施形態における路面状態検出装置１０は自動車に搭載することも可能である。ここで、自動車に路面状態検出装置１０を搭載した場合、自動車の走行速度に応じてリアルタイムに路面状態を検出することができると好ましい。この点、本実施形態における路面状態検出装置１０は、上述したように高速で合成画像Ｐ３１を作成して処理を行うことが可能となることから、走行中の自動車においても、リアルタイムに走行路面の路面状態を検出することができることになり大変有効な効果を奏する。また、自動車に当該路面状態検出装置１０を搭載した場合、運転者の運転視野に応じて路面状態を視認することを可能にすると好ましい。すなわち、垂直偏光画像Ｐ１１および水平偏光画像Ｐ２１や合成画像Ｐ３１に示した視野にて路面の略湿潤状態を把握できると、運転者は走行前方においてどれくらいの水分量で略湿潤状態が分布しているかを把握できることになり好ましい。
【００３６】
これによって路面状態に応じた運転操作を行うことが可能となる。そこで、このように上述した垂直偏光画像画像Ｐ１１、水平偏光画像Ｐ２１および合成画像Ｐ３１に示される視野にて路面状態を視覚的に把握可能にする構成を提供する。かかる場合、ナイキスト周波数成分を抽出したナイキスト周波数抽出画像Ｐ２０を逆フーリエ変換すれば良い。これによりナイキスト周波数成分に位置情報が加わり、実空間画像Ｐ３０において略湿潤状態およびその度合いを判別することが可能になる。かかる機能を実現する際には次に示した路面状態表示処理を路面状態検出装置１０にて実行する。
【００３７】
図１４は、この路面状態表示処理の処理内容を示したフローチャートである。また、図１５は、表示態様の一例を示した図である。
同図において、先ず最初にフーリエ変換器１４が起動され、同フーリエ変換器１４は上述した路面状態検出処理のステップＳ１２０にて作成されたナイキスト周波数成分を取得する。すなわちこのナイキスト周波数成分を示すナイキスト周波数抽出画像Ｐ２０を取得するとともに（ステップＳ３００）、同ナイキスト周波数抽出画像Ｐ２０を逆フーリエ変換して（ステップＳ３０５）、実空間画像データを生成し、メモリ１７に格納する（ステップＳ３１０）。これにより偏光特性のみを抽出することが可能となり上実空間画像にてこの偏光特性のみを表示することが可能になる。この逆フーリエ変換は次式（３）に基づいて実行される。ｈ（ｔ）＝Ｊ｛Ｈ（ω）｝ ・・・式（３）
ただし、関数Ｊは２次元フーリエ変換関数である関数Ｆの逆変換を示している。ｈ（ｔ）は時刻ｉにサンプリングした合成画像Ｐ３１において偏光特性のみを抽出した実空間画像を示している。
【００３８】
そして、表示制御部１９はこの実空間画像データをメモリ１７から読み出して所定の表示手段に実空間画像を表示させる（ステップＳ３１５）。ここで、図１５に実空間画像の画像構成を示す。同図において、実空間画像Ｐ３０は略湿潤状態の部分を塗りつぶして示し、乾燥状態の部分を白地にて示している。この塗りつぶし部分はナイキスト周波数成分の強度が所定のしきい値以上の部分であり、逆フーリエ変換することによって輝度が高くなる部分である。この部分は略湿潤度合いに応じて輝度が高低するため、輝度の高低に応じて略湿潤度合いの大小を判別可能になっている。これにより、運転者は前方視野と同等の実空間画像Ｐ３０にて路面状態を把握することが可能となり、路面状態をより運転操作に反映させることが可能となる。ここで、図１５に示した表示は、例えば、車載テレビに表示させても良いし、ヘッドアップモニタに上述の実施形態の文字情報と一緒に表示させても良い。ヘッドアップモニタに表示させれば、前方を視野にする運転視野を変更することなく、路面状態をリアルタイムに把握できるため好適である。
【００３９】
（８）まとめ：
このように、同時に撮像される垂直偏光画像Ｐ１１および水平偏光画像Ｐ２１の各ラスタを交互に奇数および偶数ラスタに配置して作成した１フレームの合成画像Ｐ３１を対象にして路面状態（乾燥状態もしくは略湿潤状態）を判別する処理を実行するため、リアルタイムに路面状態を検出できるとともに、処理負荷を低減させることが可能となり、処理の高速化を図ることが可能になる。また、合成画像Ｐ３１を周波数空間に変換し、同周波数空間にて垂直偏光成分の強度と水平偏光成分の強度の変化度合いを判別するため高精度で路面状態を検出することが可能になる。
【図面の簡単な説明】
【図１】路面状態検出装置１０の構成を示したブロック構成図である。
【図２】撮像部の構成を示したブロック構成図である。
【図３】垂直偏光画像の説明図である。
【図４】水平偏光画像の説明図である。
【図５】合成画像の説明図である。
【図６】路面状態が乾燥状態の場合の偏光特性を示した模式図である。
【図７】路面状態が略湿潤状態の場合の偏光特性を示した模式図である。
【図８】路面状態検出処理の処理内容を示したフローチャートである。
【図９】路面の垂直水平偏光画像および合成画像の画像構成図である。
【図１０】２次元空間周波数画像の画像構成図である。
【図１１】ナイキスト周波数抽出周波数画像の画像構成図である。
【図１２】表示板に表示された文字情報の一例を示した表示画面図である。
【図１３】路面状態通知処理の処理内容を示したフローチャートである。
【図１４】路面状態表示処理の処理内容を示したフローチャートである。
【図１５】実空間画像の画像構成図である。
【符号の説明】
１０…路面状態検出装置
１１…ＣＰＵ
１２…ＡＤ変換器
１３…フレームメモリ
１４…フーリエ変換器
１５…ナイキスト周波数抽出部
１６…表示制御部
１７…メモリ
２０…撮像部
３０…表示板
２１…ハーフミラーボックス
２２…ミラー
２３…垂直偏光フィルタ
２４…水平偏光フィルタ
２５…ＣＣＤ
２６…ＣＣＤ
Ｐ１…垂直偏光画像
Ｐ２…水平偏光画像
Ｐ３…合成画像
Ｐ１０…２次元空間周波数画像
Ｐ２０…ナイキスト周波数抽出画像
Ｐ３０…実空間画像
【発明の属する技術分野】
本発明は、路面状態検出装置、路面状態検出方法および路面状態検出プログラムに関し、特に、路面の湿潤状態および乾燥状態を検出する路面状態検出装置、路面状態検出方法および路面状態検出プログラムに関する。
【０００２】
【従来の技術】
従来、この種の路面状態検出装置は、撮像手段としてのテレビカメラの前面に水平偏光フィルタと、垂直偏光フィルタとをフィルタ変換部にて交互にセット可能にしている。かかる構成において、路面の画像を撮像するにあたり、フィルタ変換部の制御に基づいて先ず垂直偏光フィルタをテレビカメラの前面にセットし、路面の垂直偏光画像を撮像する。そして、この垂直偏光画像に対してフーリエ変換を施し、周波数空間上の垂直偏光パワースペクトル画像を取得する。次に、フィルタ変換部の制御に基づいて水平偏光フィルタをテレビカメラの前面にセットし、路面の水平偏光画像を撮像する。そして、この水平偏光画像に対してフーリエ変換を施し、周波数空間上の水平偏光パワースペクトル画像を取得する。次に、取得した垂直偏光パワースペクトル画像および水平偏光パワースペクトル画像の二つの画像に対し低周波成分を除去後に逆フーリエ変換を施して二つの実空間画像を求め、その輝度分布データに基づいて、路面が乾燥しているか、湿潤しているか、もしくは凍結しているかを検出している（例えば、特許文献１を参照。）。
【０００３】
【特許文献１】
特許第２７０７４２６号公報
【０００４】
【発明が解決しようとする課題】
上述した従来の路面状態検出装置においては、垂直偏光フィルタおよび水平偏光フィルタをテレビカメラの前面に対して交互にセットする必要があるため、路面状態の検出の処理をリアルタイムに行うことができなかった。また、垂直偏光画像および水平偏光画像の二つの画像に対して画像処理を行わなければならないため、処理負荷が大きくなり、この点においても路面状態の検出をリアルタイムに行うことができなかった。
【０００５】
本発明は、上記課題にかんがみてなされたもので、簡素な処理にて路面状態の検出をリアルタイムに行うことが可能な路面状態検出装置、路面状態検出方法および路面状態検出プログラムの提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出装置であって、上記合成画像を作成する画像作成手段と、上記作成された合成画像を取得する画像取得手段と、上記画像取得手段にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別手段とを具備する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出装置を提供する。このとき、先ず画像作成手段にて垂直偏光画像および水平偏光画像に基づいて合成画像を作成する。そして、画像取得手段にてこの作成された合成画像を取得し、路面判別手段にて取得された合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面の状態を判別する。ここで、路面の状態に応じて垂直偏光成分の強度と水平偏光成分の強度とは異なる偏光特性を有する。すなわち、路面が乾燥状態の場合には、粗面にて光が乱反射するため垂直偏光画像に含まれる垂直偏光成分の強度と、水平偏光画像に含まれる水平偏光成分の強度は略同等になって撮像される。
【０００８】
一方、路面が略湿潤状態の場合には、鏡面反射となるために偏光特性によって垂直偏光成分の強度が水平偏光成分の強度より相対的に大きくなる。すなわち、隣接するラスタにおいて垂直偏光成分と水平偏光成分の強度変化が相対的に小さいときはラスタ位置の路面が乾燥状態であり、強度変化が大きいときはラスタ位置の路面が略湿潤状態であると判別することが可能になる。そこで、本発明はかかる偏光特性を利用して、合成画像の隣り合うラスタ、すなわち垂直偏光成分を有するラスタと、水平偏光成分を有するラスタとの強度変化に基づいて路面状態を検出可能としている。このように、本発明は合成画像の隣接ラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、路面状態の検出に際して１フレームに形成された合成画像を利用するため、処理負荷を低減し、処理の高速化を図ることを可能にしている。
【０００９】
隣接するラスタについての垂直偏光成分および水平偏光成分の強度変化は周波数空間にて把握することが可能である。すなわち、強度変化が大きいときは周波数が高くなり、強度変化が小さいときは周波数が低くなる。従って、周波数成分に基づいて合成画像の路面状態を検出することが可能になる。そこで、請求項２にかかる発明は、上記請求項１に記載の路面状態検出装置において、上記路面判別手段は、上記取得された合成画像を周波数空間に変換する周波数空間変換手段を有し、同変換された周波数空間における周波数成分の分布に基づいて識別可能な上記強度変化により上記路面の状態を判別する構成としてある。
上記のように構成した請求項２にかかる発明においては、路面判別手段に周波数変換手段を備えさせ、この周波数変換手段にて、画像取得手段で取得された合成画像を周波数空間に変換する。この周波数空間における周波数成分の分布に基づいて隣接するラスタの垂直偏光成分および水平偏光成分の強度変化を把握することができるため、路面判別手段では、この変換された周波数空間における周波数成分の分布に基づいて路面の状態を判別する。
【００１０】
周波数空間にて検出できる具体的な路面状態の一例として、請求項３にかかる発明は、上記請求項２に記載の路面状態検出装置において、上記路面判別手段は、上記変換した周波数空間の周波数成分の分布にて所定のしきい値以上の高周波成分が含まれるか否かを判別し、同高周波成分が含まれる場合に上記路面の状態が略湿潤状態であると判別する構成としてある。
上記のように構成した請求項３にかかる発明において、路面判別手段では周波数変換手段にて変換された周波数空間の周波数成分の分布に所定のしきい値以上の高周波成分が含まれるか否かを判別する。そして、同路面判別手段は、この判別の結果、周波数空間に高周波成分が含まれると判別された場合に、路面の状態が略湿潤状態であると判別する。
【００１１】
周波数空間に高周波成分が含まれているか否かを判別する手法の一例として、請求項４にかかる発明は、上記請求項３に記載の路面状態検出装置において、上記路面判別手段は、上記所定のしきい値以上の高周波成分が含まれるか否かを判別するに際して、上記変換した周波数空間からナイキスト周波数成分を抽出し、同抽出したナイキスト周波数成分に基づいて上記高周波成分が含まれるか否かを判別する構成としてある。
上記のように構成した請求項４にかかる発明においては、路面判別手段にて周波数空間に所定のしきい値以上の高周波成分が含まれるか否かを判別するに際し、変換した周波数空間からナイキスト周波数成分を抽出する。そして、この抽出したナイキスト周波数成分に基づいて周波数空間に高周波成分が含まれるか否かを判別する。
【００１２】
路面が略湿潤状態の場合に、かかる状態をユーザ（例えば、運転者）に通知することができると、運転者は注意を喚起することができて好適である。そこで、請求項５にかかる発明は、上記請求項３または請求項４のいずれかに記載の路面状態検出装置において、上記路面判別手段は、上記判別された路面の状態を取得するとともに、同取得した路面状態が略湿潤状態である場合にその旨を外部に通知する路面状態通知手段を有する構成としてある。
上記のように構成した請求項５にかかる発明においては、路面判別手段に路面状態通知手段を備えさせる。この路面状態通知手段では路面判別手段にて判別された路面の状態を取得し、この取得した路面状態が略湿潤状態である場合に、その旨を外部に通知する。この通知は運転者が認知することが可能なものであれば良く、その態様は種々勘案できる。例えば、発光手段にて通知して視覚的に認知可能にしても良いし、音にて通知して聴覚的に認知可能にしても良い。むろん、文字情報や図柄情報にて通知しても良い。
【００１３】
路面の略湿潤状態の度合いは強度変化の度合いに基づいて判別することができる。すなわち、略湿潤状態と判別された場合において、強度変化が相対的に大きい場合は湿潤度合いが大きく、強度変化が相対的に小さい場合は湿潤度合いが小さいと勘案できる。そこで、上述した通知の際に、湿潤度合いを通知できると、運転者は適切に路面の状態を把握することができて好適である。そこで、請求項６にかかる発明は、上記請求項５に記載の路面状態検出装置において、上記路面状態通知手段は、上記高周波成分の強度に基づいて上記路面の略湿潤状態の湿潤度合いを判別し、同判別した湿潤度合いに基づいて上記通知の態様を変化させる構成としてある。
上記のように構成した請求項６にかかる発明においては、路面状態通知手段にて高周波成分の強度に基づいて路面の略湿潤状態の湿潤度合いを判別する。そして、この判別した湿潤度合いに基づいて通知の態様を変化させる。例えば、発光手段による通知の場合、湿潤度合いが大きいときには赤色にて通知し、湿潤状態が小さいときには黄色で通知したりする。また、音による通知の場合、湿潤度合いが大きいときには相対的に大きな音量で通知し、湿潤度合いが小さいときには相対的に小さい音量で通知する。これにより運転者は発光状態もしくは音量状態にて湿潤度合いを把握することが可能になる。
【００１４】
上述した手法を利用することにより、路面の状態を検出することが可能となる。ここで、ナイキスト周波数成分を逆フーリエ変換して実空間画像に戻すと、実空間画像において何れの部位が略湿潤状態であるかを視認することが可能になる。そこで、請求項７にかかる発明は、上記請求項４〜請求項６のいずれかに記載の路面状態検出装置において、上記路面判別手段は、上記抽出したナイキスト周波数成分を逆フーリエ変換して実空間画像データを取得するとともに、同取得した実画像データに基づいた画像を所定の表示手段にて視認可能に表示する実空間画像表示手段を有する構成としてある。
上記のように構成した請求項７にかかる発明においては、路面判別手段に実空間画像表示手段を備えさせる。そして、この実空間画像表示手段では、路面判別手段が抽出したナイキスト周波数成分を逆フーリエ変換して実空間画像データを取得する。そして、取得した実画像データに基づいた画像を所定の表示手段にて視認可能に表示する。これにより運転者はこの表示に基づいて路面の水分量および水分分布を視認することが可能となる。
【００１５】
ここで、上述してきた合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出する路面状態検出装置は、路面状態検出の手順を提示した方法としても成立することは言うまでもない。そこで、請求項８にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出方法であって、上記合成画像を作成する画像作成工程と、上記画像作成工程にて作成された合成画像を取得する画像取得工程と、上記画像取得工程にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別工程とを具備する構成とする。必ずしも実体のある路面状態検出装置に限らず、路面状態検出方法としても有効であることに相違はない。
【００１６】
また、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出する装置および方法は、上述した路面状態検出装置単独で実現される場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものであり、ソフトウェアであったりハードウェアであったりするなど、適宜変更可能である。発明の思想の具現化例として路面状態検出装置を制御するソフトウェアとなる場合には、当該ハードウェアやソフトウェアの記録媒体としても発明は成立する。その一例として請求項９にかかる発明においては、少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する機能をコンピュータにて実現可能にする路面状態検出プログラムであって、上記合成画像を作成する画像作成機能と、上記画像作成機能にて作成された合成画像を取得する画像取得機能と、上記画像取得機能にて取得された上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別機能とを具備する構成としてある。すなわち、発明をコンピュータにて実現可能にするプログラムによって形成しても良い。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であっても良いし、光磁気記録媒体であっても良いし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【００１７】
また、一次複製品、二次複製品などの複製段階については全く問う余地も無く同様である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記録しておいて必要に応じて適宜読み込まれているような形態のものとしてあっても良い。
【００１８】
【発明の効果】
以上説明したように本発明は、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため各フレーム画像を個々に処理する場合に比べて１／４の時間で処理を実行することが可能となり、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出装置を提供することができる。
また、請求項２にかかる発明によれば、周波数空間にて隣接するラスタの垂直偏光成分および水平偏光成分の強度変化を把握することが可能になる。
さらに、請求項３にかかる発明によれば、周波数空間にて路面の略湿潤状態を判別することが可能になる。
さらに、請求項４にかかる発明によれば、ナイキスト周波数成分に基づいて路面が略湿潤状態であることを判別することが可能になる。
さらに、請求項５にかかる発明によれば、路面が略湿潤状態であることを運転者に認識させることが可能となる。
【００１９】
さらに、請求項６にかかる発明によれば、略湿潤状態の度合いを運転者に認識させることが可能になる。
さらに、請求項７にかかる発明によれば、実空間画像にて路面の状態を視認することが可能になる。
さらに、請求項８にかかる発明によれば、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出方法を提供することができる。
さらに、請求項９にかかる発明によれば、合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて路面状態を検出するため、精度良く路面状態を判別することができるとともに、垂直偏光成分と水平偏光成分の各フィールド画像から合成した１フレームの合成画像を利用するため、処理負荷を低減すると共に処理時間を短縮することが可能な路面状態検出プログラムを提供することができる。
【００２０】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施形態について説明する。
（１）路面状態検出装置の構成：
（２）撮像部の構成：
（３）画像の構成：
（４）垂直および水平偏光成分について：
（５）路面状態検出処理の処理内容：
（６）路面状態通知処理の処理内容：
（７）変形例：
（８）まとめ：
【００２１】
（１）路面状態検出装置の構成：
図１は、本発明にかかる路面状態検出装置の構成を示したブロック構成図である。
同図において、路面状態検出装置１０は、内部にＣＰＵ１１を有し、同ＣＰＵ１１はバスラインを介して接続されたフレームメモリ１３と、フーリエ変換器１４と、ナイキスト周波数抽出部１５と、表示制御部１６と、メモリ１７とを制御可能になっている。ここで、フレームメモリ１３にはアナログデータをデジタルデータに変換する機能を有するＡＤ変換器１２を介して撮像部２０が接続されており、同撮像部２０にて撮像されたアナログデータの画像は、ＡＤ変換器１２にてデジタルデータに変換されるとともに、フレームメモリ１３によって取り込まれる。本実施形態では撮像部２０にて路面を撮像する。そして、ＡＤ変換器１２にてデジタルデータに変換された路面の画像は、本発明の画像取得手段に相当するフレームメモリ１３に一旦格納されるようになっている。また、表示制御部１６には表示板３０が接続されている。
【００２２】
本実施形態における表示板３０は屋外用表示装置であり、道路脇に立てられた支柱に取り付けられ運転者に道路情報を提供する装置である。当該表示板３０の表示面には画素として複数のＬＥＤが配置されており、表示制御部１９の制御に基づいてこれらのＬＥＤの何れかが点灯され、表示面上に文字や図柄を表示する。この表示によって交通情報、路面情報等が表示されるようになっている。本実施形態においては後述するとおり、撮像部２０にて路面の垂直偏光画像と水平偏光画像を撮像するとともに、同垂直偏光画像および水平偏光画像を合成して合成画像を作成し、同合成画像をフレームメモリ１３に格納する。そして、フーリエ変換器１４およびナイキスト周波数抽出部１５では、このフレームメモリ１３に格納された合成画像から路面状態を検出するために所定の画像処理を実行する構成となっている。
【００２３】
（２）撮像部の構成：
図２は、上述した撮像部２０の構成を示したブロック構成図である。
同図において、撮像部２０は上述した支柱などに取り付けられ表示板３０の後方の路面を俯瞰撮影する。このとき、路面から撮像部２０に入射する視野像の垂直偏光画像および水平偏光画像を撮像する。このように、垂直偏光画像および水平偏光画像を撮像するために、同撮像部２０には、１：１の透過性を備えるハーフミラーボックス２１と、ミラー２２と、垂直偏光フィルタ２３と、水平偏光フィルタ２４と、垂直偏光フィルタ２３を介して視野像を撮像するＣＣＤ２５と、水平偏光フィルタ２４を介して視野像を撮像するＣＣＤ２６と、フィールドメモリ２７と、フィールドメモリ２８と、合成画像作成部２９とを有する構成となっている。
【００２４】
かかる構成において、視野像は、ハーフミラーボックス２１を通過してミラー２２で反射し、垂直偏光フィルタ２３を介してＣＣＤ２５に結像して垂直偏光画像Ｐ１を形成し、ハーフミラーボックス２１を透過し、水平偏光フィルタ２４を介してＣＣＤ２６に結像して水平偏光画像Ｐ２を形成する。そして、このように形成された垂直偏光画像Ｐ１はフィールドメモリ２７に格納される。また、水平偏光画像Ｐ２はフィールドメモリ２８に格納される。ここで、合成画像作成部２９は、このフィールドメモリ２７，２８に格納された垂直偏光画像Ｐ１および水平偏光画像Ｐ２を読み出すとともに、同垂直偏光画像Ｐ１および水平偏光画像Ｐ２を形成する各ラスタを合成画像を形成するのに必要な走査線の位置から１ラスタ毎に合成して１フレームを形成した合成画像を映像信号として出力し、路面状態検出装置１０のＡＤ変換器１２でデジタル信号に変換した後、フレームメモリ１３に格納させる。
【００２５】
（３）画像の構成：
ここで、図３に垂直偏光画像Ｐ１の画像の説明図および図４に水平偏光画像Ｐ２の画像の説明図を示す。図においては、説明を容易とするため垂直偏光画像Ｐ１および水平偏光画像Ｐ２は、６０Ｈｚの周期にて奇数と偶数の各フィールド画像としてフィールドメモリ２７および２８に取り込まれることを表現しており、各図においては奇数フィールド画像が記憶された状態を示している。かかる構成の垂直偏光画像Ｐ１および水平偏光画像Ｐ２に基づいて作成する合成画像の説明図を図５に示す。同図においては、垂直偏光画像Ｐ１の画像データを有する奇数ラスタを番号順に同合成画像Ｐ３の奇数ラスタに配置するとともに、水平偏光画像Ｐ２の画像データを有する奇数ラスタを番号順に同合成画像Ｐ３の偶数ラスタに配置することによって奇数フィールドどうしの偏光画像による１フレームの合成画像Ｐ３が形成されることを説明している。
【００２６】
上述したように各フィールド画像からなる垂直偏光画像Ｐ１および水平偏光画像Ｐ２は６０Ｈｚというスピードで高速に形成される。従って、この６０Ｈｚにて形成される垂直偏光画像Ｐ１および水平偏光画像Ｐ２から合成される合成画像Ｐ３も６０Ｈｚというスピードで形成することが可能になる。そして、本実施形態においては、１フレームに形成された合成画像Ｐ３における隣接する垂直偏光画像Ｐ１のラスタと、水平偏光画像Ｐ２のラスタとにおける偏光成分の強度変化に基づいて、同合成画像Ｐ３から路面状態（乾燥状態もしくは略湿潤状態）を検出する。このように本実施形態では６０Ｈｚの高速で形成される合成画像Ｐ３に基づいて路面状態の検出を行うことを可能にしているため、リアルタイムに路面状態を検出することが可能となる。次に、偏光成分の強度変化に基づいて路面状態を検出する手法について簡単に説明する。
【００２７】
（４）垂直水平偏光成分について：
図６は、路面が乾燥状態の場合における垂直偏光成分および水平偏光成分の態様を模式的に示した模式図である。
同図において、路面Ｒが乾燥状態の場合は、撮像部２０に入射される光は路面Ｒの凹凸面（粗面）に反射したものとなる。このように粗面における反射は乱反射が支配的となり、反射光は偏光特性を示さず、垂直偏光成分および水平偏光成分の反射率はほぼ等しくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１１の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２１の強度とを比較すると、ほぼ同等の強度となる。従って、合成画像Ｐ３において、隣接するラスタの垂直偏光成分Ｓ１１と、水平偏光成分Ｓ２１との強度の変化が相対的に緩やかな場合はその路面は乾燥状態であることが分かる。
【００２８】
図７は、路面が略湿潤状態の場合における垂直偏光成分および水平偏光成分の態様を模式的に示した模式図である。
同図において、路面Ｒが略湿潤状態の場合は、路面Ｒの凹凸面（粗面）に水が溜まることによって鏡面となるため、撮像部２０に入射される光はこの鏡面にて反射したものとなる。このように鏡面においては、反射光が偏光特性を示すことになる。このとき、水平偏光成分の反射率は、垂直偏光成分の反射率に比べて小さくなる。すなわち、撮像部２０の垂直偏光フィルタ２３にて抽出される垂直偏光成分Ｓ１の反射光である垂直偏光成分Ｓ１２の強度と、水平偏光フィルタ２４にて抽出される水平偏光成分Ｓ２の反射光である水平偏光成分Ｓ２２の強度とを比較すると、垂直偏光成分Ｓ１２の強度の方が相対的に強くなる。従って、合成画像Ｐ３において、隣接するラスタの垂直偏光成分Ｓ１２と、水平偏光成分Ｓ２２との強度の変化が相対的に強い場合はその路面は略湿潤状態であることが分かる。本実施形態においては以上の特性に基づいて路面状態を検出する。このとき路面状態検出装置１０では後述する路面状態検出処理を実行する。なお、本実施形態では隣接するラスタ間の偏光成分の強度変化を検出するためにフーリエ変換器１４にてフーリエ変換の処理、および、ナイキスト周波数抽出部１５にてナイキスト周波数抽出の処理を実行する。
【００２９】
（５）路面状態検出処理の処理内容：
図８は、路面状態検出装置１０にて実行される路面状態検出処理の処理内容を示したフローチャートである。また、図９は、本実施形態において路面状態を検出する際に撮像部にて撮像された垂直偏光画像、水平偏光画像および同垂直偏光画像および水平偏光画像から作成された合成画像の画像構成を示した画像構成図である。このとき、垂直偏光画像Ｐ１が垂直偏光画像Ｐ１１に対応し、水平偏光画像Ｐ２が水平偏光画像Ｐ２１に対応し、合成画像Ｐ３が合成画像Ｐ３１に対応する。図においては、先ず最初に、撮像部２０の合成画像作成部２９で作成されたＡＤ変換器１２でデジタル信号に変換されたフレーム画像をフレームメモリ１３に取得する（ステップＳ１１０）。そして取得したフレーム画像に対してフーリエ変換を施すことによって周波数空間に変換し、２次元空間周波数画像を作成する（ステップＳ１１５）。このフーリエ変換は次式（１）に基づいて実行される。
Ｉ（ω）＝Ｆ｛ｉ（ｔ）｝ ・・・式（１）
ただし、ｉ（ｔ）は時刻ｉにサンプリングした合成画像Ｐ３１を示している。また、関数Ｆは２次元フーリエ変換関数を示している。Ｉ（ω）はｉ（ｔ）の２次元空間周波数画像を示している。本実施形態においては周波数空間への変換にフーリエ変換を利用したが、むろん、コンボリューション等の演算手法を利用しても良い。
【００３０】
ここで、この２次元空間周波数画像を図１０に示す。同図において、２次元空間周波数画像Ｐ１０は、中央部分が０周波数成分であり、この中央部分から外側に向けて周波数成分が高くなることを示している。本実施形態の合成画像Ｐ３１の場合、画像の略中央部分に低周波成分領域が現れ、そして、画像の上下端略中央部分に高周波成分領域が現れる態様となっている。次に、ナイキスト周波数抽出部１５が起動される。このナイキスト周波数抽出部１５は、フーリエ変換器１４にて作成された２次元空間周波数画像Ｐ１０から偏光情報の変化を表す高周波成分を抽出して、ナイキスト周波数抽出画像を作成する（ステップＳ１２０）。このナイキスト周波数成分の抽出は次式（２）に基づいて実行される。
Ｈ（ω）＝Ｉ（ω）・Ｇ（ω） ・・・式（２）
ただし、Ｇ（ω）は高周波成分を抽出する所定の周波数フィルタ関数を示し、Ｈ（ω）はフィルタ処理の結果、すなわち、ナイキスト周波数抽出画像を示している。
【００３１】
ここで、このナイキスト周波数抽出画像を図１１に示す。同図において、ナイキスト周波数抽出画像Ｐ２０は、上述した２次元空間周波数画像Ｐ１０と同様に中央部分が０周波数成分であり、この中央部分から外側に向けて周波数成分が高くなることを示している。本実施形態の場合、画像の上下端略中央部分に高周波成分領域、すなわちナイキスト周波数が現れていることが分かる。そして、抽出したナイキスト周波数成分の強度を判別するとともに（ステップＳ１２５）、同強度が所定のしきい値以上であるか否かを判別する（ステップＳ１３０）。同強度が所定のしきい値以上であると判別された場合は、路面が略湿潤状態であると検知する（ステップＳ１３５）。略湿潤状態であることが検知された場合、表示制御部１６が起動され、路面状態通知手段の一形態であるところの表示板３０に略湿潤状態である旨を伝える所定の表示を行い、運転者に対して通知する。当該表示板３０による通知の一例を図１２に示す。同図において、表示板３０には「注意！！路面が濡れています」という文字情報を二段書きにて表示している。従って、運転者はこの表示を視認して、走行中の路面が略湿潤状態であると判断することが可能となり、適宜路面状態に応じた適切な運転を行うことが可能となる。一方、ステップＳ１３０にて強度が所定のしきい値より小さいと判別された場合は路面が乾燥状態であると判別することになる（ステップＳ１４０）。
【００３２】
上述した実施形態によって運転者は、表示板３０の表示に基づいて走行中の路面が略湿潤状態であるか乾燥状態であるかを判断することができる。一方、略湿潤状態であっても、略湿潤度合いが大きい（水分量が多い）場合があったり、略湿潤度合いが小さい（水分量が少ない）場合があったりする。ここで、この略湿潤度合いが判別できるとともに、同湿潤度合いに応じた態様によって運転者に通知を行うことができると、より好ましい。ここで、この略湿潤度合いは、垂直偏向成分および水平偏光成分の強度変化の度合いに略比例するものであり、この強度変化の度合いは抽出したナイキスト周波数の強度に対応する。従って、ナイキスト周波数の強度が相対的に大きい場合は略湿潤度合いが大きく、小さい場合は略湿潤度合いが小さくなる。次に、この略湿潤度合いに基づいて通知の態様を変化させる際に実行される路面状態通知処理について説明する。
【００３３】
（６）路面状態通知処理の処理内容：
図１３は、路面状態検出装置１０にて実行される路面状態通知処理の処理内容を示したフローチャートである。
同図において、先ず最初に路面が略湿潤状態であるか否かを判別する。この判別は上述したステップＳ１３０における判断結果に基づいて行う（ステップＳ２００）。次に、抽出されたナイキスト周波数成分の強度を判別する（ステップＳ２０５）。この判別にてナイキスト周波数成分の強度が、略湿潤度合いが大きいと判別される値以上であるか否かを判断する（ステップＳ２１０）。そして、この強度が略湿潤度合いが大きいと判別される値以上であると判断された場合は、図１２に示した文字情報の表示を赤色表示することにより運転者により一層の注意を喚起させる（ステップＳ２１５）。
【００３４】
一方、ステップＳ２１０における判別にて、強度が略湿潤度合いが大きいと判別される値より小さいと判断された場合は、図１２に示した文字情報の表示を黄色表示することにより運転者に警告する（ステップＳ２２０）。このように、略湿潤度合いによって表示板３０に表示される文字情報の表示色を変えると、運転者に路面状態を適切に通知することができて好適である。また、この実施形態においては、図１２に示した文字情報と、この文字情報の表示色とにより路面状態を通知する態様を採用したが、むろん、路面の略湿潤状態をランプ等の発光手段（注意灯）にて通知し、その際に略湿潤度合いに応じて同ランプ等の表示色を変化させるようにしても良いし、ブザー等の音声にて路面の略湿潤状態を通知し、その際に略湿潤度合いに応じて同ブザー等の音量を変化させるようにしても良く、適宜採用可能である。
【００３５】
（７）変形例：
上述した実施形態においては、表示板３０に路面が略湿潤状態であることを文字情報として表示する態様を採用した。これは、路面状態を表示板３０にて運転者に示し、運転者が走行中の路面が略湿潤状態であるか否かを認知することができれば良いとの観点に基づいている。一方、本実施形態における路面状態検出装置１０は自動車に搭載することも可能である。ここで、自動車に路面状態検出装置１０を搭載した場合、自動車の走行速度に応じてリアルタイムに路面状態を検出することができると好ましい。この点、本実施形態における路面状態検出装置１０は、上述したように高速で合成画像Ｐ３１を作成して処理を行うことが可能となることから、走行中の自動車においても、リアルタイムに走行路面の路面状態を検出することができることになり大変有効な効果を奏する。また、自動車に当該路面状態検出装置１０を搭載した場合、運転者の運転視野に応じて路面状態を視認することを可能にすると好ましい。すなわち、垂直偏光画像Ｐ１１および水平偏光画像Ｐ２１や合成画像Ｐ３１に示した視野にて路面の略湿潤状態を把握できると、運転者は走行前方においてどれくらいの水分量で略湿潤状態が分布しているかを把握できることになり好ましい。
【００３６】
これによって路面状態に応じた運転操作を行うことが可能となる。そこで、このように上述した垂直偏光画像画像Ｐ１１、水平偏光画像Ｐ２１および合成画像Ｐ３１に示される視野にて路面状態を視覚的に把握可能にする構成を提供する。かかる場合、ナイキスト周波数成分を抽出したナイキスト周波数抽出画像Ｐ２０を逆フーリエ変換すれば良い。これによりナイキスト周波数成分に位置情報が加わり、実空間画像Ｐ３０において略湿潤状態およびその度合いを判別することが可能になる。かかる機能を実現する際には次に示した路面状態表示処理を路面状態検出装置１０にて実行する。
【００３７】
図１４は、この路面状態表示処理の処理内容を示したフローチャートである。また、図１５は、表示態様の一例を示した図である。
同図において、先ず最初にフーリエ変換器１４が起動され、同フーリエ変換器１４は上述した路面状態検出処理のステップＳ１２０にて作成されたナイキスト周波数成分を取得する。すなわちこのナイキスト周波数成分を示すナイキスト周波数抽出画像Ｐ２０を取得するとともに（ステップＳ３００）、同ナイキスト周波数抽出画像Ｐ２０を逆フーリエ変換して（ステップＳ３０５）、実空間画像データを生成し、メモリ１７に格納する（ステップＳ３１０）。これにより偏光特性のみを抽出することが可能となり上実空間画像にてこの偏光特性のみを表示することが可能になる。この逆フーリエ変換は次式（３）に基づいて実行される。ｈ（ｔ）＝Ｊ｛Ｈ（ω）｝ ・・・式（３）
ただし、関数Ｊは２次元フーリエ変換関数である関数Ｆの逆変換を示している。ｈ（ｔ）は時刻ｉにサンプリングした合成画像Ｐ３１において偏光特性のみを抽出した実空間画像を示している。
【００３８】
そして、表示制御部１９はこの実空間画像データをメモリ１７から読み出して所定の表示手段に実空間画像を表示させる（ステップＳ３１５）。ここで、図１５に実空間画像の画像構成を示す。同図において、実空間画像Ｐ３０は略湿潤状態の部分を塗りつぶして示し、乾燥状態の部分を白地にて示している。この塗りつぶし部分はナイキスト周波数成分の強度が所定のしきい値以上の部分であり、逆フーリエ変換することによって輝度が高くなる部分である。この部分は略湿潤度合いに応じて輝度が高低するため、輝度の高低に応じて略湿潤度合いの大小を判別可能になっている。これにより、運転者は前方視野と同等の実空間画像Ｐ３０にて路面状態を把握することが可能となり、路面状態をより運転操作に反映させることが可能となる。ここで、図１５に示した表示は、例えば、車載テレビに表示させても良いし、ヘッドアップモニタに上述の実施形態の文字情報と一緒に表示させても良い。ヘッドアップモニタに表示させれば、前方を視野にする運転視野を変更することなく、路面状態をリアルタイムに把握できるため好適である。
【００３９】
（８）まとめ：
このように、同時に撮像される垂直偏光画像Ｐ１１および水平偏光画像Ｐ２１の各ラスタを交互に奇数および偶数ラスタに配置して作成した１フレームの合成画像Ｐ３１を対象にして路面状態（乾燥状態もしくは略湿潤状態）を判別する処理を実行するため、リアルタイムに路面状態を検出できるとともに、処理負荷を低減させることが可能となり、処理の高速化を図ることが可能になる。また、合成画像Ｐ３１を周波数空間に変換し、同周波数空間にて垂直偏光成分の強度と水平偏光成分の強度の変化度合いを判別するため高精度で路面状態を検出することが可能になる。
【図面の簡単な説明】
【図１】路面状態検出装置１０の構成を示したブロック構成図である。
【図２】撮像部の構成を示したブロック構成図である。
【図３】垂直偏光画像の説明図である。
【図４】水平偏光画像の説明図である。
【図５】合成画像の説明図である。
【図６】路面状態が乾燥状態の場合の偏光特性を示した模式図である。
【図７】路面状態が略湿潤状態の場合の偏光特性を示した模式図である。
【図８】路面状態検出処理の処理内容を示したフローチャートである。
【図９】路面の垂直水平偏光画像および合成画像の画像構成図である。
【図１０】２次元空間周波数画像の画像構成図である。
【図１１】ナイキスト周波数抽出周波数画像の画像構成図である。
【図１２】表示板に表示された文字情報の一例を示した表示画面図である。
【図１３】路面状態通知処理の処理内容を示したフローチャートである。
【図１４】路面状態表示処理の処理内容を示したフローチャートである。
【図１５】実空間画像の画像構成図である。
【符号の説明】
１０…路面状態検出装置
１１…ＣＰＵ
１２…ＡＤ変換器
１３…フレームメモリ
１４…フーリエ変換器
１５…ナイキスト周波数抽出部
１６…表示制御部
１７…メモリ
２０…撮像部
３０…表示板
２１…ハーフミラーボックス
２２…ミラー
２３…垂直偏光フィルタ
２４…水平偏光フィルタ
２５…ＣＣＤ
２６…ＣＣＤ
Ｐ１…垂直偏光画像
Ｐ２…水平偏光画像
Ｐ３…合成画像
Ｐ１０…２次元空間周波数画像
Ｐ２０…ナイキスト周波数抽出画像
Ｐ３０…実空間画像
Claims (8)
- 少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出装置であって、
上記合成画像を作成する画像作成手段と、
上記画像作成手段にて作成された合成画像を取得する画像取得手段と、
上記取得された合成画像を周波数空間に変換する周波数空間変換手段を有し、同変換された周波数空間における周波数成分の分布に基づいて識別可能な、上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別手段とを具備することを特徴とする路面状態検出装置。 - 上記路面判別手段は、上記変換した周波数空間の周波数成分の分布にて所定のしきい値以上の高周波成分が含まれるか否かを判別し、同高周波成分が含まれる場合に上記路面の状態が略湿潤状態であると判別することを特徴とする上記請求項１に記載の路面状態検出装置。
- 上記路面判別手段は、上記所定のしきい値以上の高周波成分が含まれるか否かを判別するに際して、上記変換した周波数空間からナイキスト周波数成分を抽出し、同抽出したナイキスト周波数成分に基づいて上記高周波成分が含まれるか否かを判別することを特徴とする上記請求項２に記載の路面状態検出装置。
- 上記路面判別手段は、上記判別された路面の状態を取得するとともに、同取得した路面状態が略湿潤状態である場合にその旨を外部に通知する路面状態通知手段を有することを特徴とする上記請求項２または請求項３のいずれかに記載の路面状態検出装置。
- 上記路面状態通知手段は、上記高周波成分の強度に基づいて上記路面の略湿潤状態の湿潤度合いを判別し、同判別した湿潤度合いに基づいて上記通知の態様を変化させることを特徴とする上記請求項４に記載の路面状態検出装置。
- 上記路面判別手段は、上記抽出したナイキスト周波数成分を逆フーリエ変換して実空間画像データを取得するとともに、同取得した実画像データに基づいた画像を所定の表示手段にて視認可能に表示する実空間画像表示手段を有することを特徴とする上記請求項３〜請求項５のいずれかに記載の路面状態検出装置。
- 少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する路面状態検出方法であって、
上記合成画像を作成する画像作成工程と、
上記画像作成工程にて作成された合成画像を取得する画像取得工程と、
上記取得された合成画像を周波数空間に変換する周波数空間変換工程を有し、同変換された周波数空間における周波数成分の分布に基づいて識別可能な、上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別工程とを具備することを特徴とする路面状態検出方法。 - 少なくとも路面の垂直偏光画像と水平偏光画像とを１ラスタおきに合成してフレームを形成することにより作成された合成画像に基づいて、同路面の状態を検出する機能をコンピュータにて実現可能にする路面状態検出プログラムであって、
上記合成画像を作成する画像作成機能と、
上記画像作成機能にて作成された合成画像を取得する画像取得機能と、
上記取得された合成画像を周波数空間に変換する周波数空間変換機能を有し、同変換された周波数空間における周波数成分の分布に基づいて識別可能な、上記合成画像の隣接するラスタの垂直偏光成分および水平偏光成分の強度変化に基づいて上記路面の状態を判別する路面判別機能とを具備することを特徴とする路面状態検出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003072719A JP4011505B2 (ja) | 2003-03-17 | 2003-03-17 | 路面状態検出装置、路面状態検出方法および路面状態検出プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003072719A JP4011505B2 (ja) | 2003-03-17 | 2003-03-17 | 路面状態検出装置、路面状態検出方法および路面状態検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004279279A JP2004279279A (ja) | 2004-10-07 |
| JP4011505B2 true JP4011505B2 (ja) | 2007-11-21 |
Family
ID=33288838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003072719A Expired - Fee Related JP4011505B2 (ja) | 2003-03-17 | 2003-03-17 | 路面状態検出装置、路面状態検出方法および路面状態検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4011505B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007064888A (ja) * | 2005-09-01 | 2007-03-15 | Tokai Rika Co Ltd | 路面状態検出装置 |
| JP5995140B2 (ja) | 2012-01-19 | 2016-09-21 | 株式会社リコー | 撮像装置及びこれを備えた車両システム並びに画像処理方法 |
| KR101766239B1 (ko) * | 2015-07-02 | 2017-08-08 | 이승래 | 도로 표면 상태 인식 장치 및 방법 |
| EP3367084B1 (en) * | 2015-10-22 | 2023-09-06 | Kyocera Corporation | Road surface state determination device and method |
| JP7424272B2 (ja) | 2020-11-04 | 2024-01-30 | ソニーグループ株式会社 | 情報処理装置と情報処理方法およびプログラム |
-
2003
- 2003-03-17 JP JP2003072719A patent/JP4011505B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004279279A (ja) | 2004-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103299617B (zh) | 图像生成装置 | |
| US11910123B2 (en) | System for processing image data for display using backward projection | |
| CN103609100A (zh) | 图像生成装置 | |
| JP5600236B2 (ja) | 車両の周囲の画像を処理するための装置および方法 | |
| TW516308B (en) | Image defect detection apparatus and image defect detection method | |
| JP4334686B2 (ja) | 車両の画像表示装置 | |
| JP2570378B2 (ja) | 車両用標識認識装置 | |
| JP4011505B2 (ja) | 路面状態検出装置、路面状態検出方法および路面状態検出プログラム | |
| JP2011076214A (ja) | 障害物検出装置 | |
| JP2004301708A (ja) | 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム | |
| JP2017011633A (ja) | 撮像装置 | |
| JP4701383B2 (ja) | 視界不良評価方法および視界不良評価装置 | |
| JP2010166363A (ja) | 擬似濃淡画像生成装置及びプログラム | |
| JP2002087160A (ja) | 車両周辺画像処理装置及び記録媒体 | |
| JP2008004989A (ja) | 車両周囲表示装置 | |
| JP3830748B2 (ja) | レーンマーク強調装置 | |
| JP4519519B2 (ja) | 動物体検出装置 | |
| JP2004030225A (ja) | 白煙検出方法及び装置 | |
| JP5556484B2 (ja) | スペクトル測定装置及びスペクトル測定方法 | |
| JP3677458B2 (ja) | 車両周辺画像表示装置 | |
| JP2008028478A (ja) | 障害物検出システム、及び障害物検出方法 | |
| JP6754993B2 (ja) | 車載映像表示装置、車載映像表示方法、およびプログラム | |
| JP2012095342A (ja) | 擬似濃淡画像生成装置及びプログラム | |
| CN112966782A (zh) | 一种多视角特征融合的路面积水检测识别方法 | |
| JP4887539B2 (ja) | 物体種別判定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060302 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20061031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070801 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070905 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |