JPH08189894A - 路面状態検出装置 - Google Patents

路面状態検出装置

Info

Publication number
JPH08189894A
JPH08189894A JP7001908A JP190895A JPH08189894A JP H08189894 A JPH08189894 A JP H08189894A JP 7001908 A JP7001908 A JP 7001908A JP 190895 A JP190895 A JP 190895A JP H08189894 A JPH08189894 A JP H08189894A
Authority
JP
Japan
Prior art keywords
road surface
sampling
luminance signal
image pickup
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7001908A
Other languages
English (en)
Other versions
JP3438368B2 (ja
Inventor
Tetsuya Kuno
徹也 久野
Junichi Yoshida
潤一 吉田
Hiroaki Sugiura
博明 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP00190895A priority Critical patent/JP3438368B2/ja
Publication of JPH08189894A publication Critical patent/JPH08189894A/ja
Application granted granted Critical
Publication of JP3438368B2 publication Critical patent/JP3438368B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Regulating Braking Force (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【目的】 路面が比較的、無彩色であっても、簡単な回
路構成で路面が濡れているか否かなど、路面の状況を実
時間で判別できる路面状況検出装置を提供する。 【構成】 自動車の進行方向の路面を撮像するための撮
像手段1と、前記撮像手段1から得られた輝度信号を、
数フィールド毎にm個サンプリングするサンプリング手
段2と、前記サンプリング手段2によってサンプリング
されたサンプリングデータの平均値を求める手段3と、
保持した平均値と、各サンプリングデータとの絶対値差
を求める手段4と、前記絶対値差を積分する手段5と、
前記積分値を予め定めた定数と比較する比較手段6とを
具備し、前記比較手段6において、求められた積分値を
前記定数と比較することで、輝度信号レベルの強度分布
を検出し、前記比較結果から、路面が濡れているか否か
を判別する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、自動車等の走行路面の
状態を検出して、運転者へ注意警告や、アンチロックブ
レーキングシステムなどの制動動作に必要なデータ等を
検出することができる路面状態検出装置に関するもので
ある。
【0002】
【従来の技術】図31は例えば特公平5−69011号
公報に示された従来の路面状態の構成図である。図にお
いて、100は撮像手段、101は画像処理手段、10
2は比較判定手段、103は路面状態記憶手段、104
は路面の摩擦係数記憶手段、105は摩擦係数選定手段
である。
【0003】前記公告は、検出器を路面と接触させず
に、進行方向の路面状況を検出しようとするものであ
る。
【0004】動作について説明する。まず、撮像手段1
00によって、進行方向における路面状況を撮像する。
撮像手段100から得られた映像信号を、画像処理手段
101によって、R,G,B信号に分離する。路面状態
記憶手段103には、R,G,B信号からなる座標内
に、区別可能なマップとして各種路面状況が記憶されて
おり、画像処理手段101から得られたR,G,B信号
と比較することによって、路面の種類を選定する。次
に、選定された路面の状況毎に路面の摩擦係数が記憶さ
れている摩擦係数選定手段104から、選定した路面の
摩擦係数を選定するものである。
【0005】
【発明が解決しようとする課題】従来の路面状態検出装
置は、路面の色の情報で、路面の種類の検出を行うもの
である。そのためアスファルトのように、ほとんど無彩
色である路面の場合は、路面が濡れているか否かの判別
が困難であるという問題点があった。
【0006】又、撮影状況の色温度や、撮像装置のホワ
イトバランス機能に結果が左右されやすいという問題点
があった。
【0007】本発明は上記のような問題点を解消するた
めになされたもので、路面が無彩色であっても、簡単な
回路構成で路面が濡れているか、否かなど、路面の状況
を検出できる路面状況検出装置を得ることを目的とす
る。
【0008】
【課題を解決するための手段】本発明の請求項1に係る
路面状態検出装置は、路面を撮像するための撮像手段
と、撮像手段から得られた輝度信号レベルの強度分布を
検出する検出手段を具備し、前記検出手段において、輝
度信号の変動幅が予め定めた定数より大きければ、路面
が濡れていると判別し、変動幅が前記定数より小さけれ
ば路面が乾いていると判別するように構成するものであ
る。
【0009】また、本発明の請求項2に係る路面状態検
出装置は、路面を撮像するための撮像手段と、撮像手段
から得られた輝度信号をサンプリングするサンプリング
手段と、サンプリングデータの平均値を求める手段と、
前記平均値を次の数フィールド保持し、保持した平均値
と各サンプリングデータとの差を求める手段と、前記平
均値とサンプリングデータとの差を積分する手段と、前
記積分値を予め定めた定数と比較する比較手段とから構
成するものである。
【0010】また、本発明の請求項3に係る路面状態検
出装置は、路面を撮像するための撮像手段と、撮像手段
から得られた輝度信号をサンプリングするサンプリング
手段と、サンプリングデータと予め定めた第1の定数と
の差を求める手段と、前記サンプリングデータと前記第
1の定数との差を積分する手段と、前記積分値を予め定
めた第2の定数と比較する比較手段とから構成するもの
である。
【0011】また、本発明の請求項4の発明に係る路面
状態検出装置は、路面を撮像するための撮像手段と、撮
像手段から得られた輝度信号をサンプリングするサンプ
リング手段と、サンプリングデータの最大値を選択する
手段と、サンプリングデータの最小値を選択する手段
と、前記最大値と最小値との差を求める手段と、前記最
大値と最小値との差を予め定めた定数と比較する比較手
段とから構成するものである。
【0012】また、本発明の請求項5に係る路面状態検
出装置は、路面を撮像するための撮像手段と、撮像手段
から得られた輝度信号をサンプリングするサンプリング
手段と、サンプリングデータにおいて高輝度部のデータ
だけを選択し、前記高輝度部の平均値を求める手段と、
低輝度部のデータだけ選択し、前記低輝度部の平均値を
求める手段と、前記高輝度部の平均値と低輝度部の平均
値との差を求める手段と、前記差を予め定めた定数と比
較する比較手段とから構成するものである。
【0013】また、本発明の請求項6に係る路面状態検
出装置は、請求項2乃至請求項5のいずれかに記載の路
面状態検出装置において、比較手段で比較する予め定め
た定数を複数設け、輝度信号の強度分布を検出するよう
に構成するものである。
【0014】また、本発明の請求項7に係る路面状態検
出装置は、路面を撮像するための撮像手段と、撮像手段
から得られた輝度信号をサンプリングするサンプリング
手段と、サンプリングデータを予め定めた定数ごとに分
割する手段と、前記複数のレベルに分割したサンプリン
グデータをヒストグラム化するヒストグラム生成手段
と、前記ヒストグラムの形状を判別する判別手段とから
構成するものである。
【0015】また、本発明の請求項8に係る路面状態検
出装置は、請求項1乃至請求項7のいずれかに記載の路
面状態検出装置において、照明手段による照明光が路面
で反射し、反射光が最も多く撮像装置に入射されるよう
に、照明手段と路面の法線とのなす角である入射角と、
撮像装置と路面の法線とのなす角である受光角が等しく
なるように、照明手段と撮像装置を設置するものであ
る。
【0016】また、本発明の請求項9に係る路面状態検
出装置は、請求項8記載の路面状態検出装置において、
照明手段及び撮像装置が外光の影響を受けないように、
自動車の底部に設置している。
【0017】また、本発明の請求項10に係る路面状態
検出装置は、請求項2乃至請求項8のいずれかに記載の
路面状態検出装置において、輝度信号をサンプリングす
るサンプリング手段によって、輝度信号中、路面が撮像
されていると予想される部分だけ、サンプリングするよ
うに構成するものである。
【0018】また、本発明の請求項11に係る路面状態
検出装置は、請求項2乃至請求項8のいずれかに記載の
路面状態検出装置において、撮像した映像信号中から路
面部分だけを検出する手段を具備し、検出された路面部
分だけ、サンプリングするように構成するものである。
【0019】
【作用】本発明の請求項1に係る路面状態検出装置にお
いては、撮像手段から得られた輝度信号レベルの強度分
布を検出し、輝度信号の変動幅が大きければ、路面が濡
れていると判別する。
【0020】また、本発明の請求項2に係る路面状態検
出装置においては、サンプリングされた輝度信号の値の
平均値を求め、前記平均値と各サンプリングデータとの
差を積分し、比較手段によって、前記積分値を予め定め
た定数と比較し、輝度信号の強度分布を検出することに
より、路面の状態を判別する。
【0021】また、本発明の請求項3に係る路面状態検
出装置においては、サンプリングされた輝度信号の値と
予め定めた第1の定数との差を求め、前記サンプリング
データと前記第1の定数との差を積分し、比較手段によ
って、前記積分値を予め定めた第2の定数と比較し、輝
度信号の強度分布を検出することにより、路面の状態を
判別する。
【0022】また、本発明の請求項4に係る路面状態検
出装置においては、サンプリングされた輝度信号の値の
最大値と最小値とを選択し、前記最大値と最小値との差
を求め、比較手段によって、前記最大値と最小値との差
を予め定めた定数と比較し、輝度信号の強度分布を検出
することにより、路面の状態を判別する。
【0023】また、本発明の請求項5に係る路面状態検
出装置においては、サンプリングされた輝度信号の値に
おいて、高輝度部および低輝度部のデータだけを選択し
て、それぞれの平均値を求め、前記高輝度部の平均値と
低輝度部の平均値との差を求め、比較手段によって、前
記差を予め定めた定数と比較し、輝度信号の強度分布を
検出することにより、路面の状態を判別する。
【0024】また、本発明の請求項6に係る路面状態検
出装置においては、前記請求項2から請求項5の発明に
おいて、演算手段によって、複数の定数と比較し、輝度
信号の強度分布を検出することにより、路面の状態を判
別する。
【0025】また、本発明の請求項7に係る路面状態検
出装置においては、サンプリングされた輝度信号を予め
定めた定数ごとに分割し、前記分割されてサンプリング
データをヒストグラム化し、前記ヒストグラムの形状か
ら輝度信号の強度分布を検出することにより、路面の状
態を判別する。
【0026】また、本発明の請求項8に係る路面状態検
出装置においては、請求項1乃至請求項7のいずれかに
記載の路面状態検出装置において、路面を照らす照明手
段による照明光は、路面によって反射され、撮像装置へ
入射される。
【0027】また、本発明の請求項9に係る路面状態検
出装置においては、請求項8記載の路面状態検出装置に
おいて、照明手段及び撮像装置は自動車の底部に取り付
けられているため、照明手段以外の外光の影響を受けな
い。
【0028】また、本発明の請求項10に係る路面状態
検出装置においては、請求項2乃至請求項8のいずれか
に記載の路面状態検出装置において、輝度信号をサンプ
リングするサンプリング手段によって、輝度信号中、路
面が撮像されていると予想される部分だけ、選択的に抜
き出す。
【0029】また、本発明の請求項11に係る路面状態
検出装置は、請求項2乃至請求項8のいずれかに記載の
路面状態検出装置において、撮像した映像信号中から路
面部分だけを検出する手段によって、検出された路面部
分だけ、選択的に抜出す。
【0030】
【実施例】
実施例1.図1は本発明の実施例1における路面状態検
出装置を示す図である。図において、1は撮像装置、2
はA/Dコンバータ、3は平均値演算回路、4は加算
器、5は積分回路、6は比較器である。
【0031】前記のように構成されて路面状態検出装置
の動作について説明する。撮像装置1は、路面を撮像で
きる位置に設置されている。撮像装置1から得られた輝
度信号は、A/Dコンバータ2によってディジタル信号
に変換される。A/Dコンバータ2はnフィールド(n
=1、2、3・・・)毎に輝度信号からm個のデータを
サンプリングする。前記サンプリングデータは、平均値
演算回路3に入力され、サンプリングデータの平均値が
求められる。
【0032】平均値演算回路3は例えば次のように構成
することで実現することができる。図2は図1における
平均値演算回路3の具体的な構成を示す図である。図に
おいて、11はm個のサンプリングデータを積算する積
算回路、12は除算器、13はラッチである。積算回路
11はサンプリングデータをすべて積算する。積算され
た結果は除算器12によってサンプリングデータ数mで
割ることによってサンプリングデータの平均値が求めら
れる。サンプリングデータ数mが2の倍数であれば除算
器12を用いなくても、積算結果をlog2 mビット、
ビットシフトすれば同様に平均値が求められることはい
うまでもない。前記のようにnフィールド毎に平均値を
算出し、ラッチ13は求められた前記平均値kを、前記
と同様の演算によって求められた次のnフィールド後の
サンプリングデータの平均値が送られるまでnフィール
ド間保持する。
【0033】加算器4はサンプリングされた各データか
ら、前記平均値演算回路3によって保持されているnフ
ィールド前のサンプリングデータから求めた平均値を減
算する。積分回路5は前記減算結果の絶対値をnフィー
ルド毎に積分し、積分値を比較器6へ出力する。
【0034】図3は乾いた路面を撮影した際の輝度信号
の一例を示す図、図4は濡れた路面を撮影した際の輝度
信号の一例を示す図である。通常、路面の色はアスファ
ルトに代表されるように、無彩色に近い。また、路面を
構成している材質が均一に近い路面は、図3に示すよう
に輝度値がほぼ一定値となる。図3および図4の輝度信
号波形に対応した、輝度信号の強度分布の一例を図5お
よび図6に示す。なお、図5および図6において、横軸
は輝度信号の強度を表す輝度信号値、縦軸はA/Dコン
バータ2でディジタル変換された輝度信号のサンプリン
グ数である。図3に示したように路面が乾いているとき
は、輝度信号の変動幅が小さい。従って、図5に示すよ
うに輝度信号の強度分布の分散が小さくなる。
【0035】しかし、路面が濡れてくると、濡れた路面
は水による路面の平面化により、太陽光や照明など外光
を反射するが、撮像装置1による映像信号には反射光が
強い部分と、逆に反射光が弱い部分が生じる。すなわ
ち、前記輝度信号の変動率はより大きくなる。図6は図
4に示した輝度信号の強度分布であり、輝度信号の変動
率が路面が乾いているときと比べて大きいため、図5に
示した路面が濡れていないときの輝度信号の変動値とは
明らかに異なる。図7は路面の状態と積分値との関係を
示す図であり、図に示すように路面が濡れが大きくなる
に従って、前記積分値は大きくなり、予め定めた定数k
と前記比較器6で比較し、前記積分値が前記定数kを超
えたとき路面が濡れていると判別することができる。
【0036】また、前記回路構成において、予め定めた
定数kと前記比較器6で比較し、前記積分値が、定数k
より小さければ路面は濡れていないと判別する。
【0037】また、前記路面状態検出装置は平均値をラ
ッチ13によって、nフィールド保持することによって
サンプリングデータと減算を行ったが、前記手段によら
ず、サンプリングデータをnフィールド保持できる記憶
手段を具備することによって、平均値が求められるnフ
ィールド期間、サンプリングデータを前記記憶手段に保
持し、求められた平均値と前記保持されていたサンプリ
ングデータを減算することによっても実現できる。
【0038】さらにまた、輝度信号のサンプリングをn
フィールド毎に行ったがサンプリングの間隔は前記に限
らず、数フィールドおきにnフィールドのサンプリング
を行っても実現できる。
【0039】実施例2.図8は本発明の実施例2におけ
る路面状態検出装置を示す図である。図において、15
は輝度信号を一定のレベルにするように利得を変える自
動利得制御回路である。1〜6は図1に示した回路と同
様であり、その説明を省略する。
【0040】前記のように構成された路面状態検出装置
において、その動作を説明する。撮像装置1から得られ
た輝度信号は自動利得制御回路15に入力される。自動
利得制御回路15は入力した、輝度信号のレベルが一定
値になるように、その利得を制御する。A/Dコンバー
タ2は実施例1と同様にnフィールド毎に輝度信号をサ
ンプリングし、前記サンプリングデータを加算器4へ出
力する。前記自動利得制御回路15が収束させる映像信
号レベルの輝度信号値をk2とすると、予めk2を定数
として加算器4に設けておき、加算器4は各サンプリン
グデータからk2を減算し、その差を積分回路5へ出力
する。積分回路5は各サンプリングデータと、k2との
差の絶対値をnフィールド毎に積分する。比較器6は、
積分回路5から得られる積分値から実施例1と同様に予
め定めた定数kと比較する。前記積分値がkより小さい
ときは路面は濡れていないと判別し、kより大きいとき
は路面は濡れていると判別する。
【0041】本発明では自動利得制御回路15を設けて
いるため実施例1のように輝度信号値の平均値を求める
手段を設けることなく、予め加算器4に前記定数k2を
設けておくだけで同様の効果を得ることができる。
【0042】実施例3.図9は本発明の実施例3におけ
る路面状態検出装置を示す図である。図において、20
はサンプリングデータの最大値を検出する最大値検出手
段、21はサンプリングデータの最小値を検出する最小
値検出手段である。1〜6は図1に示した回路と同様で
あり、その説明は省略する。
【0043】前記のように構成された路面状態検出装置
について、その動作を説明する。A/Dコンバータ2に
よって輝度信号からデータをサンプリングするまでは実
施例1と同様のためその説明は省略する。最大値検出手
段20は1フィールドのサンプリングデータから最大値
Ymax を検出する。また、最小値検出手段21は1フィ
ールドのサンプリングデータから最小値Ymin を検出す
る。加算器4は前記最大値と最小値の差Ymax −Ymin
を求め比較器6へ出力する。
【0044】実施例1で説明したように路面が乾いてい
るときと濡れているときとでは、図3および図4に示し
たように、輝度信号に差が生じる。よって図10に示す
ように路面が濡れているときのサンプリングデータの最
大値と最小値との差Ymax −Ymin と、路面が乾いてい
るときの最大値と最小値との差とでは異なるため、図1
0に示すように、予め定数kを設けておき、Ymax −Y
min と比較することにより、路面が濡れているか否かの
判別が可能である。
【0045】比較器6は加算器4から入力された最大値
と最小値との差Ymax −Ymin を、前記定数kと比較す
る。前記積分値がkより小さいときは路面は濡れていな
いと判別し、kより大きいときは路面は濡れていると判
別する。
【0046】本実施例による路面状態検出装置は輝度信
号中の最大値と最小値のみを検出して用いるため実施例
1や実施例2のように積分回路を用いることなく実現す
ることができる。
【0047】実施例4.図11は本発明の実施例4にお
ける路面状態検出装置を示す図である。図において、2
5は高輝度部検出回路、26は低輝度部検出回路、27
と28は平均値演算回路である。
【0048】前記のように構成された路面状態検出装置
について、その動作を説明する。A/Dコンバータ2に
よって輝度信号からデータをサンプリングするまでは実
施例1と同様であり、その説明は省略する。図12は路
面を撮像した際の輝度信号と、高輝度部検出値と低輝度
検出値との関係を示す図である。高輝度部検出回路25
はサンプリングデータから図12に示すようにk3以上
のサンプリング値をだけを抜きだす。平均値演算回路2
7は高輝度部のサンプリングデータだけを積分し、抜き
出したデータ数m1で除算することによって高輝度部の
サンプリングデータの平均値Yhを求める。また、最小
値検出手段26はサンプリングデータから図12に示す
ようにk4以下のサンプリングデータだけを抜き出す。
平均値演算回路28は低輝度部のサンプリングデータだ
けを積分し、抜き出したデータ数m2で除算することに
よって低輝度部のサンプリングデータの平均値Y1を求
める。加算器4は高輝度部の平均値と低輝度部の平均値
との差Yh−Y1を求め、比較器6へ出力する。
【0049】実施例1で説明したように路面が乾いてい
るときと濡れているときとでは、図3および図4に示し
たように、輝度信号の強度分布に差が生じる。よって図
13に示すように路面が濡れているときの高輝度部の平
均値と低輝度部の平均値との差Yh−Ylと、路面が乾
いているときの高輝度部の平均値と低輝度部の平均値と
の差Yh−Ylとでは異なるため、予め定数kを比較器
6に設け、Yh−Ylと比較することにより、路面が濡
れているか否かの判別が可能である。
【0050】前記のように比較器6は入力された最大値
と最小値との差Yh−Ylを、前記定数と比較する。前
記積分値がkより小さいときは路面は濡れていないと判
別し、kより大きいときは路面は濡れていると判別す
る。
【0051】本実施例による路面状態検出装置は、輝度
信号中の高輝度部と低輝度部を検出して路面状態検出に
用いるため、輝度信号中において、ノイズなどの外乱に
よる極端に高い値を持つ輝度信号値や、極端に低い輝度
信号値などの特異な輝度信号に判別結果が左右されるこ
となく、高輝度部と低輝度部だけで輝度信号の強度分布
の分散を検出するため、簡単に精度の高い路面状態検出
装置を実現することができる。
【0052】実施例5.前記実施例1から4において比
較器6によって比較する定数を複数設ける。例えば実施
例1において定数kと積分値を比較することによって路
面の状態を判別した。図14は路面の状態と積分値との
関係を示す図であり、図に示すように前記定数をk5,
k6,k7と複数設ける。路面の状態が、乾いている状
態から完全に水が路面を覆う状態までを段階的に“乾い
ている”,“少し濡れている”,“かなり濡れてい
る”,“ひどく濡れている”と定めると、比較器6は積
分値がk5以上のとき“少し濡れている”と判別し、k
6以上のときは“かなり濡れている”と判別し、k7以
上のときは“ひどく濡れている”と判別する。前記のよ
うに定数を複数設けることによって、路面の状態を濡れ
ているか否かの判別だけではなく、段階毎に複数に判別
することができる。
【0053】実施例6.図15は本発明の実施例6にお
ける路面状態検出装置を示す図である。図において、3
0はサンプリングデータを複数の異なった値と比較する
比較器、31は比較手段によって比較された結果をカウ
ントするカウンタ、32はヒストグラムを生成するマイ
クロコンピュータである。
【0054】前記のように構成された路面状態検出装置
について、その動作を説明する。A/Dコンバータ2に
よって輝度信号からデータをサンプリングするまでは実
施例1と同様のためその説明は省略する。
【0055】比較器30は、図16に示すようにサンプ
リングデータを、異なるV1からV7の値と比較し、サ
ンプリングデータをL1からL8の領域に分割化する。
カウンタ31は比較器30によって各領域に分割化した
結果から、それぞれの層のサンプリングデータ数をカウ
ントする。マイクロコンピュータ32はカウンタ31に
よってカウントされたサンプリングデータ数からL1か
らL8までの領域のヒストグラムを生成する。
【0056】図17〜図19は路面の濡れ具合によるヒ
ストグラムを示す図である。路面が乾いているときは、
実施例1で述べたように、輝度信号レベルの変動率が小
さく、図17に示すように輝度信号は輝度信号レベルが
一定になるように自動利得制御回路15によって利得制
御されているため、自動利得制御回路15が収束させる
輝度レベルに集中する。路面が濡れ出すと、路面が濡れ
ている部分や、濡れていない部分、また路面上の水によ
る反射などが存在するため、輝度信号レベルは図18に
示すように形となる。さらに、路面が濡れ、路面のほと
んどが水に覆われた場合は、輝度信号は水によって反射
した輝度値と、反射しなかった輝度値と分かれるため、
図19に示すようなヒストグラムの形となる。マイクロ
コンピュータ32は図17,図18,図19に示したヒ
ストグラムの形のいずれに属するかを判別する。
【0057】ヒストグラムの検出方法は例えば、L1か
らL8までのサンプリング数をそれぞれ比較し、L5が
既定値k5より大きく、他の数値がL5から離れるに従
い小さくなり、サンプリング数が既定値k6より小さけ
れば図17に示したヒストグラムであると判別し、L1
からL8までのサンプリング数がいずれも既定値k7よ
り小さくL5が他の数値より大きければ、図18に示し
たヒストグラムであると判別し、小さければ図19に示
したヒストグラムであると判別する。
【0058】また、図20は本発明の実施例6における
路面状態検出装置の他の回路構成を示す図であり、図に
示すようにメモリ33を設けでおき、メモリ33にLU
Tとして前記図17から図19に示したヒストグラムを
記憶させておき、マイクロコンピュータ32から得られ
たヒストグラムのそれぞれの値とメモリ33内に設けら
れたヒストグラムとの値を比較することでいずれのヒス
トグラムに属するかを判別することができる。
【0059】前記のように輝度信号からヒストグラムを
生成し、予め設けておいたヒストグラムのいずれの形に
属するかを判別することで、路面の状態を3つに分けて
検出することができる。
【0060】本実施例による路面状態の検出方法では、
ヒストグラムを用いて輝度信号の強度分布を測定するた
め、得られた輝度信号中のノイズや外乱による特異な信
号に判別結果が左右されにくく、精度の高い検出精度を
得ることができる。また、モデルとする前記予め設定し
ておくヒストグラムは、予め路面を走行することでヒス
トグラムを生成するマイクロコンピュータ32から得ら
れるデータを持って作成するが、走行する路面から得ら
れるデータが、予め設定しておいたヒストグラムのデー
タと若干異なるときでも簡単に変更を加えることが可能
なため、検出精度を上げることも可能である。
【0061】また、本実施例では予め定めておいたヒス
トグラムを3つ設け、検出された輝度信号のヒストグラ
ムがいずれに属するかを判別するように構成したが、前
記予め定めておいたヒストグラムは3つに限らず、複数
設けておくことで路面の状態を複数の状態に分けて検出
することができることは言うまでもない。
【0062】実施例7.図21は本発明の実施例7にお
ける照明手段と撮像装置の配置を示す図である。図にお
いて、40は照明手段であり、41は実施例1から6の
路面状態検出装置においての撮像装置1である。
【0063】前記のように構成された路面状態検出装置
について、その動作を説明する。請求項1から請求項6
の発明において、照明手段40は路面を照射するよう
に、自動車に設置する。照明手段40と撮像装置41と
の関係を図20に示す。撮像装置41は、照明手段から
照射された光線が路面によって反射し、反射した光線が
入射するように自動車に設置する。すなわち図20にお
いて入射角θ1と受光角θ2が等しくなるように、照明
手段40と撮像装置41を設置する。
【0064】このように照明手段40によって路面を照
らすことによって、路面が濡れている場合、路面上の水
が反射するため、実施例1から実施例6において、路面
が濡れている場合と濡れていない場合の差が、より大き
くなる。例えば実施例1において図7に示した図は、図
22に示すように濡れている場合の積分値と、濡れてい
ない場合の積分値との差が大きくなり、路面状態の判別
がより容易になる。
【0065】実施例8.図23は本発明の実施例8にお
ける照明手段と撮像装置の設置位置を示す図である。図
において、42は自動車である。
【0066】照明手段40と撮像装置41を、外光の入
射しない自動車42の底部に設置する。自動車42の底
部は、自動車42自身の影となるため、太陽光や、路上
の照明などの光が入り込まない。前記のように設置する
ことによって、自動車42に設置した照明手段40以外
の照明等の影響を受けることなく、路面の反射光を撮像
することができる。
【0067】実施例9.図24は本発明の実施例9にお
ける路面状態検出装置を示す図である。図において、4
5はA/Dコンバータ2のサンプリングパルスを制御す
ることによって、輝度信号のサンプリング箇所を定める
タイミングジェネレータである。図24は本発明の一例
として、図1に示した実施例1の回路構成にタイミング
ジェネレータ45を具備した回路である。
【0068】撮像装置1によって、路面は図25や図2
6に示すように撮像される。前記のように撮像された映
像信号において、路面の部分は図27の斜線部アに代表
される箇所に集中する。そのため、タイミングジェネレ
ータ45はA/Dコンバータ2へ、斜線部アの部分だ
け、サンプリングを行うようにサンプリングパルスを発
生することによって、路面の部分の輝度信号だけをサン
プリングすることができる。
【0069】サンプリングされた後の路面の状態を検出
する処理については実施例1と同様のため説明を省略す
る。
【0070】前記のようにタイミングジェネレータ45
を設けることによって、路面部の輝度信号だけを抜き取
ることができるので、路面以外の風景などの輝度信号に
結果が左右されることなく、判別精度を上げることがで
きる。
【0071】実施例2から実施例6の発明においても同
様に前記タイミングジェネレータ45を具備することに
よって同様の効果が得られる。
【0072】実施例10.図28は本発明の実施例10
における路面状態検出装置を示す図である。図におい
て、50はA/Dコンバータ、51は撮像した映像信号
中から路面だけを検出する路面検出手段である。
【0073】前記のように構成された路面状態検出装置
について、その動作を説明する。A/Dコンバータ50
は撮像装置1から得られた輝度信号をディジタル変換す
る。路面検出手段51はA/Dコンバータ50から得ら
れた輝度信号から撮像された映像信号中から路面だけを
検出する。
【0074】路面検出手段51は、路面の白線を利用し
て検出する方法や、輝度信号のアパーチャ成分をパター
ンマッチングによって検出する方法などいろいろ挙げら
れるが、例えば次のように構成することによって実現す
ることができる。図29は路面検出手段51の具体的な
回路構成を示す図である。図において、60は映像信号
中のアパーチャ成分だけ抽出するエッジ検出回路、61
は抽出されたエッジ成分から路面の端を検出するパタン
認識手段である。前記のように構成された路面検出手段
の動作について説明する。エッジ検出回路60は映像信
号中からアパーチャ成分を抜き出す。
【0075】図30はエッジ検出回路60の出力結果を
示す図である。図25および図26に示したように、路
面は画面の中央下部に位置し、左右ほぼ対象の形をなし
ており、道路が前方で曲がっている場合も近くの路面の
端は、図30のイの枠内に存在する。また、アパーチャ
成分は細長く続いているおり、左側の路面の端は画面左
下より、右上方へ延び、右側の路面の端は画面右下よ
り、右上方へ延びる。パタン認識手段61はエッジ検出
回路60によって抜き出されたアパーチャ成分から、前
記のような条件を満たすアパーチャ成分だけを検出す
る。路面検出手段51は図31中ウに示すように、前記
検出されたアパーチャ成分によって囲まれた画面中央部
を路面とみなす。
【0076】路面検出手段51は検出した路面部だけ、
A/Dコンバータ2がデータをサンプリングするよう
に、制御信号をタイミングジェネレータ45へ出力す
る。例えば、路面検出手段51が検出した路面部だけh
ighのパルス信号を出力し、タイミングジェネレータ
45は、前記パルス信号によって、highの箇所だけ
サンプリングパルス信号が出力されるようにゲートをか
ければ、前記機能を実現することができる。
【0077】路面検出手段51によって検出された路面
部分だけ、A/Dコンバータ2によってサンプリングし
た後、路面の状態を検出する処理においては実施例1と
同様のため説明を省略する。
【0078】前記のようにタイミングジェネレータ45
および路面検出手段51を設けることによって、正確に
路面部の輝度信号だけを抜き取ることができるので、路
面以外の風景などの輝度信号に結果が左右されることな
く、判別精度を上げることができる。
【0079】実施例1から実施例6の発明においても同
様に前記タイミングジェネレータ45、A/Dコンバー
タ50、路面検出手段51を具備することによって同様
の効果が得られる。
【0080】
【発明の効果】以上のように、本発明の請求項1記載の
路面状態検出装置によれば、路面の色が無彩色であって
も、路面が濡れているか否かを判別できる路面状態検出
装置を得ることができる。
【0081】また、本発明の請求項2記載の路面状態検
出装置によれば、路面の色が無彩色であっても、実時間
で、路面が濡れているか否かを判別できる路面状態検出
装置を得ることができる。
【0082】また、本発明の請求項3記載の路面状態検
出装置によれば、請求項2の路面状態検出装置におい
て、輝度信号の平均値を算出する回路の削減を図ること
ができる。
【0083】また、本発明の請求項4記載の路面状態検
出装置によれば、路面の色が無彩色であっても、簡単な
回路構成かつ実時間で、路面が濡れているか否かを判別
できる路面状態検出装置を得ることができる。
【0084】また、本発明の請求項5記載の路面状態検
出装置によれば、路面の色が無彩色であっても、簡単な
回路構成かつ実時間で、ノイズや外乱などによる特異な
データに左右されない、路面が濡れているか否かを判別
できる路面状態検出装置を得ることができる。
【0085】また、本発明の請求項6記載の路面状態検
出装置によれば、路面の色が無彩色であっても、路面の
状態を濡れているか否かの判別だけではなく、段階毎に
複数に判別することができる路面状態検出装置を得るこ
とができる。
【0086】また、本発明の請求項7記載の路面状態検
出装置によれば、ヒストグラムを用いて輝度信号の強度
分布を測定するため、得られた輝度信号中のノイズや外
乱による特異な信号に結果が左右されにくく、精度の高
い検出精度を得ることができる。また、モデルとする前
記予め設定しておくヒストグラムは、予め路面を走行す
ることでヒストグラムを生成するマイクロコンピュータ
32から得られるデータを持って作成するが、走行する
路面から得られるデータが、予め設定しておいたヒスト
グラムのデータと若干異なるときでも簡単に変更を加え
ることが可能なため、検出精度を上げることも可能であ
る路面状態検出装置を得ることができる。
【0087】また、本発明の請求項8記載の路面状態検
出装置によれば、路面に光が当たらず、濡れている路面
に、水の反射による光沢のないときでも、路面が濡れて
いるか、否かを判別できる路面状態検出装置を得ること
ができる。また、請求項1から請求項7の路面状態検出
装置の判別精度を上げることができる。
【0088】また、本発明の請求項9記載の路面状態検
出装置によれば、太陽光や、路上に設置されている照明
の影響を受けることなく、路面が濡れているか、否かを
判別できる路面状態検出装置を得ることができる。
【0089】また、本発明の請求項10記載の路面状態
検出装置によれば、路面部の輝度信号だけを抜き取り路
面状態の判別を行うため、路面以外の風景などの輝度信
号に結果が左右されない路面状態検出装置を得ることが
できる。また、請求項1から請求項7の路面状態検出装
置の判別精度を上げることができる。
【0090】また、本発明の請求項11記載の路面状態
検出装置によれば、請求項10より正確に路面部の輝度
信号だけを抜き取ることができるので、路面以外の風景
などの輝度信号に結果が左右されることのない路面状態
検出装置を得ることができる。また、請求項1から請求
項7の路面状態検出装置の判別精度を上げることができ
る。
【図面の簡単な説明】
【図1】 本発明の実施例1における路面状態検出装置
を示す図である。
【図2】 図1における平均値演算回路の具体的な構成
を示す図である。
【図3】 乾いた路面を撮像した際の輝度信号の一例を
示す図である。
【図4】 濡れた路面を撮像した際の輝度信号の一例を
示す図である。
【図5】 乾いた路面を撮像した際の輝度信号の強度分
布の一例を示す図である。
【図6】 濡れた路面を撮像した際の輝度信号の強度分
布の一例を示す図である。
【図7】 路面の状態と積分値との関係を示す図であ
る。
【図8】 本発明の実施例2における路面状態検出装置
を示す図である。
【図9】 本発明の実施例3における路面状態検出装置
を示す図である。
【図10】 路面の状態と、最大値と最小値の差との関
係を示す図である。
【図11】 本発明の実施例4における路面状態検出装
置を示す図である。
【図12】 路面を撮像した際の輝度信号と、高輝度部
検出値と低輝度部検出値との関係を示す図である。
【図13】 路面の状態と、高輝度部の平均値と低輝度
部の平均値の差との関係を示す図である。
【図14】 路面の状態と積分値との関係を示す図であ
る。
【図15】 本発明の実施例6における路面状態検出装
置を示す図である。
【図16】 路面を撮像した際の輝度信号と、比較値と
の関係を示す図である。
【図17】 路面の濡れ具合によるヒストグラムを示す
図である。
【図18】 路面の濡れ具合によるヒストグラムを示す
図である。
【図19】 路面の濡れ具合によるヒストグラムを示す
図である。
【図20】 本発明の実施例6における路面状態検出装
置の他の回路構成を示す図である。
【図21】 本発明の実施例7における照明手段と撮像
装置の配置を示す図である。
【図22】 照明のあるときと、照明のないときとの積
分値の差を示す図である。
【図23】 本発明の実施例8における照明手段と撮像
装置の設置位置を示す図である。
【図24】 本発明の実施例9における路面状態検出装
置を示す図である。
【図25】 映像信号の一例を示す図である。
【図26】 映像信号の一例を示す図である。
【図27】 画面上で路面の位置する箇所を示す図であ
る。
【図28】 本発明の実施例10における路面状態検出
装置を示す図である。
【図29】 路面検出手段の具体的な回路構成を示す図
である。
【図30】 エッジ検出手段の出力結果を示す図であ
る。
【図31】 検出した路面の位置を示す図である。
【図32】 従来の路面状態検出装置を示す図である。
【符号の説明】
1 撮像装置、2 A/Dコンバータ、3 平均値演算
回路、4 加算器、5積分回路、6 比較器、7 出力
端子、11 積分回路、12 除算器、13 ラッ
チ、15 自動利得制御回路、20 最大値検出手段、
21 最小値検出手段、25 高輝度部検出手段、26
低輝度部検出手段、27,28 平均値演算回路、3
0 比較器、31 カウンタ、32 マイクロコンピュ
ータ、33 メモリ、40 照明手段、41 撮像装
置、42 自動車、45 タイミングジェネレータ、5
0 A/Dコンバータ、51 路面検出手段。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成7年5月18日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0002
【補正方法】変更
【補正内容】
【0002】
【従来の技術】図32は例えば特公平5−69011号
公報に示された従来の路面状態の構成図である。図にお
いて、100は撮像手段、101は画像処理手段、10
2は比較判定手段、103は路面状態記憶手段、104
は路面の摩擦係数記憶手段、105は摩擦係数選定手段
である。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0048
【補正方法】変更
【補正内容】
【0048】前記のように構成された路面状態検出装置
について、その動作を説明する。A/Dコンバータ2に
よって輝度信号からデータをサンプリングするまでは実
施例1と同様であり、その説明は省略する。図12は路
面を撮像した際の輝度信号と、高輝度部検出値と低輝度
検出値との関係を示す図である。高輝度部検出回路25
はサンプリングデータから図12に示すようにk3以上
のサンプリング値だけを抜きだす。平均値演算回路27
は高輝度部のサンプリングデータだけを積分し、抜き出
したデータ数m1で除算することによって高輝度部のサ
ンプリングデータの平均値Yhを求める。また、最小値
検出手段26はサンプリングデータから図12に示すよ
うにk4以下のサンプリングデータだけを抜き出す。平
均値演算回路28は低輝度部のサンプリングデータだけ
を積分し、抜き出したデータ数m2で除算することによ
って低輝度部のサンプリングデータの平均値Yを求め
る。加算器4は高輝度部の平均値と低輝度部の平均値と
の差Yh−Yを求め、比較器6へ出力する。

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 路面を撮像するための撮像手段と、撮像
    手段から得られた輝度信号レベルの強度分布を検出する
    検出手段を具備し、前記検出手段において、輝度信号の
    変動幅が予め定めた定数より大きければ、路面が濡れて
    いると判別し、変動幅が前記定数より小さければ路面が
    乾いていると判別することを特徴とする路面状態検出装
    置。
  2. 【請求項2】 路面を撮像するための撮像手段と、撮像
    手段から得られた輝度信号を、数フィールド毎にm個サ
    ンプリングするサンプリング手段と、前記サンプリング
    手段によってサンプリングされたサンプリングデータの
    平均値を求める手段と、前記平均値を次の数フィールド
    間保持し、保持した平均値と、各サンプリングデータと
    の絶対値差を求める手段と、前記絶対値差を積分する手
    段と、前記積分値を予め定めた定数と比較する比較手段
    とを具備し、前記比較手段において、求められた積分値
    を前記定数と比較することで、輝度信号レベルの強度分
    布を検出し、前記検出結果から、路面が濡れているか否
    かを判別することを特徴とする路面状態検出装置。
  3. 【請求項3】 路面を撮像するための撮像手段と、撮像
    手段から得られた輝度信号のレベルが一定になるように
    輝度信号を増幅する自動利得制御回路と、前記自動利得
    制御回路によって利得制御された輝度信号を、数フィー
    ルド毎にm個サンプリングするサンプリング手段と、前
    記サンプリング手段によってサンプリングされたサンプ
    リングデータと予め定めた第1の定数との絶対値差を求
    める手段と、前記絶対値差を積分する手段と、前記積分
    値を予め定めた第2の定数と比較する比較手段とを具備
    し、前記比較手段において、求められた積分値を前記第
    2の定数と比較することで、輝度信号レベルの強度分布
    を検出し、前記検出結果から、路面が濡れているか否か
    を判別することを特徴とする路面状態検出装置。
  4. 【請求項4】 撮像するための撮像手段と、撮像手段か
    ら得られた輝度信号を、数フィールド毎にm個サンプリ
    ングするサンプリング手段と、前記m個のサンプリング
    データの最大値を選択する手段と、最小値を選択する手
    段と、前記最大値と最小値との差を求める手段と、前記
    差を予め定めた定数と比較する比較手段とを具備し、前
    記比較手段において、求められた差を前記定数と比較す
    ることで、輝度信号レベルの強度分布を検出し、前記検
    出結果から、路面が濡れているか否かを判別することを
    特徴とする路面状態検出装置。
  5. 【請求項5】 路面を撮像するための撮像手段と、撮像
    手段から得られた輝度信号を、数フィールド毎にm個サ
    ンプリングするサンプリング手段と、前記m個のサンプ
    リングデータの高輝度部のデータだけを選択し、前記高
    輝度部の平均値を求める手段と、低輝度部のデータだけ
    を選択し、前記低輝度部の平均値を求める手段と、前記
    高輝度部の平均値と低輝度部の平均値との差を求める手
    段と、前記差を予め定めた定数と比較する比較手段とを
    具備し、前記比較手段において、求められた差を前記定
    数と比較することで、輝度信号レベルの強度分布を検出
    し、前記比較結果から、路面が濡れているか否かを判別
    することを特徴とする路面状態検出装置。
  6. 【請求項6】 比較手段で比較する予め定めた定数を複
    数設け、輝度信号の強度分布を検出し、路面の濡れ具合
    を数段階に判別することを特徴とする請求項2乃至請求
    項5のいずれかに記載の路面状態検出装置
  7. 【請求項7】 路面を撮像するための撮像手段と、撮像
    手段から得られた輝度信号を、数フィールド毎にm個サ
    ンプリングするサンプリング手段と、前記m個のサンプ
    リングデータを複数のレベルに分割する手段と、前記複
    数のレベルに分割したサンプリングデータをヒストグラ
    ム化するヒストグラム生成手段と、前記ヒストグラムの
    形状が、予め設けた複数のヒストグラムモデルのいずれ
    に属するかを判別する判別手段とを具備し、前記判別手
    段によって判別されたヒストグラムの形状から、輝度信
    号の強度分布を検出し、前記検出結果から路面が濡れて
    いるか否かを判別することを特徴とする路面状態検出装
    置。
  8. 【請求項8】 照明手段を具備し、前記照明手段によっ
    て路面を照らし、照明手段と路面の法線とのなす角であ
    る入射角と、撮像装置と路面の法線とのなす角である受
    光角が等しくなるように、撮像装置を設置することを特
    徴とする請求項1乃至請求項7のいずれかに記載の路面
    状態検出装置。
  9. 【請求項9】 照明手段及び撮像装置を外光の影響を受
    けないように、自動車の底部に設置したことを特徴とす
    る請求項8記載の路面状態検出装置。
  10. 【請求項10】 輝度信号をサンプリングするサンプリ
    ング手段において、輝度信号中、路面が撮像されている
    と予想される部分だけ、選択的に抜き出すことを特徴と
    する請求項2乃至請求項8のいずれかに記載の路面状態
    検出装置。
  11. 【請求項11】 撮像した輝度信号中から路面部分だけ
    を検出する路面検出手段を具備し、路面検出手段によっ
    て検出された路面部分だけ、選択的に抜き出すことを特
    徴とする請求項2乃至請求項8のいずれかに記載の路面
    状態検出装置。
JP00190895A 1995-01-10 1995-01-10 路面状態検出装置 Expired - Fee Related JP3438368B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00190895A JP3438368B2 (ja) 1995-01-10 1995-01-10 路面状態検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00190895A JP3438368B2 (ja) 1995-01-10 1995-01-10 路面状態検出装置

Publications (2)

Publication Number Publication Date
JPH08189894A true JPH08189894A (ja) 1996-07-23
JP3438368B2 JP3438368B2 (ja) 2003-08-18

Family

ID=11514686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00190895A Expired - Fee Related JP3438368B2 (ja) 1995-01-10 1995-01-10 路面状態検出装置

Country Status (1)

Country Link
JP (1) JP3438368B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084959A (ja) * 2003-09-09 2005-03-31 Fuji Heavy Ind Ltd 車外監視装置
JP2015535204A (ja) * 2012-09-20 2015-12-10 グーグル インコーポレイテッド 道路天候条件検出
JP2020094896A (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 路面状態判定装置、および、路面状態判定システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5089448B2 (ja) * 2008-03-14 2012-12-05 富士通株式会社 反射特性評価装置、反射特性評価方法および反射特性評価プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084959A (ja) * 2003-09-09 2005-03-31 Fuji Heavy Ind Ltd 車外監視装置
JP4532089B2 (ja) * 2003-09-09 2010-08-25 富士重工業株式会社 車外監視装置
JP2015535204A (ja) * 2012-09-20 2015-12-10 グーグル インコーポレイテッド 道路天候条件検出
JP2020094896A (ja) * 2018-12-12 2020-06-18 日立オートモティブシステムズ株式会社 路面状態判定装置、および、路面状態判定システム

Also Published As

Publication number Publication date
JP3438368B2 (ja) 2003-08-18

Similar Documents

Publication Publication Date Title
JP4389602B2 (ja) 物体検出装置、物体検出方法、プログラム
JP4757932B2 (ja) 車両用撮像装置の露出制御装置及び露出制御方法
JPH09282452A (ja) 監視装置
JP3438368B2 (ja) 路面状態検出装置
JP2003185412A (ja) 画像取得装置および画像取得方法
JPH11278182A (ja) 車両用霧状況検出装置
JP3385475B2 (ja) 画像監視装置
JP2008180622A (ja) 路面積雪検出装置及び路面積雪検出方法
JP3957495B2 (ja) 画像センサ
JPH0981758A (ja) 車両検出装置
JP4296100B2 (ja) 撮像装置
JP4604112B2 (ja) 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置
US4603960A (en) Method for and apparatus for determining an optimum gradation parameter for developing aerial photographs
KR0183788B1 (ko) 영상 촬영 기록 장치의 광량 부족 검출 및 표시방법
JPH08201288A (ja) 路面状態検出装置
JP2962290B2 (ja) トンネル内自動監視装置
CN117690028B (zh) 基于遥感传感器的目标探测方法及系统
JP4202871B2 (ja) 撮像装置
JPH08159712A (ja) パターン認識方法
JP3755319B2 (ja) 主被写体検出装置およびそれを用いた機器
JPH08335300A (ja) ランプ点灯検出方法およびストップランプ点灯検出装置
KR100188017B1 (ko) 디지탈 신호 처리시스템에서의 카메라 노출값 조절방법
JP2000341704A (ja) カラー画像目標位置検出装置
JPH08241413A (ja) 動領域検出装置
JP4202545B2 (ja) 撮像装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080613

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080613

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090613

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100613

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100613

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees