JP3626905B2 - 車外監視装置 - Google Patents
車外監視装置 Download PDFInfo
- Publication number
- JP3626905B2 JP3626905B2 JP2000358135A JP2000358135A JP3626905B2 JP 3626905 B2 JP3626905 B2 JP 3626905B2 JP 2000358135 A JP2000358135 A JP 2000358135A JP 2000358135 A JP2000358135 A JP 2000358135A JP 3626905 B2 JP3626905 B2 JP 3626905B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- road
- dry
- distance data
- lane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像画像に基づいて走行路の路面状況、特に乾いた路面を検出する車外監視装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した車載カメラを用いた車外監視装置が注目されている。この装置は、車載カメラにより撮像された画像に基づいて、走行環境を認識し、必要に応じて、ドライバーに注意を喚起したり、シフトダウン等の車両制御を行うものである。
【０００３】
この種の車外監視装置においては、撮像された画像に基づいて路面状態を検出し、検出された路面状態を車両制御等に反映させるものがある。例えば、本出願人による特願平１１−２１６７１３号には、雨等により濡れた路面では立体物が路面に映り込むことを利用して路面の湿潤状態を検出し、路面の湿潤状態が検出されたとき、車両制御等の一時的な中断や制御パラメータの変更等を行う技術が開示されている。この技術によれば、一対の画像データにおける対象物の視差に基づいて距離データを算出するとともに、画像データと距離データとに基づいて道路の三次元的な形状を認識し、道路の路面位置よりも下側に存在する距離データ数（ウェットデータ数）に基づいて路面の湿潤状態（ウェット路面）を認識する。また、例えば本出願人による特願平１１−２１６３７３号や特願平１１−２１６７１３号には、同様に画像から、路面上に部分的に雪が残っている状態のムラ雪路面や路面が一面雪に覆われた一面雪路面を検出する車外監視装置が開示されている。このような車外監視装置においては、ウェット路面や雪道を検出して路面が低μ路であることを認識し、制御パラメータの変更等を行うことにより、車両走行時の安全性を向上することができる。
【０００４】
【発明が解決しようとする課題】
ところで、上述のような車外監視装置においては、ウェット路面や雪道の認識に加え、路面の乾燥状態（ドライ路面）を積極的に認識して車両制御等に反映させることが望ましい。例えば、４輪駆動車に搭載された車外監視装置において、ドライ路面を認識した際には、路面は高μ路であると判断し、必要以上の減速制御等を防止したり駆動輪を前輪あるいは後輪に限定する等の制御を行うことにより、燃費向上等を図ることができる。しかしながら、このような制御を行うためには、路面の乾燥状態を精度よく検出する必要がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、路面の乾燥状態を精度よく検出することがきる車外監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明による車外監視装置は、撮像された画像から道路の路面状態を検出する車外監視装置において、撮像された一対の画像における同一対象物の位置に関する相対的なずれに基づいて、当該画像上の対象物の三次元位置を示す距離データを算出するステレオ画像処理手段と、上記距離データと上記画像の輝度情報に基づいて、車線検出を含む道路形状の三次元的な認識を行う道路認識手段と、上記道路上の設定領域内で路面への映り込みに起因して路面位置よりも下側に存在する距離データの数が、設定された距離データ数の閾値以上であるとき路面が湿潤状態である可能性が高いと判定する路面状態認識手段と、を備え、上記路面状態認識手段は、路面が湿潤状態である可能性が高いと判定した路面であっても、上記道路認識手段で車線が連続的に検出されている場合に高値に算出される車線の信頼度が、設定した信頼度の閾値よりも高いとき、路面が乾燥状態であると判定することを特徴とする。
【０００７】
また、請求項２記載の発明による車外監視装置は、請求項１記載の発明において、上記路面状態認識手段は、上記道路における路面の平均輝度が設定された輝度の閾値よりも大きいとき、路面が乾燥状態ではないと判定することを特徴とする。
【０００８】
また、請求項３記載の発明による車外監視装置は、請求項１または請求項２記載の発明において、上記路面状態認識手段は、上記道路上の設定領域内で路面の模様に起因して路面面上に存在する距離データの数が設定された距離データ数の閾値よりも大きく、且つ、上記道路上の輝度の分散値が設定された輝度分散値の閾値よりも大きいとき、路面が乾燥状態でないと判定することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１はステレオ車外監視装置の機能ブロック図、図２は画像上における車線検出領域を示す説明図、図３は車線モデルの説明図、図４は距離データ監視領域を示す説明図、図５は乾燥路判定ルーチンを示すフローチャート、図６はドライ路面走行時における画像の一例を示す説明図、図７はウェット路面走行時における画像の一例を示す説明図、図８は夜間ドライ路面走行時における画像の一例を示す説明図である。
【００１１】
図１において、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２は、自動車等の車両の車幅方向において所定の間隔で取り付けられており、車両前方の景色を撮像する。メインカメラ１は、ステレオ処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２は、この処理における比較画像（左画像）を撮像する。互いの同期している状態において、カメラ１，２から出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。このようにして補正された基準画像および比較画像は、元画像メモリ８に格納される。
【００１２】
一方、ステレオ画像処理手段としてのステレオ画像処理部６は、画像補正部５により補正された基準画像および比較画像から、画像中の同一対象物の三次元位置（自車両から対象物までの距離を含む）を算出する。この距離は、左右画像における同一対象物の位置に関する相対的なずれから、三角測量の原理に基づき算出することができる。このようにして算出された画像の距離情報は、距離データメモリ７に格納される。
【００１３】
マイクロコンピュータ９は、立体物認識部１０と、道路認識手段としての道路認識部１１と、路面状態認識手段としての路面状態認識部１２とを有し、各認識部では、元画像メモリ８および距離データメモリ７に格納された各情報に基づき、車両前方の走行車等の立体物認識、車線（白線等）検出を含めた車両前方の道路認識、認識した道路における路面状態認識等を行う。ここで、路面状態認識部１２で行われる路面状態認識としては、路面が乾燥状態（アスファルトドライ路面、以下単にドライ路面ともいう）であるか否かの判定が行われる。そして、これらの認識結果は処理部１３に入力され、処理部１３は、各入力情報に基づき、警報が必要とされた場合、モニタスピーカ等の警報装置１９によりドライバーに対して注意を促したり、或いは、必要に応じて、各制御部１４〜１８を制御する。例えば、ＡＴ（自動変速機）制御部１４に対して、シフトダウンを実行する旨を指示する。また、エンジン制御部１８に対してエンジン出力を低下する旨指示してもよい。その他にも、アンチロックブレーキシステム（ＡＢＳ）制御部１５、トラクションコントロールシステム（ＴＣＳ）制御部１６、或いは、各車輪のトルク配分や回転数を制御する車両挙動制御部１７に対して、適切な車両制御を指示することも可能である。
【００１４】
上記道路認識部１１は、例えば本出願人による特願平１１−２６９５７８号に詳述する方法により道路形状の認識を行うものである。すなわち、道路認識部１１は、例えば５１２×２００画素領域を有する基準画像に対し、予め設定された、或いは、自車両のピッチング状態等に応じて可変設定された検索範囲内（検索開始ラインｊｓ〜検索終了ラインｊｅ：図２参照）の水平ライン毎に車線検出を行い、検出された車線の位置と距離データメモリ７からの距離情報とに基づいて、実空間における車線位置認識（すなわち道路認識）を行う。
【００１５】
具体的に説明すると、道路認識部１１では、先ず、各検索ラインｊ毎の道路面輝度Ａｒｏａｄを算出する。この道路面輝度Ａｒｏａｄは、画像中央部分を除いた左右領域で求められるもので、検索開始ラインｊｓにおいては該検索開始ラインｊｓとこの検索開始ラインｊｓよりも手前の４本のプレ水平ラインｊｐｒｅとに基づいて行われ、それ以降の検索ラインにおいては既に検出処理された輝度情報に基づいて行われる。
【００１６】
そして、道路認識部１１では、各対象ラインｊ毎に、道路面輝度Ａｒｏａｄから算出された輝度判定用閾値と、画像の輝度情報や距離情報等とに基づいて車線検出を行う。すなわち、道路認識部１１では、エッジ強度（輝度微分値）に基づく車線開始点及び終了点の判定、輝度判定用閾値と輝度との比較に基づく車線開始点及び終了点の判定等を行い、車線候補の抽出を行う。そして、距離情報に基づき、車線候補が道路面上にあるか否かを検証することで車線候補点の中から車線のみを抽出する。ここで車線開始点とは車線とアスファルトとの内側の境界に相当する車線点をいい、車線終了点とは車線とアスファルトとの内側の境界に相当する車線点をいう。
【００１７】
さらに、道路認識部１１では、車線検出により求めた車線点Ｐ（ｉ，ｊ）とその点における視差ｄとのセット（ｉ，ｊ，ｄ）を全ての車線点Ｐについて求め、カメラ緒元等に基づいて左右の車線の実空間上の位置（Ｘ，Ｙ，Ｚ）を一意的に算出する。そして、道路認識部１１では、道路形状を表現した関数（道路モデル）の各パラメータを、道路形状と合致するように設定することにより予測走行線Ｌ（図３参照）の算出を行う。すなわち、図３の例では、認識範囲を所定の距離（Ｚ１〜Ｚ７）ごとに７つの区間に分け、それぞれの区間における車線点Ｐを最小二乗法により直線近似する。
（車線モデル）
水平形状モデル
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ
道路高モデル
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ
そして、このようにして算出された左右のサイドラインから予測走行線Ｌを算出することができる。
【００１８】
さらに、道路認識部１１では、検出された車線点Ｐの有無（個数）と、従前のフレームで検出された車線点Ｐとの連続性とを考慮して左右の車線についての信頼度Ｄを算出する。この場合、各車線信頼度Ｄは、車線点Ｐが連続的に検出されている場合に高いものとなる。
【００１９】
また、道路認識部１１では、認識された道路における路面平均輝度Ｂｒを算出する。ここで、路面平均輝度を算出する際の路面領域は、前後方向の輝度変化の影響を小さくするため横長の領域に設定されることが望ましい。また、上記路面領域は、夜間走行を考慮すると、自車ライトの照射範囲内であって且つ他の照明光等による外乱の影響が小さい領域であることが望ましい。従って、本実施の形態では、道路モデルの第２領域（図３参照）に検出された部分の道路について路面平均輝度Ｂｒを算出するよう設定されている。この場合、路面平均輝度Ｂｒの算出は、路側物の影響を低減するため、検出された左右車線の内側路面について行う。
【００２０】
路面状態認識部１２は、認識された道路の路面面上に存在する距離データ（路面面上データ）及び路面よりも下側位置に存在する距離データ（路面下データ）を検出して路面面上データ数Ｉ及び路面下データ数Ｊをカウントする距離データカウント部１２ａと、認識された道路の路面上の輝度分散値ＶＡＲを算出する輝度分散値算出部１２ｂと、これら路面面上データ数Ｉ，路面下データ数Ｊ，輝度分散値ＶＡＲ及び、車線信頼度Ｄ，路面平均輝度Ｂｒ等に基づいて路面の乾燥状態を判定する乾燥路判定部１２ｃと、を備えて構成されている。
【００２１】
距離データカウント部１２ａは、例えば本出願人による特願平１１−２１６７１３号に詳述する方法により、路面の路面面上データ数Ｉおよび路面下データ数Ｊをカウントするものである。
【００２２】
すなわち、距離データカウント部１２ａでは、先ず、道路認識部１１から予測走行線Ｌが入力され、この予測走行線Ｌ基準として、例えば対応する実空間において、自車両の前方向に４０ｍ（０≦Ｚ≦４０）、左右の幅方向にそれぞれ２ｍ（−２≦Ｘ≦２）となる距離データ監視領域Ｒが設定される（図４参照）。
【００２３】
そして、距離データカウント部１２ａでは、距離データ監視領域Ｒ内に存在する距離データから有効距離データが特定される。ここで、有効距離データとは、例えば４×４の画素ブロック単位で１つ算出されるもので、画像の水平方向（横方向）の輝度エッジを所定数以上有する画素ブロックに関する距離データをいう。
【００２４】
さらに、距離データカウント部１２ａでは、特定された各有効距離データを、立体物データ、路面面上データ、路面下データの３つに分類し、各データ数をカウントする。ここで、立体物データとは、先行車等の立体物等に起因して算出された距離データであり、Ｙ＞０．３（単位はｍ）の距離データが立体物データとして分類される。また、路面面上データとは、走行路の路面（車線、路面のわだち、砂利等）に起因して算出された距離データであり、−０．４≦Ｙ≦０．３の距離データが路面面上データとして分類される。また、路面下データとは、雨により濡れた路面における立体物の映り込み等に起因して算出された距離データであり、Ｙ＜０．４の距離データが路面下データとして分類される。
【００２５】
輝度分散値算出部１２ｂは、例えば本出願人による特願平１１ー２１６９１５号に詳述する方法により、輝度分散値ＶＡＲの算出を行うものである。この場合、輝度分散値算出部１２ｂでは、画像全体にわたる輝度に対して分散値の算出を行うのではなく、認識された道路上のエリアに限定して輝度分散値ＶＡＲの算出を行う。
【００２６】
すなわち、輝度分散値算出部１２ｂでは、元画像上に、道路認識部１１で認識された道路に対応する矩形の画像領域を設定し、この画像領域を水平方向に所定画素ずつ分割した長方形状（画像の垂直方向に延在）の監視領域Ｎｉ（１≦ｉ≦ｎ）を設定する。
【００２７】
そして、輝度分散値算出部１２ｂでは、監視領域Ｎ毎に輝度和Ａを算出する。ある監視領域Ｎｉにおける輝度和Ａｉは、その領域内において均一に分散するような複数の画素をサンプルとして抽出し、それらの輝度値を加算した値（またはそれらの平均値）として算出することができる。
【００２８】
そして、輝度分散値算出部１２ｂでは、上記画像領域の輝度分布特性の分散値ＶＡＲを下式に基づいて算出する。
但し、ｎは監視領域の数、Ａａｖｅは輝度和の平均値である。
【００２９】
乾燥路判定部１２ｃは、道路認識部１１で算出された車線信頼度Ｄ，路面平均輝度Ｂｒが入力されるとともに、距離データカウント部１２ａでカウントされた路面面上データ数Ｉ，路面下データ数Ｊ、及び、輝度分散値算出部１２ｂで算出された輝度分散値ＶＡＲが入力され、これら各情報に基づいてドライ路面の判定を行う。そして、乾燥路判定部１２ｃでは、ドライ路面であると判定されたときＤＲＹ路面判定フラグＦをＯＮし、そうでない場合にＤＲＹ路面判定フラグＦをＯＦＦする。ここで、乾燥路判定部１２ｃには、上記各情報に加え、車速センサ（図示せず）からの自車速度や、立体物認識部１０からの先行車両に関する情報が入力され、ドライ路面判定に先立ち、現在、ドライ路面判定が可能な状態にあるか否かが判断される。
【００３０】
以下、ドライ路面の判定処理について、図５のフローチャートに従って詳細に説明する。このドライ路面の判定処理は、後述する各判定によってドライ路面でない路面状態（一面雪路面、ムラ雪路面、ウェット路面等）を判定することにより、ドライ路面を判定するものである。
【００３１】
このルーチンは設定時間毎に実行されるもので、ステップＳ１０１では、先ず、自車速度が予め設定された設定速度Ｖ１以上であるか否かの判断を行う。ここで、上記設定速度Ｖ１は、狭路や駐車場内を走行する際に自車両が取るであろう所定の低速度に設定されるものである。すなわち、狭路や駐車場内等では、前方が壁であったり車線が存在しない等の理由から、画像に基づく道路情報を十分に得ることが困難な場合が多く、このような場合には適切なドライ路面の判定が困難となる。
【００３２】
そこで、ステップＳ１０１において、自車速度が設定速度Ｖ１よりも低いときには、適切なドライ路面の判定が困難であると判断し、ステップＳ１１５に進みＤＲＹ判定フラグＦをＯＦＦした後、ルーチンを抜ける。
【００３３】
一方、ステップＳ１０１において、自車速度が上記設定速度Ｖ１以上であると判断した場合には、ステップＳ１０２に進む。
【００３４】
ステップＳ１０２では、立体物認識部１０からの情報に基づき、自車両と直前の先行車両との車間距離が予め設定された設定距離ｌ以上であるか否かの判断を行う。ここで、設定距離ｌは、ドライ路面判定に必要な路面領域が先行車両に覆われることなく撮像可能となるための最低車間距離であり、予め実験等により設定された距離である。すなわち、ステップＳ１０２では、先行車間距離が設定距離ｌ以上であるか否かの判断を行うことにより、適切なドライ路面判定が可能か否かを調べる。
【００３５】
そして、ステップＳ１０２において、先行車間距離が設定距離ｌよりも小さい場合には、必要な路面領域の撮像が困難であり適切なドライ路面判定が困難であると判断し、ステップＳ１１５に進みＤＲＹ路面判定フラグＦをＯＦＦした後、ルーチンを抜ける。
【００３６】
一方、ステップＳ１０２において、先行車間距離が設定距離ｌ以上であると判断した場合には、ステップＳ１０３に進む。
【００３７】
ステップＳ１０３では、道路認識部１１で算出された路面平均輝度Ｂｒが予め設定された所定の閾値Ｂｒ１以下であるか否かの判断を行う。ここで、閾値Ｂｒ１は、一面雪に覆われた路面（以下、一面雪路面）と他の路面状態とを区別するための閾値である。すなわち、一面雪路面においては、他の路面状態に比べて路面平均輝度が大きくなる。従って、実験等によって求められた各路面状態における路面平均輝度等に基づいて閾値Ｂｒ１を適切に設定し、算出された路面平均輝度Ｂｒと比較することにより、一面雪路面と他の路面状態とを区別することができる。
【００３８】
上記ステップＳ１０３では、路面平均輝度Ｂｒが閾値Ｂｒ１よりも大きい場合に、一面雪路面であり、ドライ路面ではないと判定してステップＳ１１０に進む。
【００３９】
一方、ステップＳ１０３において、路面平均輝度Ｂｒが閾値Ｂｒ１以下である場合には、一面雪路面以外の路面状態であると判定してステップＳ１０４に進む。
【００４０】
ステップＳ１０４では、距離データカウント部１２ａでカウントされた路面面上データ数Ｉが予め設定された所定の閾値Ｉ１以下であるか否かの判断を行う。ここで、閾値Ｉ１は、路面上に部分的に雪が残っている状態のムラ雪路面と他の路面状態とを区別するための閾値である。すなわち、ムラ雪路面においては、雪の分布によるまだら模様が路面面上の距離データ（路面面上データ）として検出されるため、路面面上データ数Ｉが大きくなる。従って、予め実験等によって求められた各路面状態における路面面上データ数に基づいて閾値Ｉ１を適切に設定し、算出された路面面上データ数Ｉと比較することにより、ムラ雪路面と他の路面状態とを区別することができる。
【００４１】
上記ステップＳ１０４では、路面面上データ数Ｉが閾値Ｉ１以下である場合に、路面はムラ雪路面以外の路面状態であると判定してステップＳ１０６に進む。
【００４２】
一方、ステップ１０４において、路面面上データ数Ｉが閾値Ｉ１よりも大きい場合には、路面はムラ雪路面である可能性が高いと判定してステップＳ１０５に進む。
【００４３】
ステップＳ１０５では、輝度分散値算出部１２ｂで算出された輝度分散値ＶＡＲが予め設定された所定の閾値ＶＡＲ１以下であるか否かの判断を行う。ここで、閾値ＶＡＲ１は、上記ステップＳ１０４において、ムラ雪路面である可能性が高いと誤判定されたものを抽出して区分するための閾値である。すなわち、路面においては、ムラ雪路面の他に、汚れや工事跡等が多い場合においても例外的に路面面上データ数Ｉが大きくなることがあり、このような場合、ドライ路面等の路面状態であっても、ムラ雪路面である可能性が高いと判定されることがある。ところで、汚れや工事跡等の多い路面はムラ雪路面に比べて輝度分散が小さく、この点で両者は異なる。そこで、予め実験等によって求められた各路面状態における輝度分散値に基づいて、閾値ＶＡＲ１を適切に設定し、算出された輝度分散値ＶＡＲと比較することにより、ムラ雪路面である可能性が高いと判定された路面の中から他の路面状態を抽出して区分することができる。
【００４４】
上記ステップＳ１０５では、輝度分散値ＶＡＲが閾値ＶＡＲ１以下である場合に、路面はムラ雪路面以外の路面状態であると判定してステップＳ１０６に進む。
【００４５】
一方、ステップＳ１０５において、輝度分散値ＶＡＲが閾値ＶＡＲ１よりも大きい場合（路面面上データ数Ｉが閾値Ｉ１よりも大きく且つ輝度分散値ＶＡＲが閾値ＶＡＲ１よりも大きい場合）には、路面はムラ雪路面であり、ドライ路面ではないと判定してステップＳ１１０に進む。
【００４６】
ステップＳ１０６では、距離データカウント部１２ａでカウントされた路面下データ数Ｊが予め設定された所定の閾値Ｊ１以下であるか否かの判断を行う。ここで、閾値Ｊ１は、湿潤状態の路面（ウェット路面）とドライ路面とを区別するための閾値である。すなわち、図７に示すように、ウェット路面には立体物の映り込みが発生し、この点でドライ路面（図６参照）と異なる。そして、ウェット路面においては、この路面への立体物の映り込みに起因して、路面下の距離デー多数（路面下データ数Ｊ）がドライ路面よりも大きくなる。従って、実験等によって求められた各路面状態における路面下データ数等に基づいて閾値Ｊ１を適切に設定し、算出された路面下データ数Ｊと比較することにより、ウェット路面とドライ路面とを区別することができる。
【００４７】
上記ステップＳ１０６では、路面下データ数Ｊが閾値Ｊ１以下である場合に、ドライ路面である判定してステップＳ１０８に進む。
【００４８】
一方、ステップＳ１０６において、路面下データ数Ｊが閾値Ｊ１よりも大きい場合には、ウェット路面である可能性が高いと判定してステップＳ１１０に進む。
【００４９】
ステップＳ１０７では、道路認識部１１で検出された左右の車線のうち少なくとも何れか一方の車線信頼度Ｄが予め設定された所定の閾値Ｄ１以上であるか否かの判断を行う。ここで、閾値Ｄ１は、上記ステップＳ１０６において、ドライ路面であるにもかかわらず、ウェット路面である可能性が高いと判定されたものを抽出して区分するための閾値である。すなわち、ドライ路面においては、例えば図８に示すように、夜間に対向車のヘッドライト等で路面が照らされた場合等に例外的に路面下データ数Ｊが大きくなることがあり、このような場合、ドライ路面であっても、ウェット路面である可能性が高いと判定されることがある。ところで、ドライ路面においては、ウェット路面に比べて一般に、車線と路面との間の輝度差やエッジ強度（輝度変化量）等が大きく、車線を連続的に検出することが容易となるため、車線信頼度Ｄが高くなる。そこで、予め実験等によって求められた各路面状態における車線信頼度に基づいて閾値Ｄ１を適切に設定し、算出された車線信頼度Ｄと比較することにより、ウェット路面である可能性が高いと判定された路面の中から、ドライ路面を抽出して区分することができる。
【００５０】
上記ステップＳ１０７では、左右の車線信頼度Ｄが両方とも閾値Ｄ１よりも小さい場合、ウェット路面であると判定してステップＳ１１０に進む。なお、図８に示すように、ドライ路面においても対向車のヘッドライト光等により一時的に車線の検出が困難となる場合があるが、ヘッドライト光等の影響は部分的なものであるため、このような光等に起因する車線信頼度の低下が左右の車線に同時に発生することは考えにくい。そこで、ステップＳ１０７では、左右の車線信頼度Ｄが両方とも閾値Ｄ１よりも小さい場合のみ、ステップＳ１１０に進む。
【００５１】
一方、ステップＳ１０７において、左右の車線のうち少なくとも何れか一方の車線信頼度Ｄが閾値Ｄ１以上である場合には、ドライ路面であると判定してステップＳ１０８に進む。
【００５２】
ステップＳ１０６あるいはＳ１０７からステップＳ１０８に進むと、ステップＳ１０８では、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最大値Ｃｍａｘよりも小さいか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最大値Ｃｍａｘよりも小さい場合にはステップＳ１０９に進み、ＤＲＹ路面カウンタＣｄｒｙをインクリメント（Ｃｄｒｙ←Ｃｄｒｙ＋１）した後、ステップＳ１１２進む。
【００５３】
一方、ステップＳ１０８において、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最大値Ｃｍａｘである場合には、そのままステップＳ１１２に進む。
【００５４】
また、ステップＳ１０３、Ｓ１０５、あるいは、Ｓ１０７からステップＳ１１０に進むと、ステップＳ１１０では、ＤＲＹ路面カウンタＣｄｒｙが予め設定されたカウンタ最小値Ｃｍｉｎよりも大きいか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最小値Ｃｍｉｎよりも大きい場合にはステップＳ１１１に進み、ＤＲＹ路面カウンタＣｄｒｙをデクリメント（Ｃｄｒｙ←Ｃｄｒｙ−１）した後、ステップＳ１１２に進む。
【００５５】
一方、ステップＳ１１０において、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最小値Ｃｍｉｎである場合には、そのままステップＳ１１２に進む。
【００５６】
ステップＳ１１２では、ＤＲＹ路面カウンタＣｄｒｙが予め設定された閾値Ｃｄｒｙ１（Ｃｍｉｎ＜Ｃｄｒｙ１＜Ｃｍａｘ）以上であるか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ１以上である場合にはステップＳ１１３に進む。そして、ステップＳ１１３において、路面がドライ路面であることを示すＤＲＹ判定フラグＦをＯＮ（Ｆ←１）した後、ルーチンを抜ける。
【００５７】
一方、ステップＳ１１２において、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ１よりも小さい場合には、ステップＳ１１４に進む。
【００５８】
ステップＳ１１４では、ＤＲＹ路面カウンタＣｄｒｙが予め設定された閾値Ｃｄｒｙ２（Ｃｍｉｎ＜Ｃｄｒｙ２＜Ｃｄｒｙ１＜Ｃｍａｘ）以下であるか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ２以下である場合にはステップＳ１１５に進み、ＤＲＹ判定フラグＦをＯＦＦ（Ｆ←０）した後、ルーチンを抜ける。
【００５９】
一方、ステップＳ１１４において、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ２よりも大きい場合には、そのままルーチンを抜ける。
【００６０】
このような実施の形態では、撮像された画像に基づいて車線検出を含む道路形状の認識を行い、ウェット路面である可能性が高いと判定した場合であっても、検出した車線の信頼度が設定された閾値よりも高いときにはドライ路面であると判定するので、路面の乾燥状態を精度よく検出することができる。
【００６１】
すなわち、ドライ路面においては、ウェット路面に比べて一般に、車線と路面との間の輝度差やエッジ強度が高くなることに起因して車線を連続的に検出することが容易となり、検出した車線の信頼度が高くなることに着目し、一旦ウェット路面である可能性が高いと判定した場合であっても車線信頼度が高い場合にはドライ路面であると判定するので、路面が乾燥状態であることを精度よく検出することができる。
【００６２】
特に、路面下の距離データ数（路面下データ数）を算出し、この路面下データ数が大きい場合に路面がウェット路面である可能性が高いと判定する判定方法においては、夜間に対向車のヘッドライト光が路面に反射されている場合等にドライ路面であるにもかかわらずウェット路面である可能性が高いと誤判定する場合があるが、このような判定方法によって、一旦ウェット路面である可能性が高いと判定した場合であっても車線信頼度が高い場合にはドライ路面であると判定するのでドライ路面の検出精度を向上することができる。
【００６３】
また、路面平均輝度を算出し、この路面平均輝度が大きい場合には、路面は一面雪路面でありドライ路面ではないと判定することにより、ドライ路面の検出精度を向上することができる。
【００６４】
また、路面面上の距離データ数（路面面上データ数）を算出するとともに道路上の輝度分散値を算出し、路面面上データ数が大きく且つ道路上の輝度分散値が大きい場合には、路面はムラ雪路面でありドライ路面ではないと判定することにより、ドライ路面の検出精度を向上することができる。
【００６５】
そして、このような車外監視装置では、ドライ路面を精度よく認識して車両制御等に反映させることにより、燃費向上等を効果的に実現することができる。
【００６６】
【発明の効果】
以上説明したように本発明によれば、車線検出を含む道路形状の認識を行い、路面が湿潤状態である可能性が高いと判定した路面であっても、検出された車線の信頼度が設定された閾値よりも高いときには、路面が乾燥状態であると判定することをにより、路面の乾燥状態を精度よく検出することがきる。
【図面の簡単な説明】
【図１】ステレオ車外監視装置の機能ブロック図
【図２】画像上における車線検出領域を示す説明図
【図３】車線モデルの説明図
【図４】距離データ監視領域を示す説明図
【図５】乾燥路判定ルーチンを示すフローチャート
【図６】ドライ路面走行時における画像の一例を示す説明図
【図７】ウェット路面走行時における画像の一例を示す説明図
【図８】夜間ドライ路面走行時における画像の一例を示す説明図
【符号の説明】
１ メインカメラ
２ サブカメラ
５ 画像補正部
６ ステレオ画像処理部（ステレオ画像処理手段）
７ 距離データメモリ
８ 元画像メモリ
９ マイクロコンピュータ
１０ 立体物認識部
１１ 道路認識部（道路認識手段）
１２ 路面状態認識部（路面状態認識手段）
１２ａ 距離データカウント部
１２ｂ 輝度分散値算出部
１２ｃ 乾燥路判定部
【発明の属する技術分野】
本発明は、撮像画像に基づいて走行路の路面状況、特に乾いた路面を検出する車外監視装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した車載カメラを用いた車外監視装置が注目されている。この装置は、車載カメラにより撮像された画像に基づいて、走行環境を認識し、必要に応じて、ドライバーに注意を喚起したり、シフトダウン等の車両制御を行うものである。
【０００３】
この種の車外監視装置においては、撮像された画像に基づいて路面状態を検出し、検出された路面状態を車両制御等に反映させるものがある。例えば、本出願人による特願平１１−２１６７１３号には、雨等により濡れた路面では立体物が路面に映り込むことを利用して路面の湿潤状態を検出し、路面の湿潤状態が検出されたとき、車両制御等の一時的な中断や制御パラメータの変更等を行う技術が開示されている。この技術によれば、一対の画像データにおける対象物の視差に基づいて距離データを算出するとともに、画像データと距離データとに基づいて道路の三次元的な形状を認識し、道路の路面位置よりも下側に存在する距離データ数（ウェットデータ数）に基づいて路面の湿潤状態（ウェット路面）を認識する。また、例えば本出願人による特願平１１−２１６３７３号や特願平１１−２１６７１３号には、同様に画像から、路面上に部分的に雪が残っている状態のムラ雪路面や路面が一面雪に覆われた一面雪路面を検出する車外監視装置が開示されている。このような車外監視装置においては、ウェット路面や雪道を検出して路面が低μ路であることを認識し、制御パラメータの変更等を行うことにより、車両走行時の安全性を向上することができる。
【０００４】
【発明が解決しようとする課題】
ところで、上述のような車外監視装置においては、ウェット路面や雪道の認識に加え、路面の乾燥状態（ドライ路面）を積極的に認識して車両制御等に反映させることが望ましい。例えば、４輪駆動車に搭載された車外監視装置において、ドライ路面を認識した際には、路面は高μ路であると判断し、必要以上の減速制御等を防止したり駆動輪を前輪あるいは後輪に限定する等の制御を行うことにより、燃費向上等を図ることができる。しかしながら、このような制御を行うためには、路面の乾燥状態を精度よく検出する必要がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、路面の乾燥状態を精度よく検出することがきる車外監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明による車外監視装置は、撮像された画像から道路の路面状態を検出する車外監視装置において、撮像された一対の画像における同一対象物の位置に関する相対的なずれに基づいて、当該画像上の対象物の三次元位置を示す距離データを算出するステレオ画像処理手段と、上記距離データと上記画像の輝度情報に基づいて、車線検出を含む道路形状の三次元的な認識を行う道路認識手段と、上記道路上の設定領域内で路面への映り込みに起因して路面位置よりも下側に存在する距離データの数が、設定された距離データ数の閾値以上であるとき路面が湿潤状態である可能性が高いと判定する路面状態認識手段と、を備え、上記路面状態認識手段は、路面が湿潤状態である可能性が高いと判定した路面であっても、上記道路認識手段で車線が連続的に検出されている場合に高値に算出される車線の信頼度が、設定した信頼度の閾値よりも高いとき、路面が乾燥状態であると判定することを特徴とする。
【０００７】
また、請求項２記載の発明による車外監視装置は、請求項１記載の発明において、上記路面状態認識手段は、上記道路における路面の平均輝度が設定された輝度の閾値よりも大きいとき、路面が乾燥状態ではないと判定することを特徴とする。
【０００８】
また、請求項３記載の発明による車外監視装置は、請求項１または請求項２記載の発明において、上記路面状態認識手段は、上記道路上の設定領域内で路面の模様に起因して路面面上に存在する距離データの数が設定された距離データ数の閾値よりも大きく、且つ、上記道路上の輝度の分散値が設定された輝度分散値の閾値よりも大きいとき、路面が乾燥状態でないと判定することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１はステレオ車外監視装置の機能ブロック図、図２は画像上における車線検出領域を示す説明図、図３は車線モデルの説明図、図４は距離データ監視領域を示す説明図、図５は乾燥路判定ルーチンを示すフローチャート、図６はドライ路面走行時における画像の一例を示す説明図、図７はウェット路面走行時における画像の一例を示す説明図、図８は夜間ドライ路面走行時における画像の一例を示す説明図である。
【００１１】
図１において、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２は、自動車等の車両の車幅方向において所定の間隔で取り付けられており、車両前方の景色を撮像する。メインカメラ１は、ステレオ処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２は、この処理における比較画像（左画像）を撮像する。互いの同期している状態において、カメラ１，２から出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ１，２の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。このようにして補正された基準画像および比較画像は、元画像メモリ８に格納される。
【００１２】
一方、ステレオ画像処理手段としてのステレオ画像処理部６は、画像補正部５により補正された基準画像および比較画像から、画像中の同一対象物の三次元位置（自車両から対象物までの距離を含む）を算出する。この距離は、左右画像における同一対象物の位置に関する相対的なずれから、三角測量の原理に基づき算出することができる。このようにして算出された画像の距離情報は、距離データメモリ７に格納される。
【００１３】
マイクロコンピュータ９は、立体物認識部１０と、道路認識手段としての道路認識部１１と、路面状態認識手段としての路面状態認識部１２とを有し、各認識部では、元画像メモリ８および距離データメモリ７に格納された各情報に基づき、車両前方の走行車等の立体物認識、車線（白線等）検出を含めた車両前方の道路認識、認識した道路における路面状態認識等を行う。ここで、路面状態認識部１２で行われる路面状態認識としては、路面が乾燥状態（アスファルトドライ路面、以下単にドライ路面ともいう）であるか否かの判定が行われる。そして、これらの認識結果は処理部１３に入力され、処理部１３は、各入力情報に基づき、警報が必要とされた場合、モニタスピーカ等の警報装置１９によりドライバーに対して注意を促したり、或いは、必要に応じて、各制御部１４〜１８を制御する。例えば、ＡＴ（自動変速機）制御部１４に対して、シフトダウンを実行する旨を指示する。また、エンジン制御部１８に対してエンジン出力を低下する旨指示してもよい。その他にも、アンチロックブレーキシステム（ＡＢＳ）制御部１５、トラクションコントロールシステム（ＴＣＳ）制御部１６、或いは、各車輪のトルク配分や回転数を制御する車両挙動制御部１７に対して、適切な車両制御を指示することも可能である。
【００１４】
上記道路認識部１１は、例えば本出願人による特願平１１−２６９５７８号に詳述する方法により道路形状の認識を行うものである。すなわち、道路認識部１１は、例えば５１２×２００画素領域を有する基準画像に対し、予め設定された、或いは、自車両のピッチング状態等に応じて可変設定された検索範囲内（検索開始ラインｊｓ〜検索終了ラインｊｅ：図２参照）の水平ライン毎に車線検出を行い、検出された車線の位置と距離データメモリ７からの距離情報とに基づいて、実空間における車線位置認識（すなわち道路認識）を行う。
【００１５】
具体的に説明すると、道路認識部１１では、先ず、各検索ラインｊ毎の道路面輝度Ａｒｏａｄを算出する。この道路面輝度Ａｒｏａｄは、画像中央部分を除いた左右領域で求められるもので、検索開始ラインｊｓにおいては該検索開始ラインｊｓとこの検索開始ラインｊｓよりも手前の４本のプレ水平ラインｊｐｒｅとに基づいて行われ、それ以降の検索ラインにおいては既に検出処理された輝度情報に基づいて行われる。
【００１６】
そして、道路認識部１１では、各対象ラインｊ毎に、道路面輝度Ａｒｏａｄから算出された輝度判定用閾値と、画像の輝度情報や距離情報等とに基づいて車線検出を行う。すなわち、道路認識部１１では、エッジ強度（輝度微分値）に基づく車線開始点及び終了点の判定、輝度判定用閾値と輝度との比較に基づく車線開始点及び終了点の判定等を行い、車線候補の抽出を行う。そして、距離情報に基づき、車線候補が道路面上にあるか否かを検証することで車線候補点の中から車線のみを抽出する。ここで車線開始点とは車線とアスファルトとの内側の境界に相当する車線点をいい、車線終了点とは車線とアスファルトとの内側の境界に相当する車線点をいう。
【００１７】
さらに、道路認識部１１では、車線検出により求めた車線点Ｐ（ｉ，ｊ）とその点における視差ｄとのセット（ｉ，ｊ，ｄ）を全ての車線点Ｐについて求め、カメラ緒元等に基づいて左右の車線の実空間上の位置（Ｘ，Ｙ，Ｚ）を一意的に算出する。そして、道路認識部１１では、道路形状を表現した関数（道路モデル）の各パラメータを、道路形状と合致するように設定することにより予測走行線Ｌ（図３参照）の算出を行う。すなわち、図３の例では、認識範囲を所定の距離（Ｚ１〜Ｚ７）ごとに７つの区間に分け、それぞれの区間における車線点Ｐを最小二乗法により直線近似する。
（車線モデル）
水平形状モデル
左車線 Ｘ＝ａＬ・Ｚ＋ｂＬ
右車線 Ｘ＝ａＲ・Ｚ＋ｂＲ
道路高モデル
左車線 Ｙ＝ｃＬ・Ｚ＋ｄＬ
右車線 Ｙ＝ｃＲ・Ｚ＋ｄＲ
そして、このようにして算出された左右のサイドラインから予測走行線Ｌを算出することができる。
【００１８】
さらに、道路認識部１１では、検出された車線点Ｐの有無（個数）と、従前のフレームで検出された車線点Ｐとの連続性とを考慮して左右の車線についての信頼度Ｄを算出する。この場合、各車線信頼度Ｄは、車線点Ｐが連続的に検出されている場合に高いものとなる。
【００１９】
また、道路認識部１１では、認識された道路における路面平均輝度Ｂｒを算出する。ここで、路面平均輝度を算出する際の路面領域は、前後方向の輝度変化の影響を小さくするため横長の領域に設定されることが望ましい。また、上記路面領域は、夜間走行を考慮すると、自車ライトの照射範囲内であって且つ他の照明光等による外乱の影響が小さい領域であることが望ましい。従って、本実施の形態では、道路モデルの第２領域（図３参照）に検出された部分の道路について路面平均輝度Ｂｒを算出するよう設定されている。この場合、路面平均輝度Ｂｒの算出は、路側物の影響を低減するため、検出された左右車線の内側路面について行う。
【００２０】
路面状態認識部１２は、認識された道路の路面面上に存在する距離データ（路面面上データ）及び路面よりも下側位置に存在する距離データ（路面下データ）を検出して路面面上データ数Ｉ及び路面下データ数Ｊをカウントする距離データカウント部１２ａと、認識された道路の路面上の輝度分散値ＶＡＲを算出する輝度分散値算出部１２ｂと、これら路面面上データ数Ｉ，路面下データ数Ｊ，輝度分散値ＶＡＲ及び、車線信頼度Ｄ，路面平均輝度Ｂｒ等に基づいて路面の乾燥状態を判定する乾燥路判定部１２ｃと、を備えて構成されている。
【００２１】
距離データカウント部１２ａは、例えば本出願人による特願平１１−２１６７１３号に詳述する方法により、路面の路面面上データ数Ｉおよび路面下データ数Ｊをカウントするものである。
【００２２】
すなわち、距離データカウント部１２ａでは、先ず、道路認識部１１から予測走行線Ｌが入力され、この予測走行線Ｌ基準として、例えば対応する実空間において、自車両の前方向に４０ｍ（０≦Ｚ≦４０）、左右の幅方向にそれぞれ２ｍ（−２≦Ｘ≦２）となる距離データ監視領域Ｒが設定される（図４参照）。
【００２３】
そして、距離データカウント部１２ａでは、距離データ監視領域Ｒ内に存在する距離データから有効距離データが特定される。ここで、有効距離データとは、例えば４×４の画素ブロック単位で１つ算出されるもので、画像の水平方向（横方向）の輝度エッジを所定数以上有する画素ブロックに関する距離データをいう。
【００２４】
さらに、距離データカウント部１２ａでは、特定された各有効距離データを、立体物データ、路面面上データ、路面下データの３つに分類し、各データ数をカウントする。ここで、立体物データとは、先行車等の立体物等に起因して算出された距離データであり、Ｙ＞０．３（単位はｍ）の距離データが立体物データとして分類される。また、路面面上データとは、走行路の路面（車線、路面のわだち、砂利等）に起因して算出された距離データであり、−０．４≦Ｙ≦０．３の距離データが路面面上データとして分類される。また、路面下データとは、雨により濡れた路面における立体物の映り込み等に起因して算出された距離データであり、Ｙ＜０．４の距離データが路面下データとして分類される。
【００２５】
輝度分散値算出部１２ｂは、例えば本出願人による特願平１１ー２１６９１５号に詳述する方法により、輝度分散値ＶＡＲの算出を行うものである。この場合、輝度分散値算出部１２ｂでは、画像全体にわたる輝度に対して分散値の算出を行うのではなく、認識された道路上のエリアに限定して輝度分散値ＶＡＲの算出を行う。
【００２６】
すなわち、輝度分散値算出部１２ｂでは、元画像上に、道路認識部１１で認識された道路に対応する矩形の画像領域を設定し、この画像領域を水平方向に所定画素ずつ分割した長方形状（画像の垂直方向に延在）の監視領域Ｎｉ（１≦ｉ≦ｎ）を設定する。
【００２７】
そして、輝度分散値算出部１２ｂでは、監視領域Ｎ毎に輝度和Ａを算出する。ある監視領域Ｎｉにおける輝度和Ａｉは、その領域内において均一に分散するような複数の画素をサンプルとして抽出し、それらの輝度値を加算した値（またはそれらの平均値）として算出することができる。
【００２８】
そして、輝度分散値算出部１２ｂでは、上記画像領域の輝度分布特性の分散値ＶＡＲを下式に基づいて算出する。
【００２９】
乾燥路判定部１２ｃは、道路認識部１１で算出された車線信頼度Ｄ，路面平均輝度Ｂｒが入力されるとともに、距離データカウント部１２ａでカウントされた路面面上データ数Ｉ，路面下データ数Ｊ、及び、輝度分散値算出部１２ｂで算出された輝度分散値ＶＡＲが入力され、これら各情報に基づいてドライ路面の判定を行う。そして、乾燥路判定部１２ｃでは、ドライ路面であると判定されたときＤＲＹ路面判定フラグＦをＯＮし、そうでない場合にＤＲＹ路面判定フラグＦをＯＦＦする。ここで、乾燥路判定部１２ｃには、上記各情報に加え、車速センサ（図示せず）からの自車速度や、立体物認識部１０からの先行車両に関する情報が入力され、ドライ路面判定に先立ち、現在、ドライ路面判定が可能な状態にあるか否かが判断される。
【００３０】
以下、ドライ路面の判定処理について、図５のフローチャートに従って詳細に説明する。このドライ路面の判定処理は、後述する各判定によってドライ路面でない路面状態（一面雪路面、ムラ雪路面、ウェット路面等）を判定することにより、ドライ路面を判定するものである。
【００３１】
このルーチンは設定時間毎に実行されるもので、ステップＳ１０１では、先ず、自車速度が予め設定された設定速度Ｖ１以上であるか否かの判断を行う。ここで、上記設定速度Ｖ１は、狭路や駐車場内を走行する際に自車両が取るであろう所定の低速度に設定されるものである。すなわち、狭路や駐車場内等では、前方が壁であったり車線が存在しない等の理由から、画像に基づく道路情報を十分に得ることが困難な場合が多く、このような場合には適切なドライ路面の判定が困難となる。
【００３２】
そこで、ステップＳ１０１において、自車速度が設定速度Ｖ１よりも低いときには、適切なドライ路面の判定が困難であると判断し、ステップＳ１１５に進みＤＲＹ判定フラグＦをＯＦＦした後、ルーチンを抜ける。
【００３３】
一方、ステップＳ１０１において、自車速度が上記設定速度Ｖ１以上であると判断した場合には、ステップＳ１０２に進む。
【００３４】
ステップＳ１０２では、立体物認識部１０からの情報に基づき、自車両と直前の先行車両との車間距離が予め設定された設定距離ｌ以上であるか否かの判断を行う。ここで、設定距離ｌは、ドライ路面判定に必要な路面領域が先行車両に覆われることなく撮像可能となるための最低車間距離であり、予め実験等により設定された距離である。すなわち、ステップＳ１０２では、先行車間距離が設定距離ｌ以上であるか否かの判断を行うことにより、適切なドライ路面判定が可能か否かを調べる。
【００３５】
そして、ステップＳ１０２において、先行車間距離が設定距離ｌよりも小さい場合には、必要な路面領域の撮像が困難であり適切なドライ路面判定が困難であると判断し、ステップＳ１１５に進みＤＲＹ路面判定フラグＦをＯＦＦした後、ルーチンを抜ける。
【００３６】
一方、ステップＳ１０２において、先行車間距離が設定距離ｌ以上であると判断した場合には、ステップＳ１０３に進む。
【００３７】
ステップＳ１０３では、道路認識部１１で算出された路面平均輝度Ｂｒが予め設定された所定の閾値Ｂｒ１以下であるか否かの判断を行う。ここで、閾値Ｂｒ１は、一面雪に覆われた路面（以下、一面雪路面）と他の路面状態とを区別するための閾値である。すなわち、一面雪路面においては、他の路面状態に比べて路面平均輝度が大きくなる。従って、実験等によって求められた各路面状態における路面平均輝度等に基づいて閾値Ｂｒ１を適切に設定し、算出された路面平均輝度Ｂｒと比較することにより、一面雪路面と他の路面状態とを区別することができる。
【００３８】
上記ステップＳ１０３では、路面平均輝度Ｂｒが閾値Ｂｒ１よりも大きい場合に、一面雪路面であり、ドライ路面ではないと判定してステップＳ１１０に進む。
【００３９】
一方、ステップＳ１０３において、路面平均輝度Ｂｒが閾値Ｂｒ１以下である場合には、一面雪路面以外の路面状態であると判定してステップＳ１０４に進む。
【００４０】
ステップＳ１０４では、距離データカウント部１２ａでカウントされた路面面上データ数Ｉが予め設定された所定の閾値Ｉ１以下であるか否かの判断を行う。ここで、閾値Ｉ１は、路面上に部分的に雪が残っている状態のムラ雪路面と他の路面状態とを区別するための閾値である。すなわち、ムラ雪路面においては、雪の分布によるまだら模様が路面面上の距離データ（路面面上データ）として検出されるため、路面面上データ数Ｉが大きくなる。従って、予め実験等によって求められた各路面状態における路面面上データ数に基づいて閾値Ｉ１を適切に設定し、算出された路面面上データ数Ｉと比較することにより、ムラ雪路面と他の路面状態とを区別することができる。
【００４１】
上記ステップＳ１０４では、路面面上データ数Ｉが閾値Ｉ１以下である場合に、路面はムラ雪路面以外の路面状態であると判定してステップＳ１０６に進む。
【００４２】
一方、ステップ１０４において、路面面上データ数Ｉが閾値Ｉ１よりも大きい場合には、路面はムラ雪路面である可能性が高いと判定してステップＳ１０５に進む。
【００４３】
ステップＳ１０５では、輝度分散値算出部１２ｂで算出された輝度分散値ＶＡＲが予め設定された所定の閾値ＶＡＲ１以下であるか否かの判断を行う。ここで、閾値ＶＡＲ１は、上記ステップＳ１０４において、ムラ雪路面である可能性が高いと誤判定されたものを抽出して区分するための閾値である。すなわち、路面においては、ムラ雪路面の他に、汚れや工事跡等が多い場合においても例外的に路面面上データ数Ｉが大きくなることがあり、このような場合、ドライ路面等の路面状態であっても、ムラ雪路面である可能性が高いと判定されることがある。ところで、汚れや工事跡等の多い路面はムラ雪路面に比べて輝度分散が小さく、この点で両者は異なる。そこで、予め実験等によって求められた各路面状態における輝度分散値に基づいて、閾値ＶＡＲ１を適切に設定し、算出された輝度分散値ＶＡＲと比較することにより、ムラ雪路面である可能性が高いと判定された路面の中から他の路面状態を抽出して区分することができる。
【００４４】
上記ステップＳ１０５では、輝度分散値ＶＡＲが閾値ＶＡＲ１以下である場合に、路面はムラ雪路面以外の路面状態であると判定してステップＳ１０６に進む。
【００４５】
一方、ステップＳ１０５において、輝度分散値ＶＡＲが閾値ＶＡＲ１よりも大きい場合（路面面上データ数Ｉが閾値Ｉ１よりも大きく且つ輝度分散値ＶＡＲが閾値ＶＡＲ１よりも大きい場合）には、路面はムラ雪路面であり、ドライ路面ではないと判定してステップＳ１１０に進む。
【００４６】
ステップＳ１０６では、距離データカウント部１２ａでカウントされた路面下データ数Ｊが予め設定された所定の閾値Ｊ１以下であるか否かの判断を行う。ここで、閾値Ｊ１は、湿潤状態の路面（ウェット路面）とドライ路面とを区別するための閾値である。すなわち、図７に示すように、ウェット路面には立体物の映り込みが発生し、この点でドライ路面（図６参照）と異なる。そして、ウェット路面においては、この路面への立体物の映り込みに起因して、路面下の距離デー多数（路面下データ数Ｊ）がドライ路面よりも大きくなる。従って、実験等によって求められた各路面状態における路面下データ数等に基づいて閾値Ｊ１を適切に設定し、算出された路面下データ数Ｊと比較することにより、ウェット路面とドライ路面とを区別することができる。
【００４７】
上記ステップＳ１０６では、路面下データ数Ｊが閾値Ｊ１以下である場合に、ドライ路面である判定してステップＳ１０８に進む。
【００４８】
一方、ステップＳ１０６において、路面下データ数Ｊが閾値Ｊ１よりも大きい場合には、ウェット路面である可能性が高いと判定してステップＳ１１０に進む。
【００４９】
ステップＳ１０７では、道路認識部１１で検出された左右の車線のうち少なくとも何れか一方の車線信頼度Ｄが予め設定された所定の閾値Ｄ１以上であるか否かの判断を行う。ここで、閾値Ｄ１は、上記ステップＳ１０６において、ドライ路面であるにもかかわらず、ウェット路面である可能性が高いと判定されたものを抽出して区分するための閾値である。すなわち、ドライ路面においては、例えば図８に示すように、夜間に対向車のヘッドライト等で路面が照らされた場合等に例外的に路面下データ数Ｊが大きくなることがあり、このような場合、ドライ路面であっても、ウェット路面である可能性が高いと判定されることがある。ところで、ドライ路面においては、ウェット路面に比べて一般に、車線と路面との間の輝度差やエッジ強度（輝度変化量）等が大きく、車線を連続的に検出することが容易となるため、車線信頼度Ｄが高くなる。そこで、予め実験等によって求められた各路面状態における車線信頼度に基づいて閾値Ｄ１を適切に設定し、算出された車線信頼度Ｄと比較することにより、ウェット路面である可能性が高いと判定された路面の中から、ドライ路面を抽出して区分することができる。
【００５０】
上記ステップＳ１０７では、左右の車線信頼度Ｄが両方とも閾値Ｄ１よりも小さい場合、ウェット路面であると判定してステップＳ１１０に進む。なお、図８に示すように、ドライ路面においても対向車のヘッドライト光等により一時的に車線の検出が困難となる場合があるが、ヘッドライト光等の影響は部分的なものであるため、このような光等に起因する車線信頼度の低下が左右の車線に同時に発生することは考えにくい。そこで、ステップＳ１０７では、左右の車線信頼度Ｄが両方とも閾値Ｄ１よりも小さい場合のみ、ステップＳ１１０に進む。
【００５１】
一方、ステップＳ１０７において、左右の車線のうち少なくとも何れか一方の車線信頼度Ｄが閾値Ｄ１以上である場合には、ドライ路面であると判定してステップＳ１０８に進む。
【００５２】
ステップＳ１０６あるいはＳ１０７からステップＳ１０８に進むと、ステップＳ１０８では、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最大値Ｃｍａｘよりも小さいか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最大値Ｃｍａｘよりも小さい場合にはステップＳ１０９に進み、ＤＲＹ路面カウンタＣｄｒｙをインクリメント（Ｃｄｒｙ←Ｃｄｒｙ＋１）した後、ステップＳ１１２進む。
【００５３】
一方、ステップＳ１０８において、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最大値Ｃｍａｘである場合には、そのままステップＳ１１２に進む。
【００５４】
また、ステップＳ１０３、Ｓ１０５、あるいは、Ｓ１０７からステップＳ１１０に進むと、ステップＳ１１０では、ＤＲＹ路面カウンタＣｄｒｙが予め設定されたカウンタ最小値Ｃｍｉｎよりも大きいか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最小値Ｃｍｉｎよりも大きい場合にはステップＳ１１１に進み、ＤＲＹ路面カウンタＣｄｒｙをデクリメント（Ｃｄｒｙ←Ｃｄｒｙ−１）した後、ステップＳ１１２に進む。
【００５５】
一方、ステップＳ１１０において、ＤＲＹ路面カウンタＣｄｒｙがカウンタ最小値Ｃｍｉｎである場合には、そのままステップＳ１１２に進む。
【００５６】
ステップＳ１１２では、ＤＲＹ路面カウンタＣｄｒｙが予め設定された閾値Ｃｄｒｙ１（Ｃｍｉｎ＜Ｃｄｒｙ１＜Ｃｍａｘ）以上であるか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ１以上である場合にはステップＳ１１３に進む。そして、ステップＳ１１３において、路面がドライ路面であることを示すＤＲＹ判定フラグＦをＯＮ（Ｆ←１）した後、ルーチンを抜ける。
【００５７】
一方、ステップＳ１１２において、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ１よりも小さい場合には、ステップＳ１１４に進む。
【００５８】
ステップＳ１１４では、ＤＲＹ路面カウンタＣｄｒｙが予め設定された閾値Ｃｄｒｙ２（Ｃｍｉｎ＜Ｃｄｒｙ２＜Ｃｄｒｙ１＜Ｃｍａｘ）以下であるか否かを調べ、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ２以下である場合にはステップＳ１１５に進み、ＤＲＹ判定フラグＦをＯＦＦ（Ｆ←０）した後、ルーチンを抜ける。
【００５９】
一方、ステップＳ１１４において、ＤＲＹ路面カウンタＣｄｒｙが閾値Ｃｄｒｙ２よりも大きい場合には、そのままルーチンを抜ける。
【００６０】
このような実施の形態では、撮像された画像に基づいて車線検出を含む道路形状の認識を行い、ウェット路面である可能性が高いと判定した場合であっても、検出した車線の信頼度が設定された閾値よりも高いときにはドライ路面であると判定するので、路面の乾燥状態を精度よく検出することができる。
【００６１】
すなわち、ドライ路面においては、ウェット路面に比べて一般に、車線と路面との間の輝度差やエッジ強度が高くなることに起因して車線を連続的に検出することが容易となり、検出した車線の信頼度が高くなることに着目し、一旦ウェット路面である可能性が高いと判定した場合であっても車線信頼度が高い場合にはドライ路面であると判定するので、路面が乾燥状態であることを精度よく検出することができる。
【００６２】
特に、路面下の距離データ数（路面下データ数）を算出し、この路面下データ数が大きい場合に路面がウェット路面である可能性が高いと判定する判定方法においては、夜間に対向車のヘッドライト光が路面に反射されている場合等にドライ路面であるにもかかわらずウェット路面である可能性が高いと誤判定する場合があるが、このような判定方法によって、一旦ウェット路面である可能性が高いと判定した場合であっても車線信頼度が高い場合にはドライ路面であると判定するのでドライ路面の検出精度を向上することができる。
【００６３】
また、路面平均輝度を算出し、この路面平均輝度が大きい場合には、路面は一面雪路面でありドライ路面ではないと判定することにより、ドライ路面の検出精度を向上することができる。
【００６４】
また、路面面上の距離データ数（路面面上データ数）を算出するとともに道路上の輝度分散値を算出し、路面面上データ数が大きく且つ道路上の輝度分散値が大きい場合には、路面はムラ雪路面でありドライ路面ではないと判定することにより、ドライ路面の検出精度を向上することができる。
【００６５】
そして、このような車外監視装置では、ドライ路面を精度よく認識して車両制御等に反映させることにより、燃費向上等を効果的に実現することができる。
【００６６】
【発明の効果】
以上説明したように本発明によれば、車線検出を含む道路形状の認識を行い、路面が湿潤状態である可能性が高いと判定した路面であっても、検出された車線の信頼度が設定された閾値よりも高いときには、路面が乾燥状態であると判定することをにより、路面の乾燥状態を精度よく検出することがきる。
【図面の簡単な説明】
【図１】ステレオ車外監視装置の機能ブロック図
【図２】画像上における車線検出領域を示す説明図
【図３】車線モデルの説明図
【図４】距離データ監視領域を示す説明図
【図５】乾燥路判定ルーチンを示すフローチャート
【図６】ドライ路面走行時における画像の一例を示す説明図
【図７】ウェット路面走行時における画像の一例を示す説明図
【図８】夜間ドライ路面走行時における画像の一例を示す説明図
【符号の説明】
１ メインカメラ
２ サブカメラ
５ 画像補正部
６ ステレオ画像処理部（ステレオ画像処理手段）
７ 距離データメモリ
８ 元画像メモリ
９ マイクロコンピュータ
１０ 立体物認識部
１１ 道路認識部（道路認識手段）
１２ 路面状態認識部（路面状態認識手段）
１２ａ 距離データカウント部
１２ｂ 輝度分散値算出部
１２ｃ 乾燥路判定部
Claims (3)
- 撮像された画像から道路の路面状態を検出する車外監視装置において、
撮像された一対の画像における同一対象物の位置に関する相対的なずれに基づいて、当該画像上の対象物の三次元位置を示す距離データを算出するステレオ画像処理手段と、
上記距離データと上記画像の輝度情報に基づいて、車線検出を含む道路形状の三次元的な認識を行う道路認識手段と、
上記道路上の設定領域内で路面への映り込みに起因して路面位置よりも下側に存在する距離データの数が、設定された距離データ数の閾値以上であるとき路面が湿潤状態である可能性が高いと判定する路面状態認識手段と、を備え、
上記路面状態認識手段は、路面が湿潤状態である可能性が高いと判定した路面であっても、上記道路認識手段で車線が連続的に検出されている場合に高値に算出される車線の信頼度が、設定した信頼度の閾値よりも高いとき、路面が乾燥状態であると判定することを特徴とする車外監視装置。 - 上記路面状態認識手段は、上記道路における路面の平均輝度が設定された輝度の閾値よりも大きいとき、路面が乾燥状態ではないと判定することを特徴とする請求項１に記載の車外監視装置。
- 上記路面状態認識手段は、上記道路上の設定領域内で路面の模様に起因して路面面上に存在する距離データの数が設定された距離データ数の閾値よりも大きく、且つ、上記道路上の輝度の分散値が設定された輝度分散値の閾値よりも大きいとき、路面が乾燥状態でないと判定することを特徴とする請求項１または請求項２に記載の車外監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000358135A JP3626905B2 (ja) | 2000-11-24 | 2000-11-24 | 車外監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000358135A JP3626905B2 (ja) | 2000-11-24 | 2000-11-24 | 車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002160598A JP2002160598A (ja) | 2002-06-04 |
| JP3626905B2 true JP3626905B2 (ja) | 2005-03-09 |
Family
ID=18830087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000358135A Expired - Fee Related JP3626905B2 (ja) | 2000-11-24 | 2000-11-24 | 車外監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3626905B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004117071A (ja) * | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
| JP4046059B2 (ja) | 2002-11-08 | 2008-02-13 | 株式会社豊田中央研究所 | 路面状態推定装置 |
| JP3606276B2 (ja) | 2002-11-26 | 2005-01-05 | 日産自動車株式会社 | 車線逸脱防止装置 |
| JP4532089B2 (ja) * | 2003-09-09 | 2010-08-25 | 富士重工業株式会社 | 車外監視装置 |
| JP4258385B2 (ja) | 2004-01-14 | 2009-04-30 | 株式会社デンソー | 路面反射検出装置 |
| JP4603970B2 (ja) * | 2005-12-15 | 2010-12-22 | トヨタ自動車株式会社 | 道路区画線検出装置 |
| JP4821348B2 (ja) * | 2006-02-07 | 2011-11-24 | トヨタ自動車株式会社 | 道路区間線検出装置及び方法並びにプログラム |
| JP4909217B2 (ja) * | 2007-04-16 | 2012-04-04 | 本田技研工業株式会社 | 障害物認識装置 |
| JP5034809B2 (ja) * | 2007-09-18 | 2012-09-26 | マツダ株式会社 | 車両用路面状態推定装置 |
| JP5172314B2 (ja) * | 2007-12-14 | 2013-03-27 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
| WO2012077204A1 (ja) * | 2010-12-08 | 2012-06-14 | トヨタ自動車 株式会社 | 運転支援装置 |
| JP6035065B2 (ja) * | 2012-07-03 | 2016-11-30 | クラリオン株式会社 | 車載用周囲環境認識装置 |
| JP6404748B2 (ja) * | 2015-03-02 | 2018-10-17 | 株式会社Ｓｏｋｅｎ | 走行区画線認識装置 |
| DE102015208429A1 (de) * | 2015-05-06 | 2016-11-10 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen |
-
2000
- 2000-11-24 JP JP2000358135A patent/JP3626905B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002160598A (ja) | 2002-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101135558B (zh) | 一种基于机器视觉的汽车防撞预警方法及装置 | |
| JP3626905B2 (ja) | 車外監視装置 | |
| US9773177B2 (en) | Surrounding environment recognition device | |
| JP3337197B2 (ja) | 車外監視装置 | |
| US9676333B2 (en) | Vehicle control system | |
| US6813370B1 (en) | Lane marker recognizing apparatus | |
| US9288381B2 (en) | In-vehicle image recognizer | |
| JP3925488B2 (ja) | 車両用画像処理装置 | |
| JP3307335B2 (ja) | 車両領域検出装置及び車両領域検定方法 | |
| CN110386065B (zh) | 车辆盲区的监控方法、装置、计算机设备及存储介质 | |
| US7656277B2 (en) | Apparatus for detecting the presence of fog for automotive vehicle | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| CN111357012A (zh) | 用于识别与评估车道状况和与天气相关的环境影响的方法和装置 | |
| JP4937933B2 (ja) | 車外監視装置 | |
| US8477997B2 (en) | White road line recognition device for vehicle | |
| JP4541609B2 (ja) | 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置 | |
| KR20110001427A (ko) | 관심영역 추출에 의한 차선 고속검출 방법 | |
| EP1469442A2 (en) | Vehicle drive assist system | |
| JP2007057331A (ja) | 車載霧判定装置 | |
| JP4939137B2 (ja) | 車線認識装置 | |
| JP2005090974A (ja) | 先行車認識装置 | |
| KR20180075985A (ko) | 주행환경 감응형 자율 조향 예측 장치 및 그 방법 | |
| JP3462467B2 (ja) | 車外監視装置 | |
| JP4532089B2 (ja) | 車外監視装置 | |
| JP3857612B2 (ja) | 車線境界検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041206 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3626905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |