JPH06258046A - 車線区分ライン認識装置 - Google Patents
車線区分ライン認識装置Info
- Publication number
- JPH06258046A JPH06258046A JP5045248A JP4524893A JPH06258046A JP H06258046 A JPH06258046 A JP H06258046A JP 5045248 A JP5045248 A JP 5045248A JP 4524893 A JP4524893 A JP 4524893A JP H06258046 A JPH06258046 A JP H06258046A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- lane marking
- detected
- lane
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 車線区分ラインを検出すべき位置において、
水平方向の画像信号の極大値を検出するようにすること
で、道路面が影で覆われ画像信号のレベルが低下しても
車線区分ラインを高精度に認識することを目的とする。 【構成】 車両の前方を撮像するイメージセンサ２と、
このイメージセンサにより出力された画像信号を記憶す
るメモリ４と、このメモリ４に記憶された道路面の水平
方向を示す各画像信号を処理し、これら画像信号のレベ
ルの極大値を検出する極大値検出手段５０と、この極大
値検出手段５０により検出極大値が検出された位置より
道路面上の車線区分ラインの位置を検出する区分ライン
検出手段５１とを備えている。
水平方向の画像信号の極大値を検出するようにすること
で、道路面が影で覆われ画像信号のレベルが低下しても
車線区分ラインを高精度に認識することを目的とする。 【構成】 車両の前方を撮像するイメージセンサ２と、
このイメージセンサにより出力された画像信号を記憶す
るメモリ４と、このメモリ４に記憶された道路面の水平
方向を示す各画像信号を処理し、これら画像信号のレベ
ルの極大値を検出する極大値検出手段５０と、この極大
値検出手段５０により検出極大値が検出された位置より
道路面上の車線区分ラインの位置を検出する区分ライン
検出手段５１とを備えている。
Description
【０００１】
【産業上の利用分野】この発明は、イメージセンサを用
いて道路面上の車線区分ラインを認識する車線区分ライ
ン認識装置に関するものである。
いて道路面上の車線区分ラインを認識する車線区分ライ
ン認識装置に関するものである。
【０００２】
【従来の技術】図１２は従来の車線区分ライン認識装置
を示す構成図である。図において、１は前方を走行する
車両６或いは前方の道路面（図示せず）をイメージセン
サ２に結像するレンズ、３はＡ／Ｄ変換器であり、この
Ａ／Ｄ変換器３はイメージセンサ２に結像された像の輝
度に応じた信号レベルを有する画像信号をデジタル変換
する。４はメモリであり、このメモリ４はＡ／Ｄ変換器
３より出力された画像信号を、イメージセンサ２を構成
する各ピクセル（図示せず）の位置に応じたアドレスに
記憶する。５は信号処理装置であり、メモリ４の各アド
レスより順次読み出した画像信号を処理して認識対象物
である例えば道路面上の車線区分ライン（図示せず）を
認識する。
を示す構成図である。図において、１は前方を走行する
車両６或いは前方の道路面（図示せず）をイメージセン
サ２に結像するレンズ、３はＡ／Ｄ変換器であり、この
Ａ／Ｄ変換器３はイメージセンサ２に結像された像の輝
度に応じた信号レベルを有する画像信号をデジタル変換
する。４はメモリであり、このメモリ４はＡ／Ｄ変換器
３より出力された画像信号を、イメージセンサ２を構成
する各ピクセル（図示せず）の位置に応じたアドレスに
記憶する。５は信号処理装置であり、メモリ４の各アド
レスより順次読み出した画像信号を処理して認識対象物
である例えば道路面上の車線区分ライン（図示せず）を
認識する。
【０００３】次に、上記構成に従って従来の車線区分ラ
イン認識装置の動作を説明する。図示しない自車両の前
方を走行する車両６及び前方の道路面２１（図７の２０
を参照）はレンズ１にてイメージセンサ２に結像され
る。イメージセンサ２は結像された像の輝度に応じたレ
ベルの画像信号をＡ／Ｄ変換器３に出力してデジタル変
換させる。尚、イメージセンサ２に結像される像が図７
に示す画像２０である場合、車両６及び車線区分ライン
Ｌ１，Ｌ２は周辺の風景及び道路面２１に比較して輝度
が高いために、車両６及び車線区分ラインＬ１，Ｌ２が
結像されたイメージセンサ２のピクセルより出力される
画像信号のレベルは、周辺の風景及び道路面２１の画像
信号のレベルに比較して高いレベルになる。
イン認識装置の動作を説明する。図示しない自車両の前
方を走行する車両６及び前方の道路面２１（図７の２０
を参照）はレンズ１にてイメージセンサ２に結像され
る。イメージセンサ２は結像された像の輝度に応じたレ
ベルの画像信号をＡ／Ｄ変換器３に出力してデジタル変
換させる。尚、イメージセンサ２に結像される像が図７
に示す画像２０である場合、車両６及び車線区分ライン
Ｌ１，Ｌ２は周辺の風景及び道路面２１に比較して輝度
が高いために、車両６及び車線区分ラインＬ１，Ｌ２が
結像されたイメージセンサ２のピクセルより出力される
画像信号のレベルは、周辺の風景及び道路面２１の画像
信号のレベルに比較して高いレベルになる。
【０００４】このように信号レベルの異なる画像信号は
Ａ／Ｄ変換器３でデジタル変換された後に、イメージセ
ンサ２を構成するピクセルの配置位置に応じたメモリ４
のアドレスに記憶される。この記憶された画像信号は信
号処理装置５によって処理され、例えば画像信号のレベ
ルが予め設定された閾値以上であると判定された時に、
その画像信号を得た地点より車線区分ラインＬ１，Ｌ２
を認識する。
Ａ／Ｄ変換器３でデジタル変換された後に、イメージセ
ンサ２を構成するピクセルの配置位置に応じたメモリ４
のアドレスに記憶される。この記憶された画像信号は信
号処理装置５によって処理され、例えば画像信号のレベ
ルが予め設定された閾値以上であると判定された時に、
その画像信号を得た地点より車線区分ラインＬ１，Ｌ２
を認識する。
【０００５】以上のような車線区分ライン認識方法を用
いて道路面２１上の車線区分ラインＬ１，Ｌ２を、所定
距離に亘って認識する動作を図９を参照して説明する。
先ず、車線区分ラインＬ１，Ｌ２は通常白色であるため
道路面２１の黒色に比較して輝度が高い。そこで、信号
処理装置５はメモリ４に記憶された画像信号のレベルが
予め設定した閾値より高い場合に、その画像信号が得ら
れた地点を車線区分ラインＬ１，Ｌ２の候補点とする。
いて道路面２１上の車線区分ラインＬ１，Ｌ２を、所定
距離に亘って認識する動作を図９を参照して説明する。
先ず、車線区分ラインＬ１，Ｌ２は通常白色であるため
道路面２１の黒色に比較して輝度が高い。そこで、信号
処理装置５はメモリ４に記憶された画像信号のレベルが
予め設定した閾値より高い場合に、その画像信号が得ら
れた地点を車線区分ラインＬ１，Ｌ２の候補点とする。
【０００６】例えば、図９に示すように道路面２１の水
平位置２２ａ上において、地点３１ａを示す画像信号の
輝度４１ａは道路面２１の基準点３０ａを示す画像信号
の輝度４０ａに比較して高く、しかも閾値ｍ以上である
ことから、地点３１ａを車線区分ラインＬ１の候補点と
する。また、地点３２ａを示す画像信号の輝度４１ａは
道路面２１を示す画像信号の輝度４０ａに比較して高
く、しかも閾値ｍ以上であることから、地点３２ａを車
線区分ラインＬ２の候補点とする。
平位置２２ａ上において、地点３１ａを示す画像信号の
輝度４１ａは道路面２１の基準点３０ａを示す画像信号
の輝度４０ａに比較して高く、しかも閾値ｍ以上である
ことから、地点３１ａを車線区分ラインＬ１の候補点と
する。また、地点３２ａを示す画像信号の輝度４１ａは
道路面２１を示す画像信号の輝度４０ａに比較して高
く、しかも閾値ｍ以上であることから、地点３２ａを車
線区分ラインＬ２の候補点とする。
【０００７】更に、水平位置２２ｂ上においては地点３
１ｂの画像信号の輝度４１ｂが道路面２１の基準点３０
ｂの輝度４０ｂより高くしかも、閾値ｍ以上であること
から、地点３１ｂを車線区分ラインＬ１の候補点とす
る。この時、水平位置２２ｂ上において、輝度が基準点
３０ｂの輝度４０ｂより高い地点が外に検出されないた
め、水平位置２２ｂは車線区分ラインＬ２の途切れ地点
であると判定する。
１ｂの画像信号の輝度４１ｂが道路面２１の基準点３０
ｂの輝度４０ｂより高くしかも、閾値ｍ以上であること
から、地点３１ｂを車線区分ラインＬ１の候補点とす
る。この時、水平位置２２ｂ上において、輝度が基準点
３０ｂの輝度４０ｂより高い地点が外に検出されないた
め、水平位置２２ｂは車線区分ラインＬ２の途切れ地点
であると判定する。
【０００８】次に、水平位置２２ｃ上において、地点３
１ｃを示す画像信号の輝度４１ｃは道路面２１の基準点
３０ｃを示す画像信号の輝度４０ｃに比較して高く、し
かも閾値ｍ以上であることから、地点３１ｃを車線区分
ラインＬ１の候補点とする。また、地点３２ｃを示す画
像信号の輝度４２ｃは道路面２１を示す画像信号の輝度
４０ｃに比較して高く、しかも閾値ｍ以上であることか
ら、地点３２ｃを車線区分ラインＬ２の候補点とする。
１ｃを示す画像信号の輝度４１ｃは道路面２１の基準点
３０ｃを示す画像信号の輝度４０ｃに比較して高く、し
かも閾値ｍ以上であることから、地点３１ｃを車線区分
ラインＬ１の候補点とする。また、地点３２ｃを示す画
像信号の輝度４２ｃは道路面２１を示す画像信号の輝度
４０ｃに比較して高く、しかも閾値ｍ以上であることか
ら、地点３２ｃを車線区分ラインＬ２の候補点とする。
【０００９】
【発明が解決しようとする課題】従来の車線区分ライン
認識装置は以上のように、各水平位置において画像信号
の輝度レベルが予め設定した閾値より高い場合に、その
画像信号が得られた道路面上の地点を車線区分ラインの
候補点とした。しかしながら、実際、図１０に示すよう
に道路面上に影ができ車線区分ラインを覆ってしまった
場合等、車線区分ライン３１ａ，３１ｂ，３１ｃの候補
点を示す画像信号の輝度は閾値ｍ以下となり車線区分ラ
インの認識が不可能になるという問題点があった。
認識装置は以上のように、各水平位置において画像信号
の輝度レベルが予め設定した閾値より高い場合に、その
画像信号が得られた道路面上の地点を車線区分ラインの
候補点とした。しかしながら、実際、図１０に示すよう
に道路面上に影ができ車線区分ラインを覆ってしまった
場合等、車線区分ライン３１ａ，３１ｂ，３１ｃの候補
点を示す画像信号の輝度は閾値ｍ以下となり車線区分ラ
インの認識が不可能になるという問題点があった。
【００１０】更に、図１１に示すように車線区分ライン
間に制限速度を表示した数字等が輝度の高い白色で描か
れていると、その数字の画像信号をも車線区分ラインの
認識対象としてしまい、車線区分ラインを誤認識してし
まうという問題点があった。
間に制限速度を表示した数字等が輝度の高い白色で描か
れていると、その数字の画像信号をも車線区分ラインの
認識対象としてしまい、車線区分ラインを誤認識してし
まうという問題点があった。
【００１１】この発明は上記のような問題点を解決する
ためになされたもので、道路面の状況に拘わらず車線区
分ラインを精度良く認識することができる車線区分ライ
ン認識装置を得ることを目的とする。
ためになされたもので、道路面の状況に拘わらず車線区
分ラインを精度良く認識することができる車線区分ライ
ン認識装置を得ることを目的とする。
【００１２】
【課題を解決するための手段】請求項１の発明に係る車
線区分ライン認識装置は、車両の前方を撮像するビデオ
カメラと、このビデオカメラにより出力された画像信号
を記憶するメモリと、このメモリに記憶された道路面の
水平方向を示す各画像信号を処理し、これら画像信号の
レベルの極大値を検出する極大値検出手段と、この極大
値検出手段により検出極大値が検出された位置より道路
面上の車線区分ラインの位置を検出する区分ライン検出
手段とを備えたものである。
線区分ライン認識装置は、車両の前方を撮像するビデオ
カメラと、このビデオカメラにより出力された画像信号
を記憶するメモリと、このメモリに記憶された道路面の
水平方向を示す各画像信号を処理し、これら画像信号の
レベルの極大値を検出する極大値検出手段と、この極大
値検出手段により検出極大値が検出された位置より道路
面上の車線区分ラインの位置を検出する区分ライン検出
手段とを備えたものである。
【００１３】請求項２の発明に係る車線区分ライン認識
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の複数の水平方向を
示す画像信号を、各水平方向毎に処理し、これら画像信
号のレベルの極大値を検出する極大値検出手段と、この
極大値検出手段により極大値が検出された位置よりの車
線区分ラインの形状を認識するライン形状認識手段とを
備えたものである。
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の複数の水平方向を
示す画像信号を、各水平方向毎に処理し、これら画像信
号のレベルの極大値を検出する極大値検出手段と、この
極大値検出手段により極大値が検出された位置よりの車
線区分ラインの形状を認識するライン形状認識手段とを
備えたものである。
【００１４】請求項３の発明に係る車線区分ライン認識
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の水平方向を示す各
画像信号を処理し、これら画像信号のレベルの極大値を
検出する極大値検出手段と、この極大値検出手段により
極大値が検出された位置より道路面上の車線区分ライン
の位置を検出する区分ライン検出手段と、前記極大値検
出手段により、同一水平方向において離散して多数の極
大値が検出された時に車線区分ライン検出不能と判定す
る検出不能判定手段とを備えたものである。
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の水平方向を示す各
画像信号を処理し、これら画像信号のレベルの極大値を
検出する極大値検出手段と、この極大値検出手段により
極大値が検出された位置より道路面上の車線区分ライン
の位置を検出する区分ライン検出手段と、前記極大値検
出手段により、同一水平方向において離散して多数の極
大値が検出された時に車線区分ライン検出不能と判定す
る検出不能判定手段とを備えたものである。
【００１５】請求項４の発明に係る車線区分ライン認識
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の水平方向を示す各
画像信号を平滑化する平滑化手段と、この平滑化した画
像信号のレベルと水平方向における各画像信号のレベル
との差を求め、差分が設定レベルより大きい画像信号の
ピーク値を検出するピーク値検出手段と、このピーク値
検出手段によりピーク値が検出された位置より道路面上
の車線区分ラインの位置を検出する区分ライン検出手段
とを備えたものである。
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の水平方向を示す各
画像信号を平滑化する平滑化手段と、この平滑化した画
像信号のレベルと水平方向における各画像信号のレベル
との差を求め、差分が設定レベルより大きい画像信号の
ピーク値を検出するピーク値検出手段と、このピーク値
検出手段によりピーク値が検出された位置より道路面上
の車線区分ラインの位置を検出する区分ライン検出手段
とを備えたものである。
【００１６】請求項５の発明に係る車線区分ライン認識
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の複数の水平方向を
示す各画像信号を、各水平方向毎に平滑化する平滑化手
段と、この平滑化した画像信号のレベルと水平方向にお
ける各画像信号のレベルとの差を求め、差分が設定レベ
ルより大きい画像信号のピーク値を検出するピーク値検
出手段と、このピーク値検出手段によりピーク値が検出
された位置より車線区分ラインの形状を認識するライン
形状認識手段とを備えたものである。
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の複数の水平方向を
示す各画像信号を、各水平方向毎に平滑化する平滑化手
段と、この平滑化した画像信号のレベルと水平方向にお
ける各画像信号のレベルとの差を求め、差分が設定レベ
ルより大きい画像信号のピーク値を検出するピーク値検
出手段と、このピーク値検出手段によりピーク値が検出
された位置より車線区分ラインの形状を認識するライン
形状認識手段とを備えたものである。
【００１７】請求項６の発明に係る車線区分ライン認識
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の水平方向を示す各
画像信号を平滑化する平滑化手段と、この平滑化した画
像信号のレベルとの水平方向における各画像信号のレベ
ルとの差を求め、差分が設定レベルより大きい画像信号
のピーク値を検出するピーク値検出手段と、このピーク
値検出手段によりピーク値が検出された位置より道路面
上の車線区分ラインの位置を検出する区分ライン検出手
段と、前記ピーク値検出手段により同一水平方向におい
て離散して多数のピーク値が検出された時に車線区分ラ
イン検出不能と判定する検出不能判定手段とを備えたも
のである。
装置は、車両の前方を撮像するビデオカメラと、このビ
デオカメラにより出力された画像信号を記憶するメモリ
と、このメモリに記憶された道路面の水平方向を示す各
画像信号を平滑化する平滑化手段と、この平滑化した画
像信号のレベルとの水平方向における各画像信号のレベ
ルとの差を求め、差分が設定レベルより大きい画像信号
のピーク値を検出するピーク値検出手段と、このピーク
値検出手段によりピーク値が検出された位置より道路面
上の車線区分ラインの位置を検出する区分ライン検出手
段と、前記ピーク値検出手段により同一水平方向におい
て離散して多数のピーク値が検出された時に車線区分ラ
イン検出不能と判定する検出不能判定手段とを備えたも
のである。
【００１８】
【作用】請求項１の発明における車線区分ライン認識装
置は、車線区分ラインを検出すべき道路面の所定の位置
において、この位置を通る水平方向の画像信号より信号
レベルの極大値を検出し、極大値が検出された画像信号
の水平方向の位置より車線区分ラインを認識すること
で、道路面の状況に拘わらず精度良く車線区分ラインを
認識することができる。
置は、車線区分ラインを検出すべき道路面の所定の位置
において、この位置を通る水平方向の画像信号より信号
レベルの極大値を検出し、極大値が検出された画像信号
の水平方向の位置より車線区分ラインを認識すること
で、道路面の状況に拘わらず精度良く車線区分ラインを
認識することができる。
【００１９】請求項２の発明における車線区分ライン認
識装置は、車線区分ラインを検出すべき道路面の複数の
位置において、これら位置を通る各水平方向の画像信号
より信号レベルの極大値を検出し、極大値が検出された
各水平方向の画像信号の位置より車線区分ラインの形状
を認識することで、道路面の状況に拘わらず精度良く車
線区分ラインの形状を認識することができる。
識装置は、車線区分ラインを検出すべき道路面の複数の
位置において、これら位置を通る各水平方向の画像信号
より信号レベルの極大値を検出し、極大値が検出された
各水平方向の画像信号の位置より車線区分ラインの形状
を認識することで、道路面の状況に拘わらず精度良く車
線区分ラインの形状を認識することができる。
【００２０】請求項３の発明における車線区分ライン認
識装置は、車線区分ラインを検出すべき道路面の所定の
位置において、この位置を通る水平方向の画像信号より
信号レベルの極大値を検出し、極大値が検出された画像
信号の水平方向の位置より車線区分ラインを認識すると
共に、同一水平方向に複数の極大値が検出された場合は
車線区分ライン認識を不可能と判断することで、車線区
分ラインを誤認識することを防止することができる。
識装置は、車線区分ラインを検出すべき道路面の所定の
位置において、この位置を通る水平方向の画像信号より
信号レベルの極大値を検出し、極大値が検出された画像
信号の水平方向の位置より車線区分ラインを認識すると
共に、同一水平方向に複数の極大値が検出された場合は
車線区分ライン認識を不可能と判断することで、車線区
分ラインを誤認識することを防止することができる。
【００２１】請求項４の発明における車線区分ライン認
識装置は、車線区分ラインを検出すべき道路面の所定の
位置において、この位置を通る水平方向の各画像信号の
レベルと各画像信号を平滑化した信号のレベルとの差を
求め、差分が所定値より大きいピーク値を検出し、ピー
ク値が検出された画像信号の水平方向の位置より車線区
分ラインを認識することで、画像信号への雑音混入によ
り車線区分ラインを誤認識することを防止することがで
きる。
識装置は、車線区分ラインを検出すべき道路面の所定の
位置において、この位置を通る水平方向の各画像信号の
レベルと各画像信号を平滑化した信号のレベルとの差を
求め、差分が所定値より大きいピーク値を検出し、ピー
ク値が検出された画像信号の水平方向の位置より車線区
分ラインを認識することで、画像信号への雑音混入によ
り車線区分ラインを誤認識することを防止することがで
きる。
【００２２】請求項５の発明における車線区分ライン認
識装置は、車線区分ラインを検出すべき道路面の複数の
位置において、これら位置を通る各水平方向の各画像信
号のレベルと各画像信号を平滑化した信号のレベルとの
差を求め、差分が所定値より大きいピーク値を検出し、
ピーク値が検出された各水平方向の画像信号位置より車
線区分ラインの形状を認識することで、画像信号への雑
音混入にも拘わらず車線区分ラインの形状を精度良く認
識することができる。
識装置は、車線区分ラインを検出すべき道路面の複数の
位置において、これら位置を通る各水平方向の各画像信
号のレベルと各画像信号を平滑化した信号のレベルとの
差を求め、差分が所定値より大きいピーク値を検出し、
ピーク値が検出された各水平方向の画像信号位置より車
線区分ラインの形状を認識することで、画像信号への雑
音混入にも拘わらず車線区分ラインの形状を精度良く認
識することができる。
【００２３】請求項６の発明における車線区分ライン認
識装置は、車線区分ラインを検出すべき道路面の所定の
位置において、この位置を通る水平方向の各画像信号の
レベルと各画像信号を平滑化した信号のレベルとの差を
求め、差分が所定値より大きいピーク値を検出し、ピー
ク値が検出された画像信号の水平方向の位置より車線区
分ラインを認識すると共に、同一水平方向に複数のピー
ク値を検出した場合に車線区分ライン認識を不可能と判
断することで、車線区分ラインを誤認識することを防止
することができる。
識装置は、車線区分ラインを検出すべき道路面の所定の
位置において、この位置を通る水平方向の各画像信号の
レベルと各画像信号を平滑化した信号のレベルとの差を
求め、差分が所定値より大きいピーク値を検出し、ピー
ク値が検出された画像信号の水平方向の位置より車線区
分ラインを認識すると共に、同一水平方向に複数のピー
ク値を検出した場合に車線区分ライン認識を不可能と判
断することで、車線区分ラインを誤認識することを防止
することができる。
【００２４】
実施例１．以下、この発明の一実施例を図について説明
する。図１は本実施例における車線区分ライン認識装置
を示す構成図である。尚、図において、図７と同一符号
は同一又は相当部分を示す。図中、５Ａは本実施例にお
ける信号処理装置であり、この信号処理装置は、メモリ
に記憶された道路面の水平方向を示す各画像信号を処理
し、これら画像信号のレベルの極大値を検出する極大値
検出手段５０と、極大値検出手段５０により極大値が検
出された位置より道路面上の車線区分ラインの位置を検
出する区分ライン検出手段５１より構成される。また、
ビデオカメラはレンズ１、イメージセンサ２、Ａ／Ｄ変
換器３より構成される。
する。図１は本実施例における車線区分ライン認識装置
を示す構成図である。尚、図において、図７と同一符号
は同一又は相当部分を示す。図中、５Ａは本実施例にお
ける信号処理装置であり、この信号処理装置は、メモリ
に記憶された道路面の水平方向を示す各画像信号を処理
し、これら画像信号のレベルの極大値を検出する極大値
検出手段５０と、極大値検出手段５０により極大値が検
出された位置より道路面上の車線区分ラインの位置を検
出する区分ライン検出手段５１より構成される。また、
ビデオカメラはレンズ１、イメージセンサ２、Ａ／Ｄ変
換器３より構成される。
【００２５】次に、画像信号の輝度の極大値を検出して
車線区分ラインを認識する動作を図４を参照して説明す
る。信号処理装置５Ａは道路面２１の水平方向における
画像信号の輝度を測定する際、画像中に３つの水平位置
２２ａ〜２２ｃを設定すると共に、各水平位置２２ａ〜
２２ｃにそれぞれ基準点３０ａ〜３０ｃを設定し、更に
これら基準点３０ａ〜３０ｃより左側を左端領域、右側
を右端領域と設定する。
車線区分ラインを認識する動作を図４を参照して説明す
る。信号処理装置５Ａは道路面２１の水平方向における
画像信号の輝度を測定する際、画像中に３つの水平位置
２２ａ〜２２ｃを設定すると共に、各水平位置２２ａ〜
２２ｃにそれぞれ基準点３０ａ〜３０ｃを設定し、更に
これら基準点３０ａ〜３０ｃより左側を左端領域、右側
を右端領域と設定する。
【００２６】このように、各領域を設定した後に、極大
値５０は水平位置２２ａにおいて、左端領域中の各画像
信号うち基準点３０ａの輝度より高く、しかも全輝度中
の極大値を示す画像信号の位置情報、即ちこの画像信号
が得られた水平位置２２ａ上の地点を演算する。この演
算の結果、地点３１ａが求められたならば、区分ライン
検出手段５１はこの地点３１ａを水平位置２２ａ上にお
ける車線区分ラインＬ１の候補点とする。
値５０は水平位置２２ａにおいて、左端領域中の各画像
信号うち基準点３０ａの輝度より高く、しかも全輝度中
の極大値を示す画像信号の位置情報、即ちこの画像信号
が得られた水平位置２２ａ上の地点を演算する。この演
算の結果、地点３１ａが求められたならば、区分ライン
検出手段５１はこの地点３１ａを水平位置２２ａ上にお
ける車線区分ラインＬ１の候補点とする。
【００２７】次に、極大値検出手段５０は上記の処理を
右端領域においても行い、右端領域中の各画像信号うち
基準点３０ａの輝度より高く、しかも全輝度中の極大値
を示す画像信号の位置情報、即ちこの画像信号が得られ
た水平位置２２ａ上の地点を演算する。この演算の結
果、地点３２ａが求められたならば、区分ライン検出手
段５１はこの地点３２ａを水平位置２２ａ上における車
線区分ラインＬ２の候補点する。
右端領域においても行い、右端領域中の各画像信号うち
基準点３０ａの輝度より高く、しかも全輝度中の極大値
を示す画像信号の位置情報、即ちこの画像信号が得られ
た水平位置２２ａ上の地点を演算する。この演算の結
果、地点３２ａが求められたならば、区分ライン検出手
段５１はこの地点３２ａを水平位置２２ａ上における車
線区分ラインＬ２の候補点する。
【００２８】更に、極大値検出手段５０は上記の処理を
水平位置２２ｂにおいても行う。この時、左端領域で画
像信号の輝度の極大値が検出された地点は３１ｂであれ
ば、区分ライン検出手段５１この地点３１ｂを水平位置
２２ｂ上における車線区分ラインＬ２の候補点とする。
しかし、右端領域においては輝度の極大値が検出されな
いことから、水平位置２２ｂの右端領域に車線区分ライ
ンＬ１の途切れ部分があることが判定する。
水平位置２２ｂにおいても行う。この時、左端領域で画
像信号の輝度の極大値が検出された地点は３１ｂであれ
ば、区分ライン検出手段５１この地点３１ｂを水平位置
２２ｂ上における車線区分ラインＬ２の候補点とする。
しかし、右端領域においては輝度の極大値が検出されな
いことから、水平位置２２ｂの右端領域に車線区分ライ
ンＬ１の途切れ部分があることが判定する。
【００２９】更に、また極大値検出手段５０は水平位置
２２ｃの左端領域と右端領域のそれぞれで極大値検出処
理を行う。その結果、左端領域においては地点３１ｃに
画像信号の輝度の極大値が検出され、また右端領域にお
いては地点３２ｃに画像信号の輝度の極大値が検出され
る。従って、区分ライン検出手段５１は水平位置２２ｃ
上において、地点３１ｃ，３２ｃを車線区分ラインの候
補点とする。
２２ｃの左端領域と右端領域のそれぞれで極大値検出処
理を行う。その結果、左端領域においては地点３１ｃに
画像信号の輝度の極大値が検出され、また右端領域にお
いては地点３２ｃに画像信号の輝度の極大値が検出され
る。従って、区分ライン検出手段５１は水平位置２２ｃ
上において、地点３１ｃ，３２ｃを車線区分ラインの候
補点とする。
【００３０】実施例２．尚、上記実施例１は、各水平位
置２２ａ〜２２ｃの左端領域と右端領域において、画像
信号の輝度の極大値より車線区分ラインの候補点のみを
検出したが、各領域毎に検出された車線区分ラインの候
補点を結び、最小２乗法又はハフ変換等を用いて直線近
似することで図８に示すように車線区分ラインＬ１，Ｌ
２の形状を認識することができる。
置２２ａ〜２２ｃの左端領域と右端領域において、画像
信号の輝度の極大値より車線区分ラインの候補点のみを
検出したが、各領域毎に検出された車線区分ラインの候
補点を結び、最小２乗法又はハフ変換等を用いて直線近
似することで図８に示すように車線区分ラインＬ１，Ｌ
２の形状を認識することができる。
【００３１】図２は本実施例における車線区分ライン認
識装置を示す構成図である。尚、図において、図１と同
一符号は同一又は相当部分を示す。図中、５Ｂは本実施
例における信号処理装置であり、この信号処理装置５Ｂ
は、メモリ４に記憶された道路面の複数の水平方向を示
す画像信号を、各水平方向毎に処理し、これら画像信号
のレベルの極大値を検出する極大値検出手段５０と、極
大値検出手段５０により極大値が検出された位置よりの
車線区分ラインの形状を認識するライン形状認識手段５
２より構成される。
識装置を示す構成図である。尚、図において、図１と同
一符号は同一又は相当部分を示す。図中、５Ｂは本実施
例における信号処理装置であり、この信号処理装置５Ｂ
は、メモリ４に記憶された道路面の複数の水平方向を示
す画像信号を、各水平方向毎に処理し、これら画像信号
のレベルの極大値を検出する極大値検出手段５０と、極
大値検出手段５０により極大値が検出された位置よりの
車線区分ラインの形状を認識するライン形状認識手段５
２より構成される。
【００３２】本実施例の動作として、極大値検出手段５
０は車線区分ラインを検出すべき道路面の複数の位置を
通る各水平方向の画像信号より信号レベルの極大値を検
出する。そして、ライン形状認識手段５２は極大値が検
出された各水平方向の画像信号の位置より車線区分ライ
ンの形状を認識することで、道路面の状況に拘わらず精
度良く車線区分ラインの形状を認識することができる。
車線区分ラインＬ１，Ｌ２の形状を認識した後は、各ラ
インＬ１，Ｌ２の内側を自車両が走行する車線２３と判
断できる。
０は車線区分ラインを検出すべき道路面の複数の位置を
通る各水平方向の画像信号より信号レベルの極大値を検
出する。そして、ライン形状認識手段５２は極大値が検
出された各水平方向の画像信号の位置より車線区分ライ
ンの形状を認識することで、道路面の状況に拘わらず精
度良く車線区分ラインの形状を認識することができる。
車線区分ラインＬ１，Ｌ２の形状を認識した後は、各ラ
インＬ１，Ｌ２の内側を自車両が走行する車線２３と判
断できる。
【００３３】このように、認識された車線区分ラインの
形状は、以下のように自律走行システムの制御パラメー
タとして活用できる。 （１）障害物センサで障害物の有無を計測する範囲、或
いは追尾対象車を検索する範囲を限定する場合。 （２）前方車両、或いは後方車両の車線変更を検知する
場合。 （３）自車両の操舵制御を行う場合。
形状は、以下のように自律走行システムの制御パラメー
タとして活用できる。 （１）障害物センサで障害物の有無を計測する範囲、或
いは追尾対象車を検索する範囲を限定する場合。 （２）前方車両、或いは後方車両の車線変更を検知する
場合。 （３）自車両の操舵制御を行う場合。
【００３４】実施例３．上記、実施例１，２は車線区分
ラインＬ１，Ｌ２と周囲の情景が明確に識別できる環境
で車線区分ラインＬ１，Ｌ２の候補点検出及び形状認識
を行なった。しかし、図５に示すように道路脇の街路樹
或いは看板の影響で道路面２１に影２４ができ、その影
２４が車線区分ラインを覆った場合でも本実施例によれ
ば影２４を車線区分ラインと誤検出することなく車線区
分ラインの候補点を検出することができる。
ラインＬ１，Ｌ２と周囲の情景が明確に識別できる環境
で車線区分ラインＬ１，Ｌ２の候補点検出及び形状認識
を行なった。しかし、図５に示すように道路脇の街路樹
或いは看板の影響で道路面２１に影２４ができ、その影
２４が車線区分ラインを覆った場合でも本実施例によれ
ば影２４を車線区分ラインと誤検出することなく車線区
分ラインの候補点を検出することができる。
【００３５】何故ならば、影２４が例えば左端領域を覆
った場合、左端領域おける画像信号の輝度は全般的に右
端領域に比較して低下するが、左端領域において各水平
位置２２ａ〜２２ｃ毎に画像信号の輝度を検出すると、
同一水平位置で検出された輝度中に他の輝度と比較して
突出した輝度を検出できるため、その輝度の画像信号を
得た地点を車線区分ラインの候補点と判断することがで
きる。例えば、水平位置２２ａの左端領域では、平均的
な輝度が４３ａであるにも拘わらず地点３１ａにおける
輝度は４１ａと突出した値を示す。このため、地点３１
ａを車線区分ラインの候補点であると認識することがで
きる。他の水平位置２２ａ，２２ｃのおいても同様であ
る。
った場合、左端領域おける画像信号の輝度は全般的に右
端領域に比較して低下するが、左端領域において各水平
位置２２ａ〜２２ｃ毎に画像信号の輝度を検出すると、
同一水平位置で検出された輝度中に他の輝度と比較して
突出した輝度を検出できるため、その輝度の画像信号を
得た地点を車線区分ラインの候補点と判断することがで
きる。例えば、水平位置２２ａの左端領域では、平均的
な輝度が４３ａであるにも拘わらず地点３１ａにおける
輝度は４１ａと突出した値を示す。このため、地点３１
ａを車線区分ラインの候補点であると認識することがで
きる。他の水平位置２２ａ，２２ｃのおいても同様であ
る。
【００３６】実施例４．しかしながら、図６に示すよう
に車線区分ラインＬ１とＬ２の間に画像信号の輝度を高
めるような白色で制限速度を印す数字が描かれている車
線区分ライン検出不可能を判定しても良い。図３は本実
施例における車線区分ライン認識装置を示す構成図であ
る。尚、図において、図１と同一符号は同一又は相当部
分を示す。図中、５Ｃは本実施例における信号処理装置
であり、この信号処理装置５Ｃは、メモリ４に記憶され
た道路面の水平方向を示す各画像信号を処理し、これら
画像信号のレベルの極大値を検出する極大値検出手段５
０と、極大値検出手段５０により極大値が検出された位
置より道路面上の車線区分ラインの位置を検出する区分
ライン検出手段５１と、極大値検出手段５１により、同
一水平方向において離散して多数の極大値が検出された
時に車線区分ライン検出不能と判定する検出不能判定手
段５３より構成される。
に車線区分ラインＬ１とＬ２の間に画像信号の輝度を高
めるような白色で制限速度を印す数字が描かれている車
線区分ライン検出不可能を判定しても良い。図３は本実
施例における車線区分ライン認識装置を示す構成図であ
る。尚、図において、図１と同一符号は同一又は相当部
分を示す。図中、５Ｃは本実施例における信号処理装置
であり、この信号処理装置５Ｃは、メモリ４に記憶され
た道路面の水平方向を示す各画像信号を処理し、これら
画像信号のレベルの極大値を検出する極大値検出手段５
０と、極大値検出手段５０により極大値が検出された位
置より道路面上の車線区分ラインの位置を検出する区分
ライン検出手段５１と、極大値検出手段５１により、同
一水平方向において離散して多数の極大値が検出された
時に車線区分ライン検出不能と判定する検出不能判定手
段５３より構成される。
【００３７】本実施例の動作として、先ず、極大値検出
手段５０は水平位置２２ｂ，２２ｃから輝度の高い車線
区分ラインＬ１，Ｌ２の画像信号に加え、輝度が車線区
分ラインＬ１，Ｌ２の画像信号と同様に高い極大値を有
する画像信号を地点３３ｂ，３４ｂと地点３３ｃ，３４
ｃ，３５ｃより得る。このように同一水平位置上に複数
の輝度の極大値が検出されると、検出不能判定手段５３
は地点３３ｂ，３４ｂと地点３３ｃ，３４ｃ，３５ｃに
車線区分ラインの候補点があると誤判定される判断して
車線区分ライン検出不能と判定する。
手段５０は水平位置２２ｂ，２２ｃから輝度の高い車線
区分ラインＬ１，Ｌ２の画像信号に加え、輝度が車線区
分ラインＬ１，Ｌ２の画像信号と同様に高い極大値を有
する画像信号を地点３３ｂ，３４ｂと地点３３ｃ，３４
ｃ，３５ｃより得る。このように同一水平位置上に複数
の輝度の極大値が検出されると、検出不能判定手段５３
は地点３３ｂ，３４ｂと地点３３ｃ，３４ｃ，３５ｃに
車線区分ラインの候補点があると誤判定される判断して
車線区分ライン検出不能と判定する。
【００３８】実施例５．上記、実施例１は、左端領域及
び右端領域の各水平位置２２ａ〜２２ｃ上で得られた画
像信号中で、他の画像信号の輝度と比較して輝度が極大
値を有する画像信号が得られた地点を車線区分ラインの
候補点とした。しかしながら、このように極大値を検出
して車線区分ラインの候補点を検出する方法であると、
極大値のレベルを有する雑音が装置に混入した場合、水
平位置において雑音が現れた地点を車線区分ラインの候
補点を誤検出する虞れがある。
び右端領域の各水平位置２２ａ〜２２ｃ上で得られた画
像信号中で、他の画像信号の輝度と比較して輝度が極大
値を有する画像信号が得られた地点を車線区分ラインの
候補点とした。しかしながら、このように極大値を検出
して車線区分ラインの候補点を検出する方法であると、
極大値のレベルを有する雑音が装置に混入した場合、水
平位置において雑音が現れた地点を車線区分ラインの候
補点を誤検出する虞れがある。
【００３９】そこで、本実施例は上記のような不具合を
解消する目的でなされる。図４は本実施例における車線
区分ライン認識装置を示す構成図である。尚、図におい
て、図１と同一符号は同一又は相当部分を示す。図中、
５Ｄは本実施例における信号処理装置であり、この信号
処理装置５Ｄは、メモリ４に記憶された道路面の水平方
向を示す各画像信号を平滑化する平滑化手段５４と、こ
の平滑化した画像信号のレベルと水平方向における各画
像信号のレベルとの差を求め、差分が設定レベルより大
きい画像信号のピーク値を検出するピーク値検出手段５
５と、ピーク値検出手段５５によりピーク値が検出され
た位置より道路面上の車線区分ラインの位置を検出する
区分ライン検出手段５６とを備えている。
解消する目的でなされる。図４は本実施例における車線
区分ライン認識装置を示す構成図である。尚、図におい
て、図１と同一符号は同一又は相当部分を示す。図中、
５Ｄは本実施例における信号処理装置であり、この信号
処理装置５Ｄは、メモリ４に記憶された道路面の水平方
向を示す各画像信号を平滑化する平滑化手段５４と、こ
の平滑化した画像信号のレベルと水平方向における各画
像信号のレベルとの差を求め、差分が設定レベルより大
きい画像信号のピーク値を検出するピーク値検出手段５
５と、ピーク値検出手段５５によりピーク値が検出され
た位置より道路面上の車線区分ラインの位置を検出する
区分ライン検出手段５６とを備えている。
【００４０】本実施例の動作として、平滑化手段５４は
各領域の水平位置上で得られた画像信号を輝度のレベル
を平滑化してレベルの平均値を求めた後、この平均値と
各画像信号の輝度のレベルの差を演算して差分を求め
る。そして、ピーク値検出手段５５により、差分が所定
値以上の画像信号の輝度のピーク値を求められた後に、
区分ライン検出手段５６はピーク値を有する画像信号が
得られた地点を車線区分ラインの候補点とする。この結
果、混入した雑音により車線区分ラインを誤検出するこ
とが防止できる。
各領域の水平位置上で得られた画像信号を輝度のレベル
を平滑化してレベルの平均値を求めた後、この平均値と
各画像信号の輝度のレベルの差を演算して差分を求め
る。そして、ピーク値検出手段５５により、差分が所定
値以上の画像信号の輝度のピーク値を求められた後に、
区分ライン検出手段５６はピーク値を有する画像信号が
得られた地点を車線区分ラインの候補点とする。この結
果、混入した雑音により車線区分ラインを誤検出するこ
とが防止できる。
【００４１】実施例６．上記実施例５による方法で検出
した各水平位置におけるピーク値の地点を結び、最小２
乗法又はハフ変換等を用いて直線近似することで図８に
示すように車線区分ラインＬ１，Ｌ２の形状を認識する
ことができる。この形状認識を行う装置として図５にそ
の構成を示す車線区分ライン認識装置が挙げられる。
尚、図において、図１と同一符号は同一又は相当部分を
示す。図中、５Ｅは本実施例における信号処理装置であ
り、この信号処理装置５Ｅは、メモリ４に記憶された道
路面の複数の水平方向を示す各画像信号を、各水平方向
毎に平滑化する平滑化手段５４と、この平滑化した画像
信号のレベルと水平方向における各画像信号のレベルと
の差を求め、差分が設定レベルより大きい画像信号のピ
ーク値を検出するピーク値検出手段５５と、ピーク値検
出手段５５によりピーク値が検出された位置より車線区
分ラインの形状を認識するライン形状認識手段５７とよ
り構成されている。
した各水平位置におけるピーク値の地点を結び、最小２
乗法又はハフ変換等を用いて直線近似することで図８に
示すように車線区分ラインＬ１，Ｌ２の形状を認識する
ことができる。この形状認識を行う装置として図５にそ
の構成を示す車線区分ライン認識装置が挙げられる。
尚、図において、図１と同一符号は同一又は相当部分を
示す。図中、５Ｅは本実施例における信号処理装置であ
り、この信号処理装置５Ｅは、メモリ４に記憶された道
路面の複数の水平方向を示す各画像信号を、各水平方向
毎に平滑化する平滑化手段５４と、この平滑化した画像
信号のレベルと水平方向における各画像信号のレベルと
の差を求め、差分が設定レベルより大きい画像信号のピ
ーク値を検出するピーク値検出手段５５と、ピーク値検
出手段５５によりピーク値が検出された位置より車線区
分ラインの形状を認識するライン形状認識手段５７とよ
り構成されている。
【００４２】本実施例の動作として、先ず、平滑化手段
５４は車線区分ラインを検出すべき位置を通る各水平方
向の各画像信号のレベルと各画像信号を平滑化した信号
のレベルとの差を求める。次に、ピーク値検出手段５５
は差分が所定値より大きいピーク値を検出する。そし
て、ライン形状認識手段５７はピーク値が検出された各
水平方向の画像信号位置より車線区分ラインの形状を認
識することで、画像信号への雑音混入にも拘わらず車線
区分ラインの形状を精度良く認識することができる。
５４は車線区分ラインを検出すべき位置を通る各水平方
向の各画像信号のレベルと各画像信号を平滑化した信号
のレベルとの差を求める。次に、ピーク値検出手段５５
は差分が所定値より大きいピーク値を検出する。そし
て、ライン形状認識手段５７はピーク値が検出された各
水平方向の画像信号位置より車線区分ラインの形状を認
識することで、画像信号への雑音混入にも拘わらず車線
区分ラインの形状を精度良く認識することができる。
【００４３】実施例７．更に、ピーク値検出のもとに車
線区分ラインを検出するにしても、図６に示すように車
線区分ラインＬ１とＬ２の間に画像信号の輝度を高める
ような白色の数字が描かれていると、水平位置２２ｂ，
２２ｃからは輝度の高い車線区分ラインＬ１，Ｌ２の画
像信号に加え、輝度が車線区分ラインＬ１，Ｌ２の画像
信号と同様に高い数字の画像信号が地点３３ｂ，３４ｂ
と地点３３ｃ，３４ｃ，３５ｃより得られるようにな
る。そこで。このように同一水平位置上に離散して複数
の輝度のピーク値が検出されると車線区分ライン検出不
可能を判定して車線区分ラインの誤検出を防ぐようにし
ても良い。
線区分ラインを検出するにしても、図６に示すように車
線区分ラインＬ１とＬ２の間に画像信号の輝度を高める
ような白色の数字が描かれていると、水平位置２２ｂ，
２２ｃからは輝度の高い車線区分ラインＬ１，Ｌ２の画
像信号に加え、輝度が車線区分ラインＬ１，Ｌ２の画像
信号と同様に高い数字の画像信号が地点３３ｂ，３４ｂ
と地点３３ｃ，３４ｃ，３５ｃより得られるようにな
る。そこで。このように同一水平位置上に離散して複数
の輝度のピーク値が検出されると車線区分ライン検出不
可能を判定して車線区分ラインの誤検出を防ぐようにし
ても良い。
【００４４】そこで、本実施例は上記のような目的を達
成するためになされたものである。図６は本実施例にお
ける車線区分ライン認識装置を示す構成図である。尚、
図において、図１と同一符号は同一又は相当部分を示
す。図中、５Ｆは本実施例における信号処理装置であ
り、この信号処理装置５Ｆは、メモリ４に記憶された道
路面の水平方向を示す各画像信号を平滑化する平滑化手
段５４と、この平滑化した画像信号のレベルと水平方向
における各画像信号のレベルとの差を求め、差分が設定
レベルより大きい画像信号のピーク値を検出するピーク
値検出手段５５と、ピーク値検出手段５５によりピーク
値が検出された位置より道路面上の車線区分ラインの位
置を検出する区分ライン検出手段５６と、ピーク値検出
手段により同一水平方向において離散して多数のピーク
値が検出された時に車線区分ライン検出不能と判定する
ン検出不能判定手段５８を備えている。
成するためになされたものである。図６は本実施例にお
ける車線区分ライン認識装置を示す構成図である。尚、
図において、図１と同一符号は同一又は相当部分を示
す。図中、５Ｆは本実施例における信号処理装置であ
り、この信号処理装置５Ｆは、メモリ４に記憶された道
路面の水平方向を示す各画像信号を平滑化する平滑化手
段５４と、この平滑化した画像信号のレベルと水平方向
における各画像信号のレベルとの差を求め、差分が設定
レベルより大きい画像信号のピーク値を検出するピーク
値検出手段５５と、ピーク値検出手段５５によりピーク
値が検出された位置より道路面上の車線区分ラインの位
置を検出する区分ライン検出手段５６と、ピーク値検出
手段により同一水平方向において離散して多数のピーク
値が検出された時に車線区分ライン検出不能と判定する
ン検出不能判定手段５８を備えている。
【００４５】本実施例の動作として、先ず、ピーク値検
出手段５５は水平位置２２ｂ，２２ｃから輝度の高い車
線区分ラインＬ１，Ｌ２の画像信号に加え、輝度が車線
区分ラインＬ１，Ｌ２の画像信号と同様に高いピーク値
を有する画像信号を地点３３ｂ，３４ｂと地点３３ｃ，
３４ｃ，３５ｃより得る。このように同一水平位置上に
離散して複数の輝度の極大値が検出されると、検出不能
判定手段５８は地点３３ｂ，３４ｂと地点３３ｃ，３４
ｃ，３５ｃに車線区分ラインの候補点があると誤判定さ
れる判断して車線区分ライン検出不能と判定する。な
お、上記各実施例では水平位置２２ａ〜２２ｃの３点で
車線区分ライン検知を演算しているが、その数や位置は
適用するシステムに応じて決定すれば、一層、車線区分
ライン検出精度が向上する。
出手段５５は水平位置２２ｂ，２２ｃから輝度の高い車
線区分ラインＬ１，Ｌ２の画像信号に加え、輝度が車線
区分ラインＬ１，Ｌ２の画像信号と同様に高いピーク値
を有する画像信号を地点３３ｂ，３４ｂと地点３３ｃ，
３４ｃ，３５ｃより得る。このように同一水平位置上に
離散して複数の輝度の極大値が検出されると、検出不能
判定手段５８は地点３３ｂ，３４ｂと地点３３ｃ，３４
ｃ，３５ｃに車線区分ラインの候補点があると誤判定さ
れる判断して車線区分ライン検出不能と判定する。な
お、上記各実施例では水平位置２２ａ〜２２ｃの３点で
車線区分ライン検知を演算しているが、その数や位置は
適用するシステムに応じて決定すれば、一層、車線区分
ライン検出精度が向上する。
【００４６】
【発明の効果】請求項１の発明によれば、車両の前方を
撮像するビデオカメラと、このビデオカメラにより出力
された画像信号を記憶するメモリと、このメモリに記憶
された道路面の水平方向を示す各画像信号を処理し、こ
れら画像信号のレベルの極大値を検出する極大値検出手
段と、この極大値検出手段により極大値が検出された位
置より道路面上の車線区分ラインの位置を検出する区分
ライン検出手段とを備えたので、道路面の水平方向の画
像信号の極大値を検出することで道路面全域の画像信号
のレベルが低下しても車線区分ラインを精度良く検出で
きるという効果がある。
撮像するビデオカメラと、このビデオカメラにより出力
された画像信号を記憶するメモリと、このメモリに記憶
された道路面の水平方向を示す各画像信号を処理し、こ
れら画像信号のレベルの極大値を検出する極大値検出手
段と、この極大値検出手段により極大値が検出された位
置より道路面上の車線区分ラインの位置を検出する区分
ライン検出手段とを備えたので、道路面の水平方向の画
像信号の極大値を検出することで道路面全域の画像信号
のレベルが低下しても車線区分ラインを精度良く検出で
きるという効果がある。
【００４７】請求項２の発明によれば、車両の前方を撮
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の複数の水平方向を示す各画像信号を、各水
平方向毎に処理し、これら画像信号信号のレベルの極大
値を検出する極大値検出手段と、この極大値検出手段に
より極大値が検出された位置よりの車線区分ラインの形
状を認識するライン形状認識手段と備えたので、道路面
の各水平方向の画像信号の極大値を検出し、これら極大
値が得られた画像信号の水平方向上の位置より車線区分
ラインの形状を認識することで道路面全域の画像信号の
レベルが低下しても車線区分ラインの形状を精度良く認
識できるという効果がある。
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の複数の水平方向を示す各画像信号を、各水
平方向毎に処理し、これら画像信号信号のレベルの極大
値を検出する極大値検出手段と、この極大値検出手段に
より極大値が検出された位置よりの車線区分ラインの形
状を認識するライン形状認識手段と備えたので、道路面
の各水平方向の画像信号の極大値を検出し、これら極大
値が得られた画像信号の水平方向上の位置より車線区分
ラインの形状を認識することで道路面全域の画像信号の
レベルが低下しても車線区分ラインの形状を精度良く認
識できるという効果がある。
【００４８】請求項３の発明によれば、車両の前方を撮
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を処理し、これ
ら画像信号のレベルの極大値を検出する極大値検出手段
と、この極大値検出手段により極大値が検出された位置
より道路面上の車線区分ラインの位置を検出する区分ラ
イン検出手段と、前記極大値検出手段により、同一水平
方向において離散して多数の極大値が検出された時に車
線区分ライン検出不能と判定する検出不能判定手段とを
備えたので、道路面の水平方向の画像信号の極大値を検
出することで道路面全域の画像信号のレベルが低下して
も車線区分ラインを精度良く検出できると共に、同一水
平方向において多数の極大値が検出された時に車線区分
ライン検出不能と判定するので信頼性が向上するという
効果がある。
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を処理し、これ
ら画像信号のレベルの極大値を検出する極大値検出手段
と、この極大値検出手段により極大値が検出された位置
より道路面上の車線区分ラインの位置を検出する区分ラ
イン検出手段と、前記極大値検出手段により、同一水平
方向において離散して多数の極大値が検出された時に車
線区分ライン検出不能と判定する検出不能判定手段とを
備えたので、道路面の水平方向の画像信号の極大値を検
出することで道路面全域の画像信号のレベルが低下して
も車線区分ラインを精度良く検出できると共に、同一水
平方向において多数の極大値が検出された時に車線区分
ライン検出不能と判定するので信頼性が向上するという
効果がある。
【００４９】請求項４の発明によれば、車両の前方を撮
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を平滑化する平
滑化手段と、この平滑化した画像信号のレベルと水平方
向における各画像信号のレベルとの差を求め、差分が設
定レベルより大きい画像信号のピーク値を検出するピー
ク値検出手段と、このピーク値検出手段によりピーク値
が検出された位置より道路面上の車線区分ラインの位置
を検出する区分ライン検出手段とを備えたので、雑音の
影響で画像信号のレベルが一時的に上がってもそれを車
線区分ラインと誤検出することがないため、雑音の影響
を極力排除し精度良く車線区分ラインを検出できるとい
う効果がある。
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を平滑化する平
滑化手段と、この平滑化した画像信号のレベルと水平方
向における各画像信号のレベルとの差を求め、差分が設
定レベルより大きい画像信号のピーク値を検出するピー
ク値検出手段と、このピーク値検出手段によりピーク値
が検出された位置より道路面上の車線区分ラインの位置
を検出する区分ライン検出手段とを備えたので、雑音の
影響で画像信号のレベルが一時的に上がってもそれを車
線区分ラインと誤検出することがないため、雑音の影響
を極力排除し精度良く車線区分ラインを検出できるとい
う効果がある。
【００５０】請求項５の発明によれば、車両の前方を撮
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を、各水平方向
毎に平滑化する平滑化手段と、この平滑化した画像信号
のレベルと複数水平方向における各画像信号のレベルと
の差を求め、差分が設定レベルより大きい画像信号のピ
ーク値を検出するピーク値検出手段と、このピーク値検
出手段によりピーク値が検出された位置より車線区分ラ
インの形状を認識するライン形状認識手段と備えたの
で、雑音の影響で画像信号のレベルが一時的に上がって
もそれを車線区分ラインと誤検出することがないため、
精度良く車線区分ラインを認識できるという効果があ
る。
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を、各水平方向
毎に平滑化する平滑化手段と、この平滑化した画像信号
のレベルと複数水平方向における各画像信号のレベルと
の差を求め、差分が設定レベルより大きい画像信号のピ
ーク値を検出するピーク値検出手段と、このピーク値検
出手段によりピーク値が検出された位置より車線区分ラ
インの形状を認識するライン形状認識手段と備えたの
で、雑音の影響で画像信号のレベルが一時的に上がって
もそれを車線区分ラインと誤検出することがないため、
精度良く車線区分ラインを認識できるという効果があ
る。
【００５１】請求項６の発明によれば、車両の前方を撮
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を平滑化する平
滑化手段と、この平滑化した画像信号のレベルとの水平
方向における各画像信号のレベルとの差を求め、差分が
設定レベルより大きい画像信号のピーク値を検出するピ
ーク値検出手段と、このピーク値検出手段によりピーク
値が検出された位置より道路面上の車線区分ラインの位
置を検出する区分ライン検出手段と、前記ピーク値検出
手段により同一水平方向において多数のピーク値が検出
された時に車線区分ライン検出不能と判定する検出不能
判定手段とを備えたので、雑音の影響で画像信号のレベ
ルが一時的に上がってもそれを車線区分ラインと誤検出
することがないため、雑音の影響を極力排除し精度良く
車線区分ラインを検出できると共に、同一水平方向にお
いて離散して多数のピーク値が検出された時に車線区分
ライン検出不能と判定するので信頼性が向上するという
効果がある。
像するビデオカメラと、このビデオカメラにより出力さ
れた画像信号を記憶するメモリと、このメモリに記憶さ
れた道路面の水平方向を示す各画像信号を平滑化する平
滑化手段と、この平滑化した画像信号のレベルとの水平
方向における各画像信号のレベルとの差を求め、差分が
設定レベルより大きい画像信号のピーク値を検出するピ
ーク値検出手段と、このピーク値検出手段によりピーク
値が検出された位置より道路面上の車線区分ラインの位
置を検出する区分ライン検出手段と、前記ピーク値検出
手段により同一水平方向において多数のピーク値が検出
された時に車線区分ライン検出不能と判定する検出不能
判定手段とを備えたので、雑音の影響で画像信号のレベ
ルが一時的に上がってもそれを車線区分ラインと誤検出
することがないため、雑音の影響を極力排除し精度良く
車線区分ラインを検出できると共に、同一水平方向にお
いて離散して多数のピーク値が検出された時に車線区分
ライン検出不能と判定するので信頼性が向上するという
効果がある。
【図１】この発明に実施例１よる車線区分ライン認識装
置を示す構成図である。
置を示す構成図である。
【図２】この発明に実施例２よる車線区分ライン認識装
置を示す構成図である。
置を示す構成図である。
【図３】この発明に実施例４よる車線区分ライン認識装
置を示す構成図である。
置を示す構成図である。
【図４】この発明に実施例５よる車線区分ライン認識装
置を示す構成図である。
置を示す構成図である。
【図５】この発明に実施例６よる車線区分ライン認識装
置を示す構成図である。
置を示す構成図である。
【図６】この発明に実施例７よる車線区分ライン認識装
置を示す構成図である。
置を示す構成図である。
【図７】ビデオカメラによって撮像された認識対象物の
画面の一例を示す図である。
画面の一例を示す図である。
【図８】近似的に求めた車線区分ライン内を障害物等の
監視領域と設定した場合を図示し図である。
監視領域と設定した場合を図示し図である。
【図９】画像の道道路面における車線区分ラインの候補
点を検出する手順を説明する図である。
点を検出する手順を説明する図である。
【図１０】画像の道道路面に影がある場合に車線区分ラ
インの候補点を検出する手順を説明する図である。
インの候補点を検出する手順を説明する図である。
【図１１】画像の道道路面にに車線区分ライン以外の白
色の数字が印されている場合に車線区分ラインの候補点
の検出を不可能とする手順を説明する図である。
色の数字が印されている場合に車線区分ラインの候補点
の検出を不可能とする手順を説明する図である。
【図１２】従来の車線区分ライン認識装置を示す構成図
である。
である。
１ レンズ ２ イメージセンサ ３ Ａ／Ｄ変換器 ４ メモリ ５Ａ 信号処理装置 ５０ 極大値検出手段 ５１ 区分ライン検出手段 ５２ ライン形状認識手段 ５３ 検出不能判定手段 ５４ 平滑化手段 ５５ ピーク値検出手段 ５６ 区分ライン検出手段 ５７ ライン形状認識手段 ５８ 検出不能判定手段 ６ 先行車 ２０ メモリに記憶された画像 ２１ 道道路面 ２２ａ〜２２ｃ 水平位置 ２３ 監視領域 ２４ 影 Ｌ１，Ｌ２ 車線区分ライン
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成６年１月１１日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項１
【補正方法】変更
【補正内容】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正内容】
【００１２】
【課題を解決するための手段】請求項１の発明に係る車
線区分ライン認識装置は、車両の前方を撮像するビデオ
カメラと、このビデオカメラにより出力された画像信号
を記憶するメモリと、このメモリに記憶された道路面の
水平方向を示す各画像信号を処理し、これら画像信号の
レベルの極大値を検出する極大値検出手段と、この極大
値検出手段により極大値が検出された位置より道路面上
の車線区分ラインの位置を検出する区分ライン検出手段
とを備えたものである。
線区分ライン認識装置は、車両の前方を撮像するビデオ
カメラと、このビデオカメラにより出力された画像信号
を記憶するメモリと、このメモリに記憶された道路面の
水平方向を示す各画像信号を処理し、これら画像信号の
レベルの極大値を検出する極大値検出手段と、この極大
値検出手段により極大値が検出された位置より道路面上
の車線区分ラインの位置を検出する区分ライン検出手段
とを備えたものである。
Claims (6)
- 【請求項１】 車両の前方を撮像するビデオカメラと、
このビデオカメラにより出力された画像信号を記憶する
メモリと、このメモリに記憶された道路面の水平方向を
示す各画像信号を処理し、これら画像信号のレベルの極
大値を検出する極大値検出手段と、この極大値検出手段
により検出極大値が検出された位置より道路面上の車線
区分ラインの位置を検出する区分ライン検出手段とを備
えたことを特徴とする車線区分ライン認識装置。 - 【請求項２】 車両の前方を撮像するビデオカメラと、
このビデオカメラにより出力された画像信号を記憶する
メモリと、このメモリに記憶された道路面の複数の水平
方向を示す画像信号を、各水平方向毎に処理し、これら
画像信号のレベルの極大値を検出する極大値検出手段
と、この極大値検出手段により極大値が検出された位置
よりの車線区分ラインの形状を認識するライン形状認識
手段とを備えたことを特徴とする車線区分ライン認識装
置。 - 【請求項３】 車両の前方を撮像するビデオカメラと、
このビデオカメラにより出力された画像信号を記憶する
メモリと、このメモリに記憶された道路面の水平方向を
示す各画像信号を処理し、これら画像信号のレベルの極
大値を検出する極大値検出手段と、この極大値検出手段
により極大値が検出された位置より道路面上の車線区分
ラインの位置を検出する区分ライン検出手段と、前記極
大値検出手段により、同一水平方向において離散して多
数の極大値が検出された時に車線区分ライン検出不能と
判定する検出不能判定手段とを備えたことを特徴とする
車線区分ライン認識装置。 - 【請求項４】 車両の前方を撮像するビデオカメラと、
このビデオカメラにより出力された画像信号を記憶する
メモリと、このメモリに記憶された道路面の水平方向を
示す各画像信号を平滑化する平滑化手段と、この平滑化
した画像信号のレベルと水平方向における各画像信号の
レベルとの差を求め、差分が設定レベルより大きい画像
信号のピーク値を検出するピーク値検出手段と、このピ
ーク値検出手段によりピーク値が検出された位置より道
路面上の車線区分ラインの位置を検出する区分ライン検
出手段とを備えたことを特徴とする車線区分ライン認識
装置。 - 【請求項５】 車両の前方を撮像するビデオカメラと、
このビデオカメラにより出力された画像信号を記憶する
メモリと、このメモリに記憶された道路面の複数の水平
方向を示す各画像信号を、各水平方向毎に平滑化する平
滑化手段と、この平滑化した画像信号のレベルと水平方
向における各画像信号のレベルとの差を求め、差分が設
定レベルより大きい画像信号のピーク値を検出するピー
ク値検出手段と、このピーク値検出手段によりピーク値
が検出された位置より車線区分ラインの形状を認識する
ライン形状認識手段とを備えたことを特徴とする車線区
分ライン認識装置。 - 【請求項６】 車両の前方を撮像するビデオカメラと、
このビデオカメラにより出力された画像信号を記憶する
メモリと、このメモリに記憶された道路面の水平方向を
示す各画像信号を平滑化する平滑化手段と、この平滑化
した画像信号のレベルとの水平方向における各画像信号
のレベルとの差を求め、差分が設定レベルより大きい画
像信号のピーク値を検出するピーク値検出手段と、この
ピーク値検出手段によりピーク値が検出された位置より
道路面上の車線区分ラインの位置を検出する区分ライン
検出手段と、前記ピーク値検出手段により同一水平方向
において離散して多数のピーク値が検出された時に車線
区分ライン検出不能と判定する検出不能判定手段とを備
えたことを特徴とする車線区分ライン認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5045248A JP2971694B2 (ja) | 1993-03-05 | 1993-03-05 | 車線区分ライン認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5045248A JP2971694B2 (ja) | 1993-03-05 | 1993-03-05 | 車線区分ライン認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06258046A true JPH06258046A (ja) | 1994-09-16 |
| JP2971694B2 JP2971694B2 (ja) | 1999-11-08 |
Family
ID=12713969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5045248A Expired - Fee Related JP2971694B2 (ja) | 1993-03-05 | 1993-03-05 | 車線区分ライン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2971694B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312797A (ja) * | 2001-04-09 | 2002-10-25 | Denso Corp | 分岐路判定装置、プログラム及び記録媒体 |
| EP2256691A1 (en) * | 2008-03-26 | 2010-12-01 | Honda Motor Co., Ltd. | Image processing device for vehicle and image processing program |
| KR101897992B1 (ko) * | 2017-03-28 | 2018-09-13 | 재단법인대구경북과학기술원 | 자율주행 자동차 설계를 위한 자율 주행 제어 개발 키트 |
| US11967158B2 (en) | 2020-05-12 | 2024-04-23 | Faurecia Clarion Electronics Co., Ltd. | Image processor and image processing method |
-
1993
- 1993-03-05 JP JP5045248A patent/JP2971694B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312797A (ja) * | 2001-04-09 | 2002-10-25 | Denso Corp | 分岐路判定装置、プログラム及び記録媒体 |
| JP4631197B2 (ja) * | 2001-04-09 | 2011-02-16 | 株式会社デンソー | 分岐路判定装置、プログラム及び記録媒体 |
| EP2256691A1 (en) * | 2008-03-26 | 2010-12-01 | Honda Motor Co., Ltd. | Image processing device for vehicle and image processing program |
| EP2256691A4 (en) * | 2008-03-26 | 2012-07-04 | Honda Motor Co Ltd | IMAGE PROCESSING DEVICE FOR VEHICLE AND IMAGE PROCESSING PROGRAM |
| US8681221B2 (en) | 2008-03-26 | 2014-03-25 | Honda Motor Co., Ltd. | Vehicular image processing device and vehicular image processing program |
| KR101897992B1 (ko) * | 2017-03-28 | 2018-09-13 | 재단법인대구경북과학기술원 | 자율주행 자동차 설계를 위한 자율 주행 제어 개발 키트 |
| US11967158B2 (en) | 2020-05-12 | 2024-04-23 | Faurecia Clarion Electronics Co., Ltd. | Image processor and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2971694B2 (ja) | 1999-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6658150B2 (en) | Image recognition system | |
| US7376247B2 (en) | Target detection system using radar and image processing | |
| CN111047615B (zh) | 基于图像的直线检测方法、装置以及电子设备 | |
| JP2011220732A (ja) | 車両の周辺監視装置 | |
| JPH06281455A (ja) | 車両周辺監視装置 | |
| JP2000339597A (ja) | 物体検出装置 | |
| US6697146B2 (en) | Range finder for finding range by image realization | |
| JP3452794B2 (ja) | 視程測定装置 | |
| KR19980018429A (ko) | 이미지를 사용한 거리 검출 방법 | |
| KR100187346B1 (ko) | 에지라인 측정방법 | |
| JPH06258046A (ja) | 車線区分ライン認識装置 | |
| US6813383B1 (en) | Linear mark detecting method and device | |
| JPH07244717A (ja) | 車両用走行環境認識装置 | |
| JP2003308599A (ja) | 走行路環境検出装置 | |
| JP2001330665A (ja) | レーダ及び画像処理を用いた車載用物体検出装置 | |
| JPH07333339A (ja) | 自動車用障害物検知装置 | |
| JP3287166B2 (ja) | 距離測定装置 | |
| JPH0843083A (ja) | 先行車検出装置及び接近警報装置 | |
| JP2000259997A (ja) | 先行車の高さおよび車間距離計測装置 | |
| JPH07141592A (ja) | 道路白線検出装置 | |
| JP2000163692A (ja) | 車種判別装置 | |
| JP2966683B2 (ja) | 車両用障害物検出装置 | |
| JP3053723B2 (ja) | ナンバープレート文字認識方法およびその装置 | |
| JP2850607B2 (ja) | 車両用走行路検出装置 | |
| JPH07239996A (ja) | 走路認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |