JPH0935065A - 車載用画像処理装置 - Google Patents
車載用画像処理装置Info
- Publication number
- JPH0935065A JPH0935065A JP7187407A JP18740795A JPH0935065A JP H0935065 A JPH0935065 A JP H0935065A JP 7187407 A JP7187407 A JP 7187407A JP 18740795 A JP18740795 A JP 18740795A JP H0935065 A JPH0935065 A JP H0935065A
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- time
- white line
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 ガードレールや道路上の文字など背景のノイ
ズを誤検出しにくく、正確に白線位置を高速度で認識す
ることができる車載用画像処理装置を得る。 【解決手段】 画像撮影手段１、Ａ／Ｄ変換手段２、撮
影された画像に基づくデータを時間積分する時間積分手
段２９、その時間積分値に基づいて複数の領域に分割す
る領域分割手段３０とを備える。
ズを誤検出しにくく、正確に白線位置を高速度で認識す
ることができる車載用画像処理装置を得る。 【解決手段】 画像撮影手段１、Ａ／Ｄ変換手段２、撮
影された画像に基づくデータを時間積分する時間積分手
段２９、その時間積分値に基づいて複数の領域に分割す
る領域分割手段３０とを備える。
Description
【０００１】
【発明の属する技術分野】この発明は、車載用画像処理
装置に関し、特に白線認識を行うための車載用画像処理
装置に関するものである。
装置に関し、特に白線認識を行うための車載用画像処理
装置に関するものである。
【０００２】
【従来の技術】従来、車載用画像処理装置として知られ
る、例えば自動車用白線認識装置にはは、図９に示すよ
うに、ＣＣＤカメラである画像撮影手段１から入力した
画像情報からＡ／Ｄ変換手段２により画像信号をディジ
タル信号に変換し、該ディジタル変換された信号から白
線認識手段３により白線認識を行うものが知られてい
る。
る、例えば自動車用白線認識装置にはは、図９に示すよ
うに、ＣＣＤカメラである画像撮影手段１から入力した
画像情報からＡ／Ｄ変換手段２により画像信号をディジ
タル信号に変換し、該ディジタル変換された信号から白
線認識手段３により白線認識を行うものが知られてい
る。
【０００３】かかる従来技術において、ディジタル信号
から白線認識により白線位置を求める白線認識手段につ
いては種々のものが提案されており、例えば、白線と道
路面との輝度差を利用して、画像を所定の閾値で二値化
して白線候補を求める方式、或いは、特開平３−２７３
４９８号公報のように、白線と道路面との輝度差の変化
率、すなわち輝度信号を空間的に微分する等の処理を実
行して白線候補点を求める方式が知られている。
から白線認識により白線位置を求める白線認識手段につ
いては種々のものが提案されており、例えば、白線と道
路面との輝度差を利用して、画像を所定の閾値で二値化
して白線候補を求める方式、或いは、特開平３−２７３
４９８号公報のように、白線と道路面との輝度差の変化
率、すなわち輝度信号を空間的に微分する等の処理を実
行して白線候補点を求める方式が知られている。
【０００４】また更には、画像信号に前例の二値化等既
存の前処理を行った信号、もしくは画像信号そのものを
時間積分し、候補点を求める方式も考えられている。以
下にこのような時間積分から候補点を求めるようにした
白線位置検出手段について説明する。
存の前処理を行った信号、もしくは画像信号そのものを
時間積分し、候補点を求める方式も考えられている。以
下にこのような時間積分から候補点を求めるようにした
白線位置検出手段について説明する。
【０００５】図１０は画像撮影手段１によって車両前方
を撮影したときの画像の一例であり、４は道路上の白
線、５は道路、６は道路上の文字等である。ここで、白
線４の検出は走査線毎に行い、左右それぞれ１点ずつ白
線位置を出力することで行われる。
を撮影したときの画像の一例であり、４は道路上の白
線、５は道路、６は道路上の文字等である。ここで、白
線４の検出は走査線毎に行い、左右それぞれ１点ずつ白
線位置を出力することで行われる。
【０００６】以下に、１走査線上において、入力画面か
ら白線認識を行うための構成および動作について説明す
る。図１１は、ある１走査線（図１０のａ線）を抜き出
し、処理を行った時のフロー（ａ）、及びそのときのデ
ータ（ｂ）を横軸を画面上の横位置にとって表したもの
である。
ら白線認識を行うための構成および動作について説明す
る。図１１は、ある１走査線（図１０のａ線）を抜き出
し、処理を行った時のフロー（ａ）、及びそのときのデ
ータ（ｂ）を横軸を画面上の横位置にとって表したもの
である。
【０００７】図１１（ｂ）の８は縦軸を輝度値に取った
ときの入力画像データを示す。このように、白線４や道
路上の文字６等は輝度値が大きく道路５等は輝度値が小
さく現れている。まず、入力画面（入力画像データ）に
対して輪郭線検出手段９による検出を行う。輪郭線検出
手段９により、輪郭線は入力画像データの変化分絶対値
で求められる。入力画像データ８が入力された輪郭線検
出手段９の出力データ（輪郭線検出データ）は、１０の
ようなグラフで示される。
ときの入力画像データを示す。このように、白線４や道
路上の文字６等は輝度値が大きく道路５等は輝度値が小
さく現れている。まず、入力画面（入力画像データ）に
対して輪郭線検出手段９による検出を行う。輪郭線検出
手段９により、輪郭線は入力画像データの変化分絶対値
で求められる。入力画像データ８が入力された輪郭線検
出手段９の出力データ（輪郭線検出データ）は、１０の
ようなグラフで示される。
【０００８】次に、特定の閾値により二値化手段１１に
よる二値化を行う。輪郭線検出データ１０に特定閾値に
よる二値化を施すと、１２で示すような二値化データが
得られる。次に二値化データ１２を時間積分手段１３に
より時間積分する。
よる二値化を行う。輪郭線検出データ１０に特定閾値に
よる二値化を施すと、１２で示すような二値化データが
得られる。次に二値化データ１２を時間積分手段１３に
より時間積分する。
【０００９】時間積分は例えば、画面上の１画素に注目
し、図１２の様に１画面遅延手段２３と内分手段２４に
より構成される。内分手段２４は、ある内分比率を表わ
す時定数τ２５が与えられたとき、２入力のτ−１：１
内分値を出力するものである。ある時点でのその画素の
輝度値をＰ（ｎ）、同時刻の同じ画素の時間積分値をＩ
（ｎ）、その前フレームの同じ画素の時間積分値をＩ
（ｎ−１）、ある所定の時定数をτとすると、時間積分
値は次の式で与えられる。
し、図１２の様に１画面遅延手段２３と内分手段２４に
より構成される。内分手段２４は、ある内分比率を表わ
す時定数τ２５が与えられたとき、２入力のτ−１：１
内分値を出力するものである。ある時点でのその画素の
輝度値をＰ（ｎ）、同時刻の同じ画素の時間積分値をＩ
（ｎ）、その前フレームの同じ画素の時間積分値をＩ
（ｎ−１）、ある所定の時定数をτとすると、時間積分
値は次の式で与えられる。
【００１０】 Ｉ（ｎ）＝（１−１／τ）×Ｉ（ｎ−１）＋１／τ×Ｐ（ｎ） （式１）
【００１１】ここで時定数τを大きくとると積分時間は
長くなり、小さくとると積分時間は短くなる。かかる積
分処理によれば、時間的に安定して同じ位置に現れる輪
郭線が強く現れるため、道路上の文字等の時間的に不安
定な輪郭線は小さい値となる。
長くなり、小さくとると積分時間は短くなる。かかる積
分処理によれば、時間的に安定して同じ位置に現れる輪
郭線が強く現れるため、道路上の文字等の時間的に不安
定な輪郭線は小さい値となる。
【００１２】二値化データ１２を時間積分したグラフは
１４の様になる。このように、白線４の位置に対応する
データは大きな値となり、一方、道路の文字等６の位置
に対応するデータは小さな値となる。
１４の様になる。このように、白線４の位置に対応する
データは大きな値となり、一方、道路の文字等６の位置
に対応するデータは小さな値となる。
【００１３】次に積分手段１３により得られたデータ１
４を変化分検出手段１５によって変化分データ１６を求
める。変化分検出手段１５は輪郭線検出手段９と同じく
変化分を変化分絶対値で求める。
４を変化分検出手段１５によって変化分データ１６を求
める。変化分検出手段１５は輪郭線検出手段９と同じく
変化分を変化分絶対値で求める。
【００１４】次に、走査開始点設定手段１７は、ライン
上の中心点を特定基準点１８とし、これを走査開始点と
して設定する。走査手段１９は、この特定基準点１８よ
り左右方向に変化分データ１６を走査する。また、走査
手段１９と平行して変化分検出手段２０により変化分デ
ータ１６に対し変化分検出を行い、白線候補点２１を検
出する。変化分検出手段２０は、例えば、データの変化
分を計算し、この変化分データが所定の閾値以上である
ものを検出する。
上の中心点を特定基準点１８とし、これを走査開始点と
して設定する。走査手段１９は、この特定基準点１８よ
り左右方向に変化分データ１６を走査する。また、走査
手段１９と平行して変化分検出手段２０により変化分デ
ータ１６に対し変化分検出を行い、白線候補点２１を検
出する。変化分検出手段２０は、例えば、データの変化
分を計算し、この変化分データが所定の閾値以上である
ものを検出する。
【００１５】変化分検出手段２０により検出された白線
候補２１は判断手段２２により、白線候補が時系列的に
安定していればこれを白線位置と決定し、そうでなけれ
ば前回の白線位置を白線と決定する。
候補２１は判断手段２２により、白線候補が時系列的に
安定していればこれを白線位置と決定し、そうでなけれ
ば前回の白線位置を白線と決定する。
【００１６】以上に、この発明の一つの従来技術におけ
る白線位置検出手段について説明したが、この発明の他
の従来技術における白線位置検出手段としては、特公平
６−２４０３５号公報に示されるように、撮像画像から
輪郭線を抽出し、Ｈｏｕｇｈ変換を施して画像上で近似
する直線群を抽出する直線群抽出手段が知られている。
る白線位置検出手段について説明したが、この発明の他
の従来技術における白線位置検出手段としては、特公平
６−２４０３５号公報に示されるように、撮像画像から
輪郭線を抽出し、Ｈｏｕｇｈ変換を施して画像上で近似
する直線群を抽出する直線群抽出手段が知られている。
【００１７】
【発明が解決しようとする課題】しかしながら、前者に
おける従来技術の場合、実際の道路で上述したような処
理を行うと、白線位置は実際の白線位置より内側に認識
されてしまい、正確な白線位置を認識することができな
いという問題がある。これは、実際に車両に搭載したカ
メラで撮った前方画面においては、車両の微妙な揺れ等
により、画面上の白線位置が左右に微妙に動くため、図
１３に示す様に時間積分画像が実際の白線より幅が広い
ものとなり、そのため、検出走査は内側（特定基準点）
から行っていることから、白線が実際より内側に認識さ
れてしまうことによる。尚、図１３において、（ａ）は
ＣＣＤカメラによる撮影画像、（ｂ）は輪郭線データ、
（ｃ）は時間積分されたデータを示している。
おける従来技術の場合、実際の道路で上述したような処
理を行うと、白線位置は実際の白線位置より内側に認識
されてしまい、正確な白線位置を認識することができな
いという問題がある。これは、実際に車両に搭載したカ
メラで撮った前方画面においては、車両の微妙な揺れ等
により、画面上の白線位置が左右に微妙に動くため、図
１３に示す様に時間積分画像が実際の白線より幅が広い
ものとなり、そのため、検出走査は内側（特定基準点）
から行っていることから、白線が実際より内側に認識さ
れてしまうことによる。尚、図１３において、（ａ）は
ＣＣＤカメラによる撮影画像、（ｂ）は輪郭線データ、
（ｃ）は時間積分されたデータを示している。
【００１８】一方、後者における従来技術の場合は、輪
郭抽出点数が多いときにおいて、処理時間が長くなると
いう問題点がある。
郭抽出点数が多いときにおいて、処理時間が長くなると
いう問題点がある。
【００１９】この発明はかかる問題点を解決すべく為さ
れたもので、正確な白線位置の認識等、正確な画像認識
処理をすることができる車載用画像処理装置を得ること
を目的とするものである。また、この発明は、処理時間
を低減することがき、且つ、正確な画像認識処理を行う
ことができる車載用画像処理装置を得ることを目的とす
るものである。
れたもので、正確な白線位置の認識等、正確な画像認識
処理をすることができる車載用画像処理装置を得ること
を目的とするものである。また、この発明は、処理時間
を低減することがき、且つ、正確な画像認識処理を行う
ことができる車載用画像処理装置を得ることを目的とす
るものである。
【００２０】
【課題を解決するための手段】この発明の請求項１に係
る車載用画像処理装置は、車両周辺を撮影する撮影手段
を備え、得られた画像信号に基づいて画像認識処理を行
う車載用画像処理装置において、上記撮影手段により得
られた画像信号に基づくデータを時間積分する時間積分
手段と、上記時間積分手段によって得られたデータに基
づいて上記データを複数領域に分割する分割手段とを備
え、上記分割手段により得られた上記分割領域に基づい
て、上記画像認識処理を行うようにしたものである。
る車載用画像処理装置は、車両周辺を撮影する撮影手段
を備え、得られた画像信号に基づいて画像認識処理を行
う車載用画像処理装置において、上記撮影手段により得
られた画像信号に基づくデータを時間積分する時間積分
手段と、上記時間積分手段によって得られたデータに基
づいて上記データを複数領域に分割する分割手段とを備
え、上記分割手段により得られた上記分割領域に基づい
て、上記画像認識処理を行うようにしたものである。
【００２１】また、この発明の請求項２に係る車載用画
像処理装置は、請求項１の車載用画像処理装置におい
て、上記複数領域のうちの少なくとも１つを限定して上
記画像認識処理を行うための限定手段を備えたものであ
る。
像処理装置は、請求項１の車載用画像処理装置におい
て、上記複数領域のうちの少なくとも１つを限定して上
記画像認識処理を行うための限定手段を備えたものであ
る。
【００２２】さらに、この発明の請求項３に係る車載用
画像処理装置は、請求項１又は請求項２の車載用画像処
理装置において、上記時間積分手段による時間積分の時
定数を画像の位置に応じて変化させるようにしたもので
ある。
画像処理装置は、請求項１又は請求項２の車載用画像処
理装置において、上記時間積分手段による時間積分の時
定数を画像の位置に応じて変化させるようにしたもので
ある。
【００２３】
実施の形態１．図１は、この発明の一つの実施形態の全
体構成を示す図である。図１において、１は画像撮影手
段（ＣＣＤカメラ）、２はＡ／Ｄ変換手段、２８は輪郭
線検出等の前処理手段、２９は時間積分手段、３０は領
域分割手段、３は白線認識手段、４５は安定化処理手
段、４６は車線幅学習手段である。
体構成を示す図である。図１において、１は画像撮影手
段（ＣＣＤカメラ）、２はＡ／Ｄ変換手段、２８は輪郭
線検出等の前処理手段、２９は時間積分手段、３０は領
域分割手段、３は白線認識手段、４５は安定化処理手
段、４６は車線幅学習手段である。
【００２４】図２は、ＣＣＤカメラ１によって車両前方
を撮影したときの画像の一例であり、これは、図１０に
対して、郭線検出、二値化処理等の前処理を行ったもの
である。図３は図２の画像に対し時間積分を行い領域分
割したときの図である。図３において、２６は領域Ｏ、
２７は領域Ｉをそれぞれ示している。ここで、上述した
図２は前処理手段２８の出力図、図３は領域分割手段３
０の出力図をそれぞれ示している。
を撮影したときの画像の一例であり、これは、図１０に
対して、郭線検出、二値化処理等の前処理を行ったもの
である。図３は図２の画像に対し時間積分を行い領域分
割したときの図である。図３において、２６は領域Ｏ、
２７は領域Ｉをそれぞれ示している。ここで、上述した
図２は前処理手段２８の出力図、図３は領域分割手段３
０の出力図をそれぞれ示している。
【００２５】図４は前処理手段の一例を表したものであ
る。３１は１走査線遅延手段、３２は１画素遅延手段、
３３、３４は差分手段、３５、３６は絶対値手段、３７
は特定閾値、３８、３９は比較手段、４０はＯＲ演算子
である。ここで、差分手段３３でカメラに対し水平方向
の変化分を求め、絶対値手段３５でそれの絶対値を求
め、比較手段３８で二値化して、カメラに対し水平方向
の輪郭線を得る。一方、差分手段３４で同様にカメラの
垂直方向変化分を求め、絶対値手段３６でそれの絶対値
を求め、比較手段３９で二値化を行いカメラに対して垂
直方向の輪郭線を求める。さらにＯＲ演算子４０で水平
方向輪郭線と垂直方向輪郭線の論理和を求め、輪郭線を
検出している。
る。３１は１走査線遅延手段、３２は１画素遅延手段、
３３、３４は差分手段、３５、３６は絶対値手段、３７
は特定閾値、３８、３９は比較手段、４０はＯＲ演算子
である。ここで、差分手段３３でカメラに対し水平方向
の変化分を求め、絶対値手段３５でそれの絶対値を求
め、比較手段３８で二値化して、カメラに対し水平方向
の輪郭線を得る。一方、差分手段３４で同様にカメラの
垂直方向変化分を求め、絶対値手段３６でそれの絶対値
を求め、比較手段３９で二値化を行いカメラに対して垂
直方向の輪郭線を求める。さらにＯＲ演算子４０で水平
方向輪郭線と垂直方向輪郭線の論理和を求め、輪郭線を
検出している。
【００２６】輪郭線検出及び二値化を施した画像は、図
１２に示した積分装置を使って時間積分を行う。この積
分においては、上述した（式１）に示される内分比率を
定める時定数τを大きくすることにより長い時間の時間
積分を求めることができ、一方、時定数τを小さくする
ことにより短い時間の時間積分を求めることができる。
従って、例えば、道路の前方近距離に当たる部分は比較
的安定しているため時定数τを大きくとり、道路の前方
遠距離に当たる部分は比較的安定していないので時定数
τを小さくとるというように、場所によって時定数を使
い分けることにより、効率的に処理時間の短縮化を図る
ことができる。
１２に示した積分装置を使って時間積分を行う。この積
分においては、上述した（式１）に示される内分比率を
定める時定数τを大きくすることにより長い時間の時間
積分を求めることができ、一方、時定数τを小さくする
ことにより短い時間の時間積分を求めることができる。
従って、例えば、道路の前方近距離に当たる部分は比較
的安定しているため時定数τを大きくとり、道路の前方
遠距離に当たる部分は比較的安定していないので時定数
τを小さくとるというように、場所によって時定数を使
い分けることにより、効率的に処理時間の短縮化を図る
ことができる。
【００２７】次に、時間積分手段２９による出力信号は
領域分割手段３０に入力される。これは、図５のように
比較手段４２を用いて行われ、比較手段４２により特定
閾値４１より信号が大きい場合は領域Ｉ（２７）、特定
閾値４１より小さければ領域Ｏ（２６）に画面を２つの
領域に分割するものである。
領域分割手段３０に入力される。これは、図５のように
比較手段４２を用いて行われ、比較手段４２により特定
閾値４１より信号が大きい場合は領域Ｉ（２７）、特定
閾値４１より小さければ領域Ｏ（２６）に画面を２つの
領域に分割するものである。
【００２８】ここで、特定閾値４１は例えば、時間積分
された信号の全画面分もしくは一走査線分の平均をもと
に特定の値を加えたものを用いる。例えば、道路の手前
（近距離）部分と奥（遠距離）部分の時定数τの値を変
えた場合などは、閾値は走査線ごとの平均を基に決める
ものとする。
された信号の全画面分もしくは一走査線分の平均をもと
に特定の値を加えたものを用いる。例えば、道路の手前
（近距離）部分と奥（遠距離）部分の時定数τの値を変
えた場合などは、閾値は走査線ごとの平均を基に決める
ものとする。
【００２９】前段により分けられた領域のうち領域Ｉ
は、画面上での動きが少ない輪郭線の存在する領域であ
り、領域Ｏは画面上で動きの大きい輪郭線もしくは、輪
郭線そのものが無い領域である。
は、画面上での動きが少ない輪郭線の存在する領域であ
り、領域Ｏは画面上で動きの大きい輪郭線もしくは、輪
郭線そのものが無い領域である。
【００３０】例えば白線や車両等のように、画面上で時
間的にある程度同じ位置に存在するものは領域付近は領
域Ｉとなり、それ以外の領域、例えば道路に描かれた文
字、横断歩道等のような、車両が動いている場合に、画
面の同じ場所に時間的に存在していないものの付近は、
領域Ｏとなる。
間的にある程度同じ位置に存在するものは領域付近は領
域Ｉとなり、それ以外の領域、例えば道路に描かれた文
字、横断歩道等のような、車両が動いている場合に、画
面の同じ場所に時間的に存在していないものの付近は、
領域Ｏとなる。
【００３１】このようにして、白線認識もしくは車両認
識等の検出処理を該領域Ｉに限定することにより、全体
的に処理速度を上げることができ、さらに装置の安定性
を上げることができる。次に、この領域を用いて白線認
識手段３による白線認識を行う。この白線認識は、求め
られた領域I内において、生の画像信号から白線輪郭を
検出し、これに基づいて白線認識を行うものである。
識等の検出処理を該領域Ｉに限定することにより、全体
的に処理速度を上げることができ、さらに装置の安定性
を上げることができる。次に、この領域を用いて白線認
識手段３による白線認識を行う。この白線認識は、求め
られた領域I内において、生の画像信号から白線輪郭を
検出し、これに基づいて白線認識を行うものである。
【００３２】図６は白線認識のフローチャートである。
白線認識処理は走査線ごとに行い、さらに画面中心（特
定基準点）から左右２つに分けて２回、それぞれ別々に
処理される。まず、例えば基準点より右側について、図
６のフローチャートを実行する。まず、領域Ｉが存在す
るか調べ（ステップＳ１）、領域Ｉが存在しない場合
は、前回の白線認識値を候補点の１つとする（ステップ
Ｓ２）。領域Ｉが存在する場合は、領域Ｉのうち中心に
近い方から順番に走査を行い（ステップＳ３）、輪郭線
の存在を判断する（ステップＳ４）。輪郭線が存在する
と判断された場合は、内側から最大２つまでを白線認識
値の候補点とし（ステップＳ５）、ステップＳ７に進
む。ステップＳ７については後述する。ステップＳ２の
処理後、あるいはステップＳ５において領域Ｉに白線が
存在しない場合は、前回白線位置（積分値の極大値）を
白線認識位置の候補とし（ステップＳ６）、ステップＳ
７に進む。ステップＳ７の処理後は、基準点の左側につ
いて、同様の処理がなされる。
白線認識処理は走査線ごとに行い、さらに画面中心（特
定基準点）から左右２つに分けて２回、それぞれ別々に
処理される。まず、例えば基準点より右側について、図
６のフローチャートを実行する。まず、領域Ｉが存在す
るか調べ（ステップＳ１）、領域Ｉが存在しない場合
は、前回の白線認識値を候補点の１つとする（ステップ
Ｓ２）。領域Ｉが存在する場合は、領域Ｉのうち中心に
近い方から順番に走査を行い（ステップＳ３）、輪郭線
の存在を判断する（ステップＳ４）。輪郭線が存在する
と判断された場合は、内側から最大２つまでを白線認識
値の候補点とし（ステップＳ５）、ステップＳ７に進
む。ステップＳ７については後述する。ステップＳ２の
処理後、あるいはステップＳ５において領域Ｉに白線が
存在しない場合は、前回白線位置（積分値の極大値）を
白線認識位置の候補とし（ステップＳ６）、ステップＳ
７に進む。ステップＳ７の処理後は、基準点の左側につ
いて、同様の処理がなされる。
【００３３】次に、ステップＳ７の処理について説明す
る。ステップＳ７では、例えばまず右側における処理結
果について、ステップＳ５により輪郭線候補点があった
場合は、図に示されるように、領域（１）と（３）が指
定（付勢）される。一方、ステップＳ２、ステップＳ６
により前回白線位置が候補とされた場合は、領域（２）
と（４）が指定される。次に、左側における処理結果に
ついて、ステップＳ５により輪郭線候補点があった場合
は、領域（１）と（２）が指定され、一方、ステップＳ
２、ステップＳ６により前回白線位置が候補とされた場
合は、領域（３）と（４）が指定される。
る。ステップＳ７では、例えばまず右側における処理結
果について、ステップＳ５により輪郭線候補点があった
場合は、図に示されるように、領域（１）と（３）が指
定（付勢）される。一方、ステップＳ２、ステップＳ６
により前回白線位置が候補とされた場合は、領域（２）
と（４）が指定される。次に、左側における処理結果に
ついて、ステップＳ５により輪郭線候補点があった場合
は、領域（１）と（２）が指定され、一方、ステップＳ
２、ステップＳ６により前回白線位置が候補とされた場
合は、領域（３）と（４）が指定される。
【００３４】こうして、ステップＳ７において、左側、
右側でのそれぞれの指定が終了すると、左右で共に指定
された領域が左右白線候補点として選択され、各領域
（１）〜（４）に応じて、次のように白線が決定され
る。
右側でのそれぞれの指定が終了すると、左右で共に指定
された領域が左右白線候補点として選択され、各領域
（１）〜（４）に応じて、次のように白線が決定され
る。
【００３５】領域（１）は、左右両方とも領域Ｉが存在
し、さらにその領域Ｉ内に輪郭線が存在する場合であ
る。この場合は、候補点のうち、左右の候補点の距離が
最も車線幅に近いものを白線認識点と決定する。
し、さらにその領域Ｉ内に輪郭線が存在する場合であ
る。この場合は、候補点のうち、左右の候補点の距離が
最も車線幅に近いものを白線認識点と決定する。
【００３６】領域（２）は、左側に領域Ｉが存在し、さ
らに領域Ｉ内に輪郭線が存在し、右側には領域Ｉが存在
しないかまたは存在しても領域Ｉ内に輪郭線が存在しな
い場合である。この場合は、左側候補点は前回右側候補
点との距離が最も車線幅に近いものを選択し、右側候補
点は該選択された左側認識点から距離が車線幅になるよ
うに決定する。
らに領域Ｉ内に輪郭線が存在し、右側には領域Ｉが存在
しないかまたは存在しても領域Ｉ内に輪郭線が存在しな
い場合である。この場合は、左側候補点は前回右側候補
点との距離が最も車線幅に近いものを選択し、右側候補
点は該選択された左側認識点から距離が車線幅になるよ
うに決定する。
【００３７】右側認識点＝左側認識点＋車線幅（右側の
座標が左側の座標より大きい場合）
座標が左側の座標より大きい場合）
【００３８】領域（３）は、右側に領域Ｉが存在し、さ
らに領域Ｉ内に輪郭線が存在し、左側には領域Ｉが存在
しないか、または存在しても領域Ｉ内に輪郭線が存在し
ない場合である。この場合は、右側候補点は前回左側候
補点との距離が最も車線幅に近いものを選択し、左側候
補点は該選択された右側認識点から距離が車線幅になる
ように決定する。
らに領域Ｉ内に輪郭線が存在し、左側には領域Ｉが存在
しないか、または存在しても領域Ｉ内に輪郭線が存在し
ない場合である。この場合は、右側候補点は前回左側候
補点との距離が最も車線幅に近いものを選択し、左側候
補点は該選択された右側認識点から距離が車線幅になる
ように決定する。
【００３９】左側認識点＝右側認識点−車線幅（右側の
座標が左側の座標より大きい場合）
座標が左側の座標より大きい場合）
【００４０】領域（４）は、左右両方とも領域Ｉが存在
しないか、もしくは、存在しても領域Ｉ内に輪郭線が存
在しない場合である。この場合は、左右それぞれの候補
点のうち左右の距離が最も車線幅に近いものを決定す
る。ここで、車線幅は学習した車線幅を用いるものとす
る。（車線幅学習は後述）。
しないか、もしくは、存在しても領域Ｉ内に輪郭線が存
在しない場合である。この場合は、左右それぞれの候補
点のうち左右の距離が最も車線幅に近いものを決定す
る。ここで、車線幅は学習した車線幅を用いるものとす
る。（車線幅学習は後述）。
【００４１】次に安定化処理手段４５による認識点に対
する安定化処理を行う。安定化処理は認識点に対し積分
手段、変化量限定手段を用いて行われる。ここで、積分
手段は従来装置の積分手段（図１２）と同じ方式で求め
る。変化量限定手段は、ある値ａ（ｎ）の前回の値をａ
（ｎ−１）とし、最大変化量をδ（＞０）とすると、
する安定化処理を行う。安定化処理は認識点に対し積分
手段、変化量限定手段を用いて行われる。ここで、積分
手段は従来装置の積分手段（図１２）と同じ方式で求め
る。変化量限定手段は、ある値ａ（ｎ）の前回の値をａ
（ｎ−１）とし、最大変化量をδ（＞０）とすると、
【００４２】ａ（ｎ）−ａ（ｎ−１）＞δの時 ａ（ｎ）＝ａ（ｎ−１）＋δ
【００４３】−δ＜ａ（ｎ）−ａ（ｎ−１）＜δの時 ａ（ｎ）はそのまま。
【００４４】−δ＜ａ（ｎ）−ａ（ｎ−１）の時 ａ（ｎ）＝ａ（ｎ−１）−δ
【００４５】の処理を行うものである。
【００４６】図７に積分処理と変化量限定処理のグラフ
を示す。図において、（ａ）が入力データ、（ｂ）が入
力データに対し積分処理を行った時の一例、（ｃ）が入
力データに対し変化量限定処理を行った時の一例であ
る。時間積分処理は微少のノイズを安定させる働きがあ
るのに対し、大きな変化量のノイズには効果が少ない。
一方、変化量限定処理は大きな変化量のノイズを安定さ
せる働きがあるのに対し、小さなノイズには効果が少な
い。
を示す。図において、（ａ）が入力データ、（ｂ）が入
力データに対し積分処理を行った時の一例、（ｃ）が入
力データに対し変化量限定処理を行った時の一例であ
る。時間積分処理は微少のノイズを安定させる働きがあ
るのに対し、大きな変化量のノイズには効果が少ない。
一方、変化量限定処理は大きな変化量のノイズを安定さ
せる働きがあるのに対し、小さなノイズには効果が少な
い。
【００４７】以下に車線幅学習手段４６について説明す
る。車線幅学習は安定化処理後に行われ、下記の４つの
条件（ａ）〜（ｄ）を全て満たしたときのみ、左右白線
認識点距離を基に学習するものとする。ここで、学習と
は、車線幅と認識し、且つ記憶する処理をいう。
る。車線幅学習は安定化処理後に行われ、下記の４つの
条件（ａ）〜（ｄ）を全て満たしたときのみ、左右白線
認識点距離を基に学習するものとする。ここで、学習と
は、車線幅と認識し、且つ記憶する処理をいう。
【００４８】（ａ）領域（１）の場合。 （ｂ）左右認識点距離が標準車線幅（画面上）±１０％
以内。 （ｃ）左右認識点距離が前回車線幅±１０％以内。 （ｄ）左右認識点距離が画面内のより下側の走査線で検
出された車線幅（実際の位置関係は手前）以下。
以内。 （ｃ）左右認識点距離が前回車線幅±１０％以内。 （ｄ）左右認識点距離が画面内のより下側の走査線で検
出された車線幅（実際の位置関係は手前）以下。
【００４９】これにより上記の条件に合うもののみが車
線幅に反映されるため常に正しい車線幅を得ることがで
きる。学習操作は、左右認識点の時間積分によって行わ
れる。これにより、車線幅を時間的に安定させることが
できる。また、安定化操作として、上述した変化量限定
を行うこともできる。
線幅に反映されるため常に正しい車線幅を得ることがで
きる。学習操作は、左右認識点の時間積分によって行わ
れる。これにより、車線幅を時間的に安定させることが
できる。また、安定化操作として、上述した変化量限定
を行うこともできる。
【００５０】実施の形態２．この発明の実施形態１にお
いては、分割手段により分割した後、限定手段により限
定された領域において、白線の輪郭を検出して白線認識
を行う例を示したが、以下には、実施形態２として、限
定された領域において、Ｈｏｕｇｈ変換により白線を抽
出する例について説明する。図８は上述した実施の形態
において、白線認識の代わりにＨｏｕｇｈ変換を用いて
白線を直線として抽出する場合の一例を示している。ま
ずステップＳ１１において、上述したように領域を分割
し、次に、ステップＳ１２においてＨｏｕｇｈ変換を行
う。
いては、分割手段により分割した後、限定手段により限
定された領域において、白線の輪郭を検出して白線認識
を行う例を示したが、以下には、実施形態２として、限
定された領域において、Ｈｏｕｇｈ変換により白線を抽
出する例について説明する。図８は上述した実施の形態
において、白線認識の代わりにＨｏｕｇｈ変換を用いて
白線を直線として抽出する場合の一例を示している。ま
ずステップＳ１１において、上述したように領域を分割
し、次に、ステップＳ１２においてＨｏｕｇｈ変換を行
う。
【００５１】ここで、Ｈｏｕｇｈ変換について、簡単に
説明すると、Ｈｏｕｇｈ変換は、例えば二値画像中から
直線を抽出する手法の一つであり、抽出する直線式を、
説明すると、Ｈｏｕｇｈ変換は、例えば二値画像中から
直線を抽出する手法の一つであり、抽出する直線式を、
【００５２】ｙ＝ａｘ＋ｂ
【００５３】とおくと、画面上の点（ｘ，ｙ）に対応す
る係数（ａ，ｂ）は、
る係数（ａ，ｂ）は、
【００５４】 ｂ＝ｙ−ｘａ （式１）
【００５５】と表され、点（ｘ，ｙ）のａｂ平面での像
は、（１）の直線となる。ここで、全ての点（ｘ，ｙ）
についてａｂ平面での直線像を求め、直線群が最も重な
った点（ａ，ｂ）すなわちａｂ平面で最も重みのある点
（ａ，ｂ）を抽出することにより、直線を抽出するもの
である。まず分割された領域Ｉに限定してＨｏｕｇｈ変
換を施す。領域Ｉ内のみに限定している為、データ量が
減り、処理速度を上げることができ、また白線以外のノ
イズの影響を受けにくくなる。次に左右近似直線抽出を
行う。前回抽出した直線との車幅条件から抽出領域を限
定する。
は、（１）の直線となる。ここで、全ての点（ｘ，ｙ）
についてａｂ平面での直線像を求め、直線群が最も重な
った点（ａ，ｂ）すなわちａｂ平面で最も重みのある点
（ａ，ｂ）を抽出することにより、直線を抽出するもの
である。まず分割された領域Ｉに限定してＨｏｕｇｈ変
換を施す。領域Ｉ内のみに限定している為、データ量が
減り、処理速度を上げることができ、また白線以外のノ
イズの影響を受けにくくなる。次に左右近似直線抽出を
行う。前回抽出した直線との車幅条件から抽出領域を限
定する。
【００５６】ステップＳ１３における車線幅条件は例え
ば、左右の白線近似直線をそれぞれ（ａL，ｂL）、（ａ
R，ｂR）と置くと、直線（ａL，ｂL）、（ａR，ｂR）の
距離は直線（ａR−ａL，ｂR−ｂL）で表され、これが画
面上での車線幅に近くなくてはならないという条件とし
てもよい。
ば、左右の白線近似直線をそれぞれ（ａL，ｂL）、（ａ
R，ｂR）と置くと、直線（ａL，ｂL）、（ａR，ｂR）の
距離は直線（ａR−ａL，ｂR−ｂL）で表され、これが画
面上での車線幅に近くなくてはならないという条件とし
てもよい。
【００５７】まず、前回認識時の直線から車線幅条件を
満たしている直線群に（ａ，ｂ）平面を限定する。次
に、ステップＳ１４において、限定された領域の中で、
重みが最大値である（ａ，ｂ）を抽出する。そして、ス
テップＳ１５において、その重みがある閾値以下の場
合、前回抽出値を用い（ステップＳ１６）、そうでない
場合、ステップＳ１７において今回の抽出直線とする。
このような操作により、白線近似直線を抽出する。
満たしている直線群に（ａ，ｂ）平面を限定する。次
に、ステップＳ１４において、限定された領域の中で、
重みが最大値である（ａ，ｂ）を抽出する。そして、ス
テップＳ１５において、その重みがある閾値以下の場
合、前回抽出値を用い（ステップＳ１６）、そうでない
場合、ステップＳ１７において今回の抽出直線とする。
このような操作により、白線近似直線を抽出する。
【００５８】以上、この発明の実施形態においては、領
域の分割後、限定された領域について輪郭線を抽出する
白線認識、あるいは、Ｈｏｕｇｈ変換による直線抽出に
よる白線認識について説明したが、この発明は上述した
白線認識に関する画像認識処理に限定される事なく、例
えば、二値化処理、テンプレートマッチング処理等にお
いても適用できる。また、実施形態では、二つの領域
（動きの速い領域と遅い領域）に分割する例を示した
が、三つ以上の領域に分け、例えばそのうちの中間の動
き部分について認識を行うような場合にも適用できる。
域の分割後、限定された領域について輪郭線を抽出する
白線認識、あるいは、Ｈｏｕｇｈ変換による直線抽出に
よる白線認識について説明したが、この発明は上述した
白線認識に関する画像認識処理に限定される事なく、例
えば、二値化処理、テンプレートマッチング処理等にお
いても適用できる。また、実施形態では、二つの領域
（動きの速い領域と遅い領域）に分割する例を示した
が、三つ以上の領域に分け、例えばそのうちの中間の動
き部分について認識を行うような場合にも適用できる。
【００５９】この発明の請求項１に係る車載用画像処理
装置によれば、白線等、認識対象に応じた適宜な画像処
理を行うことができ、例えば、この装置を白線認識に利
用した場合は、正確な白線認識（位置検出）を行うこと
ができるという効果を奏する。
装置によれば、白線等、認識対象に応じた適宜な画像処
理を行うことができ、例えば、この装置を白線認識に利
用した場合は、正確な白線認識（位置検出）を行うこと
ができるという効果を奏する。
【００６０】また、この発明の請求項２に係る車載用画
像処理装置によれば、請求項１の効果に加え、処理時間
の短縮を図ることができるという効果を奏する。
像処理装置によれば、請求項１の効果に加え、処理時間
の短縮を図ることができるという効果を奏する。
【００６１】さらに、この発明の請求項３に係る車載用
画像処理装置は、請求項１または請求項２の効果をより
高めることができて、処理時間の短縮を図ることができ
るという効果を奏する。
画像処理装置は、請求項１または請求項２の効果をより
高めることができて、処理時間の短縮を図ることができ
るという効果を奏する。
【図１】 この発明の一つの実施の形態におけるブロッ
ク図である。
ク図である。
【図２】 実施の形態における車両前方を撮影した画像
に輪郭線検出等の前処理を施した時の一例を示す図であ
る。
に輪郭線検出等の前処理を施した時の一例を示す図であ
る。
【図３】 図２の画像を時間積分処理を施し領域分割し
たときの一例を示す図である。
たときの一例を示す図である。
【図４】 実施の形態における輪郭線検出等の前処理の
一例を示す図である。
一例を示す図である。
【図５】 実施の形態における領域分割のブロック図で
ある。
ある。
【図６】 実施の形態における白線認識処理の流れを示
したフローチャートである。
したフローチャートである。
【図７】 時間積分処理、変化量限定処理を行った時の
グラフである。
グラフである。
【図８】 他の実施の形態における白線近似直線抽出の
流れを示したフローチャートである。
流れを示したフローチャートである。
【図９】 従来技術のブロック図である。
【図１０】 従来技術における車両前方を撮像した画像
の一例を示す図である。
の一例を示す図である。
【図１１】 従来例の認識処理の流れを示した図であ
る。
る。
【図１２】 時間積分処理の構成を示すブロック図であ
る。
る。
【図１３】 従来技術の課題の説明図である。
１ 画像撮影手段（ＣＣＤカメラ）、２ Ａ／Ｄ変換手
段、３ 白線認識手段、４ 白線、５ 道路、６ 道路
上の文字、７ 背景、２３ 一画面遅延手段、２４ 内
分手段、２５ 時定数τ、２６ 領域Ｏ、２７ 領域
Ｉ、２８ 前処理手段、２９ 時間積分手段、３０ 領
域分割手段、３１ 一走査線遅延手段、３２ 一画素遅
延手段、３３、３４ 差分手段、３５、３６ 絶対値手
段、３７特定閾値、３８、３９ 比較手段、４０ ＯＲ
演算子、４１ 特定閾値、４２比較手段。
段、３ 白線認識手段、４ 白線、５ 道路、６ 道路
上の文字、７ 背景、２３ 一画面遅延手段、２４ 内
分手段、２５ 時定数τ、２６ 領域Ｏ、２７ 領域
Ｉ、２８ 前処理手段、２９ 時間積分手段、３０ 領
域分割手段、３１ 一走査線遅延手段、３２ 一画素遅
延手段、３３、３４ 差分手段、３５、３６ 絶対値手
段、３７特定閾値、３８、３９ 比較手段、４０ ＯＲ
演算子、４１ 特定閾値、４２比較手段。
Claims (3)
- 【請求項１】 車両周辺を撮影する撮影手段を備え、得
られた画像信号に基づいて画像認識処理を行う車載用画
像処理装置において、 上記撮影手段により得られた画像信号に基づくデータを
時間積分する時間積分手段と、上記時間積分手段によっ
て得られたデータに基づいて上記データを複数領域に分
割する分割手段とを備え、上記分割手段により得られた
上記分割領域に基づいて、上記画像認識処理を行うこと
を特徴とする車載用画像処理装置。 - 【請求項２】 上記複数領域のうちの少なくとも１つを
限定して上記画像認識処理を行うための限定手段を備え
たことを特徴とする請求項１の車載用画像処理装置。 - 【請求項３】 上記時間積分手段による時間積分の時定
数を画像の位置に応じて変化させる請求項１又は請求項
２の車載用画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18740795A JP3331095B2 (ja) | 1995-07-24 | 1995-07-24 | 車載用画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18740795A JP3331095B2 (ja) | 1995-07-24 | 1995-07-24 | 車載用画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0935065A true JPH0935065A (ja) | 1997-02-07 |
| JP3331095B2 JP3331095B2 (ja) | 2002-10-07 |
Family
ID=16205499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18740795A Expired - Fee Related JP3331095B2 (ja) | 1995-07-24 | 1995-07-24 | 車載用画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3331095B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005115820A1 (de) * | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
| JP2007226681A (ja) * | 2006-02-24 | 2007-09-06 | Nagaoka Univ Of Technology | 流水領域検出システム、流水領域検出方法、及びプログラム |
| JP2014085693A (ja) * | 2012-10-19 | 2014-05-12 | Alpine Electronics Inc | 車線監視システム及び車線監視方法 |
| JP2016162323A (ja) * | 2015-03-04 | 2016-09-05 | 株式会社日本自動車部品総合研究所 | 走行区画線認識装置 |
| US9934441B2 (en) | 2014-10-20 | 2018-04-03 | Denso Corporation | Apparatus for recognizing lane partition lines |
-
1995
- 1995-07-24 JP JP18740795A patent/JP3331095B2/ja not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005115820A1 (de) * | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
| US9524439B2 (en) | 2004-05-25 | 2016-12-20 | Continental Automotive Gmbh | Monitoring unit and assistance system for motor vehicles |
| US9704048B2 (en) | 2004-05-25 | 2017-07-11 | Continental Automotive Gmbh | Imaging system for a motor vehicle, having partial color encoding |
| US10055654B2 (en) | 2004-05-25 | 2018-08-21 | Continental Automotive Gmbh | Monitoring unit for a motor vehicle, having partial color encoding |
| US10387735B2 (en) | 2004-05-25 | 2019-08-20 | Continental Automotive Gmbh | Monitoring unit for a motor vehicle, having partial color encoding |
| JP2007226681A (ja) * | 2006-02-24 | 2007-09-06 | Nagaoka Univ Of Technology | 流水領域検出システム、流水領域検出方法、及びプログラム |
| JP4677561B2 (ja) * | 2006-02-24 | 2011-04-27 | 国立大学法人長岡技術科学大学 | 水位検出システム、水位検出方法、及びプログラム |
| JP2014085693A (ja) * | 2012-10-19 | 2014-05-12 | Alpine Electronics Inc | 車線監視システム及び車線監視方法 |
| US9934441B2 (en) | 2014-10-20 | 2018-04-03 | Denso Corporation | Apparatus for recognizing lane partition lines |
| JP2016162323A (ja) * | 2015-03-04 | 2016-09-05 | 株式会社日本自動車部品総合研究所 | 走行区画線認識装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3331095B2 (ja) | 2002-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3083918B2 (ja) | 画像処理装置 | |
| US7729516B2 (en) | Ranging device utilizing image processing | |
| CN107891808B (zh) | 行车提醒方法、装置及车辆 | |
| CN109145798B (zh) | 一种驾驶场景目标识别与可行驶区域分割集成方法 | |
| US20100110193A1 (en) | Lane recognition device, vehicle, lane recognition method, and lane recognition program | |
| US11270133B2 (en) | Object detection device, object detection method, and computer-readable recording medium | |
| JP2010102572A (ja) | 車両の周辺監視装置 | |
| JP2000011133A (ja) | 移動物体検出装置及びその方法 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JP2888735B2 (ja) | 走行レーン検出装置 | |
| Babbar et al. | A new approach for vehicle number plate detection | |
| JP3961584B2 (ja) | 区画線検出装置 | |
| JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
| JPH07334800A (ja) | 車両認識装置 | |
| JP2010061375A (ja) | 物体認識装置及びプログラム | |
| JP3331095B2 (ja) | 車載用画像処理装置 | |
| JP3157958B2 (ja) | 先行車両認識方法 | |
| JPH11213284A (ja) | 車種判別装置 | |
| JPH06331335A (ja) | 車両認識装置 | |
| JPH0520593A (ja) | 走行レーン認識装置と先行車認識装置 | |
| JPH10111939A (ja) | 車載用画像処理装置 | |
| JPH0757200A (ja) | 走路認識装置および走路認識方法 | |
| JPH05313736A (ja) | 移動車両の障害物認識装置 | |
| JPH0933216A (ja) | 車載用画像処理装置 | |
| JP3390122B2 (ja) | 車両の白線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070719 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080719 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090719 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100719 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100719 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110719 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120719 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |