JP4066942B2 - 車線逸脱防止装置 - Google Patents
車線逸脱防止装置 Download PDFInfo
- Publication number
- JP4066942B2 JP4066942B2 JP2003407766A JP2003407766A JP4066942B2 JP 4066942 B2 JP4066942 B2 JP 4066942B2 JP 2003407766 A JP2003407766 A JP 2003407766A JP 2003407766 A JP2003407766 A JP 2003407766A JP 4066942 B2 JP4066942 B2 JP 4066942B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane
- traveling
- white line
- lane departure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000002265 prevention Effects 0.000 title claims description 33
- 238000001514 detection method Methods 0.000 claims description 72
- 238000003384 imaging method Methods 0.000 claims description 61
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 description 65
- 238000006073 displacement reaction Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Description
例えば、自車両が走行車線から逸脱しそうな状態にあることを検出したときには、走行車線の基準位置から自車両の走行位置までの横ずれ量に応じてドライバが容易に打ち勝つことの可能な程度の操舵制御トルクを操舵アクチュエータにより出力することで車線逸脱を防止するようにしたもの(例えば、特許文献1参照)、或いは、ドライバの不注意などによって車両が走行車線から逸脱すると判定されるときに、警報を発すること等によってドライバに通知することで、ドライバに注意を促すようにしたもの等が提案されている(例えば、特許文献2参照)。
そこで、この発明は上記従来の未解決の問題に着目してなされたものであり、ドライバに違和感を与えることなく、適切なタイミングで逸脱通知を行うことの可能な車線逸脱防止装置を提供することを目的としている。
図1は、本発明における車線逸脱防止装置の一例を示す概略構成図である。
図中、1は自車両前方を撮像するための前方カメラ、2は自車両後方を撮像するための後方カメラであって、前方カメラ1及び後方カメラ2は、例えばCCDカメラ等で構成されている。
そして、図2に示すように、前記前方カメラ1は、車室内のフロントウィンドウの上部に配設されている。なお、図2において(a)は車線逸脱防止装置を搭載した車両20の上面図、(b)は側面図である。
この逸脱防止制御装置7は、車線逸脱傾向にある自車両の運動状態を修正するための制御装置であって、例えば、ドライバの操舵操作に関わらずステアリングシャフトを回転させることの可能な公知の補助操舵機構、及びこれを制御する制御装置を含んで構成され、制御コントローラ10からの制御信号に応じて車線逸脱を抑制するために必要な操舵トルクを算出し、この操舵補助トルクを発生するよう補助操舵機構を駆動制御し、ステアリングシャフトの回転角度を調整することによって車両の運動状態を車線からの逸脱量が小さくなる方向に修正するようになっている。
この前方道路白線認識処理は、基本的には公知の道路白線認識処理と同様であって、まず、ステップS1で道路形状や車両挙動を表す状態変数、つまり前記道路パラメータの初期設定を行う。なお、初期状態では、道路及び白線の形状や車両挙動が不明であるから、各道路パラメータとして、例えばその中央値に相当する値を初期値として設定する。
このようにして白線候補点検出領域を設定したならばステップS3に移行し、前方カメラ1により撮像された撮像画像を読み込む。
なお、前記白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する濃度が規定値以上である画素数の割合は、全ての白線候補点検出領域に対して同一としてもよいし、或いは白線候補点検出領域毎に設定するようにしてもよい。
また、上記濃度の規定値も、全ての白線候補点検出領域に対して同一としてもよいし、白線候補点検出領域毎に設定するようにしてもよい。
一方、白線候補点が規定値以上検出された場合にはステップS7に移行し、図8に示すように、ステップS5で白線候補点検出領域毎に検出した白線候補点と、前回の処理で求めた白線モデル上の点とのずれ量を白線候補点毎に算出する。
今、前方カメラ1に固定された実座標系X(左右方向)、Y(上下方向)、Z(前後方向)上の任意の点を画面座標系x,y上に投影すると、この点は次式(1)で表すことができる。
x=(−f/Z)・X
y=(−f/Z)・Y
ただし、fはレンズパラメータであって、レンズの焦点距離に対応した係数である。
今、道路曲率ρがそれほど大きくなく、且つ道路面は平面であると仮定すると、Z〔m〕前方における車両中心線(カメラ中心線)に対する道路白線の座標は、次式(2)で表すことができる。なお、Xは横方向、Yは上下方向を表す。また、ηはピッチ角である。
X=0.5×(Z・cosη)2×ρ−Z×cosηφr−ycr+(0.5−i)×W
Y=Z×tanη−(h/cosη) ……(2)
ただし、iは、左白線の場合には、i=0、右白線の場合にはi=1である。
ここで、前記(1)及び(2)式から白線モデルを撮像画面上に投影した座標値は次式(3)で表される。
x
=[(ycr/h)-(1-2i)・W/2h]・[y+fη]+fφr-(0.5f2hρ)/(y+fη)
……(3)
a=ycr/h、b=−0.5×f2hρ、c=fφr
d=−fη、e=W/2h ……(4)
x=(a−e)・(y−d)+b/(y−d)+c (左)
x=(a+e)・(y−d)+b/(y−d)+c (右) ……(5)
a=a+Δa、b=b+Δb、c=c+Δc、
d=d+Δd、e=e+Δe ……(6)
そして、このようにして更新した道路パラメータa〜eを新たな白線モデルの道路パラメータとして所定の記憶領域に記憶すると共に、前記(4)式を用いて道路パラメータa〜eを実際の物理量に変換した値も記憶する。
以上の処理を繰り返し行うことにより、各入力画像に対して道路パラメータの検出が行われ、白線モデルが順次更新されることになる。
図9は、前記画像処理装置3で実行される、後方カメラ2からの撮像情報に基づいて道路白線を検出する場合の後方道路白線認識処理の処理手順の一例を示すフローチャートである。なお、画像処理装置3では、この後方道路白線認識処理を予め設定された所定周期で実行する。
B=(y+fη)・W/h ……(7)
したがって、道路白線を後方カメラ2による撮像画面上に投影した場合、その位置座標は、次式(8)で表すことができる。
x={(ycr/h)−(1−2i)・W/2h}・{y・cosη+f・sinη}
……(8)
Y>−Z/tanη
y=(−f/Z)・Y<f/tanη ……(9)
x=2f・sinη・{(ycr/h)−(1−2i)・W/2h} ……(10)
この(10)式をピッチ角ηに関して偏微分すると、次式(11)で表される。
∂x/∂η
=2f・cosη・{ycr/h−(1−2i)・W/2h} ……(11)
W=h/(2f・sinη)×(xR−xL) ……(12)
まず、ステップS11で、前記図3の前方道路白線認識処理で算出された、道路形状や車両挙動を表す各種道路パラメータを読み込む。
次いで、ステップS12に移行し、図10に示すように、白線候補点を検出するための小領域の大きさの初期設定を行う。ここで、初期状態においては、道路パラメータに初期値を設定した白線モデルと、実際の撮像画面上の道路白線との間には大きな開きがあると予想されるので、できる限り大きな領域を設定することが望ましい。また、初期状態時においては、道路白線は検出されていないから、車線幅が広くなっている場合も考慮して、小領域は外側に広く設定する。なお、前回の処理までに道路白線が既に検出されている場合には、実際の道路白線と白線モデルとの差は小さいと考えられるので、例えば図11に示すように、白線モデルを含むできるだけ小さい領域を、白線候補点検出領域の大きさとして設定する。このように白線候補点検出領域をできるだけ小さい領域に設定することで、道路白線以外のものを道路白線として誤検出することを回避し、処理速度を向上させるようになっている。
次いで、ステップS14に移行し、ステップS13で読み込んだ後方カメラ2からの撮像画像においてその撮像画像上に白線候補点の検出領域を設定する。このとき、ステップS12で設定した白線候補点検出領域の大きさに基づいて、図11に示すように、前記白線モデルが、領域の中心となるように撮像画像上に白線候補点の検出領域を設定する。図11の場合には、左右の道路白線に1個ずつ計2個の白線候補点検出領域を設定している。なお、過去の白線モデルの変化状況から、白線モデルの変化方向にオフセットした位置に白線候補点検出領域を設定するようにしてもよい。
このとき、白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する濃度が規定値以上である画素数の割合は、全ての白線候補点検出領域に対して同一としてもよいし、或いは白線候補点検出領域毎に設定するようにしてもよい。また、上記濃度の規定値も、全ての白線候補点検出領域に対して同一としてもよいし、白線候補点検出領域毎に設定するようにしてもよい。
一方、白線候補点が規定値以上検出された場合にはステップS17に移行し、図11に示すように、検出された各白線候補点を貫く直線と、車両最近傍線、つまり、撮像画像において自車両に最も近い地点を表す直線との交点における位置座標xR及びxLを特定する。そして、これらを用いて前記(12)式から走行車線の車線幅Wを算出する。
以上の処理を後方カメラ2からの入力画像毎に行うことで、車線幅Wを順次算出する。
図12は、上述のようにして、前記画像処理装置3で検出された前方カメラ1及び後方カメラ2の撮像情報に基づいて検出された各種道路パラメータを用いて制御コントローラ10で実行される走行状況監視処理の処理手順の一例を示すフローチャートである。
次いで、ステップS22に移行し、車速センサ4からの自車両の走行速度V及び操舵角センサ5からの操舵角δを読み込む。
次いでステップS23に移行し、図13に示すように、逸脱余裕時間Tlcが経過した時点における自車両の横変位予測値ysを、次式(13)から算出する。なお、(13)式において車線中央から右方向への横変位予測値ysを正値とする。
図14において、横軸は後方カメラ2からの撮像情報に基づく車線幅W、縦軸は警報しきい値であって、正領域は右側方向へのしきい値Ythr、負領域は左側方向へのしきい値Ythlである。前記右側方向へのしきい値Ythrは、車線幅Wがそのしきい値w1以下である領域では一定値に維持され、しきい値w1よりも大きい領域では車線幅Wが増加するほどしきい値Ythrもこれに比例して増加するように設定される。逆に左側方向へのしきい値Ythlは、車線幅Wがそのしきい値w1以下である領域では一定値に維持され、しきい値w1よりも大きい領域では車線幅Wが増加するほどしきい値Ythlはこれに反比例して減少するように設定される。つまり、自車両の横変位が車線逸脱方向に増加した場合であっても、車線幅Wが広い場合には、車線幅Wが狭い場合に比較して、自車両の横変位がより大きな値まで車線逸脱はしないとみなすことが可能であるから、車線幅Wに応じて車線逸脱のしきい値を変化させることによって、車線幅Wに即して適切に車線逸脱の可能性判断を行うことができるようになっている。
次いでステップS28に移行し、次に、ステップS23で算出した横変位予測値ysが左側方向へのしきい値Ythlよりも小さいかどうかを判定し、横変位予測値ysが左側方向へのしきい値Ythlよりも小さいときにはステップS29に移行し、左側方向への車線逸脱の可能性が高いとして左側方向への車線逸脱警報を発生させる。そしてステップS31に移行する。
一方、前記ステップS31では、前記ステップS26又は前記ステップS29で、右側方向又は左側方向への車線逸脱の可能性が高いと判定されていることから、前記逸脱防止制御装置7を駆動するための逸脱防止制御指令値を算出する。この逸脱防止制御指令値は、例えば、次式(14)をもとに算出する。なお、式(14)中のYthは、右側方向へ車線逸脱する傾向にある場合には、Yth=Ythrとし、左側方向へ車線逸脱する傾向にある場合にはYth=Ythlとする。
T=−K(Ys−Yth) ……(14)
前記前方カメラ1の撮像情報は、画像処理装置3に入力されここで画像処理が行われ、道路形状及び自車両の走行状態を表す各種道路パラメータが算出される。
また、後方カメラ2の撮像情報は、画像処理装置3に入力されここで画像処理が行われ、走行車線の車線幅Wが算出され、前記前方カメラ1の撮像情報に基づく前方道路白線認識処理においては、この車線幅Wを前方道路白線認識処理における道路パラメータとして、これを用いて次の演算処理周期における道路パラメータの算出を行う。
ここで、前記各種道路パラメータは、前方カメラ1や後方カメラ2の取り付け高さ、また、道路幅W等に基づいて算出するようにしているため、乗員や搭載荷物の重量の変動等によって車両の車高が変化した場合、或いは道路幅Wが変化した場合等には、各種道路パラメータの算出を的確に行うことができない場合がある。
また、車線逸脱判断のしきい値は、車線幅Wに基づいて設定するようにしている。したがって、車線幅Wが広い場合には、自車両の横変位量が比較的大きくなった場合であっても車線逸脱することはないから、これに応じて車線逸脱判断のしきい値をより大きな値に設定することで、実際には、車線逸脱傾向にはないにも関わらず車線逸脱傾向であると誤判断されることを回避し、車線幅Wに即して的確に車線逸脱判断を行うことができる。
また、このとき、後方カメラ2を搭載することによって、その分画像処理装置3での画像処理の処理負荷が増加することになるが、後方カメラ2は、その撮像範囲が鉛直真下方向となるように配置しているから、走行中の車線がカーブであったとしても撮像画像においては、道路白線を略直線とみなすことができる。したがって撮像画像から道路白線に相当する直線のみを検出するようにすればよいから、その分、演算処理を簡略化することができ、複雑な演算を伴わないから、画像処理装置3での処理負荷が増大することはない。
なお、上記実施の形態において、前方カメラ1が前方撮像手段に対応し、図3の前方道路白線認識処理が車両状態推定手段に対応し、図12の走行状況監視処理が車線逸脱傾向検出手段に対応し、後方カメラ2が自車近傍撮像手段に対応し、図9の後方道路白線認識処理が自車近傍車両状態推定手段に対応し、逸脱防止制御装置7が逸脱防止制御手段に対応している。
2 後方カメラ
3 画像処理装置
4 車速センサ
5 操舵角センサ
6 警報装置
7 逸脱防止制御装置
10 制御コントローラ
Claims (8)
- 車両前方を撮像する前方撮像手段と、
当該前方撮像手段で撮像した前方撮像画像に基づき少なくとも走行車線の車線幅を用いて前記走行車線における自車両の走行状態を推定する車両状態推定手段と、
当該車両状態推定手段で推定された走行状態及び前記走行車線の車線幅に基づいて自車両が車線逸脱傾向にあるかどうかを検出する車線逸脱傾向検出手段と、
自車両近傍の走行路を撮像する自車近傍撮像手段と、
当該自車近傍撮像手段で撮像された近傍撮像画像に基づいて少なくとも走行車線の車線幅を含む自車両の走行状態を推定する自車近傍車両状態推定手段と、を備え、
前記車両状態推定手段及び前記車線逸脱傾向検出手段は、前記走行車線の車線幅として前記自車近傍車両状態推定手段で推定した車線幅を用いることを特徴とする車線逸脱防止装置。 - 前記車線逸脱傾向検出手段は、前記自車近傍車両状態推定手段で推定した前記走行車線の車線幅に応じて、前記車線逸脱傾向にあるかどうかを判定するための判定条件を変更することを特徴とする請求項1記載の車線逸脱防止装置。
- 前記車線逸脱傾向検出手段は、自車両の走行車線からの逸脱量がそのしきい値を超えるとき車線逸脱傾向にあると判定し、
前記自車近傍車両状態推定手段で推定した前記走行車線の車線幅が増加するほど前記しきい値をより大きな値に変更することを特徴とする請求項2記載の車線逸脱防止装置。 - 前記車線逸脱傾向検出手段は、自車両の走行車線からの逸脱量がそのしきい値を超えるとき車線逸脱傾向にあると判定し、
前記自車近傍車両状態推定手段で推定した前記走行車線の車線幅がそのしきい値よりも小さいときには前記逸脱量のしきい値を一定値に維持することを特徴とする請求項2又は3記載の車線逸脱防止装置。 - 前記前方撮像手段は、自車両から遠方の走行路面を撮像範囲とし、前記自車近傍撮像手段は、自車両の近傍の走行路面を撮像範囲とする位置に配設されることを特徴とする請求項1から4のいずれか1項に記載の車線逸脱防止装置。
- 前記自車近傍撮像手段は、その撮像範囲の中に自車両の一部を含むように配設されることを特徴とする請求項5記載の車線逸脱防止装置。
- 前記車線逸脱傾向検出手段は、前記車両状態推定手段で検出した走行状態に基づいて、予め設定した所定時間後の走行車線における自車両の走行位置を推定し、推定した走行位置が許容範囲内であるかどうかに基づいて車線逸脱傾向であるかどうかを判定することを特徴とする請求項1から6のいずれか1項に記載の車線逸脱防止装置。
- 前記車線逸脱傾向検出手段で車線逸脱傾向にあることが検出されたとき、車両の運動状態を、車線逸脱を抑制する方向に変化させる逸脱防止制御手段を備えることを特徴とする請求項1から7のいずれか1項に記載の車線逸脱防止装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003407766A JP4066942B2 (ja) | 2003-12-05 | 2003-12-05 | 車線逸脱防止装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003407766A JP4066942B2 (ja) | 2003-12-05 | 2003-12-05 | 車線逸脱防止装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005165972A JP2005165972A (ja) | 2005-06-23 |
JP4066942B2 true JP4066942B2 (ja) | 2008-03-26 |
Family
ID=34729714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003407766A Expired - Lifetime JP4066942B2 (ja) | 2003-12-05 | 2003-12-05 | 車線逸脱防止装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4066942B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105810015A (zh) * | 2016-03-18 | 2016-07-27 | 上海欧菲智能车联科技有限公司 | 车道偏离预警方法及系统和车辆 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007017293A1 (de) * | 2007-04-12 | 2008-10-16 | Continental Automotive Gmbh | Fahrspurdetektion mit Schwarz-Weiß-Kamera und Farbkamera |
KR101063711B1 (ko) * | 2007-07-16 | 2011-09-07 | 기아자동차주식회사 | 차량 경보 시스템 |
JP5065210B2 (ja) * | 2008-09-17 | 2012-10-31 | トヨタ自動車株式会社 | 車線認識装置 |
JP5146330B2 (ja) * | 2009-01-15 | 2013-02-20 | 日産自動車株式会社 | 車両用道路標示認識装置 |
JP5672539B2 (ja) * | 2011-01-11 | 2015-02-18 | トヨタ自動車株式会社 | 車両用カメラユニットおよびブラケット |
JP7077819B2 (ja) * | 2018-06-29 | 2022-05-31 | マツダ株式会社 | 車両制御装置 |
KR102497542B1 (ko) * | 2020-11-16 | 2023-02-09 | 한국자동차연구원 | 차선이탈 예측 장치 및 방법 |
-
2003
- 2003-12-05 JP JP2003407766A patent/JP4066942B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105810015A (zh) * | 2016-03-18 | 2016-07-27 | 上海欧菲智能车联科技有限公司 | 车道偏离预警方法及系统和车辆 |
CN105810015B (zh) * | 2016-03-18 | 2018-07-17 | 上海欧菲智能车联科技有限公司 | 车道偏离预警方法及系统和车辆 |
Also Published As
Publication number | Publication date |
---|---|
JP2005165972A (ja) | 2005-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3922194B2 (ja) | 車線逸脱警報装置 | |
KR102437124B1 (ko) | 장애물과의 충돌이 임박한 경우에 자동차의 조향 수단을 제어하기 위한 시스템 | |
JP4721279B2 (ja) | 車線追従支援装置 | |
JP3690283B2 (ja) | 車線追従制御装置 | |
JP3603768B2 (ja) | 車線逸脱判定装置 | |
JP4291741B2 (ja) | 車線逸脱警報装置 | |
EP2189811B1 (en) | Determination and signalling to a driver of a motor vehicle of a potential collision of the motor vehicle with an obstacle | |
KR101063711B1 (ko) | 차량 경보 시스템 | |
US20060244579A1 (en) | Device and method for determining an orientation of a semitrailer or trailer | |
WO2011039989A1 (ja) | 車両周囲監視装置 | |
US10710585B2 (en) | Trailer backup assist system with predictive hitch angle functionality | |
JP2002079895A6 (ja) | 車線逸脱判定装置 | |
CN103718224A (zh) | 三维物体检测装置和三维物体检测方法 | |
KR20140064387A (ko) | 차선 유지 제어 장치 | |
JP2005182407A (ja) | 車線逸脱防止装置 | |
JP4670528B2 (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
JPWO2006121221A1 (ja) | 車線追従制御装置および車線追従制御方法 | |
JP2007253770A (ja) | 車両用支援制御装置 | |
JP4066942B2 (ja) | 車線逸脱防止装置 | |
JP4923563B2 (ja) | 操舵装置 | |
US20210362781A1 (en) | System and method for active steering control with automatic torque compensation | |
JP6317972B2 (ja) | 車両の車線逸脱防止制御装置 | |
JPH0981757A (ja) | 車両位置検出装置 | |
JP4007355B2 (ja) | 車線追従制御装置 | |
JP2015221636A (ja) | 車線維持支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070814 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071231 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4066942 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140118 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |