JP3364771B2 - 移動物体検出装置 - Google Patents
移動物体検出装置Info
- Publication number
- JP3364771B2 JP3364771B2 JP07627294A JP7627294A JP3364771B2 JP 3364771 B2 JP3364771 B2 JP 3364771B2 JP 07627294 A JP07627294 A JP 07627294A JP 7627294 A JP7627294 A JP 7627294A JP 3364771 B2 JP3364771 B2 JP 3364771B2
- Authority
- JP
- Japan
- Prior art keywords
- moving
- moving object
- image
- optical flow
- velocity vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、動画像のなかに存在す
る移動物体を検出する移動物体検出装置に関する。 【０００２】 【従来の技術】従来、動画像のなかから移動物体を検出
する方法として、動画像のフレーム間における濃度の差
分をとり、そのフレーム間を差分した画像のなかから、
予め設定された濃度のしきい値を用いて濃度の変化領域
を抽出して、その抽出領域に対応するものが移動物体で
あるとしてそれを検出するようにしている。 【０００３】しかし、このような方法によるのでは、フ
レーム間の濃度の差分によって画像中の移動物体を検出
するためには移動物体を撮像する側が静止状態にある必
要があり、撮像側が移動している状態では背景の動きに
も濃度変化が生じて背景と移動物体との分離ができない
ものとなっている。 【０００４】また、従来、移動体に搭載されたカメラに
よって外界を撮像することによって得られる動画像か
ら、空間的な濃度勾配と時間的な濃度勾配とを用いて速
度ベクトルの分布状態を示すオプティカルフローを算出
し、その得られたオプティカルフローから画像の三次元
的な動きを認識する方法が提案されている（Ｕ．Ｓ．Ｐ
ａｔｅｎｔ Ｎｏ．４，９８０，７６２参照）。 【０００５】しかし、この方法は動画像の入力側である
移動体の移動にともなう画像全体の平行移動または回転
移動を検出するものであり、画像中に存在する移動物体
を検出することができないものとなっている。 【０００６】また、従来、動画像のなかから移動物体を
検出する方法として、フレーム画像を小領域に分割し、
各小領域ごとに速度ベクトルを算出して速度ベクトル分
布図を作成し、その分布図からカメラ操作による速度ベ
クトルの分布パターンの成分を除去して、残った速度ベ
クトルの成分に相当するフレーム画像中の小領域を移動
物体領域として抽出するようにしている（特開平４−３
２８６８９号参照）。 【０００７】しかし、このような方法によるものでは、
予め速度ベクトル分布のパターンを登録しておく必要が
ある。また、このように各小領域ごとに速度ベクトルを
算出しても、やはりノイズの混入により精度良く移動体
のみを検出するのは困難である。例えば、このような装
置を車両に搭載した場合、ノイズの影響で移動していな
いものまで移動体として検出することがあり、信頼性の
悪いものになる。 【０００８】 【発明が解決しようとする課題】解決しようとする問題
点は、動画像のなかから移動物体を検出する場合、画像
入力側が移動している状況下で、その移動方向とは反対
の方向に移動する物体またはその移動方向に対して横切
るように移動する物体を検出する方法が確実に確立され
ていないことである。 【０００９】 【課題を解決するための手段】本発明は、画像入力側が
移動している状況下で、特にその移動方向に対して横切
るように移動する物体を検出できるようにするべく、動
画像を入力する手段と、その入力された動画像から画像
上での速度ベクトルの分布状態を示すオプティカルフロ
ーを算出するオプティカルフロー演算手段と、その算出
されたオプティカルフローから水平方向の速度ベクトル
成分の大きさの最小値を求めて無限遠点方向をわり出す
無限遠点方向抽出手段と、そのわり出された無限遠点方
向を基準にして、オプティカルフローの水平方向におけ
る速度ベクトル成分の極性から移動物体を検出する移動
物体検出手段とをとるようにしている。 【００１０】 【実施例】本発明による移動物体検出装置は、図１に示
すように、車両に搭載され、その進行方向の領域をビデ
オカメラにより連続的に撮像して動画像を得る画像入力
部１と、その連続的に撮像される各画像を画素単位でサ
ンプリングして濃度に関するデータを得て、動画像の空
間的な濃度勾配と時間的な濃度勾配とにしたがう、画像
上での速度ベクトルの分布状態を示すオプティカルフロ
ーを算出するオプティカルフロー演算部２と、その算出
されたオプティカルフローのベクトル場を空間的に平滑
化する平滑化処理部３と、その平滑化されたオプティカ
ルフローから水平方向の速度ベクトル成分の大きさの最
小値を求めて無限遠点方向をわり出す無限遠点方向抽出
部４と、そのわり出された無限遠点方向を基準にして、
オプティカルフローの水平方向における速度ベクトル成
分の極性から移動物体を検出する移動物体検出部５とに
よって構成されている。 【００１１】オプティカルフロー演算部２におけるオプ
ティカルフローの算出としては、例えば、文献「Ａｒｔ
ｉｆｉｃａｌ Ｉｎｔｅｌｉｇｅｎｃｅ」 Ｖｏｌ．１
７．Ｎｏ．１−３（１９８１）．ｐｐ．１８５〜２０
３．Ｂｅｒｔｈｏｌｄ Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂ
ｒｉａｎ Ｇ．Ｓｃｈｕｎｃｋ「Ｄｅｔｅｒｍｉｎｉｎ
ｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ」に記載されている、従
来の手法がそのまま用いられる。 【００１２】図３はオプティカルフローの一例を示すも
ので、図２に示すように、車両の走行方向の領域を撮像
することによって得られる入力画像中に、その車両の走
行方向に対して横切るように移動する物体Ｏがあるとき
の動画像における局所的な２次元の速度ベクトルの場と
なっている。図中、Ｐは車両の進行方向に応した無限遠
点を示している。 【００１３】平滑化処理部３は、例えば、ガウスフィル
タのような空間フィルタによってオプティカルフローの
ベクトル場を平滑化して、そのベクトル場に含まれるノ
イズ成分を減少させる。 【００１４】そのガウスフィルタｆ（ｒ）は、中心から
の距離ｒ，標準偏差σにしたがって次式（１）によって
あらわされる。 【００１５】 【数１】 【００１６】無限遠点方向抽出部４は、オプティカルフ
ローのベクトル場Ｖ（Ｘ，Ｙ）において、次式（２）に
よって、垂直（Ｙ）方向の任意の範囲において、水平
（Ｘ）方向における速度ベクトルのｘ成分の二乗和Ｅ
（ｘ）を計算し、Ｅ（ｘ）が最少になるｘ＝ｘＣを求め
て、図４に示すように、無限遠点方向Ｄをわり出す。 【００１７】 【数２】 【００１８】移動物体検出部５は、次式（３）によって
与えられる搭載車両が走行することによる自己運動によ
って生ずる背景の速度ベクトルＶＢと、次式（４）によ
って与えられる車両の走行方向に対して横切るように移
動する物体Ｏの速度ベクトルＶＯとのｘ成分の極性が異
なることを利用して、その移動物体Ｏを検出する。 【００１９】 【数３】 【００２０】 【数４】 【００２１】その際、例えば、車両走行中の速度ベクト
ルＶＢが、 ＶＢ＜０ ｘ＜ｘＣ または ＶＢ＞０ ｘ＞ｘＣ の条件であれば、あるしきい値νＯ（νＯ＞０）を基準
に、 ｘ＜ｘＣ かつ ＶＯ＞０ または ｘ＞ｘＣ かつ ＶＯ＜０ の条件をみたす（ｘ，ｙ）を求め、図５に示すように、
移動物体Ｏの位置を検出する。 【００２２】このように、本発明によれば、車両の走行
方向の領域を撮像することによって得られる図２に示す
入力画像のなかから、車両の走行方向に対して横切るよ
うに移動する物体Ｏの検出を行うことができるようにな
る。 【００２３】なお、この実施例においては、車両の走行
方向に対して平行に移動する物体を検出することができ
ないが、車両の運転者に対する情報としては車両に接近
してくる移動体の検出が重要であり、この情報により、
例えば、衝突回避を迅速に行うことが可能となる。 【００２４】 【発明の効果】以上、本発明による移動物体検出装置に
あっては、入力画像から得られたオプティカルフローか
ら水平方向の速度ベクトル成分の大きさの最小値を求め
て無限遠点方向をわり出して、そのわり出された無限遠
点方向を基準にして、オプティカルフローの水平方向に
おける速度ベクトル成分の極性から移動物体を検出する
ようにしたもので、画像入力側が移動している状況下
で、その移動方向に対して横切るように移動する物体を
確実に検出できるという利点を有している。
る移動物体を検出する移動物体検出装置に関する。 【０００２】 【従来の技術】従来、動画像のなかから移動物体を検出
する方法として、動画像のフレーム間における濃度の差
分をとり、そのフレーム間を差分した画像のなかから、
予め設定された濃度のしきい値を用いて濃度の変化領域
を抽出して、その抽出領域に対応するものが移動物体で
あるとしてそれを検出するようにしている。 【０００３】しかし、このような方法によるのでは、フ
レーム間の濃度の差分によって画像中の移動物体を検出
するためには移動物体を撮像する側が静止状態にある必
要があり、撮像側が移動している状態では背景の動きに
も濃度変化が生じて背景と移動物体との分離ができない
ものとなっている。 【０００４】また、従来、移動体に搭載されたカメラに
よって外界を撮像することによって得られる動画像か
ら、空間的な濃度勾配と時間的な濃度勾配とを用いて速
度ベクトルの分布状態を示すオプティカルフローを算出
し、その得られたオプティカルフローから画像の三次元
的な動きを認識する方法が提案されている（Ｕ．Ｓ．Ｐ
ａｔｅｎｔ Ｎｏ．４，９８０，７６２参照）。 【０００５】しかし、この方法は動画像の入力側である
移動体の移動にともなう画像全体の平行移動または回転
移動を検出するものであり、画像中に存在する移動物体
を検出することができないものとなっている。 【０００６】また、従来、動画像のなかから移動物体を
検出する方法として、フレーム画像を小領域に分割し、
各小領域ごとに速度ベクトルを算出して速度ベクトル分
布図を作成し、その分布図からカメラ操作による速度ベ
クトルの分布パターンの成分を除去して、残った速度ベ
クトルの成分に相当するフレーム画像中の小領域を移動
物体領域として抽出するようにしている（特開平４−３
２８６８９号参照）。 【０００７】しかし、このような方法によるものでは、
予め速度ベクトル分布のパターンを登録しておく必要が
ある。また、このように各小領域ごとに速度ベクトルを
算出しても、やはりノイズの混入により精度良く移動体
のみを検出するのは困難である。例えば、このような装
置を車両に搭載した場合、ノイズの影響で移動していな
いものまで移動体として検出することがあり、信頼性の
悪いものになる。 【０００８】 【発明が解決しようとする課題】解決しようとする問題
点は、動画像のなかから移動物体を検出する場合、画像
入力側が移動している状況下で、その移動方向とは反対
の方向に移動する物体またはその移動方向に対して横切
るように移動する物体を検出する方法が確実に確立され
ていないことである。 【０００９】 【課題を解決するための手段】本発明は、画像入力側が
移動している状況下で、特にその移動方向に対して横切
るように移動する物体を検出できるようにするべく、動
画像を入力する手段と、その入力された動画像から画像
上での速度ベクトルの分布状態を示すオプティカルフロ
ーを算出するオプティカルフロー演算手段と、その算出
されたオプティカルフローから水平方向の速度ベクトル
成分の大きさの最小値を求めて無限遠点方向をわり出す
無限遠点方向抽出手段と、そのわり出された無限遠点方
向を基準にして、オプティカルフローの水平方向におけ
る速度ベクトル成分の極性から移動物体を検出する移動
物体検出手段とをとるようにしている。 【００１０】 【実施例】本発明による移動物体検出装置は、図１に示
すように、車両に搭載され、その進行方向の領域をビデ
オカメラにより連続的に撮像して動画像を得る画像入力
部１と、その連続的に撮像される各画像を画素単位でサ
ンプリングして濃度に関するデータを得て、動画像の空
間的な濃度勾配と時間的な濃度勾配とにしたがう、画像
上での速度ベクトルの分布状態を示すオプティカルフロ
ーを算出するオプティカルフロー演算部２と、その算出
されたオプティカルフローのベクトル場を空間的に平滑
化する平滑化処理部３と、その平滑化されたオプティカ
ルフローから水平方向の速度ベクトル成分の大きさの最
小値を求めて無限遠点方向をわり出す無限遠点方向抽出
部４と、そのわり出された無限遠点方向を基準にして、
オプティカルフローの水平方向における速度ベクトル成
分の極性から移動物体を検出する移動物体検出部５とに
よって構成されている。 【００１１】オプティカルフロー演算部２におけるオプ
ティカルフローの算出としては、例えば、文献「Ａｒｔ
ｉｆｉｃａｌ Ｉｎｔｅｌｉｇｅｎｃｅ」 Ｖｏｌ．１
７．Ｎｏ．１−３（１９８１）．ｐｐ．１８５〜２０
３．Ｂｅｒｔｈｏｌｄ Ｋ．Ｐ．Ｈｏｒｎ ａｎｄ Ｂ
ｒｉａｎ Ｇ．Ｓｃｈｕｎｃｋ「Ｄｅｔｅｒｍｉｎｉｎ
ｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ」に記載されている、従
来の手法がそのまま用いられる。 【００１２】図３はオプティカルフローの一例を示すも
ので、図２に示すように、車両の走行方向の領域を撮像
することによって得られる入力画像中に、その車両の走
行方向に対して横切るように移動する物体Ｏがあるとき
の動画像における局所的な２次元の速度ベクトルの場と
なっている。図中、Ｐは車両の進行方向に応した無限遠
点を示している。 【００１３】平滑化処理部３は、例えば、ガウスフィル
タのような空間フィルタによってオプティカルフローの
ベクトル場を平滑化して、そのベクトル場に含まれるノ
イズ成分を減少させる。 【００１４】そのガウスフィルタｆ（ｒ）は、中心から
の距離ｒ，標準偏差σにしたがって次式（１）によって
あらわされる。 【００１５】 【数１】 【００１６】無限遠点方向抽出部４は、オプティカルフ
ローのベクトル場Ｖ（Ｘ，Ｙ）において、次式（２）に
よって、垂直（Ｙ）方向の任意の範囲において、水平
（Ｘ）方向における速度ベクトルのｘ成分の二乗和Ｅ
（ｘ）を計算し、Ｅ（ｘ）が最少になるｘ＝ｘＣを求め
て、図４に示すように、無限遠点方向Ｄをわり出す。 【００１７】 【数２】 【００１８】移動物体検出部５は、次式（３）によって
与えられる搭載車両が走行することによる自己運動によ
って生ずる背景の速度ベクトルＶＢと、次式（４）によ
って与えられる車両の走行方向に対して横切るように移
動する物体Ｏの速度ベクトルＶＯとのｘ成分の極性が異
なることを利用して、その移動物体Ｏを検出する。 【００１９】 【数３】 【００２０】 【数４】 【００２１】その際、例えば、車両走行中の速度ベクト
ルＶＢが、 ＶＢ＜０ ｘ＜ｘＣ または ＶＢ＞０ ｘ＞ｘＣ の条件であれば、あるしきい値νＯ（νＯ＞０）を基準
に、 ｘ＜ｘＣ かつ ＶＯ＞０ または ｘ＞ｘＣ かつ ＶＯ＜０ の条件をみたす（ｘ，ｙ）を求め、図５に示すように、
移動物体Ｏの位置を検出する。 【００２２】このように、本発明によれば、車両の走行
方向の領域を撮像することによって得られる図２に示す
入力画像のなかから、車両の走行方向に対して横切るよ
うに移動する物体Ｏの検出を行うことができるようにな
る。 【００２３】なお、この実施例においては、車両の走行
方向に対して平行に移動する物体を検出することができ
ないが、車両の運転者に対する情報としては車両に接近
してくる移動体の検出が重要であり、この情報により、
例えば、衝突回避を迅速に行うことが可能となる。 【００２４】 【発明の効果】以上、本発明による移動物体検出装置に
あっては、入力画像から得られたオプティカルフローか
ら水平方向の速度ベクトル成分の大きさの最小値を求め
て無限遠点方向をわり出して、そのわり出された無限遠
点方向を基準にして、オプティカルフローの水平方向に
おける速度ベクトル成分の極性から移動物体を検出する
ようにしたもので、画像入力側が移動している状況下
で、その移動方向に対して横切るように移動する物体を
確実に検出できるという利点を有している。
【図面の簡単な説明】
【図１】本発明による移動物体検出装置の一実施例を示
すブロック構成図である。 【図２】入力画像の一例を示す図である。 【図３】入力画像に対応したオプティカルフローを示す
図である。 【図４】入力画像における無限遠点方向を示す図であ
る。 【図５】入力画像のなかから検出される移動物体の位置
を示す図である。 【符号の説明】 １ 画像入力部 ２ オプティカルフロー演算部 ３ 平滑化処理部 ４ 無限遠点方向抽出部 ５ 移動物体検出部 Ｏ 移動物体 Ｐ 無限遠点 Ｄ 無限遠点方向
すブロック構成図である。 【図２】入力画像の一例を示す図である。 【図３】入力画像に対応したオプティカルフローを示す
図である。 【図４】入力画像における無限遠点方向を示す図であ
る。 【図５】入力画像のなかから検出される移動物体の位置
を示す図である。 【符号の説明】 １ 画像入力部 ２ オプティカルフロー演算部 ３ 平滑化処理部 ４ 無限遠点方向抽出部 ５ 移動物体検出部 Ｏ 移動物体 Ｐ 無限遠点 Ｄ 無限遠点方向
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
H04N 7/18
G08G 1/00 - 1/16
B60R 21/00
Claims (1)
- (57)【特許請求の範囲】 【請求項１】 動画像を入力する手段と、その入力され
た動画像から画像上での速度ベクトルの分布状態を示す
オプティカルフローを算出するオプティカルフロー演算
手段と、その算出されたオプティカルフローから水平方
向の速度ベクトル成分の大きさの最小値を求めて無限遠
点方向をわり出す無限遠点方向抽出手段と、そのわり出
された無限遠点方向を基準にして、オプティカルフロー
の水平方向における速度ベクトル成分の極性から移動物
体を検出する移動物体検出手段とによって構成された移
動物体検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07627294A JP3364771B2 (ja) | 1994-03-09 | 1994-03-09 | 移動物体検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07627294A JP3364771B2 (ja) | 1994-03-09 | 1994-03-09 | 移動物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07249127A JPH07249127A (ja) | 1995-09-26 |
| JP3364771B2 true JP3364771B2 (ja) | 2003-01-08 |
Family
ID=13600619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07627294A Expired - Fee Related JP3364771B2 (ja) | 1994-03-09 | 1994-03-09 | 移動物体検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3364771B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065329A (zh) * | 2013-01-15 | 2013-04-24 | 西北工业大学 | 一种空间绳系机器人相机自运动检测与补偿方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3885999B2 (ja) | 2001-12-28 | 2007-02-28 | 本田技研工業株式会社 | 物体検出装置 |
| JP3979894B2 (ja) | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
| JP4140588B2 (ja) * | 2004-09-01 | 2008-08-27 | 日産自動車株式会社 | 移動物体検出装置 |
| JP5029436B2 (ja) * | 2008-03-12 | 2012-09-19 | オムロン株式会社 | 横断物体検知装置および横断物体検知方法、並びにプログラム |
| JP5539250B2 (ja) * | 2011-03-23 | 2014-07-02 | 株式会社デンソーアイティーラボラトリ | 接近物体検知装置及び接近物体検知方法 |
| CN107764271B (zh) * | 2017-11-15 | 2023-09-26 | 华南理工大学 | 一种基于光流的可见光视觉动态定位方法及系统 |
| EP3543898A1 (en) * | 2018-03-21 | 2019-09-25 | Robert Bosch Gmbh | Fast detection of secondary objects that may intersect the trajectory of a moving primary object |
-
1994
- 1994-03-09 JP JP07627294A patent/JP3364771B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065329A (zh) * | 2013-01-15 | 2013-04-24 | 西北工业大学 | 一种空间绳系机器人相机自运动检测与补偿方法 |
| CN103065329B (zh) * | 2013-01-15 | 2015-05-06 | 西北工业大学 | 一种空间绳系机器人相机自运动检测与补偿方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07249127A (ja) | 1995-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
| EP1796043B1 (en) | Object detection | |
| US20040057599A1 (en) | Image processing apparatus and method | |
| JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| EP3389009A1 (en) | Image processing device, object recognition device, apparatus control system, image processing method and program | |
| JP3364771B2 (ja) | 移動物体検出装置 | |
| JP2994170B2 (ja) | 車両周辺監視装置 | |
| JP3011566B2 (ja) | 接近車監視装置 | |
| EP3287948B1 (en) | Image processing apparatus, moving body apparatus control system, image processing method, and program | |
| Yang | Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method | |
| JP3629935B2 (ja) | 移動体の速度計測方法およびその方法を用いた速度計測装置 | |
| JP2010003253A (ja) | 運動推定装置 | |
| JP6763198B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP5587852B2 (ja) | 画像処理装置及び画像処理方法 | |
| JPH05312819A (ja) | 移動物体の速度検出装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP3447461B2 (ja) | 移動障害物検出装置及びその方法 | |
| JPH0850696A (ja) | 走行車両のナンバー認識装置 | |
| JP2003322522A (ja) | 車間距離検出装置及び検出方法 | |
| JP3250126B2 (ja) | 移動物体検出装置 | |
| JP4055785B2 (ja) | 移動物体の高さ検出方法及び装置並びに物体形状判定方法及び装置 | |
| KR20200119421A (ko) | 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법 | |
| JP3543912B2 (ja) | オプティカルフロー検出方法 | |
| JP2006172063A (ja) | 画像処理装置、および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071101 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081101 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081101 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091101 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091101 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101101 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |