JPH0749942A - 追跡装置 - Google Patents

追跡装置

Info

Publication number
JPH0749942A
JPH0749942A JP6090943A JP9094394A JPH0749942A JP H0749942 A JPH0749942 A JP H0749942A JP 6090943 A JP6090943 A JP 6090943A JP 9094394 A JP9094394 A JP 9094394A JP H0749942 A JPH0749942 A JP H0749942A
Authority
JP
Japan
Prior art keywords
image
tracing
module
reference patch
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6090943A
Other languages
English (en)
Other versions
JP3337315B2 (ja
Inventor
Timothy J Parsons
テイモテイ・ジヨン・パーソンズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BAE Systems PLC
Original Assignee
British Aerospace PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Aerospace PLC filed Critical British Aerospace PLC
Publication of JPH0749942A publication Critical patent/JPH0749942A/ja
Application granted granted Critical
Publication of JP3337315B2 publication Critical patent/JP3337315B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Vehicle Body Suspensions (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

(57)【要約】 【目的】通常の多重相関法を使用する公知の装置より追
跡ミスおよび不安定を起こし難い、追跡装置を提供する
こと。 【構成】 空中プラットホームから路面車両を追跡する
のに適した装置は、熱撮像装置(1) から受信したデータ
を処理する相関装置(5) を使用する。装置は相関装置
(5) が使用する2進テンプレートを備え、テンプレート
(13)は追跡されるべき物体の大きい曲率の点(12)に基づ
いている。本発明は、たとえば空中プラットホームに搭
載された対地カメラから得られた像を表示する、対象物
の性質と同様のフィーの高密度の状態の下で、通常の相
関追跡装置と比較して、追跡ミスおよび不安定性をいち
じるしく減少する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は物体を追跡する装置に関
し、特に都市環境における空中プラットホームから路面
車両を追跡するのに利用することができる。
【0002】
【発明が解決しようとする課題】本発明は、物体たとえ
ば対象とする自動車を含んだ連続した風景画像を発生す
る、画像装置と一緒に使用することを意図している。本
発明は画像装置によって発生された画像データを処理す
るように、また、対象物の位置を特定する連続した各画
像内に固定点を発生するように構成されている。本発明
の目的は、通常の多重相関(multiplicative correlatio
n)法を使用する公知の装置より追跡ミスおよび不安定性
を起こし難い追跡装置を提供することである。とくに、
特徴(feature)の密度が高いとき、通常の追跡装置は特
徴間の追跡ミスを起こし易い。さらに、コントラストの
小さい特徴に対して、通常の追跡装置によって得られた
固定点は特徴と関連する重大なエッジ構造に対して不安
定となる。
【0003】本発明は通常の追跡装置と比較して追跡ミ
スならびに不安定性がいちじるしく減少し、下記の状
態、すなわち i) 画像が対象とする特徴の空間周波数と同様の高密
度の特徴を含むとき、 ii) 特徴が、局部的背景画像に対してとくにコントラ
ストが少ないとき、 iii) 追跡すべき特徴の性質に関して基礎をなすいかな
る仮定も考慮されないとき、においてとくに有効であ
る。
【0004】
【課題を解決するための手段】本発明は、背景内の基準
パッチ内に含まれる物体を有する連続した画像を受信す
る入力装置と、基準パッチ内の有効な曲率(curvature)
の区域に関する第1組のデータを発生する第1処理装置
と、前記第1組のデータから2進テンプレートを形成す
る第2処理装置と、風景画像と前記2進テンプレートと
を相関させて背景内の物体の位置を現す固定点を発生す
る第3処理装置とを有する追跡装置から成っている。
【0005】しかして、大きい曲率の点はグレースケー
ル画像ついで2進画像を形成するためのしきい値から選
択される。2進点はその周りに形態学的拡大を実施しう
る種を形成する。一実施例において、基準パッチと連続
画像の間の積算相関が計算されるが、しかしそれは基準
パッチ内の大きい曲率点から与えられる2進画像内で非
ゼロと画定された点においてだけである。基準パッチと
連続画像の間の最大相関和の位置は固定点に等しい。第
2実施例において、特徴適合技術が2進テンプレートの
別個の区域と連続した画像の対応する区域との間に使用
される。
【0006】ハフトランスフォーム(Hough transform)
に基づくいくつかの公知の追跡装置とは異なり、本発明
は基礎をなす画像成分に関して仮定はしない。基準画像
から自動的に2進テンプレートの認識を与えることによ
り(データ駆動型技術,data-driven technique)、物体
の形式が画像の間で大きく変わらないとすれば、対応は
ほぼ完全である。大きい曲率の点から与えられるテンプ
レートは、実際、重要な物理的構造の中間の局地性にお
いてだけ相関が生ずることを確実にする。さらに、テン
プレートは関連情報を把握し、すなわちこの構造の相対
的空間的配置記録し、同じ重要な特徴の空間的配置を含
む画像の部分に対する相関を実施する。本発明は3〜5
ミクロン帯域および8〜12ミクロン帯域の連続する熱的
画像において有効に作用することが示された。
【0007】
【実施例】本発明のいくつかの実施例を、図面を参照し
て単なる例示として記載する。
【0008】図1はヘリコプタのような空中プラットホ
ームからの都市の風景を見るように配置された撮像装置
1をブロック形式で示している。風景はその位置を追跡
しようとする路面車両をいつでも含んでいる。風景の画
像は撮像装置1の出力に接続されたフレーム形成装置2
の作用をうける。またフレーム形成装置2は入力信号
(X0 ,Y0 )を捕捉モジュール3から、別の入力信号
の組(Xi ,Yi )を追跡制御モジュール4から受信す
る。フレーム形成装置2は都市の風景を含むグレースケ
ール画像I1 ,I2 ,・・In )の時間的連続(または
連続フレーム)よりなる第1出力を有する。一連の固定
点(Xi ,Yi )が追跡制御モジュール4によって形成
されるとき、第2出力は連続したグレースケール基準パ
ッチP0 ,P1 ・・・Pn を有する。各基準パッチは追
跡すべき自動車を含む都市風景の関連する画像内の区域
を画定する。最初のパッチP0 は獲得モジュール3によ
って発生された固定点により形成される。
【0009】フレーム形成装置2の二つの出力はそれぞ
れ相関装置(correlator)5の入力に伝達される。さら
に、基準パッチP0 ,P1 ・・・Pn よりなるフレーム
形成装置2の第2の出力は、エッジ検出装置6の入力に
加えられる。エッジ検出装置6の出力は、ついで曲率発
生装置7入力に加えられる。曲率発生装置7の出力は2
進化および拡張大モジュール(binarisation and dilati
on module)8に伝達され、その出力は相関装置5の第3
の入力を形成する。相関装置5の出力は追跡制御モジュ
ール4により撮像装置1の高度を調節するため使用さ
れ、たとえば視野はつねに追跡すべき自動車に合わされ
る。作用において、第1基準パッチP1 はエッジ検出装
置6の作用をうける。その作用は、水平ならびに垂直方
向の局部的エッジ検出を含む。通常の設備は二つのエッ
ジマップを製作するため5*5局部的エッジ検出装置を
使用している。
【0010】つぎの作用において、曲率発生装置7によ
って実施された、二つのエッジマップ(edge map)は積算
され非ゼロ点に対する二つのエッジマップの和である関
数によって正規化(normalise)される。得られた画像は
画像表面のガウスの曲率の単純化された(しかし関連し
た)ものである。ついで形成装置7の出力は2進化およ
び拡大モジュール8により処理される。形成装置7から
えられた(基準パッチP1 を隠すものと考えうる)曲率
画像は、しきい値で、かつ2進化され大きい曲率の点の
2進画像を形成する。背景比率に対する信号はきわめて
大きく、選択されたしきい値は広い範囲の値に対して厳
密なものではないことが分かった。この特性は大きい範
囲の画像形式に対して上記方法の有効性に寄与する。2
進画像を含む各点は、それぞれの大きい曲率の点の周り
に形態学上の拡大を実施することによりモジュール8に
よって変形される。この結果、各点は“不鮮明”にな
る。
【0011】上記工程は図3のaからcに図示されてい
る。図3のaは路面車両9を示す風景の熱画像を示して
いる。熱画は風防10周囲のコントラストおよび曲率の
大きい区域を示し、風防は冷たい空および熱い車輪の周
りの区域11に反射する。図3のbは曲率の大きい点の
2進化された画像を、図3のcは拡大工程の結果を示
す。2進化および拡大モジュールの出力は2進化テンプ
レート13を形成する。拡大量は基準パッチ画像内のフ
ィーのスケールに従って予め設定される。モジュール8
からテンプレートの出力は関連装置5による関連処理に
使用される。この最終的段階において、積算相関がたと
えば基準パッチP1 と連続した画像、この場合I2 との
間で実施される。しかしながら、相関和は2進テンプレ
ート13内の非ゼロ点のみに蓄積される。このようにし
て、相関は画像内の重要な区域、すなわち、曲率の大き
い点の付近の区域に発生する。したがって、背景比率に
対する信号は増加する。相関装置の出力は自動車を画像
2 内に位置決めする固定点である。全工程は同様に連
続した画像I3 に関連するつぎの基準パッチP2 に対し
て反復され、さらに続けられる。
【0012】望むならば、相関装置5は上記相関工程か
ら生ずる相関面を形成するような形状にされている。そ
のような面は対象とする画像の特徴の一層大きい局所
化、および、通常の積算相関工程に対応する相関面より
背景比率に対して一層高い信号を示す。別の実施例を示
す図2を参照する。第1ならびに第2の実施例に共通の
要素は同じ符号で示されている。図2において、たとえ
ば熱撮像装置によって形成されたグレースケール画像の
基準パッチP1 は、エッジ検出装置6、曲率発生装置7
および2進および拡大モジュール8によって、図1を参
照して記載したのと同様に処理される。二つの実施例の
相違点は、相関装置5の機能に存在する。本質的に、積
算相関工程よりむしろ減算相関工程が使用される。
【0013】モジュール8の出力に現れる拡大2進画像
は、分割モジュール14によって2進画像の各別の区域
に対応する多数のサブパッチ、たとえば図3のcにおけ
る区域13A,13Bおよび13Cに分割される。同様
に、連続したグレースケール画像I2 内に含まれた基準
パッチP2 は分割モジュール15によって対応する区域
に分割される。サブパッチおよびサブ分割区域はフィー
点適合モジュール16によって処理される。本質的にパ
ッチは、現在の画像におけるおよび連続した画像内の限
定された探索区域における対象の特徴のため、大きい曲
率の個々の点の周りに設置される。これらの点の間に、
対をなす適合が生ずる。特徴点適合モジュール16はサ
ブパッチ(i)とサブ分割区域(j)の間のもっともよ
い適合を決定するように構成されている。このことはま
ずすべての対(i,j)の最大相関係数を発見すること
によって達成される。つぎに、適合モジュール16はす
べての他の適合からその相関係数を除外する。つぎに、
すべて残りの対の最大相関係数が計算される。最後に、
この過程が予め選択された値以上のすべての適合がえら
れるまで反復される。
【0014】最終的相関段階において、固定点がモジュ
ール17によって形成される。固定点の形成は、いくつ
かの公知の方法のいずれか一つによって実施することが
できる。一つの選択は中でも提供されるデータの特性に
依存するのが好ましい。たとえば、データがとくにノイ
ズが多くかつ偽の適合が大きい見込みがあるならば、最
善の対をなす相関は固定位置を改善するために使用され
るべきである。そうでなければ、ノイズ含有量が少ない
データに対して、(しきい値以上の)一組の対をなす相
関適合に対して、平均位置は固定位置を改善するため使
用されるべきである。第3の別の例は強制的に適合さ
せ、すなわち(しきい値以上の)対をなす適合のサブセ
ットは、平均固定位置を形成するため使用される。サブ
セットは平均固定位置が前のフレーム用に確立された固
定位置から一定距離内にあるように選択される。この拘
束は、対をなす不適合および正確でない固定点に対する
付加的安全性を加える。
【図面の簡単な説明】
【図1】本発明による追跡装置の一実施例を示す図であ
る。
【図2】本発明による追跡装置の別の実施例を示す図で
ある。
【図3】a,bおよびcはデータ処理の連続した段階を
示す図である。
【符号の説明】 1 熱撮像装置 2 フレーム形成装置 3 捕捉モジュール 4 追跡制御モジュール 5 相関装置 6 エッジ検出装置 7 曲率発生装置 8 2進化および拡大モジュール 14 サブ分割モジュール 15 サブ分割モジュール 16 特徴点適合装置 17 固定点形成装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G09B 9/00 Z (72)発明者 テイモテイ・ジヨン・パーソンズ イギリス国.ブリストル・ビイエス12・7 キユダブリユ.フイルトン.ピーオー・ボ ツクス.5.ブリテツシユ・エアロスペー ス・デフエンス・リミテツド内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 背景内の基準パッチ(P0 )内に含まれ
    る物体を有する連続した画像(I1 ,I2 ,I3 )を受
    信する入力装置(2)と、 基準パツチ(P0 )内の有効な曲率の区域に関する第1
    組のデータを発生する第1処理装置(6,7)と、 前記第1組のデータから2進テンプレートを形成する第
    2処理装置(8)と、 風景画像と前記2進テンプレートとを相互に関連させて
    背景内の物体の位置を現す固定点を形成する第3処理装
    置(5)とを有することを特徴とする追跡装置。
  2. 【請求項2】 前記風景画像が基準パッチ(P0 )及び
    連続した画像(I1 )を有することを特徴とする請求項
    1に記載の追跡装置。
  3. 【請求項3】 第3処理装置(5)が、2進テンプレー
    トの別々のサブ区域と連続した画像の対応する区域との
    間の特徴点適合作業を実施するように構成されているこ
    とを特徴とする請求項1に記載の追跡装置。
JP09094394A 1993-04-29 1994-04-28 追跡装置 Expired - Fee Related JP3337315B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9308927:4 1993-04-29
GB9308927A GB2278513B (en) 1993-04-29 1993-04-29 Tracking apparatus

Publications (2)

Publication Number Publication Date
JPH0749942A true JPH0749942A (ja) 1995-02-21
JP3337315B2 JP3337315B2 (ja) 2002-10-21

Family

ID=10734717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09094394A Expired - Fee Related JP3337315B2 (ja) 1993-04-29 1994-04-28 追跡装置

Country Status (6)

Country Link
US (1) US5557543A (ja)
JP (1) JP3337315B2 (ja)
DE (1) DE4413633A1 (ja)
FR (1) FR2704668B1 (ja)
GB (1) GB2278513B (ja)
NO (1) NO312795B1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6128416A (en) * 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
US5657251A (en) * 1995-10-02 1997-08-12 Rockwell International Corporation System and process for performing optimal target tracking
WO1997020433A1 (en) * 1995-12-01 1997-06-05 Southwest Research Institute Methods and apparatus for traffic incident detection
US6985172B1 (en) 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
US6493465B2 (en) * 1996-02-21 2002-12-10 Canon Kabushiki Kaisha Matching point extracting method and apparatus therefor
JP3072730B2 (ja) * 1998-10-09 2000-08-07 日本電気株式会社 車両検出方法および装置
US6411900B1 (en) * 2001-03-27 2002-06-25 Lockhead Martin Corporation Reduced throughput track data association using look-up tables
IL157098A (en) * 2003-07-24 2009-07-20 Rafael Advanced Defense Sys Spectral tracking of a target
JP2005284410A (ja) * 2004-03-26 2005-10-13 Omron Corp 車両認識装置及び車両認識方法
US8125529B2 (en) * 2009-02-09 2012-02-28 Trimble Navigation Limited Camera aiming using an electronic positioning system for the target

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59201180A (ja) * 1983-04-30 1984-11-14 Fuji Electric Co Ltd 輪郭特徴検出方式
JPS60218072A (ja) * 1984-04-13 1985-10-31 Hitachi Ltd 速度測定装置
GB8905926D0 (en) * 1989-03-15 1990-04-25 British Aerospace Target aim point location
US5036474A (en) * 1989-03-31 1991-07-30 Honeywell Inc. Motion detection and tracking from a mobile platform
US5438517A (en) * 1990-02-05 1995-08-01 Caterpillar Inc. Vehicle position determination system and method
AU7989991A (en) * 1990-05-29 1991-12-31 Axiom Innovation Limited Machine vision stereo matching

Also Published As

Publication number Publication date
DE4413633A1 (de) 1994-11-03
NO941475D0 (no) 1994-04-22
FR2704668A1 (fr) 1994-11-04
GB2278513A (en) 1994-11-30
JP3337315B2 (ja) 2002-10-21
GB2278513B (en) 1997-07-09
US5557543A (en) 1996-09-17
FR2704668B1 (fr) 1995-12-01
NO312795B1 (no) 2002-07-01
GB9308927D0 (en) 1993-06-16
NO941475L (no) 1994-10-31

Similar Documents

Publication Publication Date Title
US10628890B2 (en) Visual analytics based vehicle insurance anti-fraud detection
KR940006841B1 (ko) 로우 및 하이레벨 특징 처리를 이용한 장면 인식 시스템 및 방법
Kim et al. Automated crater detection, a new tool for Mars cartography and chronology
JP4467838B2 (ja) 画像認識装置および画像認識方法
CN108346159A (zh) 一种基于跟踪-学习-检测的视觉目标跟踪方法
Eugenio et al. Automatic satellite image georeferencing using a contour-matching approach
CN105957054B (zh) 一种图像变化检测方法
Christophe et al. Robust road extraction for high resolution satellite images
CN110472658A (zh) 一种动目标多源探测的层次融合与提取方法
CN104809433A (zh) 一种基于最大稳定区域和随机采样的斑马线检测方法
JPH0749942A (ja) 追跡装置
CN107341781A (zh) 基于改进相位一致性特征矢量底图匹配的sar影像校正方法
Sablina et al. An approach to the image superimposition problem in multispectral computer vision systems
CN111079626B (zh) 一种活体指纹识别方法、电子设备及计算机可读存储介质
CN114913337A (zh) 一种基于三元级联感知的伪装目标框检测方法
CN101286236A (zh) 基于多特征图像和均值漂移的红外目标跟踪方法
Sun et al. Remote sensing images dehazing algorithm based on cascade generative adversarial networks
CN107170004A (zh) 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法
Huang et al. A back propagation based real-time license plate recognition system
Xiaobo et al. Vehicle license plate character recognition
Dang et al. Applying perceptual grouping and surface models to the detection and stereo reconstruction of buildings in aerial imagery
CN112686880B (zh) 一种铁路机车部件异常检测的方法
EP4354393A1 (en) Image processing device and image processing method
KR100513790B1 (ko) 에스.엘.씨가 오프된 랜드셋-7 영상을 이용한 위성영상지도제작 방법
Patil et al. A review on automatic target recognition and detection image preprocessing approaches for SAR images

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100809

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100809

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110809

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130809

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees