JPH07113865A - レーダイメージ処理装置 - Google Patents

レーダイメージ処理装置

Info

Publication number
JPH07113865A
JPH07113865A JP5258097A JP25809793A JPH07113865A JP H07113865 A JPH07113865 A JP H07113865A JP 5258097 A JP5258097 A JP 5258097A JP 25809793 A JP25809793 A JP 25809793A JP H07113865 A JPH07113865 A JP H07113865A
Authority
JP
Japan
Prior art keywords
radar image
target
relative relationship
radar
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5258097A
Other languages
English (en)
Other versions
JP2648809B2 (ja
Inventor
Toshiharu Ito
敏晴 伊藤
Seiichi Maeda
誠一 前田
Masaharu Akei
正治 明井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Japan Steel Works Ltd
Technical Research and Development Institute of Japan Defence Agency
Original Assignee
Toshiba Corp
Japan Steel Works Ltd
Technical Research and Development Institute of Japan Defence Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Japan Steel Works Ltd, Technical Research and Development Institute of Japan Defence Agency filed Critical Toshiba Corp
Priority to JP5258097A priority Critical patent/JP2648809B2/ja
Publication of JPH07113865A publication Critical patent/JPH07113865A/ja
Application granted granted Critical
Publication of JP2648809B2 publication Critical patent/JP2648809B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)

Abstract

(57)【要約】 【目的】この発明の目的は、簡単な手法で、短時間にか
つ高精度に目標の回転角速度を推定することのできるレ
ーダイメージ処理装置を提供することにある。 【構成】この発明に係るレーダ信号処理装置は、レーダ
受信機で得られる目標信号を入力して目標のレーダイメ
ージを作成するレーダイメージ作成装置11と、この装
置で作成されたレーダイメージから任意の図形要素を抽
出する図形要素抽出装置12と、前記レーダイメージに
おける図形要素の相対関係を推定する相対関係検出装置
13と、この装置で得られた図形要素の相対関係から目
標の回転運動を推定する回転運動推定装置14とを具備
して構成される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、逆合成開口処理(I
SAR)においてレーダエコーから作成されるレーダイ
メージを用いて目標識別を行うために、レーダイメージ
情報から目標の回転運動を推定するレーダイメージ処理
装置に関する。
【0002】
【従来の技術】ISARにおいて、レーダエコーから作
成されるレーダイメージを用いて目標識別を行う場合、
まず第1に目標のスケール推定が重要となっている。こ
のスケール推定のためには目標の回転運動を推定する必
要がある。
【0003】従来、レーダイメージから目標の回転運動
を推定する方法としては、時間差をもつ2枚のレーダイ
メージを比較することで回転に伴うレーダイメージの変
化を推定する方法、または目標の追尾情報からその軌跡
を再構成することで目標の回転角速度を推定する方法が
取られている。
【0004】しかしながら、前者は少なくとも2枚のレ
ーダイメージを作成しなければならないため、多くの処
理時間を要するばかりか、レーダイメージの時間変化が
回転運動以外を原因とする成分を含むため、精度の点で
も問題であった。後者は追尾情報を正確に長時間に渡っ
て処理する必要があり、また精度の点でも大きな問題が
あった。
【0005】
【発明が解決しようとする課題】以上述べたように、従
来のレーダイメージ処理装置では、処理に時間がかかる
だけでなく、精度の点でも問題が多かった。この発明は
上記の課題を解決するためになされたもので、簡単な手
法で、短時間にかつ高精度に目標の回転運動を推定する
ことのできるレーダイメージ処理装置を提供することを
目的とする。
【0006】
【課題を解決するための手段】上記目的を達成するため
にこの発明に係るレーダイメージ処理装置は、レーダ受
信機で得られる目標信号を入力して目標のレーダイメー
ジを作成するレーダイメージ作成装置と、この装置で作
成されたレーダイメージから任意の図形要素を抽出する
図形要素抽出装置と、前記レーダイメージにおける図形
要素の相対関係を推定する相対関係検出装置と、この装
置で得られた図形要素の相対関係から目標の回転運動を
推定する回転運動推定装置とを具備して構成される。
【0007】
【作用】上記構成によるレーダイメージ処理装置では、
一枚のレーダイメージのみ作成し、その図形要素に基づ
く目標形状モデルを再構成し、各図形要素の相対関係か
ら目標形状モデルの歪み量、回転角速度のパラメータを
推定するという簡単な手法で、短時間にかつ高精度に目
標の回転角速度を推定する。
【0008】
【実施例】以下、図面を参照してこの発明の一実施例を
詳細に説明する。図1はこの発明に係るレーダイメージ
処理装置の構成を示すもので、レーダイメージ作成装置
11は、レーダ受信機(図示せず)で得られる目標信号
を入力し、周波数対レンジ画面に目標のレーダイメージ
を作成する。このレーダイメージ情報は図形要素抽出装
置12に送られる。
【0009】この図形要素抽出装置12は、レーダイメ
ージから図形要素として線分、点、面といった基本的な
図形要素を抽出する。抽出する図形要素はオペレータの
指定によるものであってもよい。抽出された図形要素情
報は相対関係検出装置13に送られる。
【0010】この相対関係検出装置13は、レーダイメ
ージ情報及び図形要素情報から各図形要素の相対関係を
推定し、例えば線分のなす角度、任意の1点を基準とし
た他の点の相対位置、面の面積比等を検出する。検出し
た相対関係情報は回転運動推定装置14に送られる。
【0011】この回転運動推定装置14は、図形要素の
相対関係情報から目標の回転運動を推定する。この推定
に使用する図形要素及びその相対関係情報の選択は、オ
ペレータの指定によるものであってもよい。また、予め
目標毎の図形要素及び相対関係(三次元情報)を求めて
データベースを作成しておき、入力情報をデータベース
の記憶情報と比較参照することで回転運動を推定するよ
うにしてもよい。
【0012】上記構成のレーダイメージ処理装置におい
て、以下その具体的な処理動作について説明する。ま
ず、図2に示す目標(航空機)Tに対してISAR処理
を行う場合を考える。ここでは理解を容易にするため、
X−Y軸の2次元面上での形状だけを考え、回転軸は紙
面に垂直で右回りを正とし、目標Tの機首端をA、主翼
端をそれぞれB,Cとする。
【0013】上記目標TをレーダRDで観測し、レーダ
イメージ作成装置11によりISAR処理を行った場合
に得られるレーダイメージは、概念的に図3に示すよう
になる。すなわち、レーダイメージとして得られるもの
は、図3に示すように、距離対ドプラ周波数で表現され
るレーダイメージ空間上の図形である。
【0014】図3において、距離軸は図2のY軸に一致
し、ドプラ周波数軸は図2のX軸方向を周波数軸上に変
換したものである。この図から明らかなように、このま
まのレーダイメージでは目標Tの各部(例えばA,B,
C)の位置関係を特定できず、目標識別は困難である。
【0015】目標Tの各部の位置関係をレーダイメージ
から特定するには、まずこのドプラ周波数軸を距離単位
へ変換しなければならない。これは目標Tの回転角速度
成分を推定することにより可能となる。
【0016】回転角速度成分の推定方法として考えられ
るものに、レーダイメージを動画として考え、目標の回
転運動による時連続の複数のレーダイメージの変化を観
察する方法がある。しかしながら、この方法ではレーダ
イメージの時間経過に伴う変化によって大きく影響を受
けるため、高精度な推定が困難である。
【0017】このような理由から、この発明による処理
方式では、レーダイメージの動画としての性質よりも静
止画としての性質に着目し、目標の回転運動の推定は実
空間軸を周波数軸への変換を推定することと等価と考
え、単独のレーダイメージのみから目標の回転角速度成
分を推定する。
【0018】ここで、実空間からレーダイメージ空間へ
の写像を調べるために、図2に示される点Aについて考
える。尚、図2において、rはX−Y座標面の原点Oか
らA点までの距離、R1 はレーダRDから原点Oまでの
距離、R0 はレーダRDからA点までの距離を表してい
る。
【0019】ISAR処理では、レーダの視線方向にお
ける目標各部の速度成分を原因とするドプラシフトを、
各レンジセル毎にレーダイメージ空間の周波数軸上に展
開する。点Aの視線方向速度成分VRLS は次式のように
表される。尚、ωは目標Tの運動を表すパラメータであ
る。
【0020】
【数1】 一方、目標Tがその大きさに較べて十分遠方に存在する
のならば、
【0021】
【数2】 が成立することから、 (1)式は以下のように変形され
る。
【0022】
【数3】 尚、ここでは、
【0023】
【数4】 となる単位ベクトルを導入した。すなわち、上記αがレ
ーダイメージから推定される目標Tの回転角速度成分と
なる。このとき、点Aのドプラシフト成分δfは以下の
ように表される。尚、λはレーダRDの送信周波数であ
る。
【0024】
【数5】
【0025】上記ドプラシフト成分δfはレーダイメー
ジ空間上のドプラ周波数軸成分になる。よって、実空間
とレーダイメージ空間との間の写像は以下のように定義
される。
【0026】
【数6】
【0027】次に、図形要素抽出装置12により目標形
状を点、線分、面といった図形要素に分解し、相対関係
検出装置13でその相対関係を求める。ここでいう相対
関係とは、目標の細部構造に依存せず、対称点の存在、
対称線の存在、対称面の存在といった項目を発生要因と
するものである。具体的な相対関係としては、例えば3
個以上の点間の位置関係、距離比、角度比、3本以上の
線分間の位置関係、角度比、2つ以上の面の位置関係、
面積比などが考えられる。
【0028】上記の相対関係は、一般的な航空機の場
合、機体に関する対称性から以下の要件が求められる。
図4に一例を示す。第1に、エンジンは機体に対して対
称に位置するから、(a) 機首から両側の対応するエンジ
ンまでの距離は等しい、(b) 機尾から両側の対応するエ
ンジンまでの距離は等しい、(c) 機体上のある点からの
両側の対応するエンジンまでの距離(例えばr1 ,r
2 )は等しい。
【0029】第2に、主翼、尾翼は機体に対して対称に
位置するから、(a) 機首から両側の主翼端、尾翼端の距
離は等しい、(b) 機尾からの両側の主翼端、尾翼端の距
離は等しい、(c) 機体上のある点からの両側の対応する
エンジンまでの距離は等しい。
【0030】第3に、主翼、尾翼は機体に対して両側に
同じ角度で広がっている(例えばθ1 ,θ2 )から、両
側の主翼、尾翼のなす角(例えばφ1 )は機体により2
等分される。
【0031】第4に主翼、尾翼は機体に対して対称であ
るから、主翼、尾翼の面積(例えばS1 ,S2 )は機体
の両側で同じである。以下、上記相対関係の一例とし
て、対称線の存在からくる3個の点間の位置関係につい
て説明する。
【0032】3個の点として、図5(a)に示す実空間
上で、対称線上の点Aと対称線について対称位置にある
点B,Cを考える。このとき、点B,Cは点Aを中心と
する円周上に位置する。この3個の点がレーダイメージ
空間に係数βで写像された場合、結果は図5(b)に示
すようになる。
【0033】すなわち、実空間上で円周上にあった2点
B,Cは、その円をX軸方向に変形した楕円の円周上に
ある。逆にレーダイメージ上の点A′,B′,C′が楕
円の円周上にあると仮定するなら、図5(b)の楕円円
周上の点B′,C′の位置関係から楕円の係数βを求め
ることができる。したがって、この係数βを用いること
で、図5(a)の実空間での図形を容易に再構成するこ
とができる。
【0034】実際の目標においては、図2に示す点B,
Cの2点が点Aを中心とする円周上にあることを利用
し、図形要素抽出装置12により対応する図3上の点
A′,B′,C′を抽出すれば、相対関係検出装置13
において、その位置関係について上記のアルゴリズムを
適用することで容易に写像を決める係数βを推定でき
る。これにより、回転運動推定装置14において、レー
ダイメージから写像F-1を用いて実空間上の目標形状を
再構成することで、目標の回転運動による回転角速度を
推定することができる。
【0035】このように、上記装置の処理方式によれ
ば、例えば図3に示す単独のレーダイメージ上で実空間
上の対応点を考えるとき、点B′は点C′とある直線を
挟んで対称位置にあり、さらに点A′がその対称線上に
あるという情報だけから、 (4), (5)式のβを推定する
ことができ、さらに回転角速度成分αを推定することが
できる。
【0036】したがって、上記構成によるレーダイメー
ジ処理装置は、一枚のレーダイメージのみでその図形要
素に基づく目標形状モデルを再構成し、各図形要素の相
対関係から目標形状モデルの歪み量、回転角速度パラメ
ータを推定するという簡単な手法で、短時間にかつ高精
度に目標の回転角速度を推定することができる。
【0037】尚、この場合は点間の他の情報(距離、角
度)には依存していない。この性質は上記以外の相対関
係についても同様で、注目する情報以外には依存しな
い。ところで、レーダイメージから目標識別を行う場
合、ある程度のレーダイメージの「質」が必要となって
くる。例えば、エンジンのみが観測される場合に目標識
別が可能であるかといったことである。
【0038】この発明の処理方式では、目標のスケール
推定において基本的にレーダイメージから実空間の目標
の対称性が観測できることが前提となっている。よっ
て、静止画を元にスケール推定を行う場合にのみ限定さ
れる可能性はある。
【0039】しかしながら、これをスケール推定を目標
識別の前段処理と考えるのならば、先の「質」について
は「レーダイメージ上で目標の対称性が観測可能であ
る」という定義が与えられることになる。逆説すれば、
本方式は上記のレーダイメージの「質」が満たされる場
合には有効な手法であるといえる。
【0040】この方式の最大の利点は、実空間上の目標
形状における図形要素間の相対関係から(レーダイメー
ジ空間と実空間の関係)の変換形式を推定できることで
ある。
【0041】すなわち、図形要素の相対関係は基本的に
目標の微細構造によらず、機種に依存しないこと、静止
画としてのレーダイメージを対象とした処理であるた
め、時間計かによるレーダイメージの変化を考慮する必
要がないこと、実空間対レーダイメージ空間の写像推定
にかかる演算量が少なく、高速処理可能であることが長
所となっている。
【0042】機種に依存しないという性質から、レーダ
イメージを解析することは目標形状の推定を目的とする
ISAR処理に適している。これは、レーダイメージを
用いて目標形状の推定を行う場合、対象目標が船舶また
は航空機であるといった既知情報が事前に与えられるか
らである。
【0043】さらに、上記の処理方式を拡張すれば、機
種依存成分を含める形で、各図形要素間の複数の相対関
係から複数の (5)式の変換係数βを推定し、その機種依
存成分を評価することも可能となる。
【0044】例えば、目標モデルを導入し、レーダイメ
ージ上の各部をモデルの各部に対応させ、複数の相対関
係を基に複数の変換係数βの推定値を評価することで、
推定値の例えば分散といった指標を用いて目標モデルの
有効性を判定することが可能となる。
【0045】尚、この発明は上記実施例に限定されるも
のではなく、目標は航空機に限らず、例えば船舶におけ
る船首から艦橋、艦橋から船尾の距離比等により、船舶
の運動についても同様に実施可能である。その他この発
明の要旨を逸脱しない範囲で種々変形しても同様に実施
可能であることはいうまでもない。
【0046】
【発明の効果】以上のようにこの発明によれば、簡単な
手法で、短時間にかつ高精度に目標の回転角速度を推定
することのできるレーダイメージ処理装置を提供するこ
とができる。
【図面の簡単な説明】
【図1】この発明に係るレーダイメージ処理装置の一実
施例を示すブロック構成図。
【図2】同実施例の実空間での目標形状を2次元座標系
で示す図。
【図3】同実施例のレーダイメージ作成装置で図2に示
す目標について作成したレーダイメージを示す図。
【図4】同実施例の図形要素抽出装置で抽出する図形要
素及び相対関係検出装置13で検出する相対関係の一例
を示す図。
【図5】同実施例において、実空間での図形要素とレー
ダイメージ空間での図形要素との相対関係を示す図。
【符号の説明】
11…レーダイメージ作成装置、12…図形要素抽出装
置、13…相対関係検出装置、14…回転運動推定装
置。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 明井 正治 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝小向工場内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】レーダ受信機で得られる目標信号を入力し
    て目標のレーダイメージを作成するレーダイメージ作成
    装置と、 この装置で作成されたレーダイメージから任意の図形要
    素を抽出する図形要素抽出装置と、 前記レーダイメージにおける図形要素の相対関係を推定
    する相対関係検出装置と、 この装置で得られた図形要素の相対関係から目標の回転
    運動を推定する回転運動推定装置とを具備するレーダイ
    メージ処理装置。
  2. 【請求項2】前記図形要素抽出装置は、レーダイメージ
    から図形要素として点、線分、面といった基本図形を抽
    出して用いるようにしたことを特徴とする請求項1記載
    のレーダイメージ処理装置。
  3. 【請求項3】前記相対関係検出装置は、前記レーダイメ
    ージ上の2個以上の図形要素間の距離の比を求め、 前記回転運動推定装置は、前記相対関係検出装置で求め
    た距離の比と予め求められた目標形状モデルの対応する
    距離の比とを比較することで回転運動を推定するように
    したことを特徴とする請求項1記載のレーダイメージ処
    理装置。
  4. 【請求項4】前記相対関係検出装置は、前記レーダイメ
    ージ上の2個以上の図形要素間の角度の比を求め、 前記回転運動推定装置は、前記相対関係検出装置で求め
    た角度の比と予め求められた目標形状モデルの対応する
    角度の比とを比較することで回転運動を推定するように
    したことを特徴とする請求項1記載のレーダイメージ処
    理装置。
  5. 【請求項5】前記相対関係検出装置は、前記レーダイメ
    ージ上の2個以上の図形要素間の面積の比を求め、 前記回転運動推定装置は、前記相対関係検出装置で求め
    た面積の比と予め求められた目標形状モデルの対応する
    面積比とを比較することで回転運動を推定するようにし
    たことを特徴とする請求項1記載のレーダイメージ処理
    装置。
  6. 【請求項6】前記回転運動推定装置は、前記目標形状モ
    デルとして目標形状が対称性を持つことを利用するよう
    にしたことを特徴とする請求項3,4,5いずれか記載
    のレーダイメージ処理装置。
  7. 【請求項7】前記回転運動推定装置は、前記目標形状モ
    デルとして目標構造物の相対関係を利用するようにした
    ことを特徴とする請求項3,4,5いずれか記載のレー
    ダイメージ処理装置。
JP5258097A 1993-10-15 1993-10-15 レーダイメージ処理装置 Expired - Lifetime JP2648809B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5258097A JP2648809B2 (ja) 1993-10-15 1993-10-15 レーダイメージ処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5258097A JP2648809B2 (ja) 1993-10-15 1993-10-15 レーダイメージ処理装置

Publications (2)

Publication Number Publication Date
JPH07113865A true JPH07113865A (ja) 1995-05-02
JP2648809B2 JP2648809B2 (ja) 1997-09-03

Family

ID=17315472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5258097A Expired - Lifetime JP2648809B2 (ja) 1993-10-15 1993-10-15 レーダイメージ処理装置

Country Status (1)

Country Link
JP (1) JP2648809B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001159678A (ja) * 1999-12-02 2001-06-12 Nec Corp レーダによる目標判定方法及びレーダ装置
JP2007114102A (ja) * 2005-10-21 2007-05-10 Mitsubishi Space Software Kk レーダ画像処理装置、レーダ画像識別方法およびレーダ画像識別プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH045156A (ja) * 1990-04-24 1992-01-09 Japan Electron Control Syst Co Ltd 車両用制動力制御装置
JPH045157A (ja) * 1990-04-24 1992-01-09 Japan Electron Control Syst Co Ltd 車両用制動力制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH045156A (ja) * 1990-04-24 1992-01-09 Japan Electron Control Syst Co Ltd 車両用制動力制御装置
JPH045157A (ja) * 1990-04-24 1992-01-09 Japan Electron Control Syst Co Ltd 車両用制動力制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001159678A (ja) * 1999-12-02 2001-06-12 Nec Corp レーダによる目標判定方法及びレーダ装置
JP2007114102A (ja) * 2005-10-21 2007-05-10 Mitsubishi Space Software Kk レーダ画像処理装置、レーダ画像識別方法およびレーダ画像識別プログラム
JP4651499B2 (ja) * 2005-10-21 2011-03-16 三菱スペース・ソフトウエア株式会社 レーダ画像処理装置、レーダ画像識別方法およびレーダ画像識別プログラム

Also Published As

Publication number Publication date
JP2648809B2 (ja) 1997-09-03

Similar Documents

Publication Publication Date Title
EP2023157B1 (en) Multiple-target radar recognition method and apparatus
CN109031219B (zh) 基于相位测距的宽带雷达弹道目标微动几何参数估计方法
Henson et al. Attitude-trajectory estimation for forward-looking multibeam sonar based on acoustic image registration
CN108663026B (zh) 一种振动测量方法
Meng et al. Vision-based estimation of relative pose in autonomous aerial refueling
Lenart Collision threat parameters for a new radar display and plot technique
JP3412973B2 (ja) Isar画像目標識別処理装置
CN110969643A (zh) 地面目标移动轨迹的星上自主预测方法
US7020046B1 (en) System and method for target motion analysis with intelligent parameter evaluation plot
Sridhar et al. Kalman filter based range estimation for autonomous navigation using imaging sensors
JP2648809B2 (ja) レーダイメージ処理装置
Sistiaga et al. Map based underwater navigation using a multibeam echosounder
CN116559905A (zh) 一种双基sar海面舰船运动目标无畸变三维图像重构方法
Shen et al. Apparent trace analysis of moving target with linear motion in circular SAR imagery
JP3304744B2 (ja) レーダ装置
JP3697433B2 (ja) 目標識別装置
CN114037736A (zh) 一种基于自适应模型的车辆检测与跟踪方法
JPH1194941A (ja) スケール抽出型レーダイメージ解析装置
Tang et al. A moving target detection method based on YOLO for dual-beam SAR
Poroykov et al. Development of an On-Board Measuring System for Diagnosing Deformation of Aerodynamic Surfaces in a Flight Experiment
Torres-Torriti et al. Automatic ship positioning and radar biases correction using the hausdorff distance
Korn et al. MMW-radar-based navigation: solutions to the vertical position problem
Bustos et al. Matching radar and satellite images for ship trajectory estimation using the Hausdorff distance
Wang et al. Image-based scaling for ship top view ISAR images
CN113074722B (zh) 基于视觉辅助技术对地形参考导航精度提升定位修正方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080516

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 16

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140516

Year of fee payment: 17

EXPY Cancellation because of completion of term