JP3606018B2 - 監視装置 - Google Patents

監視装置 Download PDF

Info

Publication number
JP3606018B2
JP3606018B2 JP24657397A JP24657397A JP3606018B2 JP 3606018 B2 JP3606018 B2 JP 3606018B2 JP 24657397 A JP24657397 A JP 24657397A JP 24657397 A JP24657397 A JP 24657397A JP 3606018 B2 JP3606018 B2 JP 3606018B2
Authority
JP
Japan
Prior art keywords
navigation
attitude
spatial
navigation body
earth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24657397A
Other languages
English (en)
Other versions
JPH1185284A (ja
Inventor
久幸 迎
隆太 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP24657397A priority Critical patent/JP3606018B2/ja
Publication of JPH1185284A publication Critical patent/JPH1185284A/ja
Application granted granted Critical
Publication of JP3606018B2 publication Critical patent/JP3606018B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position Or Direction (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は地球の上空を所定の高度で航行する空間航行体に搭載した撮像機を地上局で運用制御して、災害発生地域や監視を要する建造物や車両等の監視目標の画像情報を取得する監視装置に関するものである。
【0002】
【従来の技術】
図5は従来の監視装置を説明するための図であり、図において1は地球2の上空を所定の高度で航行する人工衛星や航空機ないしは飛行船などのいわゆる空間航行体、3は上記空間航行体1に地球2を指向するように搭載され、地球表面の画像データを取得する撮像機、4は災害発生地域や監視を要する建造物や車両等の監視目標、5は撮像機の視線である。人工衛星や航空機などの空間航行体から地球表面の要監視対象物や災害発生地域等を監視する従来の監視装置では、空間航行体1が撮像機3を搭載して飛翔し、撮像機の視線5が監視目標4を捉える範囲で撮像機3を作動することにより、監視目標地点の画像情報を取得していた。
【0003】
【発明が解決しようとする課題】
従来の監視装置の中で、空間航行体として人工衛星を使用する監視装置では、予め人工衛星の軌道と撮像機の視野方向を解析した上で、撮像機の視野が監視目標を捉える範囲と時刻を予測して撮像するため、軌道解析と撮像機視野範囲の解析の手間がかかり、緊急時や災害発生時に即応するのが難しいという課題があった。また軌道や視野方向の予測誤差が大きいため、監視目標を捉える精度が悪いという課題があった。
【0004】
また、従来の監視装置の中で、空間航行体として航空機を使用する監視装置では、航空機の搭乗員が監視目標を視認して撮像機の方向を調整するため、人手と手間がかかるという課題があった。また監視可能領域が航空機の飛行可能範囲に限定されるという課題があった。
【0005】
この発明は上記ような課題を改善するためになされたものであり、監視目標を撮像機の視野が捉えるための手続きが簡略で、かつ精度よく撮像機で画像情報を取得できる監視装置を提供している。また空間航行体として人工衛星を使用することにより地球全体のいかなる地域も監視可能な監視装置を提供できる。
【0006】
【課題を解決するための手段】
第1の発明による監視装置は地球の上空を所定の高度で航行する空間航行体に地球を指向するように搭載され、地球表面の画像データを取得する撮像機と、電波伝搬時間による測距用電波を発生する、軌道上位置が既知の複数の航法衛星と、上記空間航行体に搭載され、上記航法衛星から発する測距用電波を受信して空間航行体の位置座標を解析する航法衛星信号受信機と、上記空間航行体の姿勢を検出する姿勢検出機と、上記空間航行体に搭載され、空間航行体の姿勢を変更する姿勢変更機と、上記飛翔体に搭載され、飛翔体の軌道を変更する航路変更機と、上記航法衛星信号受信機から受信した上記空間航行体の位置情報と上記姿勢検出機から受信した上記空間航行体の姿勢角度情報を解析し、空間航行体の位置及び姿勢角度と予め飛翔計画された目標値とのずれ量を解析して上記航路変更機及び上記姿勢変更機に対して航路及び姿勢変更用の制御信号を発生する計算機、及び監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースを格納したメモリにより構成され、上記計算機が監視目標の位置座標を制御目標値として上記航路変更機及び上記姿勢変更機を制御するものである。
【0007】
また、第2の発明による監視装置は地球の上空を所定の高度で航行する空間航行体に地球を指向するように搭載され、地球表面の画像データを取得する撮像機と、電波伝搬時間による測距用電波を発生する、軌道上位置が既知の複数の航法衛星と、上記空間航行体に搭載され、上記航法衛星から発する測距用電波を受信して空間航行体の位置座標を解析する航法衛星信号受信機と、上記空間航行体の姿勢を検出する姿勢検出機と、上記撮像機が視野方向を変更する視野方向変更機と、上記飛翔体に搭載され、飛翔体の軌道を変更する航路変更機と、上記航法衛星信号受信機から受信した上記空間航行体の位置情報と上記姿勢検出機から受信した上記空間航行体の姿勢角度情報を受信し、空間航行体の位置及び姿勢角度に基づき撮像機が指向する視野方向を解析し、予め計画された上記撮像機の視野方向の目標値とのずれ量を解析して、上記航路変更機及び上記視野方向変更機に対して航路及び視野方向変更用の制御信号を発生する計算機、及び監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースを格納したメモリとにより構成され、上記計算機が監視目標の位置座標を制御目標値として航路及び視野方向変更機を制御するものである。
【0008】
【発明の実施の形態】
実施の形態1.
図1はこの発明の実施の形態1を示す構成図であり、図において1は地球2の上空を所定の高度で航行する空間航行体、3は上記空間航行体1に地球2を指向するように搭載された撮像機、4は災害発生地や要監視地域などの監視目標、5は上記撮像機3の視線、6は電波伝搬時間による測距用電波を発生する、軌道上位置が既知の航法衛星、7は上記空間航行体1に搭載され、複数の航法衛星6から発する測距用電波を受信して空間航行体1の位置座標を解析する航法衛星信号受信機、8は上記空間航行体1の姿勢を検出するジャイロやスターセンサなどの姿勢検出機、9は上記空間航行体1に搭載され、空間航行体1の姿勢を変更するスラスタやモーメンタムホイールなどの姿勢変更機、10は上記航法衛星信号受信機7から受信した上記空間航行体1の位置情報と上記姿勢検出機8から受信した上記空間航行体1の姿勢角度情報を解析し、空間航行体1の位置及び姿勢角度と、予め飛翔計画された目標値とのずれ量を解析して上記姿勢変更機8に対して姿勢変更用の制御信号を発生する計算機、11は上記空間航行体1に搭載され、上記空間航行体1の航路を変更する航路変更機、12は監視目標を含む地上各地の位置座標を上記航法衛星6の採用する座標系に変換し、記録すると共に上記計算機10に送信する位置座標データベースを格納したメモリである。図において航法衛星6、空間航行体1及び地球2の上の任意の点の位置は、航法衛星6が採用する座標系によって一意に表現できるので、航法衛星信号受信機7による空間航行体1の位置座標と姿勢検出機8による空間航行体1の姿勢情報を使用して、撮像機3の視線5の起点と方向を航法衛星6が採用する座標系の位置座標と方向ベクトルとして決定できる。監視目標4を含む地上各地の位置情報は位置座標データベースを格納したメモリ12に予め記録してあるか、または計測して座標変換することにより上記航法衛星6の用いる座標系として表現する。座標系の具体例としてはWorld Geodetic System84と呼ばれる測地座標系などが使用できる。
【0009】
次に位置座標を目標値とした姿勢変更量の決定方法について図2により説明する。図において1は空間航行体、2は地球、4は監視目標、5は撮像機の視線、12は位置座標データベースを格納したメモリ、14は座標原点、15は座標系、16aは第1の目標角度、16bは第2の目標角度である。座標系として地球重力中心を座標原点14とし、3次元位置座標を3つのパラメータX,Y,Zで記述する座標系15を採用すると、座標原点14は(0、0、0)となり、監視目標4の位置座標は(X1、Y1、Z1)、空間航行体1の位置座標は(X2、Y2、Z2)としてそれぞれ一意に決定される。撮像機の視線方向5は空間航行体1の位置座標(X2、Y2、Z2)と監視目標4の位置座標(X1、Y1、Z1)を結ぶベクトルとなるので、撮像機の視線5が監視目標4を指向するための目標角度は第1の目標角度16a及び際2の目標角度16bとして一意に決定される。予め空間航行体1の指向している方向は角度検出機により計測し、計算機により解析されているので、第1の目標角度16a及び第2の目標角度16bとの差分を求めれば、計算機が姿勢変更機に指示すべき姿勢変更量が決定される。なおここでは姿勢変更量に関わる角度として2つのパラメータを用いた例を示したが、視線ベクトルの回転成分のパラメータを加えて3つの角度成分で扱うこともできるのは言うまでもない。
【0010】
次に計算機10の中の処理について図3により説明する。図において7は航法衛星信号受信機、8は姿勢検出機、9は姿勢変更機、10は計算機、12は位置座標データベースを格納したメモリ、s1は空間航行体と撮像機視線の相対角度を与える処理1、s2は撮像機の視線ベクトルを算出する処理2、s3は目標視線ベクトルを算出する処理3、s4は姿勢角の変更量を与える処理4、s5は姿勢変更角度の許容範囲を評価する処理5、s6は航路変更量を算出する処理6である。図において計算機10では、航法衛星信号受信機7から受信する空間航行体の位置座標X2、Y2、Z2と姿勢検出機8から受信する空間航行体の姿勢角度φ2、θ2、λ2と、予め計算機10の内部に記録している空間航行体と撮像機の視線方向の相対角度を示す、処理1により得られる初期値に基づき、特定の瞬間の撮像機の視線ベクトルを処理2として算出できる。また同様にして計算機10では航法衛星信号受信機7から受信する空間航行体の位置座標X2、Y2、Z2と位置座標データベースを格納したメモリ12から受信する監視目標の位置座標X1、Y1、Z1に基づき処理3として目標視線ベクトルを算出できる。そこで上記撮像機の視線ベクトルと目標視線ベクトルの差分をして、処理4として姿勢角度変更量Δφ、Δθ、Δλを算出する。次に算出した姿勢角度変更量が撮像機の許容範囲内であるか否かを処理5として判定する。この結果が許容範囲内であれば、制御パラメータとして姿勢変更機9に送信し、姿勢変更機9を動作させる。このため空間航行体1の姿勢が変わり、撮像機3の視線5は監視目標4を指向するよう制御される。また空間航行体1の航路が監視目標4から遠くて、処理5の結果が許容範囲内に納まらず、撮像機3の視野範囲でカバーできない場合には、処理6として航路変更機11を動作させて空間航行体1の航路を監視目標4に接近するように変更する。例えば空間航行体1として低軌道で地球を周回する人工衛星を使用する場合には空間航行体1の次の周回以降に監視目標4を撮像可能な最短時間を計算すると共に、航路変更した場合に次の周回以降に監視目標4を撮像可能な最短時間を計算する。この結果航路変更した方が観測までのインターバルが短い場合には適正軌道及びその軌道に投入するための軌道変更機動作量を計算機10が計算し、軌道変更機13を動作して飛翔体1の軌道を変更する。軌道変更の手段としては軌道変更機13としてはスラスタを用いて、軌道の近地点でスラスタを動作して別の楕円軌道に投入するなどの手段が採用できる。
【0011】
なお監視目標の位置座標は、予め地上で航法衛星受信機を用いて測定して位置座標データベースを格納したメモリ12に記録しておいてもよいし、GIS(Geographic Information System)などのデータベースを位置座標データベースを格納したメモリ12として流用することも可能である。また人工衛星からの立体視や航空写真の解析により実測した結果を位置座標データベースを格納したメモリ12の座標変換機能を用いて航法衛星座標系に座標変換して用いてもよい。また撮像機としては視覚画像を取得する可視光学センサや合成開口レーダのようなイメージクレーダ、マイクロ波放射計、赤外線センサ、紫外線センサなどが使用可能である。
【0012】
実施の形態2.
図4はこの発明の実施の形態2を示す構成図であり、図において1は地球2の上空を所定の高度で航行する空間航行体、3は上記空間航行体1に地球2を指向するように搭載された撮像機、4は災害発生地や要監視地域などの監視目標、5は上記撮像機3の視線、6は電波伝搬時間による測距用電波を発生する、軌道上位置が既知の航法衛星、7は上記空間航行体1に搭載され、複数の航法衛星6から発する測距用電波を受信して空間航行体1の位置座標を解析する航法衛星信号受信機、8は上記空間航行体1の姿勢を検出するジャイロやスターセンサなどの姿勢検出機、9は上記空間航行体1に搭載され、空間航行体1の姿勢を変更するスラスタやモーメンタムホイールなどの姿勢変更機、10は上記航法衛星信号受信機7から受信した上記空間航行体1の位置情報と上記姿勢検出機8から受信した上記空間航行体1の姿勢角度情報を解析し、空間航行体1の位置及び姿勢角度と、予め飛翔計画された目標値とのずれ量を解析して上記視野方向変更機13に対して視野方向変更用の制御信号を発生する計算機、11は上記空間航行体1に搭載され、上記空間航行体1の航路を変更する航路変更機、12は監視目標を含む地上各地の位置座標を上記航法衛星6の採用する座標系に変換し、記録すると共に上記計算機10に送信する位置座標データベースを格納したメモリ、13は上記撮像機3に取付けられ、撮像機3の視線の方向を変更する視野方向変更機である。
【0013】
図において航法衛星6、空間航行体1及び地球2の上の任意の点の位置は、航法衛星6が採用する座標系によって一意に表現できるので、航法衛星信号受信機7による空間航行体1の位置座標と姿勢検出機8による空間航行体1の姿勢情報を使用して、撮像機3の視線5の起点と方向を航法衛星6が採用する座標系の位置座標と方向ベクトルとして決定できる。また同様に監視目標4の位置座標も航法衛星6が採用する座標系の位置座標として決定できる。計算機10及び位置座標データベースを格納したメモリ12の動作は実施形態1と同様である。
【0014】
本発明による監視装置では監視目標4の位置を位置座標データベースを格納したメモリ12で位置座標に変換した後に地上からコマンドとして計算機10に送信する。次に撮像機3の視線5が監視目標4を指向するための視野方向変更量を計算機10を解析し、視野方向変更機13を動作させる。このため撮像機3の視線5は監視目標4を指向するよう制御される。視野方向変更機としては、光学センサで反射ミラーを回動する方式や、センサ自体を回動する方式、または電波センサで電気的に視野方向を変更する方式、検出器の使用部分を選別する方式などを採用できる。また空間航行体1の航路が監視目標4から遠くて、撮像機3の視野範囲でカバーできない場合には、航路変更機11を動作させて空間航行体1の航路を監視目標4に接近するように変更する。例えば空間航行体1として低軌道で地球を周回する人工衛星を使用する場合には空間航行体1の次の周回以降に監視目標4を撮像可能な最短時間を計算すると共に、航路変更した場合に次の周回以降に監視目標4を撮像可能な最短時間を計算する。この結果航路変更した方が観測までのインターバルが短い場合には適正軌道及びその軌道に投入するための軌道変更機動作量を計算機10が計算し、軌道変更機13を動作して飛翔体1の軌道を変更する。軌道変更の手段としては軌道変更機13としてはスラスタを用いて、軌道の近地点でスラスタを動作して別の楕円軌道に投入するなどの手段が採用できる。
【0015】
【発明の効果】
第1の発明によれば、人工衛星の軌道や航空機の飛行経路の解析や、撮像機の視野方向を地上で解析する必要がないので、監視目標を撮像機の視野が捉えるための手続きが簡略であり、災害発生時や緊急事態に対応して即座にデータを取得できるという効果がある。また監視目標の位置を直接制御系の目標値とするので誤差要因が少なく、精度よく撮像機で画像情報を取得できるという効果がある。また空間航行体として人工衛星を使用することにより地球全体のいかなる地域も監視可能な監視装置を提供できるという効果がある。
【0016】
また、第2の発明によれば、監視目標を撮像機の視野が捉えるための手続きが簡略で、精度よく撮像機で画像情報を取得でき、いかなる地域も監視可能な監視装置を提供できるという点は実施形態1と同様であるが、これに加えて空間航行体自体の姿勢を変更するのに比較して少ない労力で視野変更が可能となるという効果がある。また撮像機を複数具備することで、同時に複数の監視目標を撮像可能となるという効果がある。
【図面の簡単な説明】
【図1】この発明による監視装置の実施の形態1を示す構成図である。
【図2】この発明の実施形態1による監視装置で位置座標を目標値として姿勢変更量を決定する方法を示す図である。
【図3】この発明の実施形態1による監視装置で計算機の中の処理について示す図である。
【図4】この発明による監視装置の実施の形態2を示す構成図である。
【図5】従来の監視装置を示す図である。
【符号の説明】
1 空間航行体、2 地球、3 撮像機、4 監視目標、5 撮像機の視線、6 航法衛星、7 航法衛星信号受信機、8 姿勢検出機、9 姿勢変更機、10 計算機、11 航路変更機、12 メモリ、13 視野方向変更機、14 座標原点、15 座標系、16 目標角度。

Claims (2)

  1. 地球の上空を所定の高度で航行する空間航行体に地球を指向するように搭載され、地球表面の画像データを取得する撮像機と、電波伝搬時間による測距用電波を発生する、軌道上位置が既知の複数の航法衛星と、上記空間航行体に搭載され、上記航法衛星から発する測距用電波を受信して空間航行体の位置座標を解析する航法衛星信号受信機と、上記空間航行体の姿勢を検出する姿勢検出機と、上記空間航行体に搭載され、空間航行体の姿勢を変更する姿勢変更機と、上記飛翔体に搭載され、飛翔体の軌道を変更する航路変更機と、上記航法衛星信号受信機から受信した上記空間航行体の位置情報と上記姿勢検出機から受信した上記空間航行体の姿勢角度情報を解析し、空間航行体の位置及び姿勢角度と予め飛翔計画された目標値とのずれ量を解析して上記航路変更機及び上記姿勢変更機に対して航路及び姿勢変更用の制御信号を発生する計算機、及び監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースを格納したメモリとにより構成され、上記計算機が監視目標の位置座標を制御目標値として上記航路変更機及び上記姿勢変更機を制御することを特徴とする監視装置。
  2. 地球の上空を所定の高度で航行する空間航行体に地球を指向するように搭載され、地球表面の画像データを取得する撮像機と、電波伝搬時間による測距用電波を発生する、軌道上位置が既知の複数の航法衛星と、上記空間航行体に搭載され、上記航法衛星から発する測距用電波を受信して空間航行体の位置座標を解析する航法衛星信号受信機と、上記空間航行体の姿勢を検出する姿勢検出機と、上記撮像機が視野方向を変更する視野方向変更機と、上記飛翔体に搭載され、飛翔体の軌道を変更する航路変更機と、上記航法衛星信号受信機から受信した上記空間航行体の位置情報と上記姿勢検出機から受信した上記空間航行体の姿勢角度情報を受信し、空間航行体の位置及び姿勢角度に基づき撮像機が指向する視野方向を解析し、予め計画された上記撮像機の視野方向の目標値とのずれ量を解析して、上記航路変更機及び上記視野方向変更機に対して航路及び視野方向変更用の制御信号を発生する計算機、及び監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースを格納したメモリとにより構成され、上記計算機が監視目標の位置座標を制御目標値として航路及び視野方向変更機を制御することを特徴とする監視装置。
JP24657397A 1997-09-11 1997-09-11 監視装置 Expired - Fee Related JP3606018B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24657397A JP3606018B2 (ja) 1997-09-11 1997-09-11 監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24657397A JP3606018B2 (ja) 1997-09-11 1997-09-11 監視装置

Publications (2)

Publication Number Publication Date
JPH1185284A JPH1185284A (ja) 1999-03-30
JP3606018B2 true JP3606018B2 (ja) 2005-01-05

Family

ID=17150435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24657397A Expired - Fee Related JP3606018B2 (ja) 1997-09-11 1997-09-11 監視装置

Country Status (1)

Country Link
JP (1) JP3606018B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186145A (zh) * 2011-12-28 2013-07-03 天津市亚安科技股份有限公司 确定监控系统前端设备基准方向的方法及装置
CN103970145B (zh) * 2014-05-12 2016-07-06 上海宇航系统工程研究所 一种对空间失控目标的自主逼近方法
CN108984963B (zh) * 2018-08-17 2023-05-16 北京电子工程总体研究所 一种地球红外背景辐射仿真方法及系统
CN113879565B (zh) * 2021-11-16 2023-07-07 长光卫星技术股份有限公司 一种卫星在轨自主立体成像姿态规划方法

Also Published As

Publication number Publication date
JPH1185284A (ja) 1999-03-30

Similar Documents

Publication Publication Date Title
US10515458B1 (en) Image-matching navigation method and apparatus for aerial vehicles
US6281970B1 (en) Airborne IR fire surveillance system providing firespot geopositioning
US9041915B2 (en) Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8229163B2 (en) 4D GIS based virtual reality for moving target prediction
US11374648B2 (en) Radio link coverage map generation using link quality and position data of mobile platform
EP2208083B1 (en) System for the precision localization of a target on the ground by a flying platform and associated method of operation
US20200117197A1 (en) Obstacle detection assembly for a drone, drone equipped with such an obstacle detection assembly and obstacle detection method
CN111102981B (zh) 一种基于ukf的高精度卫星相对导航方法
EP3759561A1 (en) Drone control system
JP2879146B1 (ja) 複数人工衛星による運動物体の位置決定システム
JP2695393B2 (ja) 位置特定方法および装置
Dolph et al. Ground to air testing of a fused optical-radar aircraft detection and tracking system
JP3606018B2 (ja) 監視装置
JP2736122B2 (ja) 目標物の位置推定装置
Hosseinpoor et al. Pricise target geolocation based on integeration of thermal video imagery and rtk GPS in UAVS
Scholz et al. Concept for Sensor and Processing Equipment for Optical Navigation of VTOL during Approach and Landing
Eisenman et al. Mars exploration rover engineering cameras
JP3800746B2 (ja) 監視装置
JP3908350B2 (ja) 監視装置
JP4292796B2 (ja) 監視装置
JP2514987B2 (ja) 対象物の位置推定装置
JP7333565B1 (ja) 飛行体および飛行体の制御方法
JPH0524591A (ja) 垂直離着陸航空機の機体位置測定方法
Miller et al. Precision 3-D modeling for autonomous helicopter flight
JP2000148990A (ja) 車両監視装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040927

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees