JP3800746B2 - 監視装置 - Google Patents

監視装置

Info

Publication number
JP3800746B2
JP3800746B2 JP21447397A JP21447397A JP3800746B2 JP 3800746 B2 JP3800746 B2 JP 3800746B2 JP 21447397 A JP21447397 A JP 21447397A JP 21447397 A JP21447397 A JP 21447397A JP 3800746 B2 JP3800746 B2 JP 3800746B2
Authority
JP
Japan
Prior art keywords
satellite
attitude
artificial satellite
target
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21447397A
Other languages
English (en)
Other versions
JPH1151688A (ja
Inventor
久幸 迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP21447397A priority Critical patent/JP3800746B2/ja
Publication of JPH1151688A publication Critical patent/JPH1151688A/ja
Application granted granted Critical
Publication of JP3800746B2 publication Critical patent/JP3800746B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は人工衛星や航空機から地球表面を監視し、要監視対象物や災害発生地域等の監視目標地点の画像情報を撮像機で取得する監視装置に関するものである。
【0002】
【従来の技術】
図5は従来の監視装置を説明するための図であり、図において1は飛翔体、2は撮像機、9は監視目標、10は地球、11は撮像機の視線である。人工衛星や航空機から地球表面の要監視対象物や災害発生地域等を監視する従来の監視装置では、飛翔体1が撮像機2を搭載して飛翔し、撮像機の視線11が監視目標9を捉える範囲で撮像機2を作動することにより、監視目標地点の画像情報を取得していた。
【0003】
【発明が解決しようとする課題】
従来の監視装置の中で、飛翔体として人工衛星を使用する監視装置では、予め人工衛星の軌道と撮像機の視野方向を解析した上で、撮像機の視野が監視目標を捉える範囲と時刻を予測して撮像をするため、軌道解析と撮像機視野範囲の解析の手間がかかり、緊急時や災害発生時に即応するのが難しいという課題があった。また軌道や視野方向の予測誤差が大きいため、監視目標を捉える精度が悪いという課題があった。
【0004】
また従来の監視装置の中で、飛翔体として航空機を使用する監視装置では、航空機の搭乗員が監視目標を視認して撮像機の方向を調整するため、人手と手間がかかるという課題があった。また監視可能領域が航空機の飛行可能範囲に限定されるという課題があった。
【0005】
この発明は上記のような課題を改善するためになされたものであり、監視目標を撮像機の視野が捉えるための手続きが簡略で、かつ精度よく撮像機で画像情報を取得できる監視装置を提供している。また飛翔体として人工衛星を使用することにより地球全体のいかなる地域も監視可能な監視装置を提供できる。
【0006】
【課題を解決するための手段】
第1の発明による監視装置は飛翔体、上記飛翔体に搭載され、地球表面を指向する撮像機、電波伝搬時間による測距用電波を発生する軌道上位置が既知の複数の航法衛星、上記飛翔体に搭載され、上記航法衛星から発する測距用電波を受信して飛翔体の位置座標を解析する航法衛星信号受信機、上記飛翔体の姿勢を検出する姿勢検出機、上記飛翔体に搭載され、飛翔体の姿勢を変更する姿勢変更機、上記航法衛星信号受信機から受信した上記飛翔体の位置情報と上記姿勢検出機から受信した上記飛翔体の姿勢角度情報を解析し、飛翔体の位置及び姿勢角度と、予め飛翔計画された目標値とのずれ量を解析して上記姿勢変更機に対して姿勢変更用の制御信号を発生する計算機、監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースにより構成し、監視目標の位置座標を上記計算機が姿勢変更機を制御するための制御目標値とするものである。
【0007】
また第2の発明による監視装置は飛翔体、上記飛翔体に搭載され、地球表面を指向する撮像機、電波伝搬時間による測距用電波を発生する軌道上位置が既知の複数の航法衛星、上記飛翔体に搭載され、上記航法衛星から発する測距用電波を受信して飛翔体の位置座標を解析する航法衛星信号受信機、上記飛翔体の姿勢を検出する姿勢検出機、上記撮像機が視野方向を変更する視野方向変更機、上記航法衛星信号受信機から受信した上記飛翔体の位置情報と上記姿勢検出機から受信した上記飛翔体の姿勢角度情報を受信し、飛翔体の位置及び姿勢角度に基づき撮像機が指向する視野方向を解析し、予め計画された上記撮像機の視野方向の目標値とのずれ量を解析して、上記視野方向変更機に対して視野方向変更用の制御信号を発生する計算機、監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースにより構成し、監視目標の位置座標を上記計算機が視野方向変更機を制御するための制御目標値とするものである。
【0008】
【発明の実施の形態】
実施の形態1.
図1はこの発明の実施の形態1を示す構成図であり、図において1は人工衛星等の飛翔体、2は上記飛翔体1に搭載され、地球表面を指向する撮像機、3は電波伝搬時間による測距用電波を発生する、軌道上位置が既知の航法衛星、4は上記飛翔体1に搭載され、複数の航法衛星3から発する測距用電波を受信して飛翔体1の位置座標を解析する航法衛星信号受信機、5は上記飛翔体1の姿勢を検出するジャイロやスターセンサなどの姿勢検出機、6は上記飛翔体1に搭載され、飛翔体1の姿勢を変更するスラスタやモーメンタムホイールなどの姿勢変更機、8は上記航法衛星信号受信機4から受信した上記飛翔体1の位置情報と上記姿勢検出機5から受信した上記飛翔体1の姿勢角度情報を解析し、飛翔体1の位置及び姿勢角度と、予め飛翔計画された目標値とのずれ量を解析して上記姿勢変更機5に対して姿勢変更用の制御信号を発生する計算機、9は災害発生地や要監視地域などの監視目標、10は地球、11は撮像機の視線、12は監視目標を含む地上各地の位置座標を上記航法衛星3の採用する座標系に変換し、記録すると共に上記計算機8に送信する位置座標データベースである。図において航法衛星3、飛翔体1及び地球10の上の任意の点の位置は、航法衛星3が使用する座標系によって一意に表現できるので、航法衛星信号受信機4による飛翔体1の位置座標と姿勢検出機5による飛翔体1の姿勢情報を使用して、撮像機2の視線11の起点と方向を航法衛星3が採用する座標系の位置座標と方向ベクトルとして決定できる。監視目標9を含む地上各地の位置情報は位置座標データベース12に予め記録してあるか、または計測して座標変換することにより上記航法衛星3の用いる座標系として表現する。座標系の具体例としてはWorld Geodetic System84と呼ばれる測地座標系などが使用できる。
【0009】
次に位置座標を目標値とした姿勢変更量の決定方法について図2により説明する。図において1は飛翔体、9は監視目標、10は地球、11は撮像機の視線、12は位置座標データベース、13は座標原点、14は座標系、15aは第1の変更角度、15bは第2の変更角度である。座標系として地球重力中心を座標原点13とし、3次元位置座標を3つのパラメータX,Y,Zで記述する座標系14を採用すると、座標原点13は(0、0、0)となり、監視目標9の位置座標は(X1、Y1、Z1)、飛翔体1の位置座標は(X2、Y2、Z2)としてそれぞれ一意に決定される。撮像機の視線方向11は飛翔体1の位置座標(X2、Y2、Z2)と監視目標9の位置座標(X1、Y1、Z1)を結ぶベクトルとなるので、撮像機の視線11が監視目標9を指向するための目標角度は第1の目標角度15a及び第2の目標角度15bとして一意に決定される。予め飛翔体1の指向している方向は角度検出機により計測し、計算機により解析されているので、第1の目標角度15a及び第2の目標角度15bとの差分を求めれば、計算機が姿勢変更機に指示すべき姿勢変更量が決定される。なおここでは姿勢変更量に関わる角度として2つのパラメータを用いた例を示したが、視線ベクトルの回転成分のパラメータを加えて3つの角度成分で扱うこともできるのは言うまでもない。
【0010】
次に計算機8の中の処理について図3により説明する。図において4は航法衛星信号受信機、5は姿勢検出機、6は姿勢変更機、8は計算機、12は位置座標データベースであり、図において計算機8では、航法衛星信号受信機4から受信する飛翔体の位置座標X2、Y2、Z2と姿勢検出機5から受信する飛翔体の姿勢角度φ2、θ2、λ2と、予め計算機8の内部に記録している飛翔体と撮像機の視線方向の相対角度を示す初期値に基づき、特定の瞬間の撮像機の視線ベクトルを算出できる(ステップS1 )。
また同様にして計算機8では航法衛星信号受信機4から受信する飛翔体の位置座標X2、Y2、Z2と位置座標データベース12から受信する監視目標の位置座標X1、Y1、Z1に基づき目標視線ベクトルを算出できる(ステップS2)。そこで上記撮像機の視線ベクトルと目標視線ベクトルの差分をして、姿勢角度変更量Δφ、Δθ、Δλを算出する(ステップS3 )。この結果を制御パラメータとして姿勢変更機6に送信し、姿勢変更機6を動作させる。このため飛翔体1の姿勢が変わり、撮像機2の視線11は監視目標9を指向するよう制御される。
【0011】
なお監視目標の位置座標は、予め地上で航法衛星受信機を用いて測定して位置座標データベース12に記録しておいてもよいし、GIS(Geographic Information System)などのデータベースを位置座標データベース12として流用することも可能である。また人工衛星からの立体視や航空写真の解析により実測した結果を位置座標データベース12の座標変換機能を用いて航法衛星座標系に座標変換して用いてもよい。また撮像機としては視覚画像を取得する可視光学センサや合成開口レーダのようなイメージングレーダ、マイクロ波放射計、赤外線センサ、紫外線センサなどが使用可能である。
【0012】
実施の形態2.
図4はこの発明の実施の形態2を示す構成図であり、図において1は人工衛星等の飛翔体、2は上記飛翔体1に搭載され、地球表面を指向する撮像機、3は電波伝搬時間による測距用電波を発生する軌道上位置が既知の航法衛星、4は上記飛翔体1に搭載され、複数の航法衛星3から発する測距用電波を受信して飛翔体1の位置座標を解析する航法衛星信号受信機、5は上記飛翔体1の姿勢を検出する姿勢検出機、7は上記撮像機2に取付けられ、撮像機2の視線の方向を変更する視野方向変更機、8は上記航法衛星信号受信機4から受信した上記飛翔体1の位置情報と上記姿勢検出機5から受信した上記飛翔体1の姿勢角度情報を受信し、飛翔体1の位置及び姿勢角度に基づき撮像機2が指向する視野方向を解析し、予め設定された上記撮像機2の視野方向の目標値とのずれ量を解析して、上記視野方向変更機7に対して視野方向変更用の制御信号を発生する計算機、9は監視目標、10は地球、11は撮像機の視線、12は位置座標データベースである。
【0013】
図において航法衛星3、飛翔体1及び地球10の上の任意の点の位置は、航法衛星3が採用する座標系によって一意に表現できるので、航法衛星信号受信機4による飛翔体1の位置座標と姿勢検出機5による飛翔体1の姿勢情報を使用して、撮像機2の視線11の起点と方向を航法衛星3が採用する座標系の位置座標と方向ベクトルとして決定できる。また同様に監視目標9の位置座標も航法衛星3が採用する座標系の位置座標として決定できる。計算機8及び位置座標データベース12の動作は実施形態1と同様である。
【0014】
本発明による監視装置では監視目標9の位置を位置座標データベース12で位置座標に変換した後に地上からコマンドとして計算機8に送信する。次に撮像機2の視線11が監視目標9を指向するための視野方向変更量を計算機8が解析し、視野方向変更機7を動作させる。このため撮像機2の視線11は監視目標9を指向するよう制御される。視野方向変更機としては、光学センサで反射ミラーを回動する方式や、センサ自体を回動する方式、または電波センサで電気的に視野方向を変更する方式、検出器の使用部分を選別する方式などを採用できる。
【0015】
【発明の効果】
この発明によれば、人工衛星の軌道や航空機の飛行経路の解析や、撮像機の視野方向を地上で解析する必要がないので、監視目標を撮像機の視野が捉えるための手続きが簡略であり、災害発生時や緊急事態に対応して即座にデータを取得できるという効果がある。また監視目標の位置を直接制御系の目標値とするので誤差要因が少なく、精度よく撮像機で画像情報を取得できるという効果がある。また飛翔体として人工衛星を使用することにより地球全体のいかなる地域も監視可能な監視装置を提供できるという効果がある。
【0016】
この発明によれば、監視目標を撮像機の視野が捉えるための手続きが簡略で、精度よく撮像機で画像情報を取得でき、いかなる地域も監視可能な監視装置を提供できるという点は実施形態1と同様であるが、これに加えて飛翔体自体の姿勢を変更するのに比較して少ない労力で視野変更が可能となるという効果がある。また撮像機を複数具備することで、同時に複数の監視目標を撮像可能となるという効果がある。
【図面の簡単な説明】
【図1】 この発明による監視装置の実施の形態1を示す構成図である。
【図2】 この発明の実施形態1による監視装置で位置座標を目標値として姿勢変更量を決定する方法を示す図である。
【図3】 この発明の実施形態1による監視装置で計算機の中の処理について示す図である。
【図4】 この発明による監視装置の実施の形態2を示す構成図である。
【図5】 従来の監視装置を示す図である。
【符号の説明】
1 飛翔体、2 撮像機、3 航法衛星、4 航法衛星信号受信機、5 姿勢検出機、6 姿勢変更機、7 視野方向変更機、8 計算機、9 監視目標、10 地球、12 位置座標データベース。

Claims (4)

  1. 人工衛星、
    上記人工衛星に搭載され、地球表面を指向する撮像機、
    上記人工衛星に搭載され、軌道上位置が既知の複数の航法衛星から発せられる測距用電波を受信して、電波伝搬時間により上記人工衛星の位置座標を解析する、上記人工衛星に搭載された航法衛星信号受信機、
    上記人工衛星に搭載され、上記人工衛星の姿勢を検出する姿勢検出機、
    上記人工衛星に搭載され、人工衛星の姿勢を変更する姿勢変更機、
    及び上記人工衛星に搭載され、上記航法衛星信号受信機から受信した上記人工衛星の位置情報と上記姿勢検出機から受信した上記人工衛星の姿勢角度情報と、予め飛翔計画された目標値とのずれ量を解析して上記姿勢変更機に対して姿勢変更用の制御信号を発生する計算機と
    により構成される監視装置において、
    地上に設けられ、監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースを具備し、
    かつ上記計算機は、上記位置座標データベースから受信した監視目標の位置座標と上記航法衛星信号受信機から受信した上記人工衛星の位置情報に基づいて目標視線ベクトルを算出し、当該人工衛星の位置情報及び上記姿勢検出機で得られた姿勢角度情報に基づいて上記撮像機の視線ベクトルを算出し、算出された目標視線ベクトルと視線ベクトルとの差分に基づいて姿勢角度変更量を算出し、当該算出結果に基づいた上記姿勢変更用の制御信号を発生して、当該監視目標の位置座標を制御目標値として上記撮像機が当該監視目標を指向するように上記姿勢変更機を制御することを特徴とする監視装置。
  2. 人工衛星、
    上記人工衛星に搭載され、地球表面を指向する撮像機、
    上記人工衛星に搭載され、軌道上位置が既知の複数の航法衛星から発せられる測距用電波を受信して、電波伝搬時間により上記人工衛星の位置座標を解析する、上記人工衛星に搭載された航法衛星信号受信機、
    上記人工衛星に搭載され、上記人工衛星の姿勢を検出する姿勢検出機、
    上記人工衛星に搭載され、上記撮像機が視野方向を変更する視野方向変更機、
    及び上記人工衛星に搭載され、上記航法衛星信号受信機から受信した上記人工衛星の位置情報と上記姿勢検出機から受信した上記人工衛星の姿勢角度情報に基づき撮像機が指向する視野方向を解析し、予め計画された上記撮像機の視野方向の目標値とのずれ量を解析して、上記視野方向変更機に対して視野方向変更用の制御信号を発生する計算機と
    により構成される監視装置において、
    地上に設けられ、監視目標の位置を上記航法衛星の採用する座標系による位置座標に変換して記録すると共に上記計算機に送信する位置座標データベースを具備し、
    かつ上記計算機は、上記位置座標データベースから受信した監視目標の位置座標と上記航法衛星信号受信機から受信した上記人工衛星の位置情報に基づいて目標視線ベクトルを算出し、当該人工衛星の位置情報及び上記姿勢検出機で得られた姿勢角度情報に基づいて上記撮像機の視線ベクトルを算出し、算出された目標視線ベクトルと視線ベクトルとの差分に基づいて姿勢角度変更量を算出し、当該算出結果に基づいた上記視野方向変更用の制御信号を発生して、当該監視目標の位置座標を制御目標値として上記撮像機が当該監視目標を指向するように上記姿勢変更機を制御することを特徴とする監視装置。
  3. 人工衛星、
    上記人工衛星に搭載され、地球表面を指向する撮像機、
    上記人工衛星に搭載された航法衛星信号受信機、
    上記人工衛星に搭載され、上記人工衛星の姿勢を検出する姿勢検出機、
    上記人工衛星に搭載され、人工衛星の姿勢を変更する姿勢変更機、
    及び上記人工衛星に搭載され、上記航法衛星信号受信機から受信した上記人工衛星の位置情報と上記姿勢検出機から受信した上記人工衛星の姿勢角度情報、予め飛翔計画された目標値とのずれ量を解析して上記姿勢変更機に対して姿勢変更用の制御信号を発生する計算機と
    により構成される監視装置において、
    上記計算機は、
    上記航法衛星の採用する座標系による位置座標で表現された監視目標の位置座標を、地上に設けられた位置座標データベースから受信する受信手段を具備し、
    上記受信手段で受信した監視目標の位置座標と上記航法衛星信号受信機で受信した上記人工衛星の位置情報に基づいて目標視線ベクトルを算出し、当該人工衛星の位置情報及び上記姿勢検出機で得られた姿勢角度情報に基づいて上記撮像機の視線ベクトルを算出し、算出された目標視線ベクトルと視線ベクトルとの差分に基づいて姿勢角度変更量を算出し、当該算出結果に基づいた上記姿勢変更用の制御信号を発生して、当該監視目標の位置座標を制御目標値として上記撮像機が当該監視目標を指向するように上記姿勢変更機を制御することを特徴とする監視装置。
  4. 人工衛星、
    上記人工衛星に搭載され、地球表面を指向する撮像機、
    上記人工衛星に搭載された航法衛星信号受信機、
    上記人工衛星に搭載され、上記人工衛星の姿勢を検出する姿勢検出機、
    上記人工衛星に搭載され、上記撮像機視野方向を変更する視野方向変更機、
    及び上記人工衛星に搭載され、上記航法衛星信号受信機から受信した上記人工衛星の位置情報と上記姿勢検出機から受信した上記人工衛星の姿勢角度情報に基づき撮像機が指向する視野方向を解析し、予め計画された上記撮像機の視野方向の目標値とのずれ量を解析して、上記視野方向変更機に対して視野方向変更用の制御信号を発生する計算機とにより構成される監視装置において、
    上記計算機は、
    上記航法衛星の採用する座標系による位置座標で表現された監視目標の位置座標を、地上に設けられた位置座標データベースから受信する受信手段を具備し、
    上記受信手段で受信した監視目標の位置座標と上記航法衛星信号受信機で受信した上記人工衛星の位置情報に基づいて目標視線ベクトルを算出し、当該人工衛星の位置情報及び上記姿勢検出機で得られた姿勢角度情報に基づいて上記撮像機の視線ベクトルを算出し、算出された目標視線ベクトルと視線ベクトルとの差分に基づいて姿勢角度変更量を算出して、当該算出結果に基づいた上記姿勢変更用の制御信号を発生して、当該監視目標の位置座標を制御目標値として上記撮像機が当該監視目標を指向するように上記姿勢変更機を制御することを特徴とする監視装置。
JP21447397A 1997-08-08 1997-08-08 監視装置 Expired - Lifetime JP3800746B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21447397A JP3800746B2 (ja) 1997-08-08 1997-08-08 監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21447397A JP3800746B2 (ja) 1997-08-08 1997-08-08 監視装置

Publications (2)

Publication Number Publication Date
JPH1151688A JPH1151688A (ja) 1999-02-26
JP3800746B2 true JP3800746B2 (ja) 2006-07-26

Family

ID=16656315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21447397A Expired - Lifetime JP3800746B2 (ja) 1997-08-08 1997-08-08 監視装置

Country Status (1)

Country Link
JP (1) JP3800746B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104267734B (zh) * 2014-08-01 2016-11-02 北京理工大学 一种燃料最省的火星复杂地形区安全着陆轨迹生成方法

Also Published As

Publication number Publication date
JPH1151688A (ja) 1999-02-26

Similar Documents

Publication Publication Date Title
US5235513A (en) Aircraft automatic landing system
US6281970B1 (en) Airborne IR fire surveillance system providing firespot geopositioning
US9041915B2 (en) Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
AU2004276459B2 (en) Method and system for determining the spatial position of a hand-held measuring appliance
EP2413096B1 (en) Ground-based videometrics guiding method for aircraft landing or unmanned aerial vehicles recovery
US7792330B1 (en) System and method for determining range in response to image data
US20110307126A1 (en) Measuring of a landing platform of a ship
EP2624011A1 (en) Object detection system for mobile platforms
US11310412B2 (en) Autofocusing camera and systems
JP2001518627A (ja) 無線周波干渉計およびレーザ距離計/指示装置をベースとするターゲティング・システム
CN107643759A (zh) 从无人机拍摄移动图像的具有目标跟踪和定位的自主系统
GB2494505A (en) Image based position determination based on perspective shift
Dolph et al. Ground to air testing of a fused optical-radar aircraft detection and tracking system
JP2018139105A (ja) 地理登録を通じた生センサ画像強化のための方法および装置
JP2018112543A (ja) 地理登録を通じた生センサ画像強化のための方法および装置
JP3526403B2 (ja) 着陸誘導システム
Scholz et al. Concept for Sensor and Processing Equipment for Optical Navigation of VTOL during Approach and Landing
JP3797219B2 (ja) 監視装置
JP2007033258A (ja) 被観測対象物の観測方法及び装置
JP3800746B2 (ja) 監視装置
JP3606018B2 (ja) 監視装置
CN105550996A (zh) 一种小型化周视光学搜索跟踪装置
JPH0737908B2 (ja) 移動体騒音監視システム
JP4168591B2 (ja) 赤外線撮像装置
JP2017016395A (ja) 経路生成方法とシステム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060424

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140512

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term