JP3143319B2 - 電子光学機器 - Google Patents

電子光学機器

Info

Publication number
JP3143319B2
JP3143319B2 JP06112972A JP11297294A JP3143319B2 JP 3143319 B2 JP3143319 B2 JP 3143319B2 JP 06112972 A JP06112972 A JP 06112972A JP 11297294 A JP11297294 A JP 11297294A JP 3143319 B2 JP3143319 B2 JP 3143319B2
Authority
JP
Japan
Prior art keywords
target
image
distance
luminance
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP06112972A
Other languages
English (en)
Other versions
JPH07318630A (ja
Inventor
洋平 西谷
克己 山中
孝 黒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP06112972A priority Critical patent/JP3143319B2/ja
Publication of JPH07318630A publication Critical patent/JPH07318630A/ja
Application granted granted Critical
Publication of JP3143319B2 publication Critical patent/JP3143319B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、電子光学機器に関す
るものである。
【0002】
【従来の技術】図11は従来の電子光学機器の構成を示
すもので、1は入射光を集光して結像するための光学
系、2aは結像された光を光電変換する光検出器、3a
は光検出器2aを駆動するとともにその出力を処理して
画像信号を出力する駆動処理器、4aは懸架した光学系
1の視軸方向を駆動するとともに光学系1の視軸方向を
出力するサーボ機構、5aは駆動処理器3aからの出力
画像信号から目標を検出するとともにサーボ機構4aか
らの視軸方向を用いて目標方位を算出する信号処理器、
6は自機の位置変化を検出する位置検出器、7は信号処
理器5aからの目標方位と位置検出器6からの位置変化
とから目標との距離を次式によって算出する角度測距器
である。
【0003】
【数1】
【0004】図11の従来の装置において角度測距器7
は、目標を等速直線運動をしていると仮定し、一定時間
毎に視軸方向を測定した自機の位置を(XS1,YS1,Z
S1)(XS2,YS2,ZS2)(XS3,YS3,ZS3
(XS4,YS4,ZS4)、目標の位置を(Xt1,Yt1,Z
t1)(Xt2,Yt2,Zt2)(Xt3,Yt3,Zt3)、(X
t4,Yt4,Zt4)、目標の方位を(ψ1 ,θ1 )(ψ
2 ,θ2 )(ψ3 ,θ3 )(ψ4 ,θ4 )とすると、目
標は等速直線運動であるので、目標の相対位置には”数
1”の関係が成り立つとしていた。
【0005】
【数2】
【0006】また、目標方位と目標の位置には”数2”
の関係が成り立つとしていた。
【0007】
【数3】
【0008】従って、目標の位置のXt1,Xt2,X
t3は”数3”の行列を解くことによって求めていた。
【0009】
【数4】
【0010】さらに、時刻tn における目標の相対位置
のYtn,Ztnは”数4”より求めていた。
【0011】
【数5】
【0012】以上の処理によって求められた目標の位置
(Xt4,Yt4,Zt4)を、”数5”に代入することで目
標との距離rn を算出していた。
【0013】
【発明が解決しようとする課題】上記のような電子光学
機器を、例えば戦闘機に搭載し火器管制装置の一部とし
て使用する場合、短時間で測距できることと、脅威度の
判定ができることが要求されるが、上記従来の電子光学
機器では、目標との距離を算出するまでの時間が長く、
加えて目標の識別機能及び動向監視機能を保有していな
いという問題があった。
【0014】この発明は、上記のような課題を解決する
ためになされたもので、目標との距離算出までの時間を
短縮できる電子光学機器を供給することを目的としてい
る。
【0015】また、目標の機種を識別する電子光学機器
を供給することを目的としている。
【0016】また、目標の動向を監視する電子光学機器
を供給することを目的としている。
【0017】
【課題を解決するための手段】この発明にかかる電子光
学機器においては、目標画像の画素数から目標との距離
を算出することで、距離算出に要する時間を短縮する機
能を設けた。
【0018】また、目標画像の輝度から目標との距離を
算出することで、距離算出に要する時間を短縮する機能
を設けた。
【0019】また、目標方位と自機の位置変化とから目
標との距離を算出し、算出した距離と目標画像の画素数
を用いて目標の面積を求めることで、目標の機種を識別
する機能を設けた。
【0020】また、測距装置からの目標との距離情報と
目標画像の画素数を用いて目標の面積を求めることで、
目標の機種を識別する機能を設けた。
【0021】また、目標画像の輝度または輝度の時間変
化から目標を識別する機能を設けた。
【0022】また、複数波長帯の目標画像の輝度または
輝度の時間変化から目標を識別する機能を設けた。
【0023】
【作用】この発明における電子光学機器では、目標画像
の画素数から目標との距離を算出することで、距離算出
に要する時間を短縮する。
【0024】また、目標画像の輝度から目標との距離を
算出することで、距離算出に要する時間を短縮する。
【0025】また、目標方位と自機の位置変化とから目
標との距離を算出し、算出した距離と目標画像の画素数
を用いて目標の面積を求めることで、目標の機種を識別
する。
【0026】さらに、例えばレーダ装置等の他の測距装
置からの目標との距離情報と目標画像の画素数を用いて
目標の面積を求めることで、目標の機種を識別する。
【0027】また、目標画像の輝度または輝度の時間変
化から目標を識別する。
【0028】また、複数波長帯の目標画像の輝度または
輝度の時間変化から目標を識別する。
【0029】
【実施例】
実施例1.図1はこの発明における一実施例を示す図で
あり、1,2a,3aは従来の装置と同一、4bは懸架
した光学系1の視軸方向を駆動するサーボ機構、5bは
駆動処理器3aの出力画像信号から目標を検出するとと
もに目標画像の画素数を計測する信号処理器、8は信号
処理器5bからの目標画像の画素数を用いて、例えば目
標は航空機目標のなかで最も脅威度の高い戦闘機であ
り、正面から接近することを前提として、目標との距離
及び目標の相対速度を算出する面積測距器である。図2
は正面から接近する戦闘機目標の目標画像を示した図で
ある。
【0030】
【数6】
【0031】例えば、面積測距器8は、正面から接近す
る戦闘機目標は図2に示す画像となることから、正面か
ら見た戦闘機の面積をあらかじめ保持しておくことによ
り、正面から見た戦闘機の面積Sと、目標画像の画素数
dと、一画素が見張る角度k1と、目標距離rとの間に
成り立つ関係式”数6”より、目標画像の面積dから戦
闘機目標の距離rを算出する。例えば、脅威となる戦闘
機の正面から見た目標が10m2 とする場合、一画素の
見張る角度が1mrad×1mradである光検出器を
用いて得られた目標画像の画素数が10画素であったと
すると、目標の距離は1000mと算出される。
【0032】
【数7】
【0033】また2つの異なる時刻t0 ,t1 (=t0
+Δt)における目標画像の面積dt0,dt1から求めた
戦闘機目標との距離rt0,rt1から”数7”より戦闘機
目標の相対速度drを求める。
【0034】実施例2.図3はこの発明における他の実
施例を示す図であり、1,2a,3aは従来の装置と同
一、4bは実施例1と同一、5cは駆動処理器3の出力
画像信号から目標を検出するとともに目標画像の各画素
の輝度を計測する信号処理器、9は信号処理器5cから
の目標画像の各画素の輝度を用いて、目標画像の平均輝
度及び平均輝度の時間変化を求め、目標との距離及び目
標の相対速度を算出する輝度測距器である。図4は目標
との距離と輝度との関係を示した図である。
【0035】図3の構成において、輝度測距器9は、目
標の輝度と距離との間に図4に示す関係があることか
ら、目標の平均輝度データを距離を変数としてあらかじ
め保持しておき、目標画像の各画素の輝度から目標画像
の平均輝度を求め、あらかじめ保持しておいた目標の平
均輝度と照合して、目標画像の輝度と保持データとが一
致する距離を目標との距離と判定する。
【0036】また2つの異なる時刻t0 ,t1 (=t0
+Δt)における目標画像の輝度ht1,ht2から求めた
目標との距離rt0,rt1から”数7”より目標の相対速
度drを求める。
【0037】実施例3.図5はこの発明における他の実
施例を示す構成図であり、1,2a〜4a,6,7は従
来の装置と同一、5dは駆動処理器3aの出力画像信号
から目標を検出し、目標画像の画素数を計測するととも
にサーボ機構4aからの視軸方向から目標方位を算出す
る信号処理器、10は信号処理器5dからの目標画像の
画素数と角度測距器7からの目標との距離とから目標の
面積を求め、例えば目標が爆撃機、戦闘機、ミサイルの
いずれであるかを識別する面積機種識別器である。
【0038】
【数8】
【0039】例えば面積機種識別器10を、爆撃機の面
積S1と戦闘機の面積S2とミサイルの面積S3との間
にはS1>S2>S3の関係があることを用いて、爆撃
機の面積S1、戦闘機の面積S2、ミサイルの面積S3
をあらかじめ保持しておき、角度測距器7からの目標の
距離rと信号処理器5dからの目標画像の画素数dと、
一画素が見張る角度k1との間に成り立つ関係式が”数
8”より、目標の面積Sを算出して、保有データのS
1,S2,S3と比較して、目標の面積SがS1,S
2,S3のいずれの面積に最も近い値であるかを判定す
ることで、目標が爆撃機、戦闘機、ミサイルのいずれで
あるかを識別するように構成する。
【0040】実施例4.また、図6に示す実施例のよう
に、実施例3の図5に示した位置検出器6と角度測距器
7との代わりに目標との距離を測定する測距装置とし
て、例えばレーダ装置11を用いることで、同様の効果
が期待できる。
【0041】実施例5.図7はこの発明における他の実
施例を示す構成図であり、1は従来の装置と同一、4b
は実施例1と同一、5cは実施例2と同一、2bは3〜
5μm帯の赤外光を光電変換する光検出素子を使用した
光検出器、3bは光検出器2bを駆動するとともにその
出力を処理して画像信号を出力する駆動処理器、12は
信号処理器5からの目標画像の各画素の輝度から、目標
画像の平均輝度を算出して輝度の時間変化を求めて、例
えば戦闘機目標のアフターバーナー使用・火器発射有無
等の目標の動向を監視する輝度目標識別器である。図8
は一例として戦闘機がアフターバーナーを使用した場合
と、火器を発射した場合の目標からの3〜5μm帯放射
輝度の時間変化を示した図であり、81はアフターバー
ナー使用目標、82は火器発射目標を示している。
【0042】例えば、輝度目標識別器12は、戦闘機目
標がアフターバーナーを使用した場合と、火器を発射し
た場合とを、3〜5μm帯での目標の放射輝度の減衰時
の時間変化率に図8に示す特性の違いがあることを用い
て、識別するように構成する。
【0043】実施例6.図9はこの発明における他の実
施例を示す構成図であり、1は従来の装置と同一、4b
は実施例1と同一、2bは3〜5μm帯の赤外光を光電
変換する光検出器、2cは8〜12μm帯の赤外光を光
電変換する光検出器、3bは光検出器2bを駆動すると
ともにその出力を処理して画像信号を出力する駆動処理
器、3cは光検出器2cを駆動するとともにその出力を
処理して画像信号を出力する駆動処理器、5eは駆動処
理器3bと駆動処理器3c各々の出力画像信号から目標
を検出するとともに目標画像の3〜5μm帯での各画素
の輝度と8〜12μm帯での各画素の輝度とを計測する
信号処理器、13は信号処理器5eからの目標画像の3
〜5μm帯での各画素の輝度と8〜12μm帯での各画
素の輝度とから、3〜5μm及び8〜12μm各々の波
長帯における目標画像の平均輝度を算出して、各々の波
長帯での目標画像の平均輝度の時間変化を求めて、目標
が接近・離隔・並進のいずれの状態にあるかを識別する
とともに、例えばアフターバーナー使用・火器発射の有
無を識別する複数波長輝度目標識別器である。図10は
例えば戦闘機目標が接近・離隔・並進している場合に、
目標が発射する8〜12μm帯での輝度の変化を示した
図であり、101は並進目標、102は接近目標、10
3は離隔目標である。また、3〜5μm帯での目標の放
射輝度についても図11と同様に、目標の相対運動によ
る変化特性がある。
【0044】複数波長輝度目標識別器13は、戦闘目標
が接近・離隔・並進している場合に、目標の輝度変化に
例えば図10に示す8〜12μm帯の放射輝度特性の違
いがあることを用いて、戦闘目標が接近・離隔・並進の
いずれの状態にあるかを識別するとともに、上記実施例
5の輝度目標識別器12と同一の方法で目標のアフター
バーナー使用・火器発射の有無を識別する。例えば、8
〜12μm帯での目標の画像の輝度変化が増加方向にあ
る場合は、接近、減少方向にある場合は離隔・変化がな
い場合は並進と判定する。目標の運動方向の識別につい
ては、もちろん3〜5μm帯の輝度変化を用いても良
い。また、両波長を融合した処理を行っても良い。
【0045】この発明における電子光学機器では、目標
画像の画素数から目標との距離を算出することで、距離
算出に要する時間を短縮できる。
【0046】また、目標画像の輝度から目標との距離を
算出することで、距離算出に要する時間を短縮できる。
【0047】また、目標方位と自機の位置変化とから目
標との距離を算出し、算出した距離と目標画像の画素数
を用いて目標の面積を求めることで、目標の機種を識別
できる。
【0048】さらに、測距装置からの目標との距離情報
と目標画像の画素数を用いて目標の面積を求めること
で、目標の機種を識別できる。
【0049】また、目標画像の輝度または輝度の時間変
化から目標を識別できる。
【0050】また、複数波長帯の目標画像の輝度または
輝度の時間変化から目標を識別できる。
【0051】
【発明の効果】以上説明したように、この発明における
電子光学機器では、目標測距時間の短縮、目標の識別が
可能となり、使い勝手の高機能な電子光学機器を入手で
きるという利点がある。
【図面の簡単な説明】
【図1】この発明の実施例1を示す構成図である。
【図2】正面から接近する戦闘機目標の目標画像を示す
図である。
【図3】この発明の実施例2を示す構成図である。
【図4】目標の距離と輝度との関係を示す図である。
【図5】この発明の実施例3を示す構成図である。
【図6】この発明の実施例4を示す構成図である。
【図7】この発明の実施例5を示す構成図である。
【図8】3〜5μm帯での目標の輝度変化を示す図であ
る。
【図9】この発明の実施例6を示す構成図である。
【図10】8〜12μm帯での目標の輝度変化を示す図
である。
【図11】従来の電子光学機器を示す構成図である。
【符号の説明】
1 光学系 2 光検出器 3 駆動処理器 4 サーボ機構 5 信号処理器 6 位置検出器 7 角度測距器 8 面積測距器 9 輝度測距器 10 面積機種識別器 11 レーダ装置 12 輝度目標識別器 13 複数波長輝度目標識別器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 黒川 孝 鎌倉市上町屋325番地 三菱電機株式会 社 鎌倉製作所内 (56)参考文献 特開 平6−94822(JP,A) 特開 平3−138596(JP,A) 特開 平5−157824(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01S 3/78 - 3/789 H04N 7/18

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 入射光を集光し結像するための光学系
    と、結像された光を光電変換する光検出器と、前記光検
    出器を駆動するとともにその出力を処理して画像信号を
    出力する駆動処理器と、前記光学系を懸架し視軸方向を
    駆動するサーボ機構と、前記駆動処理器の出力画像信号
    から目標を検出するとともに目標画像の画素数の計測を
    行う信号処理器と、前記信号処理器からの目標画像の画
    素数及び画素数の時間変化から目標との距離及び目標の
    相対速度を算出する面積測距器とを有することを特徴と
    する電子光学機器。
  2. 【請求項2】 入射光を集光し結像するための光学系
    と、結像された光を光電変換する光検出器と、前記光検
    出器を駆動するとともにその出力を処理して画像信号を
    出力する駆動処理器と、前記光学系を懸架し視軸方向を
    駆動するサーボ機構と、前記駆動処理器の出力画像信号
    から目標を検出するとともに目標画像の輝度の計測を行
    う信号処理器と、前記信号処理器からの目標画像の輝度
    及び輝度の時間変化から目標との距離及び目標の相対速
    度を算出する輝度測定器とを有することを特徴とする電
    子光学機器。
  3. 【請求項3】 入射光を集光し結像するための光学系
    と、結像された光を光電変換する光検出器と、前記光検
    出器を駆動するとともにその出力を処理して画像信号を
    出力する駆動処理器と、前記光学系を懸架し視軸方向を
    駆動するとともに前記光学系の視軸方向を出力するサー
    ボ機構と、前記駆動処理器からの出力画像信号から目標
    を検出するとともに目標画像の画素数の計測を行い、前
    記サーボ機構からの視軸方向を用いて目標方位を算出す
    る信号処理器と、自機の位置変化を検出する位置検出器
    と、前記信号処理器からの目標方位と前記位置検出器か
    らの位置変化信号とから目標との距離を算出する角度測
    定器と、前記角度測定器からの目標との距離情報と前記
    信号処理器からの目標画像の画素数とを用いて目標の機
    種を識別する面積機種識別器とを有することを特徴とす
    る電子光学機器。
  4. 【請求項4】 入射光を集光し結像するための光学系
    と、結像された光を光電変換する光検出器と、前記光検
    出器を駆動するとともにその出力を処理して画像信号を
    出力する駆動処理器と、前記光学系を懸架し視軸方向を
    駆動するサーボ機構と、前記駆動処理器からの出力画像
    信号から目標を検出するとともに目標画像の画素数の計
    測を行う信号処理器と、目標との距離を測定する測距装
    置と、前記測距装置からの目標との距離情報と前記信号
    処理器からの目標画像の画素数とを用いて目標との機種
    を識別する面積機種識別器とを有することを特徴とする
    電子光学機器。
JP06112972A 1994-05-26 1994-05-26 電子光学機器 Expired - Lifetime JP3143319B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06112972A JP3143319B2 (ja) 1994-05-26 1994-05-26 電子光学機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06112972A JP3143319B2 (ja) 1994-05-26 1994-05-26 電子光学機器

Publications (2)

Publication Number Publication Date
JPH07318630A JPH07318630A (ja) 1995-12-08
JP3143319B2 true JP3143319B2 (ja) 2001-03-07

Family

ID=14600176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06112972A Expired - Lifetime JP3143319B2 (ja) 1994-05-26 1994-05-26 電子光学機器

Country Status (1)

Country Link
JP (1) JP3143319B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9301635B2 (en) 2008-04-30 2016-04-05 Eugster/Frismag Method of producing a drink, and drinks-preparing device for implementing the method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030074967A (ko) * 2002-03-15 2003-09-22 동광전자 주식회사 컴퓨터용 화상 카메라를 이용한 광측정 방법
JP2008134150A (ja) * 2006-11-28 2008-06-12 Mitsubishi Electric Corp 画像目標識別装置
JP2016529473A (ja) * 2013-06-13 2016-09-23 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1つの物体を光学的に検出する検出器
JP6660931B2 (ja) 2014-07-08 2020-03-11 ビーエーエスエフ ソシエタス・ヨーロピアBasf Se 少なくとも1つの物体の位置を決定するための検出器
EP3230841B1 (en) 2014-12-09 2019-07-03 Basf Se Optical detector
CN107438775B (zh) 2015-01-30 2022-01-21 特里纳米克斯股份有限公司 用于至少一个对象的光学检测的检测器
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object
EP3350988B1 (en) 2015-09-14 2019-08-07 trinamiX GmbH 3d camera
WO2018019921A1 (en) 2016-07-29 2018-02-01 Trinamix Gmbh Optical sensor and detector for optical detection
EP3532864B1 (en) 2016-10-25 2024-08-28 trinamiX GmbH Detector for an optical detection of at least one object
WO2018077870A1 (en) 2016-10-25 2018-05-03 Trinamix Gmbh Nfrared optical detector with integrated filter
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
KR102502094B1 (ko) 2016-11-17 2023-02-21 트리나미엑스 게엠베하 적어도 하나의 피사체를 광학적으로 검출하기 위한 검출기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9301635B2 (en) 2008-04-30 2016-04-05 Eugster/Frismag Method of producing a drink, and drinks-preparing device for implementing the method

Also Published As

Publication number Publication date
JPH07318630A (ja) 1995-12-08

Similar Documents

Publication Publication Date Title
JP3143319B2 (ja) 電子光学機器
US5686889A (en) Infrared sniper detection enhancement
US4872051A (en) Collision avoidance alarm system
US4896962A (en) System for measuring the angular displacement of an object
US7636105B2 (en) Method and apparatus for providing motion control signals between a fixed camera and a PTZ camera
US4406429A (en) Missile detecting and tracking unit
US5062586A (en) Missile tracking, guidance and control apparatus
US3941483A (en) Target identification apparatus
US5652588A (en) Surveillance system including a radar device and electro-optical sensor stations
JPH02105087A (ja) 物体の始動と飛行を識別する方法とその装置
US4424943A (en) Tracking system
US6125308A (en) Method of passive determination of projectile miss distance
US20040104334A1 (en) Omni-directional radiation source and object locator
WO1994015165A1 (en) Target acquisition training apparatus and method of training in target acquisition
US4103847A (en) Line scan area signature detection method
US4068124A (en) Wire obstacle warning system
KR100665874B1 (ko) 지능형 경계 로봇 시스템
US5309159A (en) Method and system for moving object detection
CA2209610A1 (en) Optical range and speed detection system
US5560567A (en) Passive missile tracking and guidance system
JPH07191123A (ja) 追跡システム
EP1113240B1 (en) In-action boresight
JPS62194413A (ja) 三次元座標計測装置
JP2001305204A (ja) 画像目標検出装置
JPH03134499A (ja) 照準位置検出方法

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

EXPY Cancellation because of completion of term