JPH10227871A - 2次元降水量予測装置 - Google Patents

2次元降水量予測装置

Info

Publication number
JPH10227871A
JPH10227871A JP9029128A JP2912897A JPH10227871A JP H10227871 A JPH10227871 A JP H10227871A JP 9029128 A JP9029128 A JP 9029128A JP 2912897 A JP2912897 A JP 2912897A JP H10227871 A JPH10227871 A JP H10227871A
Authority
JP
Japan
Prior art keywords
image
area
term
precipitation
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9029128A
Other languages
English (en)
Other versions
JP3377075B2 (ja
Inventor
Hidetomo Sakaino
英朋 境野
Tsutomu Horikoshi
力 堀越
Satoshi Suzuki
智 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP02912897A priority Critical patent/JP3377075B2/ja
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to DE69735158T priority patent/DE69735158T2/de
Priority to EP07106760.7A priority patent/EP1811317B1/en
Priority to EP05108076A priority patent/EP1602941B1/en
Priority to EP05108079.4A priority patent/EP1607765B1/en
Priority to MYPI97005221A priority patent/MY117870A/en
Priority to DE69740047T priority patent/DE69740047D1/de
Priority to EP97402626A priority patent/EP0851240B1/en
Priority to US08/964,470 priority patent/US6128578A/en
Publication of JPH10227871A publication Critical patent/JPH10227871A/ja
Application granted granted Critical
Publication of JP3377075B2 publication Critical patent/JP3377075B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 演算コストを大幅に軽減した装置で、レーダ
ー画像からの降水域の発達・衰退を2次元画像の形で予
測する。 【解決手段】 2次元降水量予測装置は、雨域のレーダ
ー画像を入力する画像入力部100と、入力されたレー
ダー画像を時系列画像として蓄積する画像蓄積部110
と、画像蓄積部110に蓄積されている連続する2つ以
上の2次元画像間での降水量の変化量やエッジ勾配分布
等の画像特徴量を求める画像処理部120と、前記の様
々な画像特徴量を初期値として、初期の降水域の形状濃
淡値情報から降水量の時空間的な変化量を数値計算する
移流・拡散方程式演算部130と、数値計算された結果
により、降水域の変化を予測する予測部140と、予測
結果を時系列画像で出力する出力部150で構成されて
いる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、気象レーダーエコ
ー画像に基づいた狭い地域の雨域の時系列変化を短時間
予測し、気象の変化に敏感に影響されるような狭い地域
における様々な経済活動が円滑に営まれるように、高速
にかつ簡易に降水域の発達・衰退を画像の形で2次元的
に予測する装置に関する。
【0002】
【従来の技術】従来、気象予測を行う際、気象庁ではア
メダスや気象衛星から得られる2・3次元的な気温、気
圧、露点、風ベクトル等の様々な物理パラメータを用い
て、数理・物理方程式を介した数十時間先もしくは数日
先の日本全国の気象現象の変化を予測してきている。一
方、近年より狭い地域での、分オーダーの短い時間にお
ける気象予測が望まれきているため、局地的に配置され
た気象レーダー装置から雨域の変化情報からの予測が必
須となってきている。雨域の変化は、降雨や降雪がある
領域の変化を意味し、見かけ上、雲状をなしている。画
像としての雨域は、様々な形状と濃淡値の組み合わせと
して表現されており、明瞭な特徴量の記述が困難である
ことから画像処理手法に基づいた雨域の動き検出は容易
にはいかない。そのため現在でも、人の経験則に基づい
た、雨域の変化からの主観的な読み取りが行われ、活用
されている。自動的かつ客観的な雨域変化を計算機上で
行うために、時空間的相関法により雨域変化検出が試み
られている。この方法は、2つの画像フレーム間(f
(t)とf(t+1):tは時間ステップ)の、濃淡値
の類似性について算出した後、相関値が最も高い点が対
応していると仮定した上、雨域の移動量を推定する。推
定された移動量に基づいて雨域を平行移動させていく。
推定された次のステップの雨域画像を繰り返し、特定数
のステップ先までの予測が可能となる。
【0003】ある時刻での降水域の2次元画像から、数
分〜時間先の降水域の変化を2次元画像のまま予測を試
みているが、降水域の広がりだけを予測としており、降
水域の変化の程度についてまでは予測していない。すな
わち、画像という2次元情報として、本来の降水域にお
ける、湧き出し、吸い込み、消散、成長、衰退といった
一連の物理過程を統一的に表現できていない。そのた
め、これまで予測精度の向上には限界が明らかに存在し
ていた。
【0004】
【発明が解決しようとする課題】これまで適用されてい
る時空間的相関法は、連続する2つの画像から1つの動
きベクトルを推定する。しかしながら、相関係数を算出
するためには画素ごとに演算を施す必要があるために、
画像全体で数千回〜数万回オーダーの演算回数が要求さ
れる問題がある。また、画像の濃淡値は、雨域が生成・
消滅を絶え間なく繰り返しているために、前フレームの
濃淡値と次フレームの濃淡値とが常に1対1に対応して
いることはないので、濃淡値に基づいた相関値への信頼
性は必ずしも高くなく、不安定であるという問題があ
る。さらに、相関係数が求められないような散漫な雨域
画像の場合は、ほとんど動きベクトルを推定することが
できず、その間の補間方法についても見い出されていな
いのが現状である。
【0005】また、相関法では、単位時間当たりの移動
量が大きいときは、大き目の窓関数を、移動量が小さい
ときは、小さ目の窓関数を適宜用意する必要があり、最
適な窓関数の大きさを決定することは容易ではなく、同
時に、決定しようとするならば、それに要する演算時間
は全体として数〜十倍増加する問題が生じる。
【0006】雨域が停滞性の場合、雨域の輪郭形状の変
化に比べると、雨域の濃淡値の変化が激しい。このよう
な雨域において、相関法をそのまま適用すると、全体の
雨域の移動はなくても、雨域の濃淡変化があるために、
何らかの動きベクトルが複数個得られてしまい、その動
きベクトルで雨域を移動させていた。そのため、予測が
進む程、雨域の領域が外れていってしまう問題があっ
た。
【0007】降水域の変化が一定という強い仮定がおか
れた単純なモデルであったために、対流に伴った降水域
の変化の程度を予測方法が試みられていなかった。少な
くとも、降水域の急激な発達あるいは、減衰過程におけ
る一時的な降水域の発達については、統計的な知見が乏
しかったために、試みられていなかった。
【0008】すなわち、画像という2次元情報として、
本来の降水域における、湧き出し、吸い込み、消散、成
長、衰退といった一連の物理過程を統一的に表現できて
いない。
【0009】本発明の目的は、演算コストを大幅に軽減
し、かつ降水域における、湧き出し、吸い込み、消散、
成長、衰退といった一連の物理的過程を統一的に表現し
た、レーダー画像からの降水域の発達・衰退を2次元画
像の形で予測する2次元降水量予測装置を提供すること
にある。
【0010】
【課題を解決するための手段】本発明の2次元降水量予
測装置は、雨域のレーダー画像を入力する画像入力手段
と、入力されたレーダー画像を時系列画像として蓄積す
る画像蓄積手段と、前記画像蓄積手段に蓄積されている
連続する2つ以上の2次元画像間での画像特徴量を求め
る画像処理手段と、前記の様々な画像特徴量を初期値と
して降水量の時空間的な変化量を数値計算する移流・拡
散方程式演算手段と、数値計算された結果により、降水
域の変化を予測する予測手段と、予測結果を時系列画像
で出力する出力手段を有する。
【0011】本発明は、移流・拡散方程式に基づいた降
水域の予測を自動的に行うために、時間依存の物理方程
式と画像処理方法を結びつけて、方程式に含まれる時間
項、移流項、拡散項、湧き出し項、吸い込み項、消散項
といった各項および、拡散係数を逐次与えることを特徴
としている。降水現象を本方程式で近似しており、ま
た、各項の効果を1つの式に扱えるので、経験則はいら
ない。予測する際、降水域の初期の形状・濃淡値を与え
て、物理方程式で予測しているので、かなり複雑な形状
・濃淡値の予測結果を高い精度で得ることができる。
【0012】本発明の実施態様によれば、画像処理手段
はエッジ勾配分布を、その勾配値が大きい領域と小さい
領域に分ける。
【0013】本発明の他の実施態様によれば、移流・拡
散方程式は、時間項、移流項、拡散項、湧き出し項、吸
い込み項、消散項を含み、降水量を画像上の濃淡値と対
比させた場合は、各画素の濃淡値を方程式の変数として
与える。
【0014】本発明の他の実施態様によれば、拡散値に
おける拡散係数を、1次元的な面積の変化率に応じて変
化させる。
【0015】本発明の他の実施態様によれば、湧き出し
項、吸い込み項には、連続するフレーム間の差分をとっ
たときの、正、負の領域の値をそれぞれ与える。
【0016】本発明の他の実施態様によれば、移流ベク
トルは、濃淡値のエッジ勾配の高い方の領域の重心変化
を抽出して与え、移流性が強い場合は、エッジ勾配の低
い方の領域の重心変化も抽出して与える。
【0017】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0018】図1は本発明の一実施形態の2次元降水量
予測装置の構成図である。
【0019】本実施形態の2次元降水量予測装置は、雨
域のレーダー画像を入力する画像入力部100と、入力
されたレーダー画像を時系列画像として蓄積する画像蓄
積部110と、画像蓄積部110に蓄積されている連続
する2つ以上の2次元画像間での降水量の変化量やエッ
ジ勾配分布等の画像特徴量を求める画像処理部120
と、前記様々な画像特徴量を初期値として、初期の降水
域の形状濃淡値情報から降水量の時空間的な変化量を数
値計算する移流・拡散方程式演算部130と、数値計算
された結果により、降水域の変化を予測する予測部14
0と、予測結果を時系列画像で出力する出力部150で
構成されている。
【0020】図2は、実際のレーダーエコー画像に映し
出される降水域の2フレームの変化を示す図である。た
だし、ここで、2次元画像のSobel演算子によりエ
ッジを抽出してその勾配の大きい領域を斜線部で、その
残りを勾配値が小さい領域として強調してある。このよ
うな画像処理から、降水域は、中心に降水量の多い領域
があって、その周辺が降水量の少ない領域からなりたっ
ている特徴を見い出している。また、降水域の発達・衰
退は常に、斜線部の強い降水域が先に変動してから、弱
い降水域の広がり、消散が確認されている。これは、対
流の中心がほぼ降水域の強い領域に位置しており、3次
元的な対流の強弱が、2次元画像ではこのような姿とし
て発現すると考えられる。したがって、降水域の強弱の
変化を追従しつつ、面積の増減を予測できる可能性があ
ることが示唆されている。
【0021】図3は、降水域の連続するフレームの差分
をとった例を示す図である。降水域が図の左から右へ移
動した場合、その2つの領域の差分(現在−過去)をと
ると、進んだ領域は“1”、過去の領域で重なりのない
領域“2”、両者が重なった領域“3”が得られる。後
述するように、これらの領域の濃淡値情報は、移流・拡
散方程式中の湧き出し項、吸い込み項にそれぞれ与えら
れる。
【0022】移流・拡散方程式は、式(1)の通りであ
る。
【0023】
【数1】 式(1)において、
【0024】
【数2】 とおいて、差分法により離散化する。式(1)の左辺は
時間項、右辺の第一項より、拡散項、移流項、湧き出し
項、吸い込み項、消散項である。λは拡散係数である。
【0025】
【数3】 式(2)は、降水域を示す画像1フレーム内で離散化さ
れて、1フレームの画素数分の大きさの連立1次方程式
を初期条件・境界条件のもとで解かれる。
【0026】図4は、離散化された画像と方程式を解く
上で必要な境界条件の配置を示す。図中、△印は画像内
の点、○印は画像外部の点を示す。降水域は実際の現象
の一部を見ているので、計算格子としては、内部と外部
の点とは連続条件を課すことになる。これは式(2)を
見てわかるように、1次微分・2次微分の項を離散化す
ると、基準点(i,J)より、前後に±1だけ格子点を
参照することによる。
【0027】また、初期条件は、予測を開始するときの
降水域の画像そのもののと、差分画像値、拡散係数、移
流ベクトルである。なお、拡散係数は、面積の変化の大
きさと比例関係にあるものとして、予め調節してある。
移流ベクトルについては以下の通りである。
【0028】図5は、画像処理により、降水域の重心の
変化を追従した結果を示す図である。この結果は、式
(2)中の移流ベクトル
【0029】
【外1】 に与えられる。降水域画像からエッジ勾配を求めて、そ
の勾配値の高い領域の時間ごとの重心変化を追従する。
ただし、移流性が強い場合は、勾配値の低い方の領域の
重心変化も抽出して移流ベクトルに与える。その重心の
移動の方向と大きさを降水域内で生じている平均的な移
流成分として仮定している。より局所的な移流成分で必
要な場合は、ナビエ・ストークス方程式の解として得ら
れる速度ベクトルを各格子点ごとに与えるのである。
【0030】図6(A),(B),(C)は、本発明と
従来法による予測結果を示す図である。面積の的中率と
して広く用いられているCSI(Critical Success Ind
ex)を用いると、従来法(相互相関法やニューラルネッ
トモデル)よりも的中率の低下は抑制されているのがわ
かる。また、濃淡値、すなわち、降水量の予測値につい
ても、本発明の方がよくなっている。さらに、形状の類
似性についても従来法よりも、時間ごとに適切に形状の
変化が方程式の性質に基づいて生成されているのがわか
る。
【0031】以上の性能評価結果から、本発明の予測の
精度の高さが容易にわかる。また、停滞性の降水域の場
合は、従来の2,3時間先予測から5,6時間先の予測
においても実用的な的中率が達成されている。
【0032】
【発明の効果】以上説明したように、本発明によれば、
時間依存の物理方程式と画像処理技法を適切に結び付け
ることで、濃淡値、形状等が実際の降水域・降水量とし
て予測できる効果を有する。
【図面の簡単な説明】
【図1】本発明の一実施形態の2次元降水量予測装置の
構成図である。
【図2】実際のレーダーエコー画像に映し出される降水
域の2フレームの変化を示す図である。
【図3】降水域の連続するフレームの差分をとった例を
示す図である。
【図4】離散化された画像と方程式を解く上で必要な境
界条件の配置を示す図である。
【図5】降水域の重心の変化を追従した結果を示す図で
ある。
【図6】本発明を従来法による予測結果を示す図であ
る。
【符号の説明】
100 画像入力部 110 画像蓄積部 120 画像処理部 130 移流・拡散方程式演算部 140 予測部 150 出力部

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 雨域のレーダー画像を入力する画像入力
    手段と、 入力されたレーダー画像を時系列画像として蓄積する画
    像蓄積手段と、 前記画像蓄積手段に蓄積されている連続する2つ以上の
    2次元画像間での画像特徴量を求める画像処理手段と、 前記の様々な画像特徴量を初期値として降水量の時空間
    的な変化量を数値計算する移流・拡散方程式演算手段
    と、 数値計算された結果により、降水域の変化を予測する予
    測手段と、 予測結果を時系列画像で出力する出力手段を有する2次
    元降水量予測装置。
  2. 【請求項2】 前記画像処理手段はエッジ勾配分布を、
    その勾配値が大きい領域と小さい領域にわける、請求項
    1記載の装置。
  3. 【請求項3】 前記移流・拡散方程式は、時間項、移流
    項、拡散項、湧き出し項、吸い込み項、消散項を含み、
    降水量を画像上の濃淡値と対比させた場合は、各画素で
    の濃淡値を方程式の変数として与える、請求項1記載の
    装置。
  4. 【請求項4】 前記拡散項における拡散係数を、1次元
    的な面積の変化率に応じて変化させる、請求項3記載の
    装置。
  5. 【請求項5】 前記湧き出し項、吸い込み項には、連続
    するフレーム間の差分をとったときの、正、負の領域の
    値をそれぞれ与える、請求項3記載の装置。
  6. 【請求項6】 前記移流ベクトルは、濃淡値のエッジ勾
    配の高い方の領域の重心変化を抽出して与え、移流性が
    強い場合は、エッジ勾配の低い方の領域の重心変化も抽
    出して与える、請求項3記載の装置。
JP02912897A 1996-12-26 1997-02-13 2次元降水量予測装置 Expired - Lifetime JP3377075B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP02912897A JP3377075B2 (ja) 1997-02-13 1997-02-13 2次元降水量予測装置
EP07106760.7A EP1811317B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction apparatus
EP05108076A EP1602941B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus
EP05108079.4A EP1607765B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern precdiction apparatus
DE69735158T DE69735158T2 (de) 1996-12-26 1997-11-04 Verfahren und Vorrichtung zur Niederschlagsmustervoraussage mit einem meteorologischen Radar
MYPI97005221A MY117870A (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus
DE69740047T DE69740047D1 (de) 1996-12-26 1997-11-04 Verfahren und Vorrichtung zur Niederschlagsmustervoraussage mit einem meteorologischen Radar
EP97402626A EP0851240B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus
US08/964,470 US6128578A (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02912897A JP3377075B2 (ja) 1997-02-13 1997-02-13 2次元降水量予測装置

Publications (2)

Publication Number Publication Date
JPH10227871A true JPH10227871A (ja) 1998-08-25
JP3377075B2 JP3377075B2 (ja) 2003-02-17

Family

ID=12267671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02912897A Expired - Lifetime JP3377075B2 (ja) 1996-12-26 1997-02-13 2次元降水量予測装置

Country Status (1)

Country Link
JP (1) JP3377075B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010151597A (ja) * 2008-12-25 2010-07-08 Nippon Telegr & Teleph Corp <Ntt> 気象予測装置、気象予測方法および気象予測プログラム
WO2017221343A1 (ja) * 2016-06-22 2017-12-28 株式会社日立製作所 太陽光出力予測装置、電力系統制御装置及び太陽光出力予測方法
JP2019152582A (ja) * 2018-03-05 2019-09-12 株式会社東芝 気象レーダ装置及び豪雨予測方法
CN113032513A (zh) * 2021-05-21 2021-06-25 北京数字政通科技股份有限公司 一种针对空间地理数据的切片方法及渲染方法
CN114091765A (zh) * 2021-11-25 2022-02-25 山西勇利信息科技有限公司 一种基于时空双向多粒度动态集成的未来降雨预测方法
CN114488352A (zh) * 2022-02-16 2022-05-13 长沙祥云瑞风信息技术有限公司 一种无缝隙精细化降水预报方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010151597A (ja) * 2008-12-25 2010-07-08 Nippon Telegr & Teleph Corp <Ntt> 気象予測装置、気象予測方法および気象予測プログラム
WO2017221343A1 (ja) * 2016-06-22 2017-12-28 株式会社日立製作所 太陽光出力予測装置、電力系統制御装置及び太陽光出力予測方法
JP2019152582A (ja) * 2018-03-05 2019-09-12 株式会社東芝 気象レーダ装置及び豪雨予測方法
WO2019171634A1 (ja) * 2018-03-05 2019-09-12 株式会社 東芝 気象レーダ装置及び豪雨予測方法
CN111095033A (zh) * 2018-03-05 2020-05-01 株式会社东芝 气象雷达装置及暴雨预测方法
US11300681B2 (en) 2018-03-05 2022-04-12 Kabushiki Kaisha Toshiba Weather radar apparatus and severe rain prediction method
CN113032513A (zh) * 2021-05-21 2021-06-25 北京数字政通科技股份有限公司 一种针对空间地理数据的切片方法及渲染方法
CN114091765A (zh) * 2021-11-25 2022-02-25 山西勇利信息科技有限公司 一种基于时空双向多粒度动态集成的未来降雨预测方法
CN114488352A (zh) * 2022-02-16 2022-05-13 长沙祥云瑞风信息技术有限公司 一种无缝隙精细化降水预报方法及系统

Also Published As

Publication number Publication date
JP3377075B2 (ja) 2003-02-17

Similar Documents

Publication Publication Date Title
US6128578A (en) Meteorological radar precipitation pattern prediction method and apparatus
US5974360A (en) Method and equipment for weather image prediction
US6263103B1 (en) Estimating scenes using statistical properties of images and scenes
JP2011513868A (ja) 画像処理方法及び画像処理装置
CN107346547B (zh) 基于单目平台的实时前景提取方法及装置
Gomez-Rodriguez et al. Smoke monitoring and measurement using image processing: application to forest fires
JP4866896B2 (ja) 気象予測装置、気象予測方法および気象予測プログラム
JP3953350B2 (ja) 映像シーン予測方法、装置、プログラム、および記録媒体
WO2008040945A1 (en) A method of identifying a measure of feature saliency in a sequence of images
JP2003263626A (ja) 画像における移動体追跡方法及び装置
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
JPH10227871A (ja) 2次元降水量予測装置
JP2004085394A (ja) 海洋予報データ修正方式
JP3375038B2 (ja) 降水パターン変化予測方法および装置
KR102688679B1 (ko) 시계열 이미지를 이용한 식물 생장 예측 방법 및 장치
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
JP3377076B2 (ja) 局所雨域予測方法および装置
JPH08271649A (ja) 気象予測装置
JP3377074B2 (ja) 降水量変化予測装置
JP3351457B2 (ja) 雨域成長・消滅予測装置
JP3377073B2 (ja) 降水域発達・減衰予測装置
JP3377071B2 (ja) 大局的雨域予測装置
CN111127515B (zh) 沙尘移动路径的预测方法、系统及电子设备
JP3351460B2 (ja) 移動体の挙動解析予測装置およびそのうねり対応づけ処理方法
JP3351458B2 (ja) 消滅雨域パターン予測装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071206

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081206

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111206

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111206

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121206

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121206

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131206

Year of fee payment: 11

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term