JP3377079B2 - 流速推定装置 - Google Patents

流速推定装置

Info

Publication number
JP3377079B2
JP3377079B2 JP18398697A JP18398697A JP3377079B2 JP 3377079 B2 JP3377079 B2 JP 3377079B2 JP 18398697 A JP18398697 A JP 18398697A JP 18398697 A JP18398697 A JP 18398697A JP 3377079 B2 JP3377079 B2 JP 3377079B2
Authority
JP
Japan
Prior art keywords
image
moving
vector
moving speed
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP18398697A
Other languages
English (en)
Other versions
JPH1130626A (ja
Inventor
英朋 境野
智 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP18398697A priority Critical patent/JP3377079B2/ja
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to DE69735158T priority patent/DE69735158T2/de
Priority to EP07106760.7A priority patent/EP1811317B1/en
Priority to EP05108076A priority patent/EP1602941B1/en
Priority to EP05108079.4A priority patent/EP1607765B1/en
Priority to MYPI97005221A priority patent/MY117870A/en
Priority to DE69740047T priority patent/DE69740047D1/de
Priority to EP97402626A priority patent/EP0851240B1/en
Priority to US08/964,470 priority patent/US6128578A/en
Publication of JPH1130626A publication Critical patent/JPH1130626A/ja
Application granted granted Critical
Publication of JP3377079B2 publication Critical patent/JP3377079B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、時系列画像中の物
体の移動速度を推定し、同時に、その予測を行うことが
必要とされる気象レーダーエコー画像からの降水量の変
化予測、流体工学における流体の挙動の解析等、非剛体
の動きを検出して、その挙動を予測する分野に関し、特
に流速推定装置に関する。
【0002】
【従来の技術】従来、画像中の剛体系の物体の移動ベク
トルを推定する場合は、物体上の照明変化がほとんどな
いモデルを採用することが多い.その検出方法には、オ
プティカルフローや相互相関法に基づいた方法が中心的
である(D.H. Ballard et al.著
「コンピュータビジョン」日本コンピュータ協会)。
【0003】一方、非剛体の物体に対する適切な移動ベ
クトルはないと言える。これは、連続する画像間であっ
ても、物体の輪郭線、濃淡値等の属性が同時に変化する
ために、明確な対応付けを行えないことに起因する。即
ち、複雑な物体に対しては、統計的な類似性に追従して
いく相互相関法が適用されることが多い。例えば、気象
レーダーエコー画像を用いた場合、降水パターンは非剛
体的に変化するものの、相互相関法が適用されている。
【0004】
【発明が解決しようとする課題】上述したように降水パ
ターンの変化予測が必要とされつつあり、移動ベクトル
を線形に外挿する方法がとられている。これにより、降
水パターンの移動は表現できるが、非線形な軌跡を示す
ことが多い場合はこの方法だと未来の移動ベクトル程、
精度は大きく下がるという問題がある。
【0005】本発明の目的は、非剛体系の物体の移動ベ
クトルの推定精度の向上と、非線形の移動ベクトル変化
の流速推定装置の提供である。
【0006】
【課題を解決するための手段】本発明の流速推定装置
は、時系列画像を入力する画像入力手段と、入力された
画像を時系列画像として蓄積する画像蓄積手段と、前記
画像蓄積手段に蓄積されている連続する2つ以上の2次
元の時系列画像間で画像処理を行って、画像中の各物体
に対して複数種類の画像特徴量の抽出操作を適用して画
像中の各物体の移動速度を検出する移動速度検出手段
と、前記複数の画像中の各物体の画像特徴量の操作から
検出され複数の移動速度をそれぞれの物体の初期移動
速度とし、各物体毎に移動平均フィルターを反復適用す
ることにより初期移動速度を各指向領域ヘ伝播させる反
復的移動速度伝播手段を用いて、移動速度の変化を予測
し、同時に初期の物体を、予測される移動速度に従って
未来の位置ヘ移動させる移動表示手段と、予測された移
動速度および未来の物体の位置を出力する出力手段とを
有する。
【0007】また、前記異動速度検出手段の画像処理
が、画像を複数の小領域に分割して、連続する画像の各
小領域間での相互相関係数を解析して、最も相関係数の
高い点を求めて移動ベクトルを推定する処理であり、さ
らに連続する画像間の物体の輪郭線を境界探索アルゴリ
ズムにより推定し、輪郭線の変位を過去の輪郭線の法線
と現在の輸郭線との交点を求めることで輪郭線の変位ベ
クトルを求めて、これを移動ベクトルとする処理である
もの、および気象レーダーエコー画像を用いた場合、画
像の1次微分画像、即ち、エッジ画像を求めて、その中
で1次微分値が予め設定した、しきい値以上の画像のみ
を切り出すと同時に、その重心を求め、連続する画像の
重心の移動から移動ベクトルを推定するものも本発明に
属する。
【0008】また、画像処理で輪郭線を抽出する際、画
像に対する前処理として、2値化、ラベリング、および
孤立点除去を含むものも本発明の実施態様である。
【0009】前記流速ベクトルを推定に用いる時系列画
像は、連続する2つの画像だけではなくサンプリングレ
ートと、物体の移動速度に応じて、2つ以上離れた時系
列画像を組として用いてもよい。
【0010】さらに、重心からの移動ベクトルを推定す
る際、ローパスフィルターを作用できるように3つ以上
の重心を蓄積して求めるのが望ましい実施態様である。
【0011】本発明では、非剛体系の物体の移動速度を
推定するために、相互相関法、輪郭線変位、エッジ勾配
値が高い領域からの重心移動の、3つの方法を同時に適
用しているために、複雑に変化する物体の動きの特徴を
3つの方法のいずれかにより常に推定できるという特徴
がある.また、移動ベクトルの変化を予測する際、3つ
の方法に推定された移動ベクトルを初期ベクトルとし
て、移動平均フィルターにより反復的に伝播させていく
ことで、非線形な移動ベクトルの変化を予測することが
できる特徴も有する。
【0012】3つの方法を同時に適用することにより、
気象レーダーエコー画像や、流体工学実験での、物体の
生成・消減が著しい場合でも、安定した移動ベクトルの
抽出に対処することができる。
【0013】
【発明の実施の形態】図1は、本発明の流速推定装置の
一実施の形態の構成図である。
【0014】本実施の形態の流速推定装置は、時系列画
像を入力する画像入力部100と、入力された時系列画
像を蓄積する画像蓄積部110と、物体の移動速度の推
定に画像処理を適用し、相互相関法と、輪郭線変位法
と、エッジ勾配が大の領域からの重心の移動推定方法と
を同時に適用して物体の移動速度を検出する移動速度検
出部120と、3つの画像処理方法により推定された移
動ベクトルを初期ベクトルとし、移動平均フィルターに
より画像全体にわたって移動ベクトルを伝播させて予測
をする反復移動速度伝播部130と、予測結果を出力す
る出力部140とからなる。
【0015】図2は、移動速度検出部120と反復移動
速度伝播部130における詳細図である。移動速度検出
部120には、画像処理により、物体のエッジ(1次微
分)画像200を求めて、適切なしきい値を設定し、そ
のエッジ勾配が高い領域または、エッジ勾配が低いが濃
淡値の高い領域あるいは対流中心等の特異領域を重心と
看做し、該重心変化から移動ベクトルを推定すること
(以下重心変化ベースと称す)と、輪郭線変位210か
ら移動ベクトルを推定することと、相互相関法220か
ら移動ベクトルを推定することを含み、反復移動速度伝
播部130で、これら3つの方法により別々に推定され
た移動ベクトルを初期ベクトルとし、移動平均フィルタ
ー230により、所定の回数(n回)240まで反復を
繰り返す。予め、反復回数n回を必要な予測時間と対応
させておくことで、非線形な移動ベクトルの予測を行う
ことができる。
【0016】図3は.図2の図解である。連続する画像
から重心変化ベースによる重心移動に追従し、移動ベク
トルを求めた場合300と、過去の輪郭線の法線と現在
の輪郭線との交点を求めた場合310と、画像を複数の
小ブロックに分割して、異なる画像の各小ブロック間に
相互相関法を適用し、各小ブロックから移動ベクトルを
求めた場合320とがある。このようにして求められた
移動ベクトルを初期ベクトル330とし、2次元画像の
各成分(横・縦)方向について、移動平均フィルターを
繰り返し適用する3401、3402、3403 。反
復回数が増加するに従って、ゼロ領域に移動ベクトルが
少しずつ伝播していく。これは移動ベクトルの非線形な
予測方法となっている非剛体系の物体を時系列とし、
その特徴を観察すると、生成・消滅があり、形状につい
て明確にその特徴を記述は容易なことではない。従来よ
り、よく適用されている相互相関法は統計的な解析方法
としてこのような対象に対して有用であることがある。
しかしながら、輪郭線の変化、即ち、画素単位の変化を
推定することは精度的に限界があるので、通常小ブロッ
ク単位で推定を行う。そこで、本発明では、輪郭線の特
徴も移動ベクトルを推定する際、重要であると考えて輪
郭線の変位を求めて利用している。気象レーダーエコー
画像の降水パターンに見られるように、放射線状に広が
るパターンの場合には輪郭線の変位が降水パターンの形
状を決定づける要因となっていることが多い。
【0017】その他、相互相関法の場合、本来移動して
いる表面から移動ベクトルをゼロと推定してしまう問題
もあるが、輪郭線の変位とエッジ勾配大の領域の重心追
従を併用しているために、この問題をカバーすることが
できている。
【0018】エッジ勾配大の領域は、気象レーダーエコ
ー画像や流体工学実験における流体でいえば、対流、乱
流の中心領域にほぼ対応している。エネルギーが集中し
ているために、ある種のパターンが形成され続けている
間はこの中心領域が明瞭となっている。しかも、パター
ンの移動がこのような対流や乱流の中心(重心)の移動
に伴っている。このようなことから、画像処理によりそ
の重心に追従することは安定した移動ベクトル推定方法
として有効である。
【0019】図4は、気象レーダーエコー画像に本発明
の移動ベクトル推定方法を適用し、降水パターン変化を
予測したときの評価結果である。本発明を適用しない場
合と、適用した場合での予測精度は、本発明を適用した
場合の方がよくなっているのがわかる。
【0020】なお、いずれの方法も式(1)に基づく方
法で降水パターン変化を予測している.式(1)中のI
(x,y、t)は画像の濃淡値であり、ここで、(x,
y)位置の座標でありtは時間を示す。λは拡散係数、
εは消散定数.u(x,y)は移流ベクトルであり、本
発明で推定された移動ベクトルが挿入された.評価の比
較実験では、相互相関法により推定された移動ベクトル
を全画素に一次補間により穴埋めをしたべクトルを与え
た。式(1)の左辺は、時間項で、右辺の第1項より、
拡散項、移流項、湧きだし項、吸い込み項である。式
(1)をx=ih,y=jh,t=δt・n,I(x,
y,z)=Iij’,h=1.0とおいて,画像の画素に
ついて離散化し、時間項については前進差分にした上
で、時間積分を必要な予測ステップ数だけ続ける。
【0021】 δI(x,y.t)/δt =λ・▽2I(x,y,t)+u(x,y)▽I(x,y,t)+ Source(x,y,t)-Sink(x,y,t)-ε (1) 即ち、時間積分の結果、I(x,y,t)が更新され、
これが予測された降水パターンの結果そのものになる。
湧きだし項、吸い込み項は、連続する画像を2値化し、
その差分画像をとったときの正領域と負領域をそれぞれ
に与える。拡散係数は予め、面積変化と拡散係数との線
形なテーブルを統計的に作成しておく。
【0022】
【実施例】図5は本発明の流速推定装置による推定結果
と実画像との比較図である。図5(a)は340X34
0km2範囲の雨雲の予測開始時t0から1時間後t1
2時間後t2、3時間後t3、4時間後t4の実画像であ
る。図5(b)はt0から予測したt1、t2、t3、t4
における相互相関法による予測結果であり上部はその移
動ベクトルの表示であり下部は予測画像である。
【0023】図5(c)はt0に予測開始したt1
2、t3、t4における、輪郭線変位による移動ベクト
ルからの予測結果であり、図5(d)は相互相関法と輪
郭変位法を併せて適用した予測結果である。
【0024】
【発明の効果】以上説明したように、本発明は、画像中
の物体、特に、非剛体系の物体からの移動ベクトルを推
定して予測する方法について、異なった3つの画像処理
方法を同時に適用して、推定された移動ベクトルを反復
的に画像にわたって伝播させることで移動ベクトルの変
化を予測することができる。
【図面の簡単な説明】
【図1】本発明の流速推定装置の位置実施の形態のブロ
ック構成図である。
【図2】3つの画像処理方法による移動ベクトル推定と
反復法の説明用フローチャートである。
【図3】図2に示す3つの画像処理方法による移動ベク
トル推定と反復法の図解図である。
【図4】予測性能評価図である。
【図5】雨雲の予測開始から1時間毎の実画像と予測画
像であり、(a)は実画像、(b)は相互相関法による
予測画像、(c)は輪郭線変位による予測画像、(d)
は相互相関法と輪郭線変位の両移動ベクトルによる予測
画像である。
【符号の説明】
100 画像入力部 110 画像蓄積部 120 移動速度検出部 130 反復的移動速度伝播部 140 出力部 200 対流中心 210 輪郭線変位 220 相互相関値 230 移動平均フィルター 240 所定回数 300 対流中心重心追従図 310 輪郭線変位図 320 相互相関値移動図 330 移動初期ベクトル 3401 移動平均フィルタ反復使用結果図(第1
回) 3402 移動平均フィルタ反復使用結果図(第2
回) 3403 移動平均フィルタ反復使用結果図(第3
回)
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平7−306952(JP,A) 特開 平8−248045(JP,A) 特開 平8−83345(JP,A) 特公 平5−19751(JP,B2) 境野英朋、末永康仁、石井健一郎, “力学的相互作用における弾性移動体の 計算法に関する検討”,電子情報通信学 会秋季大会−ソサイエティ先行大会−講 演論文集 情報・システム,日本,社団 法人電子情報通信学会,1994年 9月 5日,D−367,p.375 (58)調査した分野(Int.Cl.7,DB名) G01W 1/00 - 1/18 G01P 5/20 JICSTファイル(JOIS)

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項1】 時系列画像を入力する画像入力手段と、 入力された画像を時系列画像として蓄積する画像蓄積手
    段と、 前記画像蓄積手段に蓄積されている連続する2つ以上の
    2次元の時系列画像間で画像処理を行って、画像中の各
    物体に対して複数種類の画像特徴量の抽出操作を適用し
    て画像中の物体の移動速度を検出する移動速度検出手段
    と、 前記複数種類の画像特徴量の抽出操作から検出され
    像中の物体毎のそれぞれの移動速度をそれぞれの初期移
    動速度とし、前記物体毎に移動平均フィルターを反復適
    用することにより初期移動速度を各指向領域ヘ伝播させ
    る反復的移動速度伝播手段と、 移動速度の変化を予測し、同時に初期の物体を予測さ
    れた移動速度に従って未来の位置ヘ移動させる移動表示
    手段と、 予測された移動速度および未来の物体の位置を出力する
    出力手段とを有する流速推定装置。
  2. 【請求項2】 前記移動速度検出手段、画像を複数の
    小領域に分割し、連続する画像の各小領域間での相互相
    関係数を解析して、最も相関係数の高い点を求めて移動
    ベクトルを推定する請求項1記載の流速推定装置。
  3. 【請求項3】 前記移動速度検出手段、連続する画像
    間の物体の輪郭線を境界探索アルゴリズムにより推定
    し、輪郭線の変位を過去の輪郭線の法線と現在の輪郭線
    との交点を求めることで輪郭線の変位ベクトルを求め
    て、これを移動ベクトルとする請求項1または2記載
    の流速推定装置。
  4. 【請求項4】 前記移動速度検出手段、時系列画像と
    して気象レーダーエコー画像を用いた場合、該画像の1
    次微分画像、即ち、エッジ画像を求めて、その中で1次
    微分値が、予め設定したしきい値以上の画像のみを切り
    出すと同時に、その重心を求め、連続する画像の重心の
    移動から移動ベクトルを推定する請求項1から3のい
    ずれか1項に記載の流速推定装置。
  5. 【請求項5】 前記輪郭線を抽出する際、画像に対する
    前処理として、2値化、ラベリング、孤立点除去を含
    請求項3記載の流速推定装置。
  6. 【請求項6】 前記移動ベクトルを推定に用いる時系列
    画像として、連続する2つの画像だけではなくサンプ
    リングレートと、物体の移動速度に応じて、2つ以上離
    れた時系列画像を組として用いる請求項4記載の流速
    推定装置。
  7. 【請求項7】 前記重心の移動から移動ベクトルを推定
    する際、ローパスフィルターを作用できるように3つ以
    上の重心を蓄積して求める請求項6記載の流速推定装
    置。
JP18398697A 1996-12-26 1997-07-09 流速推定装置 Expired - Lifetime JP3377079B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP18398697A JP3377079B2 (ja) 1997-07-09 1997-07-09 流速推定装置
EP07106760.7A EP1811317B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction apparatus
EP05108076A EP1602941B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus
EP05108079.4A EP1607765B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern precdiction apparatus
DE69735158T DE69735158T2 (de) 1996-12-26 1997-11-04 Verfahren und Vorrichtung zur Niederschlagsmustervoraussage mit einem meteorologischen Radar
MYPI97005221A MY117870A (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus
DE69740047T DE69740047D1 (de) 1996-12-26 1997-11-04 Verfahren und Vorrichtung zur Niederschlagsmustervoraussage mit einem meteorologischen Radar
EP97402626A EP0851240B1 (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus
US08/964,470 US6128578A (en) 1996-12-26 1997-11-04 Meteorological radar precipitation pattern prediction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18398697A JP3377079B2 (ja) 1997-07-09 1997-07-09 流速推定装置

Publications (2)

Publication Number Publication Date
JPH1130626A JPH1130626A (ja) 1999-02-02
JP3377079B2 true JP3377079B2 (ja) 2003-02-17

Family

ID=16145324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18398697A Expired - Lifetime JP3377079B2 (ja) 1996-12-26 1997-07-09 流速推定装置

Country Status (1)

Country Link
JP (1) JP3377079B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11333795B2 (en) * 2020-09-09 2022-05-17 Korea Meteorological Administration Method for typhoon center automatic selection using vectors calculated from radar image data by optical flow technique, recording medium and device for performing the method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4425383B2 (ja) * 1999-09-17 2010-03-03 株式会社データ・テック センサユニット
KR100817907B1 (ko) * 2006-07-27 2008-03-31 명지대학교 산학협력단 표면 영상 분석에 의한 하천의 표면 유속 측정 방법
WO2020179326A1 (ja) * 2019-03-06 2020-09-10 古野電気株式会社 雲観測装置、雲観測方法、及びプログラム
JP6883699B1 (ja) * 2020-12-23 2021-06-09 東京瓦斯株式会社 流量推定システム、情報処理装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
境野英朋、末永康仁、石井健一郎,"力学的相互作用における弾性移動体の計算法に関する検討",電子情報通信学会秋季大会−ソサイエティ先行大会−講演論文集 情報・システム,日本,社団法人電子情報通信学会,1994年 9月 5日,D−367,p.375

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11333795B2 (en) * 2020-09-09 2022-05-17 Korea Meteorological Administration Method for typhoon center automatic selection using vectors calculated from radar image data by optical flow technique, recording medium and device for performing the method

Also Published As

Publication number Publication date
JPH1130626A (ja) 1999-02-02

Similar Documents

Publication Publication Date Title
CN108242062B (zh) 基于深度特征流的目标跟踪方法、系统、终端及介质
Ferrier et al. Real-time traffic monitoring.
JP2915894B2 (ja) ターゲット追跡方法及び装置
Pang et al. A method for vehicle count in the presence of multiple-vehicle occlusions in traffic images
Zhu et al. Object tracking in structured environments for video surveillance applications
GB2320830A (en) Rain tracking radar
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
Han et al. Visual tracking by continuous density propagation in sequential Bayesian filtering framework
Jia et al. Real-time obstacle detection with motion features using monocular vision
KR100994367B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
Dhulavvagol et al. Vehical tracking and speed estimation of moving vehicles for traffic surveillance applications
Masoud et al. The use of computer vision in monitoring weaving sections
Bedenas et al. Segmenting traffic scenes from grey level and motion information
JP3377079B2 (ja) 流速推定装置
Shirgeri et al. Design and development of Optical flow based Moving object detection and tracking (OMODT) system
Yang et al. Enhanced visual SLAM for construction robots by efficient integration of dynamic object segmentation and scene semantics
Khan et al. Automated road marking detection system for autonomous car
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
KR100566629B1 (ko) 이동물체 검출 시스템 및 방법
JP3377078B2 (ja) 対流場変化予測推定装置
Tousi et al. A new approach to estimate depth of cars using a monocular image
Strickland et al. Estimation of ship profiles from a time sequence of forward-looking infrared images
CN114613002B (zh) 基于光线投影原理的运动视角下动态物体检测方法及系统
Rieger et al. Sensor Motion and Relative Depth From Difference Fields of Optic Flows.

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071206

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081206

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101206

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111206

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111206

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121206

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121206

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131206

Year of fee payment: 11

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term