JPH10233958A - カメラパラメータ推定方法 - Google Patents

カメラパラメータ推定方法

Info

Publication number
JPH10233958A
JPH10233958A JP9035416A JP3541697A JPH10233958A JP H10233958 A JPH10233958 A JP H10233958A JP 9035416 A JP9035416 A JP 9035416A JP 3541697 A JP3541697 A JP 3541697A JP H10233958 A JPH10233958 A JP H10233958A
Authority
JP
Japan
Prior art keywords
motion vector
value
camera
feature space
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9035416A
Other languages
English (en)
Other versions
JP3502525B2 (ja
Inventor
Satoshi Ishibashi
Hiroshi Kodera
Hisami Shinsenji
博 小寺
聡 石橋
久美 秦泉寺
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegr & Teleph Corp <Ntt>, 日本電信電話株式会社 filed Critical Nippon Telegr & Teleph Corp <Ntt>
Priority to JP03541697A priority Critical patent/JP3502525B2/ja
Publication of JPH10233958A publication Critical patent/JPH10233958A/ja
Application granted granted Critical
Publication of JP3502525B2 publication Critical patent/JP3502525B2/ja
Anticipated expiration legal-status Critical
Application status is Expired - Lifetime legal-status Critical

Links

Abstract

(57)【要約】 【課題】 時系列画像からカメラ操作の種類の特定だけ
でなく、そのカメラ操作のパラメータ値そのものを種類
を限定することなく推定する方法を提供する。 【解決手段】 動きベクトル算出部1は、画素毎又は画
素集合毎に動きベクトルを算出する。動きベクトル微分
係数算出部2は、この動きベクトルについて一定距離離
れた位置の動きベクトルの差分等から微分係数を算出す
る。拡大縮小要因推定部3は、この微分係数を特徴空間
内でクラスタリングし、クラスタ分布から拡大縮小要因
(ズーム、ドリーのパラメータ値)を推定する。拡大縮
小・移動回転要因分離部4は、元の動きベクトルから拡
大縮小要因を引き算し、移動回転要因推定部5は、これ
を特徴空間内でクラスタリングし、クラスタ分布から移
動回転要因(パン、チルト、トラック、ブームのパラメ
ータ値)を推定する。

Description

【発明の詳細な説明】

【0001】

【発明の属する技術分野】本発明は、時系列画像から該
画像を撮像したカメラの操作による動きを推定するカメ
ラパラメータ推定方法に関するものである。

【0002】

【従来の技術】以下の説明を行うにあたり、実空間の座
標系を(x,y,z)とする。ここでxは水平方向、y
は垂直方向、zは奥行き方向を示す。カメラの操作と
は、パン(カメラのx方向の回転)、チルト(y方向の
回転)、ズーム(焦点距離の変化)、トラック(カメラ
のx方向の移動)、ブーム(y方向の移動)、ドリー
(z方向への移動)の6種類である。

【0003】画像を撮像したカメラの操作による動きを
推定する従来の技術においては、オプティカルフロー
(動きベクトル)を特徴空間の一種であるHough空
間にマッピングして動きベクトルの発散点、収束点か
ら、カメラの移動を伴わない動き(パン、チルト、ズー
ム)の推定を行っていた。

【0004】また、別の従来技術においては、動きベク
トルの大きさをヒストグラムにして、その分布の特性か
ら「カメラ操作の種類が何であるか」を推測することが
可能であった。

【0005】参考文献:「動画像インデクシングを目的
としたカメラ操作の規定方法」阿久津他、電子情報通信
学会論文誌D−II Vol.J75−D−II N
o.2pp.226−235 1992年2月。

【0006】

【発明が解決しようとする課題】しかしながら、上記従
来の技術のうちで、オプティカルフロー(動きベクト
ル)を特徴空間の一種であるHough空間にマッピン
グして動きベクトルの発散点、収束点から、カメラの移
動を伴わない動きを推定する方法では、カメラの移動を
伴う動き(トラック、ブーム、ドリー)の推定を行うこ
とができないという問題点があった。

【0007】また、動きベクトルの大きさをヒストグラ
ムにして、その分布の特性から「カメラ操作の種類が何
であるか」を推測する方法では、カメラパラメータ値
(カメラ操作による動きを数値的に表したもの)の推定
は不可能であるという問題点があった。

【0008】本発明の目的は、時系列画像からその画像
を撮像したカメラの操作の種類の特定だけでなく、その
カメラの操作のカメラパラメータ値そのものを種類を限
定することなく推定する方法を提供することにある。

【0009】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、フレーム毎に算出された動きベクトル
の位置座標による微分値を計算する動きベクトル微分係
数算出過程と、前記動きベクトル微分係数算出過程で算
出された動きベクトルの微分値を特徴空間内でクラスタ
リングしクラスタの分布からカメラパラメータの拡大縮
小要因を推定する拡大縮小要因推定過程と、前記拡大縮
小要因推定過程にて推定されたカメラパラメータの拡大
縮小要因ともとの動きベクトルから移動回転要因に相当
する動きベクトルを算出する拡大縮小・移動回転要因分
離過程と、前記拡大縮小・移動回転要因分離過程で算出
された動きベクトルを特徴空間内でクラスタリングしク
ラスタの分布からカメラ操作の移動回転要因を推定する
移動回転要因推定過程と、を有することを特徴とする。

【0010】また、前記拡大縮小要因推定過程では、動
きベクトル微分係数算出過程で算出された動きベクトル
の微分値を特徴空間内でクラスタリングし、前記クラス
タリングされたクラスタの分布から頻度の大きい顕著な
クラスタを検出し、該クラスタが特徴空間の(0,0)
の位置を中心に立つ場合にはズームおよびドリーのカメ
ラパラメータの値をそれぞれ0と推定し、該クラスタが
特徴空間の(α,α)、α≠0の位置を中心に単峰性で
立つ場合にはズームのカメラパラメータの値をαと、ド
リーのカメラパラメータの値を0と推定し、該クラスタ
が特徴空間の複数nの(αn,αn)、αn≠0の位置を
中心に多峰性で立つ場合にはズームのカメラパラメータ
の値を0と、ドリーのカメラパラメータの値をαnと推
定することを特徴とする。

【0011】さらに、前記移動回転要因推定過程では、
拡大縮小・移動回転要因分離過程で算出された動きベク
トルを特徴空間内でクラスタリングし、前記クラスタリ
ングされたクラスタの分布から頻度の大きい顕著なクラ
スタを検出し、該クラスタが特徴空間の(Vx,Vy)の
位置を中心に単峰性で立つ場合にはパンのカメラパラメ
ータの値をVx、チルトのカメラパラメータの値をVy
トラックおよびブームのカメラパラメータの値をそれぞ
れ0と推定し、該クラスタがある特徴空間のある直線上
の複数nの(Vx n,Vy n)の位置に並ぶ場合には該直線
の特徴空間におけるx方向切片をbx、y方向切片をby
としてパンのカメラパラメータの値をbx、チルトのカ
メラパラメータの値をby、トラックのカメラパラメー
タの値をVx n−bxおよびブームのカメラパラメータの
値をVy n−byと推定することを特徴とする。

【0012】本発明では、動きベクトル微分係数算出過
程、拡大縮小要因推定過程、拡大縮小・移動回転要因分
離過程、移動回転要因推定過程を有することを特徴とす
る。従来の技術とは、局所的な動きベクトルを微分した
り、クラスタリングしたりすることで、6つのカメラ操
作における拡大縮小要因(ズーム、ドリー)と移動回転
要因(パン、チルト、トラック、ブーム)を分離して推
定することができ、これらの拡大縮小要因と移動回転要
因を分離できると、通常の動きベクトルのクラスタリン
グでは一見ランダムなクラスタをカメラの操作によって
統合することが可能となる点が異なる。

【0013】本発明では、動きベクトル算出過程で画素
毎にあるいは画素の集合毎に動きベクトルを算出し、動
きベクトル微分係数算出過程でこの動きベクトルを位置
座標で微分し、拡大縮小要因推定過程で、動きベクトル
の微分係数を特徴空間内でクラスタリングし、クラスタ
の分布から拡大縮小要因(ズーム、ドリーの係数)を推
定する。拡大縮小・移動回転要因分離過程では元の動き
ベクトルから拡大縮小要因を引き算し、移動回転要因推
定過程でこの動きベクトルを特徴空間内でクラスタリン
グし、クラスタの分布から移動回転要因(パン、チル
ト、トラック、ブームの係数)を推定する。以上で、全
ての基本的なカメラの操作のカメラパラメータ値を推定
可能にする。

【0014】

【発明の実施の形態】以下、図を用いて本発明の実施形
態例を詳細に説明する。

【0015】図1は本発明の一実施形態例に係るアルゴ
リズムの概略を示す。1は動きベクトル算出部、2は動
きベクトル微分係数算出部、3は拡大縮小要因推定部、
4は拡大縮小・移動回転要因分離部、5は移動回転要因
推定部である。

【0016】図2は本実施形態例における拡大縮小要因
推定部3の概念を示す。

【0017】図3は本実施形態例における拡大縮小要因
推定部3の詳細な手順をフローチャートで示す。

【0018】図4は本実施形態例における移動回転要因
推定部5の概念を示す。

【0019】図5は本実施形態例における移動回転要因
推定部5の詳細な手順をフローチャートで示す。

【0020】カメラ操作と動きベクトル

【0021】

【数1】

【0022】の関係式は、以下の式(1)の様になる。

【0023】

【数2】

【0024】ここで、全ての動きベクトルは、

【0025】

【数3】

【0026】であり、x,y方向の2次元の特徴空間の
成分で表される。zは点

【0027】

【数4】

【0028】における奥行きの値である。

【0029】(2)式の右辺第1項はカメラのズーム、
第2項はパン・チルト、第3項はドリー、第4項はトラ
ック、ブームによる動きを反映している。第5項は個々
のローカルな動きを表す。

【0030】まず最初に、動きベクトル推定部1は、動
画像の隣接フレーム間、もしくは数フレーム離れたフレ
ーム間のブロック単位の動きベクトルを算出する。次
に、動きベクトル微分係数算出部2は、各々の動きベク
トルを位置座標で微分する。具体的には、以下に示す式
(2)に従って、x方向、及びy方向にある一定距離離
れた動きベクトル同士の差分

【0031】

【数5】

【0032】を逐次計算する。これが、動きベクトルの
微分値であり、動きの微分係数とも呼ばれる。

【0033】

【数6】

【0034】ここで、動きの微分係数は、

【0035】

【数7】

【0036】であり、x,y方向の2次元の特徴空間の
成分で表される。

【0037】拡大縮小要因推定部3は、前記動きベクト
ル微分係数算出部2によって算出された動きの微分係数
を図2に示すように特徴空間内でクラスタリングする。
微分係数をクラスタリングした後は、図3に示す手順に
則り頻度の大きい顕著なクラスタを検出した後、そのク
ラスタの分布から拡大縮小要因を推定する。

【0038】以下の(a),(b),(c)は、それぞ
れ図2の(a),(b),(c)に対応する。

【0039】(a)V′y=V′x=0上に顕著なピーク
が立つ場合は拡大縮小要因azoom=adolly=0にな
る。

【0040】(b)V′y=V′x≠0上にピークが立
ち、単峰性ならば、拡大縮小要因はazoom=α,a
dolly=0にする。

【0041】(c)V′y=V′x=αn≠0上にピーク
が立ち、多峰性(複数nのピークが立つ)ならば、拡大
縮小要因はazoom=0,adolly=αnにする。

【0042】さらに拡大縮小・移動回転要因分離部4
は、以下の式(3)で示すように、前出の拡大縮小要因
を元の動きベクトルに代入し、移動回転要因と個々のロ
ーカルな動きからなる動きベクトル

【0043】

【数8】

【0044】を算出する。

【0045】

【数9】

【0046】ここで、移動回転要因と個々のローカルな
動きからなる動きベクトルは、

【0047】

【数10】

【0048】であり、x,y方向の2次元の特徴空間の
成分で表される。

【0049】次に、移動回転要因推定部5は、式(3)
で得られた動きベクトルを図4に示すように特徴空間内
でクラスタリングする。以降は図5のフローチャートで
示すような手順を踏む。以下の(a),(b)は、それ
ぞれ図4の(a),(b)に対応する。まず、頻度の大
きいクラスタを検出し、その分布から移動回転要因を推
定する。すなわち、 (a)単峰性ならば、bpan=Vx,btilt=Vy,b
track=bboom=0にする。

【0050】(b)ある直線Vy=αVx+β上にクラス
タがn個並ぶなら、そのx方向切片bxをパンbpan、y
方向切片byをチルトbtiltのパラメータ値に決定し、
クラスタ中心の値(Vx n,Vy n)からパン・チルトの値
を引いたものをトラックbtrack n、ブームbboom nの値

【0051】

【数11】

【0052】にする。なお、上記のnは各値がn個のク
ラスタに対応してnとおりあることを表している。

【0053】以上の説明とおり、入力画像から基本的な
カメラ操作の6種類のカメラパラメータ値、ズームa
zoom、パンbpan、チルトbtilt、ドリーadolly、トラ
ックbtrack、ブームbboomが推定される。

【0054】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、カメラ操作の種類の特定だけでなく、カメラパ
ラメータ値そのものを種類を限定することなく推定でき
るという効果が得られる。

【図面の簡単な説明】

【図1】本発明の一実施形態例に係るアルゴリズムの概
略を示す図である。

【図2】(a),(b),(c)は、上記実施形態例に
おける拡大縮小要因推定部の概念を示す図である。

【図3】上記実施形態例における拡大縮小要因推定部の
詳細を示す図であって、その推定の手順を示すフローチ
ャートである。

【図4】(a),(b)は、上記実施形態例における移
動回転要因推定部の概念を示す図である。

【図5】上記実施形態例における移動回転要因推定部の
詳細を示す図であって、その推定の手順を示すフローチ
ャートである。

【符号の説明】

1…動きベクトル算出部 2…動きベクトル微分係数算出部 3…拡大縮小要因推定部 4…拡大縮小・移動回転要因分離部 5…移動回転要因推定部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 フレーム毎に算出された動きベクトルの
    位置座標による微分値を計算する動きベクトル微分係数
    算出過程と、 前記動きベクトル微分係数算出過程で算出された動きベ
    クトルの微分値を特徴空間内でクラスタリングしクラス
    タの分布からカメラパラメータの拡大縮小要因を推定す
    る拡大縮小要因推定過程と、 前記拡大縮小要因推定過程にて推定されたカメラパラメ
    ータの拡大縮小要因ともとの動きベクトルから移動回転
    要因に相当する動きベクトルを算出する拡大縮小・移動
    回転要因分離過程と、 前記拡大縮小・移動回転要因分離過程で算出された動き
    ベクトルを特徴空間内でクラスタリングしクラスタの分
    布からカメラ操作の移動回転要因を推定する移動回転要
    因推定過程と、 を有することを特徴とするカメラパラメータ推定方法。
  2. 【請求項2】 前記拡大縮小要因推定過程では、 動きベクトル微分係数算出過程で算出された動きベクト
    ルの微分値を特徴空間内でクラスタリングし、 前記クラスタリングされたクラスタの分布から頻度の大
    きい顕著なクラスタを検出し、該クラスタが特徴空間の
    (0,0)の位置を中心に立つ場合にはズームおよびド
    リーのカメラパラメータの値をそれぞれ0と推定し、該
    クラスタが特徴空間の(α,α)、α≠0の位置を中心
    に単峰性で立つ場合にはズームのカメラパラメータの値
    をαと、ドリーのカメラパラメータの値を0と推定し、
    該クラスタが特徴空間の複数nの(αn,αn)、αn
    0の位置を中心に多峰性で立つ場合にはズームのカメラ
    パラメータの値を0と、ドリーのカメラパラメータの値
    をαnと推定する、 ことを特徴とする請求項1記載のカメラパラメータ推定
    方法。
  3. 【請求項3】 前記移動回転要因推定過程では、 拡大縮小・移動回転要因分離過程で算出された動きベク
    トルを特徴空間内でクラスタリングし、 前記クラスタリングされたクラスタの分布から頻度の大
    きい顕著なクラスタを検出し、該クラスタが特徴空間の
    (Vx,Vy)の位置を中心に単峰性で立つ場合にはパン
    のカメラパラメータの値をVx、チルトのカメラパラメ
    ータの値をVy、トラックおよびブームのカメラパラメ
    ータの値をそれぞれ0と推定し、該クラスタがある特徴
    空間のある直線上の複数nの(Vx n,Vy n)の位置に並
    ぶ場合には該直線の特徴空間におけるx方向切片を
    x、y方向切片をbyとしてパンのカメラパラメータの
    値をbx、チルトのカメラパラメータの値をby、トラッ
    クのカメラパラメータの値をVx n−bxおよびブームの
    カメラパラメータの値をVy n−byと推定する、 ことを特徴とする請求項1または請求項2記載のカメラ
    パラメータ推定方法。
JP03541697A 1997-02-20 1997-02-20 カメラパラメータ推定方法 Expired - Lifetime JP3502525B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03541697A JP3502525B2 (ja) 1997-02-20 1997-02-20 カメラパラメータ推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03541697A JP3502525B2 (ja) 1997-02-20 1997-02-20 カメラパラメータ推定方法

Publications (2)

Publication Number Publication Date
JPH10233958A true JPH10233958A (ja) 1998-09-02
JP3502525B2 JP3502525B2 (ja) 2004-03-02

Family

ID=12441280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03541697A Expired - Lifetime JP3502525B2 (ja) 1997-02-20 1997-02-20 カメラパラメータ推定方法

Country Status (1)

Country Link
JP (1) JP3502525B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182830A (ja) * 2003-12-23 2005-07-07 Genesis Microchip Inc 質量中心の繰り返し使用によるカメラパンベクトルのロバスト推定
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2007221631A (ja) * 2006-02-20 2007-08-30 Sony Corp 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
US7502052B2 (en) 2004-03-19 2009-03-10 Canon Kabushiki Kaisha Image deformation estimating method and image deformation estimating apparatus
WO2011102131A1 (ja) * 2010-02-18 2011-08-25 パナソニック株式会社 画像符号化装置、画像符号化方法、プログラム、及び集積回路
US8335257B2 (en) 2003-12-23 2012-12-18 Tamiras Per Pte. Ltd., Llc Vector selection decision for pixel interpolation
US8588306B2 (en) 2003-12-23 2013-11-19 Tamiras Per Pte. Ltd., Llc Temporal motion vector filtering

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4743601B2 (ja) * 2005-09-21 2011-08-10 Kddi株式会社 動画像処理装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182830A (ja) * 2003-12-23 2005-07-07 Genesis Microchip Inc 質量中心の繰り返し使用によるカメラパンベクトルのロバスト推定
US8019124B2 (en) 2003-12-23 2011-09-13 Tamiras Per Pte. Ltd., Llc Robust camera pan vector estimation using iterative center of mass
KR101159082B1 (ko) * 2003-12-23 2012-06-22 타미라스 퍼 피티이. 엘티디., 엘엘씨 반복적 질량 중심을 이용하는 로버스트 카메라 팬 벡터 측정
US8315436B2 (en) 2003-12-23 2012-11-20 Tamiras Per Pte. Ltd., Llc Robust camera pan vector estimation using iterative center of mass
US8335257B2 (en) 2003-12-23 2012-12-18 Tamiras Per Pte. Ltd., Llc Vector selection decision for pixel interpolation
US8588306B2 (en) 2003-12-23 2013-11-19 Tamiras Per Pte. Ltd., Llc Temporal motion vector filtering
US7502052B2 (en) 2004-03-19 2009-03-10 Canon Kabushiki Kaisha Image deformation estimating method and image deformation estimating apparatus
JP2007104516A (ja) * 2005-10-07 2007-04-19 Sony Corp 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2007221631A (ja) * 2006-02-20 2007-08-30 Sony Corp 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
US7821540B2 (en) 2006-02-20 2010-10-26 Sony Corporation Imager-created image signal-distortion compensation method, imager-created image signal-distortion compensation apparatus, image taking method and image taking apparatus
JP4655957B2 (ja) * 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
WO2011102131A1 (ja) * 2010-02-18 2011-08-25 パナソニック株式会社 画像符号化装置、画像符号化方法、プログラム、及び集積回路

Also Published As

Publication number Publication date
JP3502525B2 (ja) 2004-03-02

Similar Documents

Publication Publication Date Title
DE69922183T2 (de) Gesichtserkennung aus videobildern
US7003136B1 (en) Plan-view projections of depth image data for object tracking
US8284258B1 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US7321386B2 (en) Robust stereo-driven video-based surveillance
US8988536B2 (en) Image processing circuit, method of operation thereof, and digital camera including same
TWI355615B (en) Moving object detection apparatus and method by us
CA2430591C (en) Techniques and systems for developing high-resolution imagery
US9118816B2 (en) Road vertical contour detection
US6819778B2 (en) Method and system for tracking a fast moving object
Wu et al. A differential method for simultaneous estimation of rotation, change of scale and translation
US5991428A (en) Moving object detection apparatus and method
US20110255610A1 (en) Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US9443313B2 (en) Stereo camera apparatus
Kang et al. Detection and tracking of moving objects from a moving platform in presence of strong parallax
Senior et al. Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration
Liang et al. Video stabilization for a camcorder mounted on a moving vehicle
CN101159855B (zh) 基于特征点分析的多目标分离预测方法
Tuytelaars et al. Synchronizing video sequences
US9589326B2 (en) Depth image processing apparatus and method based on camera pose conversion
EP0739129A2 (en) A system and method for creating high-quality stills from interlaced video images
US7433497B2 (en) Stabilizing a sequence of image frames
JP3513219B2 (ja) 対応点マッチング方法および装置
US7664315B2 (en) Integrated image processor
US5727078A (en) Process for estimating disparity between the monoscopic images making up a sterescopic image
US7860276B2 (en) Image processing device and method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071212

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081212

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091212

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101212

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101212

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term