JP3203614B2 - 画像通信システムにおける仮想共有表示方法 - Google Patents

画像通信システムにおける仮想共有表示方法

Info

Publication number
JP3203614B2
JP3203614B2 JP13310095A JP13310095A JP3203614B2 JP 3203614 B2 JP3203614 B2 JP 3203614B2 JP 13310095 A JP13310095 A JP 13310095A JP 13310095 A JP13310095 A JP 13310095A JP 3203614 B2 JP3203614 B2 JP 3203614B2
Authority
JP
Japan
Prior art keywords
image
person
terminal device
dimensional space
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP13310095A
Other languages
English (en)
Other versions
JPH08329279A (ja
Inventor
隆志 河野
鈴木  元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP13310095A priority Critical patent/JP3203614B2/ja
Publication of JPH08329279A publication Critical patent/JPH08329279A/ja
Application granted granted Critical
Publication of JP3203614B2 publication Critical patent/JP3203614B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、複数の利用者がそれぞ
れ画像端末装置を使いネットワークを介して通信する画
像通信システムに関し、特に、コンピュータ上に仮想的
に作成された3次元空間において描画等の情報を共有す
る場合の表示方法に関する。
【0002】
【従来の技術】建物や車両等の3次元物体は、利用者か
らの見る位置によってその景観がさまざまに変化する。
これら建物や車両等の3次元物体に関わる情報をコンピ
ュータの外部記憶装置に蓄積しておき、3次元コンピュ
ータグラフィクス(CG)技術を用いて、利用者からの
見る位置に応じて、さまざまな景観を表示できる映像表
示システムが存在する。ここで複数の画像端末装置と、
センタ装置と、センタ装置とこれら複数の画像表示装置
を接続するネットワークとから構成される画像通信シス
テムを考える。図1にその構成を示す。
【0003】LAN(ローカル・エリア・ネットワー
ク)2に、センタ装置1と複数の画像端末装置3A,3
B,…が接続されている。画像端末装置3Aは人物Aに
対応し、画像端末装置3Bは人物Bに対応する。各画像
端末装置3A,3B,…には、端末制御装置11と、画像
入出力機器であるディスプレイ(表示装置)12、描画
パッド13及びTVカメラ14と、音声入出力装置であ
るマイクロホン16及びスピーカ17と、3次元物体を
どの位置から眺めるかを入力・指示するためのジョイス
ティック15とが設けられている。ディスプレイ12は
表示手段に対応し、描画パッド13は描画入力手段に対
応し、TVカメラ14は撮像手段に対応する。
【0004】各画像端末装置3A,3B,…は、その画像
端末装置に対応する人物(利用者)についてマイクロホ
ン15で収音された音声及びTVカメラ14で撮像され
た人物像と、描画パッド13により入力された描画情報
と、ジョイスティック15より入力されたその利用者の
見る位置(視点位置)を表わす視点情報とをセンタ装置
1に送出する。一方、センタ装置1では、端末から送信
されてきた各種情報を受けて、センタ装置1から各画像
端末装置3A,3B,…にこれらの情報を分配する。な
お、音声については、ミキシングを行なった後に分配す
る。
【0005】各画像端末装置3A,3B,…には、予め3
次元物体の情報が蓄積されており、センタ装置1から送
られてくる視点情報に基づき、指定された視点を中心と
して一定の角度(視野角)内に存在する建物や車両等の
3次元物体を3次元CG技術を用いてディスプレイ12
に表示する。すなわち、仮想的な3次元空間を設定して
この中に3次元物体を配置し、この3次元空間内の指定
された位置に視点があるとしてこの視点から見える画像
をディスプレイ12に表示する。なお、各画像端末装置
3A,3B,…においてジョイスティック15を用いるこ
とにより、建物や車両等が存在する仮想的な3次元空間
内で視点を自由に移動させることができる。人物像につ
いては、この3次元空間内で視点の存在する位置に円柱
等のモノリス(monolith)を用意し、ここにTVカメラ1
4で撮像された人物像を貼り付ける処理を実行する。し
たがって、視点を中心に視野が回転するに伴って、モノ
リスに貼り付けられた人物像の向きも回転する。
【0006】また、この仮想的な3次元空間内には、各
画像端末装置3A,3B,…で共有される描画面が設定さ
れる。この描画面は、いずれかの画像端末装置の描画パ
ッド13を用いて描画情報が記入された場合には、この
描画面に記入されたものとして扱われるものである。す
なわち、いずれかの描画パッド13によって入力された
描画内容は、各画像端末装置3A,3B,…のディスプレ
イ12において、そのディスプレイ12上の割り当てら
れた描画領域に表示される。なお、描画面は不透明であ
り、描画面の背後に3次元物体や人物像が存在する場合
には、ディスプレイ12での表示において、これら3次
元物体や人物像は見えなくなる。
【0007】ここで描画像と人物像との表示の関係であ
るが、従来は、視点の位置および視点における視野の中
心線が、人物像の位置及び人物像が正面を向いた時の方
向の中心と一致していた。図2(a)は、従来の画像処理
システムにおいて、仮想的な3次元空間20の中に建物
23と人物像A,Bと描画面22が存在している様子を
真上から見た図である。図において、人物像A,Bはそ
れぞれ符号21A,21Bで示され、また各視点OA,OB
での視野角の範囲はそれぞれ両矢印で示されている。人
物Bに対応する視点OBの位置は3次元空間20内で人
物像Bの位置と一致し、この視点OBの視界には、人物
像A、描画面22、建物23が含まれるから、これらの
画像が人物Bの画像端末装置3Bのディスプレイ12に
表示されることになる。図2(b)は人物Aの画像端末装
置3Aでの表示、図2(c)は人物Bの画像端末装置3B
での表示を表わしている。ここで人物Aが描画中であり
(図中では「仮想空間とは...」という文字を書いてい
る)、人物Bが描画面22と描画中の人物Aを眺めてい
る場合には、図2(c)に示すように、人物Bの画像端末
装置3Bのディスプレイ12には、人物像Aとして人物
Aの背中が表示されることになり、実質的にはモノリス
の存在しか表示されない。
【0008】
【発明が解決しようとする課題】上述したように従来の
画像通信システムでは、人物像の表示とその人物が描い
た描画内容を人物と同じ向きに表示することができず、
誰が描画しているかわからないという問題点がある。
【0009】本発明の目的は、画像通信システムにおい
て、人物像の表示とその人物が描いた描画内容をその人
物と同じ向きに表示することとが両立でき、かつその描
画内容を見ている参加者の人物像を表示することが可能
な仮想共有表示方法を提供することにある。
【0010】
【課題を解決するための手段】本発明の画像通信システ
ムの仮想共有表示方法は、センタ装置と、複数の画像端
末装置と、前記各画像端末装置と前記センタ装置を接続
するネットワークとから構成され、前記画像端末装置が
表示手段と撮像手段と描画入力手段とを有する画像通信
システムでの表示方法であり、前記センタ装置を介して
前記各画像端末装置間で情報を交換することより、仮想
的な3次元空間を生成して前記3次元空間内に前記各画
像端末装置に共有の描画面を設定し、前記描画入力手段
によって入力された描画内容を前記描画面に反映させる
とともに前記撮像手段で撮影された人物像を前記3次元
空間内に配置し、前記各画像端末装置ごとに、前記3次
元空間内における当該画像端末装置に対応する人物の視
点位置から見える画像を前記表示手段に表示する仮想共
有表示方法において、前記描画面を透明像とするととも
に、前記3次元空間における前記人物像の位置を当該人
物の視点から眺めた視野方向の中心線から一定距離の位
置に設定し、前記人物像の向きを当該人物の視点から眺
めた視野方向の中心線と対向する向きにすることを特徴
とする。
【0011】本発明において、3次元空間において視点
から見て描画面の後方に単色の背景面を配置し、背景の
テクスチュアによって描画内容が見にくくなることを防
ぐようにしてもよい。また、手あるいは腕の画像を予め
蓄積しておき、描画入力手段を用いて描画を行なってい
る人物に対応する3次元空間での人物像での手あるいは
腕の付け値の位置を算出して、当該人物像に手あるいは
腕の画像の画像を付加して表示を行なうようにしてもよ
い。さらに、画像端末装置が人物像の画像情報を送出す
る際に送出元の画像端末装置を識別するための識別子を
付加し、センタ装置から人物像情報を受信した受信側の
画像端末装置は、識別子によって当該人物像の画像情報
の送出元の画像端末装置を判別して当該受信側の画像端
末装置に対応する人物の人物像の表示を行なわないよう
にしてもよい。
【0012】
【作用】描画面を透明にするとともに、仮想的な3次元
空間における人物像の位置を当該人物の視点から眺めた
視野方向の中心線から一定距離の位置に設定し、人物像
の向きを当該人物の視点から眺めた視野方向の中心線と
対向する向きとしているので、描画中の人物像とその人
物が描いた描画内容とが同じ向きに表示され、誰が描画
しているのかを容易に視認することが可能になる。さら
に、その描画内容を見ている参加者の人物像も表示され
るようになる。
【0013】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【0014】《実施例1》図3は本発明の実施例1の仮
想共有表示方法を説明する図であり、(a)は仮想的な3
次元空間20を上から見たときの平面図、(b)は人物A
の画像端末装置3Aでの表示例を示す図、(c)は人物B
の画像端末装置3Bでの表示例を示す図である。本実施
例の仮想共有表示方法が適用される画像通信システム
は、図1を用いて「従来の技術」で述べたものと同様の
ものである。
【0015】本実施例と図2に示す従来の仮想共有表示
方法とは、描画面22の属性が透明であることともに、
仮想的な3次元空間20における視点OA,OBの位置や
視野の方向で異なっている。すなわち、本実施例では、
図3(a)に示されるように、3次元空間30における人
物像A,Bの位置をそれぞれ当該人物の視点OA,OBから
眺めた視野方向の中心線(図示破線)から一定距離Lの
位置に設定し、人物像A,Bの向きを当該人物の視点
A,OBから眺めた視野方向の中心線と対向する向きと
している。その際、3次元空間20内で、視点OA,OB
と人物像A,Bとの中間位置に描画面22が配置される
ようにする。また、描画パッド13によって入力された
描画内容は、描画面22において視点OA,OBに向いた
方の面に描かれたかのように表示されるようにする。こ
のように人物像A,Bを配置した結果、視点OA,OBから
見た画像すなわち各画像端末装置3A,3Bのディスプ
レイ12に表示される画像は、利用者にとって、その利
用者があたかも鏡を正面に持ち歩いているような画像と
なる。
【0016】上述したように各人物像A,Bを仮想的な
3次元空間20内に配置するためには、画像端末装置3
A,3Bで各視点OA,OBの座標値を受信した際に、それ
ぞれの視点OA,OBから一定の距離Lにある点を3次元
空間20上で計算し、その点において、視点OA,OB
中心とする視界の中心線と対向する向きに、円柱等のモ
ノリスを用意し、そこに撮像された人物像を貼り付ける
ようにする。
【0017】各人物A,Bに対する表示内容がそれぞれ
図3(b),(c)に示されている。人物Aに対応する画像端
末装置Aのディスプレイ12の画面には、描画面22と
正面を向いた人物像A,Bとが表示されている。ここ
で、「仮想空間とは...」は、描画面22への描画内容
である。描画面22の属性として透明が設定されている
ので、描画パッド13の大きさに対応する輪郭線などは
表示されていない。描画面22の属性を透明としている
ことは、人物像や3次元物体像の表示を各画像表示端末
で優先させることにより、容易に実現できる。
【0018】《実施例2》図4は本発明の実施例2を説
明する図である。この実施例では、上述の実施例1にお
いて、図4(a)に示すように、3次元空間20内で視点
A,OBから見て人物像A,Bの背後にあたる位置に単色
の背景面24を配置し、背景のテクスチュアによって描
画内容が見にくくなることを防いでいる。描画内容は背
景面24から浮き上がっているように見えることにな
り、また、背景面24よりさらに背後側にある3次元物
体等は背景面24によって隠される。各人物A,Bに対
する表示内容がそれぞれ図4(b),(c)に示されている。
【0019】《実施例3》上述した各実施例では、モノ
リスに貼り付けられる人物像として、その人物の上半身
部分の画像が用いられている。描画面22への描画は描
画パッド13を用いて行なわれるため、実際に描画パッ
ド13を操作している手先の部分は人物像に反映せず、
したがって、誰が描画しているのかが分からない。そこ
で本実施例では、手あるいは腕を表わす仮想的な画像情
報を各画像端末装置に予め蓄積しておき、ある人物が仮
想的な3次元空間20内で描画面22に近付くようにし
て描画を行なうときには、すなわち描画パッド13を用
いて描画情報を入力している人物に対して、その人物の
手あるいは腕にあたる部分の座標値をその人物像の座標
値から計算によって求め、その人物像の手あるいは腕の
付け根から描画面22上の描画点に向け、その仮想的な
手あるいは腕の画像情報を重畳して表示するようにして
いる。図5(a)はこの実施例における3次元空間20内
での配置を示しているが、この配置は図4(a)に示す実
施例2の場合と同一である。一方、人物Aが描画中であ
るとして、各人物A,Bに対する表示はそれぞれ図5
(b),(c)に示すようになる。図5(b),(c)に示すように、
人物像Aは、仮想的な手の画像25を付加されて表示さ
れている。
【0020】《実施例4》上述の各実施例では、利用者
ごとの画像端末装置においてそれぞれその利用者自身も
表示されている。しかしながら、実際の打ち合せの場面
などを想定すると、ある利用者がその利用者自身の顔を
見ているというのは違和感を感じさせ、また、描画面と
その利用者自身の人物像が重なって描画情報を見にくく
する原因ともなる。そこで本実施例では、利用者ごとの
画像端末装置において、その利用者自身は表示せず、他
の利用者のみが表示されるようにしている。具体的に
は、各画像端末装置が人物像の画像情報を送出する際
に、送出元の画像端末装置を識別するための識別子を付
加している。そして、センタ装置から人物像情報を受信
した際に、その人物像情報に付加されている識別子を判
断してどの画像端末装置からの人物像情報であるかを調
べ、自己が送出した人物像情報を受信した場合にはその
人物像を表示しないようにし、他の画像端末装置から受
信した人物像情報については対応する人物像情報を表示
するようにしている。図6(a)はこの実施例における3
次元空間20内での配置を示しているが、この配置は図
4(a)に示す実施例2の場合と同一である。人物Aに対
する画像端末装置3Aでの表示は図6(b)に示すように
なり、人物像Bのみが表されている。一方、人物Bに対
する画像表示装置3Bでの表示は図6(c)に示すように
なり、人物像Aのみが表示されている。
【0021】
【発明の効果】以上説明したように本発明は、描画面を
透明にするとともに、仮想的な3次元空間における人物
像の位置を当該人物の視点から眺めた視野方向の中心線
から一定距離の位置に設定し、人物像の向きを当該人物
の視点から眺めた視野方向の中心線と対向する向きとす
ることにより、人物像の表示とその人物が描いた描画内
容をその人物と同じ向きに表示することとが両立でき、
さらに、その描画内容を見ている参加者の人物像も表示
できるようになるという効果がある。
【図面の簡単な説明】
【図1】仮想共有表示方法が適用される画像通信システ
ムの構成を示すブロック図である。
【図2】従来の画像通信システムにおける仮想共有表示
方法を説明する図であって、(a)は仮想的な3次元空間
を上から見たときの図、(b)は人物Aの画像端末装置で
の表示例を示す図、(c)は人物Bの画像端末装置での表
示例を示す図である。
【図3】本発明の実施例1を説明する図であって、(a)
は仮想的な3次元空間を上から見たときの図、(b)は人
物Aの画像端末装置での表示例を示す図、(c)は人物B
の画像端末装置での表示例を示す図である。
【図4】本発明の実施例2を説明する図であって、(a)
は仮想的な3次元空間を上から見たときの図、(b)は人
物Aの画像端末装置での表示例を示す図、(c)は人物B
の画像端末装置での表示例を示す図である。
【図5】本発明の実施例3を説明する図であって、(a)
は仮想的な3次元空間を上から見たときの図、(b)は人
物Aの画像端末装置での表示例を示す図、(c)は人物B
の画像端末装置での表示例を示す図である。
【図6】本発明の実施例4を説明する図であって、(a)
は仮想的な3次元空間を上から見たときの図、(b)は人
物Aの画像端末装置での表示例を示す図、(c)は人物B
の画像端末装置での表示例を示す図である。
【符号の説明】
1 センタ装置 2 LAN 3A,3B 画像端末装置 11 端末制御装置 12 表示装置 13 描画パッド 14 TVカメラ 15 ジョイスティック 16 マイクロホン 17 スピーカ 20 3次元空間 21A 人物像A 21B 人物像B 22 描画面 23 建物 24 背景面 25 手の画像 OA,OB 視点
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 15/00 - 17/50 H04N 7/14 - 7/173

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 センタ装置と、複数の画像端末装置と、
    前記各画像端末装置と前記センタ装置を接続するネット
    ワークとから構成され、前記画像端末装置が表示手段と
    撮像手段と描画入力手段とを有する画像通信システムで
    の表示方法であり、 前記センタ装置を介して前記各画像端末装置間で情報を
    交換することより、仮想的な3次元空間を生成して前記
    3次元空間内に前記各画像端末装置に共有の描画面を設
    定し、前記描画入力手段によって入力された描画内容を
    前記描画面に反映させるとともに前記撮像手段で撮影さ
    れた人物像を前記3次元空間内に配置し、前記各画像端
    末装置ごとに、前記3次元空間内における当該画像端末
    装置に対応する人物の視点位置から見える画像を前記表
    示手段に表示する仮想共有表示方法において、 前記描画面を透明像とするとともに、前記3次元空間に
    おける前記人物像の位置を当該人物の視点から眺めた視
    野方向の中心線から一定距離の位置に設定し、前記人物
    像の向きを当該人物の視点から眺めた視野方向の中心線
    と対向する向きにすることを特徴とする画像通信システ
    ムにおける仮想共有表示方法。
  2. 【請求項2】 前記3次元空間において前記視点から見
    て前記描画面の後方に単色の背景面を配置する請求項1
    に記載の画像通信システムにおける仮想共有表示方法。
  3. 【請求項3】 手あるいは腕の画像を予め蓄積してお
    き、前記描画入力手段を用いて描画を行なっている人物
    に対応する前記3次元空間での人物像での手あるいは腕
    の付け値の位置を算出して、当該人物像に前記手あるい
    は腕の画像の画像を付加して表示を行なう請求項1また
    は2に記載の画像通信システムにおける仮想共有表示方
    法。
  4. 【請求項4】 前記画像端末装置が人物像の画像情報を
    送出する際に送出元の画像端末装置を識別するための識
    別子を付加し、前記センタ装置から人物像情報を受信し
    た受信側の画像端末装置は、前記識別子によって当該人
    物像の画像情報の送出元の画像端末装置を判別して当該
    受信側の画像端末装置に対応する人物の人物像の表示を
    行なわない、請求項1乃至3いずれか1項に記載の画像
    通信システム。
JP13310095A 1995-05-31 1995-05-31 画像通信システムにおける仮想共有表示方法 Expired - Lifetime JP3203614B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13310095A JP3203614B2 (ja) 1995-05-31 1995-05-31 画像通信システムにおける仮想共有表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13310095A JP3203614B2 (ja) 1995-05-31 1995-05-31 画像通信システムにおける仮想共有表示方法

Publications (2)

Publication Number Publication Date
JPH08329279A JPH08329279A (ja) 1996-12-13
JP3203614B2 true JP3203614B2 (ja) 2001-08-27

Family

ID=15096830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13310095A Expired - Lifetime JP3203614B2 (ja) 1995-05-31 1995-05-31 画像通信システムにおける仮想共有表示方法

Country Status (1)

Country Link
JP (1) JP3203614B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001022958A (ja) * 1999-07-06 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間システムにおけるオブジェクト表示方法およびオブジェクト表示プログラムを記録した記録媒体
WO2017033777A1 (ja) * 2015-08-27 2017-03-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
JP6121496B2 (ja) * 2015-08-27 2017-04-26 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム

Also Published As

Publication number Publication date
JPH08329279A (ja) 1996-12-13

Similar Documents

Publication Publication Date Title
JP4057241B2 (ja) 仮想カメラを有する改善された画像撮影システム
US6774869B2 (en) Teleportal face-to-face system
WO2019096027A1 (zh) 一种通信处理方法、终端及存储介质
KR20070052261A (ko) 수평 원근법 시뮬레이터
JPH08161104A (ja) 対話型スキャン装置およびその方法
CN117597916A (zh) 保护虚拟会议中的私人音频和其应用
JP3488096B2 (ja) 3次元共有仮想空間通信サービスにおける顔画像制御方法,3次元共有仮想空間通信用装置およびそのプログラム記録媒体
JP3610423B2 (ja) 映像表示システムおよびその臨場感向上方法
JP2815928B2 (ja) 共用画面制御方式
JP3452348B2 (ja) 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体
CN109996060B (zh) 一种虚拟现实影院系统及信息处理方法
JP3203614B2 (ja) 画像通信システムにおける仮想共有表示方法
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
JPH1055257A (ja) 3次元仮想空間表示方法
JP3443306B2 (ja) 仮想空間内における仮想共有表示方法およびその表示プログラムを記録した記録媒体
JP3276057B2 (ja) 3次元仮想世界表示システム
JP2002027419A (ja) 画像端末装置及びそれを用いる通信システム
JP3257459B2 (ja) 共有仮想空間簡易2次元インタフェース実現方法及びそのインタフェースを持つクライアントシステム、並びに、そのインタフェースプログラムを格納した記憶媒体
JP2744394B2 (ja) 臨場感画像表示装置および臨場感画像入出力装置
CN114698409A (zh) 视频会议实现方法、装置、系统以及存储介质
WO2019124802A1 (ko) 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
JP3443321B2 (ja) 仮想共有空間形成方法および仮想空間の形成プログラムを記録した記録媒体
JPH08336166A (ja) 映像視聴装置
JPH09154114A (ja) 電子会議端末装置
JPH1145047A (ja) 相互利用型景観ラベリングシステム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090629

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090629

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100629

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110629

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120629

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130629

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140629

Year of fee payment: 13

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term