JP3438737B2 - 仮想社交界実現システム - Google Patents

仮想社交界実現システム

Info

Publication number
JP3438737B2
JP3438737B2 JP30737192A JP30737192A JP3438737B2 JP 3438737 B2 JP3438737 B2 JP 3438737B2 JP 30737192 A JP30737192 A JP 30737192A JP 30737192 A JP30737192 A JP 30737192A JP 3438737 B2 JP3438737 B2 JP 3438737B2
Authority
JP
Japan
Prior art keywords
image
video
background
signal
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP30737192A
Other languages
English (en)
Other versions
JPH06165173A (ja
Inventor
靖 日比野
鈴木  元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP30737192A priority Critical patent/JP3438737B2/ja
Publication of JPH06165173A publication Critical patent/JPH06165173A/ja
Application granted granted Critical
Publication of JP3438737B2 publication Critical patent/JP3438737B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、通信網を通じ、画像通
信技術と音声通信技術によって、複数の人間に仮想の交
流の場を提供する仮想社交界実現システムに関するもの
である。
【0002】
【従来の技術】従来の類似のシステムとしては、音声に
よる電話会議が実現されている。また、画像通信技術を
用い、いわゆるテレビ会議では、複数の地点間で画像を
送りあい、受像器の画像を分割し、そこに複数の画面を
同時に表示する方式や、対地対応の複数の受像器に表示
する方式が採られている。
【0003】
【発明が解決しようとする課題】上記従来技術において
は、互いに交流したい相手と同一の場所での交流ができ
ないし、また、多地点間での交信では、地点数が限られ
るという問題がある。
【0004】本発明の目的は、それぞれの利用者(人
間)が自分の好む「仮想社交界」に自由に参加し、複数
の人間が、あたかも一つの場所に集まったかのようにし
て、会話、身ぶりを通じた交流ができる仮想社交界実現
システムを提供することにある。
【0005】
【課題を解決するための手段】本発明の仮想社交界実現
システムは、複数の端末装置と、それらと通信回線を通
して接続されたサービスセンタ装置とからなり、各端末
装置は、当該端末利用者の人物像を撮像する撮像装置
と、該利用者の音声を入力する送話器と、該利用者によ
る制御情報を入力する入力装置と、前記利用者の人物映
像信号、音声信号及び利用者により入力された少なくと
も仮想社交界選択情報を含む制御情報をセンタ装置へ送
信する送信装置と、前記センタ装置が送信する合成映像
信号と混合音声信号を受信する受信装置と、前記受信し
た合成映像信号を出力する受像装置と、混合音声信号を
出力する受話器とを有し、サービスセンタ装置は、複数
の背景映像信号を蓄積する背景映像源と、複数の背景音
信号を蓄積する背景音源と、前記各端末装置が送信する
人物映像信号、音声信号及び制御情報を受信する受信装
置と、前記受信した制御情報に含まれる仮想社交界選択
情報に基づいて、当該仮想社交界に対応する背景映像信
号と背景音信号を、それぞれ前記背景映像源と背景音源
から選択する制御装置と、前記各端末装置からの人物映
像信号と前記背景映像信号源から選択された背景映像信
号を合成する映像合成装置と、前記各端末装置からの音
声信号と前記背景音源から選択された背景音信号を混合
する音声混合装置と、前記合成映像信号と混合音声信号
を各端末装置へ分配する分配装置と、を有することを特
徴とする。
【0006】
【作用】各端末装置の前にいる利用者の映像と音声は、
撮像装置と送話器により、それぞれ、映像信号と音声信
号に変換され、通信網に送出される。また、各利用者が
指定する仮想社交界選択情報も、制御情報の一つとして
通信網に送出される。その結果、各利用者の映像および
音声信号は、サービスセンタ装置において、各利用者の
指定した仮想社交界に対応する背景映像および背景音と
合成され、それぞれ利用者の好む仮想的な世界「仮想社
交界」を創りだす。この合成された「仮想社交界」の映
像と音声は、通信網を通じて、各利用者の端末装置に送
られ、受像装置および受話器で再生される。
【0007】
【実施例】以下、本発明の一実施例について図面により
説明する。
【0008】図1は本発明の仮想社交界実現システムの
全体の概念図で、端末装置1、2、3が通信網5を介し
てサービスセンタ装置4と接続されて仮想社交界のサー
ビスを受けることを示している。本実施例では、3台の
端末の例を示しているが、本発明は端末の数を3台に
定するものではない。
【0009】図2は各端末装置1、2、3の構成例であ
り、テレビカメラなどの撮像装置11、マイクロホンな
どの送話器12、ディスプレィなどの受像装置13、ス
ピーカなどの受話器14、キーボードやマウスなどの制
御情報入力装置15、符号/復号化部161を含む送受
信装置16よりなる。
【0010】ここで、制御情報入力装置15は、つぎの
ような制御情報の入力に用いる。 (1)「仮想社交界」の選択に用いる。これにより、利
用者はサービスセンタ装置に用意された複数の「仮想社
交界」の中から好みの「社交界」を選択できる。 (2)利用者像を、「仮想社交界」すなわち背景映像お
よび背景音の作り出す空間の、どの位置に置くかを選択
するために用いる。これによって、利用者は「仮想社交
界」の中を動き回ることができる。 (3)利用者像を当該利用者へ送り返すとき、そのまま
の映像とするか、シルエット映像とするかを選択するの
に用いる。 (4)特定の相手の映像を拡大(アップの映像)し、相
手の音声だけを選択的に大きくし、他の音声を小さくす
るための指示に用いる。これによって、特定の相手との
会話が可能となる。
【0011】図3はサービスセンタ装置4の構成例であ
り、複数チャネル(本実施例では3チャネル)用符号/
復号化部411、412、413を含む送受信装置4
1、複数の映像信号を合成する映像合成装置42、合成
映像信号を複数チャネルに分配する映像分配装置43、
複数の音声信号を混合する音声混合装置44、混合音声
信号を複数チャネルに分配する音声分配装置45、複数
の背景映像信号を蓄積する背景映像源46、複数の背景
音声信号を蓄積する背景音源47、各背景ごとに各人の
位置情報を格納する位置情報記憶装置48、及び、端末
装置側からの制御情報を解析して各装置を制御する制御
装置49からなる。なお、420は映像信号バス、44
0は音声信号バス、490は制御信号バスである。
【0012】まず、本システムの基本動作について説明
する。いま、利用者A、B、Cが、それぞれ端末装置
1、2、3を使用しているとする。また、各利用者は、
単色無地の壁を背景として撮像するものとする。背景の
壁の色としては「青」が望ましい。これは、後述のクロ
マキー処理による映像合成をやりやすくするためであ
る。
【0013】各端末装置1、2、3は、各利用者A、
B、Cの映像と音声(これをまとめて利用者像という)
を、それぞれ撮像装置11と送話器12により映像信号
と音声信号に変換し、また、利用者が指定する「仮想社
交界」選択情報を制御情報入力装置15より制御情報と
して入力し、これらの映像信号、音声信号、制御情報を
送受信装置16より通信網5を通してサービスセンタ装
置4へ送信する。送受信装置16には符号/復号化部1
61が含まれており、映像信号、音声信号、制御情報
を、効率よく伝送するために圧縮する。
【0014】サービスセンタ装置4では、各端末装置
1、2、3が送信する映像信号、音声信号、制御情報を
送受信装置41で受信し、それぞれの符号/復号化部4
11、412、413により復号して映像信号、音声信
号、制御情報に分離し、それぞれ映像信号バス420、
音声信号バス440、制御信号バス460を通して映像
合成装置42、音声混合装置44、制御装置49に送
る。制御装置49は制御情報を解析して、利用者の指定
した「仮想社交界」に対応する背景映像信号と背景音信
号を、それぞれ背景映像源46と背景音源47から選択
して映像合成装置42と音声混合装置44へ送る。さら
に、制御装置49は、位置情報メモリ48を参照して、
当該仮想社交界に対応する各利用者A、B、Cの位置情
報を映像合成装置42へ送る。なお、位置情報メモリ4
8へは、あらかじめ利用者から指定された値あるいは任
意の値を格納しておく。映像合成装置42は、各利用者
の位置情報に従って、各利用者の映像信号と背景映像信
号を合成して映像分配装置43へ送る。音声混合装置4
4は各利用者の音声信号と背景音信号を混合して音声分
配装置45へ送る。映像分配装置43と音声分配装置4
5は、それぞれ合成された画像信号、混合された音声信
号を符号/復号化部411、412、413に分配す
る。符号/復号化部411、412、413は、それぞ
れ合成画像信号と混合音声信号を符号化し、端末装置
1、2、3へ送信する。
【0015】各端末装置1、2、3では、合成画像信号
と混合音声信号を送受信装置16で受信し、その符号/
復号化部161により復号して合成映像信号と混合音声
信号を分離する。受像装置13は、合成画像を映し出
し、受話器14は混合音声を出力する。この結果、各端
末1、2、3の前にいる利用者A、B、Cは、あたかも
同じ場所で出会ったごとく、会話し、交流することがで
きる。
【0016】次に、映像合成の各種の実現法について説
明する。いま、各利用者A、BCは、背景映像に向かっ
て左からA、B、Cの順に並ぶように位置の選択をして
いるとする。この場合、制御装置49からの指示に従
い、映像合成装置42は、図4の(1)に示すように、
各利用者の映像信号と背景映像をクロマキー処理によっ
て合成する。この状態で、各利用者A、B、Cが制御情
報入力装置15により、自分の映像の表示方法としてシ
ルエット映像を選択すると、この制御情報が制御装置4
9に伝えられ、映像合成装置42への指令となる。映像
合成装置42は、各利用者の映像と背景映像を合成する
際、該当利用者の映像をシルエット映像へ変換する。シ
ルエット映像への変換処理には、クロマキーで抜いた部
分を黒レベルにする等の方法と、別途用意したシルエッ
ト映像源かの固定パターンによる方法が考えられる。図
4の(2)、(3)、(4)に、固定パターンによる場
合の各端末1、2、3に対応する合成映像を示す。
【0017】また、ある利用者が制御情報入力装置15
により、背景映像中の自分の位置を移動させることを指
示した場合(例えば、マウス等で移動方向、距離等を指
示する)、これが制御装置49に伝えられ、制御装置4
9は、位置情報メモリ48中の該当利用者の位置情報を
更新し、映像合成装置42への位置指令とする。映像合
成装置42は、この位置指令に従い、該当利用者の映像
信号を指定された位置へ移動し、クロマキー処理により
他の利用者の映像信号と合成する。また、この時、制御
装置42が位置情報メモリ48を参照して、移動の指示
された利用者と他の利用者の相対位置関係を計算し、接
近する利用者の映像・視野の拡大を映像合成装置42に
指令すれば、ある利用者の映像の移動に追従して、特定
の相手の映像・視野を拡大(アップ映像)して合成する
こともできる。
【0018】次に、音声混合の各種の実現法について説
明する。いま、図4に示すように、利用者A、B、Cが
左からA、B、Cの順に並んでいる場合、音声混合装置
44は、この配置のように各利用者の声音レベルを調整
する。この場合、音声チャンネルがモノラルの場合は、
大小関係のみの調整でよいが、ステレオの場合は左右に
振り分ける音声を調節する。また、ある利用者自身の音
声は、その利用者には返さないようにする。さらに、特
定の相手の映像・視野を拡大した場合、該相手の音声信
号だけを選択的に大きくし、他の音声信号を小さくす
る。これらの制御は、制御装置49からの指令で、映像
合成と同期して行う。
【0019】
【発明の効果】本発明の仮想社交界実現システムによれ
ば、利用者はサービスセンタ装置に用 意された複数の仮
想社交界の中から好みの社交界を選択して、遠隔地にい
複数の利用者が、あたかも同じ場所で出会ったごと
く、会話し自然な形で交流することができる。このよう
に、本発明システムは、利用者が任意の仮想社交界に自
由に参加し、人と人との交流のための新たなシステム形
態を与えるものである。
【図面の簡単な説明】
【図1】本発明の仮想社交界実現システムの全体の構成
図である。
【図2】図1の各端末装置の構成例を示す図である。
【図3】図1のサービスセンタ装置の構成例を示す図で
ある。
【図4】各端末装置に表示される合成映像の一例を示す
図である。
【符号の説明】
1〜3 端末装置 4 サービスセンタ装置 5 通信網 11 撮映装置 12 送話器 13 受像装置 14 受話器 15 制御情報入力装置 16 送受信装置 41 送受信装置 42 映像合成装置 43 映像分配装置 44 音声混合装置 45 音声分配装置 46 背景映像源 47 背景音源 48 位置情報メモリ 49 制御装置
フロントページの続き (56)参考文献 特開 平2−195787(JP,A) 特開 平4−192696(JP,A) 特開 平4−207287(JP,A) 特開 平3−49385(JP,A) 特開 平3−91388(JP,A) 特開 平1−280982(JP,A) 特開 平4−237288(JP,A) 河野隆志(外2名),ScopeHa ndを用いたShareDeskの検 討,情報処理学会研究報告,日本,社団 法人 情報処理学会,1992年 5月12 日,Vol.92,No.31,P.39−46 鈴木元,協同作業のための対話形映像 通信,電子情報通信学会技術研究報告, 日本,社団法人 電子情報通信学会, 1991年 9月26日,Vol.91,No. 241,HC91−21,P.7−12 服部桂,人工現実感の世界,人工現実 感の世界,日本,株式会社 工業調査 会,1991年 5月15日,ISBN4− 7693−5046−5,巻頭(「街に出た人工 現実感」)、P.168−177 神田陽治,ユーザインタフェース大作 戦II ミニチュア会議室,bit,日 本,共立出版株式会社、1991年11月 1 日,第24巻,第11号,P.89−98 (58)調査した分野(Int.Cl.7,DB名) H04N 7/14 - 7/173 H04M 3/56 H04M 11/06

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 複数の端末装置と、それらと通信回線を
    通して接続されたサービスセンタ装置とからなり、 各端末装置は、当該端末利用者の人物像を撮像する撮像
    装置と、該利用者の音声を入力する送話器と、該利用者
    による制御情報を入力する入力装置と、前記利用者の人
    物映像信号、音声信号及び利用者により入力された少な
    くとも仮想社交界選択情報を含む制御情報をセンタ装置
    へ送信する送信装置と、前記センタ装置が送信する合成
    映像信号と混合音声信号を受信する受信装置と、前記受
    信した合成映像信号を出力する受像装置と、混合音声信
    号を出力する受話器とを有し、 サービスセンタ装置は、複数の背景映像信号を蓄積する
    背景映像源と、複数の背景音信号を蓄積する背景音源
    と、前記各端末装置が送信する人物映像信号、音声信号
    及び制御情報を受信する受信装置と、前記受信した制御
    情報に含まれる仮想社交界選択情報に基づいて、当該仮
    想社交界に対応する背景映像信号と背景音信号を、それ
    ぞれ前記背景映像源と背景音源から選択する制御装置
    と、前記各端末装置からの人物映像信号と前記背景映像
    源から選択された背景映像信号を合成する映像合成装置
    と、前記各端末装置からの音声信号と前記背景音源から
    選択された背景音信号を混合する音声混合装置と、前記
    合成映像信号と混合音声信号を各端末装置へ分配する
    配装置とを有する、 ことを特徴とする仮想社交界実現システム。
  2. 【請求項2】 前記制御装置は、ある端末装置から制御
    情報の一つとしてシルエット映像指示を受け取ると、当
    該端末装置に対する合成映像信号として、当該端末装置
    が送信する人物映像信号に替えてその人物シルエット映
    像信号を送信するように前記映像合成装置に指令するこ
    とを特徴とする請求項1記載の仮想社交界実現システ
    ム。
  3. 【請求項3】 前記制御装置は、ある端末装置から制御
    情報の一つとして当該人物像の移動指示を受け取ると、
    背景映像中での当該端末装置の人物映像の位置を移動せ
    しめるように前記映像合成装置に指令することを特徴と
    する請求項1あるいは2記載の仮想社交界実現システ
    ム。
  4. 【請求項4】 前記制御装置は、当該端末装置の人物像
    の位置に応じ、当該端末装置以外の音声信号の音量を調
    整せしめることを前記音声混合装置に指令することを特
    徴とする請求項3記載の仮想社交界実現システム。
  5. 【請求項5】 前記制御装置は、背景映像中での人物映
    像の移動にともない、特定の端末装置の人物映像を拡大
    し、音声レベルを高くし、その他の端末装置からの人物
    映像を縮小し、音声レベルを低くせしめることを、前記
    映像合成装置と音声混合装置に指令することを特徴とす
    る請求項3記載の仮想社交界実現システム。
  6. 【請求項6】 前記制御装置は、ある端末装置からの制
    御情報にしたがい、当該端末装置からの視野を指定選択
    し、該視野内の映像を拡大し、音声レベルを高くし、視
    野外の映像を縮小し、音声レベルを低くせしめること
    を、前記映像合成装置と音声混合装置に指令することを
    特徴とする請求項1または2記載の仮想社交界実現シス
    テム。
JP30737192A 1992-11-17 1992-11-17 仮想社交界実現システム Expired - Lifetime JP3438737B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30737192A JP3438737B2 (ja) 1992-11-17 1992-11-17 仮想社交界実現システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30737192A JP3438737B2 (ja) 1992-11-17 1992-11-17 仮想社交界実現システム

Publications (2)

Publication Number Publication Date
JPH06165173A JPH06165173A (ja) 1994-06-10
JP3438737B2 true JP3438737B2 (ja) 2003-08-18

Family

ID=17968263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30737192A Expired - Lifetime JP3438737B2 (ja) 1992-11-17 1992-11-17 仮想社交界実現システム

Country Status (1)

Country Link
JP (1) JP3438737B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108449569A (zh) * 2018-03-13 2018-08-24 重庆虚拟实境科技有限公司 虚拟会议方法、系统、装置、计算机装置及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
JP4054897B2 (ja) * 1998-03-26 2008-03-05 雅信 鯨田 会話のための装置
JP2000324463A (ja) 1999-05-12 2000-11-24 Nec Corp テレビ会議システム
CN1409928A (zh) * 1999-12-07 2003-04-09 三菱电机株式会社 视频编码发送装置、视频接收解码装置、视频收发装置及视频传送系统
JP4667980B2 (ja) * 2005-06-30 2011-04-13 株式会社日立国際電気 無線通信システム
CN112068701A (zh) * 2020-09-04 2020-12-11 陕西红星闪闪网络科技有限公司 一种虚拟成像社交设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2691906B2 (ja) * 1988-05-06 1997-12-17 日本電信電話株式会社 映像連動形音像定位制御方法
JPH02195787A (ja) * 1989-01-24 1990-08-02 A T R Tsushin Syst Kenkyusho:Kk 映像通信装置
JP2849119B2 (ja) * 1989-07-17 1999-01-20 日本電信電話株式会社 共覧形画面電話方式
JPH0391388A (ja) * 1989-09-04 1991-04-16 Nippon Telegr & Teleph Corp <Ntt> 画像通信用入出力方法
JP3110037B2 (ja) * 1990-08-20 2000-11-20 株式会社東芝 画像伝送システム
JPH04207287A (ja) * 1990-11-29 1992-07-29 Toshiba Corp テレビ電話会議システム
JP3036088B2 (ja) * 1991-01-21 2000-04-24 日本電信電話株式会社 複数画像ウインドウ表示用音信号出力方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
服部桂,人工現実感の世界,人工現実感の世界,日本,株式会社 工業調査会,1991年 5月15日,ISBN4−7693−5046−5,巻頭(「街に出た人工現実感」)、P.168−177
河野隆志(外2名),ScopeHandを用いたShareDeskの検討,情報処理学会研究報告,日本,社団法人 情報処理学会,1992年 5月12日,Vol.92,No.31,P.39−46
神田陽治,ユーザインタフェース大作戦II ミニチュア会議室,bit,日本,共立出版株式会社、1991年11月 1日,第24巻,第11号,P.89−98
鈴木元,協同作業のための対話形映像通信,電子情報通信学会技術研究報告,日本,社団法人 電子情報通信学会,1991年 9月26日,Vol.91,No.241,HC91−21,P.7−12

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108449569A (zh) * 2018-03-13 2018-08-24 重庆虚拟实境科技有限公司 虚拟会议方法、系统、装置、计算机装置及存储介质

Also Published As

Publication number Publication date
JPH06165173A (ja) 1994-06-10

Similar Documents

Publication Publication Date Title
US5793415A (en) Videoconferencing and multimedia system
US7542068B2 (en) Method and system for controlling multimedia video communication
JP4326593B2 (ja) 仮想空間において相互接続された端末を介して利用者の交流を実現する方法及びシステム
US6330022B1 (en) Digital processing apparatus and method to support video conferencing in variable contexts
JPS60229485A (ja) テレビジヨン会議用通信装置
KR20010107592A (ko) 통신 제어 장치, 통신 장치, 통신 시스템 및 그 방법
JP2005192227A (ja) マルチメディアが可能とされたネットワーク
JP3036088B2 (ja) 複数画像ウインドウ表示用音信号出力方法
JP3438737B2 (ja) 仮想社交界実現システム
JP3688328B2 (ja) 通信局間の信号伝送方法
JPH0670040A (ja) 多地点テレビ会議システムにおける表示形態変更方式
JPH0537933A (ja) 多地点間テレビ会議システム
WO2003063484A1 (en) Method and system for controlling multimedia video communication
JP4452218B2 (ja) グループ形成装置、端末機、連絡システムおよびグループ形成プログラム
JPH05236472A (ja) テレビ電話機能付きテレビジョン
JP2751830B2 (ja) 遠隔講義システム
JP2698100B2 (ja) 多地点間テレビ会議制御装置
JP2823571B2 (ja) 分散多地点通信会議装置
JPH07162823A (ja) 多地点間テレビ会議映像表示方式
JPH0888842A (ja) 画像伝送システム
JPH0622312A (ja) 衛星多地点間映像通信システム
JP3005427B2 (ja) テレビ電話を用いたdtmf信号に基づくテレビ電話会議制御システム
JPH09162996A (ja) テレビ会議装置及びテレビ会議システム
JPH06152765A (ja) テレビ会議システム
JP2000287188A (ja) 多地点間映像音声通信システム及びその装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090613

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090613

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100613

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100613

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 10