JP3611994B2 - マルチメディア通信システム - Google Patents

マルチメディア通信システム Download PDF

Info

Publication number
JP3611994B2
JP3611994B2 JP35838499A JP35838499A JP3611994B2 JP 3611994 B2 JP3611994 B2 JP 3611994B2 JP 35838499 A JP35838499 A JP 35838499A JP 35838499 A JP35838499 A JP 35838499A JP 3611994 B2 JP3611994 B2 JP 3611994B2
Authority
JP
Japan
Prior art keywords
terminal
call
multimedia communication
information
terminals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35838499A
Other languages
English (en)
Other versions
JP2001177665A (ja
Inventor
明浩 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP35838499A priority Critical patent/JP3611994B2/ja
Publication of JP2001177665A publication Critical patent/JP2001177665A/ja
Application granted granted Critical
Publication of JP3611994B2 publication Critical patent/JP3611994B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Small-Scale Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば音声のみ処理する電話機とビデオ通信が可能な端末とを組み合わせてマルチメディア通信を行うマルチメディア通信システムに関する。
【0002】
【従来の技術】
コンピュータは従来の文字や数字だけのデータ処理から、動画を含む画像、文字、数値データ、音声などさまざまな情報メディアを取り込んだマルチメディア処理へと進化してきている。
また、このような多種類の情報メディアを組み合わせて通信するマルチメディア通信システムの技術が進歩しつつある。
【0003】
このようなマルチメディア通信システムでは、様々な情報メディアを扱うため、通信をはじめる前にお互いの通信能力情報を交換し、通信可能な能力内のAND条件で通信を実行することが一般的である。
即ち、音声とビデオ能力を有する端末と、音声の能力しかない端末との間で相互通信を行うには、AND条件により、音声のみの通信となるのが一般的である。
【0004】
【発明が解決しようとする課題】
ところで、かかるマルチメディア通信システムにおいて、現状では、ビデオ通信ができる端末は、パーソナルコンピュータに代表されるような情報機器がほとんどであるが、このような情報機器には、音声品質という点で従来の電話機より劣るものがある。
【0005】
音声、ビデオ双方の品質を満足できるようにするためには、一つの端末のなかに、音声能力、ビデオ能力も織り込む必要があるが、これでは、端末一つ一つの価格も上がる。
従って、例えば、音声品質に優れた電話機と、ビデオ能力を有する端末とを併用することにより安価なシステムでマルチメディア通信が可能となる。
【0006】
【課題を解決するための手段】
本発明は以上の点を解決するため次の構成を採用する。
〈構成1〉
請求項1の発明に係るマルチメディア通信システムは、通信回線を介して複数の端末及び各端末の呼制御を行う制御装置を接続し、該制御装置の呼制御により複数の情報メディアを組み合わせて各端末間でマルチメディア通信を行うマルチメディア通信システムにおいて、扱うべき複数の情報メディアのうち、限定された端末能力を有する端末を組み合わせてマルチメディア通信を可能にするマルチメディア通信システムであって、発呼側の端末は、相手側端末を指定する相手アドレスの前に、通信すべき情報メディアに応じた特番を付加して発呼し、前記制御装置は、端末能力に応じて組み合わせるべき端末の対応関係が記述された対応関係テーブルを備え、発呼側端末から発呼があったとき、相手側端末を呼び出して発呼側端末及び相手側端末の端末能力情報についての能力交換を行い、交換された相手側端末の端末能力情報及び相手アドレスの前に付加された特番に基づいて対応関係テーブルを参照し、情報メディアの経路を各端末の端末能力に応じた経路に分割して呼制御を行うように構成されている。
【0007】
〈構成2〉
請求項2の発明に係るマルチメディア通信システムは、通信回線を介して複数の端末及び各端末の呼制御を行う制御装置を接続し、該制御装置の呼制御により複数の情報メディアを組み合わせて各端末間でマルチメディア通信を行うマルチメディア通信システムにおいて、扱うべき複数の情報メディアのうち、限定された端末能力を有する端末を組み合わせてマルチメディア通信を可能にするマルチメディア通信システムであって、発呼側の端末は、相手側端末を指定する相手アドレスの前に、通信すべき情報メディアに応じた特番を付加して発呼し、前記制御装置は、各端末の端末能力及び端末能力に応じて組み合わせるべき端末の対応関係が記述された対応関係テーブルを備え、発呼側端末から発呼があったとき、発呼側端末及び相手側端末の端末能力情報についての能力交換を行う前に、相手アドレス及び当該相手アドレスの前に付加された特番に基づいて対応関係テーブルを参照し、情報メディアの通信経路を各端末の端末能力に応じた経路に分割して呼制御を行うように構成されている。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態を具体例を用いて説明する。
〈具体例1〉
具体例1は、安価なシステムでマルチメディア通信を行えるようにするために、従来の限定された端末能力を有する端末として電話機とビデオ通信のみサポートした端末とを組み合わせ、発呼側端末と相手側端末との間で能力交換を行ってからメディアストリームを端末能力に応じたものに分割するようにしたものである。
【0009】
図1は、具体例1の構成を示すブロック図である。
具体例1のマルチメディア通信システムは、通信回線としてのLAN(Local area network)6に、端末1,2及びCNT装置5を接続し、ブリッジ装置4を介して電話機3を接続することにより構成されている。
【0010】
尚、情報メディアとしては、画像(静止画及び動画)、文字、数値データ、音声がある。具体例1では、端末1をビデオ(画像)通信、音声通信ができるマルチメディア対応端末、端末2をビデオ通信のみサポートした端末として説明する。
【0011】
電話機3は、音声だけを処理するための端末であり、端末2の近傍に配置されているものとする。
尚、ここでは図示しないが、端末1,2及び電話機3には、呼のリンケージ、音声、ビデオチャネルのリンケージを形成するための呼制御メモリが備えられている。
ブリッジ装置4は、電話機3を収容するためのものである。
【0012】
CNT装置5は、ISDNのような既存のインタフェースとマルチメディアプロトコルインタフェースのインターワークを実施する装置であり、端末1,2及び電話機3との間の呼制御を行う。
このCNT装置5には、メモリが内蔵され、このメモリに、端末2及び電話機3の端末能力及びマルチメディア通信を行う場合にペアとなるべきものの対応関係を示す対応関係テーブルが格納されている。
【0013】
図2は具体例1のCNT装置5のメモリに格納された対応関係テーブルの内容を示す説明図である。
この対応関係テーブルは、例えば電話機3から発呼してマルチメディア通信を行う場合、電話機3で実現可能な端末能力はビデオであって、そのビデオ能力を有する端末は端末2であることを示している。
【0014】
〈動作〉
次に具体例1の動作を説明する。
ここでは、音声とビデオ呼とのスプリットを例にして説明する。
図3は具体例1の動作を示す説明図である。尚、図中、シーケンスの各ステップを「S」と記す。
【0015】
まず、電話機3の受話器を取ったとき、発呼信号が電話機3からブリッジ装置4に出力される(S1)。
この発呼信号には、相手アドレスの前に特番が付加される。
この特番は、画像、文字等、通信すべき情報メディアに応じた番号であり、例えば、ビデオ呼併用要求を示す特番が「5」であり、相手アドレスが「03−1234−5678」のときは、発呼信号は「5−03−1234−5678」となる。
【0016】
次に、この発呼信号を受信したブリッジ装置4は、SETUPメッセージに電話機3の能力を設定し、このSETUPメッセージをCNT装置5へ伝送する(S2)。
【0017】
このSETUPメッセージを受信したCNT装置5はこのSETUPメッセージ内の相手のアドレス情報を調べる。このSETUPメッセージには、相手のアドレス情報がないので、CNT装置5はSETUP_ACKメッセージをブリッジ装置4に送出し、電話機3から相手のアドレス情報が送信されるまで待機する(S3)。
【0018】
電話機3からブリッジ装置4には順次、ダイヤル情報が送出されるので(S4)、ブリッジ装置4は、CNT装置5からのSETUP_ACKを受信するまで、このダイヤル情報を保留し、SETUP_ACK情報を受信したときに、留保したダイヤルを含めたINFOメッセージをCNT装置5に送出する(S5)。
【0019】
CNT装置5はINFOメッセージの相手アドレス情報が相手を特定するのに十分と判断したときは、ブリッジ装置4へCALL_PROCメッセージを送出し(S6)、端末1にはSETUPメッセージを送出する(S7)。
このとき、CNT装置5は、発呼信号の特番「5」により電話機3からの要求がビデオ呼併用を要求していることを認識する。
【0020】
端末1は、このSETUPメッセージの着信を受け付けてCNT装置5にALERTメッセージを送出し、呼び出し状態を通知する(S8)。
ALERTメッセージを受信したCNT装置5は呼び出し状態をブリッジ装置4へ通知する(S9)。
【0021】
この通知を受け取ったブリッジ装置4は電話機3に呼び出し音を送出して呼び出し中である旨を通知する(S10)。
端末1は、応答したときに、CONNメッセージをCNT装置5に送出する(S11)。
【0022】
CNT装置5は、CONNメッセージを受信したとき、端末1との間で能力交換を行う(S12)。
能力交換は、送受信するTCS(Terminal Capability Set)という情報の中に、端末能力情報を記述することにより行われる。
【0023】
このとき、CNT装置5は発呼者がブリッジ装置4であり、マルチメディアプロトコルをサポートしていないことを認識しているので、ブリッジ装置4側の電話機3になりすまして能力交換を実行する。
一方、端末1は、マルチメディア対応端末であるため、音声通信もビデオ通信も可能であることを示す端末能力情報をCNT装置5へ送出する。
【0024】
CNT装置5は、電話機3からの要求がビデオ呼併用を要求していることを認識しているので、対応関係テーブルを参照し、電話機3とのビデオ呼対応端末が定義されているか否かをチェックする(S13)。この場合、図2に示すように、電話機3には端末2が対応しているので、音声通信とビデオ通信との要求していることを示す情報を端末1へ送出する。
【0025】
端末1は、マスター/スレーブの設定をCNT装置5との間で行い(S14)、音声、ビデオの論理チャネルを形成する(S15)。
CNT装置5は、音声、ビデオの論理チャネルが形成された後、ブリッジ装置4には音声のCONN信号を送出し、通話が形成される(S16)。
そして、電話機3と端末1との間に形成された通話チャネル上で音声情報のみの通話が行われる。
【0026】
次に、CNT装置5は端末2に対して着信を示すSETUPメッセージを送信し(S17)、端末2はSETUPメッセージに対し、CONN信号を送出して応答する(S18)。
【0027】
CONN信号を受信したCNT装置5は、端末1になりかわって、端末2との間で能力交換を行い(S19)、マスター/スレーブの設定を行った後(S20)、ビデオ呼のみのチャネルを端末2との間で形成する(S21)。
【0028】
図4は具体例1の動作を示す説明図である。
図4に示すように、マルチメディアチャネルのストリームが分割され、音声通信は電話機3と端末1との間で行われ、ビデオ呼は端末2と端末1の間で行われる。
【0029】
また、図5は、マルチメディアチャネルのストリームを分割したときの端末1,2及び電話機3の呼制御メモリ上で論理チャネルと呼の対応関係を示す説明図である。
呼制御メモリ11〜13は、それぞれ端末1,2、電話機3に備えられたメモリである。
【0030】
図5に示すように、呼制御メモリ11〜13間には、呼の関連を示すリンケージとチャネルの関係を示すリンケージが形成される。電話機3が切断された場合、呼のリンケージをたどって、各チャネルのリンケージ関係が抽出される。
【0031】
このとき、端末1と電話機3との間で音声リンクが発生し、端末1と端末2との間でビデオリンクが発生していることが認識されるので、チャネルの切断は各々、端末1、端末2、電話機3の切断シーケンスを起動することにより実行される。その後、呼のリンケージに基づいて呼の切断が起動される。
【0032】
〈具体例1の効果〉
以上、説明したように具体例1によれば、音声とビデオの双方の能力を有さなくても、メディアストリームを分割することにより、音声情報又はビデオ情報の通信を行えるようになり、安価な端末を組み合わせて、マルチメディア通信が実現できる。
【0033】
また、互いに近接した場所に音声通信のみ可能な電話機3とビデオ通信のみ可能な端末2とを配置し、この電話機3と端末2とを併用することにより、使いなれた電話機3でビデオ会議が可能となり、あたかもTV電話のような使用感が得られるという効果も期待できる。
【0034】
尚、具体例1では、音声情報とビデオ情報のメディアチャネルの分割について説明したが、チャネルの種別については、音声/ビデオに限らず、どのメディアに関しても応用が可能である。具体例2についても同様である。
【0035】
また、具体例1では、電話機3、端末2を組み合わせ、マルチメディア対応の端末1との間でマルチメディア通信を行う例について説明したが、発呼側、相手側双方において、限定された端末能力を有する端末を組み合わせてマルチメディア通信を行うことができる。
また、通信回線はLANに限られるものではなく、一般回線、無線回線等を用いることもできる。
【0036】
〈具体例2〉
具体例2は、対応関係テーブルにマルチメディア対応端末の端末能力を予め記憶しておくことにより、能力交換前に複数のメディアチャネルを分割するようにしたものである。
【0037】
図6は、具体例2の対応関係テーブルの内容を示す説明図である。
図6に示すように、対応関係テーブルには、限定された端末能力を有する端末2及び電話機3のペア情報等の他に、マルチメディア対応端末である端末1の端末能力が予め格納されている。
尚、具体例1と同一要素については同一符号を付して説明を省略する。
【0038】
〈動作〉
次に具体例2の動作を説明する。
図7は具体例2の動作を示す説明図である。
具体例2では、具体例1と同様に、CNT装置5は、電話機3からのビデオ呼併用要求が付加された発呼情報を受信した後、ブリッジ装置4から相手アドレスを示すINFOメッセージを受信する(S31〜S36)。
【0039】
CNT装置5は、このINFOメッセージの受信後、対応関係テーブルを参照する(S36)。
対応関係テーブルには、図6に示すように、相手側端末1の端末能力が格納されているので、この対応関係テーブルを参照することにより、CNT装置5は、相手側端末1がマルチメディア対応端末であって、この端末1には音声/ビデオがサポートされていることを認識する。
【0040】
そして、ブリッジ装置4にCALL_PROCメッセージを送信する(S37)。
次に、CNT装置5は端末1と端末2にSETUPメッセージを送出する(S38)。
【0041】
SETUPメッセージを送出後、実施例1と同じように端末1,2、CNT装置5間で呼を成立させるためのメッセージの交換が行われる(S40〜S44)。
呼が成立したとき、端末1,2、CNT装置5の間で能力交換を実行し(S45、S46)、CNT装置5は、能力交換手順に従って端末1に音声とビデオの能力を表示し、端末2にはビデオのみの能力を表示する。
【0042】
そして、端末1,2とCNT装置5との間でマスター/スレーブの設定を行い(S47,S48)、それぞれ指定したチャネルをオープンし(S49〜S51)、通信状態に遷移させる。これにより、音声情報の伝送は端末1と電話機3との間で行われ、ビデオ情報の伝送は端末1と端末2との間で行われる。
【0043】
〈具体例2の効果〉
以上、説明したように具体例2によれば、対応関係テーブルを参照して能力交換前にマルチメディア対応端末である相手側端末1の端末能力情報を抽出できるようにしたので、呼制御を早くすることができる。
【図面の簡単な説明】
【図1】具体例1の構成を示すブロック図である。
【図2】具体例1の対応関係テーブルの内容を示す説明図である。
【図3】具体例1の動作を示す説明図である。
【図4】具体例1の動作を示す説明図である。
【図5】具体例1の各端末の呼制御メモリ上で論理チャネルと呼の対応関係を示す説明図である。
【図6】具体例2の対応関係テーブルの内容を示す説明図である。
【図7】具体例2の動作を示す説明図である。
【符号の説明】
1、2 端末
3 電話機
5 CNT装置

Claims (2)

  1. 通信回線を介して複数の端末及び各端末の呼制御を行う制御装置を接続し、該制御装置の呼制御により複数の情報メディアを組み合わせて各端末間でマルチメディア通信を行うマルチメディア通信システムにおいて、
    扱うべき複数の情報メディアのうち、限定された端末能力を有する端末を組み合わせてマルチメディア通信を可能にするマルチメディア通信システムであって、
    発呼側の端末は、相手側端末を指定する相手アドレスの前に、通信すべき情報メディアに応じた特番を付加して発呼し、
    前記制御装置は、端末能力に応じて組み合わせるべき端末の対応関係が記述された対応関係テーブルを備え、発呼側端末から発呼があったとき、相手側端末を呼び出して発呼側端末及び相手側端末の端末能力情報についての能力交換を行い、交換された相手側端末の端末能力情報及び相手アドレスの前に付加された特番に基づいて対応関係テーブルを参照し、情報メディアの経路を各端末の端末能力に応じた経路に分割して呼制御を行うように構成されたことを特徴とするマルチメディア通信システム。
  2. 通信回線を介して複数の端末及び各端末の呼制御を行う制御装置を接続し、該制御装置の呼制御により複数の情報メディアを組み合わせて各端末間でマルチメディア通信を行うマルチメディア通信システムにおいて、
    扱うべき複数の情報メディアのうち、限定された端末能力を有する端末を組み合わせてマルチメディア通信を可能にするマルチメディア通信システムであって、
    発呼側の端末は、相手側端末を指定する相手アドレスの前に、通信すべき情報メディアに応じた特番を付加して発呼し、
    前記制御装置は、各端末の端末能力及び端末能力に応じて組み合わせるべき端末の対応関係が記述された対応関係テーブルを備え、発呼側端末から発呼があったとき、発呼側端末及び相手側端末の端末能力情報についての能力交換を行う前に、相手アドレス及び当該相手アドレスの前に付加された特番に基づいて対応関係テーブルを参照し、情報メディアの通信経路を各端末の端末能力に応じた経路に分割して呼制御を行うように構成されたことを特徴とするマルチメディア通信システム。
JP35838499A 1999-12-17 1999-12-17 マルチメディア通信システム Expired - Fee Related JP3611994B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35838499A JP3611994B2 (ja) 1999-12-17 1999-12-17 マルチメディア通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35838499A JP3611994B2 (ja) 1999-12-17 1999-12-17 マルチメディア通信システム

Publications (2)

Publication Number Publication Date
JP2001177665A JP2001177665A (ja) 2001-06-29
JP3611994B2 true JP3611994B2 (ja) 2005-01-19

Family

ID=18459017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35838499A Expired - Fee Related JP3611994B2 (ja) 1999-12-17 1999-12-17 マルチメディア通信システム

Country Status (1)

Country Link
JP (1) JP3611994B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10335464B1 (en) 2018-06-26 2019-07-02 Novo Nordisk A/S Device for titrating basal insulin

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4056068B2 (ja) 2004-09-24 2008-03-05 株式会社東芝 通信制御装置、通信制御方法、通信システム及びプログラム
KR101155224B1 (ko) 2005-03-09 2012-06-13 삼성전자주식회사 Sip/ip 코어 네트워크에서 세션 분리 방법 및 서버 및 단말
WO2009063784A1 (ja) * 2007-11-13 2009-05-22 Sharp Kabushiki Kaisha 通信制御装置、通信制御システム、通信制御方法
US8339438B2 (en) * 2008-12-24 2012-12-25 Rockstar Consortium Us Lp Web based access to video associated with calls
JP5359998B2 (ja) * 2010-06-15 2013-12-04 日本電気株式会社 情報処理システム、情報処理方法及び情報処理プログラム
JP5635889B2 (ja) * 2010-12-02 2014-12-03 株式会社Nttドコモ 通信システム及び通信方法
CN102292989B (zh) * 2011-06-15 2014-05-07 华为终端有限公司 一种音视频呼叫的方法、设备及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10335464B1 (en) 2018-06-26 2019-07-02 Novo Nordisk A/S Device for titrating basal insulin

Also Published As

Publication number Publication date
JP2001177665A (ja) 2001-06-29

Similar Documents

Publication Publication Date Title
JP3695563B2 (ja) データ網通信通話の処理方法およびデータ網通信通話処理用ネットワークノード
JP2000151851A (ja) マルチメディア通信端末装置およびマルチメディア通信システム
JP3611994B2 (ja) マルチメディア通信システム
JP3881512B2 (ja) 通信端末・情報処理機器連携方法、連携プログラムを記憶したコンピュータ読み取り可能な記憶媒体及び通信システム
KR20050084571A (ko) 전화기, 멀티미디어 단말기 및 서버
JP4016853B2 (ja) ボタン電話システム、ボタン電話装置およびプログラム
JP3883104B2 (ja) 情報提供システム及び通信端末並びにネットワーク装置
JPH10190838A (ja) 呼接続方法
JPH11164357A (ja) 無線通信システム
JP3903822B2 (ja) ボタン電話装置およびプログラム
JP4258253B2 (ja) ボタン電話装置
JP3915570B2 (ja) インターネット電話装置及びプログラム
JPS63206062A (ja) メモ通信用デイジタル電話機
KR20040046338A (ko) 이동 전화의 통화 대기 또는 연결 중에서 착신자홈페이지를 제공하는 시스템 및 이를 이용한 착신자홈페이지 제공 방법
KR100400924B1 (ko) 콜아이디 박스를 이용한 다중사용자서비스 제공장치 및 그방법
JP2004129157A (ja) 電話装置
JP2000049947A (ja) Isdn端末装置
EP1119988B1 (en) Telecommunications network and method for establishing a meeting between parties
JP2853224B2 (ja) 音声メッセージ送出方法,交換システム,およびアプリケーションプロセッサ
JP3892574B2 (ja) 複合ネットワークにおける回線接続装置
JP3055574B2 (ja) Isdnターミナルアダプタ
JP3463012B2 (ja) マルチメディア通信システム
JP2000209283A (ja) インタ―ネット通信システム
JP2001136302A (ja) 通信装置
JPH10173651A (ja) 通信システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041021

R150 Certificate of patent or registration of utility model

Ref document number: 3611994

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081029

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081029

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091029

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101029

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121029

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121029

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees