JP3624001B2 - 多地点通信端末及びその制御方法 - Google Patents

多地点通信端末及びその制御方法 Download PDF

Info

Publication number
JP3624001B2
JP3624001B2 JP03766495A JP3766495A JP3624001B2 JP 3624001 B2 JP3624001 B2 JP 3624001B2 JP 03766495 A JP03766495 A JP 03766495A JP 3766495 A JP3766495 A JP 3766495A JP 3624001 B2 JP3624001 B2 JP 3624001B2
Authority
JP
Japan
Prior art keywords
communication
point
signal
multipoint
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03766495A
Other languages
English (en)
Other versions
JPH08214075A (ja
Inventor
均 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP03766495A priority Critical patent/JP3624001B2/ja
Priority to US08/402,023 priority patent/US6549178B2/en
Publication of JPH08214075A publication Critical patent/JPH08214075A/ja
Application granted granted Critical
Publication of JP3624001B2 publication Critical patent/JP3624001B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、多地点間で通信を行うための多地点通信端末及びその制御方法に関する。
【0002】
【従来の技術】
従来、通信回線を使って複数の地点間で同時に通信の行える多地点会議端末の如き多地点通信端末が開発されている。この様な多地点通信端末では、多地点制御装置(MCU)を用いて多地点間通信を実現するものが一般的であるが、近年、MCUは用いず、複数の情報チャネルを異なる多地点通信端末に接続し且つこれらの情報チャネルがループ状或はバス状になるように接続することで、多地点間通信を実現するものが開発されている。
【0003】
図5は、従来の多地点通信端末の構成を示すブロック図である。同図において、1は本端末の画像入力手段としてのカメラで、自画像や図面等を入力するものである。2は表示部で、カメラ1からの入力画像、多地点の相手からの複数の受信画像、種々のグラフィック画面等を表示するもので、CRT(Cathod Ray Tube;陰極線管)或はLCD(Liquid Crystal Display;液晶表示器)等からなる。3はビデオ入出力インタフェース部で、ビデオ入力インタフェース部3aとビデオ出力インタフェース部3bとからなる。ビデオ入力インタフェース部3aは、後述するシステム制御部10の指示による画像入力手段(カメラ1)の切り換え、入力フィルタリング、画像データのA/D変換(アナログからディジタルへの変換)、画像データサイズ変換、画像データのフォーマット変換等を行うものである。ビデオ出力インタフェース部3bは、ビデオ入力インタフェース部3aの逆変換と、出力フィルタリング及びシステム制御部10の指示による出力画像の表示処理等を行うものである。
【0004】
4はビデオ符号化/復号部で、ビデオ符号化部4aとビデオ復号部4bとからなる。ビデオ符号化部4aは、ITU−T(旧CCITT;国際電信電話諮問委員会)の勧告H.261に従って送信画像信号の符号化処理を行うものである。ビデオ復号部4bは、ITU−Tの勧告H.261に従って受信画像信号の復号処理を行うものである。5は本端末の音声入力手段としてのハンドセット(回線切断信号入力手段)、5aはハンドセット5から回線を切断する際に操作するフックスイッチ、6は本端末のもう一つの音声入力手段としてのマイク/スピーカ、7は音声入出力インタフェース部(信号入力手段)で、ハンドセット5やマイク/スピーカ6を使用した時にエコーを消去するエコーキャンセル処理、ダイヤルトーン,呼び出し音,ビジートーン,着信音等のトーンの生成処理、システム制御部10の指示による音声入出力手段(ハンドセット5及びマイク/スピーカ6)の切り換え処理、音声入出力手段側からのフックスイッチ5a等による回線切断信号の入力処理等を行うものである。
【0005】
8は音声符号化/復号部で、システム制御部10の指示により、64kbpsPCM A−law、64kbps PCM μ−law、64kbps/56kbps/48kbps SB−ADPCM、32kbps ADPCM、16kbps(例えば、APC−AB)、8kbps等の音声符号化/復号アルゴリズムに従って、送信音声信号の符号化処理及び受信音声信号の復号処理を行うもので、音声符号化部8aと、音声復号部8bとからなる。9は操作部(信号入力手段)で、本端末の制御全般を行うための制御情報を入力するもので、キーボード、タッチパネル、マウス等からなる。10はシステム制御部(システム制御手段)で、CPU(Central Processing Unit;中央演算処理装置)、ROM(Read Only Memory;読み出し専用メモリ)、RAM(Random Access Memory;読み書き可能メモリ)、補助記憶装置等を備え、各部の状態を監視して、本端末全体の制御、状態に応じた操作・表示画面の作成及びアプリケーションプログラムの実行等を行うものである。
【0006】
11は分離/多重化部で、ITU−Tの勧告H.221に従って音声符号化部8aからの音声信号、ビデオ符号化部4aからの画像信号、システム制御部10からの制御信号を送信フレーム単位に多重化すると共に、受信フレームを構成単位の各メディアに分離して各部に通知するものである。11aは多地点制御部(多地点送信データ構築手段、多地点受信データ識別手段)で、一つの情報チャネル中に複数地点のデータを多重化して多地点間通信を実現する際に、受信フレームの中の自端末データ領域に自端末データをはめ込み、送信フレームとして多重化すると共に、受信フレーム中の複数地点のデータを、各地点毎のデータとして識別・分離するものである。12は回線インタフェース部で、ISDN(サービス総合ディジタル網)ユーザ網インタフェースに従って、回線の発呼・切断等を制御するものである。13はISDN等の通信回線である。
【0007】
次に、上記構成になる多地点通信端末の動作について説明する。
【0008】
カメラ1からの入力画像は、ビデオ入力インタフェース部3aを経てビデオ符号化部4aに入力される。また、ハンドセット5或はマイク/スピーカ6からの入力音声は、音声入出力インタフェース部7を経て音声符号化部8aに入力される。ビデオ符号化部4aで符号化された入力画像と、音声符号化部8aで符号化された入力音声と、システム制御部10からの制御信号とが分離/多重化部11で送信フレーム単位に多重化された後、回線インタフェース部12を経て通信回線13へ送信される。
【0009】
次に、通信回線13からの受信フレームは、回線インタフェース部12を経て分離/多重化部11で画像信号と音声信号及び制御信号とに分離され、各々ビデオ復号部4b、音声復号部8b及びシステム制御部10へそれぞれ入る。そして、ビデオ復号部4bで復号された受信画像データは、ビデオ出力インタフェース部3bを経て表示部2に表示される。また、音声復号部8bで復号された受信音声は、音声入出力インタフェース部7を経てハンドセット5或はマイク/スピーカ6から出力される。
【0010】
多地点通信における複数地点のデータの通信方式として、一つのデータフレームの中に複数地点のデータを多重化して通信している方式や、複数のデータフレームに複数地点のデータを分割して通信している方式等がある。
【0011】
図6に複数地点データの通信における通信フレームの構造の一例を示す。図6(a)は、ITU−Tの勧告H.221における通信フレームの構造を示す。図6(b)は、1つのフレームに4地点データを多重化した独自のフレームの構造を示す。図6(c)は、1つのフレームに2地点データを、2つのフレームで4地点データを多重化した独自のフレームの構造を示す。図6(d)は、1つのフレームに1地点データを、4つのフレームで4地点データを多重化した独自のフレームの構造を示す。
【0012】
また、これらの通信を実現するために、図7に示すような多地点制御装置(MCU)を介在する方式や、図8に示すような複数の通信端末間で回線をループ状或はバス状に接続する方式等がある。図7は、MCU14が、通信される4地点の第1端末乃至第4端末15間で通信回線16及び網17を介して接続された状態を示している。また、図8は、通信される4地点の第1端末乃至第4端末15間で回線16がループ状に接続された状態を示している。
【0013】
図5の多地点制御部11aでは、種々の方式によって受信された複数の地点データを各地点毎のデータに分割し、その分割情報をシステム制御部10へ伝える。このシステム制御部10では、この分割情報を基に各地点ごとのデータの復号化や、画像表示等の制御を行う。また、多地点制御部11aでは、多地点送信データの構築も行う。
【0014】
【発明が解決しようとする課題】
しかしながら、上述した従来の多地点通信端末にあっては、多地点通信中に誤ってハンドセット5のフックスイッチ5aに物を落としたり或は接触したりして回線を切断してしまうことがあった。多地点通信中のこのような誤切断は、多地点通信全体に混乱を来すことになる。
【0015】
本発明は上述した従来の技術の有するこのような問題点に鑑みてなされたもので、その目的とするところは、1地点対1地点の通信の場合には速やかに回線の切断を行い、多地点の通信には切断可能状態ではない場合に回線の切断信号を無効にして通信の混乱を未然に防ぐことが可能な多地点通信端末及びその制御方法を提供することである。
【0016】
【課題を解決するための手段】
上記目的達成するために本発明の請求項1記載の多地点通信端末は、号入力手段から回線の切断を指示する回線切断信号及び脱会を指示する脱会指示信号を受けて回線切断を指示するシステム制御手段を有し前記システム制御手段は、通信が1地点対1地点の通信であるか多地点の通信であるかを判別し、前記通信が1地点対1地点の通信である場合に回線切断の指示を行い、前記通信が多地点の通信であって切断可能状態ではない場合に前記回線切断信号を無効とすることを特徴とするものである。
【0017】
また、上記目的を達成するために本発明の請求項2の多地点通信端末は、請求項1の多地点通信端末において、脱会指示信号を入力する入力キーを有することを特徴とするものである。
【0018】
また、上記目的を達成するために本発明の請求項3の多地点通信端末は、請求項1の多地点通信端末において、回線切断信号は、ハンドセットをオンフックすることで生じることを特徴とするものである。
【0019】
また、上記目的を達成するために本発明の請求項4記載の多地点通信端末は、請求項1記載の多地点通信端末において、前記切断可能状態は、前記信号入力手段から脱会信号を受けている状態であることを特徴とするものである。
【0020】
また、上記目的を達成するために本発明の請求項5記載の多地点通信端末の制御方法は、多地点通信端末の制御方法であって、システム制御部において信号入力手段から回線の切断を指示する回線切断信号を受けた場合、通信が1地点対1地点の通信であるか多地点の通信であるかを判別し、前記通信が1地点対1地点の通信である場合に回線切断の指示を行い、前記通信が多地点の通信であって切断可能状態ではない場合に前記回線切断信号を無効とすることを特徴とするものである。
【0029】
【実施例】
以下、本発明の一実施例を図1〜図3に基づき説明する。
【0030】
図1は、本発明の一実施例に係る多地点通信端末である多地点テレビ会議端末の構成を示すブロック図であり、同図において、上述した従来の図5と同一部分については、同一符号を付してある。図1において図5と異なる点は、図5の構成に、脱会キー(脱会信号入力手段)9a、回線切断制御部(回線切断制御手段)10a、脱会信号制御部(脱会信号制御手段)10b、脱会地点表示制御部(脱会地点表示制御手段)10cを付加したことである。
【0031】
ここで、脱会キー9aは、操作部9の中に設けられ且つ脱会時に操作することにより脱会信号を入力するものである。回線切断制御部10aは、システム制御部10の中に設けられて多地点通信時における回線切断制御を行うものである。脱会信号制御部10bは、システム制御部10の中に設けられて多地点通信時における脱会信号の送信制御を行うものである。脱会地点表示制御部10cは、受信した脱会地点情報に従った脱会地点の表示に係る制御を行うものである。
【0032】
次に、本実施例に係る多地点通信端末の動作を説明する。本実施例に係る多地点通信端末の基本的な動作は上述した従来の多地点通信端末の動作と同様である。
【0033】
即ち、カメラ入力部1からの入力画像は、ビデオ入力インタフェース部3aを経てビデオ符号化部4aに入力される。また、ハンドセット5或はマイク/スピーカ6からの入力音声は、音声入出力インタフェース部7を経て音声符号化部8aに入力される。ビデオ符号化部4aで符号化された入力画像と、音声符号化部8aで符号化された入力音声と、システム制御部10からの制御信号は、分離/多重化部11で送信フレーム単位に多重化され、回線インタフェース部12を経て通信回線13へ送信される。
【0034】
次に、この通信回線13からの受信フレームは、回線インタフェース部12を経て分離/多重化部11で画像信号と音声信号と制御信号とにそれぞれ分離され、各々ビデオ復号部4b、音声復号部8b及びシステム制御部10へそれぞれ入力される。ビデオ復号部4bで復号された受信画像は、ビデオ出力インタフェース部3bを経て表示部2に表示される。また、音声復号部8bで復号された受信音声は、音声入出力インタフェース部7を経てハンドセット5或はマイク/スピーカ6から出力される。
【0035】
また、多地点通信における複数地点のデータの通信方式についても、上述した従来の多地点通信端末の場合と同様である。
【0036】
次に、回線の切断方式について図2乃至図4のフローチャートに基づき説明する。多地点通信端末が1対1で通信中の時の回線の切断方式は、従来の多地点通信端末の場合と同様である。即ち、ハンドセット5を置台に置く操作モードで、ハンドセット5のフックスイッチ5aがオンし、そのオン信号が音声入出力インタフェース部7を経て(ステップS201)、回線切断信号としてシステム制御部10に入力される(ステップS202)。或は、操作部9に設けた回線切断スイッチ(切断キー)をオンにする(ステップS201)操作モードで、回線切断信号がシステム制御部10に入力される(ステップS202)。そして、その通信が1地点対1地点か多地点かが判別され(ステップS203)、1地点対1地点の通信であれば回線切断信号を受けたシステム制御部10は、回線インタフェース部12に切断の指示を与える(ステップS204)。切断の指示を受けた回線インタフェース部12は回線切断シーケンスを実行する(ステップS205)。この結果、回線が切断される(ステップS206)。
【0037】
これに対して、多地点通信端末が多地点間で通信中の時の回線の切断方式は、従来の多地点通信端末の場合と異なる。即ち、ハンドセット5を置台に置いたり、操作部9の回線切断スイッチをオンにする(ステップS201)こと等により、回線切断信号がシステム制御部10に入力される(ステップS202)。そして、多地点間通信中は、システム制御部10内の回線切断制御部10aが動作し、この回線切断制御部10aでは、回線切断可能であるか否かを監視している(ステップS207)。システム制御部10が前記回線切断信号を受信した時に回線切断制御部10aが切断可能状態であれば、回線切断制御部10aは回線インタフェース部12に切断の指示を与え(ステップS208)、該切断の指示を受けた回線インタフェース部12は回線切断シーケンスを実行する(ステップS205)。この結果、回線が切断される(ステップS206)。
【0038】
しかし、システム制御部10が前記回線切断信号を受信した時に回線切断制御部10aが切断可能状態でなければ、回線切断信号だけでは回線切断制御部10aは回線インタフェース部12に切断の指示を与えずに、回線切断信号操作入力を無効とし(ステップS209)、通常通信を継続する(ステップS210)。この回線切断制御部10aの切断可能状態については、図4で後述する。
【0039】
多地点間通信中は、通常まず音声で脱会することを他の地点へ伝える。そして、脱会の了承を得た後、回線切断信号入力操作に先立って脱会操作を行う。
【0040】
図3は、脱会操作時の制御手順を示すフローチャートである。脱会操作は、操作部9の脱会キー9aを操作する(ステップS301)。脱会キー9aの操作による脱会信号はシステム制御部10に入力される(ステップS302)。システム制御部10内の脱会信号制御部10bは前記脱会信号を受け(ステップS303、ステップS304)、多地点制御部11aに脱会を指示する(ステップS305)。この脱会指示を受けた多地点制御部11aは、他の地点へ脱会を通知するため、多地点対応の送信フレームの中に脱会コマンド(脱会信号)を割り付ける(ステップS306)。この結果、他の地点へ脱会が通知される(ステップS307)。
【0041】
また、1地点対1地点で通信の時は(ステップS303)、脱会操作は無効とされ(ステップS308)、通常通信が継続される(ステップS309)。
【0042】
脱会信号は、システム制御部10内の回線切断制御部10aにも入力される(ステップS304)。回線切断制御部10aは脱会信号を受信した時点で切断可能状態となる(ステップS310)。
【0043】
図4は、脱会コマンド受信時の制御手順を示すフローチャートである。他の地点の多地点通信端末は、多地点制御部11aにおいて受信フレームの中の脱会コマンドを認識し(ステップS401)、どの地点の端末が脱会するのかを示す脱会地点情報をシステム制御部10内の脱会地点表示制御部10cに伝える(ステップS402)。脱会地点表示制御部10cは、前記脱会地点情報を受信することで、脱会地点の現在の表示に対して「脱会表示」制御を行うべく、この表示制御信号をビデオ出力インタフェース部3bへ出力する(ステップS403)。ビデオ出力インタフェース部3bは、脱会地点表示制御部10cから受信した表示制御信号に従って、表示部2の表示内容を変更する(ステップS404)。この脱会地点表示としては、例えば他の多地点通信端末が表示部上にマルチ表示されているとして、現在表示している脱会地点の表示ウインドウに白い枠を付けたり或はその枠を点滅させたり、更には、表示している色を反対色に点滅させたりする方法等がある。
【0044】
【発明の効果】
以上詳述したように本発明によれば、通信が1地点対1地点の通信であるか多地点の通信であるかを判別することによって、1地点対1地点の通信の場合には速やかに回線の切断を行い、多地点の通信には切断可能状態ではない場合に回線の切断信号を無効にして通信の混乱を未然に防ぐことができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の一実施例に係る多地点通信端末の構成を示すブロック図である。
【図2】同多地点通信端末における回線の切断方式の制御手順を示すフローチャートである。
【図3】同多地点通信端末における回線の切断方式の制御手順を示すフローチャートである。
【図4】同多地点通信端末における回線の切断方式の制御手順を示すフローチャートである。
【図5】従来の多地点通信端末の構成を示すブロック図である。
【図6】同多地点通信端末における通信フレームの構造の一例を示す図である。
【図7】多地点制御装置(MCU)が介在する方式の従来の多地点通信端末の構成を示す図である。
【図8】複数の通信端末間で回線をループ状に接続する方式の従来の多地点通信端末の構成を示す図である。
【符号の説明】
2 表示部(画像表示手段)
5 ハンドセット(信号入力手段)
7 音声入出力インタフェース部(信号入力手段)
9 操作部(信号入力手段)
9a 脱会キー
10 システム制御部(システム制御手段)
10a 回線切断制御部(回線切断制御手段)
10b 脱会信号制御部(脱会信号制御手段)
10c 脱会地点表示制御部(脱会地点表示制御手段)
11a 多地点制御部(多地点送信データ構築手段、多地点受信データ識別手段)

Claims (5)

  1. 号入力手段から回線の切断を指示する回線切断信号及び脱会を指示する脱会指示信号を受けて回線切断を指示するシステム制御手段を有し
    前記システム制御手段は、通信が1地点対1地点の通信であるか多地点の通信であるかを判別し、前記通信が1地点対1地点の通信である場合に回線切断の指示を行い、前記通信が多地点の通信であって切断可能状態ではない場合に前記回線切断信号を無効とすることを特徴とする多地点通信端末。
  2. 前記脱会指示信号を入力する入力キーを有することを特徴とする請求項1記載の多地点通信端末。
  3. 前記回線切断信号は、ハンドセットをオンフックすることで生じることを特徴とする請求項1記載の多地点通信端末。
  4. 前記切断可能状態は、前記信号入力手段から脱会信号を受けている状態であることを特徴とする請求項1記載の多地点通信端末。
  5. 多地点通信端末の制御方法であって、
    システム制御部において信号入力手段から回線の切断を指示する回線切断信号を受けた場合、通信が1地点対1地点の通信であるか多地点の通信であるかを判別し、
    前記通信が1地点対1地点の通信である場合に回線切断の指示を行い、
    前記通信が多地点の通信であって切断可能状態ではない場合に前記回線切断信号を無効とすることを特徴とする多地点通信端末の制御方法
JP03766495A 1994-03-11 1995-02-02 多地点通信端末及びその制御方法 Expired - Fee Related JP3624001B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03766495A JP3624001B2 (ja) 1995-02-02 1995-02-02 多地点通信端末及びその制御方法
US08/402,023 US6549178B2 (en) 1994-03-11 1995-03-10 Communication terminal apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03766495A JP3624001B2 (ja) 1995-02-02 1995-02-02 多地点通信端末及びその制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004300253A Division JP2005065328A (ja) 2004-10-14 2004-10-14 多地点通信端末及びその制御方法

Publications (2)

Publication Number Publication Date
JPH08214075A JPH08214075A (ja) 1996-08-20
JP3624001B2 true JP3624001B2 (ja) 2005-02-23

Family

ID=12503909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03766495A Expired - Fee Related JP3624001B2 (ja) 1994-03-11 1995-02-02 多地点通信端末及びその制御方法

Country Status (1)

Country Link
JP (1) JP3624001B2 (ja)

Also Published As

Publication number Publication date
JPH08214075A (ja) 1996-08-20

Similar Documents

Publication Publication Date Title
JP2856751B2 (ja) 通信方法及び通信装置
WO1998039906A1 (fr) Terminal de telecommunications
JPH05327935A (ja) マルチメディア通信装置
JP3278825B2 (ja) 画像通信電話機及び画像通信方法
JPH07203407A (ja) 多地点通信システムおよび通信端末
JP3624001B2 (ja) 多地点通信端末及びその制御方法
JP3434640B2 (ja) テレビ電話装置
JP3727953B2 (ja) 端末装置及びその制御方法
JP2005065328A (ja) 多地点通信端末及びその制御方法
JPH07327092A (ja) マルチメディア通信装置
JPH07322231A (ja) テレビ会議システム、端末装置及び共有画面表示制御装置
JPH07123172A (ja) 端末装置
JP4027336B2 (ja) マルチメディア通信装置及びマルチメディア通信装置の通信方法
JPH089062A (ja) 通信装置及びテレビ会議装置
JPH06350725A (ja) テレビ会議システム
JPH066483A (ja) マルチメディア端末装置
JP2004135355A (ja) 端末装置及びウインドウ表示制御方法
JPH09172494A (ja) 通信会議端末装置
JPH04207556A (ja) Isdn端末のメッセージ通知方法
JPH06233293A (ja) テレビ電話装置
JPH07321932A (ja) 会議端末装置
JPH10108153A (ja) 画像通信端末装置
JPH05183649A (ja) 画像通信電話機
JPH04267689A (ja) 画像処理方法
JPH04160853A (ja) マルチメディア通信方法及びマルチメディア通信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081203

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101203

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111203

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121203

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees