JP3319186B2 - Pbx−コンピュータ連動システム - Google Patents

Pbx−コンピュータ連動システム

Info

Publication number
JP3319186B2
JP3319186B2 JP29952694A JP29952694A JP3319186B2 JP 3319186 B2 JP3319186 B2 JP 3319186B2 JP 29952694 A JP29952694 A JP 29952694A JP 29952694 A JP29952694 A JP 29952694A JP 3319186 B2 JP3319186 B2 JP 3319186B2
Authority
JP
Japan
Prior art keywords
pbx
setting
computer
voice
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP29952694A
Other languages
English (en)
Other versions
JPH08163252A (ja
Inventor
雄二 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP29952694A priority Critical patent/JP3319186B2/ja
Publication of JPH08163252A publication Critical patent/JPH08163252A/ja
Application granted granted Critical
Publication of JP3319186B2 publication Critical patent/JP3319186B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、PBXとコンピュータ
を接続してコンピュータからPBXを制御することによ
り、さまざまなサービスを提供するPBX−コンピュー
タ連動システムに関するものである。
【0002】
【従来の技術】従来の構内電話システムは、図11(従
来の構内電話システムの構成図)に示すように、構内交
換機(PBX)1に内線4及び局線(外線)2が接続さ
れている。内線4の利用者はPBX1を通して内線4間
の通話を行ったり、内線4から局線2に接続して公衆電
話網3にアクセスし、外部の電話機との通話を行ったり
していた。
【0003】
【発明が解決しようとする課題】従来の構内電話システ
ムでは、各内線電話機は上述のように電話をかけるまた
は受けるといった機能しか提供できなかった。
【0004】またPBXに対して、例えば不在転送など
の機能を設定しようとする場合、特定の内線端末から多
くのボタン操作を行わなければならない。さらに、その
際にはマニュアルなどを参照しながらということになり
非常に繁雑な作業である。
【0005】そこで本発明は、PBXとコンピュータを
接続して、様々なサービスを提供する便利なPBX−コ
ンピュータ連動システムを提供することを目的とする。
【0006】
【課題を解決するための手段】PBXとコンピュータを
連動させることで様々なサービスを提供することができ
るが、それらの1つとしてコンピュータに音声認識・合
成装置を組み込むことで、上記のようにシステム設定を
音声によって行ったり、話者認識技術によりシステム設
定動作の制限を設けるなど仕組みを提供する。
【0007】具体的には、音声認識・合成装置を組み込
まれたコンピュータが内線端末からのシステム設定動作
を制御し、合成音声による設定操作のインストラクショ
ンを行い、それに従って入力された音声を音声認識装置
が認識し、認識された単語(列)によってコンピュータ
がPBXに指示を出しシステム設定を行う。また音声認
識装置に話者認識の機能を付加することで発声した個人
の識別を可能にし、システム設定操作を特定の人物のみ
が可能であるようにしたり、発信規制レベルの個人毎の
設定を行えるようにするなどの手段を設ける。
【0008】
【作用】上記構成のように、PBX−コンピュータ連動
システムに音声認識・合成装置を付加することにより、
PBXのシステム設定を合成音声のガイドに従って音声
によって行ったり、個人単位の発信規制などを行うこと
が可能となる。
【0009】
【実施例】以下、本発明の一実施例を図面を参照して詳
細に説明する。
【0010】まず図1は、本発明の一実施例におけるP
BX−コンピュータ連動システムの構成を示すブロック
図である。図1中、1は構内交換機(PBX)である。
PBX1には、複数個の内線電話機5、内線端末6が内
線4により接続されている。
【0011】PBX1は、発信、着信などの制御、回線
接続の切り替えなどの機能を有し、局線2により公衆電
話網3と接続される。またPBX1には、PBX−コン
ピュータ接続インターフェースを介して、コンピュータ
7がシリアルインターフェースによる伝送路9により接
続されている。コンピュータ7はPBX1の機能を制御
するようになっている。さらにコンピュータ7には、P
BX1を制御するためのインターフェースプログラムな
どを記憶するための外部記憶装置8が接続されている。
コンピュータとしては、PBX1に接続されているコン
ピュータ7とシリアルインターフェース付き多機能電話
機からなる内線端末6に接続されるコンピュータ10が
ある。さらにコンピュータ7には、音声入出力インター
フェースを介して音声認識装置11と音声合成装置12
が接続されている。
【0012】本実施例の音声によるシステム設定その他
の機能は、コンピュータ7上に構築される。ただしコン
ピュータ10が接続されている場合には、本発明の機能
はコンピュータ10上に実現することもできる。本実施
例では、コンピュータ7上の構成を前提として音声によ
るシステム設定その他の処理の過程を説明するが、コン
ピュータ10上に実現しても差し支えない。
【0013】以上のシステム構成で、本発明の機能を図
2〜図7のフローチャート及び図8(本発明の一実施例
における電話機の表示装置の画面イメージ図)に基づい
て説明する。
【0014】(実施例1)以下、本発明の請求項1の機
能実現手段の具体例を、図2(本発明の一実施例におけ
るPBX−コンピュータ連動システムのフローチャー
ト)及び図8に基づいて説明する。
【0015】ステップ1−1では、内線端末6のハンド
セットをオフフックするとともに、コンピュータ7上で
音声によるシステム設定に関するアプリケーションプロ
グラムを実行する。すると、オフフックした内線端末6
のハンドセットに、音声合成装置12からの合成音声に
よるガイダンス(「システム設定を行います。設定する
項目を発声して下さい」など)が流れる(ステップ1−
2)。ステップ1−3では、設定を行おうとする項目
(不在転送など)を選択して、ハンドセットに向かって
発声する。発声された音声は、音声入出力インターフェ
ースを介して音声認識装置11に入力され、コンピュー
タ7の指示により認識処理を行う。発声された音声が音
声認識装置11の内部にあらかじめ合成・認識用音声デ
ータ13として蓄積されている。PBX設定用の特定の
単語群中の単語と合致すれば(ステップ1−4)、ステ
ップ1−5で、コンピュータ7は確認のために認識した
単語(列)を合成音声により発声すると同時に、内線端
末6の表示装置上に図8のような表示を行う。間違いが
なければ、操作者は内線端末6の特定のキーを押下する
ことによって確認したことをコンピュータ7に知らせる
(ステップ1−6,7)。ステップ1−4で合致するも
のが見つからなかった場合は、ステップ1−8で、「も
う一度発声して下さい」などの再度の発声を促す音声を
ハンドセットに流し、再発声を待つ(ステップ1−3に
戻る)。ステップ1−6で、発声した内容と音声認識装
置11が認識した内容とが食い違った場合(誤認識の場
合)、操作者はあらかじめ決められたキーを押下し、再
発声のためステップ1−3に戻る。ステップ1−7で、
正しく認識が行われたら設定が終了するまでステップ1
−3〜7の処理を繰り返す(ステップ1−9)。終了す
ればステップ1−10でさらに他の項目を設定するか、
あるいは設定操作を終了するかどうかを、音声合成装置
12により問い合わせる。操作者は、終了してよければ
「終了」と発声するか、あらかじめ決められた内線端末
6のキーを押下することによりコンピュータ7に指示を
伝え、それを受けたコンピュータ7はステップ1−11
で一連の処理を終了する。ステップ1−10で、他の項
目の設定を選択(音声またはキー操作によって)した場
合、ステップ1−2に戻る。
【0016】(実施例2)さらに具体的な例(不在転送
の設定)について、図3のフローチャート及び図9、図
10に基づいて説明する。
【0017】ステップ2−1では、内線端末6のハンド
セットをオフフックするとともに、コンピュータ7上で
音声によるシステム設定に関するアプリケーションプロ
グラムを実行する。するとオフフックした内線端末6の
ハンドセットに、音声合成装置12からの話者の確認を
行うための発声を促すための合成音声によるガイダンス
(「資格を確認します。確認用の文章を発声して下さ
い。」など)が流れる(ステップ2−2)。ステップ2
−3では、操作者が発声した音声(名前や確認用の文章
など)を音声認識装置11に取り込み、話者識別処理を
行う。
【0018】ここでの話者識別処理については図9(本
発明の一実施例における話者識別処理のフローチャー
ト)及び図10(本発明の一実施例における話者識別処
理手段のブロック図)に基づいて説明する。
【0019】さて電話線を通して入力された音声は、帯
域フィルタ171でフィルタリングされた後、A/D変
換器172でサンプリング・量子化され(ステップ20
1)、音響分析部173で入力信号から音声区間を切出
し(ステップ202)、音声信号から話者の特徴をより
明瞭に表すパラメータ(ピッチ周期や平均振幅)の系列
に変換する(ステップ203)。次にステップ204で
は、174のパターン変換部で離散化や参照用パターン
との時間の対応付けなどを行い、パターンベクトルを構
成する。ステップ205では、判定部175でこのパタ
ーンベクトルとあらかじめ登録された各登録者の標準パ
ターンとの距離を計算し、話者がシステムに登録されて
いるどの話者であるのか(話者識別)、あるいは別に入
力された話者IDの話者と一致するか(話者照合)を判
定する(ステップ206)。
【0020】さて以上のような話者識別処理結果を受け
て、図3のステップ2−4以下の処理が行われる。即
ち、ステップ2−4では、識別処理で登録者中に該当者
が見つかった場合はステップ2−5に進み、見つからな
かった場合はステップ2−6の処理を行う。ステップ2
−5では、話者識別により判定された人物がシステム設
定操作の有資格者であるかどうかを判定し、有資格者で
あればステップ2−7以下の処理を行う。有資格者でな
ければその旨を合成音声により伝え(「あなたはシステ
ム設定を行うことはできません」など)、処理を終了す
る(ステップ2−8)。
【0021】ステップ2−6では、再度識別処理を行う
か終了するかについて操作者の判断を待つ。操作者が内
線端末6のキー押下か音声の発声によって再度の識別処
理を選択すればステップ2−2に戻り、終了を選択すれ
ばステップ2−9で終了処理を行う。
【0022】ステップ2−7では、実施例1の通常シス
テム設定処理を行う(ここでは省略する)。
【0023】(実施例3)以下、本発明の請求項3の機
能実現手段の具体例を図4のフローチャートに基づいて
説明する。説明はPBX1が接続されている内線端末6
のハンドセットのオフフックを検知した状態以降の処理
について行う。
【0024】ステップ3−1では、オフフックした内線
端末6の番号をPBX1がコンピュータ7に通知する。
通知を受けたコンピュータ7は次にステップ3−2で、
話者照合を行うために操作者に対して自身の話者IDを
キー入力または音声により入力するように促す。話者I
Dを受け取ったらコンピュータ7の内部のメモリ上に記
憶する(ステップ3−3)。次にステップ3−4で、音
声合成装置12を用いて予め決められた単語列(名前や
簡単な文章など)の発声を促すメッセージを流す。入力
された音声信号はステップ3−5で、図9のフローに従
った処理によって照合される。なお図9のステップ20
6では、この場合ステップ3−3で記憶された話者ID
を持つ人物の標準パターンとの照合処理が行われる。そ
して図4のステップ3−6において、照合結果によって
処理が分岐する。照合の結果が一致すればステップ3−
7で、コンピュータ7は内線端末6の番号と確認された
登録者をみて、その登録者が内線端末6からの発信を許
可されているかを予め登録された参照情報から判断し、
許可されている場合はステップ3−8で、「発信先の番
号を入力して下さい」などのメッセージを流し、操作者
がキーまたは音声によって入力した番号を受け取り、通
常の発信操作を行う(ステップ3−9)。発信が許可さ
れていない場合はステップ3−10で、発信が許可され
ていないことを伝えるメッセージを流して終了する(ス
テップ3−13)。
【0025】ステップ3−6で照合が一致しなければ、
再度照合を行うかまたは終了するかを判断するように促
すメッセージを流し(ステップ3−11)、再度照合が
選択されれば、ステップ3−5に戻り、終了が選択され
ればステップ3−13で終了する(ステップ3−1
2)。
【0026】(実施例4)以下、発信規制レベルの音声
による確認システムについて、PBX1が接続されてい
る内線端末6のハンドセットのオフフックを検知した状
態以降の処理について説明する。
【0027】図5のステップ4−1では、オフフックし
た内線端末6の番号をPBX1がコンピュータ7に通知
する。通知を受けたコンピュータ7は、次にステップ4
−2で、発信レベル(市内・市外など)に応じたパスワ
ード(簡単な単語列)を発声するように促すメッセージ
を流す。コンピュータ7は、発声された音声データを受
け取り、音声認識装置11によって認識処理を行い(ス
テップ4−3)、あらかじめ登録されているパスワード
の音声データと比較する(ステップ4−4)。一致して
いれば「市外への発信を許可します」のように各レベル
に対応したメッセージを流し(ステップ4−5)、通常
の発信処理を行う(ステップ4−6)。一致していなけ
れば再度発声するか、終了するかを問い合わせるメッセ
ージを流し(ステップ4−7)、再度発声であればステ
ップ4−2に戻り、終了であればステップ4−9で終了
処理を行う(ステップ4−8)。
【0028】さらに、上記のような構成において以下の
ような応用も考えられる。 (実施例5)会議連絡などを内線端末6から音声で入力
し、その内容を設定した時間に設定された端末に対して
自動的に発呼し、音声で通知する機能を図6のフローチ
ャートに基づいて説明する。
【0029】図6のステップ5−1では、内線端末6の
ハンドセットをオフフックするとともに、コンピュータ
7上で音声による会議連絡システムに関するアプリケー
ションプログラムを実行する。するとオフフックした内
線端末6のハンドセットに、音声合成装置12からの会
議連絡アプリケーションのガイダンス(「会議連絡の登
録を開始します」など)が流れる(ステップ5−2)。
続いて、ステップ5−3では連絡の構成要素(日時、場
所、内容など)に応じて入力を促すメッセージが流れ
る。ステップ5−4では、上記のメッセージに従って音
声またはキー操作で入力された情報を取り込み、外部記
憶装置8にセーブする。これを必要な回数繰り返す(ス
テップ5−5)。
【0030】その後、上記の処理で入力された時間が来
るまで待ち(ステップ5−6)、コンピュータ7は同様
に入力されたデータから会議参加者の内線番号を検索し
(ステップ5−7)、内線4に対して発呼し、音声合成
装置12によって連絡内容を伝えて(ステップ5−
8)、終了する(ステップ5−9)。
【0031】(実施例6)さらに話者認識機能により発
呼している人物を特定し、その情報をもとに個人毎の課
金などを管理するシステムについて、PBX1が接続さ
れている内線端末6のハンドセットのオフフックを検知
した状態以降の処理について説明する。
【0032】図7のステップ6−1では、コンピュータ
7が発信している内線端末6の発信者の音声を音声認識
装置11に入力し、同時に通話時間のカウントを開始す
る。続いてステップ6−2では、音声認識装置11にお
いて図16のフローに従って話者識別処理が行われる。
その後通話が終了するまで待ち(ステップ6−3)、終
了したらコンピュータ7上に登録されている話者識別の
結果判定された人物の課金データに通話時間と発信先を
元に料金を計算し、課金データに書き込み(ステップ6
−4)、終了する(ステップ6−5)。
【0033】
【発明の効果】本発明は、PBX−コンピュータ連動シ
ステムに音声認識・合成装置を付加することにより、P
BXのシステム設定を音声によって行ったり、その他音
声によって個人を識別することで、個人単位の発信規制
などを行うことができ、電話機の利便性を大幅に向上で
きる。
【図面の簡単な説明】
【図1】本発明の一実施例におけるPBX−コンピュー
タ連動システムの構成を示すブロック図
【図2】本発明の一実施例におけるPBX−コンピュー
タ連動システムのフローチャート
【図3】本発明の一実施例におけるPBX−コンピュー
タ連動システムのフローチャート
【図4】本発明の一実施例におけるPBX−コンピュー
タ連動システムのフローチャート
【図5】本発明の一実施例におけるPBX−コンピュー
タ連動システムのフローチャート
【図6】本発明の一実施例におけるPBX−コンピュー
タ連動システムのフローチャート
【図7】本発明の一実施例におけるPBX−コンピュー
タ連動システムのフローチャート
【図8】本発明の一実施例における電話機の表示装置の
画面イメージ図
【図9】本発明の一実施例における話者識別処理のフロ
ーチャート
【図10】本発明の一実施例における話者識別処理手段
のブロック図
【図11】従来の構内電話システムの構成図
【符号の説明】
1 構内交換機(PBX) 2 局線 3 公衆電話網 4 内線 5 内線電話機 6 内線端末 7 コンピュータ 8 外部記憶装置 9 シリアルインターフェースによる伝送路 10 コンピュータ 11 音声認識装置 12 音声合成装置

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】PBXと、専用のインターフェースで接続
    されたコンピュータの連動システムにおいて、 前記コンピュータ音声入出力インターフェースを備
    え、 さらに前記コンピュータは前記PBXの設定に必要な特
    定の単語群を認識する音声認識装置と、 前記PBXのシステム設定の操作のインストラクション
    及び設定の確認の為の単語群を発声する音声合成装置と
    を備え、 前記PBXに対する各種設定を内線電話機のハンドセッ
    トから前記音声認識装置と前記音声合成装置を使って音
    声によって行なう際、設定内容を合成音声によって発声
    すると共に当該内線電話機の表示手段に設定内容を表示
    する手段を備えたことを特徴とするPBX−コンピュー
    タ連動システム。
  2. 【請求項2】PBXの設定に必要な特定の単語群を認識
    する音声認識装置と、前記PBXのシステム設定の操作
    のインストラクション及び設定の確認の為の単語群を発
    声する音声合成装置とを備え、 前記PBXに対する各種設定を内線電話機のハンドセッ
    トから前記音声認識装置と前記音声合成装置を使って音
    声によって行なう際、設定内容を合成音声によって発声
    すると共に当該内線電話機の表示手段に設定内容を表示
    する手段を備えたことを特徴とするPBXシステム。
  3. 【請求項3】前記音声認識装置が話者認識の機能を持
    ち、特定の話者が発声を行った時のみ、システムの設定
    が可能となる手段を備えたことを特徴とする請求項
    載のPBX−コンピュータ連動システム。
  4. 【請求項4】前記PBXに接続されている内線端末から
    外部に発信しようとする際に、あらかじめ登録された特
    定の個人が端末に向かって、やはりあらかじめ登録した
    文字列を発声したときのみ発呼が可能とする話者認識機
    能を備えることを特徴とする請求項記載のPBX−コ
    ンピュータ連動システム。
JP29952694A 1994-12-02 1994-12-02 Pbx−コンピュータ連動システム Expired - Fee Related JP3319186B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29952694A JP3319186B2 (ja) 1994-12-02 1994-12-02 Pbx−コンピュータ連動システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29952694A JP3319186B2 (ja) 1994-12-02 1994-12-02 Pbx−コンピュータ連動システム

Publications (2)

Publication Number Publication Date
JPH08163252A JPH08163252A (ja) 1996-06-21
JP3319186B2 true JP3319186B2 (ja) 2002-08-26

Family

ID=17873744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29952694A Expired - Fee Related JP3319186B2 (ja) 1994-12-02 1994-12-02 Pbx−コンピュータ連動システム

Country Status (1)

Country Link
JP (1) JP3319186B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480600B1 (en) 1997-02-10 2002-11-12 Genesys Telecommunications Laboratories, Inc. Call and data correspondence in a call-in center employing virtual restructuring for computer telephony integrated functionality
US7031442B1 (en) 1997-02-10 2006-04-18 Genesys Telecommunications Laboratories, Inc. Methods and apparatus for personal routing in computer-simulated telephony
US6104802A (en) 1997-02-10 2000-08-15 Genesys Telecommunications Laboratories, Inc. In-band signaling for routing
US6985943B2 (en) 1998-09-11 2006-01-10 Genesys Telecommunications Laboratories, Inc. Method and apparatus for extended management of state and interaction of a remote knowledge worker from a contact center
US6711611B2 (en) 1998-09-11 2004-03-23 Genesis Telecommunications Laboratories, Inc. Method and apparatus for data-linking a mobile knowledge worker to home communication-center infrastructure
USRE46528E1 (en) 1997-11-14 2017-08-29 Genesys Telecommunications Laboratories, Inc. Implementation of call-center outbound dialing capability at a telephony network level
US7907598B2 (en) 1998-02-17 2011-03-15 Genesys Telecommunication Laboratories, Inc. Method for implementing and executing communication center routing strategies represented in extensible markup language
US6332154B2 (en) 1998-09-11 2001-12-18 Genesys Telecommunications Laboratories, Inc. Method and apparatus for providing media-independent self-help modules within a multimedia communication-center customer interface
USRE46153E1 (en) 1998-09-11 2016-09-20 Genesys Telecommunications Laboratories, Inc. Method and apparatus enabling voice-based management of state and interaction of a remote knowledge worker in a contact center environment
US7929978B2 (en) 1999-12-01 2011-04-19 Genesys Telecommunications Laboratories, Inc. Method and apparatus for providing enhanced communication capability for mobile devices on a virtual private network
US9008075B2 (en) 2005-12-22 2015-04-14 Genesys Telecommunications Laboratories, Inc. System and methods for improving interaction routing performance
JP4921052B2 (ja) * 2006-06-27 2012-04-18 Necインフロンティア株式会社 Ctiサーバ、電話網制御システム及び方法

Also Published As

Publication number Publication date
JPH08163252A (ja) 1996-06-21

Similar Documents

Publication Publication Date Title
US9485347B2 (en) Voice-operated interface for DTMF-controlled systems
US5594784A (en) Apparatus and method for transparent telephony utilizing speech-based signaling for initiating and handling calls
JP2957862B2 (ja) 通信システム及び通信方法
JP3168033B2 (ja) 音声テレフォン・ダイヤリング
JP3319186B2 (ja) Pbx−コンピュータ連動システム
JP2001308970A (ja) 携帯電話の音声認識操作方法及びシステム
US6563911B2 (en) Speech enabled, automatic telephone dialer using names, including seamless interface with computer-based address book programs
US6256611B1 (en) Controlling a telecommunication service and a terminal
US20020118803A1 (en) Speech enabled, automatic telephone dialer using names, including seamless interface with computer-based address book programs, for telephones without private branch exchanges
JP3591052B2 (ja) 構内電話システムおよびその情報処理方法
JPH1117796A (ja) 音声認識電話装置
JPH09116940A (ja) コンピュータ・電話統合システム
JPH09326856A (ja) 音声認識応答装置
JPH06303320A (ja) Pbx装置
KR100674799B1 (ko) 화자종속 고립단어 음성인식을 통한 안내전화번호 자동다이얼링 방법
US20040181415A1 (en) Speech activated telephone device for connection to existing landline phone
JPH0758832A (ja) 電話端末
JPH08163228A (ja) 音声遠隔制御留守番電話装置およびその音声による操作指示受付方法
KR20000002265A (ko) 선택적 수신 기능 전화기 및 그 방법
JPH04287558A (ja) 障害者用音声通信方式
JPH03145248A (ja) 発信者識別電話機
JPH10322433A (ja) パーソナル音声ダイアル電話機
JPH025672A (ja) 集合型音声ダイヤリング装置
JPH11252237A (ja) 個々に記憶された電話番号に遠隔応答するための装置および方法
JPH098893A (ja) 音声認識コードレス電話機

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080621

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090621

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100621

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110621

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees