JP3374815B2 - 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法 - Google Patents

音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法

Info

Publication number
JP3374815B2
JP3374815B2 JP35538399A JP35538399A JP3374815B2 JP 3374815 B2 JP3374815 B2 JP 3374815B2 JP 35538399 A JP35538399 A JP 35538399A JP 35538399 A JP35538399 A JP 35538399A JP 3374815 B2 JP3374815 B2 JP 3374815B2
Authority
JP
Japan
Prior art keywords
packet
voice
network
buffer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35538399A
Other languages
English (en)
Other versions
JP2001177886A (ja
Inventor
直子 八百屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP35538399A priority Critical patent/JP3374815B2/ja
Publication of JP2001177886A publication Critical patent/JP2001177886A/ja
Application granted granted Critical
Publication of JP3374815B2 publication Critical patent/JP3374815B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は音声を扱うネットワ
ーク及びそれに用いる音声ゆらぎ吸収方法に関し、特に
音声パケットを扱うネットワークにおいて音声のゆらぎ
を吸収する方法に関する。
【0002】
【従来の技術】従来、音声パケットを送受信する音声パ
ケット通信においては、音声パケットの遅延ゆらぎを吸
収して再生を行い、パケット廃棄率を低減するために、
音声パケット制御装置が適用されている。
【0003】しかしながら、音声パケット制御装置が適
用された音声パケット送受信装置を既存の網に適用しよ
うとすると、網の中継ノードに輻輳を検出して音声パケ
ットのレイヤ3ヘッダの輻輳表示ビットを操作する処理
を追加しなければならない。
【0004】そこで、特開平11−215182号公報
に開示された技術では、図7に示すように、有音区間の
始まりの音声パケットを受信すると、ヘッダ分離部32
でヘッダが分離された音声データを閾値37が設定され
たゆらぎ吸収バッファ35に蓄積し、初期蓄積量38だ
け蓄積したら音声データを送出する。
【0005】蓄積量が閾値37を超えて一定時間経過し
たことをバッファ監視部34がタイマ36の情報を基に
観測すると、バッファ制御部33によって初期蓄積量3
8までデータが廃棄される。
【0006】情報記憶部31はデータの廃棄回数とゆら
ぎ吸収バッファ35のアンダフロー発生回数とを記憶保
持し、それらを次の有音区間の初期蓄積量38の決定に
用いる。初期蓄積量38は音声パケット内の符号化圧縮
情報表示を用いて調整することができる。
【0007】これによって、ネットワークの中継ノード
の処理内容を変更することなく、遅延ゆらぎを吸収して
音声を再生し、音声パケットの廃棄率を低減することが
できる。
【0008】
【発明が解決しようとする課題】上述した従来の音声パ
ケットを扱うネットワークでは、予め設けられたネット
ワークの外側にパケット制御装置を設け、あるいはパケ
ット制御装置を適用し、音声のゆらぎを吸収している。
【0009】この従来の技術では、新しくネットワーク
を構築する場合も、パケット制御装置のみで吸収しよう
としているため、ネットワーク内のパケットの遅延を考
慮することが困難である。
【0010】そこで、本発明の目的は上記の問題点を解
消し、ネットワーク遅延による音声のゆらぎを極めて小
さくすることができる音声を扱うネットワーク及びそれ
に用いる音声ゆらぎ吸収方法を提供することにある。
【0011】
【課題を解決するための手段】本発明による音声を扱う
ネットワークは、端末に接続されたネットワークエッジ
と、パケットデータを中継するネットワークノードとか
らなり、音声を扱うネットワークであって、前記音声を
パケット化する際に優先的に処理されるべきパケットで
あることを示すフラグを当該パケットに付加して接続先
であるネットワークノードに送出する手段と、前記ネッ
トワークノードから受信した音声パケットにおける中継
ネットワークでの遅延から派生するゆらぎを吸収するた
めのゆらぎ吸収バッファと、前記ネットワークノードか
ら受信した非音声パケットを蓄積するバッファ手段と、
受信したパケットにおける前記フラグを確認して前記音
声パケットであればその音声データを前記ゆらぎ吸収バ
ッファに送出しかつ非音声パケットであればその非音声
データを前記バッファ手段に送出する手段と、 前記ゆら
ぎ吸収バッファに予め設定された閾値までパケットが蓄
積された場合に前記バッファ手段に優先して当該ゆらぎ
吸収バッファから前記音声データを読出しかつその後に
前記バッファ手段に蓄積された前記非音声データを読出
手段とを前記ネットワークエッジに備えている。
【0012】本発明による音声を扱うネットワークにお
ける音声ゆらぎ吸収方法は、端末に接続されたネットワ
ークエッジと、パケットデータを中継するネットワーク
ノードとからなり、音声を扱うネットワークの音声ゆら
ぎ吸収方法であって、前記音声をパケット化する際に優
先的に処理されるべきパケットであることを示すフラグ
当該パケットに付加して接続先であるネットワークノ
ードに送出するステップと、前記ネットワークノードか
ら受信したパケットにおける前記フラグを確認するステ
ップと、 その確認の結果、音声パケットであればその音
声データを前記音声パケットにおける中継ネットワーク
での遅延から派生するゆらぎを吸収するためのゆらぎ吸
収バッファに送出するステップと、 前記確認の結果、非
音声パケットであればその非音声データを前記ネットワ
ークノードから受信した非音声パケットを蓄積するバッ
ファ手段に送出するステップと、 前記ゆらぎ吸収バッフ
ァに予め設定された閾値までパケットが蓄積された場合
に前記バッファ手段に優先して当該ゆらぎ吸収バッファ
から前記音声データを読出すステップとを前記ネットワ
ークエッジに備えている。
【0013】すなわち、本発明の音声を扱うネットワー
クは、受信したパケットのフラグを確認し、音声パケッ
トを受信した場合、受信した他のパケットに優先して宛
先へ送出する処理を行い、中継ネットワークでの遅延か
ら派生するゆらぎをカバーすることでゆらぎ制御を簡易
的にする機能を持った複数のネットワークノードで構成
している。
【0014】また、本発明の音声を扱うネットワーク
は、音声をパケット化する場合に優先的に処理されるべ
きパケットであるフラグをパケットの中で表示して接続
先であるネットワークノードに送出し、ネットワークノ
ードから受信した音声パケットのゆらぎを吸収するため
のゆらぎ吸収バッファを持ち、音声を再生する機能を持
ったネットワークエッジで構成している。
【0015】これによって、予めネットワークノード間
で音声パケットの優先処理を行うことによって、ネット
ワーク遅延による音声のゆらぎを極めて小さくすること
が可能となる。
【0016】
【発明の実施の形態】次に、本発明の一実施例について
図面を参照して説明する。図1は本発明の一実施例によ
るネットワークの構成を示すブロック図である。図1に
おいて、ネットワーク100はネットワークエッジ1−
1,1−2と、ネットワークノード2−1〜2−4とか
ら構成され、ネットワークエッジ1−1,1−2にはそ
れぞれ回線110を介して端末3,4が接続されてい
る。
【0017】図2は本発明の一実施例によるネットワー
クエッジの構成を示すブロック図である。図2におい
て、ネットワークエッジ1はA/D(アナログ/ディジ
タル)変換部11と、符号化圧縮部12と、送信バッフ
ァ13と、パケット送信部14と、パケット受信部15
と、パケット受信制御部16と、ゆらぎ吸収バッファ1
7と、圧縮伸長部18と、D/A(ディジタル/アナロ
グ)変換部19とから構成され、パケット受信制御部1
6は受信バッファ16aを具備している。
【0018】A/D変換部11は回線110から音声デ
ータまたは非音声データを受信し、それらのデータのデ
ィジタル変換を行う。符号化圧縮部12はディジタル変
換されたデータに対してネットワーク100に応じた符
号化圧縮を行う。パケット送信部14は符号化圧縮され
たデータにネットワーク所定のパケットヘッダを付加
し、パケット化を行ってネットワークノード2−1,2
−4に送信する。その際、パケット送信部14は音声デ
ータをパケット化する場合に、優先的に処理されるべき
パケットであるフラグをパケットに付加する。
【0019】パケット受信部15はネットワークノード
2−1,2−4から受信したパケットのフラグをチェッ
クし、音声パケットであればその音声データをゆらぎ吸
収バッファ17に送出し、非音声パケットであればその
非音声データを受信バッファ16aに送出する。ゆらぎ
吸収バッファ17はパケット受信部15からの音声デー
タを蓄積し、受信バッファ16aはパケット受信部15
からの非音声データを蓄積する。
【0020】パケット受信制御部16はゆらぎ吸収バッ
ファ17に予め設定された閾値までパケットが蓄積され
た場合に受信バッファ16aに優先してゆらぎ吸収バッ
ファ17から音声データを読出し、その後に受信バッフ
ァ16aに蓄積された非音声データを読出す処理を行
う。
【0021】圧縮伸長部18は音声データを優先的に
化して圧縮伸長を行う。D/A変換部19は復号化さ
れた音声データまたは非音声データをアナログ変換して
回線110へ送出する。尚、図1に示すネットワークエ
ッジ1−1,1−2は上述したネットワークエッジ1と
同様の構成及び動作である。
【0022】図3は本発明の一実施例によるネットワー
クノードの構成を示すブロック図である。図3におい
て、ネットワークノード2は受信パケットバッファ21
と、パケット受信部22と、優先パケット送信部23
と、パケット処理部24とから構成されている。
【0023】受信パケットバッファ21はネットワーク
エッジ1−1,1−2または他のネットワークノードか
らのパケットを受信して蓄積する。パケット受信部22
は受信パケットバッファ21に蓄積されたパケットのフ
ラグをチェックする。
【0024】優先パケット送信部23はフラグチェック
の結果が音声パケットである場合にパケット受信部22
によって受信パケットバッファ21から優先的に読出さ
れてパケット処理されたパケットを宛先にあたるネット
ワークエッジ1−1,1−2または他のネットワークノ
ードに送出する。
【0025】パケット処理部24はパケット受信部22
によって受信パケットバッファ21から読出されて通常
のパケット処理されたパケットを宛先にあたるネットワ
ークエッジ1−1,1−2または他のネットワークノー
ドに送出する。尚、図1に示すネットワークノード2−
1〜2−4は上述したネットワークノード2と同様の構
成及び動作である。
【0026】図4及び図5は図2のネットワークエッジ
1の動作を示すフローチャートであり、図6は図3のネ
ットワークノード2の動作を示すフローチャートであ
る。これら図1〜図6を参照して本発明の一実施例によ
るネットワーク100の動作について説明する。
【0027】尚、図4及び図5に示す処理動作はネット
ワークエッジ1が図示せぬ制御メモリのプログラムを実
行することで実現され、図6に示す処理動作はネットワ
ークノード2が図示せぬ制御メモリのプログラムを実行
することで実現される。この場合、これらの制御メモリ
としてはROM(リードオンリメモリ)やIC(集積回
路)メモリ等が使用可能である。
【0028】ネットワークエッジ1は回線110から音
声データまたは非音声データを受信すると(図4ステッ
プS1)、A/D変換部11で音声データまたは非音声
データのディジタル変換を行う(図4ステップS2)。
符号化圧縮部12はディジタル変換された音声データま
たは非音声データをネットワーク100に応じた符号化
圧縮を行い(図4ステップS3)、送信バッファ13は
その符号化圧縮された音声データまたは非音声データを
蓄積する。
【0029】パケット送信部14は送信バッファ13に
蓄積された音声データまたは非音声データに対してネッ
トワーク所定のパケットヘッダを付加してパケット化を
行い(図4ステップS4)、そのパケット化された音声
データまたは非音声データをネットワークノード2に送
信する(図4ステップS5)。その際、パケット送信部
14は音声データをパケット化する場合に、優先的に処
理されるべきパケットであるフラグをパケットに付加す
る。
【0030】パケット送信部14からネットワークノー
ド2に送信された音声パケットはネットワークノード2
の受信パケットバッファ21に蓄積され(図6ステップ
S21,S22)、パケット受信部22においてパケッ
トのフラグがチェックされる(図6ステップS23)。
【0031】パケット受信部22はチェックした結果、
受信したパケットが音声パケットであれば(図6ステッ
プS24)、パケット処理を優先して行うために、受信
パケットバッファ21からパケットを優先的に読出し、
パケット処理を行って優先パケット送信部23に送る
(図6ステップS25)。
【0032】優先パケット送信部23ではパケット受信
部22から送られてきたパケットを、宛先のネットワー
クエッジ1またに他のネットワークノードに送信する
(図6ステップS26)。
【0033】パケット受信部24においてはチェックし
た結果、受信したパケットが音声パケットでなければ
(図6ステップS24)、受信パケットバッファ21か
らパケットを読出し、パケット処理を行ってパケット送
信部24に送り、次の処理を待つ(図6ステップS2
7)。
【0034】ネットワークエッジ1のパケット受信部1
5ではネットワークノード2からパケットを受信すると
(図5ステップS6)、そのパケットのフラグをチェッ
クする(図5ステップS7)。パケット受信部15はそ
のパケットが音声パケットであれば(図5ステップS
8)、その音声データをゆらぎ吸収バッファ17に蓄積
する(図5ステップS9)。
【0035】パケット受信制御部16ではゆらぎ吸収バ
ッファ17に予め設定された閾値まで音声データが蓄積
されると(図5ステップS10)、受信バッファ16a
に優先してゆらぎ吸収バッファ17から音声データを読
出し、それらの音声データを圧縮伸長部18へ送出する
よう制御する(図5ステップS11)。
【0036】圧縮伸長部18はゆらぎ吸収バッファ17
から送られてきた音声データを優先的に復号化し、圧縮
伸長を行う(図5ステップS12)。DA変換部19は
復号化された音声データをアナログ変換して回線110
へ送出する(図5ステップS13)。
【0037】パケット受信部15はそのパケットが非音
声パケットであれば(図5ステップS8)、その非音声
データを受信バッファ16aに蓄積する(図5ステップ
S14)。パケット受信制御部16は受信バッファ16
aに蓄積された非音声データを読出し、それらの非音声
データを圧縮伸長部18へ送出するよう制御する(図5
ステップS15)。
【0038】圧縮伸長部18は受信バッファ16aから
送られてきた非音声データを復号化し、圧縮伸長を行う
(図5ステップS16)。DA変換部19は復号化され
た非音声データをアナログ変換して回線110へ送出す
る(図5ステップS13)。
【0039】このように、予めネットワークノード2−
1〜2−4間で音声パケットの優先処理を行ったり、音
声をパケット化する場合に優先的に処理されるべきパケ
ットであるフラグをパケットの中で表示して接続先であ
るネットワークノード2に送出し、ネットワークノード
2から受信した音声パケットのゆらぎをゆらぎ吸収バッ
ファ17で吸収することによって、ネットワーク遅延に
よる音声のゆらぎを極めて小さくすることができる。
【0040】
【発明の効果】以上説明したように本発明によれば、端
末に接続されたネットワークエッジと、パケットデータ
を中継するネットワークノードとからなり、音声を扱う
ネットワークにおいて、音声をパケット化する際に優先
的に処理されるべきパケットであるフラグを付加して接
続先に送出する手段と、ネットワークノードから受信し
た音声パケットのゆらぎを吸収するためのゆらぎ吸収バ
ッファと、音声パケットから音声を再生する手段とをネ
ットワークエッジに設けることによって、ネットワーク
遅延による音声のゆらぎを極めて小さくすることができ
るという効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例によるネットワークの構成を
示すブロック図である。
【図2】本発明の一実施例によるネットワークエッジの
構成を示すブロック図である。
【図3】本発明の一実施例によるネットワークノードの
構成を示すブロック図である。
【図4】図2のネットワークエッジ1の動作を示すフロ
ーチャートである。
【図5】図2のネットワークエッジ1の動作を示すフロ
ーチャートである。
【図6】図3のネットワークノード2の動作を示すフロ
ーチャートである。
【図7】従来の音声のゆらぎを吸収するための装置を示
すブロック図である。
【符号の説明】
1,1−1,1−2 ネットワークエッジ 2,2−1〜2−4 ネットワークノード 3,4 端末 11 A/D変換部 12 符号化圧縮部 13 送信バッファ 14 パケット送信部 15 パケット受信部 16 パケット受信制御部 16a 受信バッファ 17 ゆらぎ吸収バッファ 18 圧縮伸長部 19 D/A変換部 21 受信パケットバッファ 22 パケット受信部 23 優先パケット送信部 24 パケット処理部 100 ネットワーク 110 回線
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04Q 11/04

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 端末に接続されたネットワークエッジ
    と、パケットデータを中継するネットワークノードとか
    らなり、音声を扱うネットワークであって、 前記音声をパケット化する際に優先的に処理されるべき
    パケットであることを示すフラグを当該パケットに付加
    して接続先であるネットワークノードに送出する手段
    と、 前記ネットワークノードから受信した音声パケットにお
    ける中継ネットワークでの遅延から派生するゆらぎを吸
    収するためのゆらぎ吸収バッファと、前記ネットワークノードから受信した非音声パケットを
    蓄積するバッファ手段と、 受信したパケットにおける前記フラグを確認して前記音
    声パケットであればその音声データを前記ゆらぎ吸収バ
    ッファに送出しかつ非音声パケットであればその非音声
    データを前記バッファ手段に送出する手段と、 前記ゆらぎ吸収バッファに予め設定された閾値までパケ
    ットが蓄積された場合に前記バッファ手段に優先して当
    該ゆらぎ吸収バッファから前記音声データを読出しかつ
    その後に前記バッファ手段に蓄積された前記非音声デー
    タを読出す 手段とを前記ネットワークエッジに有するこ
    とを特徴とするネットワーク。
  2. 【請求項2】 受信したパケットの前記フラグを確認す
    る手段と、前記フラグの確認で前記音声パケットと判定
    された時に当該音声パケットを他のパケットに優先して
    宛先へ送出する手段とを前記ネットワークノードに含む
    ことを特徴とする請求項1記載のネットワーク。
  3. 【請求項3】 端末に接続されたネットワークエッジ
    と、パケットデータを中継するネットワークノードとか
    らなり、音声を扱うネットワークの音声ゆらぎ吸収方法
    であって、 前記音声をパケット化する際に優先的に処理されるべき
    パケットであることを示すフラグを当該パケットに付加
    して接続先であるネットワークノードに送出するステッ
    プと、前記ネットワークノードから受信したパケットにおける
    前記フラグを確認するステップと、 その確認の結果、音声パケットであればその音声データ
    を前記音声パケットにおける中継ネットワークでの遅延
    から派生するゆらぎを吸収するためのゆらぎ吸収バッフ
    ァに送出するステップと、 前記確認の結果、非音声パケットであればその非音声デ
    ータを前記ネットワークノードから受信した非音声パケ
    ットを蓄積するバッファ手段に送出するステップと、 前記ゆらぎ吸収バッファに予め設定された閾値までパケ
    ットが蓄積された場合に前記バッファ手段に優先して当
    該ゆらぎ吸収バッファから前記音声データを読出す ステ
    ップとを前記ネットワークエッジに有することを特徴と
    する音声ゆらぎ吸収方法。
  4. 【請求項4】 受信したパケットの前記フラグを確認す
    るステップと、前記フラグの確認で前記音声パケットと
    判定された時に当該音声パケットを他のパケットに優先
    して宛先へ送出するステップとを前記ネットワークノー
    ドに含むことを特徴とする請求項記載の音声ゆらぎ吸
    収方法。
JP35538399A 1999-12-15 1999-12-15 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法 Expired - Fee Related JP3374815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35538399A JP3374815B2 (ja) 1999-12-15 1999-12-15 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35538399A JP3374815B2 (ja) 1999-12-15 1999-12-15 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法

Publications (2)

Publication Number Publication Date
JP2001177886A JP2001177886A (ja) 2001-06-29
JP3374815B2 true JP3374815B2 (ja) 2003-02-10

Family

ID=18443624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35538399A Expired - Fee Related JP3374815B2 (ja) 1999-12-15 1999-12-15 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法

Country Status (1)

Country Link
JP (1) JP3374815B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614909B2 (ja) * 2006-05-08 2011-01-19 三菱電機株式会社 パケットバッファ装置
JP5994579B2 (ja) 2012-11-01 2016-09-21 富士通株式会社 フレーム変換装置及びフレーム変換方法及び伝送装置

Also Published As

Publication number Publication date
JP2001177886A (ja) 2001-06-29

Similar Documents

Publication Publication Date Title
JP4842075B2 (ja) 音声伝送装置
US7299191B2 (en) Radio transmission device and method, radio receiving device and method, radio transmitting/receiving system, and storage medium
JP2002543636A (ja) パケット通信のヘッダ圧縮状態の更新
JP2002374559A (ja) 移動通信システムのシグナリング通信方法
JP2869034B2 (ja) 音声多段中継装置
JP2002152310A (ja) 無線送信装置及び方法、無線受信装置及び方法、無線送受信システム、並びに記憶媒体
JP3374815B2 (ja) 音声を扱うネットワーク及びそれに用いる音声ゆらぎ吸収方法
JP3075246B2 (ja) 音声パケット送受信方法および装置
JPH08251229A (ja) 無線通信システム
KR20010101401A (ko) 패킷 네트워크를 통해 음성데이터를 전송하는 시스템
JP4400571B2 (ja) 異種通信網間接続における符号化データの処理方法及びゲートウェイ装置
WO2010009660A1 (zh) 一种数据帧的转换方法及装置
JPH07212836A (ja) ディジタルコードレス電話装置
JP2000349824A (ja) 音声データ送受信システム
JP2003023462A (ja) 多地点同報通信網用再送方法
JP3189612B2 (ja) 音声符号化復号化装置
JP3669660B2 (ja) 通話システム
JP4127149B2 (ja) 音声通信システムおよび音声通信方法
JPH07121040B2 (ja) 音声パケツト通信方法
JP2002354537A (ja) 通信システム
JP4667811B2 (ja) 音声通信装置、音声通信方法
JP3954851B2 (ja) 受信装置及び受信方法
JP3980592B2 (ja) 通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法
JP3512698B2 (ja) 音声パケット多重伝送装置と音声パケット多重伝送方法
JPH1141287A (ja) 音声通信ゆらぎ吸収方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071129

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081129

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081129

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091129

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091129

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101129

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111129

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111129

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121129

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121129

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131129

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees