JPH0774650A - 音声符号化装置およびその符号化信号の復号化装置 - Google Patents

音声符号化装置およびその符号化信号の復号化装置

Info

Publication number
JPH0774650A
JPH0774650A JP21589693A JP21589693A JPH0774650A JP H0774650 A JPH0774650 A JP H0774650A JP 21589693 A JP21589693 A JP 21589693A JP 21589693 A JP21589693 A JP 21589693A JP H0774650 A JPH0774650 A JP H0774650A
Authority
JP
Japan
Prior art keywords
circuit
signal
time
encoding
supplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP21589693A
Other languages
English (en)
Other versions
JP3227929B2 (ja
Inventor
Hideo Nakaya
秀雄 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP21589693A priority Critical patent/JP3227929B2/ja
Publication of JPH0774650A publication Critical patent/JPH0774650A/ja
Application granted granted Critical
Publication of JP3227929B2 publication Critical patent/JP3227929B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【目的】効率の良い符号化を行い得る音声符号化装置を
提供する。 【構成】音声信号SAをディジタル信号に変換した後に
判別回路13に供給して、有音部であるか無音部である
かを判別し、その判別信号SDを時間決定回路14に供
給する。時間決定回路14では、遅延回路17で時間調
整された音声信号SADの有音部及び無音部に対応した
タイミング信号STを得ると共に、有音部及び無音部の
時間データDTa,DTbを得る。タイミング信号ST
を符号化回路15に供給して音声信号SADの有音部を
圧縮符号化する。時間データDTa,DTbを符号化回
路16で符号化する。符号化回路15,16で得られる
符号化信号をフレーム化回路18に供給し、これらの符
号化信号を関連付けて適当なフォーマットに配置する。
音声信号の無音部は圧縮符号化をせずその継続時間のデ
ータのみを符号化するため、効率の良い符号化が可能と
なる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、音声符号化装置およ
びその符号化信号を復号化するための復号化装置に関す
る。
【0002】
【従来の技術】通常、音声信号を符号化して伝送する場
合、有音部および無音部に関係なく、直接ADPCM
(Adaptive Differential Pulse Code Modulation)、
SBC(Sub-Band Coding)、DCT(離散コサイン変
換)等の圧縮符号化を行なうことが多い。
【0003】
【発明が解決しようとする課題】しかし、一般には音声
信号に無音部の占める割合がかなりあり、効率の良い符
号化が行なわれているとは言いがたかった。
【0004】そこで、この発明では、効率の良い符号化
を行い得る音声符号化装置およびその符号化信号の復号
化装置を提供するものである。
【0005】
【課題を解決するための手段】第1の発明に係る音声符
号化装置は、入力音声信号が有音部であるか無音部であ
るかを判別する判別手段と、この判別手段で有音部と判
別される入力音声信号の部分を圧縮符号化して第1の符
号化信号を得る第1の符号化手段と、少なくとも判別手
段で無音部と判別される入力音声信号の部分の時間を示
すデータを符号化して第2の符号化信号を得る第2の符
号化手段とを備えるものである。
【0006】第2の発明に係る音声復号化装置は、第1
の発明の音声符号化装置で得られる第1および第2の符
号化信号をそれぞれ復号化する第1および第2の復号化
手段と、第1の復号化手段より得られる有音部の音声信
号の間に第2の復号化手段より得られる無音部の時間だ
け無音信号を挿入する信号出力手段とを備えるものであ
る。
【0007】
【作用】第1の発明においては、入力音声信号の有音部
の部分のみ圧縮符号化し、その無音部の部分は圧縮符号
化をせずにその時間のデータのみを符号化するものであ
り、効率の良い符号化を行なうことが可能となる。これ
により、記録(伝送)レートを減少させることが可能と
なる。
【0008】第2の発明においては、復号化して得られ
る有音部の音声信号の間に復号化して得られる無音部の
時間だけ無音信号を挿入するものであり、符号化前の音
声信号を良好に得ることが可能となる。
【0009】
【実施例】以下、図面を参照しながら、この発明の一実
施例について説明する。図1は、音声符号化装置を示す
ブロック図である。
【0010】図において、入力端子11に供給される音
声信号SAはA/D変換器12でディジタル信号に変換
された後に、音声信号SAが有音部(音声レベルの存在
する部分)であるか無音部(音声レベルの存在しない部
分)であるかを判別する有音部/無音部判別回路13に
供給される。図2は、判別回路13の構成例を示してい
る。
【0011】図2において、音声信号SAは絶対値回路
13aに供給されて絶対値化される。この絶対値回路1
3aで絶対値化された音声信号|SA|はコンパレータ
13bのA入力端に供給され、そのB入力端に供給され
るしきい値Vthと比較される。コンパレータ13bから
は、|SA|≧Vthであるときはハイレベル「H」の信
号が出力され、|SA|<Vthであるときはローレベル
「L」の信号が出力される。そのため、コンパレータ1
3bの出力信号は、音声信号SAが有音部で0レベルを
交差する場合および無音部でそれぞれローレベル「L」
となる。
【0012】コンパレータ13bの出力信号はDフリッ
プフロップで構成されるラッチ回路13c〜13eの直
列回路に供給され、これらラッチ回路13c〜13eの
出力信号はオア回路13fに供給される。これにより、
オア回路13fの出力信号として、有音部で0レベルを
交差する部分のローレベル「L」が除去されたものが得
られる。このオア回路13fの出力信号はラッチ回路1
3gを介して有音部と無音部との判別信号SDとして出
力される。
【0013】図3は判別回路13の各部信号を示してい
る。同図Aは音声信号SA、同図Bはコンパレータ13
bの出力信号、同図C〜Eはそれぞれラッチ回路13c
〜13eの出力信号、同図Fはオア回路13fの出力信
号、同図Gはラッチ回路13gより出力さされる判別信
号SDを示している。
【0014】図1に戻って、判別回路13より出力され
る判別信号SDは時間決定回路14に供給される。図4
は時間決定回路14の構成例を示しており、CPU14
aおよび時計回路14bで構成されている。
【0015】判別回路13より出力される判別信号SD
はCPU14aに供給される。CPU14aでは、時計
回路14bより出力される時刻データを参照して、判別
信号SDの立ち上がり時刻(有音部の開始時刻)および
立ち下がり時刻(有音部の終了時刻)が計測される。す
なわち、音声信号SAが図5Aに示すようであるとき、
判別信号SDは同図Bに示すように得られるため、時刻
t1が有音部の開始時刻、時刻t2が有音部の終了時刻、
時刻t3が有音部の開始時刻として計測される。
【0016】そして、CPU14aでは、後述する遅延
回路で遅延された音声信号SAD(図5Cに図示、DT
は遅延回路の遅延時間)の有音部に対応してハイレベル
「H」となり、無音部に対応してローレベル「L」とな
るタイミング信号ST(同図Dに図示)が形成される。
この場合、判別回路13で検出され有音部が前後に所定
時間ΔTだけ拡張される。すなわち、有音部の時間T
a′はTa+2ΔTとなり、無音部の時間Tb′はTb
−2ΔTとなる。このように有音部の時間を前後に所定
時間ΔTだけ拡張するのは、判別回路13ではしきい値
処理でもって有音部を判別しており、有音部の開始部分
および終了部分の微小振幅部分が欠落するのを防止する
ためである。
【0017】CPU14aからは、時間決定回路14の
出力信号として、タイミング信号STが出力されると共
に、時間Ta′,Tb′のデータDTa,DTbが順次
出力される。
【0018】図1に戻って、時間決定回路14より出力
されるタイミング信号STは符号化回路15および16
に供給されると共に、データDTa,DTbは符号化回
路16に供給される。また、A/D変換器12より出力
される音声信号SAは遅延回路17に供給され、この遅
延回路17でDTだけ遅延された音声信号SAD(図5
C参照)は符号化回路15に供給される。ここで、遅延
時間DTは、時間決定回路14で、時間Ta′,Tb′
を決定するのに必要な時間および所定時間ΔTを考慮し
て設定される。
【0019】符号化回路15では、音声信号SADの有
音部がADPCM、SBC、DCT等の従来周知の符号
化方式で圧縮符号化される。この符号化回路15より出
力される有音部の符号化信号はフレーム化回路18に供
給される。
【0020】符号化回路16では、時間Ta′,Tb′
のデータDTa,DTbの符号化が行なわれる。
【0021】図6は、符号化回路16の構成例を示して
いる。図において、161aは平均値回路であり、この
平均値回路161aにはデータDTa,DTbが供給さ
れて予め一定期間内のデータDTa,DTbの平均値D
Taa ,DTbaが求められる。平均値回路161aより
出力される平均値DTaa ,DTbaは量子化回路161
bに供給されて量子化データQTaa,QTbaが得られ
る。
【0022】また、161cはラッチ回路であり、この
ラッチ回路161cには時間Ta′,Tb′のデータD
Ta,DTbが供給される。このラッチ回路161cに
はタイミング信号STが供給され、その立ち上がりのタ
イミングでラッチ動作が行なわれる。これにより、符号
化回路15で圧縮符号化が行なわれる有音部の時間T
a′のデータDTaおよびその有音部に続く無音部の時
間Tb′のデータDTbがラッチされる。
【0023】ラッチ回路161cでラッチされるデータ
DTa,DTbは減算回路161dに供給されて平均値
DTaa,DTabとの減算が行なわれる。減算回路161
dより出力される差分値Δaa,Δbaは量子化回路161
eに供給されて量子化データQΔaa,QΔbaが得られ
る。量子化回路161bより出力される量子化データQ
Taa,QTbaおよび量子化回路161eより出力される
量子化データQΔaa,QΔbaは、符号化信号としてフレ
ーム化回路18に供給される。
【0024】図7は、符号化回路16の他の構成例を示
している。図において、162aはラッチ回路であり、
このラッチ回路162aにはデータDTa,DTbが供
給される。このラッチ回路162aでは、符号化回路1
5で圧縮符号化が行なわれる最初の有音部の時間Ta′
のデータDTaおよびその有音部に続く無音部の時間T
b′のデータDTbが初期値DTa0,DTb0としてラッ
チされる。このラッチ回路162aより出力される初期
値DTa0,DTb0は量子化回路162bに供給されて量
子化データQTa0,QTb0が得られる。
【0025】また、162cはラッチ回路であり、この
ラッチ回路162cには時間Ta′,Tb′のデータD
Ta,DTbが供給される。このラッチ回路162cに
はタイミング信号STが供給され、その立ち上がりのタ
イミングでラッチ動作が行なわれる。これにより、符号
化回路15で圧縮符号化が行なわれる有音部の時間T
a′のデータDTaおよびその有音部に続く無音部の時
間Tb′のデータDTbがラッチされる。
【0026】ラッチ回路162cでラッチされるデータ
DTa,DTbは減算回路162dに供給されて初期値
DTa0,DTb0との減算が行なわれる。減算回路161
dより出力される差分値Δa0,Δb0は量子化回路162
eに供給されて量子化データQΔa0,ΔQb0が得られ
る。量子化回路162bより出力される量子化データQ
Ta0,QTb0および量子化回路162eより出力される
量子化データQΔa0,QΔb0は、符号化信号としてフレ
ーム化回路18に供給される。
【0027】フレーム化回路18では、符号化回路15
より出力される有音部の圧縮符号化信号と、符号化回路
16より出力されるその有音部およびそれに続く無音部
の時間Ta′,Tb′のデータDTa,DTbの符号化
信号とが関連付けられて適当なフォーマットで配置され
る。
【0028】ここで、図6の符号化回路16が用いられ
る場合には、最初に圧縮符号化される有音部の符号化信
号と関連して量子化データQTaa,QTbaおよびQΔa
a,QΔbaが配され、2回目以降に圧縮符号化された有
音部の符号化信号と関連して量子化データQΔaa,QΔ
baのみが配される。
【0029】また、図7の符号化回路16が用いられる
場合には、最初に圧縮符号化された有音部の符号化信号
と関連して量子化データQTa0,QTb0が配され、2回
目以降に圧縮符号化された有音部の符号化信号と関連し
て量子化データQΔa0,QΔb0が配される。
【0030】フレーム化回路18より出力端子19に導
出されるフレーム化されたデータは、図示せずもエラー
訂正符号化やチャネル符号化が行なわれ、記録あるいは
伝送されることになる。
【0031】図1の音声符号化装置では、音声信号SA
Dの有音部のみ圧縮符号化され、その無音部は圧縮符号
化されずにその継続時間のデータのみが符号化されるた
め、効率の良い符号化を行なうことができる。これによ
り、記録(伝送)レートを減少させることができる等の
利益がある。
【0032】図8は、図1の音声符号化装置の出力信号
を復号し、元の音声信号を得るための音声復号化装置を
示すブロック図である。図において、入力端子21に供
給されるフレーム化されたデータ(図1のフレーム化回
路18の出力信号)はフレーム分解回路22に供給され
る。
【0033】フレーム分解回路22より出力される有音
部の圧縮符号化信号は復号化回路23に供給されて復号
化される。そして、復号化回路23で復号化された有音
部の音声信号はFIFO型のメモリ24に順次書き込ま
れる。ここで、復号化回路23より復号化された有音部
の音声信号が出力されるとき、復号化回路23より書き
込みアドレス発生回路25に制御信号が供給されて、書
き込みアドレスWADが順次発生され、メモリ24に復
号化された有音部の音声信号の書き込みが行なわれる。
【0034】また、フレーム分解回路22より復号化回
路23で復号化される有音部およびそれに続く無音部の
時間Ta′,Tb′のデータDTa,DTbの符号化信
号が復号化回路26に供給され、この復号化回路26で
は復号化処理でデータDTa,DTbが得られる。そし
て、この復号化回路26より読み出しアドレス発生回路
27に制御信号が供給され、時間Ta′の間は読み出し
アドレスRADが順次発生され、メモリ24より有音部
の音声信号の読み出しが行なわれると共に、それに続く
時間Tb′の間は読み出しアドレスRADの発生が停止
され、メモリ24より実質的に無音信号が読み出された
と同様の状態となる。
【0035】上述したメモリ24への復号化された有音
部の音声信号の書き込みと、この音声信号の有音部の時
間Ta′での読み出しおよびそれに続く時間Tb′の間
の読み出し停止の動作は、各有音部毎に繰り返し行なわ
れる。この場合、時間Tb′が終了する前に少なくとも
次の有音部の音声信号のメモリ24への書き込みが開始
される必要がある。
【0036】メモリ24の出力側には有音部および無音
部の音声信号が交互に連続して得られる。このメモリ2
4の出力信号はD/A変換器28でアナログ信号に変換
され、出力端子29には符号化前の音声信号SAが得ら
れる。
【0037】なお、図8の例においては、メモリ24の
読み出しを停止して無音部の音声信号を再現するもので
あるが、メモリ24に無音部の時間Tb′だけ無音信号
を書き込んでおき、メモリ24の読み出しは連続的に行
なうことも考えられる。
【0038】また、上記実施例では、無音部の時間T
b′のデータDTbの他に有音部の時間Ta′のデータ
DTaをも符号化するものを示したが、音声復号化装置
が図8の例とは異なり、データDTaを不要とするもの
であるときは、このデータDTaの符号化は必要でなく
なる。
【0039】
【発明の効果】第1の発明によれば、入力音声信号の有
音部のみ圧縮符号化し、その無音部は圧縮符号化をせず
にその継続時間のデータのみを符号化するものであり、
効率の良い符号化を行なうことができ、記録(伝送)レ
ートを減少させることが可能となる。
【0040】また、有音部を前後に拡張することで、有
音部の開始部分および終了部分の微小振幅部分が欠落す
ることを防止できる。また、有音部および無音部の時間
データの符号化信号を2回目以降は差分値の量子化デー
タとすることで、符号化の効率をさらに高めることがで
きる。
【0041】第2の発明によれば、復号化して得られる
有音部の音声信号の間に復号化して得られる無音部の時
間だけ無音信号を挿入するものであり、符号化前の音声
信号を良好に得ることができる。
【図面の簡単な説明】
【図1】この発明の実施例としての音声符号化装置の構
成を示すブロック図である。
【図2】音声符号化装置の判別回路の構成例を示すブロ
ック図である。
【図3】判別回路の動作を説明するための図である。
【図4】音声符号化装置の時間決定回路の構成例を示す
ブロック図である。
【図5】時間決定回路の動作を説明するための図であ
る。
【図6】音声符号化装置の符号化回路の構成例を示すブ
ロック図である。
【図7】音声符号化装置の符号化回路の他の構成例を示
すブロック図である。
【図8】この発明の実施例としての音声復号化装置の構
成を示すブロック図である。
【符号の説明】
11,21 入力端子 13 有音部/無音部判別回路 14 時間決定回路 15,16 符号化回路 17 遅延回路 18 フレーム化回路 19,29 出力端子 22 フレーム分解回路 23,26 復号化回路 24 メモリ 25 書き込みアドレス発生回路 27 読み出しアドレス発生回路

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 入力音声信号が有音部であるか無音部で
    あるかを判別する判別手段と、 上記判別手段で有音部と判別される上記入力音声信号の
    部分を圧縮符号化して第1の符号化信号を得る第1の符
    号化手段と、 少なくとも上記判別手段で無音部と判別される上記入力
    音声信号の部分の時間を示すデータを符号化して第2の
    符号化信号を得る第2の符号化手段とを備えることを特
    徴とする音声符号化装置。
  2. 【請求項2】 上記判別手段で判別される上記入力音声
    信号の有音部の時間を実質的に前後に所定時間拡張する
    有音部拡張手段を備えることを特徴とする請求項1記載
    の音声符号化装置。
  3. 【請求項3】 上記第2の符号化信号は、上記時間の平
    均値および上記時間と平均値の差分値を示すデータを量
    子化してなることを特徴とする請求項1記載の音声符号
    化装置。
  4. 【請求項4】 上記第2の符号化信号は、上記時間の初
    期値および上記時間と初期値の差分値を示すデータを量
    子化してなることを特徴とする請求項1記載の音声符号
    化装置。
  5. 【請求項5】 請求項1記載の音声符号化装置で得られ
    る第1および第2の符号化信号をそれぞれ復号化する第
    1および第2の復号化手段と、 上記第1の復号化手段より得られる有音部の音声信号の
    間に上記第2の復号化手段より得られる無音部の時間だ
    け無音信号を挿入する信号出力手段とを備えることを特
    徴とする音声復号化装置。
JP21589693A 1993-08-31 1993-08-31 音声符号化装置およびその符号化信号の復号化装置 Expired - Lifetime JP3227929B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21589693A JP3227929B2 (ja) 1993-08-31 1993-08-31 音声符号化装置およびその符号化信号の復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21589693A JP3227929B2 (ja) 1993-08-31 1993-08-31 音声符号化装置およびその符号化信号の復号化装置

Publications (2)

Publication Number Publication Date
JPH0774650A true JPH0774650A (ja) 1995-03-17
JP3227929B2 JP3227929B2 (ja) 2001-11-12

Family

ID=16680054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21589693A Expired - Lifetime JP3227929B2 (ja) 1993-08-31 1993-08-31 音声符号化装置およびその符号化信号の復号化装置

Country Status (1)

Country Link
JP (1) JP3227929B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159195A (ja) * 1995-06-12 1996-06-18 Nabeya Kogyo Kk スプリング及びその製造方法
US5873058A (en) * 1996-03-29 1999-02-16 Mitsubishi Denki Kabushiki Kaisha Voice coding-and-transmission system with silent period elimination
CN1097775C (zh) * 1997-06-06 2003-01-01 艾利森电话股份有限公司 多数表决电路以及多数表决电路的测试和维护
CN1127053C (zh) * 1995-09-30 2003-11-05 三星电子株式会社 用于鉴别话音信号的非话音和清音的方法和装置
KR100776432B1 (ko) * 2005-08-16 2007-11-16 주식회사 팬택 오디오 기록 재생 장치 및 그 장치에서 실행 가능한 압축률개선을 위한 오디오 코딩 방법
JP2011130470A (ja) * 2005-10-05 2011-06-30 Lg Electronics Inc 信号処理方法及び装置、エンコーディング及びデコーディング方法並びにそのための装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159195A (ja) * 1995-06-12 1996-06-18 Nabeya Kogyo Kk スプリング及びその製造方法
CN1127053C (zh) * 1995-09-30 2003-11-05 三星电子株式会社 用于鉴别话音信号的非话音和清音的方法和装置
US5873058A (en) * 1996-03-29 1999-02-16 Mitsubishi Denki Kabushiki Kaisha Voice coding-and-transmission system with silent period elimination
CN1097775C (zh) * 1997-06-06 2003-01-01 艾利森电话股份有限公司 多数表决电路以及多数表决电路的测试和维护
KR100776432B1 (ko) * 2005-08-16 2007-11-16 주식회사 팬택 오디오 기록 재생 장치 및 그 장치에서 실행 가능한 압축률개선을 위한 오디오 코딩 방법
JP2011130470A (ja) * 2005-10-05 2011-06-30 Lg Electronics Inc 信号処理方法及び装置、エンコーディング及びデコーディング方法並びにそのための装置

Also Published As

Publication number Publication date
JP3227929B2 (ja) 2001-11-12

Similar Documents

Publication Publication Date Title
US5251261A (en) Device for the digital recording and reproduction of speech signals
JP3227929B2 (ja) 音声符号化装置およびその符号化信号の復号化装置
US4944012A (en) Speech analyzing and synthesizing apparatus utilizing differential value-based variable code length coding and compression of soundless portions
JP4508599B2 (ja) データ圧縮方法
JP3343002B2 (ja) 音声帯域情報伝送装置
JPS6122370B2 (ja)
JP2005532585A (ja) オーディオコーディング
KR0141237B1 (ko) 음성신호 기록/재생방법 및 그 장치
JP2905215B2 (ja) 録音再生装置
JP2713163B2 (ja) 動画像符号化装置および動画像蓄積装置
JP2947685B2 (ja) 音声コーデック装置
JP2002287800A (ja) 音声信号処理装置
JP2582762B2 (ja) 無音圧縮音声録音装置
JP2848610B2 (ja) 音声分析合成装置
KR100776432B1 (ko) 오디오 기록 재생 장치 및 그 장치에서 실행 가능한 압축률개선을 위한 오디오 코딩 방법
JP3325277B2 (ja) 音声符号化装置
JP2582947Y2 (ja) 音声信号符号化装置
JP3035948B2 (ja) 音声データ再生方法
JP2000078274A (ja) 可変レ―ト符号化システムのためのメッセ―ジ記録装置および可変レ―ト符号化システムにおいてサイズ縮小メッセ―ジを記録する方法
JP2602641B2 (ja) 音声符号化方式
JPH01261700A (ja) 音声符号化方式
JPH0518119B2 (ja)
JPH07111458A (ja) 音声圧縮方法および装置
JPS58128000A (ja) 音声パラメ−タ符号化方式
JPS5919000A (ja) 音声分析合成装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20080907

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20090907

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20090907

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20100907

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110907

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120907

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130907

Year of fee payment: 12