JP4164824B2 - 音声信号伝送方法及び音声復号方法 - Google Patents

音声信号伝送方法及び音声復号方法 Download PDF

Info

Publication number
JP4164824B2
JP4164824B2 JP2004242809A JP2004242809A JP4164824B2 JP 4164824 B2 JP4164824 B2 JP 4164824B2 JP 2004242809 A JP2004242809 A JP 2004242809A JP 2004242809 A JP2004242809 A JP 2004242809A JP 4164824 B2 JP4164824 B2 JP 4164824B2
Authority
JP
Japan
Prior art keywords
audio signal
data
audio
prediction
linear prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004242809A
Other languages
English (en)
Other versions
JP2005043904A (ja
Inventor
美昭 田中
昭治 植野
徳彦 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2004242809A priority Critical patent/JP4164824B2/ja
Publication of JP2005043904A publication Critical patent/JP2005043904A/ja
Application granted granted Critical
Publication of JP4164824B2 publication Critical patent/JP4164824B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、音声信号を予測符号化して圧縮した音声信号の伝送方法及び音声復号方法に関する。
音声信号を予測符号化する方法として、本発明者は先の出願(特願平9−28
9159号)において1チャネル(チャンネル)の原デジタル音声信号に対して
、特性が異なる複数の予測器により時間領域における過去の信号から現在の信号
の複数の線形予測値を算出し、原デジタル音声信号とこの複数の線形予測値から
予測器毎の予測残差を算出し、予測残差の最小値を選択する方法を提案している
しかしながら、上記方法では原デジタル音声信号がサンプリング周波数=96
kHz、量子化ビット数=20ビット程度の場合にある程度の圧縮効果を得るこ
とができるが、近年のDVDオーディオディスクではこの2倍のサンプリング周
波数(=192kHz)が使用され、また、量子化ビット数も24ビットが使用
される傾向があるので、圧縮率を改善する必要がある。
そこで本発明は、音声信号を予測符号化する場合に圧縮率を改善した音声信号
の伝送方法及び音声復号方法を提供することを目的とする。
本発明は上記目的を達成するために、以下1)及び2)の手段よりなる。
すなわち、
1)少なくともレフト、センタ、ライト、サラウンドレフト及びサラウンドライトの5チャネルを含む第1の複数チャネルのデジタル音声信号を所定のマトリクス演算により互いに同一のサンプリング周波数を有して相関性のある第2の複数チャネルの音声信号に変換するステップと、
前記第2の複数チャネルの音声信号をチャネル毎に、入力される音声信号に応答して、先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
ヘッダ情報と、圧縮PCMプライベートヘッダ及びオーディオ圧縮PCMデータ部を含むユーザデータと、を含んだデータ構造にすると共に、前記ステップにより選択された各チャネルの先頭サンプル値と予測残差と線形予測方法を含む予測符号化データを、前記オーディオ圧縮PCMデータ部内に記録し、前記音声信号のUPC/EAN番号及びISRCデータを前記圧縮PCMプライベートヘッダ内に配置するステップと、からなる音声符号化方法により符号化された音声信号を伝送する音声信号伝送方法であって、
前記選択された先頭サンプル値と予測残差と線形予測方法とを含む予測符号化データと前記音声信号のUPC/EAN番号及びISRCデータをパケット化して伝送することを特徴とする音声信号伝送方法。
2)少なくともレフト、センタ、ライト、サラウンドレフト及びサラウンドライトの5チャネルを含む第1の複数チャネルのデジタル音声信号を所定のマトリクス演算により互いに同一のサンプリング周波数を有して相関性のある第2の複数チャネルの音声信号に変換するステップと、
前記第2の複数チャネルの音声信号をチャネル毎に、入力される音声信号に応答して、先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
ヘッダ情報と、圧縮PCMプライベートヘッダ及びオーディオ圧縮PCMデータ部を含むユーザデータと、を含んだデータ構造にすると共に、前記ステップにより選択された各チャネルの先頭サンプル値と予測残差と線形予測方法を含む予測符号化データを、前記オーディオ圧縮PCMデータ部内に記録し、前記音声信号のUPC/EAN番号及びISRCデータを前記圧縮PCMプライベートヘッダ内に配置するステップと、からなる音声符号化方法により符号化されたデータから元の音声信号を復号する音声復号方法であって、
前記圧縮PCMプライベートヘッダ内に配置するUPC/EAN番号及びISRCデータをデコードするステップと、
前記選択された先頭サンプル値と予測残差と線形予測方法を含むサブフレーム単位の予測符号化データから予測値を算出するステップと、
この算出された予測値から前記第1の複数チャネルのデジタル音声信号を復元するステップと、
からなる音声復号方法。
以上説明したように本発明によれば、複数チャネルの音声信号を相関性のある第2の複数チャネルの音声信号に変換して予測符号化するようにしたので、音声信号を予測符号化する場合に圧縮率を改善し、その改善した音声信号を伝送し復号する
ことができる。
以下、図面を参照して本発明の実施の形態を説明する。図1は本発明を適用した音声符号化装置とそれに対応する音声復号装置の第1の実施形態を示すブロック図、図2は図1の符号化部を詳しく示すブロック図、図3は図1の復号化部を詳しく示すブロック図、図4はDVDのパックのフォーマットを示す説明図、図5はDVDのオーディオパックのフォーマットを示す説明図、図6、図7は音声伝送方法を示すフローチャートである。
ここで、マルチチャネル方式としては次の4つの方式が知られている。
(1)ドルビーサラウンド方式
前方L、C、Rの3チャネル+後方Sの1チャネルの合計4チャネル
(2)ドルビーAC−3方式
前方L、C、R、SWの4チャネル+後方SL、SRの2チャネルの合計6チ
ャネル
(3)DTS(Digital Theater System)方式
ドルビーAC−3方式と同様に6チャネル(L、C、R、SW、SL、SR)
(4)SDDS(Sony Dynamic Digital Sound)方式
前方L、LC、C、RC、R、SWの6チャネル+後方SL、SRの2チャネ
ルの合計8チャネル
図1に示す符号化側の5チャネル(ch)相関回路1は、マルチチャネル信号の
一例としてレフト(L)、センタ(C)、ライト(R)、サラウンドレフト(S
L)及びサラウンドライト(SR)の5chのPCMデータを、Lchを基準として
次の5ch(L)、(D1)〜(D4)に変換して図2に詳しく示す符号化部2に
出力する。
L =L(基準チャネル)
D1=C−(L+R)/2
D2=R−L
D3=SL−a×L
D4=SR−b×R
ただし、0≦a,b≦1
符号化部2は図2に詳しく示すように各ch(L)、(D1)〜(D4)のPC
Mデータを予測符号化し、これを記録媒体や通信媒体を介して復号側に伝送する
。復号側では図3に詳しく示す復号化部3により各ch(L)、(D1)〜(D4
)の予測符号化データを復号し、次いで5チャネル相関回路4により次のように
元の5chを復元する。
R=(R−L)+L
C=C−(L+R)/2+L/2+R/2
SL=SL−a×L+a×L
SR=SR−b×R+b×R
図2を参照して符号化部2について詳しく説明する。各ch(L)、(D1)〜
(D4)のPCMデータは1フレーム毎に1フレームバッファ10に格納される
。そして、1フレームの各chのサンプルデータがそれぞれ予測回路15L、15
D1〜15D4に印加されるとともに、各chの1フレームの先頭サンプルデータ
がフォーマット化回路19に印加される。予測回路15L、15D1〜15D4
はそれぞれ、各ch(L)、(D1)〜(D4)のPCMデータに対して、特性が
異なる複数の予測器(不図示)により時間領域における過去の信号から現在の信
号の複数の線形予測値を算出し、原PCMデータとこの複数の線形予測値から予
測器毎の予測残差を算出する。続くバッファ・選択器16L、16D1〜16D
4はそれぞれ、予測回路15L、15D1〜15D4により算出された各予測残
差を一時記憶して、選択信号生成器17により指定されたサブフレーム毎に予測
残差の最小値を選択する。
選択信号生成器17は予測残差のビット数フラグをパッキング回路18とフォ
ーマット化回路19に対して印加し、また、予測残差が最小の予測器を示す予測
器選択フラグをフォーマット化回路19に対して印加する。パッキング回路18
はバッファ・選択器16L、16D1〜16D4により選択された5ch分の予測
誤差を、選択信号生成器17により指定されたビット数フラグに基づいて指定ビ
ット数でパッキングする。
続くフォーマット化回路19は1フレーム分に対して
・フレームヘッダと、
・各ch(L)、(D1)〜(D4)の1フレームの先頭サンプル値と、
・各ch(L)、(D1)〜(D4)のサブフレーム毎の予測器選択フラグと、
・各ch(L)、(D1)〜(D4)のサブフレーム毎のビット数フラグと、
・各ch(L)、(D1)〜(D4)の予測残差データ列(可変ビット数)とを、
多重化し、可変レートビットストリームとして出力する。このような予測符号
化によれば、原信号が例えばサンプリング周波数=96kHz、量子化ビット数
=24ビット、5チャネルの場合、71%の圧縮率を実現することができる。
次に図3を参照して復号化部3について説明する。上記フォーマットの可変レ
ートビットストリームデータは、デフォーマット化回路21によりフレームヘッ
ダに基づいて分離される。そして、各ch(L)、(D1)〜(D4)の1フレ
ームの先頭サンプルデータと予測器選択フラグはそれぞれ予測回路23L、23
D1〜23D4に印加され、各ch(L)、(D1)〜(D4)のビット数フラ
グと予測残差データ列はアンパッキング回路22に印加される。ここで、予測回
路23L、23D1〜23D4内の複数の予測器(不図示)はそれぞれ、符号化
側の予測回路15L、15D1〜15D4内の複数の予測器と同一の特性であり
、予測器選択フラグにより同一特性のものが選択される。
アンパッキング回路22は各ch(L)、(D1)〜(D4)の予測残差デー
タ列をビット数フラグ毎に基づいて分離してそれぞれ予測回路23L、23D1
〜23D4に出力する。予測回路23L、23D1〜23D4ではそれぞれ、ア
ンパッキング回路22からの各ch(L)、(D1)〜(D4)の今回の予測残
差データと、内部の複数の予測器の内、予測器選択フラグにより選択された各1
つにより予測された前回の予測値が加算されて今回の予測値が算出され、次いで
1フレームの先頭サンプル値を基準として各サンプル値のPCMデータが算出さ
れる。
ここで、図2に示す符号化部2により予測符号化された可変レートビットスト
リームデータを、記録媒体の一例としてDVDオーディオディスクに記録する場
合には、図4に示す圧縮PCMのオーディオ(A)パックにパッキングされる。
このパックは2034バイトのユーザデータ(Aパケット、Vパケット)に対し
て4バイトのパックスタート情報と、6バイトのSCR(System Clock Referen
ce:システム時刻基準参照値)情報と、3バイトのMux レート(rate)情報と1
バイトのスタッフィングの合計14バイトのパックヘッダが付加されて構成され
ている(1パック=合計2048バイト)。この場合、タイムスタンプであるS
CR情報を、ACBユニット内の先頭パックでは「1」として同一タイトル内で
連続とすることにより同一タイトル内のAパックの時間を管理することができる
圧縮PCMのAパケットは図5に詳しく示すように、17、9又は14バイト
のパケットヘッダと、圧縮PCMのプライベートヘッダと、図3に示すフォーマ
ットの1ないし2011バイトのオーディオ圧縮PCMデータにより構成されて
いる。圧縮PCMのプライベートヘッダは、
・1バイトのサブストリームIDと、
・2バイトのUPC/EAN−ISRC(Universal Product Code/European Ar
ticle Number-International Standard Recording Code)番号、及びUPC/E
AN−ISRCデータと、
・1バイトのプライベートヘッダ長と、
・2バイトの第1アクセスユニットポインタと、
・8バイトのオーディオデータ情報(ADI)と
・0〜7バイトのスタッフィングバイトとに、
より構成されている。
また、図2に示す符号化部2により予測符号化された可変レートビットストリ
ームデータをネットワークを介して伝送する場合には、符号化側では図6に示す
ように伝送用にパケット化し(ステップS41)、次いでパケットヘッダを付与
し(ステップS42)、次いでこのパケットをネットワーク上に送り出す(ステ
ップS43)。復号側では図7に示すようにヘッダを除去し(ステップS51)
、次いでデータを復元し(ステップS52)、次いでこのデータをメモリに格納
して復号を待つ(ステップS53)。
次に図8、図9を参照して第2の実施形態について説明する。上記の実施形態
では、1種類の相関性の信号(L)、(D1)〜(D4)を予測符号化するよう
に構成されているが、この第2の実施形態では複数種類の相関性の信号の1種類
を選択的に予測符号化するように構成されている。このため図8に示す符号化部
では、第1〜第nの相関回路1−1〜1−nが設けられ、このn個の相関回路1
−1〜1−nは例えば5ch(L、C、R、SL、SR)のPCMデータを相関性
が異なるn種類の5ch信号に変換する。第nの相関回路1−nは例えば以下のよ
うに変換する。
L =L(基準チャネル)
D1=C−L
D2=R−L
D3=SL−L
D4=SR−R
また、相関回路1−1〜1−n毎に予測回路15L、15D1〜15D4とバ
ッファ・選択器16L、16D1〜16D4が設けられ、グループ毎の予測誤差
の最小値のデータ量に基づいて圧縮率が最も高いグループが相関選択信号生成器
17bにより選択される。このとき、その選択フラグ(相関回路選択フラグ、そ
の相関回路の相関係数a、b)を追加して多重化する。
また、図9に示す復号化側では、符号化側の相関回路1−1〜1−nに対して
n個の相関回路4−1〜4−n(又は係数a、bが変更可能な1つの相関回路4
)が設けられる。なお、図8に示すnグループの予測回路が同一の構成である場
合、復号装置では図9に示すようにnグループ分の予測回路を設ける必要はなく
、1つのグループ分の予測回路でよい。そして、符号化装置から伝送された選択
フラグに基づいて相関回路4−1〜4−nの1つを選択、又は係数a、bを設定
して元の5ch(L、C、R、SL、SR)を復元する。
また、上記の第1の実施形態では、1種類の相関性の信号L、D1〜D4を予
測符号化するように構成されているが、この信号L、D1〜D4のグループと原
信号L、C、R、SL及びSRのグループを予測符号化し、圧縮率が高い方のグ
ループを選択するようにしてもよい。
本発明を適用した音声符号化装置とそれに対応する音声復号装置の第1の実施形態を示すブロック図である。 図1の符号化部を詳しく示すブロック図である。 図1の復号化部を詳しく示すブロック図である。 DVDのパックのフォーマットを示す説明図である。 DVDのオーディオパックのフォーマットを示す説明図である。 音声伝送方法を示すフローチャートである。 音声伝送方法を示すフローチャートである。 第2の実施形態の音声符号化装置を示すブロック図である。 図8に対応した音声復号装置を示すブロック図である。
符号の説明
1,1−1〜1−n,4,4−1〜4−n 相関回路(相関手段)
15L、15D1〜15D4 予測回路(バッファ・選択器16L、16D1
〜16D4と共に予測符号化手段を構成する。)
16L、16D1〜16D4 バッファ・選択器

Claims (2)

  1. 少なくともレフト、センタ、ライト、サラウンドレフト及びサラウンドライトの5チャネルを含む第1の複数チャネルのデジタル音声信号を所定のマトリクス演算により互いに同一のサンプリング周波数を有して相関性のある第2の複数チャネルの音声信号に変換するステップと、
    前記第2の複数チャネルの音声信号をチャネル毎に、入力される音声信号に応答して、先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
    ヘッダ情報と、圧縮PCMプライベートヘッダ及びオーディオ圧縮PCMデータ部を含むユーザデータと、を含んだデータ構造にすると共に、前記ステップにより選択された各チャネルの先頭サンプル値と予測残差と線形予測方法を含む予測符号化データを、前記オーディオ圧縮PCMデータ部内に記録し、前記音声信号のUPC/EAN番号及びISRCデータを前記圧縮PCMプライベートヘッダ内に配置するステップと、からなる音声符号化方法により符号化された音声信号を伝送する音声信号伝送方法であって、
    前記選択された先頭サンプル値と予測残差と線形予測方法とを含む予測符号化データと前記音声信号のUPC/EAN番号及びISRCデータをパケット化して伝送することを特徴とする音声信号伝送方法。
  2. 少なくともレフト、センタ、ライト、サラウンドレフト及びサラウンドライトの5チャネルを含む第1の複数チャネルのデジタル音声信号を所定のマトリクス演算により互いに同一のサンプリング周波数を有して相関性のある第2の複数チャネルの音声信号に変換するステップと、
    前記第2の複数チャネルの音声信号をチャネル毎に、入力される音声信号に応答して、先頭サンプル値を所定時間のフレーム単位で得ると共に、特性が異なる複数の線形予測方法により時間領域の過去から現在の信号の線形予測値がそれぞれ予測され、その予測される線形予測値と前記音声信号とから得られる予測残差が最小となるような線形予測方法を、前記フレームを更に分割したサブフレーム単位に選択して予測符号化するステップと、
    ヘッダ情報と、圧縮PCMプライベートヘッダ及びオーディオ圧縮PCMデータ部を含むユーザデータと、を含んだデータ構造にすると共に、前記ステップにより選択された各チャネルの先頭サンプル値と予測残差と線形予測方法を含む予測符号化データを、前記オーディオ圧縮PCMデータ部内に記録し、前記音声信号のUPC/EAN番号及びISRCデータを前記圧縮PCMプライベートヘッダ内に配置するステップと、からなる音声符号化方法により符号化されたデータから元の音声信号を復号する音声復号方法であって、
    前記圧縮PCMプライベートヘッダ内に配置するUPC/EAN番号及びISRCデータをデコードするステップと、
    前記選択された先頭サンプル値と予測残差と線形予測方法を含むサブフレーム単位の予測符号化データから予測値を算出するステップと、
    この算出された予測値から前記第1の複数チャネルのデジタル音声信号を復元するステップと、
    からなる音声復号方法。
JP2004242809A 2004-08-23 2004-08-23 音声信号伝送方法及び音声復号方法 Expired - Fee Related JP4164824B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004242809A JP4164824B2 (ja) 2004-08-23 2004-08-23 音声信号伝送方法及び音声復号方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004242809A JP4164824B2 (ja) 2004-08-23 2004-08-23 音声信号伝送方法及び音声復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001078123A Division JP3606454B2 (ja) 2001-03-19 2001-03-19 音声信号伝送方法及び音声復号方法

Publications (2)

Publication Number Publication Date
JP2005043904A JP2005043904A (ja) 2005-02-17
JP4164824B2 true JP4164824B2 (ja) 2008-10-15

Family

ID=34270203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004242809A Expired - Fee Related JP4164824B2 (ja) 2004-08-23 2004-08-23 音声信号伝送方法及び音声復号方法

Country Status (1)

Country Link
JP (1) JP4164824B2 (ja)

Also Published As

Publication number Publication date
JP2005043904A (ja) 2005-02-17

Similar Documents

Publication Publication Date Title
JP4164824B2 (ja) 音声信号伝送方法及び音声復号方法
JP3606454B2 (ja) 音声信号伝送方法及び音声復号方法
JP3387089B2 (ja) 音声符号化装置
JP3387091B2 (ja) 光記録媒体、音声伝送方法及び音声復号方法
JP4164826B2 (ja) 音声信号伝送方法及び音声復号方法
JP3354136B2 (ja) 音声符号化方法、音声信号受信方法及び音声復号方法
JP3387090B2 (ja) 音声符号化方法
JP4244223B2 (ja) 音声符号化方法及び音声復号方法
JP3606453B2 (ja) 音声信号伝送方法及び音声復号方法
JP4164825B2 (ja) 音声信号伝送方法及び音声復号方法
JP3606457B2 (ja) 音声信号伝送方法及び音声復号方法
JP4164823B2 (ja) 音声信号伝送方法及び音声復号方法
JP3791800B2 (ja) 光記録媒体及び音声復号装置
JP4151033B2 (ja) 音声符号化方法及び音声復号方法
JP3821381B2 (ja) 音声符号化方法及び音声復号方法
JP4244222B2 (ja) 音声符号化方法及び音声復号方法
JP4151031B2 (ja) 音声符号化方法及び音声復号方法
JP3791799B2 (ja) 光記録媒体及び音声復号装置
JP4148203B2 (ja) 音声信号伝送方法及び音声復号方法
JP4244225B2 (ja) 音声符号化方法及び音声復号方法
JP4591611B2 (ja) 音声符号化方法、音声復号方法及び音声信号伝送方法
JP4587086B2 (ja) 音声符号化方法、音声復号方法及び音声信号伝送方法
JP2000122697A (ja) 音声符号化装置、光記録媒体及び音声復号装置並びに音声伝送方法
JP2004139099A (ja) 光記録媒体及び音声復号装置
JP2008165257A (ja) 音声符号化方法及び音声復号方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080704

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080717

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees