JP4116628B2 - オーディオ符号化方法およびオーディオ符号化装置 - Google Patents
オーディオ符号化方法およびオーディオ符号化装置 Download PDFInfo
- Publication number
- JP4116628B2 JP4116628B2 JP2005031967A JP2005031967A JP4116628B2 JP 4116628 B2 JP4116628 B2 JP 4116628B2 JP 2005031967 A JP2005031967 A JP 2005031967A JP 2005031967 A JP2005031967 A JP 2005031967A JP 4116628 B2 JP4116628 B2 JP 4116628B2
- Authority
- JP
- Japan
- Prior art keywords
- scale
- quantization
- factor
- scale factor
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、時間周波数変換されたオーディオ信号について、周波数帯域における予め定められた区間毎にその区間内のスペクトルを量子化する処理を伴う、例えばＡＡＣ（Advanced Audio Coding）やＭＰ３（MPEG-1 Audio Layer-3）などのオーディオ符号化方法およびこの符号化方法で符号化を行うオーディオ符号化装置に関する。
非特許文献１は、ＡＡＣについて規定している。この非特許文献１では、量子化について次の(1)式を規定している。
mdct_line：量子化前のＭＤＣＴ係数
x：量子化後のＭＤＣＴ係数
これを基に、実際の量子化誤差が許容量子化誤差を越えないための条件は(2)式のようになる。
x：量子化後のＭＤＣＴ係数
これを基に、実際の量子化誤差が許容量子化誤差を越えないための条件は(2)式のようになる。
b：スケールファクターバンドインデックス
thr[b］：スケールファクターバンドｂの許容量子化誤差（Masking Threshold）
w_high[b］：スケールファクターｂの最も高域側のＭＤＣＴ係数インデックス
w_low[b］：スケールファクターｂの最も低域側のＭＤＣＴ係数インデックス
scale_factor[b］：スケールファクターｂのスケールファクター
global_gain：グローバルゲイン
(2)式を変形することにより下記(3)式が得られる。
thr[b］：スケールファクターバンドｂの許容量子化誤差（Masking Threshold）
w_high[b］：スケールファクターｂの最も高域側のＭＤＣＴ係数インデックス
w_low[b］：スケールファクターｂの最も低域側のＭＤＣＴ係数インデックス
scale_factor[b］：スケールファクターｂのスケールファクター
global_gain：グローバルゲイン
(2)式を変形することにより下記(3)式が得られる。
この(3)式における第二項および第三項は、スケールファクターバンド毎に同一の値であり、スケールファクターバンド毎の量子化ステップサイズの相対的な差分には寄与しない。そこで、(3)式より定数項を削除することにより、(4)式が得られる。この(4)式により、スケールファクターを求めるものとする。
ビットレートが充分に大きい場合には、(4)式によって算出されたスケールファクターによる量子化によって、概ね許容量子化誤差量（thr[b]）を満たすことができる。しかし、ビットレートが低くなると許容量子化誤差量を満たすことが困難になる。
非特許文献２には、ビットレートが低い状況で許容量子化誤差量を満たすために、許容量子化誤差量にノイズを混入させて、許容量子化誤差量が大きくなるように補正してからスケールファクターを求める方法が規定されている。この補正は、次のような(5)式によって行われる。
new_thr[b］：スケールファクターバンドｂにおける補正された許容量子化誤差
r：ノイズ（全スケールファクターバンドで共通）
「Advanced Audio Coding(AAC)」，ISO/IEC 13818-7 Information technology -Generic coding of moving pictures and associated audio information-，国際標準化機構／国際電気標準会議，１９９７年１２月１日 「3rd Generation Partnership Project; Technical Specification Group Service and System Aspects; General Audio Codec audio processing functions; Enhanced aacPlus general audio codec; Encoder Specification AAC part (Release 6)」，3GPP TS 26.403 V6.0.0，3rd Generation Partnership Project，２００４年９月
r：ノイズ（全スケールファクターバンドで共通）
「Advanced Audio Coding(AAC)」，ISO/IEC 13818-7 Information technology -Generic coding of moving pictures and associated audio information-，国際標準化機構／国際電気標準会議，１９９７年１２月１日 「3rd Generation Partnership Project; Technical Specification Group Service and System Aspects; General Audio Codec audio processing functions; Enhanced aacPlus general audio codec; Encoder Specification AAC part (Release 6)」，3GPP TS 26.403 V6.0.0，3rd Generation Partnership Project，２００４年９月
しかしながら、(5)式は許容量子化誤差thr[b]を１／４乗する計算を含んでいるため、有限語長処理するには比較的負荷が大きくなってしまう。
本発明はこのような事情を考慮してなされたものであり、その目的とするところは、補正されたスケールファクターに基づくスケーリング処理を簡易な処理により実現することが可能なオーディオ符号化方法およびオーディオ符号化装置を提供することにある。
本発明の一態様によるオーディオ符号化方法は、以上の目的を達成するために本発明は、時間周波数変換されたオーディオ信号について、周波数帯域における予め定められた区間毎にその区間内のスペクトルを量子化する処理を伴うオーディオ符号化方法において、前記区間毎に、前記量子化における量子化ステップサイズを、量子化誤差が許容量子化誤差を越えないように決定するためのスケールファクターを算出し、前記区間毎に、その区間について算出されたスケールファクターをscale_factor[b]、ビットレート（bps）をBitrate、サンプリング周波数（Hz）または帯域制限周波数をFs、チャネル数をCh、補正係数をMAGIC_NUMBERと表すときに、
なる式により補正されたスケールファクターnew_scale_factor[b]を求め、前記量子化に先立ち、前記区間毎にその区間内のスペクトルを、その区間について求められた前記補正されたスケールファクターnew_scale_factor[b]に基づいてスケーリングすることとした。
本発明の別態様によるオーディオ符号化装置は、時間周波数変換されたオーディオ信号について、周波数帯域における予め定められた区間毎にその区間内のスペクトルを量子化する処理を伴うオーディオ符号化を行うオーディオ符号化装置において、前記区間毎に、前記量子化における量子化ステップサイズを、量子化誤差が許容量子化誤差を越えないように決定するためのスケールファクターを算出する手段と、前記区間毎に、その区間について算出されたスケールファクターをscale_factor[b]、ビットレート（bps）をBitrate、サンプリング周波数（Hz）または帯域制限周波数をFs、チャネル数をCh、補正係数をMAGIC_NUMBERと表すときに、
なる式により補正されたスケールファクターnew_scale_factor[b]を求める手段と、前記量子化に先立ち、前記区間毎にその区間内のスペクトルを、その区間について求められた前記補正されたスケールファクターnew_scale_factor[b]に基づいてスケーリングする手段とを備えた。
本発明によれば、補正されたスケールファクターに基づくスケーリング処理を簡易な処理により実現することが可能となる。
以下、図面を参照して本発明の一実施形態について説明する。
図１は本実施形態に係るオーディオ符号化装置（以下、符号化装置と称する）のブロック図である。
この符号化装置は、入力されるＰＣＭ信号に対して符号化処理を行い、符号化ビットストリームを出力するものである。この符号化装置は、ブロック切り出し部１、心理聴覚モデル部２、フィルタバンク部３、量子化歪み／レート制御部４、ホストプロセッサ５、スケーリング部６、量子化部７、符号化部８およびフォーマッタ９を含む。なお、これらの各部は、ハードウェアによりそれぞれを構成することも可能であるし、各部の機能をＤＳＰ（Digital Signal Processor）等によるソフトウェア処理によって実現することも可能である。
ブロック切り出し部１には、符号化の対象となるＰＣＭ信号が与えられる。このＰＣＭ信号は、時間域の信号である。ブロック切り出し部１は、このＰＣＭ信号から規定のブロックサイズのサンプル数毎にデータを切り出す。そしてブロック切り出し部１は、この切り出した信号を出力する。
心理聴覚モデル部２は、ブロック切り出し部１が出力する信号に対してＤＦＴ（Discrete Fourier Transform）、ＤＣＴ（Discrete Cosine Transform）、あるいはＭＤＣＴ（Modified DCT）等の直交変換を行い、これにより時間域の信号から周波数領域の信号に変換する。心理聴覚モデル部２は、上記の直交変換により得られる変換係数（周波数成分）から知覚エントロピーと呼ばれるパラメータを計算する。このパラメータは、上記の変換係数から、聴感上の周波数分解能、周波数成分の拡散、予測不能性、信号の調音性（tonality）を解析することにより１ブロックを符号化するのに必要とされる情報量を推定するためのものであり、計算方法の詳細はＩＳＯ／ＩＥＣにより制定された国際標準規格13818-7にて規定されている。
ところで心理聴覚モデル部２は、ブロック切替え部２ａおよびＳＭＲ算出部２ｂを有する。ブロック切替え部２ａは、上記の知覚エントロピーに基づいて、実際に符号化する時の直交変換処理（ＭＤＣＴ処理）で用いるブロック長を判定する。ブロック切替え部２ａは、この判定の結果を示したブロック長情報をフィルタバンク部３へ出力する。ＳＭＲ算出部２ｂは、聴覚上の周波数分解能を考慮した尺度（バーク、メル等）での等間隔の帯域毎に、信号に対してマスクされる音、つまりノイズとして存在しても知覚されない許容雑音の量の比を示すＳＭＲ（Signal to Mask Ratio）を算出する。ＳＭＲ算出部２ｂは、上記算出したＳＭＲを、量子化歪み／レート制御部４へ出力する。
フィルタバンク部３は、ブロック切り出し部１の出力信号を、心理聴覚モデル部２から出力されるブロック長情報に従って直交変換する。フィルタバンク部３は、上記の直交変換により得られた周波数変換係数を出力する。なお、符号化方式としてＡＡＣを採用している場合、フィルタバンク部３での直交変換はＭＤＣＴとなる。ＭＤＣＴにより得られた周波数変換係数は、ＭＤＣＴ係数とも呼ばれる。
量子化歪み／レート制御部４は、ホストプロセッサ５が指示する符号化レートと、心理聴覚モデル部２が出力するＳＭＲとに基づいて、フレーム毎に割当可能な符号量を算出する。量子化歪み／レート制御部４は、上記算出した符号量を符号化フレームの目標符号量として、スケーリング部６、量子化部７および符号化部８を制御する。例えば量子化歪み／レート制御部４は、量子化部７から与えられる量子化係数から量子化歪み量を算出し、その結果に応じて量子化部７へと出力指示を与える。また量子化歪み／レート制御部４は、符号化部８から通知される符号量が上記目標符号量以内であるか否かを確認し、目標符号量以内であるときに符号化部８へと出力指示を与える。
スケーリング部６は、フィルタバンク部３から出力される周波数変換係数（ＭＤＣＴ係数）に基づいてスケーリングファクタを決定する。スケーリング部６は、この決定したスケーリングファクタを用いてフィルタバンク部３から出力される周波数変換係数をスケーリングする。そしてスケーリング部６は、上記のスケーリング後の周波数変換係数を量子化部７へ出力する。またスケーリング部６は、量子化歪み／レート制御部４からの指示に応じてスケーリング係数をフォーマッタ９へ出力する。
量子化部７は、スケーリング部６から出力された周波数変換係数を規定の式に従って補正したのち、全ての周波数変換係数について量子化を行う。量子化部７は、量子化したのちの係数を、量子化歪み誤差がＳＭＲ値に基づく許容誤差であるかを判定するための情報として量子化歪み／レート制御部４へと出力する。量子化部７は、量子化歪み／レート制御部４からの出力指示に応じて、量子化後の周波数変換係数を符号化部８へ出力する。
符号化部８は、量子化部７の出力を所定の符号化方式に従って圧縮符号化する。例えば、ＡＡＣの場合は上述の符号化方式としてハフマン符号化方式が適用される。符号化部８は、符号化後の符号量を量子化歪み／レート制御部４へと出力する。符号化部８は、量子化歪み／レート制御部４からの出力指示に応じて、符号化後の周波数変換係数をフォーマッタ９へ出力する。
フォーマッタ９は、符号化部８の出力とスケーリング部６から出力されるスケーリング係数とを所定のフォーマットに従って多重化する。フォーマッタ９は、上記の多重化の結果を、符号化オーディオ信号として出力する。
次に以上のように構成された符号化装置の動作について説明する。なお、本願発明のポイントは、スケーリング部６における処理にある。そこでここでは、この処理についてＡＡＣを採用することとして詳細に説明する。この他の処理については、ＡＡＣに準拠する既存の符号化装置と同様な処理を適用可能である。
図２は図１中のスケーリング部６における動作フローを示す図である。
スケーリング部６は、フィルタバンク部３から１つのＭＤＣＴ係数が出力されると、このＭＤＣＴ係数に関して図２に示す処理を実行する。
スケーリング部６は、フィルタバンク部３から１つのＭＤＣＴ係数が出力されると、このＭＤＣＴ係数に関して図２に示す処理を実行する。
ステップＳａ１においてスケーリング部６は、スケールファクターバンドインデックスｂに値「０」を代入する。ステップＳａ２においてスケーリング部６は、インデックスｂのスケールファクターバンドに係わるスケールファクターscale_factor[b]を従来と同様に(4)式により算出する。
次にステップＳａ３においてスケーリング部６は、以下の(6)式によって、補正されたスケールファクターnew_scale_factor[b]を算出する。
Bitrate：ビットレート（bps）
Fs：サンプリング周波数（Hz）
Ch：チャネル数
MAGIC_NUMBER：補正係数
なおMAGIC_NUMBERは、任意に定めることが可能であるが、評価などによって求めた適正な値とすることが望ましい。MAGIC_NUMBERは、例えば「０．１５」とすることが想定される。
Fs：サンプリング周波数（Hz）
Ch：チャネル数
MAGIC_NUMBER：補正係数
なおMAGIC_NUMBERは、任意に定めることが可能であるが、評価などによって求めた適正な値とすることが望ましい。MAGIC_NUMBERは、例えば「０．１５」とすることが想定される。
ステップＳａ４においてスケーリング部６は、上述のようにして補正されたスケールファクターnew_scale_factor[b]を用いて、インデックスｂのスケールファクターバンドをスケーリングする。
ステップＳａ５においてスケーリング部６は、スケールファクターバンドインデックスｂの値がスケールファクターバンドインデックスの最大値ｂmaxに到達しているか否かを確認する。スケールファクターバンドインデックスｂの値が最大値ｂmaxに到達していない場合、スケーリング部６はステップＳａ５からステップＳａ６へ進む。ステップＳａ６においてスケーリング部６は、スケールファクターバンドインデックスｂの値を１つ増加させる。こののちにスケーリング部６は、ステップＳａ２以降の処理を繰り返す。
そして、ステップＳａ５にてスケールファクターバンドインデックスｂが最大値ｂmaxに到達していたならば、スケーリング部６はこの処理を終了する。
このようにして、各スケールファクターバンドが、(6)式によって補正されたスケールファクターnew_scale_factor[b]を用いてスケーリングされる。(6)式による補正は、１フレームで利用可能なビット数が少なくなるほど、各スケールファクターバンド毎の量子化ステップサイズの差分を小さくするように働く。これは、１フレームで利用可能なビット数が少なくなるほど、(4)式により算出されるスケールファクターscale_factor[b]の概形の凹凸を抑制することと等価である。
一方、従来の(5)式によって補正された許容量子化誤差new_thr[b]に基づいて求められるスケールファクターの概形は、補正前の許容量子化誤差thr[b]に基づいて求められるスケールファクターの概形に比べて凹凸が少なくなる。すなわち本実施形態におけるスケールファクターの補正は、従来の許容量子化誤差の補正と同様な作用をもたらす。そしてこの結果として本実施形態によれば、ビットレートが低い状況においても、許容量子化誤差量を満たすことが可能となる。しかも本実施形態で補正されたスケールファクターnew_scale_factor[b]を算出するために用いる(6)式は、単純な乗算や除算の組み合わせにより構成されており、(5)式に含まれる１／４乗のような複雑な演算を含まない。このため、(6)式は有限語長処理する場合でも小さな負荷で済み、簡易に行うことができる。
この実施形態は、次のような種々の変形実施が可能である。
帯域制限をした場合には、サンプリング周波数Fsに代えて帯域制限周波数を利用しても良い。
ＭＰ３などのようなＡＡＣ以外の方式を採用する場合にも本発明の適用が可能である。
スケールファクターscale_factor[b]を算出するための式および補正されたスケールファクターnew_scale_factor[b]を算出するための式は、(4)式および(6)式には限定されず、これらの式を変形した式を利用しても良い。特にＭＰ３などのような他方式を採用する場合には、その方式に適合するように各式を変更する必要がある。
帯域制限をした場合には、サンプリング周波数Fsに代えて帯域制限周波数を利用しても良い。
ＭＰ３などのようなＡＡＣ以外の方式を採用する場合にも本発明の適用が可能である。
スケールファクターscale_factor[b]を算出するための式および補正されたスケールファクターnew_scale_factor[b]を算出するための式は、(4)式および(6)式には限定されず、これらの式を変形した式を利用しても良い。特にＭＰ３などのような他方式を採用する場合には、その方式に適合するように各式を変更する必要がある。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
１…ブロック切り出し部、２…心理聴覚モデル部、３…フィルタバンク部、４…量子化歪み／レート制御部、５…ホストプロセッサ、６…スケーリング部、７…量子化部、８…符号化部、９…フォーマッタ。
Claims (2)
- 時間周波数変換されたオーディオ信号について、周波数帯域における予め定められた区間毎にその区間内のスペクトルを量子化する処理を伴うオーディオ符号化方法において、
前記区間毎に、前記量子化における量子化ステップサイズを、量子化誤差が許容量子化誤差を越えないように決定するためのスケールファクターを算出し、
前記区間毎に、その区間について算出されたスケールファクターをscale_factor[b]、ビットレート（bps）をBitrate、サンプリング周波数（Hz）または帯域制限周波数をFs、チャネル数をCh、補正係数をMAGIC_NUMBERと表すときに、
前記量子化に先立ち、前記区間毎にその区間内のスペクトルを、その区間について求められた前記補正されたスケールファクターnew_scale_factor[b]に基づいてスケーリングすることを特徴とするオーディオ符号化方法。 - 時間周波数変換されたオーディオ信号について、周波数帯域における予め定められた区間毎にその区間内のスペクトルを量子化する処理を伴うオーディオ符号化を行うオーディオ符号化装置において、
前記区間毎に、前記量子化における量子化ステップサイズを、量子化誤差が許容量子化誤差を越えないように決定するためのスケールファクターを算出する手段と、
前記区間毎に、その区間について算出されたスケールファクターをscale_factor[b]、ビットレート（bps）をBitrate、サンプリング周波数（Hz）または帯域制限周波数をFs、チャネル数をCh、補正係数をMAGIC_NUMBERと表すときに、
前記量子化に先立ち、前記区間毎にその区間内のスペクトルを、その区間について求められた前記補正されたスケールファクターnew_scale_factor[b]に基づいてスケーリングする手段とを具備したことを特徴とするオーディオ符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005031967A JP4116628B2 (ja) | 2005-02-08 | 2005-02-08 | オーディオ符号化方法およびオーディオ符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005031967A JP4116628B2 (ja) | 2005-02-08 | 2005-02-08 | オーディオ符号化方法およびオーディオ符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006220753A JP2006220753A (ja) | 2006-08-24 |
| JP4116628B2 true JP4116628B2 (ja) | 2008-07-09 |
Family
ID=36983141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005031967A Expired - Fee Related JP4116628B2 (ja) | 2005-02-08 | 2005-02-08 | オーディオ符号化方法およびオーディオ符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4116628B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8290782B2 (en) * | 2008-07-24 | 2012-10-16 | Dts, Inc. | Compression of audio scale-factors by two-dimensional transformation |
| US8200496B2 (en) * | 2008-12-29 | 2012-06-12 | Motorola Mobility, Inc. | Audio signal decoder and method for producing a scaled reconstructed audio signal |
| US8140342B2 (en) * | 2008-12-29 | 2012-03-20 | Motorola Mobility, Inc. | Selective scaling mask computation based on peak detection |
-
2005
- 2005-02-08 JP JP2005031967A patent/JP4116628B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006220753A (ja) | 2006-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101428487B1 (ko) | 멀티 채널 부호화 및 복호화 방법 및 장치 | |
| JP5219800B2 (ja) | コード化されたオーディオの経済的な音量計測 | |
| JP5539203B2 (ja) | 改良された音声及びオーディオ信号の変換符号化 | |
| TWI585749B (zh) | 無損編碼方法 | |
| KR100852482B1 (ko) | 추정을 결정하는 방법 및 장치 | |
| TWI713927B (zh) | 使用尺度參數之降低取樣或內插來編碼及解碼音訊信號之設備及方法 | |
| EP3175457B1 (en) | Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals | |
| JP4639073B2 (ja) | オーディオ信号符号化装置および方法 | |
| JP4116628B2 (ja) | オーディオ符号化方法およびオーディオ符号化装置 | |
| JP2008261999A (ja) | オーディオ復号装置 | |
| JP4625709B2 (ja) | ステレオオーディオ信号符号化装置 | |
| JP4822816B2 (ja) | オーディオ信号符号化装置および方法 | |
| JP2010175633A (ja) | 符号化装置及び方法、並びにプログラム | |
| JP4721355B2 (ja) | 符号化データの符号化則変換方法および装置 | |
| JP2008058727A (ja) | 音声符号化装置 | |
| JP2002182695A (ja) | 高能率符号化方法及び装置 | |
| JP2006201375A (ja) | オーディオ符号化方法およびオーディオ符号化装置 | |
| JP2009193015A (ja) | 符号化装置、復号化装置、符号化方法、復号化方法及びプログラム | |
| JP2001148632A (ja) | 符号化装置、符号化方法、及びその記録媒体 | |
| JP2004021153A (ja) | オーディオ信号符号化装置 | |
| KR101386645B1 (ko) | 모바일 기기에서 지각적 오디오 코딩 장치 및 방법 | |
| CN110534119A (zh) | 一种基于人耳听觉频率尺度信号分解的音频编解码方法 | |
| JP2005351977A (ja) | オーディオ信号符号化装置及びオーディオ信号符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080417 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140425 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |