JPH03167927A - 心理的聴覚基準で適応形量子化する変換ディジタルオーディオ放送信号用の信号圧縮装置 - Google Patents

心理的聴覚基準で適応形量子化する変換ディジタルオーディオ放送信号用の信号圧縮装置

Info

Publication number
JPH03167927A
JPH03167927A JP2273473A JP27347390A JPH03167927A JP H03167927 A JPH03167927 A JP H03167927A JP 2273473 A JP2273473 A JP 2273473A JP 27347390 A JP27347390 A JP 27347390A JP H03167927 A JPH03167927 A JP H03167927A
Authority
JP
Japan
Prior art keywords
encoding
signal
information
band
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2273473A
Other languages
English (en)
Other versions
JP3168578B2 (ja
Inventor
Yannick Mahieux
ジァニック マヒュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Etat Francais
Original Assignee
Etat Francais
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Etat Francais filed Critical Etat Francais
Publication of JPH03167927A publication Critical patent/JPH03167927A/ja
Application granted granted Critical
Publication of JP3168578B2 publication Critical patent/JP3168578B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/665Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (産業上の利用分野) この発明の分野はディジタルオーディオ信号の圧縮の分
野である。この発明はディジタルサウンド信号の記憶装
置に適用できるのと同じく、特にディジタルチャネルに
サウンド信号を伝送させることに適用できる。
より詳細には、この発明はビット割り当て装置に関して
おり、ディジタルオーディオ信号が周波数領域に変換さ
れいくつかの周波数帯域に分割された後、この装置によ
りディジタルオーディオ信号の適応形量子化が行われる
この発明は例えば欧州DAB (ディジタルオーディオ
放送)プロジェクトで開発されたような直接衛星放送シ
ステム、または更にISDN放送および高忠実度分配シ
ステムで使用される。この発明は、また特にディジタル
ディスクのような記憶装置にも適用できる。
ディジタルオーディオ信号には、特にサウンドの高忠実
度。初期の品質の保存、使用の柔軟性に関してアナログ
信号より利点が多い。しかし、オーディオ信号をディジ
タルの形に変換したビットレートは、特に信号の品質が
高い場合は非常に高く、その帯域幅は15KHzを越え
る。
従って、ビットレートを下げる技術を使用することが必
要となる。
(従来の技術) 広く普及し知られた方法により、すでに使用されている
技術には元のディジタルオーディオ信号を数学的に変換
するアルゴリズムが使用されている。変換符号化技術は
画像または音声の分野に広く使用されている。ご《最近
では、これらの技術はオーディオ(ほとんどが音楽)信
号の処理にも使用されている。
これらの技術を使用している実際の符号器では、信号は
先ず最初にいくつかの仮のブロックに分割され、その後
時間/周波数変換が行われる。
変換ブロックの係数が符号化され伝送される。復号器で
は、逆変換により復号され復元された信号が得られる。
詐学的な変換を行うことにより1番大きな係数に元の信
号のエネルギが集められ、その結果聴覚の悪化を制御し
最小まで減少させ、特に変換係数の1部を選択して除く
ことによりビットレートを減少させることができる。実
際には、周波数領域での動作はサウンドのスペクトル特
性にほとんど関係している知覚および聴覚の心理的特性
を検討するのに役立つ。ほとんどの実際の装置で心理的
聴覚基準を検討することは聞こえないスペクトル成分を
マスキング(masking)する考えを基礎とした、
1981年、マッソン(Masson) .聴覚心理学
におけるツイッカー(ZWICKER)による分析に基
づいている。
これらの原理に基づいて作られた周知の装置は、次の設
計の好みにより互いに異なっている。
(1)主情報に対し補助情報(サイド情報)を伝送する
か伝送しないか; (2)伝送妨害の影響に打ち勝つ技術を使用するか使用
しないか; (3)ビットレートを減少させ信号の一連の符号化、復
号化を集中して行うために心理的聴覚器基準で検討する
技術; このように、この種の周知の第1の装置では、出願され
たフランス特許番号第8, 906, 194号“サウ
ンド シグナル コーディング メソッド アンド エ
クイップメント(Sound Signal Codi
ngMethod and Equipment)”に
記載されているように、サウンド信号をいくつかの標本
値のブロックに区切ること、時間/周波数変換と各ブロ
ックのl番意味のある係数の符号化を適応予測すること
、信号の静止を使用すること、が連続的に行われている
。この装置ではブロックを変換する間、補助情報が伝送
されており、これによりブロック間の相関を検討するこ
とが可能となる。他のすべての場合、この補助情報は主
信号の量子器に接続されるビット割り当てモジュールを
制t卸するため単独に使用されている。この装置により
ビットレートを下げることができる。しかし、誤りが発
生したとき、受信ブロックの復元に鎖状の劣化が生ずる
が、これはビット割り当て器と復号量子器を制御してい
る補助情報を作るためのループを通して、誤りが次のブ
ロック、その次のブロックと順々に伝わるからである。
その他に、補助情報が適応符号化により各ブロックに伝
送されている装置も知られている。この種の装置は、例
えばポウチョウ( Bochow)の文献“マルチプロ
セッサ インブレメンテーションオブ アン ATC 
 オーディオ コーデック(Multiprocess
or Implementation of an A
TCAudio (:odec)” (1989年IC
ASSP会議の会報、グラスゴー)に記載されている。
この装置の欠点は、補助情報を連続的に符号化するには
、主情報に割り当てたビットレートの悪化に対して、ビ
ットレートを高くする必要があることである。
“IEEE  ジャーナル オン セレクテッド エリ
アズ イン コミュニケーション(Journal○n
Selected Areas in Communi
cation)″,6巻,2号, 1988年,2月,
 314−323ページに記載のジョンストン(Jon
ston)著、゜゜トランスホーム コーディングオブ
 オーディオ シグナルズ ユージング パーセブチュ
アル ノイズ クライテリフ(Transform C
:oding of Audio Signals U
sinPerceptual Noise Crite
ria)”の文献にはビット短縮装置があり、この装置
に使用されている適仄量子器は、主信号の量子器に加え
られる予測アノ1ゴリズムの形をしたツィッカーの分析
による72キングスレショルドを応用したものである。
こぐアルゴリズムでは雑音対マスキングスレショルト比
の最小を探している。ポウチョウの装置と同しく、補助
情報は連続して伝送される。更に、こC装置には量子器
の出力に可変長符号器、すなわ宅ハフマン符号器があり
、その接続は非常に複雑てある。
この発明の目的はこれらの種々の既知の装置C欠点を解
決することである。
(発明の目的) この発明の目的はより詳細には、ディジタルオーディオ
信号の圧縮装置を提供することであり、ビットレートを
大幅に下げるため、信号の伝送または記憶に使われるビ
ットの割り当て装置を使用しており信号の適応量子化の
装置を制御しているが、同時に信号の初めの品質を最大
限保護している。
この発明の他の目的は、こうようなビット割り当て装置
を提供することであり、動作原理には心理的聴覚基準が
考慮されている。
この発明の他の目的は、誤りを生ずる外乱すなわち妨害
が伝送チャネルに生ずるとき、信号の復元における鎖状
の劣化現象を最小にすることである。
この発明の補足的な目的は、この発明の好都合な実施態
様の1つであるが、補助信号のビットレート主情報のビ
ットレートを最適にすることにより主情報と補助情報を
一緒にして伝送する原理を提供することである。
この発明の目的は、更に一定のビット数を情報の各ブロ
ックの符号化に使用できるようにすることである。
(発明の要約) これらの目的は、他の事柄と同じく以下の説明で明らか
になるが、ビット割り当て装置により達成され、この種
の装置により変換ディジタルオーディオ信号の圧縮を量
子化するための装置を制御することができ、ビットレー
トが制限されているチャネルを通して伝送できるように
、またはディジタル情報の媒体となるものに記憶できる
ように設計されており、割り当てが変換信号の全てのス
ペクトラムをカバーしている一組の隣接帯域の中に各帯
域を特に割り当てることと、前記変換信号のスペクトラ
ムの記述に対応した補助情報の関数として、前記信号の
変換係数を表すためのいくつかの特別なビットから構成
されており、前記装置が心理的聴覚基準の関数として、
前記変換信号のスペクトル成分を予め除去する装置によ
り情報を得ている。
補助情報を用意するためスペクトル或分を除去すること
により量子化の操作に対し予め最適化が行われる。都合
の良いことに、前記装置には前記帯域のそれぞれにビッ
トの割り当てを最適にするため、心理的聴覚基準に基づ
くスペクトル成分のマスキングスレショルドを計算する
装置が(既知の方法で)含まれている。
なるべく、前記心理的聴覚基準はツイッキ一の心理的聴
覚マスキング基準に従うほうが良い。
この発明の大きな特徴によれば、量子化の前記装置には
少なくとも2つの異なる量子器と、前記量子器の1つを
前記変換信号のスペクトラムの前記帯域にそれぞれ選択
的に割り当てる装置が含まれており、その割り当て方は
マスク係数の前記除去を行った後の前記帯域内にあるい
くつかの成分の関数によっている。
この発明の好ましい実施態様において、前記装置は前記
帯域のそれぞれに量子化雑音対マスキングスレショルド
比を最小にする装置を含んでいる。
都合の良いことに、前記量子化雑音は次のグループの3
つの情報を少なくとも1つも情報を関数として決められ
ている: (1)前記帯域内で除去されない前記スペクトル成分の
標準偏差; (2)前記帯域のため選択された前記量子器の性能係数
; (3)前記帯域スペクトルの広がりに対する1つの情報
この発明の他の特徴によれば、スペクトル成分を予め除
去する前記装置により与えられる前記の情報は、マスク
された前記のスペクトル成分の指標を符号化するための
連なりの長さの符号化装置により用意されている。
なるべく、前記連なりの長さの符号化装置にはハフマン
タイプの可変長符号を使用することが好ましい。好都合
な特徴によれば、前記連なりの長さの符号化装置により
、周波数帯域を符号化するための特別な符号語を、除去
されている全ての前記成分に与えることができる。
好都合なことに、前記連なりの長さの符号化装置は、前
記符号化により与えられたビットレート利得に対する1
つの情報の関数として、選択装置により動かされている
この発明の他の大きな特徴によれば、前記装置はスペク
トラムの記述に対応した前記補助情報を符号化する装置
と連動している。
このように、主情報のビットレートに対し大きな逆効果
を生ずることなく、補助情報を際限なく伝送することが
可能となる。
なるべく、前記符号化装置には予測符号化装置が含まれ
ていることが好ましい。
このように、鎖状の劣化の生ずる危険性が主清報に関し
ては取り除かれる。この劣化はこの発明では補助情報に
のみ生ずる。
好都合なことに、前記予測符号化装置は対数変換装置、
差分MIC符号化装置、およびハフマンタイプの可変長
符号による符号化装置からなるグループの装置を含んで
いる。
なるべく、前記符号化装置にはメモリのないブロック間
符号化装置が含まれていることが好ましく、前記予測符
号化装置とメモリのない前記符号化装置は予め決められ
た基準により選択されることが好ましい。
好都合なことに、前記の予め決められた基準は最小のど
ットレート基準と、伝送誤りの影響を最小にする基準の
両方または一方のいずれかである。
この発明の好都合な特徴によれば、スペクトラムの記述
に対応した前記補助情報と、聞こえない成分を除去する
前記装置により得られる前記情報と、スペクトルの広が
りに関する1つの情報を含むグループの情報の少なくと
も1つの情報は伝送され、または主情報ブロックのそれ
ぞれと一緒に記憶されている。
この発明の他の特徴によれば、前記変換ディジタル信号
は変形離散形余弦変換と、ブラッドリ−(Bradle
y)の変換を用いた変換符号化装置により与えられてい
る。
好都合なことに、前記変換符号化装置には前記変換信号
を対称にした仮の信号の傾斜窓を作る装置がある。
なるべく、前記窓を作る装置が次式で定義される窓を使
用していることが好ましい; F(n)=:2.sin(−rc(n+0.5)/N)
  n=0.1,−,N−1ここにNは前記窓のサンプ
ル数である。
(実施例) 以下、この発明を図面に基づき更に詳しく説明する。
第l図の装置により、この発明の方法によるディジタル
オーディオデー夕の符号化が行われる。32kHz以上
の周波数で標本化された人力信号X(n)10は変換モ
ジュールl1に加えられる。標本化周波数は高忠実度サ
ウンドに使用されている周波数に対応している。
変換モジュール11の好ましい実施態様には、好都合な
ことに変形離散形余弦変換0,IDCT)として知られ
ているプリンセンとブラッドリーにより発明された変換
が使用されている(゛アダブティブトランスホーム コ
ーディング インコーボレイティング タイム ドメイ
ン アライジングキャンセレーション(Adaptiv
e Transform CodingIncorpo
rating Time Domain Aliasi
ngCancellation)”、インスピーチ コ
ミュニケーション(in Speech Commun
ication).1987年12月)。
この変換は余弦ベース(base)への投影に対応して
いる。変換係数は次式により定義される:y(m,k)
: N−1 Σ Xm(n).h(N−1−n).cos(2−rt
(k+n=0 %) <n+n.)/N) k=o,  ・・・  N−1 ここに、N:変換ブロックの大きさ h(n):ブロックの重み付け窓 m :ブロック変換数。
最も重要な利点は、変換チャネルを非常に離すことによ
り、スペクトルの平面に高性能重み付け窓h(n)を使
用することができることに関係している。エネルギーの
集中は例えば離散フーリエ変換(DFT)よりも高く、
符号化される係数は真のスペクトラムに非常に近い。
変換が行われる前に標本化の仮のブロックは窓h(n)
により重み付けされる。例えば、正弦波状の窓の“傾斜
”窓が使用されており、h (n) =2, sin 
( x (n+0. 5)/N)で定義され、nはOか
らN−1まで変化し、Nは仮のブロック当たりの標本数
である。使用したMDCTは、この種の傾斜窓と完全に
一緒に作用する。実際、この種の窓は変換後にN/2個
の単一係数を得るため使用することができ、他のN/2
個の係数は符号を除くと同じである。これに対して、長
方形の窓は元の信号に対してスペクトルに広がりが生ず
る。それを応用するには、ブロックの大きさの50%が
ブロック間でオーバーラップする必要があるので、変換
係数の数は各ブロックに伝送される元の信号の標本化の
元の数に等しい。このブロック間のオーバーラップは信
号の復元を完全に行うことができるようにするため必要
である。
変換モジュール1lから生ずる係数y(kH2はいろい
ろな符号化モジュールl3、14、l5、16、17の
入力に加えられている。
それらの中の第1番目のブロックは変換信号l2の中の
聞えないスペクトル成分を除去している。
この除去の作用は例えば以下に詳細に述べろツイッカー
の分析に基づいている。
この分析によりオーディオ信号の聞えない周波数に対応
しマスクされたラインを識別することが可能となる。こ
れらの聞えない成分に対応した変換係数は伝送されない
M D CTは十分な周波数間隔により特徴づけられて
おり除去されたラインの数は大きい。その結果、伝送さ
れる数はかなり減少する。更にこれらの伝送されない係
数のレベルは一般に低いので、伝送される係数に使用さ
れる量子器はそれに応じて最適となる。
マスクライン14を除去するモジュールは第2図につい
て以下により詳細に記載されている。
モジュールl4の出力に生ずるスペクトルラインは補助
情報の計算と符号化のためのモジュール15に至る入口
となっている。モジュール15により生ずる補助情報は
帯域幅が異なる周波数帯域により計算され、2つの異な
ったモードにより符号化される。信号が変動しない場合
、符号化は次のブロックに対して行われ(フレーム間の
相関が考慮される)、他方現在のブロックが変化するブ
ロックの場合、符号化はブロック間のメモリを考慮しな
いで行われる。
これらの符号化装置は第3図について以下により詳細に
述べられている。
マスクラインを除去するためと、補助情報を計算し符号
化するためのモジュール14の出力は量子器17を制御
するビット割り当てモジュール16に加えられる。ビッ
ト割り当てブロック16の出力には、変換信号12のそ
れぞれの係数y(k)を示すのに用いられているビット
数がRの情報18が与えられている。このビット割り当
てはダイナミックであり、すなわち1つのブロックから
次のブロックの間変化している。更に、量子化雑音をマ
スクするように設計されている。
ビット割り当てモジュール16には更に入力として、ス
ペクトル広がり関数による値があり、この関数の値は変
換信号12の係数についてスペクトルの広がりを計算し
符号化するモジュール13により与えられる周波数帯域
内で測定される。これにより、スペクトルの性質に非常
に集中しているかどうかということの特徴を与えること
ができる。
ビット割り当てモジュール16の動作は以下により明ら
かにされる。
最後に、信号l2の係数y(k)はビット割り当て数が
Rの情報18に従ってモジュール17で量子化される。
更にこの発明の大きな特徴によると、モジュール14か
ら来るマスクラインの除去についての情報と同様に、補
助情報の符号器15の出力で得られる情報19により、
後で判るように現在のブロックに対しいくつかの量子器
から1つを選択することができる。
復号化は、符号化と全く対称な方法で行われる。
第2図にはマスクライン除去モジュール14の機能図を
示す。
このモジュールの機能はマスク現象のため聞くことので
きないラインを除去することであり、その結果知覚的に
有益な情報のみが伝送される。
この手続きは、高周波成分の多いスペクトラムの広いサ
ウンドに特に有益である。非常に多くの係数がその後マ
スクされる。それはまさに高いビットレートを必要とす
るこの種の信号であり、?れは伝送される情報の量のた
めである。
この装置にはマスクライン検出モジュールが含まれてい
る。この検出は実際のスペクトラムに関しており、符号
器のみにより行われる。ツイッカーの分析により、周波
数マスキング曲線を使用することができる。第5図に示
すように、伝送されるラインのそれぞれに対し、上側の
臨界帯域当り−25dBのライン52より下にあり、か
つ上側の臨界帯域当り−1 0dBのライン53より下
にあるラインは聞くことができないことが明らかになる
。これらの2つのスロープはそれぞれ前方および後方周
波数マスキングに対応している。
スペクトラムは24個の臨界帯域B,.B.、B3に分
割され、前記帯域のそれぞれに対し伝達係数a0が掛算
される。
マスキングスレショルドの計算は゜゜臨界帯域内”マス
キングと“臨界帯域間”マスキングに分けられる。帯域
内マスキングは工つの同一の帯域B2内の全てのライン
51..51■の全体のマスキング効果に対応している
。帯域内マスキングスレショ?ドは変換信号の各係数y
(k)の寄与分の和により計算される。
下限bb (J)と上限bh(j)により限界が定めら
れている臨界帯域jを考えるならば、帯域内マスキング
スレショルドに対する係数y(k)の寄与分Sin (
j)は次式で与えられる; Sin’ (i)■e . (y(k) ”.ao (
j) )ここにbゎ(j)<i<k−3および k + 3 < i <bh(j) eは−30dBに
等しい一定のシフト量。
気づくことができるように、係数y(k)のそれぞれは
4つの1番近い係数のマスキングスレショルドに影響を
与えない。この注意が必要なのは、スペクトルのピーク
の近くに発生する時間のずれたゼロセッティング(ze
ro−setting)を防ぐためである。
マスキングスレショルドはSin’(i)の和により得
られる: bh (j) Sin(i):  Σ    Sin’ (i)i:b
b(j) ここに、bゎ(J) < i <bh(j)およびj=
−t、・・・24。
帯域間マスキングは各帯域B2において隣接帯域のマス
キングの影響を検討することから生ずる。
実際、後方マスキングのみ(帯域B2のライン513の
マスキング)が帯域間マスキングスレショルドを計算す
るのに検討される。前方マスキング(帯域B.)は低く
過ぎるので、ブロック当たりのマスクラインの数を実質
的に制限することができる(−10dBの代りに臨界帯
域当たり−25dB)。
次の帯域のマスキングに対する各臨時帯域jの寄与分S
out・(i)は次式により計算される:i=j+1、
・・・、24 臨界帯域に対する全ての帯域間マスキングは次式に等し
い: j:1 最後に、臨界帯域jの係数y(i)に対し、最終的なマ
スキングスレショルドは次の和により得られる: S(i)=Sin(i)+Sout(j)伝達係数ao
 (j)を掛算した係数y(i)のエネルギーはその後
このように決められたマスキングスレショルドと比較さ
れる。ao (j) − y” (i) < S (i
)ならば係数y(i)はマスクされているとみなされる
この関数は第2図のサブモジュール2lにより行われる
。この図は第1図のマスクライン除去モジュールl4に
ついて主構成サブモジュールの詳細図を示している。
好都合なことに、サブモジュール14のマスクラインの
検出はマスクラインの指標を符号化したあとに、ブロッ
ク20で行われる。この符号器が必要なのは符号器にマ
スク係数の数を示すためであり、例えば連なりの長さの
符号化技術を用いるためである。Im(k)を係数y 
(k)がマスクされている時の1に等しいビットとする
級数{ Im (k) . k=o、−,N/2}には
可変長のOとlの連続した連なりがあり、サブモジュー
ル22で形成される。可変長符号23により伝送される
のは連なりの長さである。もし同じ状態にある非常に多
くのラインがとぎれることなく互いに続いているならば
、この補助情報に割り当てられるビットレートは低くな
る。
サブモジュール23の可変長符号化は実験上の確率密度
から計算されるハフマン符号により行われることが好ま
しい。
連なりの符号化は1番目のマスクラインから前にだけ出
発する。このマスクライン数は9ビットで伝送される。
符号器では、連なりの長さの符号化を行うことは簡単に
全てのOと1の連なりを探すことであり、それに対応し
たホフマン符号語とそれらを関連づけることである。
連なりの長さは最大値で制限される:Oの連なりに対し
係数は64で、lの連なりに対し係数は128である。
これらの制限を越えると、長さがゼロの連なりとその逆
の状態が伝送される。長さが?ロの連なりに対し、関連
したハフマン符号語があり、その符号語はゼロが発生し
た後に計算される(ラインの外で)。
復号器では1番目のマスクラインを受信後、ハフマン符
号の復号が十分に行われる。符号語の0と1の長さの連
なりにより級数{Im(k) }を正確に復元できる。
Oとlの連なりが非常に断片的であるならば、補助情報
ビットレートは高くなる。マスクラインの数が小さけれ
ば非伝送利得はゼロか十分負である。この非伝送は継続
しないこと、または少なくともある周波数領域に閉じ込
めないことが適当である。
最後まで、係数当たりのビットの平均数が次の2つの場
合について計算される: (1)  全ての係数を伝送の場合: R , (k) = (RO−R .■)/(N/2)
ここに、R0はブロック当たりの全ビット数、R.■は
スペクトラムを描く補助情報の伝送に必要なビット数、
R+fiは実際には前のブ?ックの値である。
(2)  連なりの長さの符号化を使用することにより
マスクラインを伝送しない場合: Rz(k)=(Ro−R,r−R+−) (N/2−N
r.,I)ここに、R.は連なりの長さの符号化の補助
のビットレート、 N■はマスクラインの数である。
マスクラインの非伝送は、試験とサブモジュール24を
計算するビットレートが次の関係を満すならば、対象と
なる帯域全てにわたり行われる:R.In<Rrffi
. (2(R−R+f.)/N)この関係が満たされな
ければ、この試験はOと1の連なりを探す間は帯域幅が
等しく、対象としている帯域の4つの周波数サブ帯域内
で行われ、R..(1)とN■(1) (t=t、・・
・、4)の部分的な値が計算される。
R+m(1)<Nrm(1).(2(RO−Rift)
/Nならば、すなわちビットの利得は対象としている周
波数サブ帯域1に対して正となり、連なりの長さの符号
化はこのサブ帯域1の係数に加えられる。
もし前式が成立しなければ、この帯域の係数はマスクさ
れていないと取り扱われ、Oとされている■番目の係数
の指標はそれに応じて制限されている。
符号化有効認定サブモジュール25は符号化を行う必要
性の有無により、可変長符号化サブモジュール23を制
御する。
補助的な平均ビットレートはマスクライン当り0.8ビ
ットのオーダである。この値が低ければ連なりの長さの
符号化を使用することに時間をかける価値のあることが
判る。
第3図には補助情報の計算と符号化に対するモジュール
l5の詳細な機能図を示している。
補助情報の伝送が必要なのは、ビット割り当てを計算し
、係数を量子化するためである。この補助情報19は実
際には信号の正確な可変スペクトラムの記述子である。
前述の実施態様において、スペクトラム記述子は長さの
等しくない周波数帯域のサブモジュール31で計算され
る。スペクトラムは、例えば50個の周波数のグループ
に分割される。
これらの帯域の限界bsi″′(j)とb. + ” 
(j)は臨界帯域内にある。一番狭い帯域(j=1、・
・・ 14)の幅は対応する臨界帯域と同じである。他
の帯域にある増加した帯域幅は最後の帯域(j・50)
に対し562. 5Hzになる(すなわち18個の係数
)。
スペクトラム記述子a (j)は、各バンドの非マスク
スベクトルラインの標準偏差に等しく、ここにj=1、
・・・、50 Ng+(j)は帯域j内の非マスク係数の数。
この発明によると、この情報を符号化する新奇性は連続
した変換ブロック間の相関は予測符号化により検討され
るということにある。このように、符号器により信号の
全ての相関(短期間および長期間)から利点が導かれる
補助情報の符号化は係数の量子化の場合と異なり、通常
知覚特性を考慮しないで行われる。しかし、主信号10
1のビットレートに対し可能な限り最大のビット数を用
意することが必要であり、それ故補助情報19のビット
レートを減らす必要がある。
スペクトラム記述子σ(m. j) (m:ブロック数
)の成分を直接符号化するには、ビットレートを高くす
る必要がある。しかし、信号は一般にほとんど変化がな
いので、スペクトラム記述子の相関はブロック相互間で
高く。
この変化の少ない特性が有利になる最も直接的な方法は
予測符号化32を動作させることである。
スペクトラムのダイナミックレンジが大きいため、σ(
m.j)に対する予測はdB表示とすることが好ましい
。実際、差σ(m.j)一σ(m−1.j)よりも比σ
(m.j)/σ(m−Lj)の方の予測利得が高い。
第4図に示すように、この予測符号化には対数目盛に変
換される作用子41があり、この対数目盛は差動MIC
符号器と可変長符号化装置43により発生している。
予測は1次予測器44により行われる。予測の係数σ1
は、0、95と1の間の値をとる。この子測器44の入
力は、それより以前の量子化値log (σ’ (m.
 j))である。
予測誤り e (+++.j)=log(a (m.j))− o
 r Log(a ’(m−1.j))ここにj=1、
・・・、50 は例えばダイナミックレンジが[−2、2コに対し32
個のレベルを有する均一量子器45により量子化される
信号の長さは変化しないので、量子器45の出力におけ
る符号語の確率密度の集中は高い。その結果、これらの
符号語がとる可変長符号化43(ホフマン符号化)によ
り、スペクトラム記述子の伝送ビットレートをσ’ (
m. j)の値に対し約2.5ビットに減らすことがで
きる。
log (σ’ (m. j) )の値は復号器で得ら
れる値に対応して逆量子器47により与えられる値と、
予測器44から生ずる前の値の和46により得られる。
周波数帯域が完全にマスクされているならば(N.+(
j)・0)、帯域jに対して符号語を伝送する必要はな
い。実際、この場合σ(m.j)の値はマスクラインに
関する情報により復号器に知らされている。
しかし、ビットI (m, k)の伝送誤りをσ’ (
m. j)の値に発生しないようにするため、冗長性を
符号化の中に慎重に取り入れてある: N..=0なら
、特別な符号が伝送され、他の符号モードのように発生
の関数として計算される。
このように、帯域が完全にマスクされるようになると、
予測は最後の非伝送のゼロでない値σ’ (m−p. 
j)に関係する。
スペクトルが変化する間は(信号が変化)、この量子化
の手続きは量子化の正確性を同じく保つためには、もは
や過大なビットレートを必要とする理由がない。従って
、σ(m,j)のメモリがなくサブモジュール34に加
えられている符号化を使用する必要がある。
この2番目の符号化34は以前のものと同じである。予
測は連続的な変換ブロックに対し行われるかわり、しば
しば発生する。予測誤りは次式により計算される: e (m.j)=log(a (m.j))−log(
  a ’(m.j−1))e(m,j)は例えばダイ
ナミックレンジが100dBで量子化のレベルが50個
である均一量子器により符号化される。出力での符号語
もハフマン符号化を受けている。
1番目の値σ(m,l)は分離して伝送される。
符号化の種類を選択するモジュール33は、使用されて
いるビット数により最適な符号化を選択する。フレーム
間の符号化に必要なビットレートが予め固定されたスレ
ショルドを越えると、2番目の種類の符号化34が使用
される。この選択は選択ビットにより復号器に伝送され
る。
符号化の種類の選択に対しては、ビットレートを最小に
することよりも他の基準を取ることができる。例えば、
伝送誤りの影響を最小にするように動作させることがで
きる。
予測器44は1次自動回帰形予測器(AR(1))であ
り、予測係数はlに近い。従って、伝送誤りが無制限に
伝わる危険性がある。補助情報はなかでもビットの割り
当てに対して重要性が大きいので、フレーム間符号化を
再度初期化する必要がある。
このことにより、倍数が16であるランクの全てのブロ
ックに対し信号が変化しない場合でも、メモリのないブ
ロック間符号化が使用されている。
係数y(k)は不均一適応形量子器により符号化される
。適応は量子化されたスペクトラム記述子σ’ (m,
 j)により行われ、jはy (k)が属する帯域の数
である。
各値σ’ (m. j)は周波数帯域の幅が可変である
ため、またマスクラインを検出する装置により非ゼロ係
数である変数Ns r (J)を表わしている。量子器
の性能の値はNs r (J)の量子化に対する係数の
関数として変化する。
この発明によると、符号化システムを最適にするために
Ns+(j)の関数としていくつかの量子器が利用でき
る。第6図には使用される量子器を選択するモジュール
の機能図が示されている。
例えば、以下の構成には6Lから61,の5組の量子器
が使用されている。値N*+(j)・lを試験するモジ
ュール62は次の基準により選択器63を制御する: (1)1番目の組に対しては、帯域が1つのゼロでない
係数を持つこと:Nx+(j)・l、(2)2番目の組
に対しては′: Ns+ (j)=6、(3)3番目の
組に対しては: 6 >N−t(j)>2、(4)4番
目の組に対しては: 10>N.i(j)>5、(5)
5番目の組に対しては:N−+(j)>9、それぞれの
場合、例えば1ビットから6ビットの間で変化するビッ
ト数に対し最適な量子器が計算される。
2番目の選択器64により、量子器651から656の
各組の中からビット数の関数R18として、最適な量子
器となるように選択される。このように、量子器の選択
の最適化は量子化される係数の数の関数と、ビット割り
当てモジュールにより割り当てられたビット数により行
われる。
第7図には、この発明による各帯域へのビット割り当て
装置を示す。
ビット割り当ては知覚的な基準により量子雑音のスペク
トルを形作るように設計されている。
ビット割り当てによりマスキングスレショルド比に対し
雑音が最小にされる。この手続きは復号器で行われ、そ
の復号器は予め伝送されたスペクトラム記述子に基づい
ている・。
ビット割り当てにはマスキングスレショルドS(k)を
計算するモジュールと(この計算はマスクラインの検出
を行うための計算と同じである)、比α(k).β(k
).σ2(k)/s (k)を量子化するためのモジュ
ール72が含まれており、後者のモジュールはヤニック
 マイエックス(Yannick Mahieux)に
よる題名が゛トランスホーム コーディング オブ オ
ーディオ シグナルズ ユージング コレレーション 
ビトウィーン サクセッセブ トランスホーム ブロッ
クス(Transform Coding ofAud
io Signals Using Correlat
ion BetweenSuccessive Tra
nsfom Blocks) ”   (ICASSP
会議の会報、グラスゴウ、1989年)の文献に記載さ
れたモジュールと同等である。
a2(k)は帯域の全ての係数y (k)に亘るスペク
トラム記述子の2乗である。σ2(k)は量子化される
比の本質的なエレメントに関係している。係数は異なっ
た組の量子器で符号化されるので(Ng + (J)に
よる)、ヤヤント( Jayant)とノル(Noll
)の研究、すなわち波形のディジタル符号化(ブレンテ
ィス ホール シグナル ブロセセングシリーズ(Pr
entice Hall Signal Proces
singSeries) . 1984年)により、ビ
ットの割り当てに各組の量子器の性能の相対値を含める
必要がある。
関数α(k)は係数y (k)に使用されている量子器
の性能係数に等しい。テーブル73には例えば予め計算
されたα(k)の5つの値が含まれている。このテーブ
ルのアドレスはゼロでない係数の数により行われる。各
組の量子器の実際の性能の値を取ることにより、符号化
の品質をかなり改善できる。
部分的に関数β(k)を計算するモジュール74により
、ヤヤントとノルによるスペクトルの広がりγが計算さ
れる。この関数はスペクトラムが集中しているかどうか
示しており、次式により符号器で計算される: ビット割り当てのため、γは帯域幅の等しい4つの周波
数帯で計算される。これらの4つの値は6ビットの均一
量子化により符号器に伝送される。
これらの4つの周波数帯域のそれぞれにおいて、関数β
(k)は非直線関数によるγの値に従い計算される。β
(k)の役割はビ、ットの割り当てによりピークのある
スペクトラムの領域にビット数を多く与えることである
。実際、信号に含まれている正味のサウンドに対応した
係数y (k)はより正確に符号化される必要があり、
マスキングスレショルドが有するレベルは信号のレベル
と比較すると雑音スペクトラムの場合より低い。
ブロック間の相関を用い、聞えないスペクトル成分をは
っきり検出することにより、32KHzを越えた周波数
で標本化し、ほぼ64kbits/sの値まで高品質信
号のビットレートを下げることができ、元信号の品質を
聴覚による評価結果の観点から保つことができる。
【図面の簡単な説明】
第1図はこの発明によるビット割り当て装置を含むディ
ジタルオーディオ信号符号化装置のブロック図であり; 第2図はマスクラインを除去するためのモジュールの機
能図であり; 第3図は補助情報の計算および符号化のためのモジュー
ルの詳細な機能図を示し; 第4図は補助情報の予測符号化のためのモジュールの機
能図であり; 第5図はツイッカーの分析によるマスクラインを除去す
る原理を示す図であり; 第6図はいくつかの量子器のlつを選択するためのモジ
ュールの機能図を示し; 第7図は各帯域に対しビット割り当てを行うための装置
の機能図である。 図中、 10  ・・・ 入力信号X(n)  11  ・・・
 変換モジュール?2  ・・・ 係数y(k) l3、14、l5、16、17  ・・・ 符号化モジ
ュール18  ・・・ 情報     19  ・・・
 補助情報20  ・・・ ブロック 21, 22、23、24、25、31. 34  ・
・・ サブモジュール32  ・・・ 予測符号化 33  ・・・ 符号化の種類を選択するためのモジュ
ール 41  ・・・ 変換のための作用子 43  ・・・ 可変長符号化装置 44  ・・・ 1次予測器  45  ・・・ 均一
符号器46  ・・・ 和      47  ・・・
 逆量子器51.,512、51.・・・ ライン52
,,52■、523・・・ライン 53,,53■、533・・・ライン 61,,61■、・・・、615  ・・・量子器の組
62  ・・・ 試験のためのモジュール63  ・・
・ 選択器    64  ・・・ 2番目の選択器6
5.、65■、・・・、655  ・・・ 量子器72
  ・・・ 量子化のためのモジュール73  ・・・
 テーブル 74  ・・・ 計算のためのモジュール101・・・
 主信号

Claims (1)

  1. 【特許請求の範囲】 (1)変換されたディジタルオーディオ信号の圧縮を量
    子化するための装置を制御することができるタイプの装
    置であり、ビットレートが制限されたチャンネルを通し
    て伝送され、ディジタル情報の媒体となる物に記憶する
    ように設計されており、割り当てが、変換された信号の
    スペクトラムの全体をカバーしている一組の隣接帯域の
    中に各帯域を特に割り当てることと、前記変換信号のス
    ペクトラムの記述に対応した補助情報の関数として、前
    記信号の変換係数を表すためのいくつかの特別なビット
    から構成されており、前記装置が心理的聴覚基準の関数
    として、前記変換信号のスペクトル成分を予め除去する
    装置により情報を得ているビット割り当て装置。 (2)前記装置が(既知の方法で)、ビット割り当てを
    前記帯域のそれぞれに最適に行うため、心理的に聴覚基
    準に基づきスペクトル成分のマスキングスレショルドを
    計算するための装置を含む請求項1記載の装置。 (3)前記心理的聴覚基準がツイッカーの心理的聴覚マ
    スキング基準に基づき作用している請求項1または2の
    いずれか1項に記載の装置。 (4)前記量子化の装置が少なくとも2つの異なる量子
    器と、前記変換信号のスペクトラムの前記帯域のそれぞ
    れに前記量子器の1つをマスクされた係数の前記除去の
    あとの前記帯域内にある成分の数の関数として選択的に
    割り当てられるための装置を含む請求項1または2のい
    ずれか1項に記載の装置。 (5)前記装置が前記帯域内で量子化雑音対マスキング
    スレショルド比を最小にするための装置を含む請求項1
    または2のいずれか1項に記載の装置。 (6)前記量子化雑音が次のグループの3つの情報の少
    なくとも1つの情報の関数として決められる請求項5記
    載の装置: (1)前記帯域内で除去されない前記スペクトル成分の
    標準偏差: (2)前記帯域のため選択された前記量子器の性能係数
    : (3)前記帯域のスペクトルの広がりに対する1つの情
    報。 (7)スペクトル成分を予め除去するための前記装置に
    より与えられた情報が、前記マスクされたスペクトル成
    分の指標を符号化する連なりの長さの符合化装置により
    用意される請求項1記載の装置。 (8)前記連なりの長さの符号化装置が、ハフマンタイ
    プの可変長符号を使用している請求項7記載の装置。 (9)前記連なりの長さの符号化装置が、周波数帯域を
    符号化するための特別な符号語を除去されているすべて
    の前記成分に与えている請求項7または8のいずれか1
    項に記載の装置。 (10)前記連なりの長さの符号語が、前記符号化によ
    り与えられるビットレート利得に対する1つの情報の関
    数として選択装置により動かされている請求項7または
    8のいずれか1項に記載の装置。 (11)スペクトラムの記述に対応した前記補助情報を
    符号化するための装置と連動している請求項1記載の装
    置。 (12)前記符号化装置が予測符号化装置を含んでいる
    請求項11記載の装置。 (13)前記予測符号化装置が、対数変換装置と、差動
    MIC符号化装置と、ハフマンタイプの可変長符号によ
    り符号化される装置からなるグループの装置を含んでい
    る請求項12記載の装置。 (14)前記符号化装置に更にメモリのないブロック間
    の符号化のための装置も含んでおり、前記予測符号化装
    置とメモリ内前記符号化装置が予め決められた基準によ
    り選択されている請求項12または13のいずれか1項
    に記載の装置。 (15)前記予め決められた基準が最小のビットレート
    基準と、伝送誤りの影響を最小にする基準の両方または
    一方のいずれかである請求項14記載の装置。 (16)スペクトルの記述に対応した前記補助情報と、
    聞こえない成分を除去する前記装置により得られる前記
    情報と、スペクトルの広がりに関する1つの情報を含む
    グループの少なくとも1つの情報が伝送され、または主
    情報ブロックのそれぞれと一緒に記憶されている請求項
    1記載の装置。 (17)前記変換ディジタル信号が変形離散的余弦変換
    のプリンセンとブラッドイータイプの変換を用いた変換
    符号化装置により与えられている請求項1記載の装置。 (18)前記変換符号化装置が前記変換信号を対称にし
    た仮の信号の傾斜窓を作るための装置を含んでいる請求
    項17記載の装置。 (19)前記の窓を作る装置が次式で定義される窓を使
    用している請求項18記載の装置: F(n)=2.sin(π(n+0.5)/N)n=0
    、・・・、N−1ここにNは前記窓の標本数である。
JP27347390A 1989-10-13 1990-10-15 心理的聴覚基準で適応形量子化する変換ディジタルオーディオ放送信号用の信号圧縮装置 Expired - Lifetime JP3168578B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR8913649 1989-10-13
FR8913649A FR2653280B1 (fr) 1989-10-13 1989-10-13 Dispositif d'allocation de bits pour signal audio-numerique transforme, a quantification adaptative sur critere psycho-auditif.

Publications (2)

Publication Number Publication Date
JPH03167927A true JPH03167927A (ja) 1991-07-19
JP3168578B2 JP3168578B2 (ja) 2001-05-21

Family

ID=9386536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27347390A Expired - Lifetime JP3168578B2 (ja) 1989-10-13 1990-10-15 心理的聴覚基準で適応形量子化する変換ディジタルオーディオ放送信号用の信号圧縮装置

Country Status (4)

Country Link
EP (1) EP0423050B1 (ja)
JP (1) JP3168578B2 (ja)
DE (1) DE69015105T2 (ja)
FR (1) FR2653280B1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5115240A (en) * 1989-09-26 1992-05-19 Sony Corporation Method and apparatus for encoding voice signals divided into a plurality of frequency bands
JP3134455B2 (ja) * 1992-01-29 2001-02-13 ソニー株式会社 高能率符号化装置及び方法
EP0786772A3 (en) * 1992-02-05 1997-10-22 Sony Corp Disc player and disc recorder
FR2687871B1 (fr) * 1992-02-25 1995-07-07 France Telecom Procede et dispositif de filtrage pour la reduction des preechos d'un signal audio-numerique.
JP3153933B2 (ja) * 1992-06-16 2001-04-09 ソニー株式会社 データ符号化装置及び方法並びにデータ復号化装置及び方法
JP3127600B2 (ja) * 1992-09-11 2001-01-29 ソニー株式会社 ディジタル信号復号化装置及び方法
JP3343962B2 (ja) * 1992-11-11 2002-11-11 ソニー株式会社 高能率符号化方法及び装置
JP3186292B2 (ja) * 1993-02-02 2001-07-11 ソニー株式会社 高能率符号化方法及び装置
JP3123290B2 (ja) * 1993-03-09 2001-01-09 ソニー株式会社 圧縮データ記録装置及び方法、圧縮データ再生方法、記録媒体
JP3186307B2 (ja) * 1993-03-09 2001-07-11 ソニー株式会社 圧縮データ記録装置及び方法
US5581654A (en) * 1993-05-25 1996-12-03 Sony Corporation Method and apparatus for information encoding and decoding
US5608713A (en) * 1994-02-09 1997-03-04 Sony Corporation Bit allocation of digital audio signal blocks by non-linear processing
JP3186412B2 (ja) * 1994-04-01 2001-07-11 ソニー株式会社 情報符号化方法、情報復号化方法、及び情報伝送方法
JP3277699B2 (ja) * 1994-06-13 2002-04-22 ソニー株式会社 信号符号化方法及び装置並びに信号復号化方法及び装置
JP3250376B2 (ja) * 1994-06-13 2002-01-28 ソニー株式会社 情報符号化方法及び装置並びに情報復号化方法及び装置
JP3277705B2 (ja) 1994-07-27 2002-04-22 ソニー株式会社 情報符号化装置及び方法、並びに情報復号化装置及び方法
JP3341474B2 (ja) * 1994-07-28 2002-11-05 ソニー株式会社 情報符号化方法及び復号化方法、情報符号化装置及び復号化装置、並びに情報記録媒体
JP3557674B2 (ja) * 1994-12-15 2004-08-25 ソニー株式会社 高能率符号化方法及び装置
JP3318825B2 (ja) * 1996-08-20 2002-08-26 ソニー株式会社 デジタル信号符号化処理方法、デジタル信号符号化処理装置、デジタル信号記録方法、デジタル信号記録装置、記録媒体、デジタル信号伝送方法及びデジタル信号伝送装置
GB2321577B (en) * 1997-01-27 2001-08-01 British Broadcasting Corp Audio compression

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0111612B1 (fr) * 1982-11-26 1987-06-24 International Business Machines Corporation Procédé et dispositif de codage d'un signal vocal
DE3869034D1 (de) * 1987-09-30 1992-04-16 Thomson Brandt Gmbh Verfahren zur uebertragung eines audio-signals.

Also Published As

Publication number Publication date
EP0423050A1 (fr) 1991-04-17
EP0423050B1 (fr) 1994-12-14
FR2653280B1 (fr) 1992-01-10
FR2653280A1 (fr) 1991-04-19
DE69015105D1 (de) 1995-01-26
DE69015105T2 (de) 1995-07-20
JP3168578B2 (ja) 2001-05-21

Similar Documents

Publication Publication Date Title
US6064954A (en) Digital audio signal coding
US5185800A (en) Bit allocation device for transformed digital audio broadcasting signals with adaptive quantization based on psychoauditive criterion
JPH03167927A (ja) 心理的聴覚基準で適応形量子化する変換ディジタルオーディオ放送信号用の信号圧縮装置
KR101019678B1 (ko) 저비트율 오디오 코딩
CA2199070C (en) Switched filterbank for use in audio signal coding
JP4237826B2 (ja) 複数のサブバンドビットアロケーションを用いた可変長オーディオ信号符号化
US6029126A (en) Scalable audio coder and decoder
US6058362A (en) System and method for masking quantization noise of audio signals
Shlien Guide to MPEG-1 audio standard
US6253165B1 (en) System and method for modeling probability distribution functions of transform coefficients of encoded signal
KR970007661B1 (ko) 스테레오포닉 오디오 신호의 입력세트 코딩방법
US7627480B2 (en) Support of a multichannel audio extension
EP1080579B1 (en) Scalable audio coder and decoder
JP5175028B2 (ja) デジタル信号の符号化方法及び装置ならびに復号化方法及び装置
JP4033898B2 (ja) 知覚符号化システムのサブバンドに波形予測を適用する装置及び方法
PL183092B1 (pl) Produkt akustyczny wielokanałowy
RU2505921C2 (ru) Способ и устройство кодирования и декодирования аудиосигналов (варианты)
JPH07336232A (ja) 情報符号化方法及び装置、情報復号化方法及び装置、並びに情報記録媒体
US8149927B2 (en) Method of and apparatus for encoding/decoding digital signal using linear quantization by sections
MXPA01010447A (es) Utilizacion de cuantificacion adaptativa de ganancia y longitudes de simbolos no uniformes para codificacion de audio.
Mahieux et al. Transform Coding of Audio Signals at 64 kbit/s
JPH09135173A (ja) 符号化装置および符号化方法、復号化装置および復号化方法、伝送装置および伝送方法、並びに記録媒体
Teh et al. Subband coding of high-fidelity quality audio signals at 128 kbps
JPH0918348A (ja) 音響信号符号化装置及び音響信号復号装置
Bhaskar Low rate coding of audio by a predictive transform coder for efficient satellite transmission

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090316

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 10