JP4056466B2 - ビット率を調節できるオーディオ符号化方法、復号方法、符号化装置及び復号装置 - Google Patents

Description

本発明はオーディオデータの符号化及び復号（化）に係り、さらに詳細にはオーディオデータをビット率（ビットレート：bit rate）の調節ができるように符号化する方法、復号する方法、その符号化装置及び復号装置に関する。

最近のデジタル信号処理技術の発達によって、オーディオ信号は一般にデジタルデータとして保存／再生される場合がほとんどである。デジタルオーディオ保存／再生装置は、アナログオーディオ信号をサンプリングし、かつ量子化して、デジタル信号であるＰＣＭ（Pulse Code Modulation）オーディオデータに変換してＣＤ、ＤＶＤのような情報保存媒体に保存した後、ユーザが必要とする時にこれを再生して聞かせる。デジタル方式によるオーディオ信号の保存／復元方式は、ＬＰ（Long-Play Record）、マグネチックテープのようなアナログ保存／復元方式に比べて音質を大きく向上させ、保存期間による劣化現象を顕著に減少させたが、デジタルデータのサイズが大きくなり保存及び伝送が問題となるようになった。

このような問題点を解決するために、デジタルオーディオ信号のサイズを低減するために多様な圧縮方式が利用されている。ＩＳＯ（International Standard Organization）によって標準化作業がなされたＭＰＥＧ／ａｕｄｉｏ（ＭＰＥＧは、Moving Pictures Expert Groupの略称）やＤｏｌｂｙ社によって開発されたＡＣ−２／ＡＣ−３は、人間の心理音響モデルを利用してデータの量を低減する方法を採用し、その結果信号の特性に関係なく効率的にデータ量を低減することが可能となった。すなわち、ＭＰＥＧ／ａｕｄｉｏ標準やＡＣ−２／ＡＣ−３方式は、以前のデジタル符号化方式に比べて１／６ないし１／８に少ない６４〜３８４Ｋｂｐｓビット率だけでＣＤの音質とほぼ同じ程度の音質を提供する。

しかし、これらの方法は、全て固定されたビット率に対して最適の状態を探して量子化過程と符号化過程とを経る方式に従うので、ネットワークを通じて伝送する時にネットワーク状況が悪くて伝送帯域幅が低くなるとカットオフが発生し、ユーザにこれ以上のサービスを提供できなくなる問題点がある。また、保存容量に制限がある移動式機器に適するようにさらに小さなサイズのビットストリームに変換しようとする時、サイズを低減するためには再符号化過程を経なければならないので、より多くの計算量が要求されることになってしまう。

このような問題に対応するために、本出願人は、ビット分割算術符号化（ＢＳＡＣ：Bit-Sliced Arithmetic Coding）技法を使用してビット率を調節できるオーディオ符号化／復号方法及び装置を１９９７年１１月１９日付の韓国特許出願第９７−６１２９８号として出願した（これは、後に２０００年４月１７日付の韓国特許登録第２６１２５３号として登録された。特許文献１参照）。ＢＳＡＣによれば、高いビット率で符号化されたビットストリームを低いビット率のビットストリームにすることが可能であるとともに、一部のビットストリームからの復元が可能であるので、ネットワークに過負荷がかかったり、復号器の性能がよくなかったり、またはユーザが低いビット率を要求した場合に、ビットストリームの一部だけしかなくても−−ビット率が低くなっただけ性能の劣化を示すとはいえ−−ユーザにある程度の音質でサービスを提供できる。

しかし、ＢＳＡＣは、算術符号化を採用しているので圧縮ゲインは高いが、多くの計算量を要求するので、複雑性が高く、実際に装置として商品化しようとすると、コストが高くなる点が問題である。
大韓民国特許登録第２６１２５３号公報

本発明が解決しようとする課題は、ＦＧＳ（Fine Grain Scalability）を提供しつつ、複雑性がさらに低いビット率を調節できるオーディオ符号化方法、復号方法、その符号化装置及び復号装置を提供することである。

前記課題を解決するために、本発明による一例としての符号化方法は、（ａ）複数の階層に対応するようにオーディオデータを分割する段階と、（ｂ）前記複数の階層に各々対応するスケールバンド情報及びコーディングバンド情報を得る段階と、（ｃ）第一階層に対応するスケールバンド情報及びコーディングバンド情報によるスケールファクター情報及びコーディングモデル情報を含む付加情報を差分符号化（ＤＰＣＭ：Differential PCM）する段階と、（ｄ）前記第一階層に当るオーディオデータを対応するスケールファクター情報を参照して量子化して量子化サンプルを得る段階と、（ｆ）得られた複数の量子化サンプルを前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位にハフマン符号化する段階と、（ｇ）前記複数の階層に対する符号化が完了するまで毎回前記階層の前に付加された序数を１ずつ増やしつつ、前記（ｃ）段階ないし（ｆ）段階を反復して階層構造を有するようにパッキングする段階と、を含み、前記（ｆ）段階は、（ｆ１）複数の量子化サンプルをビットプレーン上にマッピングする段階と、（ｆ２）最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に符号化する段階と、を含み、前記（ｆ１）段階は、Ｎ個の量子化サンプルをビットプレーン上にマッピングする段階であり、前記（ｆ２）段階は、Ｎビットの２進データで構成された前記シンボルに対応する一つのスカラー値を求める段階と、前記Ｎビットの２進データ、求められたスカラー値と前記ビットプレーン上で現在のシンボルに対する上位シンボルに対応するスカラー値とを参照してハフマン符号化を行う段階と、を含むことを特徴とする（Ｎは整数）。

前記（ｆ）段階以前に（ｅ）前記複数の階層に対して各々使用可能なビット範囲を求める段階を含み、前記（ｆ）段階は、符号化されたビット数をカウントし、カウントされたビット数が対応するビット範囲を超えれば符号化を中止し、割当てられた量子化サンプルを全部符号化した以後にもカウントされたビット数が対応するビット範囲より小さければ下位階層で符号化できず、残されたビットを前記ビット範囲が許容するだけ符号化する段階を含むことが望ましい。

前記（ａ）段階は、（ａ１）オーディオデータをＭＤＣＴ（Modified Discrete Cosine Transform）変換する段階と、（ａ２）ＭＤＣＴ変換されたオーディオデータをカットオフ周波数を参照して前記複数の階層に対応するように分割する段階とを含むことが望ましい。

また、本発明の他の例としての復号方法は、階層構造に符号化されたオーディオデータをビット率調節可能に復号する方法において、（ａ）第一階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報を差分復号する段階と、（ｂ）前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位にハフマン復号して量子化サンプルを得る段階と、（ｃ）得られた量子化サンプルを前記スケールファクター情報を参照して逆量子化する段階と、（ｄ）逆量子化されたサンプルをＭＤＣＴ逆変換する段階と、（ｅ）あらかじめ決定された階層まで復号が完了するまで毎回前記階層の前に付加された序数を１ずつ増やしつつ、前記（ａ）段階ないし（ｄ）段階を反復して行う段階と、含み、前記（ｂ）段階は、（ｂ１）最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に復号する段階と、（ｂ２）復号されたシンボルが配列されたビットプレーンから量子化されたサンプルを得る段階と、を含み、前記（ｂ１）段階は、復号されたシンボルで構成された４×Ｎビットプレーンを得る段階であり、前記（ｂ２）段階は、前記４×ＮビットプレーンからＮ個の量子化サンプルを得る段階と、を含むことを特徴とする（Ｎは整数）。

また、本発明の他の例としての復号装置は、前記目的は、階層構造に符号化されたオーディオデータをビット率調節可能に復号する装置において、第一階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報を差分復号し、前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位にハフマン復号して量子化サンプルを得るアンパッキング部と、得られた量子化サンプルを前記スケールファクター情報を参照して逆量子化する逆量子化部と、逆量子化されたサンプルを逆変換する逆変換部と、を含み、前記アンパッキング部は、最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に復号し、復号されたシンボルで構成された４×Ｎビットプレーンを得た後、前記４×ＮビットプレーンからＮ個の量子化サンプルを得る（Ｎは整数）。

また、本発明のさらに他の例としての符号化装置は、オーディオデータをビット率調節可能に符号化する装置において、前記オーディオデータをＭＤＣＴ変換する変換部と、各階層に当る、ＭＤＣＴ変換されたオーディオデータを前記スケールファクター情報を参照して量子化して量子化サンプルを出力する量子化部と、各階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報をＤＰＣＭし、前記量子化部からの複数の量子化サンプルを前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボルの順にシンボル単位にハフマン符号化するパッキング部と、を含み、前記パッキング部は、Ｋ個の量子化サンプルをビットプレーン上にマッピングし、Ｋビットの２進データで構成された前記シンボルに対応する一つのスカラー値を求めた後、前記Ｋビットの２進データ、求められたスカラー値と前記ビットプレーン上で現在のシンボルに対する上位シンボルに対応するスカラー値とを参照してハフマン符号化することにより、最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に符号化する（Ｋは整数）。

前記パッキング部は、複数の階層に各々対応するスケールバンド情報及びコーディングバンド情報を得て各階層に対応するスケールバンド情報及びコーディングバンド情報によるスケールファクター情報及びコーディングモデル情報を含む付加情報を符号化することが望ましい。

前記パッキング部は、符号化されたビット数をカウントし、カウントされたビット数が各階層に許容されるビット範囲を超えれば符号化を中止し、割当てられた量子化サンプルを全て符号化した以後にもカウントされたビット数が対応するビット範囲より小さければ下位階層で符号化できず、残されたビットを前記ビット範囲が許容するだけ符号化することが望ましい。

前記パッキング部は、ＭＤＣＴ変換されたオーディオデータを前記カットオフ周波数を参照して複数の階層に対応するように分割することが望ましい。

本発明によれば、ビット分割した後、シンボル単位に符号化することによってトップダウン方式にビット率を調節できるスケーラビリティを提供するので、符号化装置の計算量がスケーラビリティを提供しない装置のそれに比べてあまり多くならない。すなわち、本発明によれば、ＦＧＳを提供しつつ、複雑性がさらに低い、ビット率を調節できるオーディオ符号化方法、復号方法、その符号化装置及び復号装置を得ることができる。

さらに、算術符号化を利用するＭＰＥＧ−４ Ａｕｄｉｏ ＢＳＡＣに比べてハフマン符号化を利用する本発明の符号化装置／復号装置は、ビットパッキング／アンパッキング過程で計算量を大きく減らすことができる。ＦＧＳを提供するために本発明によるビットパッキングを行ってもオーバーヘッドが少なくて符号化利得の側面でスケーラビリティを提供しない場合とほとんど類似である。

また、本発明による装置は、階層構造を有するので、サーバー側でビット率を調節できるようにビットストリームを再生成する過程が非常に単純であり、したがって変換符号化装置の複雑性が低く、ネットワークを通じたオーディオストリームの伝送時、ユーザの意志あるいはネットワーク環境によって伝送ビット率を変更して伝送することによって継続的なサービスの提供が可能である。

さらに、容量の制限を有する情報保存媒体に保存する時、ファイルサイズを任意に調節して保存できる。ビット率が低くなれば帯域が制限されているため、主に符号化／復号装置の複雑性のほとんどを占めるフィルターの複雑性が非常に減少するため、ビット率に反比例して符号化装置／復号装置の実際複雑性も減少する。

以下、添付された図面を参照して本発明の望ましい実施例について詳細に説明する。

図１は、本発明の望ましい実施例による符号化装置のブロック図である。図１を参照すれば、符号化装置は、本発明によってビット率を調節できるようにオーディオデータを階層構造に符号化する装置であって、変換部１１、心理音響部１２、量子化部１３及びビットパッキング部１４を含む。

変換部１１は、時間領域のオーディオ信号であるＰＣＭオーディオデータを入力し、心理音響部１２から提供される音響心理モデルに関する情報を参照して周波数領域の信号に変換する。時間領域では、人間が認知するオーディオ信号の特性の差があまり大きくないが、変換を通じて得られた周波数領域のオーディオ信号は、人間の音響心理モデルによって各周波数帯域で人間が感じとれる（可聴）信号と感じとれない（非可聴）信号との特性差が大きいため、各周波数帯域別に割当てられるビット数を異ならせて圧縮の効率を高められる。本実施例で、変換部１１は、ＭＤＣＴ変換を行う。

心理音響部１２は、アタック感知情報のような音響心理モデルに関する情報を変換部１１に提供する一方、変換部１１によって変換されたオーディオ信号を適切なサブバンドの信号で縛り、各信号の相互作用によって発生するマスキング現象を利用して各サブバンドでのマスキングしきい値を計算して量子化部１３に提供する。マスキングしきい値とは、オーディオ信号の相互作用によって人間が聞いても感じとれない信号の最大サイズである。本実施例で、心理音響部１２は、ＢＭＬＤ（Binaural Masking Level Depression）を利用してステレオ成分に対するマスキングしきい値を計算する。

量子化部１３は、人間が聞いても感じとれないように各帯域の量子化雑音のサイズが心理音響部１２から提供されたマスキングしきい値より小さいように各帯域のオーディオ信号を対応するスケールファクター情報に基づいてスカラー量子化して量子化サンプルを出力する。すなわち、量子化部１３は、音響心理部１２で計算されたマスキングしきい値と各帯域で発生する雑音との比率であるＮＭＲ（Noise-to-Mask Ratio）を利用して前帯域のＮＭＲ値が０ ｄＢ以下となるように量子化する。ＮＭＲ値が０ ｄＢ以下であるというのは、量子化雑音を人間が聞きとれないことを意味する。

ビットパッキング部１４は、各階層に属する量子化サンプル及び付加情報を符号化して階層構造にパッキングする。付加情報は、各階層に当るスケールバンド情報、コーディングバンド情報、そのスケールファクター情報及びコーディングモデル情報を含む。スケールバンド情報とコーディングバンド情報とは、ヘッダ情報としてパッキングされて復号装置で伝送されることもあり、各階層ごとの付加情報として符号化され、かつパッキングされて復号装置で伝送されることもあり、復号装置にあらかじめ保存されているので伝送されないこともある。

さらに具体的に、ビットパッキング部１４は、第一階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報を符号化する一方、第一階層に対応するコーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位に符号化する。次いで、第二階層に対しても同じ過程を反復する。すなわち、あらかじめ決定された複数の階層に対する符号化が完了するまで階層を増やしつつ符号化する。本実施例で、ビットパッキング部１４は、スケールファクター情報とコーディングモデル情報とはＤＰＣＭし、量子化サンプルはハフマン符号化する。本発明によって符号化されたビットストリームの階層構造は後述する。

スケールバンド情報は、オーディオ信号の周波数特性によってさらに適切に量子化を行うための情報であって、周波数領域を複数のバンドに分け、各バンドに適したスケールファクターを割当てた時、各階層に対応するスケールバンドを知らせる情報である。したがって、各階層は少なくとも一つのスケールバンドに属する。各スケールバンドは、割当てられた一つのスケールファクターを有する。コーディングバンド情報もまたオーディオ信号の周波数特性によってさらに適切に符号化を行うための情報であって、周波数領域を複数のバンドに分け、各バンドに適したコーディングモデルを割当てた時、各階層に対応するコーディングバンドを知らせる情報である。スケールバンドとコーディングバンドとは実験によって適切に分けられ、対応するスケールファクターとコーディングモデルとが決定される。

図２は、本発明の望ましい実施例による復号装置のブロック図である。図２を参照すれば、復号装置は、ネットワーク状況、復号装置の性能、ユーザの選択によって決定されたターゲット階層まで復号することによってビット率を調節できる装置であって、アンパッキング部２１、逆量子化部２２及び逆変換部２３を含む。

アンパッキング部２１は、ビットストリームをターゲット階層までアンパッキングし、各階層別に復号する。すなわち、各階層に対応するスケールファクター情報、コーディングモデル情報が含まれた付加情報を復号した後、得たコーディングモデル情報に基づいて各階層に属する符号化された量子化サンプルを再び復号して量子化サンプルを得る。本実施例で、アンパッキング部２１は、スケールファクター情報とコーディングモデル情報とを差分復号し、符号化された量子化サンプルはハフマン復号する。

一方、スケールバンド情報とコーディングバンド情報とは、ビットストリームのヘッダ情報から得るか、または各階層別の付加情報を復号して得られる。代案的に、復号装置がスケールバンド情報及びコーディングバンド情報をあらかじめ保存していることもある。逆量子化部２２は、各階層の量子化サンプルを対応するスケールファクター情報によって逆量子化して復元する。逆変換部２３は、復元されたサンプルを周波数／時間マッピングして時間領域のＰＣＭオーディオデータに変換して出力する。本実施例で逆変換部２３は、ＭＤＣＴによる逆変換を行う。

図３は、本発明によってビット率を調節できるように階層構造に符号化されたビットストリームを構成するフレームの構造を示す。図３を参照すれば、本発明によるビットストリームのフレームは、ＦＧＳのために量子化サンプルと付加情報とを階層構造にマッピングさせて符号化されている。すなわち、下位階層のビットストリームが上位階層のビットストリームに含まれている階層構造を有する。各階層に必要な付加情報は、階層別に分けられて符号化される。

ビットストリームの先頭には、ヘッダ情報が保存されたヘッダ領域が設けられ、階層０の情報がパッキングされており、上位階層である階層１ないし階層Ｎに属する情報が順にパッキングされている。ヘッダ領域から階層０情報までを基底階層とし、ヘッダ領域から階層１情報までを階層１、階層２情報までを階層２とする。同じ方式で、最上位階層は、ヘッダ領域から階層Ｎ情報まで、すなわち基底階層から上位階層である階層Ｎまでである。各階層情報としては付加情報と符号化されたオーディオデータとが保存されている。例えば、階層２情報として付加情報２と符号化された量子化サンプルとが保存されている。ここで、Ｎは１より大きいまたは同じ整数である。

図４は、付加情報の詳細構造を示す。図４を参照すれば、任意の階層情報としては付加情報と符号化された量子化サンプルとが保存されており、本実施例で付加情報はハフマンコーディングモデル情報、量子化ファクター情報、チャンネルに対する付加情報及びその他の付加情報を含む。ハフマンコーディングモデル情報は、対応する階層に属する量子化サンプルの符号化に使われるか、または復号に使われなければならないハフマンコーディングモデルに対するインデックス情報である。量子化ファクター情報は、対応する階層に属するオーディオデータを量子化するか、または逆量子化するための量子化ステップサイズを知らせる。チャンネルに対する付加情報とは、Ｍ／Ｓ ｓｔｅｒｅｏのようなチャンネルに関する情報である。その他の付加情報は、Ｍ／Ｓ ｓｔｅｒｅｏの採用の如何に関するフラッグ情報である。

本実施例で、ビットパッキング部１４は、ハフマンコーディングモデル情報と量子化ファクター情報とをＤＰＣＭする。差分符号化途中にすぐ前のバンドの値の差分値が符号化される。チャンネルに関する付加情報は、ハフマン符号化する。

図５は、本発明による符号化方式を概略的に説明するための参考図である。図５を参照すれば、符号化しなければならない量子化サンプル全体が３階層で構成されている。斜線をつけた四角形は、量子化サンプルで構成されたスペクトルラインを示し、実線はスケールバンドを示し、帯線はコーディングバンドを示す。階層０には、スケールバンド[1]、[2]、[3]、[4]及び[5]が属し、コーディングバンド[1]、[2]、[3]、[4]及び[5]が属し、階層１にはスケールバンド[5]及び[6]が属し、コーディングバンド[6]、[7]、[8]、[9]及び[10]が属し、階層２にはスケールバンド[6]及び[7]が属し、コーディングバンド[11]、[12]、[13]、[14]及び[15]が属する。一方、階層０は、周波数帯域[a]まで符号化するように固定されており、階層１は、周波数帯域[b]まで符号化するように固定されており、階層２は、周波数帯域[c]まで符号化するように固定されている。

まず、１００ビット内で階層０に当る量子化サンプルを当該コーディングバンド[1]、[2]、[3]、[4]及び[5]に決まっているコーディングモデルを使用して符号化する。また、階層０の付加情報として、階層０に属するスケールバンド[1]、[2]、[3]、[4]、[5]とコーディングバンド[1]、[2]、[3]、[4]、[5]とを符号化する。階層０のサンプルをシンボル単位に符号化しつつ、ビット数をカウントして許容されたビット範囲、すなわち１００ビットを超えれば、階層０の符号化を中断し、階層１を符号化する。符号化されていない階層０のサンプルは、階層１及び階層２に許容されたビット範囲に余裕が生じた時に符号化する。

次いで、階層１に属するコーディングバンド、すなわちコーディングバンド[6]、[7]、[8]、[9]及び[10]のうち、符号化しようとする量子化サンプルが属するコーディングバンドのコーディングモデルを使用して階層１に属する量子化サンプルを符号化する。また、階層１の付加情報として階層１に属するスケールバンド[5]及び[6]とコーディングバンド[6]、[7]、[8]、[9]及び[10]とを符号化する。もし、階層１に当るサンプルを全て符号化しても許容されたビット範囲、すなわち１００ビットとならない場合には１００ビットになるまで階層０で符号化できなかったサンプルを符号化する。階層１に当るサンプルをシンボル単位に符号化しつつ、ビット数をカウントして許容されたビット範囲、すなわち１００ビットを超えれば階層１の符号化を中断し、階層２の符号化に移る。

最後に、階層２に属するコーディングバンド、すなわちコーディングバンド[11]、[12]、[13]、[14]及び[15]のうち、符号化しようとする量子化サンプルが属するコーディングバンドのコーディングモデルを使用して階層２に属する量子化サンプルを符号化する。また、階層２の付加情報として階層２に属するスケールバンド[6]及び[7]とコーディングバンド[11]、[12]、[13]、[14]及び[15]とを符号化する。もし、階層１に当るサンプルを全て符号化しても許容されたビット範囲、すなわち１００ビットとならない場合には、１００ビットになるまで階層０で符号化できなかったサンプルを符号化する。階層１に当るサンプルをシンボル単位に符号化しつつ、ビット数をカウントして許容されたビット範囲、すなわち１００ビットを超えれば階層１の符号化を中断し、階層２の符号化に移る。

もし、階層０で許容されたビット範囲を考慮せずに当該量子化サンプルを全て符号化してしまえば、言い換えれば、符号化されたビット数が既に許容されたビット範囲、すなわち１００ビットを超過したにも拘わらず、全て符号化すれば、結局、次の階層である階層１に許容されたビット範囲の少なくとも一部を借用して、階層１に属する量子化サンプルを符号化できなくなることが発生する。したがって、ビット率を調節できるように復号する場合、階層１までにだけ復号すれば、階層１の周波数[b]まで符号化できなかったため、復号された量子化サンプルは、周波数[b]以下で上り下りする。この時、音質が劣化されるバーディ効果が現れる。

一方、複数の階層（ターゲット階層）を決定する時、符号化しなければならないオーディオデータ全体のサイズを考慮してビット範囲が割当てられるので、全体的に符号化しなければならないビット範囲が足りなくて符号化できない場合は発生しない。

復号過程も符号化と同様に、その逆過程を行いつつ許容するビット範囲によってビット数をカウントするため、階層１に復号する時点が分かる。

図６は、本発明による符号化方式をさらに具体的に説明するための参考図である。

本発明によれば、ビットパッキング部１４は、各階層に当る量子化されたサンプルをビットプレーン符号化とハフマン符号化とを採用して符号化する。

複数の量子化サンプルをビットプレーン上にマッピングさせて２進データに表し、２進データの最上位ビット（Most Significant Bit：ＭＳＢ）で構成されたシンボルから最下位ビット（Least Significant Bit：ＬＳＢ）で構成されたシンボル順に該当階層に割当てられたビット範囲内で符号化する。ビットプレーン上で重要な情報は先に符号化し、相対的に重要でない情報は後に符号化できる。符号化過程で各階層に当るビット率及び階層別の周波数帯域を固定してバーディ効果と呼ばれる歪曲を低減するためである。

図６は、ｍｓｂで構成されたシンボルのビット数が４以下である場合に対する符号化の例であって、量子化サンプル９、２、４、０をビットプレーンにマッピングすれば、各々１００１ｂ、００１０ｂ、０１００ｂ、００００ｂの２進データに表示される。すなわち、本実施例で、ビットプレーン上で符号化単位となる符号化ブロックのサイズは、４×４である。

ｍｓｂで構成されたシンボルは、“１０００ｂ”であり、その次のビットｍｓｂ−１で構成されたシンボルは“００１０ｂ”であり、その次のビットｍｓｂ−２で構成されたシンボルは“０１００ｂ”であり、最下位ビットｍｓｂ−３で構成されたシンボルは“１０００ｂ”である。

ハフマン符号化のためのハフマンモデル情報、すなわち、コードブックインデックスは表１の通りである。

表１によれば、同じ重要度（本実施例ではｍｓｂ）に対しても二つのモデルが存在するのが分かるが、これは相異なる分布を示す量子化サンプルに対して二つのモデルを生成したためである。

図６の例を表１によって符号化する過程をさらに具体的に説明すれば、次の通りである。

シンボルのビット数が４以下である場合、本発明によるハフマン符号化は数式１による。

すなわち、ハフマン符号化は、３つの入力変数として、コードブックインデックス、上位ビットプレーン及びシンボルを有する。コードブックインデックスは、表１から得られた値であり、上位ビットプレーンはビットプレーン上で現在符号化しようとするシンボルのすぐ上側のシンボルを表す。シンボルは、現在符号化しようとするシンボルである。

図６の例でハフマンモデルは、ｍｓｂが４であるので、１３−１６または１７−２０が選択される。符号化される付加情報が７であれば、
ｍｓｂで構成されたシンボルのコードブックインデックスは１６、
ｍｓｂ−１で構成されたシンボルのコードブックインデックスは１５、
ｍｓｂ−２で構成されたシンボルのコードブックインデックスは１４、
ｍｓｂ−３で構成されたシンボルのコードブックインデックスは１３
となる。

一方、ｍｓｂで構成されたシンボルは、上位ビットプレーンのデータを有していないので、上位ビットプレーン値を０と仮定すれば、ＨｕｆｆｍａｎＣｏｄｅｂｏｏｋ［１６］［０ｂ］［１０００ｂ］のコードに符号化される。ｍｓｂ−１で構成されたシンボルは、上位ビットプレーンが１０００ｂであるので、ＨｕｆｆｍａｎＣｏｄｅｂｏｏｋ［１５］［１０００ｂ］［００１０ｂ］のコードに符号化される。ｍｓｂ−２で構成されたシンボルは、上位ビットプレーンが００１０ｂであるのでＨｕｆｆｍａｎＣｏｄｅｂｏｏｋ［１４］［００１０ｂ］［０１００ｂ］のコードに符号化される。ｍｓｂ−３で構成されたシンボルは、上位ビットプレーンが０１００ｂであるので、ＨｕｆｆｍａｎＣｏｄｅｂｏｏｋ［１３］［０１００ｂ］［１０００ｂ］のコードに符号化される。

ビットパッキング部１４は、シンボル単位に符号化した後、符号化された総ビット数をカウントし、使用可能なビット数と比較して符号化されたビット数が該当階層で使用可能なビット数を超える場合に符号化を中止する。符号化されず、残されたビットは次の階層に余裕空間が生じる時に符号化して入れる。該当階層に割当てられた量子化サンプルを全て符号化して使用可能なビット数が残る場合、すなわち、余裕空間が生じる場合には下位階層で符号化されずに残された量子化サンプルを符号化する。

一方、ｍｓｂで構成されたシンボルのビット数が５以上である場合には、現在ビットプレーン上の位置を利用してハフマンコード値を決定する。すなわち、重要度が５以上である場合には、それぞれのビットプレーン上のデータは、統計的に大きい差を示さないため、全て同じハフマンモデルを使用してハフマン符号化する。すなわち、ビットプレーン当り一つのハフマンモデルが存在する。

重要度が５以上である場合（シンボルのビット数が５以上である場合）、本発明によるハフマン符号化は、数式２による。

ここで、ｂｐｌは、現在コーディングしようとするビットプレーンのインデックスを示し、したがって、１以上の整数値を有する。２０は、表１の付加情報８に対応するハフマンモデルの最後のインデックスが２０であるので、インデックスを２１から始めるために加算する値である。したがって、コーディングバンドに対する付加情報は、単純に重要度だけを表す。下記の表２でハフマンモデルは、現在符号化しようとするビットプレーンのインデックスによって決定される。

一方、付加情報のうち量子化ファクター情報とハフマンモデル情報とは、対応するコーディングバンドに対してＤＰＣＭを行う。量子化ファクター情報を符号化する時、ＤＰＣＭの初期値は、フレームのヘッダ情報に８ビットに表現される。ハフマンモデル情報に対するＤＰＣＭの初期値は、０にセッティングする。

本発明による符号化方式と従来のＢＳＡＣとの差異点は、次の通りである。第一、ＢＳＡＣは、ビット単位に符号化したが、本発明によればシンボル単位に符号化する。第二、ＢＳＡＣは、算術符号化したが、本発明はハフマン符号化する。算術符号化は、圧縮ゲインは高いが、多くの計算量が要求されて複雑性とコストとが高まる問題点がある。したがって、本発明ではビット単位に符号化せず、シンボル単位にハフマン符号化することによって複雑性とコストとを低くした。

ビット率を調整するためには、すなわち、スケーラビリティを適用する場合、一フレームに当るビットストリームを各階層で使用可能なビット数を考慮してカットオフすることによって少ないデータだけでも復号できる。例えば、最高ビット率が９６ｋｂｐｓであり、対応するビットストリームのサイズが２０９６ビットである場合、４８ｋｂｐｓに当るビットストリームだけを復号しようとする時にはビットストリームを１０４８ビットだけ取ることによって４８ｋｂｐｓに当る復号されたオーディオデータを得られる。

前述した構成に基づいて、本発明による符号化方法及び復号方法を説明すれば、次の通りである。

符号化装置は、ＰＣＭオーディオデータを読取ってメモリ（図示せず）に保存し、保存されたＰＣＭオーディオデータを利用して心理音響モデルを経てマスキングしきい値と付加情報とを求める。ＰＣＭオーディオデータは、時間領域の信号であるので、これを周波数領域の信号にＭＤＣＴ変換する。次いで、符号化装置は、変換された信号を量子化バンド情報と量子化ファクター情報とによって量子化して量子化サンプルを得る。量子化サンプルを前述したようにビット分割符号化、シンボル単位符号化及びハフマン符号化を採用して符号化してパッキングする。

図７は、本発明の望ましい実施例による符号化方法を説明するためのフローチャートである。

図７を参照すれば、符号化装置のビットパッキング部１４によって量子化サンプルを符号化してパッキングする過程は、次の通りである。

まず、ビットパッキング部１４は、与えられたターゲットビット率と付加情報とに基づいて各階層に当る情報を抽出する。この過程は、段階７０１ないし７０３を通じて行われる。すなわち、各階層に分割する基準となるカットオフ周波数を求め（７０１段階）、各階層に当る量子化バンド情報とコーディングバンド情報とを求め（７０２段階）、符号化されなければならないビットを利用して階層当り符号化可能なビット範囲を割り当てる（７０３段階）。

次いで、基盤階層に当る（７０４段階）量子化バンド情報とコーディングバンド情報とを含んで付加情報を符号化する（７０５段階）。

次いで、基盤階層に当る量子化サンプルをビットプレーン上にマッピングし、４×４ブロック単位にｍｓｂで構成されたシンボルから符号化しつつ（７０６段階）、符号化されたビット数をカウントし、カウントされたビット数が該当階層で使用可能なビット範囲を超えれば（７０７段階）、現在階層の符号化を中止し、次の階層に移る。カウントされたビット数が該当階層で使用可能なビット範囲以下であれば（７０７段階）、次の階層に対して前記７０５段階に移る（７０９段階）。７０８段階は、基盤階層の場合には、それより低い下位階層がないので行われないが、以後階層に対しては行われる。前記過程を経てターゲット階層まで全て符号化する。

前記７０６段階、すなわち、量子化サンプルを符号化する過程は、次の通りである。
１．各階層に当る量子化サンプルをＮ個の単位に縛ってビットプレーン上にマッピングする。
２．マッピングされた２進データのｍｓｂで構成されたシンボルから順にハフマン符号化する。

２の過程を再び細分して説明すれば、次の通りである。
２.１．現在符号化しようとするシンボルに対応する一つのスカラー値ｃｕｒＶａｌを求める。
２.２．上位ビットプレーン、すなわち、現在符号化しようとするシンボルの上段に存在するシンボルに対応するスカラー値ｕｐｐｅｒＶａｌに対応するハフマンコードを求め、求められたコードに符号化する。

付加情報のうち量子化ファクター情報とハフマンモデル情報とは、対応するコーディングバンドに対してＤＰＣＭを行う。量子化ファクター情報を符号化する時、ＤＰＣＭの初期値は、フレームのヘッダ情報に８ｂｉｔに表現される。ハフマンモデル情報に対するＤＰＣＭの初期値は、０にセッティングする。

図８は、本発明の望ましい実施例による復号方法を説明するためのフローチャートである。

図８を参照すれば、復号装置は、階層構造に符号化されたオーディオデータで構成されたビットストリームを受信してフレーム別に設けられたヘッダ情報を復号する。次いで、第一階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報を復号した後（８０１段階）、コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位に復号して量子化サンプルを得る（８０２段階）。得られた量子化サンプルを前記スケールファクター情報を参照して逆量子化し（８０３段階）、逆量子化されたサンプルを逆変換する（８０４段階）。あらかじめ決定されたターゲット階層に対する復号が完了するまで毎回前記階層の前に付加された序数を１ずつ増やしつつ、前記８０１段階ないし８０４段階を反復して行う。

図９は、本発明の望ましい実施例による復号方法を説明するためのフローチャートである。

図９を参照すれば、復号装置は、階層構造に符号化されたオーディオデータで構成されたビットストリームを受信してフレーム別に設けられたヘッダ情報から各階層に当るカット−オフ周波数を復号し（９０１段階）、ヘッダ情報から各階層に当る量子化バンド情報とコーディングバンド情報とを復号した後（９０２段階）、各階層別に使用可能なビット範囲を得る（９０３段階）。次いで、基盤階層に対する（９０４段階）付加情報を復号し（９０５段階）、最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に復号して量子化されたサンプルを得る（９０６段階）。あらかじめ決定されたターゲット階層まで（９０７段階）、階層を１ずつ増やしつつ、前記９０５段階ないし９０６段階を反復する。前記９０１段階ないし９０３段階は、カットオフ周波数、量子化バンド情報、コーディングバンド情報及びビット範囲は、受信されたビットストリームのフレームごとに保存されたヘッダ情報から得る代わりに復号装置があらかじめ有していることもあり、そのような場合、復号装置は保存された情報を読取って各情報を得る。

本発明はオーディオ符号化方法、復号方法、その符号化装置及び復号装置に適用できるが、ビット率を調節できるスケーラビリティを提供するので、符号化装置の計算量を顕著に減少させ、ネットワークを通じたオーディオストリームの伝送時、ユーザの意志あるいはネットワークの環境によって伝送ビット率を変更して伝送することによって、継続的なサービスを提供する分野に有利であり、また容量が限定された情報保存媒体に保存する時、ファイルサイズを任意に調節して保存できる。

本発明の望ましい実施例による符号化装置のブロック図である。 本発明の望ましい実施例による復号装置のブロック図である。 本発明によってビット率を調節できるように階層構造に符号化されたビットストリームを構成するフレームの構造図である。 付加情報の詳細構造図である。 本発明による符号化方式を概略的に説明するための参考図である。 本発明による符号化方式をさらに具体的に説明するための参考図である。 本発明の望ましい実施例による符号化方法を説明するためのフローチャートである。 本発明の望ましい実施例による復号方法を説明するためのフローチャートである。 本発明の望ましい実施例による復号方法を説明するためのフローチャートである。

Claims (9)

1. （ａ）複数の階層に対応するようにオーディオデータを分割する段階と、
   （ｂ）前記複数の階層に各々対応するスケールバンド情報及びコーディングバンド情報を得る段階と、
   （ｃ）第一階層に対応するスケールバンド情報及びコーディングバンド情報によるスケールファクター情報及びコーディングモデル情報を含む付加情報を差分符号化する段階と、
   （ｄ）前記第一階層に当るオーディオデータを対応するスケールファクター情報を参照して量子化して量子化サンプルを得る段階と、
   （ｆ）得られた複数の量子化サンプルを前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボルの順にシンボル単位にハフマン符号化する段階と、
   （ｇ）前記複数の階層に対する符号化が完了するまで、毎回前記階層の前に付加された序数を１ずつ増やしつつ、前記（ｃ）段階ないし（ｆ）段階を反復して階層構造を有するようにパッキングする段階と、を含み、
   前記（ｆ）段階は、
   （ｆ１）複数の量子化サンプルをビットプレーン上にマッピングする段階と、
   （ｆ２）最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に符号化する段階と、を含み、
   前記（ｆ１）段階は、
   Ｎ個の量子化サンプルをビットプレーン上にマッピングする段階であり、
   前記（ｆ２）段階は、
   Ｎビットの２進データで構成された前記シンボルに対応する一つのスカラー値を求める段階と、
   前記Ｎビットの２進データ、求められたスカラー値と前記ビットプレーン上で現在のシンボルに対する上位シンボルに対応するスカラー値とを参照してハフマン符号化を行う段階と、を含むことを特徴とする符号化方法（Ｎは整数）。
2. 前記（ｆ）段階以前に、
   （ｅ）前記複数の階層に対して各々使用可能なビット範囲を求める段階を含み、
   前記（ｆ）段階は、
   符号化されたビット数をカウントし、カウントされたビット数が対応するビット範囲を超えれば符号化を中止し、割当てられた量子化サンプルを全て符号化した以後にもカウントされたビット数が対応するビット範囲より小さければ下位階層で符号化できずに残されたビットを前記ビット範囲が許容するだけ符号化する段階を含むことを特徴とする請求項１に記載の符号化方法。
3. 前記（ａ）段階は、
   （ａ１）オーディオデータをＭＤＣＴ変換する段階と、
   （ａ２）ＭＤＣＴ変換されたオーディオデータをカットオフ周波数を参照して前記複数の階層に対応するように分割する段階と、を含むことを特徴とする請求項１に記載の符号化方法。
4. 階層構造に符号化されたオーディオデータをビット率調節可能に復号する方法において、
   （ａ）第一階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報を差分復号する段階と、
   （ｂ）前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位にハフマン復号して量子化サンプルを得る段階と、
   （ｃ）得られた量子化サンプルを前記スケールファクター情報を参照して逆量子化する段階と、
   （ｄ）逆量子化されたサンプルをＭＤＣＴ逆変換する段階と、
   （ｅ）あらかじめ決定された階層まで復号が完了するまで毎回前記階層の前に付加された序数を１ずつ増やしつつ、前記（ａ）段階ないし（ｄ）段階を反復して行う段階と、を含み、
   前記（ｂ）段階は、
   （ｂ１）最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に復号する段階と、
   （ｂ２）復号されたシンボルが配列されたビットプレーンから量子化されたサンプルを得る段階と、を含み、
   前記（ｂ１）段階は、
   復号されたシンボルで構成された４×Ｎビットプレーンを得る段階であり、
   前記（ｂ２）段階は、
   前記４×ＮビットプレーンからＮ個の量子化サンプルを得る段階と、を含むことを特徴とする復号方法（Ｎは整数）。
5. 階層構造に符号化されたオーディオデータをビット率調節可能に復号する装置において、
   第一階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報を差分復号し、前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位にハフマン復号して量子化サンプルを得るアンパッキング部と、
   得られた量子化サンプルを前記スケールファクター情報を参照して逆量子化する逆量子化部と、
   逆量子化されたサンプルを逆変換する逆変換部と、を含み、
   前記アンパッキング部は、
   最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に復号し、復号されたシンボルで構成された４×Ｎビットプレーンを得た後、前記４×ＮビットプレーンからＮ個の量子化サンプルを得ることを特徴とする復号装置（Ｎは整数）。
6. オーディオデータをビット率調節可能に符号化する装置において、
   前記オーディオデータをＭＤＣＴ変換する変換部と、
   各階層に当る、ＭＤＣＴ変換されたオーディオデータを前記スケールファクター情報を参照して量子化して量子化サンプルを出力する量子化部と、
   各階層に対応するスケールファクター情報及びコーディングモデル情報を含む付加情報を差分符号化し、前記量子化部からの複数の量子化サンプルを前記コーディングモデル情報を参照して最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順にシンボル単位にハフマン符号化するパッキング部と、を含み、
   前記パッキング部は、
   Ｋ個の量子化サンプルをビットプレーン上にマッピングし、Ｋビットの２進データで構成された前記シンボルに対応する一つのスカラー値を求めた後、前記Ｋビットの２進データ、求められたスカラー値と前記ビットプレーン上で現在のシンボルに対する上位シンボルに対応するスカラー値とを参照してハフマン符号化することにより、最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボル順に対応する階層が許容するビット範囲だけシンボル単位に符号化することを特徴とする符号化装置（Ｋは整数）。
7. 前記パッキング部は、
   複数の階層に各々対応するスケールバンド情報及びコーディングバンド情報を得て各階層に対応するスケールバンド情報及びコーディングバンド情報によるスケールファクター情報及びコーディングモデル情報を含む付加情報を符号化することを特徴とする請求項６に記載の符号化装置。
8. 前記パッキング部は、
   符号化されたビット数をカウントし、カウントされたビット数が各階層に許容されるビット範囲を超えれば符号化を中止し、割当てられた量子化サンプルを全て符号化した以後にもカウントされたビット数が対応するビット範囲より小さければ下位階層で符号化できずに残されたビットを前記ビット範囲が許容するだけ符号化することを特徴とする請求項６に記載の符号化装置。
9. 前記パッキング部は、
   ＭＤＣＴ変換されたオーディオデータを前記カットオフ周波数を参照して複数の階層に対応するように分割することを特徴とする請求項６に記載の符号化装置。
   

Images