JP5048680B2 - オーディオ信号の符号化及び復号化方法、オーディオ信号の符号化及び復号化装置 - Google Patents

Description

本発明は、オーディオ信号の符号化及び復号化に係り、特にオーディオデータの符号化または復号化時のコードブックのサイズを最小化できるオーディオ信号の符号化及び復号化方法、オーディオ信号の符号化及び復号化装置に関する。

最近、デジタル信号処理技術の発達により、オーディオ信号は、デジタルデータとして保存されて再生される場合がほとんどである。デジタルオーディオ保存／再生装置は、アナログオーディオ信号をサンプリングして量子化してデジタル信号であるＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）オーディオデータに変換してＣＤ、ＤＶＤのような情報記録媒体に保存した後、ユーザーが必要とする時にそれを再生して聴取可能にする。デジタル方式によるオーディオ信号の保存／復元方式は、ＬＰ（Ｌｏｎｇ−Ｐｌａｙ）レコード、マグネチックテープのようなアナログ保存／復元方式に比べて音質を非常に向上させ、保存期間による劣化現象を顕著に低下させたが、デジタルデータのサイズが小さくなくて保存及び伝送が円滑でないという問題点があった。

かかる問題点を解決するために、デジタルオーディオ信号の大きさを減らすための多様な圧縮方式が使われている。ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ Ｏｒｇａｎｉｚａｔｉｏｎ）により標準化作業がなされたＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）／オーディオやドルビー社により開発されたＡＣ−２／ＡＣ−３は、人間の心理音響モデルを利用してデータの量を減らす方法を採用し、その結果、信号の特性に関係なく効率的にデータの量を減らすことができた。

従来には、変換及び量子化されたオーディオ信号を符号化するステップでエントロピー符号化及び復号化を行う場合に、符号化及び復号化方式としてコンテキスト基盤の符号化及び復号化方式を使用できるが、かかるコンテキスト基盤下で符号化及び復号化のためのコードブックが必要になる。しかし、かかる適正なコードブックを備えるためには、メモリサイズが大きくならなければならないという問題点をもたらす。

本発明の目的は、符号化のためのコードブックのサイズを最小化し、かつ符号化及び復号化効率を向上させるオーディオ信号の符号化及び復号化方法、その符号化及び復号化装置を提供するところにある。

一実施例による符号化方法は、
入力されたオーディオ信号を周波数領域に変換するステップと、
前記周波数領域に変換されたオーディオ信号を量子化するステップと、
ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用して、前記量子化されたオーディオ信号の符号化対象のシンボルをビットプレーンコーディング方式で符号化するステップと、
を含み、前記符号化するステップにおいて、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、決定された前記コンテキストを使用して、前記現在のビットプレーンのシンボルに対してハフマンコーディングを行うことを特徴とするオーディオ信号の符号化方法である。

一実施例による復号化方法は、
ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用してビットプレーンコーディング方式で符号化されたオーディオ信号を復号化するステップと、
前記復号化されたオーディオ信号を逆量子化するステップと、
前記逆量子化されたオーディオ信号を時間領域の信号に変換するステップと、
を含み、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、前記コンテキストとして使用して、前記オーディオ信号に対してハフマンデコーディングを行うことを特徴とするオーディオ信号の復号化方法である。

一実施例による符号化装置は、
入力されたオーディオ信号を周波数領域に変換する変換部と、
前記周波数領域に変換されたオーディオ信号を量子化する量子化部と、
ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用して、前記量子化されたオーディオ信号の符号化対象のシンボルをビットプレーンコーディング方式で符号化する符号化部と、
を含み、前記符号化部において、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、決定された前記コンテキストを使用して、前記現在のビットプレーンのシンボルに対してハフマンコーディングを行うことを特徴とするオーディオ信号の符号化装置である。

一実施例による復号化装置は、
ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用してビットプレーンコーディング方式で符号化されたオーディオ信号を復号化する復号化部と、
前記復号化されたオーディオ信号を逆量子化する逆量子化部と、
前記逆量子化されたオーディオ信号を時間領域の信号に変換する変換部と、
を含み、前記復号化部において、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、前記コンテキストとして使用して、前記オーディオ信号に対してハフマンデコーディングを行うことを特徴とするオーディオ信号の復号化装置である。

前述したように、オーディオ信号の符号化及び復号化方法、オーディオ信号の符号化及び復号化装置は、オーディオ信号をビットプレーンコーディング方式で符号化するとき、上位ビットプレーンの複数のシンボルを代表するコンテキストを使用して符号化することによって、メモリに保存されたコードブックのサイズを減らしつつも効果的な符号化を行うことができる。

以下、本発明によるオーディオ信号の符号化方法を、添付された図面を参照して詳細に説明する。

図１は、本発明のオーディオ信号の符号化方法を説明するための一実施形態のフローチャートである。

入力されたオーディオ信号を周波数領域に変換する（ステップ１０）。時間領域のオーディオ信号であるＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅｄ Ｍｏｄｕｌａｔｉｏｎ）オーディオデータを入力されて、心理音響モデルに関する情報を参照して周波数領域の信号に変換する。時間領域では、人間が認知するオーディオ信号の特性差があまり大きくないが、変換を通じて得られた周波数領域のオーディオ信号は、人間の心理音響モデルによって各周波数帯域で人間が感じる信号と感じられない信号との特性差が大きいため、各周波数帯域別に割り当てられるビット数を異ならせることによって圧縮の効率を向上させる。本実施形態は、周波数領域への変換中にＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換を行う。

ステップ１０後に、周波数領域に変換されたオーディオ信号を量子化する（ステップ１２）。人間が聞いても感じられないように各帯域の量子化ノイズの大きさがマスキングしきい値より小さいように、各帯域のオーディオ信号を対応するスケールファクタ情報に基づいてスカラー量子化して量子化サンプルを出力する。

ステップ１２後に、量子化されたオーディオ信号をビットプレーンコーディング方式で符号化するとき、上位ビットプレーンが有する多様なシンボルを代表するコンテキストを使用して符号化する（ステップ１４）。本発明によれば、各階層に該当する量子化されたサンプルを、ビットプレーン符号化方式を使用して符号化する。

図２は、階層構造で符号化されたビットストリームを構成するフレームの構造図の一例を示す図である。図２に示すように、本発明によるビットストリームのフレームは、量子化サンプルと付加情報とを階層構造にマッピングさせて符号化されている。すなわち、下位階層のビットストリームが上位階層のビットストリームに含まれている階層構造を有する。各階層に必要な付加情報は、階層別に分けられて符号化される。

ビットストリームの先頭には、ヘッダ情報が保存されたヘッダ領域が設けられ、階層０の情報がパッキングされている。各階層情報としては、付加情報及び符号化されたオーディオデータが保存されている。例えば、階層２情報として、付加情報２及び符号化された量子化サンプルが保存されている。ここで、Ｎは、１以上の整数である 。

図３は、付加情報の詳細構造図の一例である。図３に示すように、任意の階層情報としては、付加情報及び符号化された量子化サンプルが保存されており、本実施形態において、付加情報は、ハフマンコーディングモデル情報、量子化ファクタ情報、チャンネルについての付加情報及びその他の付加情報を含む。ハフマンコーディングモデル情報は、対応する階層に属する量子化サンプルの符号化に使われるか、または復号化に使われるべきハフマンコーディングモデルについてのインデックス情報をいう。量子化ファクタ情報は、対応する階層に属するオーディオデータを量子化または逆量子化するための量子化ステップサイズを知らせる。チャンネルについての付加情報とは、Ｍ／Ｓ（Ｍｉｄｄｌｅ／Ｓｉｄｅ）ステレオのようなチャンネルについての情報をいう。その他の付加情報は、Ｍ／Ｓステレオの採用如何についてのフラッグ情報などをいう。

図４は、図１に示したステップ１４を説明するための一実施形態のフローチャートである。

量子化されたオーディオ信号の複数個の量子化サンプルをビットプレーン上にマッピングする（ステップ３０）。複数個の量子化サンプルをビットプレーン上にマッピングさせて二進データで表し、二進データの最上位ビット（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＭＳＢ）で構成されたシンボルから最下位ビット（ＬｅａｓｔＳｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：ＬＳＢ）で構成されたシンボルの順序で該階層に割り当てられたビット範囲内で符号化する。ビットプレーン上で重要な情報は先に符号化し、相対的に重要でない情報は後で符号化することによって、符号化過程で各階層に該当するビット率及び階層別の周波数帯域を固定してバーディー効果という歪曲を減らすことができる 。

図５は、図４に示したステップ３０を説明するための参考図である。図５に示すように、量子化サンプル９，２，４，０をビットプレーンにマッピングすれば、それぞれ１００１ｂ，００１０ｂ，０１００ｂ，００００ｂの二進データで表示される。すなわち、本実施形態において、ビットプレーン上で符号化単位となる符号化ブロックのサイズは４×４である。量子化サンプルのそれぞれに対する同じ順位のビットの集合をシンボルと称す。最上位ビットＭＳＢで構成されたシンボルは"１０００ｂ"であり、その次のビットＭＳＢ−１で構成されたシンボルは"００１０ｂ"であり、その次のビットＭＳＢ−２で構成されたシンボルは"０１００ｂ"であり、最下位ビットＭＳＢ−３で構成されたシンボルは"１０００ｂ"である。

ステップ３０後に、符号化しようとする現在のビットプレーンの上側にある上位ビットプレーンが有する多様なシンボルを代表するコンテキストを決定する（ステップ３２）。ここで、コンテキストは、符号化のために必要な上位ビットプレーンのシンボルを意味する。

ステップ３２は、上位ビットプレーンが有する多様なシンボルの二進データのうち"１"の数字が三つ以上であるシンボルを代表するコンテキストを、符号化のための上位ビットプレーンのシンボルとして決定する。例えば、４ビットからなる上位ビットプレーンのシンボルの二進データを"０１１１"，"１０１１"，"１１０１"，"１１１０"または"１１１１"のうちいずれか一つというとき、シンボル内の"１"の数字が三つ以上であることを確認できる。このように、シンボルの二進データのうち"１"の数字が三つ以上であるシンボルを代表する一つのシンボルをコンテキストとして決定する。

一方、ステップ３２は、上位ビットプレーンが有する多様なシンボルの二進データのうち"１"の数字が二つであるシンボルを代表するコンテキストを、符号化のための上位ビットプレーンのシンボルとして決定することもできる。例えば、４ビットからなる上位ビットプレーンのシンボルの二進データを"００１１"，"０１０１"，"０１１０"，"１００１"，"１０１０"または"１１００"のうちいずれか一つというとき、シンボル内の"１"の数字が二つであることを確認できる。このように、シンボルの二進データのうち"１"の数字が二つであるシンボルを代表する一つのシンボルをコンテキストとして決定する。

一方、ステップ３２は、上位ビットプレーンが有する多様なシンボルの二進データのうち"１"の数字が一つであるシンボルを代表するコンテキストを、符号化のための上位ビットプレーンのシンボルとして決定することもできる。例えば、４ビットからなる上位ビットプレーンのシンボルの二進データを"０００１"，"００１０"，"０１００"または"１０００"のうちいずれか一つというとき、シンボル内の"１"の数字が一つであることを確認できる。このように、シンボルの二進データのうち"１"の数字が一つであるシンボルを代表する一つのシンボルをコンテキストとして決定する。

図６は、図４に示したステップ３２を説明するためのコンテキストの一例を示す参考図である。図６の"Ｐｒｏｃｅｓｓ１"では、二進データのうち"１"の数字が三つ以上である場合に、それを代表するコンテキストとして"０１１１"，"１０１１"，"１１０１"，"１１１０"または"１１１１"のうちいずれか一つを決定した一例を表している。また、図６の"Ｐｒｏｃｅｓｓ２"では、二進データのうち"１"の数字が二つである場合に、それを代表するコンテキストとして"００１１"，"０１０１"，"０１１０"，"１００１"，"１０１０"または"１１００"のうちいずれか一つを決定し、二進データのうち"１"の数字が三つ以上である場合に、それを代表するコンテキストとして"０１１１"，"１０１１"，"１１０１"，"１１１０"または"１１１１"のうちいずれか一つを決定した一例を表している。図６から分かるように、従来には、上位ビットプレーンのシンボルのそれぞれに対するコードブックをそれぞれ備えねばならなかった。すなわち、シンボルが４ビットで構成されれば、１６個の種類にシンボルが分けられているが、本願発明によれば、図６の"Ｐｒｏｃｅｓｓ ２"の過程を経て上位ビットプレーンのシンボルを代表するコンテキストを決定すれば、７個のシンボルにのみ分けられているため、必要なコードブックのサイズを減らすことができる。

図７は、オーディオ信号に対してハフマンコーディングを行うために擬似コードで表現した一例を示す図である。図７には、"ｕｐｐｅｒ＿ｖｅｃｔｏｒ＿ｍａｐｐｉｎｇ（）；"を使用して、上位ビットプレーンの複数のシンボルを代表するコンテキストを決定するためのコードが例示されている。

ステップ３２後に、決定されたコンテキストを使用して現在のビットプレーンのシンボルに対して符号化する（ステップ３４）。

特に、決定されたコンテキストを使用して、現在のビットプレーンのシンボルに対してハフマンコーディングを行うことを特徴とする。

ハフマン符号化のためのハフマンモデル情報、すなわちコードブックインデックスは、表１の通りである。

表１によれば、同じ重要度（本実施形態では、ＭＳＢのビット数）に対しても二つのモデルが存在するということが分かるが、これは、異なる分布を表す量子化サンプルに対して二つのモデルを生成したためである。

図５の例を表１によって符号化する過程をさらに具体的に説明すれば、次の通りである。

シンボルのビット数が４以下である場合、本発明によるハフマン符号化は、式（１）による。

ハフマンコード値＝Ｈｕｆｆｍａｎ Ｃｏｄｅｂｏｏｋ［コードブックインデックス］［上位ビットプレーン］［シンボル］ （１）
すなわち、ハフマン符号化は、三つの入力変数としてコードブックインデックス、上位ビットプレーン及びシンボルを有する。コードブックインデックスは、表１から得られた値を指し、上位ビットプレーンは、ビットプレーン上で現在符号化しようとするシンボルの真上のシンボルを指す。ここで、前述したステップ３２で決定されたコンテキストが上位ビットプレーンのシンボルとして入力される。シンボルは、現在符号化しようとするビットプレーンの二進データをいう。

図５の例では、重要度が４であるので、ハフマンモデルは、１３ないし１６または１７ないし２０が選択される。符号化される付加情報が７であれば、ＭＳＢで構成されたシンボルのコードブックインデックスは１６、ＭＳＢ−１で構成されたシンボルのコードブックインデックスは１５、ＭＳＢ−２で構成されたシンボルのコードブックインデックスは１４、ＭＳＢ−３で構成されたシンボルのコードブックインデックスは１３となる。

一方、最上位シンボルであるＭＳＢは、上位ビットプレーンのデータを有さないので、上位ビットプレーン値を０であると仮定すれば、Ｈｕｆｆｍａｎ Ｃｏｄｅｂｏｏｋ［１６］［０ｂ］［１０００ｂ］のコードで符号化される。ＭＳＢ−１で構成されたシンボルは、上位ビットプレーンが１０００ｂであるので、Ｈｕｆｆｍａｎ Ｃｏｄｅｂｏｏｋ［１５］［１０００ｂ］［００１０ｂ］のコードで符号化される。ＭＳＢ−２で構成されたシンボルは、上位ビットプレーンが００１０ｂであるので、Ｈｕｆｆｍａｎ Ｃｏｄｅｂｏｏｋ［１４］［００１０ｂ］［０１００ｂ］のコードで符号化される。ＭＳＢ−３で構成されたシンボルは、上位ビットプレーンが０１００ｂであるので、Ｈｕｆｆｍａｎ Ｃｏｄｅｂｏｏｋ［１３］［０１００ｂ］［１０００ｂ］のコードで符号化される。

シンボル単位で符号化した後、符号化された総ビット数をカウントし、使用可能なビット数と比較して符号化されたビット数が該階層で使用可能なビット数を超える場合、符号化を中止する。符号化されずに残ったビットは、次の階層に余裕空間が生じる時に符号化して入れる。該階層に割り当てられた量子化サンプルをいずれも符号化してからも使用可能なビット数が残る場合、すなわち余裕空間が生じる場合には、下位階層で符号化されずに残った量子化サンプルを符号化する。

一方、ＭＳＢで構成されたシンボルのビット数が５以上である場合には、現在のビットプレーン上の位置を利用してハフマンコード値を決定する。すなわち、重要度が５以上である場合には、それぞれのビットプレーン上のデータは統計的に大きい差を表さないため、いずれも同じハフマンモデルを使用してハフマン符号化する。すなわち、ビットプレーン当たり一つのハフマンモデルが存在する。

重要度が５以上である場合（シンボルのビット数が５以上である場合）、本発明によるハフマン符号化は式（２）による。

ハフマンコード値＝２０＋ｂｐｌ （２）
ここで、ｂｐｌは、現在コーディングしようとするビットプレーンのインデックスを指し、したがって、１以上の整数値を有する。２０は、表１の付加情報８に対応するハフマンモデルの最後のインデックスが２０であるので、インデックスを２１から始めるために加える値である。したがって、コーディングバンドについての付加情報は、単純に重要度のみを表す。下記の表２で、ハフマンモデルは、現在符号化しようとするビットプレーンのインデックスによって決定される。

一方、付加情報のうち量子化ファクタ情報及びハフマンモデル情報は、対応するコーディングバンドに対して差分符号化（ＤＰＣＭ）を行う。量子化ファクタ情報を符号化するとき、差分符号化の初期値は、フレームのヘッダ情報に８ビットで表現される。ハフマンモデル情報についての差分符号化の初期値は、０に設定する。

ビット率を調整するためには、すなわちスケーラビリティを適用する場合、一つのフレームに該当するビットストリームを、各階層で使用可能なビット数を考慮してカットすることによって、少ないデータのみでも復号化できる。

一方、決定されたコンテキストを使用して、現在のビットプレーンのシンボルに対して算術コーディングを行うこともできる。算術コーディングを通じて符号化する場合には、コードブックでない確率テーブルを利用して符号化を行う。このとき、コードブックインデックス及び決定されたコンテキストを同一に使用し、ＡｒｉｔｈｍｅｔｉｃＦｒｅｑｕｅｎｃｙＴａｂｌｅ［］［］［］で確率テーブルが必要である。各次元の入力変数は、ハフマン方式と同一であり、テーブルは、所定のシンボルが発生する確率を表す。例えば、ＡｒｉｔｈｍｅｔｉｃＦｒｅｑｕｅｎｃｙＴａｂｌｅ［３］［０］［１］の値が０．５である場合には、コードブックインデックスが３であり、コンテキストが０である場合に１のシンボルが発生する確率が０．５であることを表す。通常、固定少数点演算のために、確率テーブルは、所定の値をかけて整数で表現する。

以下、本発明によるオーディオ信号の復号化方法を、添付された図面を参照して詳細に説明する。

図８は、本発明のオーディオ信号の復号化方法を説明するための一実施形態のフローチャートである。

ビットプレーンコーディング方式で符号化されたオーディオ信号を復号化するとき、上位ビットプレーンが有する多様なシンボルを代表するコンテキストを使用してオーディオ信号を復号化する（ステップ５０）。

図９は、図８に示したステップ５０を説明するための一実施形態のフローチャートである。

決定されたコンテキストを使用して、現在のビットプレーンのシンボルに対して復号化する（ステップ７０）。符号化されたビットストリームは、符号化ステップで決定されたコンテキストを使用して符号化されたものである。かかる階層構造で符号化されたオーディオデータで構成されたビットストリームを受信して、フレーム別に設けられたヘッダ情報を復号化する。次いで、最初の階層に相応するスケールファクタ情報及びコーディングモデル情報を含む付加情報を復号化する。次いで、コーディングモデル情報を参照して、最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボルの順序でシンボル単位で復号化する。

特に、決定されたコンテキストを使用して、オーディオ信号に対してハフマンデコーディングを行うことを特徴とする。ハフマンデコーディング過程は、前述したハフマンコーディングの逆過程を行うものである。

一方、決定されたコンテキストを使用して、オーディオ信号に対して算術デコーディングを行うこともできる。算術デコーディング過程は、前述した算術コーディング過程の逆過程である。

ステップ７０後に、復号化されたシンボルが配列されたビットプレーンから量子化されたサンプルを抽出する（ステップ７２）。各階層に対する量子化サンプルを求める。

一方、ステップ５０後に、復号化されたオーディオ信号を逆量子化する（ステップ５２）。求められた量子化サンプルを、スケールファクタ情報を参照して逆量子化する。

ステップ５２後に、逆量子化されたオーディオ信号を逆変換する（ステップ５４）。

復元されたサンプルを周波数／時間マッピングして、時間領域のＰＣＭオーディオデータに変換して出力する。本実施形態では、ＭＤＣＴによる逆変換を行う。

以下、本発明によるオーディオ信号の符号化装置を、図１０及び図１１を参照して詳細に説明する。

図１０は、本発明のオーディオ信号の符号化装置を説明するための一実施形態のブロック図であって、変換部１００、心理音響モデル部１１０、量子化部１２０及び符号化部１３０で構成される。

変換部１００は、時間領域のオーディオ信号であるＰＣＭオーディオデータを入力されて、心理音響モデル部１１０から提供される心理音響モデルに関する情報を参照して周波数領域の信号に変換する。時間領域では、人間が認知するオーディオ信号の特性差があまり大きくないが、変換を通じて得られた周波数領域のオーディオ信号は、人間の心理音響モデルによって各周波数帯域で人間が感じる信号と感じられない信号との特性差が大きいため、各周波数帯域別に割り当てられるビット数を異ならせることによって圧縮の効率を向上させる。本実施形態において、変換部１００は、ＭＤＣＴ変換を行う。

心理音響モデル部１１０は、アタック感知情報など心理音響モデルに関する情報を変換部１００に提供する一方、変換部１００により変換されたオーディオ信号を適切なサブバンドの信号にまとめ、各信号の相互作用により発生するマスキング現像を利用して各サブバンドでのマスキングしきい値を計算して量子化部１２０に提供する。マスキングしきい値とは、オーディオ信号の相互作用により人間が聞いても感じられない信号の最大サイズをいう。本実施形態において、心理音響モデル部１１０は、ＢＭＬＤ（Ｂｉｎａｕｒａｌ Ｍａｓｋｉｎｇ Ｌｅｖｅｌ Ｄｅｐｒｅｓｓｉｏｎ）を利用してステレオ成分に対するマスキングしきい値などを計算する。

量子化部１２０は、人間が聞いても感じられないように各帯域の量子化ノイズの大きさが心理音響モデル部１１０で提供されたマスキングしきい値より小さいように、各帯域のオーディオ信号を対応するスケールファクタ情報に基づいてスカラー量子化して量子化サンプルを出力する。すなわち、量子化部１２０は、心理音響モデル部１１０で計算されたマスキングしきい値と各帯域で発生するノイズとの比率であるＮＭＲ（Ｎｏｉｓｅ−ｔｏ−Ｍａｓｋ Ｒａｔｉｏ）を利用して、全帯域のＮＭＲ値を０ｄＢ以下に量子化する。ＮＭＲ値が０ｄＢ以下というのは、量子化ノイズを人間が聞けないことを意味する。

符号化部１３０は、量子化されたオーディオ信号をビットプレーンコーディング方式で符号化するとき、上位ビットプレーンが有する多様なシンボルを代表するコンテキストを使用して符号化する。符号化部１３０は、各階層に属する量子化サンプル及び付加情報を符号化して階層構造でパッキングする。付加情報は、各階層に該当するスケールバンド情報、コーディングバンド情報、そのスケールファクタ情報及びコーディングモデル情報を含む。スケールバンド情報及びコーディングバンド情報は、ヘッダ情報としてパッキングされて復号化装置へ伝送されることもあり、各階層ごとの付加情報として符号化されてパッキングされて復号化装置へ伝送されることもあり、復号化装置にあらかじめ保存されることによって伝送されないこともある。さらに具体的に、符号化部１３０は、最初の階層に相応するスケールファクタ情報及びコーディングモデル情報を含む付加情報を符号化する一方、最初の階層に相応するコーディングモデル情報を参照して、最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボルの順序でシンボル単位で符号化する。次いで、二番目の階層に対しても同じ過程を反復する。すなわち、既定の複数個の階層に対する符号化が完了するまで階層を増加させつつ符号化する。

本実施形態において、符号化部１３０は、スケールファクタ情報及びコーディングモデル情報は差分符号化し、量子化サンプルを符号化する。スケールバンド情報は、オーディオ信号の周波数特性によってさらに適切に量子化を行うための情報であって、周波数領域を複数個のバンドに分けて各バンドに適したスケールファクタを割り当てたとき、各階層に対応するスケールバンドを知らせる情報をいう。これにより、各階層は、少なくとも一つのスケールバンドに属する。各スケールバンドは、割り当てられた一つのスケールファクタを有する。コーディングバンド情報も、オーディオ信号の周波数特性によってさらに適切に符号化を行うための情報であって、周波数領域を複数個のバンドに分けて各バンドに適したコーディングモデルを割り当てたとき、各階層に対応するコーディングバンドを知らせる情報をいう。スケールバンド及びコーディングバンドは、実験により適切に分けられ、対応するスケールファクタ及びコーディングモデルが決定される。

図１１は、図１０に示した符号化部１３０を説明するための一実施形態のブロック図であって、マッピング部２００、コンテキスト決定部２１０及びエントロピー符号化部２２０で構成される。

マッピング部２００は、量子化されたオーディオ信号の複数個の量子化サンプルをビットプレーン上にマッピングし、マッピングした結果をコンテキスト決定部２１０に出力する。マッピング部２００は、複数個の量子化サンプルをビットプレーン上にマッピングさせて二進データで表す。

コンテキスト決定部２１０は、上位ビットプレーンが有する多様なシンボルを代表するコンテキストを決定する。コンテキスト決定部２１０は、複数のシンボルの二進データのうち"１"の数字が三つ以上であるシンボルを代表するコンテキストを決定することを特徴とする。また、コンテキスト決定部２１０は、複数のシンボルの二進データのうち"１"の数字が二つであるシンボルを代表するコンテキストを決定することを特徴とする。また、コンテキスト決定部２１０は、複数のシンボルの二進データのうち"１"の数字が一つであるシンボルを代表するコンテキストを決定することを特徴とする。

例えば、図６に示したように、"Ｐｒｏｃｅｓｓ１"では、二進データのうち"１"の数字が三つ以上である場合に、それを代表するコンテキストとして"０１１１"，"１０１１"，"１１０１"，"１１１０"または"１１１１"のうちいずれか一つを決定した一例を表しており、"Ｐｒｏｃｅｓｓ２"では、二進データのうち"１"の数字が二つである場合に、それを代表するコンテキストとして"００１１"，"０１０１"，"０１１０"，"１００１"，"１０１０"または"１１００"のうちいずれか一つを決定し、二進データのうち"１"の数字が三つ以上である場合に、それを代表するコンテキストとして"０１１１"，"１０１１"，"１１０１"，"１１１０"または"１１１１"のうちいずれか一つを決定した一例を表している。

エントロピー符号化部２２０は、決定されたコンテキストを使用して現在のビットプレーンのシンボルに対して符号化する。

特に、エントロピー符号化部２２０は、決定されたコンテキストを使用して、現在のビットプレーンのシンボルに対してハフマンコーディングを行うことを特徴とする。ハフマンコーディング過程は、前述した方法発明で説明したので、詳細な説明は省略する。

また、エントロピー符号化部２２０は、決定されたコンテキストを使用して、現在のビットプレーンのシンボルに対して算術コーディングを行うことを特徴とする。算術コーディング過程は、前述した方法発明で説明したので、詳細な説明は省略する。

以下、本発明によるオーディオ信号の復号化装置を、添付された図面を参照して詳細に説明する。

図１２は、本発明のオーディオ信号の復号化装置を説明するための一実施形態のブロック図であって、復号化部３００、逆量子化部３１０及び逆変換部３２０で構成される。

復号化部３００は、ビットプレーンコーディング方式で符号化されたオーディオ信号を復号化するとき、上位ビットプレーンが有する多様なシンボルを代表するコンテキストを使用してオーディオ信号を復号化し、復号化した結果を逆量子化部３１０に出力する。復号化部３００は、決定されたコンテキストを使用して、現在のビットプレーンのシンボルに対して復号化し、復号化されたシンボルが配列されたビットプレーンから量子化されたサンプルを抽出する。符号化されたビットストリームは、符号化ステップで決定されたコンテキストを使用して符号化されたものである。復号化部３００は、かかる階層構造で符号化されたオーディオデータで構成されたビットストリームを受信してフレーム別に設けられたヘッダ情報を復号化する。次いで、復号化部３００は、最初の階層に相応するスケールファクタ情報及びコーディングモデル情報を含む付加情報を復号化する。次いで、復号化部３００は、コーディングモデル情報を参照して、最上位ビットで構成されたシンボルから最下位ビットで構成されたシンボルの順序でシンボル単位で復号化する。

特に、復号化部３００は、決定されたコンテキストを使用して、オーディオ信号に対してハフマンデコーディングを行うことを特徴とする。ハフマンデコーディング過程は、前述したハフマンコーディングの逆過程を行うものである。

一方、復号化部３００は、決定されたコンテキストを使用して、オーディオ信号に対して算術デコーディングを行うこともできる。算術デコーディング過程は、前述した算術コーディング過程の逆過程である。

逆量子化部３１０は、復号化されたオーディオ信号を逆量子化し、逆量子化された結果を逆変換部３２０に出力する。逆量子化部３１０は、各階層の量子化サンプルを対応するスケールファクタ情報によって逆量子化して復元する。

逆変換部３２０は、逆量子化されたオーディオ信号を逆変換する。逆変換部３２０は、復元されたサンプルを周波数／時間マッピングして時間領域のＰＣＭオーディオデータに変換して出力する。本実施形態において、逆変換部３２０は、ＭＤＣＴによる逆変換を行う。

一方、前述した本発明の方法発明は、コンピュータで読み取り可能なコード／命令／プログラムで具現され、媒体、例えばコンピュータで読み取り可能な記録媒体を利用して、前記コード／命令／プログラムを動作させる汎用のデジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、磁気記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、マグネチックテープなど）、光学的読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような記録媒体を含む。また、本発明の実施形態は、コンピュータで読み取り可能なコードを内蔵する媒体として具現されて、ネットワークを通じて連結された複数個のコンピュータシステムが分配されて処理動作可能にする。本発明を実現する機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマにより容易に推論される。

かかる本願発明であるオーディオ信号の符号化及び復号化方法、オーディオ信号の符号化及び復号化装置は、理解を助けるために図面に示した実施形態を参考にして説明されたが、これは、例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲により決まらねばならない。

本発明のオーディオ信号の符号化方法を説明するための一実施形態のフローチャートである。 階層構造で符号化されたビットストリームを構成するフレームの構造図である。 図２の付加情報の詳細構造図である。 図１に示したステップ１４を説明するための一実施形態のフローチャートである。 図４に示したステップ３０を説明するための参考図である。 図４に示したステップ３２を説明するためのコンテキストの一例を示す参考図である。 オーディオ信号に対してハフマンコーディングを行うために擬似コードで表現した一例の図である。 本発明のオーディオ信号の復号化方法を説明するための一実施形態のフローチャートである。 図８に示したステップ５０を説明するための一実施形態のフローチャートである。 本発明のオーディオ信号の符号化装置を説明するための一実施形態のブロック図である。 図１０に示した符号化部を説明するための一実施形態のブロック図である。 本発明のオーディオ信号の復号化装置を説明するための一実施形態のブロック図である。

Claims (10)

1. 入力されたオーディオ信号を周波数領域に変換するステップと、
   前記周波数領域に変換されたオーディオ信号を量子化するステップと、
   ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用して、前記量子化されたオーディオ信号の符号化対象のシンボルをビットプレーンコーディング方式で符号化するステップと、
   を含み、前記符号化するステップにおいて、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、決定された前記コンテキストを使用して、前記現在のビットプレーンのシンボルに対してハフマンコーディングを行うことを特徴とするオーディオ信号の符号化方法。
2. 前記符号化するステップは、前記量子化されたオーディオ信号の複数個の量子化サンプルをビットプレーン上にマッピングするステップと、前記コンテキストを決定するステップと、決定されたコンテキストを使用して現在のビットプレーンのシンボルを符号化するステップと、を含むことを特徴とする請求項1に記載のオーディオ信号の符号化方法。
3. 請求項1に記載の方法を符号化装置に実行させるプログラムを記録したコンピュータで読み取り可能な記録媒体。
4. ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用してビットプレーンコーディング方式で符号化されたオーディオ信号を復号化するステップと、
   前記復号化されたオーディオ信号を逆量子化するステップと、
   前記逆量子化されたオーディオ信号を時間領域の信号に変換するステップと、
   を含み、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、前記コンテキストとして使用して、前記オーディオ信号に対してハフマンデコーディングを行うことを特徴とするオーディオ信号の復号化方法。
5. 前記オーディオ信号を復号化するステップは、前記コンテキストを使用して現在のビットプレーンのシンボルを復号化するステップと、前記復号化されたシンボルが配列されたビットプレーンから量子化されたサンプルを抽出するステップと、を含むことを特徴とする請求項４に記載のオーディオ信号の復号化方法。
6. 請求項４に記載の方法を復号化装置に実行させるプログラムを記録したコンピュータで読み取り可能な記録媒体。
7. 入力されたオーディオ信号を周波数領域に変換する変換部と、
   前記周波数領域に変換されたオーディオ信号を量子化する量子化部と、
   ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用して、前記量子化されたオーディオ信号の符号化対象のシンボルをビットプレーンコーディング方式で符号化する符号化部と、
   を含み、前記符号化部において、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、決定された前記コンテキストを使用して、前記現在のビットプレーンのシンボルに対してハフマンコーディングを行うことを特徴とするオーディオ信号の符号化装置。
8. 前記符号化部は、前記量子化されたオーディオ信号の複数個の量子化サンプルをビットプレーン上にマッピングするマッピング部と、前記コンテキストを決定するコンテキスト決定部と、前記決定されたコンテキストを使用して現在のビットプレーンのシンボルに対して符号化するエントロピー符号化部と、を備えることを特徴とする請求項７に記載のオーディオ信号の符号化装置。
9. ビットプレーンにおいて符号化対象のシンボルより上位側にある上位ビットプレーンのシンボルを表しかつ１つのシンボルが表現可能な値の総数より少ない数のシンボルを表すコンテキストを使用してビットプレーンコーディング方式で符号化されたオーディオ信号を復号化する復号化部と、
   前記復号化されたオーディオ信号を逆量子化する逆量子化部と、
   前記逆量子化されたオーディオ信号を時間領域の信号に変換する変換部と、
   を含み、前記復号化部において、前記シンボルの二進データのうち“１”の数字が二つであるシンボル群を代表する１つのコンテキストと“１”の数字が三つ以上であるシンボル群を代表する１つのコンテキストを決定し、前記コンテキストとして使用して、前記オーディオ信号に対してハフマンデコーディングを行うことを特徴とするオーディオ信号の復号化装置。
10. 前記復号化部は、前記コンテキストを使用して現在のビットプレーンのシンボルを復号化し、前記復号化されたシンボルが配列されたビットプレーンから量子化されたサンプルを抽出することを特徴とする請求項９に記載のオーディオ信号の復号化装置。

Images