JP4563881B2 - オーディオ符号化装置及びプログラム - Google Patents

Description

本発明は、オーディオ符号化技術に関し、特に、デコーダに備えたビットリザーバを有効に活用する技術に関する。

オーディオ符号化技術の一つとして、国際標準機関であるＩＳＯ／ＩＥＣ ＪＴＳ１／ＳＣ２９／ＷＧ１１により標準化されたＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）がある（非特許文献１を参照）。このオーディオ符号化技術は、符号化されたビットストリーム（圧縮データ）の解釈とその復号処理について規定しているものである。エンコーダ（符号化装置）は、このＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ） Ｓｙｎｔａｘに従って、ＡＡＣストリームを作成した場合に、デコーダに備えたビットリザーバと呼ばれるビット蓄積器（以下、ビットリザーバという。）の機能を利用することにより、グループ化した音声フレームのデータ列を、平均データ長よりも長く設定して送信することができる。

デコーダに備えたビットリザーバが、平均データ長よりも短い音声フレームのデータ列を受信した場合、このビットリザーバの入力バッファには、平均データ長と実際に受信したデータ長との間の差分だけ余裕が生じることになる。この余裕が生じた入力バッファを、次のグループに属する音声フレームのために使用することができる。

ところで、ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格に従ったオーディオ符号化装置が開示されている。例えば、音声フレームの周波数領域全体にわたってエナジー情報及びエントロピー情報を計算し、これらの情報に基づいて、ステレオ信号を出力するＬＲモードと、ステレオ信号の和差信号を出力するＭＳモードとを切り替え、ビット配分を行うオーディオ符号化装置が開示されている（特許文献１を参照）。このオーディオ符号化装置によれば、エナジー情報及びエントロピー情報を利用して量子化精度情報を決定するから、符号化のための計算量を減少し、符号化による音質を改善することができる。

また、時間領域の音声フレームの信号を周波数領域の信号に変換し、複数の帯域毎に周波数係数を分割し、周波数係数におけるゲインまたは量子化値をステップ状に制御するオーディオ符号化装置が開示されている（特許文献２を参照）。このオーディオ符号化装置によれば、音声フレームの信号の符号化音質を改善すると共に、符号化のための計算量を減らすことができる。

"情報技術−映画及び関連オーディオ情報の共通符号化 第７部：適応オーディオ符号化（ＡＡＣ）"，国際規格，ＩＳＯ／ＩＥＣ１３８１８−７，２００３年 特開２００２−２６８６９４号公報 特開２００３−２７１１９９号公報

しかしながら、前述の特許文献１及び２の技術は、デコーダに備えたビットリザーバを有効に活用するための符号化技術に言及していない。また、ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格には、ビットリザーバの使用手法に関する明確な規定が存在しない。一般に、ビットリザーバは、オーディオ符号化装置がショートブロックの音声フレーム等多くの量子化ビットを割当てる場合に使用される。つまり、ビットリザーバは、消極的な目的のために使用されていた。また、音声フレーム単位でビット調整が行われた場合には、量子化精度が音声フレーム間で大きく異なってしまう。このため、結果として量子化ノイズとなり、符号化音質が劣化することになる。

ビットリザーバは、デコーダが所定のビットレートでデコード処理を行うことができるように、最大限に有効活用されることが望ましい。これを実現するためには、オーディオ符号化装置が、ビットリザーバを最大限に有効活用できるような音声符号化情報を生成し、送信する必要がある。例えば、オーディオ符号化装置は、ビットリザーバに蓄積されるデータがその最大データ蓄積容量を超えることなく、例えば限りなくその容量に近くなるように、音声符号化情報を生成し、送信する必要がある。つまり、このような音声符号化情報を生成及び送信することができる場合には、ビットリザーバは有効に活用されていることになる。

そこで、本発明は、前記課題を解決するためになされたものであり、その目的は、デコーダに備えたビットリザーバを、所定の目的に合わせて有効に活用することが可能なオーディオ符号化装置及びプログラムを提供することにある。

本発明による符号化装置は、音声情報を符号化パラメータを用いて符号化し、音声符号化情報として出力し、復号装置に備えたビットリザーバに前記音声符号化情報を蓄積させる符号化装置において、符号化方式に従って音声情報をグループ化して出力するグループ化手段と、前記グループ化された音声情報を入力し、複数の符号化パラメータを用いてそれぞれ符号化し、該複数の符号化データを出力すると共に、該複数の符号化データに対応した、符号化ビット長を含む複数のパラメータ情報を出力する符号化手段と、前記複数のパラメータ情報を入力し、該パラメータ情報に基づいて、動的計画法により、前記ビットリザーバにおける音声符号化情報の蓄積状況を含む評価値を計算し、該評価値に基づいて、所定の目標パラメータを満たす符号化データを選択するための情報を生成し、符号化データ選択情報として出力する動的計画手段と、前記符号化手段から複数の符号化データを、動的計画手段から符号化データ選択情報をそれぞれ入力し、前記複数の符号化データの中から一つの符号化データを選択し、該選択した符号化データをグループ毎に接続し、音声符号化情報として出力する選択接続手段と、を備えたことを特徴とする。これにより、目標パラメータを満たすようにビットリザーバを使用することができる。例えば、目標パラメータを、ビットリザーバにおける音声符号化情報の蓄積量が増加しないように設定した場合には、ビットリザーバにおける音声符号化情報の蓄積量は増加しなくなる。また、目標パラメータを、音声符号化情報からＮｕｌｌデータをできる限り削減するように設定した場合には、音声符号化情報からＮｕｌｌデータを削減することができる。

また、本発明による符号化装置は、前記符号化手段が、符号化パラメータを用いて符号化を行う符号化段を、前記複数の符号化パラメータの数分有し、または、複数の符号化パラメータを用いてそれぞれ符号化を行う単一の符号化段を有し、前記複数の符号化段を有する場合は、複数の符号化データを並列に出力すると共に、複数のパラメータ情報を並列に出力し、前記単一の符号化段を有する場合は、複数の符号化データを時系列に出力すると共に、複数のパラメータ情報を時系列に出力する、ことを特徴とする。

また、本発明による符号化装置は、前記選択接続手段が、選択した符号化データをグループ毎に接続する際に、Ｎｕｌｌデータを接続し、音声符号化情報として出力する、ことを特徴とする。

また、本発明による符号化装置は、前記動的計画手段が、動的計画法により、符号化データ毎に、前記グループ化手段が音声情報をグループ化する場合のグループにおける前グループから現在グループへの遷移状態、前記符号化手段が複数の符号化パラメータを用いてそれぞれ符号化する場合の符号化の評価を示すスコア値、及び、ビットリザーバにおける音声符号化情報の蓄積状況の評価を示すビットリザーバ値を含む仮説情報を複数保持し、該複数の仮説情報の中から、所定の目標パラメータを満たす仮説情報を決定し、前記グループ毎に決定した仮説情報に基づいて、符号化データを選択するための情報を生成し、符号化データ選択情報として出力する、ことを特徴とする。また、ビットリザーバに蓄積される音声符号化情報の蓄積設定値に基づいて、前記保持する仮説情報の数を減少させるのが好適である。

また、本発明による他の符号化装置は、前記グループ化手段及び符号化手段の代わりに、符号化データ蓄積手段を備え、該符号化データ蓄積手段が、予め符号化した複数の符号化データを蓄積し、該複数の符号化データを前記選択接続手段に出力すると共に、該複数の符号化データに対応した、符号化ビット長を含む複数のパラメータ情報を前記動的計画手段に出力する、ことを特徴とする。

また、前記符号化手段または符号化データ蓄積手段により行われる符号化を、変換符号化とするのが好適である。ここで、変換符号化には、ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣ符号化やｍｐ−３、Ｄｏｌｂｙ ＡＣ−３における符号化を含む。

また、本発明による符号化プログラムは、音声情報を符号化パラメータを用いて符号化し、音声符号化情報として出力し、復号装置に備えたビットリザーバに前記音声符号化情報を蓄積させる符号化装置が実行する符号化プログラムであって、前記符号化装置を構成するコンピュータに、符号化方式に従って音声情報をグループ化して出力するグループ化処理と、前記グループ化された音声情報を入力し、複数の符号化パラメータを用いてそれぞれ符号化し、該複数の符号化データを出力すると共に、該複数の符号化データに対応した、符号化ビット長を含む複数のパラメータ情報を出力する符号化処理と、前記複数のパラメータ情報を入力し、該パラメータ情報に基づいて、動的計画法により、前記ビットリザーバにおける音声符号化情報の蓄積状況を含む評価値を計算し、該評価値に基づいて、所定の目的パラメータを満たす符号化データを選択するための情報を生成し、符号化データ選択情報として出力する動的計画処理と、前記複数の符号化データ及び符号化データ選択情報をそれぞれ入力し、前記複数の符号化データの中から一つの符号化データを選択し、該選択した符号化データをグループ毎に接続し、音声符号化情報として出力する選択接続処理と、を実行させることを特徴とする。

本発明によれば、目標パラメータを満たすようにビットリザーバを使用することができるから、所定の目的に合わせたビットリザーバの有効活用を実現することができる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。
図１は、本発明の実施の形態によるオーディオ符号化装置（エンコーダ）の第１構成例を示すブロック図である。このオーディオ符号化装置１００は、グループ化手段１、オーディオ符号化手段２、選択接続手段３及び動的計画手段４を備えている。また、復号装置（デコーダ）２００は、ビットリザーバ５を備えている。オーディオ符号化装置１００は、音声情報を入力し、グループ化した音声サンプルに符号化を施し、フレーム毎にビットストリームを接続し、音声符号化情報として出力する。デコーダ２００は、オーディオ符号化装置１００から音声符号化情報を入力し、ビットリザーバ５のバッファに蓄積され、デコーダ処理を行う。

例えば、ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣのデコーダ規格によれば、ビットリザーバ５に蓄積されるデータ容量の上限値は、チャンネル毎に６１４４ビットである。デコーダ２００におけるデコードの効率からすると、ビットリザーバ５は、この上限値を超えることのない当該上限値に限りなく近いデータ量が蓄積されるように使用されるのが望ましい。この場合、オーディオ符号化装置１００は、ビットリザーバ５を前記条件で好適に使用するように、音声符号化情報を出力する必要がある。本発明は、この点に着目し、所定の目標パラメータに従ってビットリザーバ５を使用できるように、音声符号化情報を生成することを特徴とする。

図１を参照して、グループ化手段１は、音声情報（オーディオ情報）を入力し、複数の音声サンプルをグループ単位に分け、グループ化音声サンプルを出力する。例えば、衛生アナログ放送Ａモードのオーディオ符号化方式の場合は、サンプリング周波数を３２ｋＨｚとした準瞬時圧伸符号化と呼ばれる方式により、１４ビットの直線量子化値が１０ビットに準瞬時圧伸される。この準瞬時圧伸のときに、１ｍｓ毎の最大値を用いて５種類のレンジの中から使用するレンジが決定され、量子化精度が変更される。この例では、１ｍｓ単位の３２０音声サンプルを１グループとして扱うから、グループ化手段１は、グループ単位に３２０音声サンプルを出力する。また、例えば、ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣ符号化方式の場合は、２０４８音声サンプルを１グループとして扱うから、グループ化手段１は、グループ単位に２０４８音声サンプルを出力する。この場合、２０４８音声サンプルは１音声フレームであり、オーディオ符号化手段２は、１ＡＤＴＳ（Ａｕｄｉｏ Ｄａｔａ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）フレームとして扱う。

尚、グループ化手段１は、アナログ信号の音声情報を入力する場合、アナログ信号をデジタル信号に変換するＡＤ変換手段を備えているものとする。また、グループ化手段１は、複数の音声サンプルを１グループとし、グループ単位にグループ化音声サンプルを出力する。また、オーディオ符号化手段２がＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣ符号化方式により符号化を行う場合は、５０％のオーバーラップを必要とするから、グループ化手段１は、２０４８音声サンプルのうちの１０２４音声サンプルを重複させて出力する。

オーディオ符号化手段２は、グループ化手段１からグループ化音声サンプルを入力し、音声符号化を行い、ビットストリームを選択接続手段３に出力し、パラメータ情報を動的計画手段４に出力する。ここで、パラメータ情報には、オーディオ符号化のための使用ビット数情報（符号化ビットデータ長）を示すビット情報や、スケールファクター値等の量子化精度情報を含む。

図２は、図１に示したオーディオ符号化手段２の構成例を示す図である。このオーディオ符号化手段２は、前述のＡＡＣ符号化方式により符号化を行う場合の例であり、３式の音声コーディック２１〜２３を備えている。音声コーディック２１〜２３は、グループ化手段１からグループ化音声サンプルを入力し、ＡＡＣ符号化を行う。そして、音声コーディック２１は、ビットストリームＡ及びパラメータ情報Ａを出力し、音声コーディック２２は、ビットストリームＢ及びパラメータ情報Ｂを出力し、音声コーディック２３は、ビットストリームＣ及びパラメータ情報Ｃを出力する。この場合、音声コーディック２１〜２３は、それぞれ異なる符号化パラメータによりＡＡＣ符号化を行うから、異なるビットストリームＡ〜Ｃ及びパラメータ情報Ａ〜Ｃを出力する。

尚、オーディオ符号化手段２は、図２に示したように、３式の音声コーディック２１〜２３を並列に並べて構成されているが、１式の音声コーディックのみにより構成されるようにしてもよい。この場合、１式の音声コーディックは、グループ化音声サンプルを入力し、この１つのグループ化音声サンプルに対して、複数のビットストリーム（列）Ａ〜Ｃ及びパラメータ情報（列）Ａ〜Ｃを出力する。また、図２に示したオーディオ符号化手段２は、３式の音声コーディック２１〜２３により構成され、３つのビットストリームＡ〜Ｃ及び３つのパラメータ情報Ａ〜Ｃを出力するようにしたが、少なくとも２式の音声コーディックにより構成され、２つのビットストリーム及び２つのパラメータ情報を出力することができればよい。

図３は、図２に示した音声コーディック２１の構成例を示す図であり、ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣエンコーダの構成例から一部分を抜粋し、変更を加えたものである。図２に示した音声コーディック２２，２３も同様に構成される。この音声コーディック２１は、聴覚モデル手段２３、フィルターバンク手段２４、スケールファクター手段２５、量子化器２６、ノイズレスコーディング手段２７及びマルチプレクサ２８を備えている。音声コーディック２１は、グループ化音声サンプルを入力し、当該音声サンプルを周波数領域の信号に変換し、符号化に使用できる量子化ビット数の範囲内で、量子化ビット数を所定周波数領域毎の信号にそれぞれ割り振り、当該信号を量子化し、ビットストリームを出力する。

聴覚モデル手段２３は、グループ化音声サンプルを入力し、当該音声サンプルに対する量子化雑音のマスキングパターンを計算する。つまり、音声サンプルの聴覚的なマスキングスレッシュホールドを計算する。具体的には、フィルターバンク手段２４によるＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）の分析位置と一致するように、音声サンプルをＦＦＴ（高速フーリエ変換：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いて分析し、音声サンプルをマスキングできる最大のノイズ量（スレッシュホールド）を計算し、所定周波数帯域毎のＳｉｇｎａｌ ｔｏ Ｍａｓｋ比やスレッシュホールド値を含む制御情報を出力する。また、ロング、スタート、ストップ、ショートのブロックタイプのうちのどのブロックタイプを選択するかを示す制御情報も出力する。

フィルターバンク手段２４は、聴覚モデル手段２３からの制御情報に基づいて、ＦＦＴまたはＤＣＴ等の変換により、時間領域の音声サンプルを周波数領域の信号に変換する。また、この周波数領域の信号の係数（周波数係数）をまとめて所定周波数帯域の係数とし、複数の所定周波数帯域（バンド）のＤＣＴ係数を出力する。つまり、フィルターバンク手段２４は、グループ化音声サンプルを複数の所定周波数帯域に分割する。

スケールファクター手段２５は、フィルターバンク手段２４から所定周波数帯域毎のＤＣＴ係数を入力し、聴覚モデル手段２３からの制御情報に基づいて、ＤＣＴ係数を変換するためのゲインを表現するスケールファクター値を生成する。

量子化器２６は、スケールファクター手段２５から、所定周波数帯域毎のＤＣＴ係数及びスケールファクター値を入力し、聴覚モデル手段２３からの制御情報に基づいて、ＤＣＴ係数を量子化値に変換する。ここで、ＤＣＴ係数をＫ、量子化値をＲ、スケールファクター値をＳ、ゲインをＧ^Ｓとすると、Ｋ＝Ｒ×Ｇ^Ｓとなる。この式により、量子化値を求める。

ノイズレスコーディング手段２７は、量子化手段１０４からスケールファクター値、量子化値を入力し、聴覚モデル手段２３からの制御情報に基づいて、ハフマン符号語等に変換し、符号化データを出力する。また、変換の際に使用した所定周波数帯域毎の量子化ビット数をスケールファクター手段２５及び量子化器２６にフィードバックする。

マルチプレクサ２８は、ノイズレスコーディング手段２７から符号化データを入力し、当該符号化データをフレームに組み込み、ビットストリームＡとして出力する。ここで、マルチプレクサ２８は、Ｎｕｌｌデータを含まないビットストリームＡを生成して出力する。また、Ｎｕｌｌデータを含むビットストリームＡを生成する場合には、後段の選択接続手段３において、ビットストリームＡから容易にＮｕｌｌデータを分離できるように、そのような構造のビットストリームＡを生成して出力する。この場合、マルチプレクサ２８は、Ｎｕｌｌデータを分離するための情報をビットストリームＡと共に出力するようにしてもよい。

また、スケールファクター手段２５は、スケールファクター値を含む量子化精度情報をパラメータ情報Ａの一部として出力し、ノイズレスコーディング手段２７は、符号化ビットデータ長を含むビット情報をパラメータ情報Ａの一部として出力する。

この場合、音声コーディック２１は、ビット情報及び量子化精度情報を含むパラメータ情報Ａを出力するようにしたが、ビット情報のみから成るパラメータ情報Ａを出力するようにしてもよい。

尚、聴覚モデル手段２３、フィルターバンク手段２４、スケールファクター手段２５、量子化器２６、ノイズレスコーディング手段２７及びマルチプレクサ２８の詳細な機能については、前述の非特許文献１（ＩＳＯ／ＩＥＣ１３８１８−７（ＭＰＥＧ−２））に記載されているので、参照されたい。

ここで、ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣエンコーダと図３に示した音声コーディック２１との相違点は以下のとおりである。
（１）ＡＡＣエンコーダは、グループ化されていない音声信号を入力するのに対し、音声コーディック２１は、符号化方式に見合うようにその種類に従ってグループ化された音声サンプルを入力する。
（２）ＡＡＣエンコーダは、ビットストリームのみを出力するのに対し、音声コーディック２１は、ビットストリームに加えて、ビット情報及び量子化精度情報を出力する。
（３）ＡＡＣエンコーダ及び音声コーディック２１は、Ｎｕｌｌデータを含むビットストリーム、またはＮｕｌｌデータを含まないビットストリームを出力する点で共通する。しかし、音声コーディック２１が出力するビットストリームにＮｕｌｌデータを含む場合には、ビットストリームは、容易にＮｕｌｌデータを分離できる構造になっている。この場合、ビットストリームに加えてＮｕｌｌデータを分離するための情報も出力される場合がある。

図４は、図１に示した選択接続手段３の構成例を示す図である。この選択接続手段３は、ビットストリームマルチプレクサ３１及びＮｕｌｌストリーム発生手段３２を備えている。選択接続手段３は、オーディオ符号化手段２からビットストリームＡ〜Ｃを、動的計画手段４からビットストリーム選択情報をそれぞれ入力し、ビットストリーム選択情報に基づいて、複数のビットストリームＡ〜Ｃのうちの一つのビットストリームを選択し、前フレームのビットストリーム（一つ手前のグループにおいて、ビットストリーム選択情報に基づいて選択したビットストリーム）に接続し、音声符号化情報として出力する。つまり、グループ化手段１によりグループ化された音声情報を１フレームとして、選択接続手段３は、フレーム単位にビットストリームＡ〜Ｃを順次入力する。そして、ビットストリーム選択情報に基づいて、１フレームについて、ビットストリームＡ〜Ｃのうちの一つのビットストリームを選択する。これをフレーム毎に繰り返し、音声符号化情報として出力する。つまり、選択接続手段３により出力される音声符号化情報は、ビットストリームＡ〜Ｃのうちのいずれか一つのビットストリームがフレーム毎に接続された一連の情報である。また、この音声符号化情報は、所定の目標パラメータに従ってデコーダ２００のビットリザーバ５を使用できるように生成された情報でもある。これは、動的計画手段４からのビットストリーム選択情報により実現されるからである。詳細については後述する。

選択接続手段３の動作について具体的に説明する。ビットストリームマルチプレクサ３１は、オーディオ符号化手段２からビットストリームＡ〜Ｃを、動的計画手段４からビットストリーム選択情報を、Ｎｕｌｌストリーム発生手段３２からＮｕｌｌストリームをそれぞれ入力し、ビットストリーム選択情報に基づいて、複数のビットストリームＡ〜Ｃのうちの一つのビットストリームを選択し、前フレームのビットストリームに接続する。この場合、全体のビットレートを調整するために、必要に応じてＮｕｌｌストリームを前フレームのビットストリームに接続する。このようにして、ビットストリームマルチプレクサ３１は、適正なストリームを音声符号化情報として出力することができる。例えば、ビットストリームマルチプレクサ３１は、Ｎｕｌｌストリームを接続することにより、ＡＤＴＳストリームを音声符号化情報として出力する。これにより、図１に示したデコーダ２００として既存のＡＡＣデコーダを使用することができる。つまり、ビットストリームマルチプレクサ３１は、既存のＡＡＣデコーダが入力して処理可能なストリームを、音声符号化情報として出力することができる。

尚、図４に示した選択接続手段３は、複数のビットストリームＡ〜Ｃの列を入力する構成になっているが、複数のビットストリームＡ〜Ｃを一連のビットストリームとして時系列に入力するようにしてもよい。この場合、選択接続手段３は、時系列に入力される一連のビットストリームにおいて、同じフレームＮｏのＩＤを有するビットストリームＡ〜Ｃをそれぞれ切り出し、ビットストリーム選択情報に基づいて、切り出した複数のビットストリームＡ〜Ｃのうちの一つのビットストリームを選択し、フレーム毎にビットストリームを接続する。

また、図４に示した選択接続手段３は、Ｎｕｌｌストリーム発生手段３２を備えているが、Ｎｕｌｌストリーム発生手段３２を備えることなくビットストリームマルチプレクサ３１のみで構成されるようにしてもよい。この場合、選択接続手段３は、全体のビットレートを調整するために、必要に応じて入力したビットストリームＡ〜ＣからＮｕｌｌデータを切り出し、前フレームのビットストリームに接続する。

図５は、図１に示した動的計画手段４の構成例を示す図である。この動的計画手段４は、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング計算手段４１を備えており、オーディオ符号化手段２からパラメータ情報Ａ〜Ｃを、図示しない目標パラメータ設定手段から目標パラメータをそれぞれ入力し、動的計画法を用いてビットストリーム選択情報を計算し、当該計算結果を選択接続手段３に出力する。ＤＰマッチング計算手段４１は、動的計画法を用いてビットストリーム選択情報を決定するために、グループ化手段１によるグループ化はフレーム単位であるとして、ｎフレーム毎にビットストリーム選択情報を決定する。具体的には、ＤＰマッチング計算手段４１は、異なるビットレートまたは異なる符号化パラメータにより符号化が行われたビットストリームに対し（図２の例では、３式の音声コーディック２１〜２３が存在するため、ｎフレームのビットストリームから成る音声符号化情報を生成するために、３×ｎのビットストリームが対象となる）、所定の評価コストを計算し、当該評価コストが目標パラメータに従って最適になるビットストリーム選択情報を動的に決定するアルゴリズムを具備する。これらの機能は、前記アルゴリズムを記述したプログラムをＣＰＵに実行させることにより実現される。

図６は、図５に示したＤＰマッチング計算手段４１の処理を説明する図である。以下、動的計画法によるビットストリーム選択情報の決定手法について説明する。図６において、ａｋ，ｂｋ，ｃｋは、それぞれ最大３^ｋ個の仮説が立てられる事象である。ここで、ｋは、０〜ｎであり、時系列のフレーム番号を示す。（１）に示すａｋは、ビットストリームＡにおけるフレームｋに対応する事象であり、（２）に示すｂｋは、ビットストリームＢにおけるフレームｋに対応する事象であり、（３）に示すｃｋは、ビットストリームＣにおけるフレームｋに対応する事象である。各事象ａｋ，ｂｋ，ｃｋは、最大３^ｋ個の仮説毎に、前の状態、スコア加算値及びビットリザーバ加算値の情報を保持する。また、ＤＰマッチング計算手段４１は、オーディオ符号化手段２から入力したパラメータ情報Ａ〜Ｃのうちのそれぞれのビット情報に基づいて、（１）のビットストリームＡのコストとなるスコアを「＋１」、（２）のビットストリームＢのスコアを「０」、（３）のビットストリームＣのスコアを「−２」に決定する。例えば、入力したビット情報に基づいて、ビットレートがやや高いと判断した場合は「＋１」に、普通であると判断した場合は「０」に、低いと判断した場合は「−２」に決定する。ここで、スコアの値は、ビットストリームに含まれるＮｕｌｌデータの量が少ない場合はプラスに、Ｎｕｌｌデータの量が多い場合はマイナスに、それぞれ相対的に決定される。

また、ＤＰマッチング計算手段４１は、ビット情報に基づいて、入力した目標パラメータから得た目標ビットレート及び目標ビット数により、ビットリザーバ５においてどの程度のビットが使用されるか、またはどの程度のビットの余裕ができるかについて決定する。例えば、ＤＰマッチング計算手段４１は、（１）のビットストリームＡのａ０の事象について、入力したビット情報に基づいてビットレートを認識し、「＋６０００」ビットが使用されることを決定する。同様に、（２）のビットストリームＢのｂ０の事象について、入力したビット情報に基づいてビットレートを認識し、「＋３０００」ビットが使用されることを決定し、（３）のビットストリームＣのｃ０の事象について、入力したビット情報に基づいてビットレートを認識し、「−１０００」ビットが使用される（１０００ビットの余裕ができる）ことを決定する。このようにして、第ｎ番目のフレームまでの、使用されるビット量または余裕ができるビット量を決定する。

また、ＤＰマッチング計算手段４１は、前記決定した（１）〜（３）毎のスコアと、（１）〜（３）及びフレーム毎のビット量とを用いて、各事象ａｋ，ｂｋ，ｃｋにおけるそれぞれの仮説について、「前の状態」を決定すると共に、「スコア加算値」及び「ビットリザーバ加算値」を計算し、これらの情報を保持する。例えば、事象ａ１では、「仮説１」について、「前の状態」を（１）に決定し、前の状態（１）の事象ａ０が保持するスコア加算値「＋１」に「スコア＋１」を加えた「スコア加算値＋２」、及び、前の状態（１）が保持するビットリザーバ加算値「＋６０００」に自らの事象のビット量「＋２０００」を加えた「ビットリザーバ加算値＋８０００」を計算し、保持する。同様に、「仮説２」「仮説３」についても計算し、「前の状態」「スコア加算値」及び「ビットリザーバ加算値」を保持する。尚、事象ａ０では、「スコア加算値＋１」「ビットリザーバ加算値＋６０００」を保持する。このように、ＤＰマッチング計算手段４１は、各事象ａｋ，ｂｋ，ｃｋについて計算を行い、「前の状態」「スコア加算値」「ビットリザーバ加算値」をそれぞれ保持する。

そして、ＤＰマッチング計算手段４１は、最終の事象ａｎ，ｂｎ，ｃｎのそれぞれの仮説における「スコア加算値」「ビットリザーバ加算値」を参照し、図示しない目標パラメータ設定手段から入力した目標パラメータに基づいて、これらの仮説の中から目標パラメータを満たす一つの仮説を決定する。そして、この決定した仮説の「前の状態」の情報を用いて事象を逆検索し、最適な接続パスを確定する。例えば、目標パラメータが「コストが良い」「ビットリザーバの加算値が０に近い」の場合、最終の事象ａｎ，ｂｎ，ｃｎのそれぞれの仮説の「スコア加算値」「ビットリザーバ加算値」を参照し、これらの目標パラメータを満足する仮説を決定する。その仮説における「前の状態」が（３）のときは、事象ｃｎ−１を逆検索する。同様に、事象ｃｎ−１の仮説の中から目標パラメータを満たす一つの仮説を決定する。図６を参照して、さらに進んで、事象ａ２を逆検索したとすると、この事象ａ２の仮説１〜９の「スコア加算値」「ビットリザーバ加算値」を参照し、これらの目標パラメータを満足する仮説５を決定する。ここでは、事象ａ２の仮説５を決定したとする。この場合、その「前の状態」が（２）であるから、事象ｂ１を逆検索する。このようにして、最後のフレームから最初のフレームに向けて仮説の決定と逆検索を行うことにより、ｂ０，ｂ１，ａ２，・・・，ｃｎ−１，ａｎを最適な接続パスとして確定する。

ＤＰマッチング計算手段４１は、確定した最適な接続パスであるｂ０，ｂ１，ａ２，・・・，ｃｎ−１，ａｎをビットストリーム選択情報として選択接続手段３に出力する。選択接続手段３は、このビットストリーム選択情報に基づいて、０番目のフレームはビットストリームＢを、１番目のフレームはビットストリームＢを、２番目のフレームはビットストリームＡを、・・・、ｎ−１番目のフレームはビットストリームＣを、ｎ番目のフレームはビットストリームＡをそれぞれ選択し、これらのビットストリームを接続し、音声符号化情報として出力する。

このようにして、動的計画手段４は、動的計画法によりビットストリーム選択情報を決定するが、所定の条件の下で仮説数を減らすことにより、処理負荷を少なくすることができる。図７は、図６において、所定の条件により仮説数を減らした場合のビットストリーム選択情報の決定手法を説明する図である。ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ−２）の標準規格によるＡＡＣのデコーダ規格によれば、図１に示したビットリザーバ５に蓄積されるデータの上限値は、チャンネル毎に６１４４ビットである。したがって、ビットリザーバ加算値が＋６１４４を超えた場合、その仮説を対象から外す。この場合、仮説の番号は繰り上げる。図７を参照して、事象ａ１の仮説１、事象ｂ１の仮説１、事象ａ２の仮説１，２，４，７のビットリザーバ加算値が＋６１４４を超えているから、これらの仮説が削除され、残りの仮説の番号は繰り上がっている。

また、ビットリザーバ５に蓄積されるデータの上限値を６１４４ビットとした場合、この上限値から平均ビットレートを減算した値をマイナスの値とし、このマイナスの値を下限値とすることができる。例えば、平均ビットレートが１５００ｂｉｔ／フレームとすると、−４６４４ビットを下限値とすることができる。つまり、上限値の処理と同じように、ビットリザーバ加算値が−４６４４を超えた場合、その仮説を対象から外す。このように、動的計画手段４は、所定の条件に照らして仮説を削除し、削除後の仮説の中から目標パラメータを満たす仮説を決定する。これにより、処理負荷を少なくし、計算コストを下げることができる。

尚、図６及び図７に示した例では、スコア加算値を計算するためのスコアを、ビット情報に基づいてそれぞれ＋１，０，−２としたが、予め定義するようにしてもよく、他の条件により決定するようにしてもよい。また、この値に限定されるものでもない。例えば、前と異なる状態（（１）〜（３））に遷移した場合を考慮したり、その他の条件を考慮したりして、スコアを適宜決定するようにしてもよい。

また、図６及び図７に示した例では、１フレーム毎に「スコア加算値」「ビットリザーバ加算値」のコスト計算を行うようにしたが、複数フレーム群を接続する場合には、複数フレーム群毎にコスト計算を行うようにしてもよい。この場合、フレーム毎の計算よりも計算量を減らすことができ、より長いビットストリームに対して、本発明を適用することができる。

次に、本発明の実施の形態によるオーディオ符号化装置の第２の構成例について、図８を用いて説明する。このオーディオ符号化装置１０１は、オーディオ符号化情報蓄積手段６、選択接続手段３及び動的計画手段４を備えている。図１に示したオーディオ符号化装置１００の第１構成例と比較すると、本オーディオ符号化装置１０１は、第１構成例のグループ化手段１及びオーディオ符号化手段２の代わりに、オーディオ符号化情報蓄積手段６を備えている点で相違する。尚、図８において、図１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。

オーディオ符号化情報蓄積手段６は、異なるビットレートまたは異なる符号化パラメータにより符号化が行われたビットストリームを蓄積する。例えば、ＡＤＴＳ形式で複数のビットレートのＡＡＣ符号化された同一コンテンツのビットストリーム（第1構成例のビットストリームＡ〜Ｃに相当）を、既存のハードディスク等に蓄積する。また、選択接続手段３及び動的計画手段４により、オーディオ符号化装置１０１は、既存のＡＡＣデコーダで復号することが可能なＡＡＣストリーム（音声符号化情報）を出力することができる。

以上のように、本発明の実施の形態によるオーディオ符号化装置１００，１０１によれば、動的計画手段４が、パラメータ情報に基づいて、動的計画法により、目標パラメータを満たすビットストリーム選択情報を決定し、選択接続手段３が、ビットストリーム選択情報により、複数のビットストリームのうちの一つのビットストリームを選択し、前フレームのビットストリームに接続し、音声符号化情報として出力するようにした。これにより、デコーダ２００に備えたビットリザーバ５が、目標パラメータに従って使用されるから、ビットリザーバ５を有効に活用することができる。この場合、例えば、動的計画手段４が、目標パラメータに従ってＮｕｌｌデータの少ないビットストリームを選択するように、ビットストリーム選択情報を決定することができるから、選択接続手段３は、符号化及び復号に関係しない無駄なＮｕｌｌデータを、音声符号化情報から削減することができる。

従来は、ビットリザーバ５の使用法が明確に規定されていないため、音声符号化情報に無駄なＮｕｌｌデータが増えてしまうという問題があった。ビットリザーバ５を有効に活用しないでＮｕｌｌデータを減らした場合は、フレーム単位でビット調整を行うことから、フレーム間で量子化精度が異なってしまう。このため、結果として量子化ノイズを発生させ、符号化音質の劣化を生じていた。本発明の実施の形態によれば、このような問題を解決することができる。すなわち、ビットリザーバ５を有効に活用しながら、無駄なＮｕｌｌデータを削減できるから、符号化音質を向上させることができる。

また、本発明の実施の形態によるオーディオ符号化装置１００，１０１によれば、動的計画手段４が、複数のフレームを連続して評価し、ビットストリーム選択情報を決定するようにした。これにより、選択接続手段３は、最適なビット割当てのビットストリームを選択し、接続することができる。また、動的計画手段４において、「スコア加算値」「ビットリザーバ加算値」の評価対象を変更することにより、選択接続手段３が、音声情報の音源毎に有効なビットストリームを選択し、接続することができる。

以上、実施の形態を挙げて本発明を説明したが、本発明は上記実施の形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上記実施の形態では、符号化方式をＡＡＣによるものとしたが、ｍｐ３やＡＣ−３等の他の符号化方式にも本発明を適用することができる。一般に、符号化には、サブバンド符号化と変換符号化があり、ＡＡＣやｍｐ３等による符号化は変換符号化に含まれる。

尚、上記オーディオ符号化装置１００，１０１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、キーボード等の入力装置、データを表示する表示装置、及び外部の装置と通信するためのインターフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、オーディオ符号化装置１００に備えたグループ化手段１、オーディオ符号化手段２、選択接続手段３及び動的計画手段４の各機能、並びに、オーディオ符号化装置１０１に備えたオーディオ符号化情報蓄積手段６、選択接続手段３及び動的計画手段４の各機能は、当該機能を記述したプログラムをＣＰＵに実行させることにより実現される。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

本発明の実施の形態によるオーディオ符号化装置の第１構成例を示すシステム図である。 オーディオ符号化手段の構成例を示す図である。 音声コーディックの構成例を示す図である。 選択接続手段の構成例を示す図である。 動的計画手段の構成例示す図である。 動的計画法によるビットストリーム選択情報の決定手法を説明する図である。 図６において、条件により仮説数を減らした場合の決定手法を説明する図である。 本発明の実施の形態によるオーディオ符号化装置の第２構成例を示すシステム図である。

符号の説明

１ グループ化手段
２ オーディオ符号化手段
３ 選択接続手段
４ 動的計画手段
５ ビットリザーバ
６ オーディオ符号化情報蓄積手段
２１〜２２ 音声コーディック
２３ 聴覚モデル手段
２４ フィルターバンク手段
２５ スケールファクター手段
２６ 量子化器
２７ ノイズレスコーディング手段
２８ マルチプレクサ
３１ ビットストリームマルチプレクサ
３２ Ｎｕｌｌストリーム発生手段
４１ ＤＰマッチング計算手段
１００，１０１ オーディオ符号化装置
２００ デコーダ

Claims (8)

1. 音声情報を任意の符号化パラメータを用いて符号化し、音声符号化情報として出力し、復号装置に備えたビットリザーバに前記音声符号化情報を蓄積させる符号化装置において、
   符号化方式に従って音声情報をグループ化して出力するグループ化手段と、
   前記グループ化された音声情報を入力し、複数の符号化パラメータを用いてそれぞれ符号化し、音声符号化情報の一部となる複数の符号化データを出力すると共に、該複数の符号化データに対応した、符号化ビット長を含む複数のパラメータ情報を出力する符号化手段と、
   前記複数のパラメータ情報を入力し、該パラメータ情報に基づいて、動的計画法により、前記ビットリザーバにおける音声符号化情報の蓄積状況を含む評価値を計算し、該評価値に基づいて、所定の目標パラメータを満たす符号化データを選択するための情報を生成し、符号化データ選択情報として出力する動的計画手段と、
   前記符号化手段から複数の符号化データを、動的計画手段から符号化データ選択情報をそれぞれ入力し、前記複数の符号化データの中から一つの符号化データを選択し、該選択した符号化データをグループ毎に接続し、音声符号化情報として出力する選択接続手段と、
   を備えたことを特徴とする符号化装置。
2. 請求項１に記載の符号化装置において、
   前記符号化手段は、
   符号化パラメータを用いて符号化を行う符号化段を、前記複数の符号化パラメータの数分有し、または、複数の符号化パラメータを用いてそれぞれ符号化を行う単一の符号化段を有し、
   前記複数の符号化段を有する場合は、複数の符号化データを並列に出力すると共に、複数のパラメータ情報を並列に出力し、
   前記単一の符号化段を有する場合は、複数の符号化データを時系列に出力すると共に、複数のパラメータ情報を時系列に出力する、
   ことを特徴とする符号化装置。
3. 請求項１に記載の符号化装置において、
   前記選択接続手段は、
   選択した符号化データをグループ毎に接続する際に、Ｎｕｌｌデータを接続し、音声符号化情報として出力する、
   ことを特徴とする符号化装置。
4. 請求項１に記載の符号化装置において、
   前記動的計画手段は、
   動的計画法により、符号化データ毎に、前記グループ化手段が音声情報をグループ化する場合のグループにおける前グループから現在グループへの遷移状態、前記符号化手段が複数の符号化パラメータを用いてそれぞれ符号化する場合の符号化の評価を示すスコア値、及び、ビットリザーバにおける音声符号化情報の蓄積状況の評価を示すビットリザーバ値を含む仮説情報を複数保持し、該複数の仮説情報の中から、所定の目標パラメータを満たす仮説情報を決定し、前記グループ毎に決定した仮説情報に基づいて、符号化データを選択するための情報を生成し、符号化データ選択情報として出力する、
   ことを特徴とする符号化装置。
5. 請求項４に記載の符号化装置において、
   前記動的計画手段は、
   ビットリザーバに蓄積される音声符号化情報の蓄積設定値に基づいて、前記保持する仮説情報の数を減少させる、
   ことを特徴とする符号化装置。
6. 請求項１に記載の符号化装置において、
   前記グループ化手段及び符号化手段の代わりに、符号化データ蓄積手段を備え、
   該符号化データ蓄積手段は、
   予め符号化した複数の符号化データを蓄積し、該複数の符号化データを前記選択接続手段に出力すると共に、該複数の符号化データに対応した、符号化ビット長を含む複数のパラメータ情報を前記動的計画手段に出力する、
   ことを特徴とする符号化装置。
7. 請求項１から６までのいずれか一項に記載の符号化装置において、
   請求項１の符号化手段または請求項６の符号化データ蓄積手段により行われる符号化を、変換符号化とする、
   ことを特徴とする符号化装置。
8. 音声情報を符号化パラメータを用いて符号化し、音声符号化情報として出力し、復号装置に備えたビットリザーバに前記音声符号化情報を蓄積させる符号化装置が実行する符号化プログラムであって、
   前記符号化装置を構成するコンピュータに、
   符号化方式に従って音声情報をグループ化して出力するグループ化処理と、
   前記グループ化された音声情報を入力し、複数の符号化パラメータを用いてそれぞれ符号化し、該複数の符号化データを出力すると共に、該複数の符号化データに対応した、符号化ビット長を含む複数のパラメータ情報を出力する符号化処理と、
   前記複数のパラメータ情報を入力し、該パラメータ情報に基づいて、動的計画法により、前記ビットリザーバにおける音声符号化情報の蓄積状況を含む評価値を計算し、該評価値に基づいて、所定の目標パラメータを満たす符号化データを選択するための情報を生成し、符号化データ選択情報として出力する動的計画処理と、
   前記複数の符号化データ及び符号化データ選択情報をそれぞれ入力し、前記複数の符号化データの中から一つの符号化データを選択し、該選択した符号化データをグループ毎に接続し、音声符号化情報として出力する選択接続処理と、
   を実行させる符号化プログラム。

Images