JP5171256B2 - ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法 - Google Patents

Description

本発明は、移動体通信システムまたはインターネットプロトコル（ＩＰ：Internet Protocol）を用いたパケット通信システム等において、ステレオ音声信号やステレオ・オーディオ信号の符号化／復号を行う際に用いられるステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法に関する。

移動体通信システムまたはＩＰを用いたパケット通信システム等において、ＤＳＰ（Digital Signal Processor）によるディジタル信号処理速度と帯域幅の制限は徐々に緩和されつつある。伝送レートのさらなる高ビットレート化が進めば、複数チャネルを伝送するだけの帯域を確保できるようになるため、モノラル方式が主流の音声通信においても、ステレオ方式による通信（ステレオ通信）が普及することが期待される。

現在の携帯電話は既に、ステレオ機能を有するマルチメディアプレイヤやＦＭラジオの機能を搭載することができる。従って、第４世代の携帯電話及びＩＰ電話等にステレオ・オーディオ信号だけでなく、ステレオ音声信号の録音、再生等の機能を追加するのは自然なことである。

従来、ステレオ信号を符号化する方法と言えば数多くあり、代表例として非特許文献１に記載されているＭＰＥＧ−２ ＡＡＣ（Moving Picture Experts Group-2 Advanced Audio Coding）があげられる。ＭＰＥＧ−２ ＡＡＣは信号を、モノラル、ステレオ、及びマルチチャネルに符号化することができる。ＭＰＥＧ−２ ＡＡＣはＭＤＣＴ（Modified Discrete Cosine Transform）処理を用いて時間領域信号を周波数領域信号に変換し、人間聴覚システムの原理に基づき、符号化によって発生する雑音をマスキングして人間の可聴域以下のレベルに抑えることによって、良音質を実現している。
ISO/IEC 13818-7:1997-MPEG-2 Advanced Audio Coding(AAC)

しかしながら、ＭＰＥＧ−２ ＡＡＣは、オーディオ信号により適しており、音声信号には適していないという問題がある。ＭＰＥＧ−２ ＡＡＣはオーディオ信号の通信において重要でないスペクトル情報に対する量子化ビット数を抑制することによって、ステレオ感を有しつつ良好な音質を実現しながらビットレートを低く抑えている。しかし、オーディオ信号に比べて音声信号はビットレートの減少による音質劣化がより大きいため、オーディオ信号において非常に良好な音質が得られるＭＰＥＧ−２ ＡＡＣでも、これを音声信号に適用した場合には、満足できる音質を得られない場合がある。

ＭＰＥＧ−２ ＡＡＣのもう１つの問題点は、アルゴリズムに起因する遅延である。ＭＰＥＧ−２ ＡＡＣに使用されるフレームサイズは、１０２４サンプル／フレームである。例えば、サンプリング周波数が３２ｋＨｚを超えるとフレーム遅延は３２ミリ秒以下となり、これはリアルタイム音声通信システムにおいて許容できる遅延である。しかし、ＭＰＥＧ−２ ＡＡＣは、符号化信号を復号するために、隣接する２つのフレームのオーバーラップ・アンド・アッド（重ね合わせ加算）を行うＭＤＣＴ処理を必須としており、このアルゴリズムに起因した処理遅延が常に発生するので、リアルタイム通信システムには適さない。

なお、低ビットレート化のためには、ＡＭＲ−ＷＢ（Adaptive Multi-Rate Wide Band
）方式の符号化を行うことも可能であり、この方法によれば、ＭＰＥＧ−２ ＡＡＣと比べて２分の１以下のビットレートで済む。ただ、ＡＭＲ−ＷＢ方式の符号化は、モノラル音声信号しかサポートしていないという問題がある。

本発明の目的は、ステレオ信号を低ビットレートで精度良く符号化することができ、また、音声通信等における遅延を抑えることができるステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法を提供することである。

本発明のステレオ符号化装置は、ステレオ信号の第１チャネル信号に対して時間領域における評価（estimation）を行い、この評価結果を符号化する時間領域評価手段と、前記第１チャネル信号の周波数帯域を複数に分割し、各帯域の前記第１チャネル信号に対し周波数領域における評価を行い、この評価結果を符号化する周波数領域評価手段と、を具備する構成を採る。

本発明によれば、ステレオ信号を低ビットレートで精度良く符号化することができ、また、音声通信等における遅延を抑えることができる。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

図１は本発明の一実施の形態に係るステレオ符号化装置１００の主要な構成を示すブロック図である。

ステレオ符号化装置１００は、主に第１レイヤ１１０と第２レイヤ１２０とからなる階層的な構成を採る。

第１レイヤ１１０では、ステレオ音声信号を構成する左チャネル信号Ｌと右チャネル信号Ｒとからモノラル信号Ｍが生成され、このモノラル信号が符号化されて符号化情報Ｐ_Ａ及びモノラル駆動音源信号ｅ_Ｍが生成される。第１レイヤ１１０は、モノラル合成部１０１とモノラル符号化部１０２とからなり、各部は以下の処理を行う。

モノラル合成部１０１は、左チャネル信号Ｌと右チャネル信号Ｒとからモノラル信号Ｍを合成する。ここでは、左チャネル信号Ｌと右チャネル信号Ｒの平均値を求めることによりモノラル信号Ｍを合成する。この方法を式で表すとＭ＝（Ｌ＋Ｒ）／２となる。なお、モノラル信号の合成方法として他の方法を使っても良く、その一例を式で表すとＭ＝ｗ_１Ｌ＋ｗ_２Ｒである。この式においてｗ_１、ｗ_２は、ｗ_１＋ｗ_２＝１．０の関係を満たす重み付け係数である。

モノラル符号化部１０２は、ＡＭＲ−ＷＢ方式の符号化装置の構成を採る。モノラル符号化部１０２は、モノラル合成部１０１から出力されるモノラル信号ＭをＡＭＲ−ＷＢ方式で符号化し、符号化情報Ｐ_Ａを求めて多重化部１０８に出力する。また、モノラル符号化部１０２は、符号化の過程において得られるモノラル駆動音源信号ｅ_Ｍを第２レイヤ１２０に出力する。

第２レイヤ１２０では、ステレオ音声信号に対して、時間領域及び周波数領域における評価及び予測（prediction and estimation）が行われ、各種の符号化情報が生成される。この処理において、まず、ステレオ音声信号を構成する左チャネル信号Ｌが有する空間的情報が検出及び算出される。この空間的情報により、ステレオ音声信号は、臨場感（拡がり感）を生じる。次に、この空間的情報をモノラル信号に与えることにより、左チャネル信号Ｌに類似する評価信号が生成される。そして、各処理に関する情報が符号化情報として出力される。第２レイヤ１２０は、フィルタリング部１０３、時間領域評価部１０４、周波数領域評価部１０５、残差符号化部１０６、及びビット配分制御部１０７からなり、各部は以下の動作を行う。

フィルタリング部１０３は、左チャネル信号ＬからＬＰＣ分析によりＬＰＣ（Linear Predictive Coding）係数を生成し、符号化情報Ｐ_Ｆとして多重化部１０８に出力する。また、フィルタリング部１０３は、左チャネル信号ＬとＬＰＣ係数を用いて左チャネルの駆動音源信号ｅ_Ｌを生成し、時間領域評価部１０４に出力する。

時間領域評価部１０４は、第１レイヤ１１０のモノラル符号化部１０２において生成されるモノラル駆動音源信号ｅ_Ｍと、フィルタリング部１０３において生成される左チャネルの駆動音源信号ｅ_Ｌとに対し、時間領域における評価及び予測を行い、時間領域評価信号ｅ_ｅｓｔ１を生成して周波数領域評価部１０５に出力する。即ち、時間領域評価部１０４は、モノラル駆動音源信号ｅ_Ｍと、左チャネルの駆動音源信号ｅ_Ｌとの間の時間領域における空間的情報を検出及び算出する。

周波数領域評価部１０５は、フィルタリング部１０３において生成される左チャネルの駆動音源信号ｅ_Ｌと、時間領域評価部１０４において生成される時間領域評価信号ｅ_ｅｓｔ１とに対し、周波数領域における評価および予測を行い、周波数領域評価信号ｅ_ｅｓｔ２を生成して残差符号化部１０６に出力する。即ち、周波数領域評価部１０５は、時間領域評価信号ｅ_ｅｓｔ１と左チャネルの駆動音源信号ｅ_Ｌとの間の周波数領域における空間的情報を検出及び算出する。

残差符号化部１０６は、周波数領域評価部１０５において生成される周波数領域評価信号ｅ_ｅｓｔ２と、フィルタリング部１０３において生成される左チャネルの駆動音源信号ｅ_Ｌとの間の残差信号を求め、この信号を符号化し、符号化情報Ｐ_Ｅを生成して多重化部１０８に出力する。

ビット配分制御部１０７は、モノラル符号化部１０２において生成されるモノラル駆動音源信号ｅ_Ｍと、フィルタリング部１０３において生成される左チャネルの駆動音源信号ｅ_Ｌとの類似具合に応じて、時間領域評価部１０４、周波数領域評価部１０５、及び残差符号化部１０６に符号化ビットを配分する。なお、ビット配分制御部１０７は、各部に配分するビット数に関する情報を符号化し、得られる符号化情報Ｐ_Ｂを出力する。

多重化部１０８は、Ｐ_ＡからＰ_Ｆまでの符号化情報を多重化し、多重化後のビットストリームを出力する。

ステレオ符号化装置１００に対応するステレオ復号装置は、第１レイヤ１１０で生成さ
れたモノラル信号の符号化情報Ｐ_Ａ及び第２レイヤ１２０で生成された左チャネル信号の符号化情報Ｐ_Ｂ〜Ｐ_Ｆを取得し、これらの符号化情報からモノラル信号と左チャネル信号とを復号することができる。また、復号されたモノラル信号と左チャネル信号とから右チャネル信号も生成することができる。

図２は時間領域評価部１０４の主要な構成を示すブロック図である。時間領域評価部１０４には、モノラル駆動音源信号ｅ_Ｍが目標信号として、左チャネルの駆動音源信号ｅ_Ｌが参照信号として入力される。時間領域評価部１０４は、音声信号処理の毎フレームに１回、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとの間の空間的情報を検出及び算出し、これらの結果を符号化して符号化情報Ｐ_Ｃを出力する。ここで、時間領域における空間的情報は、振幅情報αと遅延情報τとから構成される。

エネルギ算出部１４１−１は、モノラル駆動音源信号ｅ_Ｍが入力され、この信号の時間領域におけるエネルギを算出する。

エネルギ算出部１４１−２は、左チャネルの駆動音源信号ｅ_Ｌが入力され、エネルギ算出部１４１−１と同様な処理によって、左チャネルの駆動音源信号ｅ_Ｌの時間領域におけるエネルギを算出する。

比率算出部１４２は、エネルギ算出部１４１−１と１４１−２においてそれぞれ算出されるエネルギ値が入力され、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとのエネルギ比率を算出し、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとの間の空間的情報（振幅情報α）として出力する。

相関値算出部１４３は、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとが入力され、この２つの信号間の相互相関値（cross correlation）を算出する。

遅延検出部１４４は、相関値算出部１４３で算出する相互相関値が入力され、左チャネルの駆動音源信号ｅ_Ｌとモノラル駆動音源信号ｅ_Ｍとの間の時間遅延を検出し、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとの間の空間的情報（遅延情報τ）として出力する。

評価信号生成部１４５は、比率算出部１４２で算出される振幅情報αと遅延検出部１４４で算出される遅延情報τとに基づいて、モノラル駆動音源信号ｅ_Ｍから、左チャネルの駆動音源信号ｅ_Ｌに類似する時間領域評価信号ｅ_ｅｓｔ１を生成する。

このように、時間領域評価部１０４は、音声信号処理の毎フレームに１回、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとの間の時間領域における空間的情報を検出及び算出し、得られる符号化情報Ｐ_Ｃを出力する。ここで、空間的情報は振幅情報αと遅延情報τとから構成される。また、時間領域評価部１０４は、この空間的情報をモノラル駆動音源信号ｅ_Ｍに与え、左チャネルの駆動音源信号ｅ_Ｌに類似する時間領域評価信号ｅ_ｅｓｔ１を生成する。

図３は周波数領域評価部１０５の主要な構成を示すブロック図である。周波数領域評価部１０５は、時間領域評価部１０４が生成した時間領域評価信号ｅ_ｅｓｔ１を目標信号として、左チャネルの駆動音源信号ｅ_Ｌを参照信号として入力して、周波数領域における評価および予測を行い、これらの結果を符号化して符号化情報Ｐ_Ｄを出力する。ここで、周波数領域における空間的情報は、スペクトルの振幅情報βと位相差情報θとから構成される。

ＦＦＴ部１５１−１は、高速フーリエ変換（ＦＦＴ）により、時間領域信号である左チャネルの駆動音源信号ｅ_Ｌを周波数領域信号（スペクトル）に変換する。

分割部１５２−１は、ＦＦＴ部１５１−１で生成される周波数領域信号の帯域を複数の帯域（サブバンド）に分割する。各サブバンドは、人間の聴覚システムに対応するバークスケール（Bark Scale）に従っても良いし、または帯域幅内において等分割しても良い。

エネルギ算出部１５３−１は、左チャネルの駆動音源信号ｅ_Ｌのスペクトルエネルギを、分割部１５２−１から出力される各サブバンド毎に算出する。

ＦＦＴ部１５１−２は、ＦＦＴ部１５１−１と同様な処理によって、時間領域評価信号e_ｅｓｔ１を周波数領域信号に変換する。

分割部１５２−２は、分割部１５２−１と同様な処理によって、ＦＦＴ部１５１−２で生成される周波数領域信号の帯域を複数のサブバンドに分割する。

エネルギ算出部１５３−２は、エネルギ算出部１５３−１と同様な処理によって、時間領域評価信号e_ｅｓｔ１のスペクトルエネルギを、分割部１５２−２から出力される各サブバンド毎に算出する。

比率算出部１５４は、エネルギ算出部１５３−１とエネルギ算出部１５３−２とで算出される各サブバンドのスペクトルエネルギを用いて、左チャネルの駆動音源信号ｅ_Ｌと時間領域評価信号e_ｅｓｔ１とのスペクトルエネルギ比率を各サブバンド毎に算出し、符号化情報Ｐ_Ｄの一部である振幅情報βとして出力する。

位相算出部１５５−１は、左チャネルの駆動音源信号ｅ_Ｌの各サブバンドにおける各スペクトルの位相を算出する。

位相選択部１５６は、符号化情報の情報量を削減するために、各サブバンドにおけるスペクトルの位相から、符号化に適する位相を１つ選択する。

位相算出部１５５−２は、位相算出部１５５−１と同様な処理によって、時間領域評価信号e_ｅｓｔ１の各サブバンドにおける各スペクトルの位相を算出する。

位相差算出部１５７は、位相選択部１５６で選択された各サブバンドにおける位相において、左チャネルの駆動音源信号ｅ_Ｌと時間領域評価信号e_ｅｓｔ１との位相差を算出し、符号化情報Ｐ_Ｄの一部である位相差情報θとして出力する。

評価信号生成部１５８は、左チャネルの駆動音源信号ｅ_Ｌと時間領域評価信号ｅ_ｅｓｔ１との間の振幅情報β、および、左チャネルの駆動音源信号ｅ_Ｌと時間領域評価信号ｅ_ｅｓｔ１との間の位相差情報θ、の双方に基づき、時間領域評価信号ｅ_ｅｓｔ１から周波数領域評価信号e_ｅｓｔ２を生成する。

このように、周波数領域評価部１０５は、左チャネルの駆動音源信号ｅ_Ｌ及び時間領域評価部１０４で生成される時間領域評価信号ｅ_ｅｓｔ１のそれぞれを複数のサブバンドに分割し、サブバンド毎に時間領域評価信号ｅ_ｅｓｔ１と左チャネルの駆動音源信号ｅ_Ｌとの間のスペクトルエネルギ比率および位相差を算出する。時間領域における時間遅延と周波数領域における位相差とは等価であるから、周波数領域における位相差を算出し、これを正確に制御または調整することにより、時間領域では符号化しきれなかった特徴を周波数領域にて符号化することが可能となり、符号化精度はより向上する。周波数領域評価部
１０５は、時間領域評価により得られた左チャネルの駆動音源信号ｅ_Ｌに類似する時間領域評価信号e_ｅｓｔ１に、周波数領域評価によって算出される微細な差異を与えて、より左チャネルの駆動音源信号ｅ_Ｌに類似する周波数領域評価信号e_ｅｓｔ２を生成する。また、周波数領域評価部１０５は、この空間的情報を時間領域評価信号ｅ_ｅｓｔ１に与えて、より左チャネルの駆動音源信号ｅ_Ｌに類似する周波数領域評価信号ｅ_ｅｓｔ２を生成する。

次いで、ビット配分制御部１０７の動作の詳細について説明する。音声信号の各フレームに対し、符号化に割り当てられるビット数は予め決まっている。ビット配分制御部１０７は、この所定のビットレートにおいて最適な音声品質を実現するために、左チャネルの駆動音源信号ｅ_Ｌとモノラル駆動音源信号ｅ_Ｍとが類似しているか否かによって、各処理部に配分するビットの数を適応的に決定する。

図４はビット配分制御部１０７の動作を説明するフロー図である。

ＳＴ（ステップ）１０７１において、ビット配分制御部１０７は、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとを比較し、時間領域におけるこれら２つの信号の類似具合を判断する。具体的には、ビット配分制御部１０７は、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとの二乗平均誤差を算出し、これを既定の閾値と比較して閾値以下であれば、２つの信号は類似していると判断する。

モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとが類似している場合（ＳＴ１０７２：ＹＥＳ）、この２つの信号の時間領域における差は小さく、より小さな差を符号化するのに必要とされるビット数はより少なくて良い。つまり、時間領域評価部１０４にはより少なく、他の各部（周波数領域評価部１０５、残差符号化部１０６）、特に周波数領域評価部１０５にはより多くのビットを配分するような不均一なビット配分を行えば、効率的なビット割り当てなので符号化効率が良くなる。従って、ビット配分制御部１０７は、ＳＴ１０７２において類似していると判断した場合、ＳＴ１０７３において時間領域評価へより少ない数のビットを配分し、ＳＴ１０７４で残りのビットを他の処理に均等に配分する。

一方、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとが類似していない場合（ＳＴ１０７２：ＮＯ）、２つの時間領域信号間の差は大きくなり、時間領域評価はある程度までの類似性を評価できるだけで、評価信号の精度を高めるためには周波数領域における信号評価も重要である。よって、時間領域評価及び周波数領域評価の両方とも同等に重要である。また、かかる場合、周波数領域評価後にも、評価信号と左チャネルの駆動音源信号ｅ_Ｌとの間には差が残っている可能性があるため、残差についても符号化して符号化情報を得ることが重要である。従って、ビット配分制御部１０７は、ＳＴ１０７２においてモノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとが類似していないと判断した場合、ＳＴ１０７５において、すべての処理の重要度を同等と見なして、すべての処理に均等にビットを配分する。

図５は本実施の形態に係るステレオ復号装置２００の主要な構成を示すブロック図である。

ステレオ復号装置２００もステレオ符号化装置１００と同じく、主に第１レイヤ２１０と第２レイヤ２２０とからなる階層的な構成を採る。また、ステレオ復号装置２００の各処理は、ステレオ符号化装置１００の対応する各処理の基本的に逆処理となる。即ち、ステレオ復号装置２００は、ステレオ符号化装置１００から送られる符号化情報を用いて、モノラル信号から左チャネル信号を予測して生成し、さらにモノラル信号と左チャネル信
号とを用いて、右チャネル信号を生成する。

分離部２０１は、入力されるビットストリームをＰ_ＡからＰ_Ｆまでの符号化情報に分離する。

第１レイヤ２１０は、モノラル復号部２０２から構成される。モノラル復号部２０２は、符号化情報Ｐ_Ａを復号して、モノラル信号Ｍ’及びモノラル駆動音源信号ｅ_Ｍ’を生成する。

第２レイヤ２２０は、ビット配分情報復号部２０３、時間領域評価部２０４、周波数領域評価部２０５、及び残差復号部２０６からなり、各部は以下の動作を行う。

ビット配分情報復号部２０３は、符号化情報Ｐ_Ｂを復号し、時間領域評価部２０４、周波数領域評価部２０５、及び残差復号部２０６でそれぞれ使用されるビット数を出力する。

時間領域評価部２０４は、モノラル復号部２０２において生成されるモノラル駆動音源信号ｅ_Ｍ’、分離部２０１から出力される符号化情報Ｐ_Ｃ、及びビット配分情報復号部２０３から出力されるビット数を用いて、時間領域における評価及び予測を行い、時間領域評価信号ｅ_ｅｓｔ１’を生成する。

周波数領域評価部２０５は、時間領域評価部２０４において生成される時間領域評価信号ｅ_ｅｓｔ１’、分離部２０１から出力される符号化情報Ｐ_Ｄ、及びビット配分情報復号部２０３から渡されたビット数を用いて、周波数領域における評価及び予測を行い、周波数領域評価信号ｅ_ｅｓｔ２’を生成する。周波数領域評価部２０５は、周波数領域における評価及び予測に先立ち、ステレオ符号化装置１００の周波数領域評価部１０５と同様に、周波数変換を行うＦＦＴ部を有する。

残差復号部２０６は、分離部２０１から出力される符号化情報Ｐ_Ｅ及びビット配分情報復号部２０３から渡されたビット数を用いて、残差信号を復号する。また、残差復号部２０６は、周波数領域評価部２０５で生成される周波数領域評価信号ｅ_ｅｓｔ２’に、この復号された残差信号を与え、左チャネルの駆動音源信号ｅ_Ｌ’を生成する。

合成フィルタリング部２０７は、符号化情報Ｐ_ＦからＬＰＣ係数を復号し、このＬＰＣ係数と残差復号部２０６において生成される左チャネルの駆動音源信号ｅ_Ｌ’とを合成して、左チャネル信号Ｌ’を生成する。

ステレオ変換部２０８は、モノラル復号部２０２で復号されるモノラル信号Ｍ’、および合成フィルタ２０７で生成される左チャネル信号Ｌ’を用いて、右チャネル信号Ｒ’を生成する。

このように、本実施の形態に係るステレオ符号化装置によれば、符号化対象であるステレオ音声信号に対し、まず時間領域において評価及び予測を行った後、周波数領域において更に詳細な評価及び予測を行って、これら２段階の評価及び予測に関する情報を符号化情報として出力する。従って、時間領域における評価及び予測では十分に表現できなかった情報に対して周波数領域において補完的な評価及び予測を行うことができ、ステレオ音声信号を低ビットレートで精度良く符号化することができる。

また、本実施の形態によれば、時間領域評価部１０４における時間領域評価は、全周波数帯域に渡る信号の空間的情報の平均レベルを評価することに相当する。例えば、時間領
域評価部１０４おいて空間的情報として求められるエネルギ比及び時間遅延は、１フレームの符号化対象の信号をそのまま１信号として処理し、この信号の全体的または平均的なエネルギ比及び時間遅延を求めたものである。一方、周波数領域評価部１０５における周波数領域評価は、符号化対象の信号の周波数帯域を複数のサブバンドに分割し、この細分化された個々の信号の評価を行っている。換言すると、本実施の形態によれば、時間領域においてステレオ音声信号の概略的な評価を行った後、周波数領域において更なる評価を行うことにより評価信号を微調整する。従って、符号化対象の信号を１信号として扱うと十分に表現できなかった情報に対し、複数の信号に細分化して更なる評価を行うため、ステレオ音声信号の符号化精度を向上させることができる。

また、本実施の形態によれば、モノラル信号と左チャネル信号（または右チャネル信号）との類似具合に応じて、すなわち、ステレオ音声信号の状況に応じて、所定ビットレートの範囲内において、時間領域評価、周波数領域評価等の各処理に対し適応的にビットを配分する。これにより、効率的でかつ精度良く符号化を行うことができると共に、ビットレートスケーラビリティを実現することができる。

また、本実施の形態によれば、ＭＰＥＧ−２ ＡＡＣに必須のＭＤＣＴ処理を必要としないため、リアルタイム音声通信システム等において、時間遅延を許容範囲限度内に抑えることができる。

また、本実施の形態によれば、時間領域評価において、エネルギ比および時間遅延という少ないパラメータで符号化を行うため、ビットレートを削減することができる。

また、本実施の形態によれば、２つのレイヤからなる階層的な構成を採るため、モノラルレベルからステレオレベルへスケーリングすることができる。よって、何らかの原因で、周波数領域評価に関する情報を復号できない場合でも、時間領域評価に関する情報だけを復号することにより、品質は多少劣化するものの、所定品質のステレオ音声信号を復号することができるため、スケーラビリティを向上させることができる。

また、本実施の形態によれば、第１レイヤにおいてモノラル信号をＡＭＲ−ＷＢ方式で符号化するため、ビットレートを低く抑えることができる。

なお、本実施の形態に係るステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法は、種々変更して実施することが可能である。

例えば、本実施の形態では、ステレオ符号化装置１００でモノラル信号と左チャネル信号とを符号化対象とし、ステレオ復号装置２００では、モノラル信号および左チャネル信号を復号してこれらの復号信号を合成することによって、右チャネル信号を復号する場合を例にとって説明したが、ステレオ符号化装置１００の符号化対象の信号はこれに限定されず、ステレオ符号化装置１００でモノラル信号と右チャネル信号とを符号化対象とし、ステレオ復号装置２００で復号された右チャネル信号とモノラル信号とを合成することによって、左チャネル信号を生成するようにしても良い。

また、本実施の形態でフィルタリング部１０３において、ＬＰＣ係数に対する符号化情報としては、ＬＰＣ係数を他の等価なパラメータに変換したもの（例えばＬＳＰパラメータ）を用いても良い。

また、本実施の形態では、所定数のビットをビット配分制御部１０７によって各処理に配分しているが、ビット配分制御処理を行わなくて、前もって各部に使われるビット数を決めておく固定ビット配分を行っても良い。かかる場合、ステレオ符号化装置１００にお
いてはビット配分制御部１０７が不要である。また、この固定のビット配分の割合は、ステレオ符号化装置１００及びステレオ復号装置２００に共通であるので、ステレオ復号装置２００においてもビット配分情報復号部２０３は不要である。

また、本実施の形態でビット配分制御部１０７は、ステレオ音声信号の状況に応じて適応的にビット配分を行っているが、ネットワークの状況に応じて適応的にビット配分を行っても良い。

また、本実施の形態に係る残差符号化部１０６は、ビット配分制御部１０７によって配分される所定数のビットを使用して符号化を行うことで、ロッシーシステムとなる。所定数のビットを使用する符号化としては、例えばベクトル量子化がある。一般的に、残差符号化部は、符号化方法の違いによって、ロッシーシステムまたはロスレスシステムという特徴の相異なる符号化システムとなる。ロスレスシステムは、ロッシーシステムに比べて、復号装置で信号をより正確に復号することができるという特徴があるが、圧縮率が低いためビットレートが高くなる。例えば、残差符号化部１０６において、残差信号がハフマン（Huffman）符号化、ライス（Rice）符号化等のノイズレス符号化方法によって符号化されれば、ロスレスシステムとなる。

また、本実施の形態で比率算出部１４２は、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとのエネルギ比率を算出して振幅情報αとするが、エネルギ比率の代わりにエネルギ差を算出して振幅情報αとしても良い。

また、本実施の形態で比率算出部１５４は、各サブバンドにおける、左チャネルの駆動音源信号ｅ_Ｌと時間領域評価信号e_ｅｓｔ１とのスペクトルエネルギ比率βを算出して振幅情報βとするが、エネルギ比率の代わりにエネルギ差を算出して振幅情報βとしても良い。

また、本実施の形態では、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとの間の時間領域における空間的情報が振幅情報αと遅延情報τとからなっているが、この空間的情報は他の情報をさらに含んでいても良いし、振幅情報α、遅延情報τ等とは全く異なる他の情報からなっていても良い。

また、本実施の形態では、左チャネルの駆動音源信号ｅ_Ｌと時間領域評価信号e_ｅｓｔ１との間の周波数領域における空間的情報が振幅情報βと位相差情報θとからなっているが、この空間的情報は他の情報をさらに含んでいても良いし、振幅情報β、位相差情報θ等とは全く異なる他の情報からなっていても良い。

また、本実施の形態で時間領域評価部１０４は、モノラル駆動音源信号ｅ_Ｍと左チャネルの駆動音源信号ｅ_Ｌとの間の空間的情報の検出及び算出をフレーム毎に行うが、この処理を１フレーム内において複数回行っても良い。

また、本実施の形態で位相選択部１５６は、各サブバンドにおいて、１つのスペクトル位相を選択しているが、複数のスペクトル位相を選択しても良い。かかる場合、位相差算出部１５７は、この複数の位相における、左チャネルの駆動音源信号ｅ_Ｌと時間領域評価信号e_ｅｓｔ１との位相差θの平均を算出し、位相差算出部１５７に出力する。

また、本実施の形態で残差符号化部１０６は、残差信号に対して時間領域符号化を行うが、周波数領域符号化を行っても良い。

また、本実施の形態では、音声信号を符号化対象とする場合を例にとって説明したが、
本発明に係るステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法は、音声信号のほかオーディオ信号にも適用することができる。

以上、本発明の実施の形態について説明した。

本発明に係るステレオ符号化装置およびステレオ復号装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置、基地局装置、および移動体通信システムを提供することができる。

また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るステレオ符号化方法及びステレオ復号方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係るステレオ符号化及びステレオ復号装置と同様の機能を実現することができる。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。

また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。

本明細書は、２００５年８月３１日出願の特願２００５−２５２７７８に基づく。この内容はすべてここに含めておく。

本発明に係るステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法は、携帯電話、ＩＰ電話、テレビ会議等に好適である。

本発明の一実施の形態に係るステレオ符号化装置の主要な構成を示すブロック図 本発明の一実施の形態に係る時間領域評価部の主要な構成を示すブロック図 本発明の一実施の形態に係る周波数領域評価部の主要な構成を示すブロック図 本発明の一実施の形態に係るビット配分制御部の動作を説明するフロー図 本発明の一実施の形態に係るステレオ復号装置の主要な構成を示すブロック図

Claims (7)

1. ステレオ信号から生成されるモノラル信号を符号化して、モノラル駆動音源信号を生成する第１レイヤ符号化手段と、
   前記ステレオ信号の第１チャネルの駆動音源信号に対して時間領域における評価を行い、この評価結果である第１空間的情報を符号化する時間領域評価手段、および、前記第１チャネルの駆動音源信号の周波数帯域を複数に分割し、各帯域の前記第１チャネルの駆動音源信号に対し周波数領域における評価を行い、この評価結果である第２空間的情報を符号化する周波数領域評価手段、を有する第２レイヤ符号化手段と、
   を具備し、
   前記時間領域評価手段は、
   前記時間領域における評価において、前記第１チャネルの駆動音源信号と前記モノラル駆動音源信号との間の前記第１空間的情報を求め、当該第１空間的情報を前記モノラル駆動音源信号に与えることにより、前記第１チャネルの駆動音源信号に類似する時間領域評価信号を生成し、
   前記周波数領域評価手段は、
   前記時間領域評価信号の周波数帯域を複数に分割し、前記周波数領域における評価において、各帯域における前記時間領域評価信号と前記第１チャネルの駆動音源信号との間の前記第２空間的情報を求め、当該第２空間情報を前記時間領域評価信号に与えることにより、前記第１チャネルの駆動音源信号に類似する周波数領域評価信号を生成する、
   ステレオ符号化装置。
2. 前記第１チャネルの駆動音源信号と前記モノラル駆動音源信号との類似具合に応じて、前記時間領域評価手段と前記周波数領域評価手段とにビットを配分するビット配分手段、
   をさらに具備する請求項１記載のステレオ符号化装置。
3. 前記ビット配分手段は、
   前記第１チャネルの駆動音源信号と前記モノラル駆動音源信号との類似度が所定値以上の場合、より多くのビットを前記周波数領域評価手段に配分する、
   請求項２記載のステレオ符号化装置。
4. 前記ビット配分手段は、
   前記第１チャネルの駆動音源信号と前記モノラル駆動音源信号との類似度が所定値未満の場合、前記時間領域評価手段と前記周波数領域評価手段とに均等にビットを配分する、
   請求項２記載のステレオ符号化装置。
5. 前記第１チャネルの駆動音源信号と前記周波数領域評価信号との間の残差を符号化する残差符号化手段、
   をさらに具備する請求項１記載のステレオ符号化装置。
6. モノラル信号が符号化された符号化情報を復号して、モノラル駆動音源信号を生成する第１レイヤ復号手段と、
   前記モノラル駆動音源信号を用いて、ステレオ信号の第１チャネルの駆動音源信号に対する時間領域における評価結果である第１空間的情報が符号化された符号化情報を復号して、時間領域評価信号を生成する時間領域復号手段、および、前記時間領域評価信号を用いて、前記第１チャネルの駆動音源信号の周波数帯域が複数に分割され、各帯域の前記第１チャネルの駆動音源信号に対する周波数領域における評価結果である第２空間的情報が符号化された符号化情報を復号して、周波数領域評価信号を生成する周波数領域復号手段、を有する第２レイヤ復号手段と、
   を具備し、
   前記時間領域における評価結果は、前記第１チャネルの駆動音源信号と前記モノラル駆動音源信号との間の前記第１空間的情報であり、前記時間領域評価信号は、当該第１空間的情報を前記モノラル駆動音源信号に与えることにより生成され、
   前記周波数領域における評価結果は、複数の周波数帯域に分割された、各帯域における前記時間領域評価信号と前記第１チャネルの駆動音源信号との間の前記第２空間的情報であり、前記周波数領域評価信号は、当該第２空間情報を前記時間領域評価信号に与えることにより生成される、
   ステレオ復号装置。
7. ステレオ信号から生成されるモノラル信号を符号化して、モノラル駆動音源信号を生成するステップと、
   前記ステレオ信号の第１チャネルの駆動音源信号に対して時間領域における評価を行うステップと、
   前記時間領域における評価結果である第１空間的情報を符号化するステップと、
   前記第１チャネルの駆動音源信号の周波数帯域を複数に分割するステップと、
   分割後の各帯域の前記第１チャネルの駆動音源信号に対し周波数領域における評価を行うステップと、
   前記周波数領域における評価結果である第２空間的情報を符号化するステップと、
   を具備し、
   前記時間領域における評価を行うステップは、
   前記時間領域における評価において、前記第１チャネルの駆動音源信号と前記モノラル駆動音源信号との間の前記第１空間的情報を求め、当該第１空間的情報を前記モノラル駆動音源信号に与えることにより、前記第１チャネルの駆動音源信号に類似する時間領域評価信号を生成し、
   前記周波数領域における評価を行うステップは、
   前記時間領域評価信号の周波数帯域を複数に分割し、前記周波数領域における評価において、各帯域における前記時間領域評価信号と前記第１チャネルの駆動音源信号との間の前記第２空間的情報を求め、当該第２空間情報を前記時間領域評価信号に与えることにより、前記第１チャネルの駆動音源信号に類似する周波数領域評価信号を生成する、
   ステレオ符号化方法。

Images