JP5046653B2 - 音声符号化装置および音声符号化方法 - Google Patents

Description

本発明は、音声符号化装置および音声符号化方法に関し、特に、ステレオの音声入力信号からモノラル信号を生成して符号化する音声符号化装置および音声符号化方法に関する。

移動体通信やＩＰ通信での伝送帯域の広帯域化、サービスの多様化に伴い、音声通信において高音質化、高臨場感化のニーズが高まっている。例えば、今後、テレビ電話サービスにおけるハンズフリー形態での通話、テレビ会議における音声通信、多地点で複数話者が同時に会話を行うような多地点音声通信、臨場感を保持したまま周囲の音環境を伝送できるような音声通信などの需要が増加すると見込まれる。その場合、モノラル信号より臨場感があり、また複数話者の発話位置が認識できるような、ステレオ音声による音声通信を実現することが望まれる。このようなステレオ音声による音声通信を実現するためには、ステレオ音声の符号化が必須となる。

また、ＩＰネットワーク上での音声データ通信において、ネットワーク上のトラフィック制御やマルチキャスト通信実現のために、スケーラブルな構成を有する音声符号化が望まれている。スケーラブルな構成とは、受信側で部分的な符号化データからでも音声データの復号が可能な構成をいう。

よって、ステレオ音声を符号化し伝送する場合にも、ステレオ信号の復号と、符号化データの一部を用いたモノラル信号の復号とを受信側において選択可能な、モノラル−ステレオ間でのスケーラブル構成（モノラル−ステレオ・スケーラブル構成）を有する符号化が望まれる。

このような、モノラル−ステレオ・スケーラブル構成を有する音声符号化においては、ステレオの入力信号からモノラル信号を生成する。モノラル信号の生成方法としては、例えば、ステレオ信号の双方のチャネル（以下、適宜「ｃｈ」と略す）の信号を平均してモノラル信号を得るものがある（非特許文献１参照）。
ISO/IEC 14496-3,"Information Technology - Coding of audio-visual objects - Part 3: Audio", subpart-4, 4.B.14 Scalable AAC with core coder, pp.304-305, Sep. 2000.

しかしながら、単にステレオ信号の双方のチャネルの信号を平均してモノラル信号を生成すると、特に音声では、入力されるステレオ信号に対して歪みが生じたモノラル信号となってしまったり、入力されるステレオ信号とは波形形状が大きく異なったモノラル信号となってしまうことがある。つまり、本来伝送すべき入力信号から劣化した信号または本来伝送すべき入力信号とは異なった信号が伝送されることになってしまうことがある。また、入力されるステレオ信号に対して歪みが生じたモノラル信号や入力されるステレオ信号とは波形形状が大きく異なったモノラル信号をＣＥＬＰ符号化などの音声信号固有の特性に適した符号化モデルによって符号化すると、音声信号固有の特性とは異なる複雑な信号を符号化対象とすることになってしまい、その結果、符号化効率の低下を招く。

本発明の目的は、ステレオ信号から適切なモノラル信号を生成して、モノラル信号の符号化効率の低下を抑えることができる音声符号化装置および音声符号化方法を提供するこ
とである。

本発明の音声符号化装置は、第１チャネル信号および第２チャネル信号を含むステレオ信号を入力信号として、前記第１チャネル信号と前記第２チャネル信号との時間差、および、前記第１チャネル信号と前記第２チャネル信号との振幅比に基づいて両チャネル間の予測パラメータを求め、前記予測パラメータから中間予測パラメータを算出し、前記中間予測パラメータを用いて前記第１チャネル信号および前記第２チャネル信号からモノラル信号を生成する第１生成手段と、前記モノラル信号を符号化する符号化手段と、を具備する構成を採る。

本発明によれば、ステレオ信号から適切なモノラル信号を生成して、モノラル信号の符号化効率の低下を抑えることができる。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。なお、以下の説明では、フレーム単位での動作を前提にして説明する。

（実施の形態１）
本実施の形態に係る音声符号化装置の構成を図１に示す。図１に示す音声符号化装置１０は、モノラル信号生成部１０１とモノラル信号符号化部１０２とを備える。

モノラル信号生成部１０１は、ステレオの入力音声信号（第１ｃｈ音声信号、第２ｃｈ音声信号）からモノラル信号を生成してモノラル信号符号化部１０２へ出力する。モノラル信号生成部１０１の詳細については後述する。

モノラル信号符号化部１０２は、モノラル信号を符号化して、モノラル信号に対する音声符号化データであるモノラル信号符号化データを出力する。モノラル信号符号化部１０２は、任意の符号化方式を用いてモノラル信号を符号化することができる。例えば、音声信号の効率的符号化に適したＣＥＬＰ符号化をベースとする符号化方式を用いることができる。また、その他の音声符号化方式や、ＡＡＣ（Advanced Audio Coding）に代表されるオーディオ符号化方式を用いてもよい。

次いで、モノラル信号生成部１０１の詳細について図２を用いて説明する。この図に示すように、モノラル信号生成部１０１は、チャネル間予測分析部２０１、中間予測パラメ
ータ生成部２０２およびモノラル信号算出部２０３を備える。

チャネル間予測分析部２０１は、第１ｃｈ音声信号および第２ｃｈ音声信号から両チャネル間の予測パラメータを分析により求める。この予測パラメータは、第１ｃｈ音声信号と第２ｃｈ音声信号との間の相関性を利用してチャネル信号間相互の予測を可能とするパラメータであり、両チャネル間の遅延差と振幅比を基本とするパラメータである。具体的には、第２ｃｈ音声信号s_ch2(n)から予測される第１ｃｈ音声信号sp_ch1(n) 、および、第１ｃｈ音声信号s_ch1(n) から予測される第２ｃｈ音声信号sp_ch2(n)を式（１）および（２）で表した際のチャネル間相互の遅延差D₁₂、D₂₁および振幅比（フレーム単位の平均振幅の比）g₁₂、g₂₁を予測パラメータとする。

ここで、sp_ch1(n)：第１ｃｈの予測信号、g₂₁：第２ｃｈ入力信号に対する第１ｃｈ入力信号の振幅比、s_ch2(n)：第２ｃｈの入力信号、D₂₁：第２ｃｈ入力信号に対する第１ｃｈ入力信号の遅延時間差、sp_ch2(n)：第２ｃｈの予測信号、g₁₂：第１ｃｈ入力信号に対する第２ｃｈ入力信号の振幅比、s_ch1(n)：第１ｃｈの入力信号、D₁₂：第１ｃｈ入力信号に対する第２ｃｈ入力信号の遅延時間差、NF：フレーム長である。

そして、チャネル間予測分析部２０１は、式（３）および（４）で表される歪み、すなわち、各チャネルの入力音声信号s_ch1(n)、s_ch2(n) (n=0〜NF-1)と式（１）および（２）に従って予測される各チャネルの予測信号sp_ch1(n)、sp_ch2(n)との歪みDist1、Dist2を最小とするような予測パラメータg₂₁、D₂₁、g₁₂、D₁₂を求めて、中間予測パラメータ生成部２０２へ出力する。

なお、チャネル間予測分析部２０１は、歪みDist1、Dist2を最小とするように予測パラメータを求める代わりに、チャネル信号間の相互相関を最大にするような遅延時間差や、フレーム単位のチャネル信号間の平均振幅比を求めて予測パラメータとしてもよい。

中間予測パラメータ生成部２０２は、最終的に生成されるモノラル信号を第１ｃｈ音声信号と第２ｃｈ音声信号の中間的な信号とするために、予測パラメータD₁₂、D₂₁、g₁₂、g₂₁の中間的なパラメータ（以下、中間予測パラメータという）D_1m、D_2m、g_1m、g_2mを式（５）〜（８）により求めて、モノラル信号算出部２０３へ出力する。

ここで、D_1m、g_1m：第１ｃｈを基準とする中間予測パラメータ（遅延時間差、振幅比）
、D_2m、g_2m：第２ｃｈを基準とする中間予測パラメータ（遅延時間差、振幅比）である。

なお、式（５）〜（８）の代わりに、第１ｃｈ音声信号に対する第２ｃｈ音声信号の遅延時間差D₁₂および振幅比g₁₂のみから、式（９）〜（１２）により中間予測パラメータを求めてもよい。また、逆に、第２ｃｈ音声信号に対する第１ｃｈ音声信号の遅延時間差D₂₁および振幅比g₂₁のみから同様にして中間予測パラメータを求めてもよい。

また、振幅比g_1m、g_2mは、式（７）、（８）、（１１）、（１２）により求める代わりに、固定値（例えば１.０）としてもよい。さらに、D_1m、D_2m、g_1m、g_2mを時間的に平均化した値を中間予測パラメータとしてもよい。

さらに、中間予測パラメータの算出方法は、第１ｃｈと第２ｃｈとの間の遅延時間差および振幅比の中間付近の値が算出される方法であれば、上記以外の方法を用いることもできる。

モノラル信号算出部２０３は、中間予測パラメータ生成部２０２で得られた中間予測パラメータを用いて、式（１３）によりモノラル信号s_mono(n)を算出する。

なお、上記のように双方のチャネルの入力音声信号を用いてモノラル信号を生成する代わりに、一方のチャネルの入力音声信号のみからモノラル信号を算出するようにしてもよい。

ここで、図３に、モノラル信号生成部１０１に入力される第１ｃｈ音声信号の波形３１および第２ｃｈ音声信号の波形３２の一例を示す。この場合、モノラル信号生成部１０１によって、これら第１ｃｈ音声信号および第２ｃｈ音声信号から生成されるモノラル信号を図示すると波形３３に示すようになる。なお、波形３４は、第１ｃｈ音声信号および第２ｃｈ音声信号を単に平均して生成したモノラル信号（従来）である。

第１ｃｈ音声信号（波形３１）と第２ｃｈ音声信号（波形３２）との間に図示するような遅延時間差、振幅比がある場合、モノラル信号生成部１０１で得られるモノラル信号の波形３３は、第１ｃｈ音声信号および第２ｃｈ音声信号の双方に類似し、かつ、中間的な遅延時間および振幅を有する波形となる。一方、従来方法により生成したモノラル信号（波形３４）は、波形３３に比べ、第１ｃｈ音声信号および第２ｃｈ音声信号とは波形の類似性が小さい。これは、両チャネル間の遅延時間差および振幅比が両チャネル間の中間的な値となるようにして生成されたモノラル信号（波形３３）は、両チャネルの音声信号が出力された空間的な２地点の中間地点で受信された信号に近似的に相当するため、空間的特性が考慮されずに生成されたモノラル信号（波形３４）に比べ、モノラル信号としてより適切な信号、すなわち、入力信号に類似した歪みの少ない信号となるからである。

また、両チャネルの信号を単に平均して生成したモノラル信号（波形３４）は、両チャ
ネルの信号間の遅延時間差や振幅比を考慮せずに単純な平均値算出により生成される信号のため、両チャネルの信号間の遅延時間差が大きい場合などには、両チャネルの音声信号が時間的にずれたまま重畳されてしまい、入力音声信号に対して歪みが生じたり波形が大きく異なった信号となる。その結果、モノラル信号をＣＥＬＰ符号化などの音声信号の特性に合わせた符号化モデルで符号化する際に、符号化効率の低下を招く。

これに対し、モノラル信号生成部１０１で得られるモノラル信号（波形３３）は、両チャネルの音声信号間の遅延時間差を小さくするように調整された信号であるため、入力音声信号に類似した歪みの小さい信号となる。よって、モノラル信号符号化時の符号化効率の低下を抑えることができる。

なお、モノラル信号生成部１０１を以下のようにしてもよい。

すなわち、予測パラメータとして、遅延時間差および振幅比に加えてさらに別のパラメータを用いてもよい。例えば、チャネル間相互の予測が式（１４）および（１５）により表される場合、両チャネル信号間の遅延時間差、振幅比および予測係数列｛a_kl(0),a_kl(1),a_kl(2),…,a_kl(P)｝（P：予測次数、a_kl(0)=1.0、(k,l)=(1,2)or(2,1)）を予測パラメータとする。

また、第１ｃｈ音声信号および第２ｃｈ音声信号を２つ以上の周波数帯域に帯域分割して帯域別の入力信号を生成し、その全ての帯域または一部の帯域の信号に対して、帯域毎に上記同様にしてモノラル信号を生成してもよい。

また、中間予測パラメータ生成部２０２で得られる中間予測パラメータを符号化データと共に伝送したり、中間予測パラメータを後段の符号化で用いて符号化の際に必要な演算量を削減するために、図４に示すように、モノラル信号生成部１０１に、中間予測パラメータを量子化して量子化中間予測パラメータおよび中間予測パラメータ量子化符号を出力する中間予測パラメータ量子化部２０４を備えてもよい。

（実施の形態２）
本実施の形態では、モノラル−ステレオ・スケーラブル構成を有する音声符号化について説明する。本実施の形態に係る音声符号化装置の構成を図５に示す。図５に示す音声符号化装置５００は、モノラル信号のためのコアレイヤ符号化部５１０とステレオ信号のための拡張レイヤ符号化部５２０とを備える。また、コアレイヤ符号化部５１０は、実施の形態１に係る音声符号化装置１０（図１：モノラル信号生成部１０１およびモノラル信号符号化部１０２）を備える。

コアレイヤ符号化部５１０において、モノラル信号生成部１０１は、実施の形態１において説明したようにしてモノラル信号s_mono(n)を生成し、モノラル信号符号化部１０２に出力する。

モノラル信号符号化部１０２は、モノラル信号に対する符号化を行い、このモノラル信号の符号化データをモノラル信号復号部５１１に出力する。また、このモノラル信号の符
号化データは、拡張レイヤ符号化部５２０から出力される量子化符号や符号化データと多重されて符号化データとして音声復号装置へ伝送される。

モノラル信号復号部５１１は、モノラル信号の符号化データからモノラルの復号信号を生成して拡張レイヤ符号化部５２０に出力する。

拡張レイヤ符号化部５２０において、第１ｃｈ予測パラメータ分析部５２１は、第１ｃｈ音声信号s_ch1(n)とモノラル復号信号とから第１ｃｈ予測パラメータを求めて量子化し、第１ｃｈ予測量子化パラメータを第１ｃｈ予測信号合成部５２２に出力する。また、第１ｃｈ予測パラメータ分析部５２１は、第１ｃｈ予測量子化パラメータを符号化した第１ｃｈ予測パラメータ量子化符号を出力する。この第１ｃｈ予測パラメータ量子化符号は他の符号化データや量子化符号と多重されて符号化データとして音声復号装置へ伝送される。

第１ｃｈ予測信号合成部５２２は、モノラル復号信号と第１ｃｈ予測量子化パラメータとから第１ｃｈ予測信号を合成し、その第１ｃｈ予測信号を減算器５２３に出力する。第１ｃｈ予測信号合成部５２２の詳細については後述する。

減算器５２３は、入力信号である第１ｃｈ音声信号と第１ｃｈ予測信号との差、すなわち、第１ｃｈ入力音声信号に対する第１ｃｈ予測信号の残差成分の信号（第１ｃｈ予測残差信号）を求め、第１ｃｈ予測残差信号符号化部５２４に出力する。

第１ｃｈ予測残差信号符号化部５２４は、第１ｃｈ予測残差信号を符号化して第１ｃｈ予測残差符号化データを出力する。この第１ｃｈ予測残差符号化データは他の符号化データや量子化符号と多重されて符号化データとして音声復号装置へ伝送される。

一方、第２ｃｈ予測パラメータ分析部５２５は、第２ｃｈ音声信号s_ch2(n)とモノラル復号信号とから第２ｃｈ予測パラメータを求めて量子化し、第２ｃｈ予測量子化パラメータを第２ｃｈ予測信号合成部５２６に出力する。また、第２ｃｈ予測パラメータ分析部５２５は、第２ｃｈ予測量子化パラメータを符号化した第２ｃｈ予測パラメータ量子化符号を出力する。この第２ｃｈ予測パラメータ量子化符号は他の符号化データや量子化符号と多重されて符号化データとして音声復号装置へ伝送される。

第２ｃｈ予測信号合成部５２６は、モノラル復号信号と第２ｃｈ予測量子化パラメータとから第２ｃｈ予測信号を合成し、その第２ｃｈ予測信号を減算器５２７に出力する。第２ｃｈ予測信号合成部５２６の詳細については後述する。

減算器５２７は、入力信号である第２ｃｈ音声信号と第２ｃｈ予測信号との差、すなわち、第２ｃｈ入力音声信号に対する第２ｃｈ予測信号の残差成分の信号（第２ｃｈ予測残差信号）を求め、第２ｃｈ予測残差信号符号化部５２８に出力する。

第２ｃｈ予測残差信号符号化部５２８は、第２ｃｈ予測残差信号を符号化して第２ｃｈ予測残差符号化データを出力する。この第２ｃｈ予測残差符号化データは他の符号化データや量子化符号と多重されて符号化データとして音声復号装置へ伝送される。

次いで、第１ｃｈ予測信号合成部５２２および第２ｃｈ予測信号合成部５２６の詳細について説明する。第１ｃｈ予測信号合成部５２２および第２ｃｈ予測信号合成部５２６の構成は図６＜構成例１＞または図７＜構成例２＞に示すようになる。構成例１および２のいずれも、モノラル信号と各チャネル信号との間の相関性に基づき、モノラル信号に対する各チャネル信号の遅延差（Ｄサンプル）および振幅比（ｇ）を予測量子化パラメータと
して用いて、モノラル信号から各チャネルの予測信号を合成する。

＜構成例１＞
構成例１では、図６に示すように、第１ｃｈ予測信号合成部５２２および第２ｃｈ予測信号合成部５２６は、遅延器５３１および乗算器５３２を備え、式（１６）で表される予測により、モノラル復号信号sd_mono(n)から、各チャネルの予測信号sp_ch(n)を合成する。

＜構成例２＞
構成例２では、図７に示すように、図６に示す構成にさらに、遅延器５３３−１〜Ｐ、乗算器５３４−１〜Ｐおよび加算器５３５を備える。そして、予測量子化パラメータとして、モノラル信号に対する各チャネル信号の遅延差（Ｄサンプル）および振幅比（ｇ）の他に、予測係数列｛a(0),a(1), a(2), …, a(P)｝（Pは予測次数、a(0)=1.0）を用い、式（１７）で表される予測により、モノラル復号信号sd_mono(n)から、各チャネルの予測信号sp_ch(n)を合成する。

これに対し、第１ｃｈ予測パラメータ分析部５２１および第２ｃｈ予測パラメータ分析部５２５は、式（３）および（４）で表される歪みDist1、Dist2を最小とするような予測パラメータを求め、その予測パラメータを量子化した予測量子化パラメータを、上記構成を採る第１ｃｈ予測信号合成部５２２および第２ｃｈ予測信号合成部５２６に出力する。また、第１ｃｈ予測パラメータ分析部５２１および第２ｃｈ予測パラメータ分析部５２５は、予測量子化パラメータを符号化した予測パラメータ量子化符号を出力する。

なお、構成例１に対しては、第１ｃｈ予測パラメータ分析部５２１および第２ｃｈ予測パラメータ分析部５２５は、モノラル復号信号と各チャネルの入力音声信号との間の相互相関を最大にするような遅延差Ｄおよびフレーム単位の平均振幅の比ｇを予測パラメータとして求めてもよい。

次いで、本実施の形態に係る音声復号装置について説明する。本実施の形態に係る音声復号装置の構成を図８に示す。図８に示す音声復号装置６００は、モノラル信号のためのコアレイヤ復号部６１０と、ステレオ信号のための拡張レイヤ復号部６２０とを備える。

モノラル信号復号部６１１は、入力されるモノラル信号の符号化データを復号し、モノラル復号信号を拡張レイヤ復号部６２０に出力するとともに、最終出力として出力する。

第１ｃｈ予測パラメータ復号部６２１は、入力される第１ｃｈ予測パラメータ量子化符号を復号して、第１ｃｈ予測量子化パラメータを第１ｃｈ予測信号合成部６２２に出力する。

第１ｃｈ予測信号合成部６２２は、音声符号化装置５００の第１ｃｈ予測信号合成部５２２と同じ構成を採り、モノラル復号信号と第１ｃｈ予測量子化パラメータとから第１ｃｈ音声信号を予測し、その第１ｃｈ予測音声信号を加算器６２４に出力する。

第１ｃｈ予測残差信号復号部６２３は、入力される第１ｃｈ予測残差符号化データを復号し、第１ｃｈ予測残差信号を加算器６２４に出力する。

加算器６２４は、第１ｃｈ予測音声信号と第１ｃｈ予測残差信号とを加算して第１ｃｈの復号信号を求め、最終出力として出力する。

一方、第２ｃｈ予測パラメータ復号部６２５は、入力される第２ｃｈ予測パラメータ量子化符号を復号して、第２ｃｈ予測量子化パラメータを第２ｃｈ予測信号合成部６２６に出力する。

第２ｃｈ予測信号合成部６２６は、音声符号化装置５００の第２ｃｈ予測信号合成部５２６と同じ構成を採り、モノラル復号信号と第２ｃｈ予測量子化パラメータとから第２ｃｈ音声信号を予測し、その第２ｃｈ予測音声信号を加算器６２８に出力する。

第２ｃｈ予測残差信号復号部６２７は、入力される第２ｃｈ予測残差符号化データを復号し、第２ｃｈ予測残差信号を加算器６２８に出力する。

加算器６２８は、第２ｃｈ予測音声信号と第２ｃｈ予測残差信号とを加算して第２ｃｈの復号信号を求め、最終出力として出力する。

このような構成を採る音声復号装置６００では、モノラル−ステレオ・スケーラブル構成において、出力音声をモノラルとする場合は、モノラル信号の符号化データのみから得られる復号信号をモノラル復号信号として出力し、出力音声をステレオとする場合は、受信される符号化データおよび量子化符号のすべてを用いて第１ｃｈ復号信号および第２ｃｈ復号信号を復号して出力する。

このように、本実施の形態によれば、第１ｃｈ音声信号および第２ｃｈ音声信号の双方に類似し、かつ、中間的な遅延時間および振幅を有するモノラル信号を復号して得られるモノラル復号信号を用いて第１ｃｈ予測信号および第２ｃｈ予測信号を合成するため、こられの予測信号の予測性能を向上させることができる。

なお、コアレイヤの符号化および拡張レイヤの符号化にＣＥＬＰ符号化を用いてもよい。この場合、拡張レイヤでは、ＣＥＬＰ符号化により得られるモノラル符号化駆動音源信号を用いて、各チャネルの信号のＬＰＣ予測残差信号の予測を行う。

また、コアレイヤの符号化および拡張レイヤの符号化としてＣＥＬＰ符号化を用いる場合に、時間領域での駆動音源探索を行う代わりに、周波数領域での音源信号の符号化を行うようにしてもよい。

また、モノラル信号生成部１０１で得られた中間予測パラメータと、モノラル復号信号またはモノラル信号のＣＥＬＰ符号化により得られるモノラル駆動音源信号とを用いて、各チャネル信号の予測または各チャネル信号のＬＰＣ予測残差信号の予測を行うようにしてもよい。

さらに、ステレオ入力信号のうち一方のチャネル信号のみを対象にして、上記で説明したようなモノラル信号からの予測を用いた符号化を行うようにしてもよい。この場合、音声復号装置では、ステレオ入力信号とモノラル信号との関係（式（１２）等）に基づいて、復号モノラル信号と一方のチャネル信号とから他方のチャネルの復号信号を生成することができる。

（実施の形態３）
本実施の形態に係る音声符号化装置は、モノラル信号と各チャネルの信号との間の遅延時間差および振幅比を予測パラメータとして用い、かつ、第２ｃｈ予測パラメータの量子化を第１ｃｈ予測パラメータを用いて行う。本実施の形態に係る音声符号化装置７００の構成を図９に示す。なお、図９において実施の形態２（図５）と同一の構成には同一符号を付し、説明を省略する。

第２ｃｈ予測パラメータ分析部７０１は、第２ｃｈ予測パラメータの量子化において、第１ｃｈ予測パラメータと第２ｃｈ予測パラメータとの間の関連性（依存関係）に基づき、第１ｃｈ予測パラメータ分析部５２１で得られた第１ｃｈ予測量子化パラメータから第２ｃｈ予測パラメータを推定し、その第２ｃｈ予測パラメータを利用して効率的な量子化を行う。より具体的には、以下のようにする。

第１ｃｈ予測パラメータ分析部５２１で得られた第１ｃｈ予測量子化パラメータ（遅延時間差、振幅比）をDq1、gq1とし、分析により求められた第２ｃｈ予測パラメータ（量子化前）をD2、g2とする。モノラル信号は、上記のように第１ｃｈ音声信号と第２ｃｈ音声信号の中間の信号として生成された信号のため、第１ｃｈ予測パラメータと第２ｃｈ予測パラメータとの間の関連性は大きい。そこで、第１ｃｈ予測量子化パラメータを用いて第２ｃｈ予測パラメータDp2、gp2を式（１８）および（１９）により推定する。

そして、第２ｃｈ予測パラメータの量子化は、式（２０）および（２１）で表される推定残差（推定値との差分値）δD2、δg2に対して行う。これらの推定残差は第２ｃｈ予測パラメータそのものに比べて分散が小さいため、より効率的な量子化を行うことができる。

なお、式（１８）および（１９）は一例であり、第１ｃｈ予測パラメータと第２ｃｈ予測パラメータとの関連性（依存関係）を利用した別の方法を用いて、第２ｃｈ予測パラメータの推定および量子化を行ってもよい。また、第１ｃｈ予測パラメータと第２ｃｈ予測パラメータとを一組として符号帳を用意して、ベクトル量子化により量子化してもよい。さらに、図２または図４の構成により得られる中間予測パラメータを用いて、第１ｃｈ予測パラメータ、第２ｃｈ予測パラメータの分析、量子化を行うようにしてもよい。この場合、予め第１ｃｈ予測パラメータ、第２ｃｈ予測パラメータを推定することが可能なため、分析に必要な演算量を削減することができる。

本実施の形態に係る音声復号装置の構成は、実施の形態２（図８）とほぼ同一である。但し、第２ｃｈ予測パラメータ復号部６２５が、第２ｃｈ予測パラメータ量子化符号の復号の際に、第１ｃｈ予測量子化パラメータを用いて復号するなど、音声符号化装置７００の構成に対応した復号処理を行う点で相違する。

（実施の形態４）
第１ｃｈ音声信号と第２ｃｈ音声信号との間の相関が小さい場合は、実施の形態１において説明したモノラル信号生成を行っても、空間特性上の中間的信号の生成が不十分な場
合がある。そこで、本実施の形態に係る音声符号化装置は、第１ｃｈと第２ｃｈとの間の相関性に基づき、モノラル信号の生成方法を切り替える。本実施の形態に係るモノラル信号生成部１０１の構成を図１０に示す。なお、図１０において実施の形態１（図２）と同一の構成には同一符号を付し、説明を省略する。

相関判定部８０１は、第１ｃｈ音声信号と第２ｃｈ音声信号との間の相関度を算出し、その相関度が閾値より大きいか否か判定する。そして、相関判定部８０１は、判定結果に基づいて切替部８０２および８０４を制御する。相関度の算出および閾値判定は、例えば、各チャネルの信号間の相互相関関数の最大値（正規化値）を求め、予め定めた閾値と比較することにより行う。

相関判定部８０１は、相関度が閾値より大きい場合は、第１ｃｈ音声信号および第２ｃｈ音声信号がチャネル間予測分析部２０１およびモノラル信号算出部２０３に入力されるように切替部８０２を切り替えるとともに、切替部８０４をモノラル信号算出部２０３側に切り替える。これにより、第１ｃｈと第２ｃｈの相関度が閾値より大きい場合は、実施の形態１において説明したようにしてモノラル信号が生成される。

一方、相関判定部８０１は、相関度が閾値以下の場合は、第１ｃｈ音声信号および第２ｃｈ音声信号が平均値信号算出部８０３に入力されるように切替部８０２を切り替えるとともに、切替部８０４を平均値信号算出部８０３側に切り替える。よって、この場合には、平均値信号算出部８０３が、式（２２）により、第１ｃｈ音声信号と第２ｃｈ音声信号の平均値の信号s_av(n)を算出して、モノラル信号として出力する。

このように、本実施の形態によれば、第１ｃｈ音声信号と第２ｃｈ音声信号との間の相関が小さい場合は、第１ｃｈ音声信号と第２ｃｈ音声信号の平均値の信号をモノラル信号とするため、第１ｃｈ音声信号と第２ｃｈ音声信号との間の相関が小さい場合の音質劣化を防ぐことができる。また、２チャネル間の相関性に基づく適切な符号化モードで符号化するため、符号化効率の向上を図ることができる。

なお、上記のように第１ｃｈと第２ｃｈとの間の相関性に基づき生成方法を切り替えて生成されたモノラル信号に対して、第１ｃｈと第２ｃｈとの間の相関性に応じたスケーラブルな符号化を行ってもよい。第１ｃｈと第２ｃｈとの間の相関度が閾値より大きい場合は、実施の形態２または３に示した構成により、コアレイヤにてモノラル信号に対する符号化を行い、拡張レイヤにてモノラル復号信号を用いた各チャネルの信号予測を利用した符号化を行う。一方、第１ｃｈと第２ｃｈとの間の相関度が閾値以下の場合は、コアレイヤにてモノラル信号に対する符号化を行った後、拡張レイヤでは、２チャネル間の相関性が低い場合に適した別のスケーラブル構成で符号化を行う。相関性が低い場合に適した別のスケーラブル構成での符号化とは、例えば、チャネル間予測を用いず、各チャネルの信号とモノラル復号信号との差分信号を直接符号化する方法がある。また、コアレイヤの符号化およびス拡張レイヤの符号化にＣＥＬＰ符号化を適用する場合には、拡張レイヤの符号化において、チャネル間予測を用いず、モノラル駆動音源信号を直接用いて符号化する等の方法がある。

（実施の形態５）
本実施の形態に係る音声符号化装置は、拡張レイヤ符号化部において第１ｃｈに対してのみ符号化を行い、かつ、その符号化において、量子化中間予測パラメータを用いて第１ｃｈ予測信号の合成を行う。本実施の形態に係る音声符号化装置９００の構成を図１１に
示す。なお、図１１において実施の形態２（図５）と同一の構成には同一符号を付し、説明を省略する。

本実施の形態では、モノラル信号生成部１０１は、上記図４に示す構成を採る。すなわち、モノラル信号生成部１０１は中間予測パラメータ量子化部２０４を備え、この中間予測パラメータ量子化部２０４が、中間予測パラメータを量子化して量子化中間予測パラメータおよび中間予測パラメータ量子化符号を出力する。なお、量子化中間予測パラメータは、上記D_1m、D_2m、g_1m、g_2mを量子化したものである。量子化中間予測パラメータは、拡張レイヤ符号化部５２０の第１ｃｈ予測信号合成部９０１に入力される。また、中間予測パラメータ量子化符号は、モノラル信号符号化データおよび第１ｃｈ予測残差符号化データと多重されて符号化データとして音声復号装置へ伝送される。

拡張レイヤ符号化部５２０において、第１ｃｈ予測信号合成部９０１は、モノラル復号信号と量子化中間予測パラメータとから第１ｃｈ予測信号を合成し、その第１ｃｈ予測信号を減算器５２３に出力する。具体的には、第１ｃｈ予測信号合成部９０１は、式（２３）で表される予測により、モノラル復号信号sd_mono(n)から、第１ｃｈの予測信号sp_ch1(n)を合成する。

次いで、本実施の形態に係る音声復号装置について説明する。本実施の形態に係る音声復号装置１０００の構成を図１２に示す。なお、図１２において実施の形態２（図８）と同一の構成には同一符号を付し、説明を省略する。

拡張レイヤ復号部６２０において、中間予測パラメータ復号部１００１は、入力される中間予測パラメータ量子化符号を復号して、量子化中間予測パラメータを第１ｃｈ予測信号合成部１００２および第２ｃｈ復号信号生成部１００３に出力する。

第１ｃｈ予測信号合成部１００２は、モノラル復号信号と量子化中間予測パラメータとから第１ｃｈ音声信号を予測し、その第１ｃｈ予測音声信号を加算器６２４に出力する。具体的には、第１ｃｈ予測信号合成部１００２は、音声符号化装置９００の第１ｃｈ予測信号合成部９０１と同様に、上式（２３）で表される予測により、モノラル復号信号sd_mono(n)から、第１ｃｈの予測信号sp_ch1(n)を合成する。

一方、第２ｃｈ復号信号生成部１００３には、モノラル復号信号および第１ｃｈ復号信号も入力される。そして、第２ｃｈ復号信号生成部１００３は、量子化中間予測パラメータ、モノラル復号信号および第１ｃｈ復号信号から第２ｃｈ復号信号を生成する。具体的には、第２ｃｈ復号信号生成部１００３は、上式（１３）の関係から得られる式（２４）に従って、第２ｃｈ復号信号を生成する。なお、式（２４）において、sd_ch1：第１ｃｈ復号信号である。

なお、上記説明では、拡張レイヤ符号化部５２０において、第１ｃｈのみの予測信号を合成する構成について説明したが、第１ｃｈに代えて第２ｃｈのみの予測信号を合成する構成としてもよい。つまり、本実施の形態では、拡張レイヤ符号化部５２０において、ステレオ信号の一方のチャネルのみを符号化する構成を採る。

このように、本実施の形態によれば、拡張レイヤ符号化部５２０において、ステレオ信号の一方のチャネルのみを符号化する構成とし、かつ、その一方のチャネルの予測信号の合成に用いる予測パラメータをモノラル信号生成用の中間予測パラメータと共用するため、符号化効率を向上させることができる。また、拡張レイヤ符号化部５２０において、ステレオ信号の一方のチャネルのみを符号化する構成とするため、双方のチャネルを符号化する構成に比べて拡張レイヤ符号化部の符号化効率を向上させて低ビットレート化を図ることができる。

なお、本実施の形態においては、モノラル信号生成部１０１で得られる中間予測パラメータとして、上記のように第１ｃｈおよび第２ｃｈのそれぞれを基準とする異なるパラメータを算出するのではなく、双方のチャネルに共通するパラメータを算出するようにしてもよい。例えば、式（２５）、（２６）により算出したパラメータD_m、g_mの量子化符号を符号化データとして音声復号装置１０００へ伝送し、パラメータD_m、g_mから式（２７）〜（３０）に従って算出されるD_1m、g_1m、D_2m、g_2mを、第１ｃｈおよび第２ｃｈを基準とする中間予測パラメータとして使用する。このようにすることで、音声復号装置１０００に対して伝送する中間予測パラメータの符号化効率をより向上させることができる。

また、中間予測パラメータを複数候補用意して、その複数候補のうち、拡張レイヤ符号化部５２０での符号化後の符号化歪み（拡張レイヤ符号化部５２０のみの歪み、または、コアレイヤ符号化部５１０の歪みと拡張レイヤ符号化部５２０の歪みの総和）を最も小さくする中間予測パラメータを拡張レイヤ符号化部５２０での符号化に用いてもよい。これにより、拡張レイヤでの予測信号合成時の予測性能を高めることができる最適なパラメータを選択することができ、より音質の向上を図ることができる。具体的手順は以下のようになる。

＜ステップ１：モノラル信号生成＞
モノラル信号生成部１０１において、複数候補の中間予測パラメータを出力するとともに、各候補に対応して生成されるモノラル信号を出力する。例えば、予測歪みが小さい、または、各チャネルの信号間の相互相関が大きいものから順に所定数の中間予測パラメータを複数候補として出力する等する。

＜ステップ２：モノラル信号符号化＞
モノラル信号符号化部１０２において、中間予測パラメータの複数候補に対応して生成されたモノラル信号を用いてモノラル信号の符号化を行い、複数候補毎に、モノラル信号符号化データおよび符号化歪み（モノラル信号符号化歪み）を出力する。

＜ステップ３：第１ｃｈ符号化＞
拡張レイヤ符号化部５２０において、複数候補の中間予測パラメータを用いて複数の第１ｃｈ予測信号を合成して第１ｃｈの符号化を行い、複数候補毎に、符号化データ（第１ｃｈ予測残差符号化データ）および符号化歪み（ステレオ符号化歪み）を出力する。

＜ステップ４：最小符号化歪み選択＞
拡張レイヤ符号化部５２０において、複数候補の中間予測パラメータのうち、ステップ２およびステップ３で得られた符号化歪みの総和（または、ステップ２で得られた符号化歪みの総和またはステップ３で得られた符号化歪みの総和のいずれか）が最も小さくなる中間予測パラメータを符号化に用いるパラメータと決定し、その中間予測パラメータに対応するモノラル信号符号化データ、中間予測パラメータ量子化符号および第１ｃｈ予測残差符号化データを音声復号装置１０００へ伝送する。

なお、中間予測パラメータの複数候補の一つとして、D_1m = D_2m= 0、g_1m = g_2m = 1.0（通常のモノラル信号生成に相当）を含ませるようにし、その候補を符号化に用いるときは、中間予測パラメータを伝送しない前提（通常モノラル化モードの選択フラグとして選択情報（１ビット）のみを伝送）でのビット配分にてコアレイヤ符号化部５１０および拡張レイヤ符号化部５２０での符号化を行うようにしてもよい。このようにすると、通常モノラル化モードを候補として含めた、符号化歪み最小化基準による最適な符号化を実現できるとともに、通常モノラル化モード選択時には中間予測パラメータを伝送しなくて済むため、別の符号化データにビットを割り当てることで音質の向上を図ることができる。

また、本実施の形態では、コアレイヤの符号化および拡張レイヤの符号化にＣＥＬＰ符号化を用いてもよい。この場合、拡張レイヤでは、ＣＥＬＰ符号化により得られるモノラル符号化駆動音源信号を用いて、各チャネルの信号のＬＰＣ予測残差信号の予測を行う。

また、コアレイヤの符号化および拡張レイヤの符号化としてＣＥＬＰ符号化を用いる場合に、時間領域での駆動音源探索を行う代わりに、周波数領域での音源信号の符号化を行うようにしてもよい。

なお、上記各実施の形態に係る音声符号化装置、音声復号装置を、移動体通信システムにおいて使用される無線通信移動局装置や無線通信基地局装置等の無線通信装置に搭載することも可能である。

また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本明細書は、２００４年１２月２８日出願の特願２００４−３８０９８０および２００５年５月３０日出願の特願２００５−１５７８０８に基づくものである。これらの内容はすべてここに含めておく。

本発明は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等における通信装置の用途に適用できる。

本発明の実施の形態１に係る音声符号化装置の構成を示すブロック図 本発明の実施の形態１に係るモノラル信号生成部の構成を示すブロック図 本発明の実施の形態１に係る信号波形図 本発明の実施の形態１に係るモノラル信号生成部の構成を示すブロック図 本発明の実施の形態２に係る音声符号化装置の構成を示すブロック図 本発明の実施の形態２に係る第１ｃｈ、第２ｃｈ予測信号合成部の構成を示すブロック図 本発明の実施の形態２に係る第１ｃｈ、第２ｃｈ予測信号合成部の構成を示すブロック図 本発明の実施の形態２に係る音声復号装置の構成を示すブロック図 本発明の実施の形態３に係る音声符号化装置の構成を示すブロック図 本発明の実施の形態４に係るモノラル信号生成部の構成を示すブロック図 本発明の実施の形態５に係る音声符号化装置の構成を示すブロック図 本発明の実施の形態５に係る音声復号装置の構成を示すブロック図

Claims (8)

1. 第１チャネル信号および第２チャネル信号を含むステレオ信号を入力信号として、前記第１チャネル信号と前記第２チャネル信号との時間差、および、前記第１チャネル信号と前記第２チャネル信号との振幅比に基づいて両チャネル間の予測パラメータを求め、前記予測パラメータから中間予測パラメータを算出し、前記中間予測パラメータを用いて前記第１チャネル信号および前記第２チャネル信号からモノラル信号を生成する第１生成手段と、
   前記モノラル信号を符号化する符号化手段と、
   を具備する音声符号化装置。
2. 前記ステレオ信号を入力信号として、前記第１チャネル信号および前記第２チャネル信号を平均してモノラル信号を生成する第２生成手段と、
   前記第１チャネル信号と前記第２チャネル信号との相関度に応じて、前記ステレオ信号の入力先を前記第１生成手段と前記第２生成手段との間で切り替える切替手段と、
   をさらに具備する請求項１記載の音声符号化装置。
3. 前記モノラル信号から得られる信号に基づいて、前記第１チャネル信号および前記第２チャネル信号の予測信号を合成する合成手段、
   をさらに具備する請求項１記載の音声符号化装置。
4. 前記合成手段は、前記モノラル信号に対する前記第１チャネル信号または前記第２チャネル信号の遅延差および振幅比を用いて、前記予測信号を合成する、
   請求項３記載の音声符号化装置。
5. モノラル信号生成用のパラメータを用いて、前記第１チャネル信号または前記第２チャネル信号のいずれか一方の予測信号を合成する合成手段、
   をさらに具備する請求項１記載の音声符号化装置。
6. 請求項１記載の音声符号化装置を具備する無線通信移動局装置。
7. 請求項１記載の音声符号化装置を具備する無線通信基地局装置。
8. 第１チャネル信号および第２チャネル信号を含むステレオ信号を入力信号として、前記第１チャネル信号と前記第２チャネル信号との時間差、および、前記第１チャネル信号と前記第２チャネル信号との振幅比に基づいて両チャネル間の予測パラメータを求め、前記予測パラメータから中間予測パラメータを算出し、前記中間予測パラメータを用いて、前記第１チャネル信号および前記第２チャネル信号からモノラル信号を生成する生成工程と、
   前記モノラル信号を符号化する符号化工程と、
   を具備する音声符号化方法。

Images