JP5153791B2 - ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法 - Google Patents

Description

本発明は、モノラル−ステレオスケーラブル構成を有するステレオ音声符号化において、符号化データの伝送中にパケット損失（フレーム消失）が生じた際に高品質な消失フレーム補償を行うステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法に関する。

移動体通信やＩＰ（Internet Protocol）通信での伝送帯域の広帯域化、サービスの多様化に伴い、音声通信において高音質化、高臨場感化のニーズが高まっている。例えば、今後、テレビ電話サービスにおけるハンズフリー形態での通話、テレビ会議における音声通信、多地点で複数話者が同時に会話を行うような多地点音声通信、臨場感を保持したまま周囲の環境音を忠実に伝送できるような音声通信などの需要が増加すると見込まれる。その場合、モノラル信号より臨場感があり、また複数話者の発話位置が識別できるような、ステレオ音声による音声通信を実現することが望まれる。このようなステレオ音声による音声通信を実現するためには、ステレオ音声の符号化が必須となる。

また、ＩＰネットワーク上での音声データ通信において、ネットワーク上のトラフィック制御やマルチキャスト通信実現のために、スケーラブルな構成を有する音声符号化が望まれている。スケーラブルな構成とは、受信側で部分的な符号化データからでも音声データを復号することが可能な構成をいう。

よって、ステレオ音声を符号化し伝送する場合にも、ステレオ信号の復号と、符号化データの一部を用いたモノラル信号の復号とを受信側において選択可能な、モノラル−ステレオ間でのスケーラブル構成（モノラル−ステレオスケーラブル構成）を有する符号化が望まれる。

このようなスケーラブル符号化においては、ステレオ信号を和信号（モノラル信号）と差信号（サイド信号）にして符号化する場合が多く、非特許文献１には、サイド信号のフレームが消失した場合の消失フレーム補償の技術が開示されている。非特許文献１開示の技術においては、サイド信号を低域部、中域部および高域部に分けて符号化を行い、低域部に対しては、過去の復号サイド信号を用いたスペクトルの外挿を行うことによりサイド信号の消失フレームを補償する。また、中域部に対しては、過去のサイド信号の符号化パラメータ（フィルタパラメータやチャネルゲイン）の値を減衰させたものを用いて復号を行うことにより消失フレームを補償する。なお、低域部に対しては、フレーム消失率が高いほど、補償されるフレームのサイド信号をより強く減衰させている。
3GPP TS26.290 V7.0.0, 2007, Chapter6.5.2

しかしながら、上記の非特許文献１記載の技術によれば、ステレオ信号のチャネル間の相関が高い場合には補償性能が十分なものの、ステレオ信号のチャネル間相関が低い場合には、補償性能が低下してしまう。例えば、２つのマイクそれぞれを用いた２つの話者の音声からなるステレオ音声をスケーラブル符号化する場合、チャネル間の相関は低くなり、ステレオ拡張部の符号化情報量が多くなる。このため、復号側において復号された過去のサイド信号、またはサイド信号の符号化パラメータからの外挿のみによって消失フレームを補償すれば、補償されたフレームにおいて得られるサイド信号の品質は劣化してしま
う。

本発明の目的は、ステレオ信号のチャネル間相関が低い場合でも、消失フレームの補償性能を改善して復号音声の品質を向上させることができるステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法を提供することである。

本発明のステレオ音声復号装置は、音声符号化装置において第１チャネル信号と第２チャネル信号との加算を用いて得られるモノラル信号が符号化されたモノラル符号化データを復号してモノラル復号信号を生成するモノラル復号手段と、前記音声符号化装置において前記第１チャネル信号と前記第２チャネル信号との差分を用いて得られるサイド信号が符号化されたサイド信号符号化データを復号してサイド復号信号を生成し、前記モノラル復号信号と前記サイド復号信号とを用いて第１チャネル復号信号と第２チャネル復号信号とからなるステレオ復号信号を生成するステレオ復号手段と、過去フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いて算出されたチャネル間相関とチャネル内相関とをそれぞれ比較用閾値と比較する比較手段と、現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いてチャネル間補償を行い、チャネル間補償信号を生成するチャネル間補償手段と、現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号を用いてチャネル内補償を行い、チャネル内補償信号を生成するチャネル内補償手段と、前記比較手段における比較結果に基づいて前記チャネル間補償信号または前記チャネル内補償信号の何れかを補償信号として選択する補償信号選択手段と、現フレームの前記サイド信号符号化データが消失しなかった場合には前記ステレオ復号信号を出力し、現フレームの前記サイド信号符号化データが消失した場合には前記補償信号を出力する出力信号切替手段を、を具備する構成を採る。

本発明のステレオ音声符号化装置は、第１チャネル信号と第２チャネル信号との加算を用いて得られるモノラル信号を符号化するモノラル信号符号化手段と、第１チャネル信号と第２チャネル信号との差分を用いて得られるサイド信号を符号化するサイド信号符号化手段と、過去フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いて算出されたチャネル間相関とチャネル内相関とをそれぞれ閾値と比較し、比較結果に基づき音声復号装置においてチャネル間補償またはチャネル内補償の何れを用いて消失フレーム補償を行うかを判定する判定手段と、を具備する構成を採る。

本発明の消失フレーム補償方法は、音声符号化装置において第１チャネル信号と第２チャネル信号との加算を用いて得られるモノラル信号が符号化されたモノラル符号化データを復号してモノラル復号信号を生成するステップと、前記音声符号化装置において前記第１チャネル信号と前記第２チャネル信号との差分を用いて得られるサイド信号が符号化されたサイド信号符号化データを復号してサイド復号信号を生成し、前記モノラル復号信号と前記サイド復号信号とを用いて第１チャネル復号信号と第２チャネル復号信号とからなるステレオ復号信号を生成するステップと、過去フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いて算出されたチャネル間相関とチャネル内相関とをそれぞれ比較用閾値と比較する比較ステップと、現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いてチャネル間補償を行い、チャネル間補償信号を生成するステップと、現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号を用いてチャネル内補償を行い、チャネル内補償信号を生成するステップと、前記比較ステップにおける比較結果に基づいて前記チャネル間補償信号または前記チャネル内補償信号の何れかを補償信号として選択するステップと、現フレームの前記サイド信号符号化データが消失しなかった場合には前記ステレオ復号信号を出力し、現フレームの前記サイド信号符号化データが消失した場合には前記補償信号を出力するステップと、を有するようにした。

本発明によれば、ステレオ信号のチャネル間相関が低い場合でも、消失フレームの補償性能を改善して復号音声の品質を向上させることができる。

以下、モノラル−ステレオの２階層のスケーラブル構成を有する音声符号化を例にとり、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
以下の説明では、ステレオ音声信号が第１チャネルと第２チャネルとの２つのチャネルからなる場合を例にとり、フレーム単位での動作を前提にして説明する。ここで、第１チャネルと第２チャネルとは、例えば左（Ｌ）チャネルと右（Ｒ）チャネルとをそれぞれ指す。

本発明の実施の形態１に係る音声符号化装置（図示せず）は、ステレオ音声信号の第１チャネル信号と第２チャネル信号とを用い、下記の式（１）および式（２）に従ってモノラル信号Ｍ（ｎ）およびサイド信号Ｓ（ｎ）それぞれを生成する。そして、本実施の形態に係る音声符号化装置は、モノラル信号Ｍ（ｎ）およびサイド信号Ｓ（ｎ）それぞれを符号化してモノラル信号符号化データおよびサイド信号符号化データを生成し、本実施の形態に係る音声復号装置に伝送する。

式（１）および式（２）において、ｎは信号のサンプル番号を示し、Ｎは１フレームのサンプル数を示す。また、Ｓ＿ｃｈ１（ｎ）は第１チャネル信号を示し、Ｓ＿ｃｈ２（ｎ）は第２チャネル信号を示す。

図１は、本発明の実施の形態１に係る音声復号装置１００の主要な構成を示すブロック図である。図１に示す音声復号装置１００は、音声符号化装置から伝送されるモノラル信号符号化データおよびサイド信号符号化データを復号する音声復号部１１０と、サイド信
号符号化データの消失フレーム補償を行う消失フレーム補償部１２０と、サイド信号符号化データのフレーム消失の有無に応じて音声復号装置１００の出力信号を切り替える出力信号切替部１３０とを備える。

音声復号部１１０は、コアレイヤと拡張レイヤの２レイヤ構造を有し、コアレイヤはモノラル信号復号部１０１からなり、拡張レイヤはステレオ信号復号部１０２からなる。

消失フレーム補償部１２０は、遅延部１０３、補償信号切替判定部１０４、チャネル間補償部１０５、チャネル内補償部１０６、および補償信号切替部１０７を備える。

モノラル信号復号部１０１は、音声符号化装置から伝送されるモノラル信号符号化データを復号して、得られるモノラル復号信号Ｍｄ（ｎ）をステレオ信号復号部１０２、補償信号切替判定部１０４、チャネル間補償部１０５、チャネル内補償部１０６、および出力信号切替部１３０に出力する。

ステレオ信号復号部１０２は、音声符号化装置から伝送されるサイド信号符号化データを復号してサイド復号信号Ｓｄ（ｎ）を得る。また、ステレオ信号復号部１０２は、サイド復号信号Ｓｄ（ｎ）とモノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）とを用い、下記の式（３）および式（４）に従って第１チャネル復号信号Ｓｄｓ＿ｃｈ１（ｎ）および第２チャネル復号信号Ｓｄｓ＿ｃｈ２（ｎ）を算出する。ステレオ信号復号部１０２は、算出した第１チャネル復号信号Ｓｄｓ＿ｃｈ１（ｎ）と第２チャネル復号信号Ｓｄｓ＿ｃｈ２（ｎ）とからなるステレオ復号信号を遅延部１０３および出力信号切替部１３０に出力する。なお、以下では、第１チャネル復号信号Ｓｄｓ＿ｃｈ１（ｎ）および第２チャネル復号信号Ｓｄｓ＿ｃｈ２（ｎ）を、ステレオ復号信号Ｓｄｓ＿ｃｈ１（ｎ）、Ｓｄｓ＿ｃｈ２（ｎ）とも表記する。

遅延部１０３は、ステレオ信号復号部１０２から入力されるステレオ復号信号Ｓｄｓ＿ｃｈ１（ｎ）、Ｓｄｓ＿ｃｈ２（ｎ）を１フレーム遅延させ、また、１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）を補償信号切替判定部１０４、チャネル間補償部１０５、およびチャネル内補償部１０６に出力する。なお、以下では、１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）を、それぞれ、１フレーム前の第１チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）（又は「ｃｈ１信号」）、第２チャネル復号信号Ｓｄｐ＿ｃｈ２（ｎ）（又は「ｃｈ２信号」）とも表記する。

補償信号切替判定部１０４は、遅延部１０３から入力される１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）と、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）とを用いてチャネル間相関度およびチャネル内相関度を算出する。補償信号切替判定部１０４は、算出したチャネル間相関度およびチャネル内相関度に基づき、チャネル間補償部１０５で得られるチャネル間補償信号とチャネル内補償部１０６で得られるチャネル内補償信号との何れをステレオ補償信号とするかを判定し、その判定結果を示す切替フラグを補償信号切替部１０７に出力する。なお、補償信号切替判定部１０４の詳細については後述する。

チャネル間補償部１０５は、モノラル信号符号化データおよびサイド信号符号化データとは別途入力されるフレーム消失フラグに基づき、符号化データの伝送中に現フレームのサイド信号符号化データが消失したか否かを判定する。フレーム消失フラグとは、フレーム消失の有無を通知するフラグであり、音声復号装置１００の外部に配置されているフレーム消失検出部（図示せず）から通知される。

チャネル間補償部１０５は、現フレームのサイド信号符号化データが消失した（フレーム消失あり）と判定した場合には、モノラル信号復号部１０１から入力される現フレームのモノラル復号信号と遅延部１０３から入力される１フレーム前のステレオ復号信号とを用いてモノラル復号信号とステレオ復号信号の各チャネル（第１チャネルおよび第２チャネル）とのチャネル間予測パラメータを算出し、算出したチャネル間予測パラメータを用いてチャネル間補償を行う。チャネル間補償部１０５は、チャネル間補償により得られた現フレームのチャネル間補償信号を補償信号切替部１０７に出力する。なお、チャネル間補償部１０５の詳細については後述する。

チャネル内補償部１０６は、音声復号装置１００の外部から入力されるフレーム消失フラグに基づき、符号化データの伝送中に現フレームのサイド信号符号化データが消失したか否かを判定する。現フレームのサイド信号符号化データが消失したと判定した場合には、チャネル内補償部１０６は、１フレーム前の第１チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）、第２チャネル復号信号Ｓｄｐ＿ｃｈ２（ｎ）、およびモノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）を用い、波形外挿によるチャネル内補償を行って現フレームの第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）および第２チャネル内補償信号Ｓｄ＿ｃｈ２（ｎ）を生成する。チャネル内補償部１０６は、チャネル内補償により生成される現フレームの第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）および第２チャネル内補償信号Ｓｄ＿ｃｈ２（ｎ）からなるチャネル内補償信号を補償信号切替部１０７に出力する。なお、チャネル内補償部１０６は、モノラル信号復号部１０１からモノラル復号信号Ｍｄ（ｎ）が入力されない場合もあり、チャネル内補償部１０６の詳細については後述する。

補償信号切替部１０７は、補償信号切替判定部１０４から入力される切替フラグに基づき、チャネル間補償部１０５で得られるチャネル間補償信号とチャネル内補償部１０６で得られるチャネル内補償信号との何れかをステレオ補償信号Ｓｒ＿ｃｈ１（ｎ）、Ｓｒ＿ｃｈ２（ｎ）として出力信号切替部１３０に出力する。

出力信号切替部１３０は、音声復号装置１００がモノラル信号の復号のみを行う場合には、フレーム消失フラグの値にかかわらずモノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）を出力信号として出力する。

一方、音声復号装置１００がステレオ信号の復号を行い、フレーム消失ありを示すフレーム消失フラグが入力される場合には、出力信号切替部１３０は、消失フレーム補償部１２０から入力されるステレオ補償信号Ｓｒ＿ｃｈ１（ｎ）、Ｓｒ＿ｃｈ２（ｎ）をそのまま出力信号として出力する。

また、音声復号装置１００がステレオ信号の復号を行い、フレーム消失無し（正常受信）を示すフレーム消失フラグが入力される場合には、出力信号切替部１３０は、１フレーム前のフレーム消失の有無によって異なる処理を行う。具体的には、１フレーム前のサイド信号符号化データも消失せず正常受信された場合には、出力信号切替部１３０は、ステレオ信号復号部１０２から入力されるステレオ復号信号Ｓｄｓ＿ｃｈ１（ｎ）、Ｓｄｓ＿ｃｈ２（ｎ）をそのまま出力信号として出力する。一方、１フレーム前のサイド信号符号化データが消失した場合には、フレーム間の不連続性を解消するためにオーバラップ加算
処理を行う。オーバラップ加算処理の一例として、例えば下記の式（５）および式（６）に従って出力信号を構成するＳｏｕｔ＿ｃｈ１（ｎ）およびＳｏｕｔ＿ｃｈ２（ｎ）を算出する。具体的には、１フレーム前の消失フレームの補償においてフレーム長Ｎよりもオーバラップ区間長Ｌだけ追加のステレオ補償信号Ｓｒ＿ｃｈ１（ｎ）（ｎ＝０，１，…，Ｌ−１）およびＳｒ＿ｃｈ２（ｎ）（ｎ＝０，１，…，Ｌ−１）を生成しておき、この追加のステレオ補償信号を現フレームの頭からＬサンプル長の区間にオーバラップし、出力信号Ｓｏｕｔ＿ｃｈ１（ｎ）、Ｓｏｕｔ＿ｃｈ１（ｎ）を得る。

図２は、補償信号切替判定部１０４の内部の構成を示すブロック図である。

図２において、遅延部１４１は、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）を１フレーム遅延させ、また、１フレーム前のモノラル復号信号Ｍｄｐ（ｎ）をチャネル間相関算出部１４２に出力する。

チャネル間相関算出部１４２は、遅延部１４１から入力される１フレーム前のモノラル復号信号Ｍｄｐ（ｎ）と遅延部１０３から入力される１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）とを用い、下記の式（７）および式（８）に従ってモノラル信号と各チャネル信号との間の相互相関ｃ＿ｉｃｃ１、ｃ＿ｉｃｃ２を算出する。

そして、チャネル間相関算出部１４２は、下記の式（９）に従ってｃ＿ｉｃｃ１とｃ＿ｉｃｃ２との平均値ｃ＿ｉｃｃを求め、チャネル間相関平均値として切替フラグ生成部１４４に出力する。

チャネル内相関算出部１４３は、遅延部１０３から入力される１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）を用い、下記の式（１０）および式（１１）に従って各チャネル復号信号の自己相関（すなわちピッチ相関）ｃ＿ｉｆｃ１
、ｃ＿ｉｆｃ２を算出する。

式（１０）および式（１１）において、Ｔｃｈ１およびＴｃｈ２はそれぞれ第１チャネル信号および第２チャネル信号のピッチ周期を示す。なお、サンプル番号ｎが負となる場合は、過去のフレームまでさかのぼることを示す。

そして、チャネル内相関算出部１４３は、下記の式（１２）に従ってｃ＿ｉｆｃ１とｃ＿ｉｆｃ２との平均値ｃ＿ｉｆｃを求め、チャネル内相関平均値として切替フラグ生成部１４４に出力する。

切替フラグ生成部１４４は、チャネル間相関算出部１４２から入力されるチャネル間相関平均値ｃ＿ｉｃｃとチャネル内相関算出部１４３から入力されるチャネル内相関平均値ｃ＿ｉｆｃとを用い、下記の式（１２）に従って切替フラグＦｌｇ＿ｓを生成し、補償信号切替部１０７に出力する。

式（１２）に示すように、切替フラグ生成部１４４は、チャネル内相関平均値ｃ＿ｉｆｃが閾値ＴＨ＿ｉｆｃより高く、チャネル間相関平均値が閾値ＴＨ＿ｉｃｃより低い場合には、切替フラグＦｌｇ＿ｓの値を「１」にし、それ以外の場合には、切替フラグＦｌｇ＿ｓの値を「０」にする。ここで、切替フラグＦｌｇ＿ｓの値が「１」である場合には、チャネル間補償による補償性能が低く、チャネル内補償による補償性能が高いことを示し、補償信号切替部１０７において、チャネル内補償部１０６から入力されるチャネル内補償信号をステレオ補償信号として出力する。一方、切替フラグＦｌｇ＿ｓの値が「０」である場合には、チャネル間補償による補償性能が高いか、または、チャネル内補償による補償性能が低いことを示し、補償信号切替部１０７において、チャネル間補償部１０５から入力されるチャネル間補償信号をステレオ補償信号として出力する。

図３は、チャネル間補償部１０５の内部の構成を示すブロック図である。

図３において、遅延部１５１は、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）を１フレーム遅延させ、また１フレーム前のモノラル復号信号Ｍｄｐ（ｎ）をチャネル間予測パラメータ算出部１５２に出力する。

チャネル間予測パラメータ算出部１５２は、遅延部１５１から入力される１フレーム前のモノラル復号信号Ｍｄｐ（ｎ）と、遅延部１０３から入力される１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）とを用いてチャネル間予測パラメータを算出し、チャネル間予測部１５３に出力する。例えば、チャネル間予測部１５３において下記の式（１３）および式（１４）に示すようなチャネル間予測を行う場合には、チャネル間予測パラメータ算出部１５２は、下記の式（１５）および式（１６）に示すＤｉｓｔ１、Ｄｉｓｔ２それぞれを最小にするＦＩＲ（Finite Impulse Response）型のフィルタ係数ａ１（ｋ）、ａ２（ｋ）（ｋ＝０，１，２，…，Ｐ）をチャネル間予測パラメータとして求める。

式（１３）および式（１４）において、チャネル予測信号Ｓｐｒ＿ｃｈ１（ｎ）、Ｓｐｒ＿ｃｈ２（ｎ）は、例えば、チャネル間予測パラメータとしてＦＩＲ型のフィルタ係数列ａ１（ｋ）、ａ２（ｋ）を用い、１フレーム前のモノラル復号信号Ｍｄｐ（ｎ）から１フレーム前の各チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）を予測した場合に得られる各チャネル予測信号を示す。また、式（１５）および式（１６）において、Ｄｉｓｔ１、Ｄｉｓｔ２は、ステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）とステレオ予測信号Ｓｐｒ＿ｃｈ１（ｎ）、Ｓｐｒ＿ｃｈ２（ｎ）との２乗誤差を示す。

チャネル間予測部１５３は、入力されるフレーム消失フラグが消失ありを示す場合には、チャネル間予測パラメータ算出部１５２から入力されるチャネル間予測パラメータａ１（ｋ）、ａ２（ｋ）（ｋ＝０，１，２，…，Ｐ）を用い、下記の式（１７）および式（１８）に従って現フレームのモノラル復号信号Ｍｄ（ｎ）から現フレームのステレオ復号信号を予測し、それにより得られるステレオ予測信号をチャネル間補償信号（第１チャネル間補償信号Ｓｋ＿ｃｈ１（ｎ）、第２チャネル間補償信号Ｓｋ＿ｃｈ２（ｎ））として補償信号切替部１０７に出力する。

なお、フレーム消失フラグを参照し、フレームが連続して消失する場合には、チャネル間予測部１５３は、出力するチャネル間補償信号の振幅を、連続して消失したフレーム数に応じて減衰するようにしても良い。

図４は、チャネル内補償部１０６の内部の構成を示すブロック図である。なお、ここでは、チャネル内補償部１０６は、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）を用いずチャネル内補償を行う場合を例にとり説明する。

図４において、チャネル内補償部１０６は、ステレオ信号分離部１６１、チャネル信号波形外挿部１６２、チャネル信号波形外挿部１６３、およびステレオ信号合成部１６４を備える。

ステレオ信号分離部１６１は、遅延部１０３から入力される１フレーム前のステレオ復号信号を第１チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）および第２チャネル復号信号Ｓｄｐ＿ｃｈ２（ｎ）に分離してチャネル信号波形外挿部１６２およびチャネル信号波形外挿部１６３に出力する。

チャネル信号波形外挿部１６２は、ステレオ信号分離部１６１から入力される１フレーム前の第１チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）を用いて波形外挿によるチャネル内補償処理を行い、得られる第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）をステレオ信号合成部１６４に出力する。

チャネル信号波形外挿部１６３は、ステレオ信号分離部１６１から入力される１フレーム前の第２チャネル復号信号Ｓｄｐ＿ｃｈ２（ｎ）を用いて波形外挿によるチャネル内補償処理を行い、得られる第２チャネル内補償信号Ｓｄ＿ｃｈ２（ｎ）をステレオ信号合成部１６４に出力する。なお、チャネル信号波形外挿部１６２およびチャネル信号波形外挿部１６３の詳細については後述する。

ステレオ信号合成部１６４は、チャネル信号波形外挿部１６２から入力される第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）とチャネル信号波形外挿部１６３から入力される第２チャネル内補償信号Ｓｄ＿ｃｈ２（ｎ）とを用いて合成を行ない、得られるステレオ合成信号をチャネル内補償信号として補償信号切替部１０７に出力する。

図５は、チャネル信号波形外挿部１６２の内部の構成を示すブロック図である。

ＬＰＣ分析部６２１は、ステレオ信号分離部１６１から入力される１フレーム前の第１チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）に対して線形予測分析を行い、得られる線形予測係数（ＬＰＣ：Linear Predictive Coefficients）をＬＰＣ逆フィルタ６２２とＬＰＣ合成部６２５とに出力する。

ＬＰＣ逆フィルタ６２２は、ＬＰＣ分析部６２１から入力されるＬＰＣ係数を用いて、ステレオ信号分離部１６１から入力される１フレーム前の第１チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）に対してＬＰＣ逆フィルタリング処理を行い、得られるＬＰＣ残差信号をピッチ分析部６２３とＬＰＣ残差波形外挿部６２４とに出力する。

ピッチ分析部６２３は、ＬＰＣ逆フィルタ６２２から入力されるＬＰＣ残差信号に対してピッチ分析を行い、得られるピッチ周期およびピッチ予測ゲインをＬＰＣ残差波形外挿部６２４に出力する。

ＬＰＣ残差波形外挿部６２４は、入力されるフレーム消失フラグが消失ありを示す場合には、ピッチ分析部６２３から入力されるピッチ周期およびピッチ予測ゲインを用い、ＬＰＣ逆フィルタ６２２から入力される１フレーム前のＬＰＣ残差信号を用いて波形外挿を行って現フレームのＬＰＣ残差信号を生成する。波形外挿は例えば、１フレーム前のＬＰＣ残差信号から１ピッチ周期分の周期波形を切り出し、ピッチ予測ゲインを乗じながら周期的に配置したり、ピッチ周期とピッチ予測ゲインをパラメータとするピッチ予測フィルタによるフィルタ処理を１フレーム前のＬＰＣ残差信号に対して適用することによって外挿波形を生成する。

なお、例えば無声音信号や音声の存在しない非音声区間（雑音信号区間）のような、ＬＰＣ残差信号のピッチ周期性が低いフレームにおいては、ＬＰＣ残差波形外挿部６２４は、ピッチ周期波形による外挿信号に雑音成分の信号を加算するか、またはピッチ周期波形による外挿信号の代わりに雑音成分の信号で置換を行っても良い。また、フレーム消失フラグを参照し、フレームが連続して消失する場合には、ＬＰＣ残差波形外挿部６２４は、生成した外挿信号の振幅を、連続して消失したフレーム数に応じて減衰するようにしても良い。

ＬＰＣ合成部６２５は、ＬＰＣ分析部６２１から入力される線形予測係数（ＬＰＣ）と、ＬＰＣ残差波形外挿部６２４から入力される現フレームのＬＰＣ残差信号とを用いてＬＰＣ合成処理を行い、得られる合成信号を第１チャネル内補償信号としてステレオ信号合成部１６４に出力する。

チャネル信号波形外挿部１６３の内部の構成および動作はチャネル信号波形外挿部１６２と基本的に同様であり、チャネル信号波形外挿部１６２の処理対象は第１チャネル復号信号であるのに対し、チャネル信号波形外挿部１６３の処理対象は第２チャネル復号信号である点のみにおいて相違する。このため、チャネル信号波形外挿部１６３の内部の構成および動作についての詳細な説明を省略する。

図６および図７は、音声復号装置１００におけるチャネル間補償およびチャネル内補償の動作を概念的に説明するための図である。

図６は、チャネル間補償の動作を概念的に示す図である。図６に示すように、チャネル間相関が大きい場合、すなわち、切替フラグ生成部１４４において、値が「０」である切替フラグＦｌｇ＿ｓを生成した場合には、チャネル間補償部１０５において生成される信号、すなわち、現フレームのモノラル復号信号を基にチャネル間補償を行って得られる、現フレームの第１チャネル間補償信号および第２チャネル間補償信号からなるチャネル間補償信号を、補償信号切替部１０７で選択する。

図７は、チャネル内補償の動作を概念的に示す図である。図７に示すように、チャネル内相関が大きい場合、すなわち、切替フラグ生成部１４４において、値が「１」の切替フラグＦｌｇ＿ｓを生成した場合には、チャネル内補償部１０６において生成される信号、すなわち、過去フレームの第１チャネル復号信号と第２チャネル復号信号とを基にチャネル内補償を行って得られる、現フレームの第１チャネル内補償信号および第２チャネル内補償信号からなるチャネル内補償信号を、補償信号切替部１０７で選択する。

このように、本実施の形態によれば、モノラル−ステレオスケーラブル構成の音声復号装置は、音声符号化装置から伝送される現フレームのサイド信号符号化データが消失した場合には、過去フレームの復号信号を用いて算出されたチャネル間相関とチャネル内相関とを閾値と比較し、比較結果に応じてステレオ補償信号をチャネル間補償信号またはチャネル内補償信号のうち、補償性能がより高い何れかに切り替えるため、復号音声の品質を
向上させることができる。すなわち、チャネル間相関が低い場合でも、チャネル内相関も考慮し、そのチャネル内相関が高い場合には、チャネル信号内で過去のチャネル信号からの外挿を行うことにより、補償による劣化を抑え、ステレオ感を維持した補償を行え、復号音声の品質を向上させることができる。

なお、本実施の形態においては、チャネル間相関およびチャネル内相関の算出、チャネル内補償などに用いる過去フレームとして、過去１フレーム分のみのフレームを用いる場合を例にとって説明したが、本発明はこれに限定されず、過去の２フレーム以上のフレームを用いてチャネル間相関およびチャネル内相関の算出、チャネル内補償などを行っても良い。

また、本実施の形態では、現フレームのサイド信号符号化データが消失した場合には、チャネル間補償部１０５とチャネル内補償部１０６との両方とも動作し、それぞれ生成したチャネル間補償信号とチャネル内補償信号との何れかを補償信号切替部１０７により選択される場合を例にとって説明したが、本発明はこれに限定されず、補償信号切替判定部１０４の判定結果により、チャネル間補償部１０５とチャネル内補償部１０６との何れか一方のみが動作するようにしても良い（例えば、補償信号切替部１０７を、チャネル間補償部１０５及びチャネル内補償部１０６の前段に配置する構成など）。

また、本実施の形態では、現フレームのモノラル信号符号化データが正常に受信されサイド信号符号化データのみが消失した場合を例にとって説明したが、本発明はこれに限定されず、モノラル信号符号化データとサイド信号符号化データとの両方ともが消失した場合にも適用することができる。この場合は、まず、モノラル信号復号部１０１において任意の消失フレーム補償方法によりモノラル復号信号を補償する。そして、得られたモノラル補償信号を用いて、本実施の形態に説明した補償信号切替方法によりステレオ補償信号を生成すれば良い。

また、本実施の形態では、切替フラグ生成部１４４が、上述の式（１２）に従って切替フラグＦｌｇ＿ｓを生成し、補償信号切替部１０７に出力する場合を例にとって説明したが、本発明はこれに限定されず、式（１２）の切替フラグＦｌｇ＿ｓの値が「０」に該当する場合を、さらに、チャネル間相関平均値が閾値ＴＨ＿ｉｃｃより高い場合（Ｆｌｇ＿ｓの値を「０」とする）と、低い場合（Ｆｌｇ＿ｓの値を「２」とする、また、この場合はチャネル内相関平均値ｃ＿ｉｆｃも閾値ＴＨ＿ｉｆｃより低い）とに場合分けし、各々別々のＦｌｇ＿ｓの値を出力するようにしても良い。そして、チャネル間補償部１０５が、Ｆｌｇ＿ｓの値が「０」の場合には、上記で説明したものと同様な動作をし、一方、Ｆｌｇ＿ｓの値が「２」の場合には、チャネル間相関も低くチャネル間補償性能も高くないとみなされるため、チャネル間補償によるステレオ補償信号の各チャネル補償信号をモノラル復号信号により近い信号に補正するか、または、モノラル復号信号そのものを補償信号として出力するようにしても良い。

また、本実施の形態では、チャネル間相関算出部１４２が、１フレーム前のモノラル復号信号と各チャネル復号信号それぞれとの相互相関の平均値を算出する場合を例にとって説明したが、本発明はこれに限定されず、１フレーム前の第１チャネル復号信号と第２チャネル復号信号との相互相関を算出しても良く、また、チャネル間補償部１０５で行われるチャネル間予測において得られる予測ゲイン値を算出しても良い。ここで、予測ゲイン値とは、モノラル復号信号を基に第１チャネル復号信号を予測した第１チャネル予測信号の予測ゲインと、モノラル復号信号を基に第２チャネル復号信号を予測した第２チャネル予測信号の予測ゲインとの平均値を指す。

また、本発明はチャネル間相関算出部１４２において、１フレーム前のモノラル復号信
号と各チャネル復号信号それぞれとの相互相関ｃ＿ｉｃｃ１およびｃ＿ｉｃｃ２を算出する際に、モノラル復号信号と各チャネル復号信号それぞれとの遅延差をさらに考慮しても良い。すなわち、チャネル間相関算出部１４２は、モノラル復号信号と各チャネル復号信号それぞれとの相互相関または類似性などを最大にする遅延差分だけ、一方の信号をシフトしてから相互相関を求めても良い。

また、本発明はチャネル間相関算出部１４２において、１フレーム前のモノラル復号信号と各チャネル復号信号とを帯域分割した後の信号に対して相互相関を求めても良い。

また、本実施の形態では、チャネル内相関算出部１４３が、第１チャネル信号および第２チャネル信号それぞれのピッチ周期Ｔｃｈ１およびＴｃｈ２を用い、上記の式（１０）および式（１１）に従ってチャネル内相関を算出する場合を例にとって説明したが、本発明はこれに限定されず、チャネル内相関算出部１４３は、上記の式（１０）および式（１１）のＴｃｈ１およびＴｃｈ２として、ピッチ周期の代わりに、各チャネル復号信号の自己相関ｃ＿ｉｆｃ１、ｃ＿ｉｆｃ２、または上記の式（１０）および式（１１）の分子項を最大にする遅延値を用いても良い。

または、本実施の形態では、チャネル内相関算出部１４３が、第１チャネル復号信号および第２チャネル復号信号を対象として上記の式（１０）および式（１１）に従って各チャネル復号信号の自己相関を算出する場合を例にとって説明したが、本発明はこれに限定されず、チャネル内相関算出部１４３は、第１チャネル復号信号および第２チャネル復号信号それぞれのＬＰＣ残差信号を対象として上記の式（１０）および式（１１）に従って各チャネル復号信号の自己相関を算出しても良い。

また、本実施の形態では、チャネル間補償部１０５が、上記の式（１３）および式（１４）および式（１７）および式（１８）に示す形態の予測を行う場合を例にとって説明したが、本発明はこれに限定されず、チャネル間補償部１０５は、信号間の遅延差および振幅比のみを用いた予測、または、遅延差と上記ＦＩＲ型のフィルタ係数との組み合わせを用いた予測を行っても良い。

また、本実施の形態では、チャネル間補償部１０５が、チャネル間補償の動作としてチャネル間予測を行う場合を例にとって説明したが、本発明はこれに限定されず、チャネル間予測以外の任意の手法でチャネル間補償を行っても良い。例えば、チャネル間補償部１０５は、過去フレームのステレオ信号復号部１０２の処理で得られた復号パラメータを利用して現フレームのステレオ復号信号を算出しても良い。または、チャネル間補償部１０５は、まず、過去のサイド信号符号化データを復号したサイド復号信号を用いて現フレームのサイド復号信号を補償してから、現フレームのステレオ復号信号を算出しても良い。

また、本実施の形態では、チャネル内補償部１０６が、チャネル内補償処理として、ＬＰＣ残差信号に対し波形外挿を行う場合を例にとって説明したが、本発明はこれに限定されず、チャネル内補償処理として、ステレオ復号信号に対し、直接波形外挿を行っても良い。

また、本実施の形態では、チャネル内補償部１０６が、チャネル内補償処理用に、ピッチパラメータまたはＬＰＣパラメータを算出する場合を例にとって説明したが、本発明はこれに限定されず、モノラル信号復号部１０１における現フレームの復号過程でモノラル信号に対するピッチパラメータまたはＬＰＣパラメータなどが得られる場合には、チャネル内補償部１０６は、これらをチャネル内補償処理に用いても良い。この場合、これらのパラメータをチャネル内補償部１０６において新たに算出する必要がないため、演算量の削減が可能となる。

また、本実施の形態では、音声復号装置１００が、チャネル間相関度およびチャネル内相関度に応じてチャネル内補償信号とチャネル間補償信号とを切り替える場合を例にとって説明したが、本発明はこれに限定されず、チャネル間相関およびチャネル内相関に応じたチャネル内補償信号とチャネル間補償信号との重み付け和で補償信号を生成しても良い。チャネル間相関およびチャネル内相関に応じた重み付けとしては、例えば、チャネル間相関が高いほどチャネル間補償信号の重みを大きくし、逆に、チャネル内相関が高いほどチャネル内補償信号の重みを大きくする。

（実施の形態２）
実施の形態１では、チャネル内補償部１０６において、第１チャネル復号信号および第２チャネル復号信号それぞれのチャネル内補償を行った。これに対し、本発明の実施の形態２では、第１チャネル復号信号および第２チャネル復号信号のうち、チャネル内相関が高い一方のチャネル信号のみに対しチャネル内補償を行い、得られたチャネル内補償信号と、モノラル復号信号とを用いて他方のチャネル信号を算出する。

本実施の形態に係る音声復号装置（図示せず）は、実施の形態１に示した音声復号装置１００（図１参照）と基本的に同様であり、チャネル内補償部１０６の代わりにチャネル内補償部２０６を備える点のみにおいて相違する。

図８は、本実施の形態に係るチャネル内補償部２０６の内部の構成を示すブロック図である。なお、チャネル内補償部２０６は、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）をさらに用いてチャネル内補償を行う。

図８に示すチャネル内補償部２０６は、図４に示したチャネル内補償部１０６が備えるステレオ信号分離部１６１に加え、チャネル内相関算出部２６１、波形外挿チャネル決定部２６２、スイッチ２６３、チャネル信号波形外挿部２６４、他チャネル補償信号算出部２６５、およびステレオ信号合成部２６６をさらに備える。

チャネル内相関算出部２６１は、遅延部１０３から入力される１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）を用い、上記の式（１０）および式（１１）に従って各チャネル復号信号の自己相関（すなわちピッチ相関）ｃ＿ｉｆｃ１、ｃ＿ｉｆｃ２を算出して波形外挿チャネル決定部２６２に出力する。

波形外挿チャネル決定部２６２は、チャネル内相関算出部２６１から入力される第１チャネル復号信号の自己相関ｃ＿ｉｆｃ１および第２チャネル復号信号の自己相関ｃ＿ｉｆｃ２を比較し、自己相関がより高い方のチャネルを波形外挿チャネルと決定し、決定結果をスイッチ２６３に出力する。以下、波形外挿チャネル決定部２６２において、第１チャネルを波形外挿チャネルとして決定した場合を例にとって説明する。

スイッチ２６３は、波形外挿チャネル決定部２６２から入力される波形外挿チャネル決定結果に基づき、ステレオ信号分離部１６１から入力される第１チャネル復号信号Ｓｄｐ＿ｃｈ１（ｎ）および第２チャネル復号信号Ｓｄｐ＿ｃｈ２（ｎ）の中から波形外挿チャネルと決定されたチャネル、本例では第１チャネルの復号信号Ｓｄｐ＿ｃｈ１（ｎ）をチャネル信号波形外挿部２６４に出力する。

チャネル信号波形外挿部２６４は、本発明の実施の形態１に示したチャネル信号波形外挿部１６２（図５参照）と基本的に同様であり、波形外挿の処理対象がスイッチ２６３から入力される何れかのチャネル（本例では第１チャネル）である点において、チャネル信号波形外挿部１６２と相違する。チャネル信号波形外挿部２６４は、波形外挿により得ら
れた第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）を他チャネル補償信号算出部２６５とステレオ信号合成部２６６に出力する。

他チャネル補償信号算出部２６５は、チャネル信号波形外挿部２６４から入力される第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）と、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）とを用い、下記の式（１９）に従って第２チャネル内補償信号Ｓｄ＿ｃｈ２（ｒ）を算出し、ステレオ信号合成部２６６に出力する。

ステレオ信号合成部２６６は、チャネル信号波形外挿部２６４から入力される第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）と、他チャネル補償信号算出部２６５から入力される第２チャネル内補償信号Ｓｄ＿ｃｈ２（ｎ）とを用いて合成を行ない、得られるステレオ合成信号をチャネル内補償信号として補償信号切替部１０７に出力する。

このように、本実施の形態によれば、モノラル−ステレオスケーラブル構成の音声復号装置は、音声符号化装置から伝送される現フレームのサイド信号符号化データが消失した場合には、過去フレームの復号信号を用いて算出されたチャネル間相関とチャネル内相関とをそれぞれ閾値と比較した結果に基づき、ステレオ補償信号をチャネル間補償信号またはチャネル内補償信号のうち、補償性能がより高い何れかに切り替える。また、モノラル−ステレオスケーラブル構成の音声復号装置は、さらに各チャネル内の自己相関を比較し、自己相関が高いチャネル、すなわちチャネル内補償の性能が高いことが見込めるチャネル内相関の高いチャネルのみにおいてチャネル内補償を行い、他チャネルに対してはチャネル内補償を行う代わりに、正しく復号されているモノラル復号信号を用いてモノラル信号と各チャネル信号との信号間の関係から補償信号を生成することで、消失フレームの補償品質をさらに向上させることができ、復号音声の品質を向上させることができる。

（実施の形態３）
実施の形態３に係る音声復号装置は、実施の形態１に示したチャネル内補償方法により得られたステレオ補償信号を用いてモノラル信号を生成し、生成されたモノラル信号と、正常に受信されたモノラル信号符号化データから得られたモノラル復号信号との類似度を算出する。そして、類似度が予め設定されたレベル以下である場合には、音声復号装置はモノラル復号信号でステレオ補償信号を代用する。

図９は、本実施の形態に係るチャネル内補償部３０６の内部の構成を示すブロック図である。なお、図９に示すチャネル内補償部３０６は、図１に示したチャネル内補償部１０６に対して、さらにモノラル補償信号生成部３６１、類似度判定部３６２、ステレオ信号複製部３６３、およびスイッチ３６４を備える。

モノラル補償信号生成部３６１は、チャネル信号波形外挿部１６２から入力される第１チャネル内補償信号Ｓｄ＿ｃｈ１（ｎ）と、チャネル信号波形外挿部１６３から入力される第２チャネル内補償信号Ｓｄ＿ｃｈ２（ｎ）と、を用い、下記の式（２０）に従ってモノラル補償信号Ｍｒ（ｎ）を算出して類似度判定部３６２に出力する。

類似度判定部３６２は、モノラル補償信号生成部３６１から入力されるモノラル補償信号Ｍｒ（ｎ）と、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）
との類似度を算出し、さらに算出された類似度が閾値以上であるか否かを判定し、判定結果をスイッチ３６４に出力する。ここで、モノラル補償信号Ｍｒ（ｎ）と、モノラル復号信号Ｍｄ（ｎ）との類似度としては、例えば、この２つの信号間の相互相関、またはこの２つの信号間の平均誤差の逆数、またはこの２つの信号間の誤差の２乗和の逆数、または２つの信号間のＳＮＲ（いずれかの信号に対する、信号間の誤差信号のＳＮＲ：Signal to Noise ratio）を用いる。

ステレオ信号複製部３６３は、モノラル信号復号部１０１から入力されるモノラル復号信号Ｍｄ（ｎ）を両チャネルの補償信号として複製し、生成されるステレオ複製信号をスイッチ３６４に出力する。

スイッチ３６４は、類似度判定部３６２から入力される判定結果に基づき、モノラル補償信号Ｍｒ（ｎ）と、モノラル復号信号Ｍｄ（ｎ）との類似度が閾値以上である場合には、ステレオ信号合成部１６４から入力されるステレオ合成信号をチャネル内補償信号として出力し、モノラル補償信号Ｍｒ（ｎ）と、モノラル復号信号Ｍｄ（ｎ）との類似度が閾値より低い場合には、ステレオ信号複製部３６３から入力されるステレオ複製信号をチャネル内補償信号として出力する。

このように、本実施の形態によれば、音声復号装置のチャネル内補償処理においては、波形外挿により得られる第１チャネル内補償信号と第２チャネル内補償信号とを用いて生成されるモノラル補償信号と、モノラル信号符号化データの復号により得られるモノラル復号信号との類似度が閾値以上である場合には、波形外挿により得られる第１チャネル内補償信号と第２チャネル内補償信号とを用いた合成を行ってチャネル内補償信号を得、上記類似度が閾値より低い場合には、モノラル復号信号を両チャネルに複製して得られるチャネル内補償信号を得る。このように、チャネル内補償時に、モノラル復号信号を利用して補償性能の検証を行う、すなわち、チャネル内補償により得られるステレオ補償信号を用いて算出したモノラル補償信号と、正しく復号されているモノラル復号信号との間の波形の類似度を参照し、その類似度が低い場合はチャネル内補償が適切に行われなかったと判定し、得られたステレオ補償信号を補償信号には用いないことで、チャネル内補償により起こり得る補償性能の低下を回避し、音声復号装置のチャネル内補償の性能をさらに向上させることができ、復号音声の品質を向上させることができる。

（実施の形態４）
実施の形態４では、ステレオ補償信号の切替の判定を符号化側において行い、判定結果を復号側に伝送する。

図１０は、本実施の形態に係る音声符号化装置４００の主要な構成を示すブロック図である。

図１０において、音声符号化装置４００は、モノラル信号生成部４０１、モノラル信号符号化部４０２、サイド信号符号化部４０３、補償信号切替判定部４０４、および多重化部４０５を備える。

モノラル信号生成部４０１は、入力されるステレオ音声信号の第１チャネル信号Ｓ＿ｃｈ１（ｎ）および第２チャネル信号Ｓ＿ｃｈ２（ｎ）を用い、上記の式（１）および式（２）に従ってモノラル信号Ｍ（ｎ）およびサイド信号Ｓ（ｎ）生成する。モノラル信号生成部４０１は、生成されるモノラル信号Ｍ（ｎ）をモノラル信号符号化部４０２に出力し、サイド信号Ｓ（ｎ）をサイド信号符号化部４０３に出力する。

モノラル信号符号化部４０２は、モノラル信号生成部４０１から入力されるモノラル信
号Ｍ（ｎ）を符号化し、生成されるモノラル信号符号化データを多重化部４０５に出力する。

サイド信号符号化部４０３は、モノラル信号生成部４０１から入力されるサイド信号Ｓ（ｎ）を符号化し、生成されるサイド信号符号化データを、後述する音声復号装置５００に出力する。

補償信号切替判定部４０４は、実施の形態１に示した補償信号切替判定部１０４（図２参照）と基本的に同様であり、１フレーム前のステレオ復号信号Ｓｄｐ＿ｃｈ１（ｎ）、Ｓｄｐ＿ｃｈ２（ｎ）およびモノラル復号信号Ｍｄｐ（ｎ）の代わりに、現フレームのステレオ信号Ｓ＿ｃｈ１（ｎ）、Ｓ＿ｃｈ２（ｎ）およびモノラル信号Ｍ（ｎ）を用いて補償信号切替の判定を行う点のみにおいて補償信号切替判定部１０４と相違する。つまり、補償信号切替判定部４０４は、現フレームのステレオ信号Ｓ＿ｃｈ１（ｎ）、Ｓ＿ｃｈ２（ｎ）およびモノラル信号Ｍ（ｎ）を用いて算出したチャネル間相関度およびチャネル内相関度に基づき、チャネル間補償部１０５で得られるチャネル間補償信号とチャネル内補償部１０６で得られるチャネル内補償信号との何れをステレオ補償信号とするかを判定し、判定結果を示す切替フラグを多重化部４０５に出力する。

多重化部４０５は、モノラル信号符号化部４０２から入力されるモノラル信号符号化データと、補償信号切替判定部４０４から入力される切替フラグとを多重し、得られる多重データを、モノラル信号符号化レイヤのデータとして、後述する音声復号装置５００に出力する。

図１１は、本発明の実施の形態４に係る音声復号装置５００の主要な構成を示すブロック図である。なお、図１１に示す音声復号装置５００は、図１に示した音声復号装置１００と基本的に同様であり、補償信号切替判定部１０４を備えず、多重データ分離部５０１を備え、切替フラグが多重データ分離部５０１から補償信号切替部１０７に出力される点において音声復号装置１００と相違する。また、消失フレーム補償部５２０は、補償信号切替判定部１０４を備えない点で、消失フレーム補償部１２０と構成が異なるため、異なる符号を付す。

多重データ分離部５０１は、音声符号化装置４００から伝送される多重データをモノラル信号符号化データと切替フラグとに分離し、モノラル信号符号化データをモノラル信号復号部１０１に出力し、切替フラグを補償信号切替部１０７に出力する。

このように、本実施の形態によれば、音声符号化装置において、現フレームのステレオ信号およびモノラル信号を用いてチャネル間相関およびチャネル内相関を算出し現フレームの補償信号の切替の判定を行い、判定結果を音声復号装置に伝送するため、フレーム消失が生じる当該フレームでのチャネル間およびチャネル内相関に応じて、より正確な切替判定を行うことができ、復号音声の品質を向上させることができる。

また、判定フラグをモノラル信号符号化データに多重してモノラル信号符号化レイヤのデータとして伝送することで、復号側で、モノラル信号符号化レイヤのデータのみを受信でき、ステレオ信号符号化レイヤのデータが受信できない場合でも、切替フラグの情報を受信することができ、上記に示すより正確な切替判定を行うことができ、復号音声の品質を向上させることができる。

なお、本実施の形態に係る音声復号装置は、本実施の形態に係る音声符号化装置が送信したビットストリームを受信して処理を行う場合を例にとって説明したが、本発明はこれに限定されず、本実施の形態に係る音声復号装置が受信して処理するビットストリームは
、この音声復号装置で処理可能なビットストリームを生成可能な音声符号化装置が送信したものであれば良い。

（実施の形態５）
実施の形態５では、ステレオ補償信号の切替の判定を符号化側において行い、判定結果を復号側に伝送する実施の形態４において、判定結果をサイド信号符号化データと多重化して伝送する。

図１２は、本実施の形態に係る音声符号化装置６００の主要な構成を示すブロック図である。

図１２において、音声符号化装置６００は、モノラル信号生成部４０１、モノラル信号符号化部４０２、サイド信号符号化部４０３、補償信号切替判定部４０４、および多重化部６０５を備える。

本実施の形態に係る音声符号化装置６００は、実施の形態４に示した音声符号化装置４００（図１０参照）と基本的に同様であり、多重化部４０５に代えて多重化部６０５を備える点のみにおいて相違する。なお、図１２の本実施の形態に係る音声符号化装置６００において、図１０と共通する構成部分には、図１０と同一の符号を付して詳しい説明を省略する。

多重化部６０５は、サイド信号符号化部４０３から入力されるサイド信号符号化データと、補償信号切替判定部４０４から入力される切替フラグとを多重し、得られる多重データを、ステレオ信号符号化レイヤのデータとして、後述する音声復号装置７００に出力する。

次に、本実施の形態に係る音声符号化装置６００おいて、サイド信号符号化部４０３が変換符号化方式を用いてサイド信号を符号化する場合の、サイド信号符号化部４０３、補償信号切替判定部４０４および多重化部６０５の動作について説明する。

サイド信号符号化部４０３は、モノラル信号生成部４０１から入力される現フレーム（第ｎフレームとする）のサイド信号を、変換符号化方式を用いて符号化し、生成されるサイド信号符号化データを多重化部６０５に出力する。

補償信号切替判定部４０４は、現フレームのステレオ信号Ｓ＿ｃｈ１（ｎ）、Ｓ＿ｃｈ２（ｎ）およびモノラル信号Ｍ（ｎ）を用いて現フレーム（第ｎフレーム）に対する補償信号の切替判定を行い、その判定結果を示す切替フラグを多重化部６０５に出力する。

多重化部６０５は、サイド信号符号化部４０３から入力される、現フレームに対するサイド信号符号化データと、補償信号切替判定部４０４から入力される現フレームに対する切替フラグとを多重し、得られる多重データを、後述する音声復号装置７００に出力する。

図１３は、本発明の実施の形態５に係る音声復号装置７００の主要な構成を示すブロック図である。なお、図１３に示す音声復号装置７００は、図１１に示した実施の形態４における音声復号装置５００と基本的に同様であり、多重データ分離部７０１が、多重データをサイド信号符号化データと切替フラグとに分離して出力する点において音声復号装置５００と相違する。

次に、本実施の形態に係る音声復号装置７００において、ステレオ信号復号部１０２が
変換符号化方式によりステレオ信号を復号する場合の動作について説明する。

ステレオ信号復号部１０２から出力されたステレオ復号信号は、変換符号化方式を用いた符号化および復号において変換窓の重ね合わせ加算のために、遅延部１０３によって１フレーム遅延される。現フレーム（第ｎフレーム）に対応するフレーム消失フラグが消失ありを示し、現フレームの受信データ（サイド信号符号化データ）がフレーム消失した場合、その影響は前フレーム（第ｎ−１フレーム）および現フレーム（第ｎフレーム）の２フレームに影響を及ぼし、２フレーム分の補償が必要になる。

その際、補償信号切替部１０７において、前フレームの補償は、前フレームの多重データから分離された、前フレームに対応する切替フラグに基づき行われ、前フレームのステレオ補償信号が出力信号切替部１３０に出力される。また、補償信号切替部１０７において、現フレームの補償は、次フレーム（第ｎ＋１フレーム）の多重データから分離された、次フレームに対応する切替フラグが示す補償モードに基づき行われ、現フレームのステレオ補償信号が出力信号切替部１３０に出力される。このように、補償信号切替部１０７は、補償対象フレームに応じて定められた対応フレームの切替フラグを参照して、チャネル間補償部１０５で得られるチャネル間補償信号とチャネル内補償部１０６で得られるチャネル内補償信号との何れかをステレオ補償信号として出力信号切替部１３０に出力する。

このように、本実施の形態によれば、音声復号装置において、ステレオ信号復号部１０２が変換符号化方式により復号を行う場合、現フレームの受信データがフレーム消失すると、前フレームに対応する切替フラグが示す補償モードに基づき前フレームの補償を行うので、フレーム消失による補償対象フレーム（前フレーム）でのチャネル間およびチャネル内相関に応じて、より正確な切替判定に基づき補償を行うことができ、復号音声の品質を向上させることができる。

なお、本実施の形態に係る音声復号装置は、現フレームがフレーム消失した場合には、前フレームの補償を行い前フレームのステレオ補償信号を生成・出力し、次フレームで、現フレーム（次フレームから見ると前フレーム）の補償を行い現フレームのステレオ補償信号を生成・出力するため、当該補償方法により新たな追加遅延は生じない。

また、本実施の形態に係る音声復号装置は、本実施の形態に係る音声符号化装置が送信したビットストリームを受信して処理を行う場合を例にとって説明したが、本発明はこれに限定されず、本実施の形態に係る音声復号装置が受信して処理するビットストリームは、この音声復号装置で処理可能なビットストリームを生成可能な音声符号化装置が送信したものであれば良い。

以上、本発明の各実施の形態について説明した。

なお、本発明に係る音声復号装置、音声符号化装置および消失フレーム補償方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。

例えば、上記各本実施の形態では、音声符号化装置において上記の式（１）および式（２）に従ってモノラル信号およびサイド信号を生成する場合を例にとって説明したが、本発明はこれに限定されず、上記モノラル信号およびサイド信号は他の方法により求められても良い。

また、上記各実施の形態に係る消失フレーム補償方法は、ある一部の帯域、例えば７ｋ
Ｈｚ以下の低域にのみ適用し、他の帯域、例えば７ｋＨｚより高い高域に対しては別の消失フレーム補償方法を適用しても良い。

また、上記各実施の形態においては、チャネル内補償処理に必要なピッチパラメータやＬＰＣパラメータを現フレーム（補償フレーム）のモノラル復号信号から求めても良い。また、チャネル内相関は、現フレームと１フレーム前のモノラル復号信号とを用いて算出しても良い。このように、１フレーム前のステレオ復号信号の代わりに補償フレームのモノラル復号信号を用いることにより、より推定精度の高い補償のためのパラメータを得ることができる。

また、比較に用いる閾値、レベル等は、固定値であっても、条件等により適宜設定される可変の値であっても良く、比較が実行されるまでに予め設定された値であれば良い。

また、上記各実施の形態では、符号化側では、ステレオ信号符号化としてサイド信号を符号化し、復号側では、サイド信号符号化データを復号してステレオ復号信号を生成する場合を例に説明したが、ステレオ信号の符号化方法はこれに限らない。例えば、符号化側で、モノラル信号符号化部において符号化した後に、局部復号したモノラル復号信号と入力のステレオ信号（第１チャネル信号および第２チャネル信号）を符号化して得られるステレオ信号符号化データを復号側へ伝送し、復号側でそのステレオ信号符号化データおよびモノラル復号信号から、第１チャネル復号信号および第２チャネル復号信号を復号してステレオ復号信号として出力するようにしても良い。この場合でも、上記のいずれの実施の形態においても同様のフレーム補償を行うことができる。

また、上記各実施の形態に係る音声復号装置および音声符号化装置を、移動体通信システムにおいて使用される無線通信移動局装置や無線通信基地局装置等の無線通信装置に搭載することも可能である。

また、上記実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２００７年１２月２８日出願の特願２００７−３３９８５２及び２００８年５月３０日出願の特願２００８−１４３９３６に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。

本発明は、移動体通信システムやインターネットプロトコルを用いたパケット通信システム等における通信装置等の用途に適用できる。

本発明の実施の形態１に係る音声復号装置の主要な構成を示すブロック図 図１に示した補償信号切替判定部の内部の構成を示すブロック図 図１に示したチャネル間補償部の内部の構成を示すブロック図 図１に示したチャネル内補償部の内部の構成を示すブロック図 図４に示したチャネル信号波形外挿部の内部の構成を示すブロック図 本発明の実施の形態１に係るチャネル間補償の動作を概念的に説明するための図 本発明の実施の形態１に係るチャネル内補償の動作を概念的に説明するための図 本発明の実施の形態２に係るチャネル内補償部の内部の構成を示すブロック図 本発明の実施の形態３に係るチャネル内補償部の内部の構成を示すブロック図 本発明の実施の形態４に係る音声符号化装置の主要な構成を示すブロック図 本発明の実施の形態４に係る音声復号装置の主要な構成を示すブロック図 本発明の実施の形態５に係る音声符号化装置の主要な構成を示すブロック図 本発明の実施の形態５に係る音声復号装置の主要な構成を示すブロック図

Claims (8)

1. 音声符号化装置において第１チャネル信号と第２チャネル信号との加算を用いて得られるモノラル信号が符号化されたモノラル符号化データを復号してモノラル復号信号を生成するモノラル復号手段と、
   前記音声符号化装置において前記第１チャネル信号と前記第２チャネル信号との差分を用いて得られるサイド信号が符号化されたサイド信号符号化データを復号してサイド復号信号を生成し、前記モノラル復号信号と前記サイド復号信号とを用いて第１チャネル復号信号と第２チャネル復号信号とからなるステレオ復号信号を生成するステレオ復号手段と、
   過去フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いて算出されたチャネル間相関とチャネル内相関とをそれぞれ比較用閾値と比較する比較手段と、
   現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いてチャネル間補償を行い、チャネル間補償信号を生成するチャネル間補償手段と、
   現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号を用いてチャネル内補償を行い、チャネル内補償信号を生成するチャネル内補償手段と、
   前記比較手段における比較結果に基づいて前記チャネル間補償信号または前記チャネル内補償信号の何れかを補償信号として選択する補償信号選択手段と、
   現フレームの前記サイド信号符号化データが消失しなかった場合には前記ステレオ復号信号を出力し、現フレームの前記サイド信号符号化データが消失した場合には前記補償信号を出力する出力信号切替手段と、
   を具備するステレオ音声復号装置。
2. 前記比較手段は、
   過去フレームの前記モノラル復号信号と過去フレームの前記第１チャネル復号信号との相互相関と、過去フレームの前記モノラル復号信号と過去フレームの前記第２チャネル復号信号との相互相関と、の平均値を前記チャネル間相関として算出するチャネル間相関算出手段と、
   過去フレームの前記第１チャネル復号信号の自己相関と過去フレームの前記第２チャネル復号信号の自己相関との平均値を前記チャネル内相関として算出するチャネル内相関算出手段と、
   を具備し、
   前記補償信号選択手段は、
   前記チャネル間相関が第１の比較用閾値より低く、かつ前記チャネル内相関が第２の比較用閾値より高い場合には前記チャネル内補償信号を選択し、それ以外の場合には前記チャネル間補償信号を選択する、
   請求項１記載のステレオ音声復号装置。
3. 前記チャネル内補償手段は、
   過去フレームの前記第１チャネル復号信号の自己相関と前記第２チャネル復号信号の自己相関とを算出する自己相関算出手段と、
   過去フレームの前記第１チャネル復号信号と過去フレームの前記第２チャネル復号信号のうち自己相関が高い方を用いてチャネル内補償を行って個別チャネル内補償信号を生成する個別チャネル内補償手段と、
   前記個別チャネル内補償信号と、現フレームの前記モノラル復号信号とを用いて、過去フレームの前記第１チャネル復号信号と過去フレームの前記第２チャネル復号信号のうち自己相関が低い方の現フレームの補償信号を算出する他チャネル補償信号算出手段と、
   を具備する請求項１記載のステレオ音声復号装置。
4. 前記チャネル内補償手段は、
   過去フレームの前記ステレオ復号信号を用いてチャネル内補償を行って第１チャネル内補償信号と第２チャネル内補償信号とを生成する個別チャネル内補償手段と、
   前記第１チャネル内補償信号と前記第２チャネル内補償信号とを用い、前記モノラル信号を生成してモノラル補償信号とするモノラル補償信号生成手段と、
   前記モノラル補償信号と、現フレームの前記モノラル復号信号との類似度を算出する類似度算出手段と、
   前記類似度が第３閾値以上である場合には、前記第１チャネル内補償信号と前記第２チャネル内補償信号とからなるステレオ信号を前記チャネル内補償信号として選択し、前記類似度が第３閾値より低い場合には、現フレームの前記モノラル復号信号を複製して得られたステレオ信号をチャネル内補償信号として選択する第２選択手段と、
   を具備する請求項１記載のステレオ音声復号装置。
5. 第１チャネル信号と第２チャネル信号との加算を用いて得られるモノラル信号を符号化するモノラル信号符号化手段と、
   前記第１チャネル信号と前記第２チャネル信号との差分を用いて得られるサイド信号を符号化するサイド信号符号化手段と、
   過去フレームの前記モノラル信号と過去フレームのステレオ信号とを用いて算出されたチャネル間相関とチャネル内相関とをそれぞれ閾値と比較し、比較結果に基づき音声復号装置においてチャネル間補償またはチャネル内補償の何れを用いて消失フレーム補償を行うかを判定する判定手段と、
   を具備するステレオ音声符号化装置。
6. 前記判定手段における判定結果を、前記モノラル信号符号化手段により符号化されたモノラル信号符号化データに多重化する多重化手段、をさらに具備する請求項５に記載のステレオ音声符号化装置。
7. 前記判定手段における判定結果を、前記サイド信号符号化手段により符号化されたサイド信号符号化データに多重化する多重化手段、をさらに具備する請求項５に記載のステレオ音声符号化装置。
8. 音声符号化装置において第１チャネル信号と第２チャネル信号との加算を用いて得られるモノラル信号が符号化されたモノラル符号化データを復号してモノラル復号信号を生成するステップと、
   前記音声符号化装置において前記第１チャネル信号と前記第２チャネル信号との差分を用いて得られるサイド信号が符号化されたサイド信号符号化データを復号してサイド復号信号を生成し、前記モノラル復号信号と前記サイド復号信号とを用いて第１チャネル復号信号と第２チャネル復号信号とからなるステレオ復号信号を生成するステップと、
   過去フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いて算出されたチャネル間相関とチャネル内相関とをそれぞれ比較用閾値と比較する比較ステップと、
   現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号とを用いてチャネル間補償を行い、チャネル間補償信号を生成するステップと、
   現フレームの前記モノラル復号信号と過去フレームの前記ステレオ復号信号を用いてチャネル内補償を行い、チャネル内補償信号を生成するステップと、
   前記比較ステップにおける比較結果に基づいて前記チャネル間補償信号または前記チャネル内補償信号の何れかを補償信号として選択するステップと、
   現フレームの前記サイド信号符号化データが消失しなかった場合には前記ステレオ復号信号を出力し、現フレームの前記サイド信号符号化データが消失した場合には前記補償信号を出力するステップと、
   を有する消失フレーム補償方法。

Images