JPWO2008132850A1 - ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 - Google Patents
ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 Download PDFInfo
- Publication number
- JPWO2008132850A1 JPWO2008132850A1 JP2009511690A JP2009511690A JPWO2008132850A1 JP WO2008132850 A1 JPWO2008132850 A1 JP WO2008132850A1 JP 2009511690 A JP2009511690 A JP 2009511690A JP 2009511690 A JP2009511690 A JP 2009511690A JP WO2008132850 A1 JPWO2008132850 A1 JP WO2008132850A1
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frequency band
- band
- inter
- monaural signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
Abstract
ビットレートを抑えつつ、ステレオ音声信号のＩＣＰ（Inter-channel Prediction）予測性能を向上することができるステレオ音声符号化装置を提供する。この装置（１００）において、ＱＭＦ分析部（１０１）は、ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割して、モノラル信号生成部（１０４）は、分割周波数帯域の２つのチャネル信号の平均値をモノラル信号として生成し、パラメータ帯域構成部（１０２、１０５）それぞれは、分割周波数帯域の２つのチャネル信号およびモノラル信号それぞれに対し、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成し、ＩＣＰ分析部（１０６）は、分割周波数帯域のチャネル信号とモノラル信号とを用いてチャネル間予測を行う。
Description
本発明は、ステレオ音声信号に対し符号化を施すステレオ音声符号化装置、これに対応するステレオ音声復号装置、およびこれらの方法に関する。
携帯電話機による通話のように、移動体通信システムにおける音声通信では、現在、モノラル方式による通信（モノラル通信）が主流である。しかし、今後、第４世代の移動体通信システムのように、伝送レートのさらなる高ビットレート化が進めば、複数チャネルを伝送するだけの帯域を確保できるようになるため、音声通信においてもステレオ方式による通信（ステレオ通信）が普及することが期待される。
例えば、音楽をＨＤＤ（ハードディスク）搭載の携帯オーディオプレーヤに記録し、このプレーヤにステレオ用のイヤホンやヘッドフォン等を装着してステレオ音楽を楽しむユーザが増えている現状を考えると、将来、携帯電話機と音楽プレーヤとが結合し、ステレオ用のイヤホンやヘッドフォン等の装備を利用しつつ、ステレオ方式による音声通信を行うライフスタイルが一般的になることが予想される。
また、ステレオ通信が普及しても、依然としてモノラル通信も行われると予想される。何故なら、モノラル通信は低ビットレートであるため通信コストが安くなることが期待され、また、モノラル通信のみに対応した携帯電話機は回路規模が小さいため安価となり、高品質な音声通信を望まないユーザは、モノラル通信のみに対応した携帯電話機を購入するだろうからである。よって、一つの通信システム内において、ステレオ通信に対応した携帯電話機とモノラル通信に対応した携帯電話機とが混在するようになり、通信システムは、これらステレオ通信およびモノラル通信の双方に対応する必要性が生じる。さらに、移動体通信システムでは、無線信号によって通信データをやりとりするため、伝搬路環境によっては通信データの一部を失う場合がある。そこで、通信データの一部を失っても残りの受信データから元の通信データを復元することができる機能を携帯電話機が有していれば非常に有用である。ステレオ通信およびモノラル通信の双方に対応することができ、かつ、通信データの一部を失っても残りの受信データから元の通信データを復元することができる機能として、ステレオ信号とモノラル信号とからなるスケーラブル符号化がある。
このようなスケーラブル符号化において、モノラル信号からステレオ信号を合成する技術として、例えば非特許文献１記載のＭＰＥＧ２／４ ＡＡＣ(Moving Picture Experts Group ２／４ Advanced Audio Coding)に使用されるＩＳＣ（Intensity Stereo Coding：強度ステレオ符号化）、非特許文献２記載のＭＰＥＧ４エンハンストＡＡＣまたは非特許文献３記載のＭＰＥＧサラウンドに使用されるＢＣＣ（Binaural Cue Coding：バイノーラルキュー符号化）などがある。これらの符号化においては、モノラル信号からステレオ信号の左チャネル信号および右チャネル信号を再生する際は、復号される左右両チャネル信号のエネルギ比が、符号化側において符号化された元の左右両チャネル信号のエネルギ比と等しくなるように、モノラル信号のエネルギを復号される左右両チャネル信号に配分する。また、これらの符号化において音声幅を向上するために、逆相関器を用いて、再生信号に残響成分を加える。
また、モノラル信号からステレオ信号、例えば左チャネル信号および右チャネル信号を再生する別の方法としては、モノラル信号に対しＦＩＲ（Finite Impulse Response）フィルタリング処理を行ってステレオ信号の左右両チャネル信号を再構築するチャネル間予測（ＩＣＰ：Inter-channel Prediction）がある。ＩＣＰを利用して符号化を行うＩＣＰ符号化に用いられるＦＩＲフィルタのフィルタ係数は、モノラル信号とステレオ信号との平均二乗誤差が最小となるように、平均二乗誤差最小化（ＭＳＥ：Least mean squared error）により求められる。このようなＩＣＰ方式のステレオ符号化は、エネルギが低周波数に集中している信号、例えば音声信号の符号化に好適である。
さらに、ＩＣＰ符号化においてＩＣＰの予測性能を高めるために、ＩＣＰ符号化を、マルチバンド（Multiband）符号化、すなわち、ステレオ信号を、狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割して符号化を行う方式と組み合わせ、周波数帯域信号毎にＩＣＰ符号化を行う手法が考えられる。ナイキスト定理から分かるように、狭帯域の信号は広帯域の信号よりもより低い標本化周波数しか必要としないため、周波数帯域分割により、ダウンサンプリングされた各周波数帯域毎のステレオ信号は、より少ないサンプル数で表され、ＩＣＰ符号化におけるＩＣＰの予測性能を高めることができる。
「一般オーディオ符号化(General Audio Coding)-AAC、TwinVQ、BSAC」ISO/IEC 14496-3:part 3,subpart 4、2005年 「高品質オーディオのパラメータ符号化(Parametric Coding for High Quality Audio)」ISO/IEC 14496-3,2004年 「MPEGサラウンド」ISO/IEC 23003-1,2006年
「一般オーディオ符号化(General Audio Coding)-AAC、TwinVQ、BSAC」ISO/IEC 14496-3:part 3,subpart 4、2005年 「高品質オーディオのパラメータ符号化(Parametric Coding for High Quality Audio)」ISO/IEC 14496-3,2004年 「MPEGサラウンド」ISO/IEC 23003-1,2006年
しかしながら、ステレオ信号を、狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割し、周波数帯域毎にＩＣＰ符号化を行う方法は、周波数帯域の帯域数と同じセット数のＩＣＰフィルタ係数を伝送する必要があり、符号化ビットレートが増大するという問題がある。
本発明の目的は、ステレオ音声信号を周波数帯域信号に分割しＩＣＰ符号化を行う処理において、伝送が必要なＩＣＰフィルタ係数のセット数を低減し、ビットレートを抑えつつ、ステレオ音声信号のＩＣＰ性能を向上させることができるステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法を提供することである。
本発明のステレオ音声符号化装置は、ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割する周波数帯域分割手段と、前記周波数帯域毎の２つのチャネル信号を用いてモノラル信号を生成するモノラル信号生成手段と、周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するパラメータ帯域構成手段と、前記周波数帯域の２つのチャネル信号と、モノラル信号とを用いて前記パラメータ帯域毎にチャネル間予測分析を行い、チャネル間予測係数を得るチャネル間予測分析手段と、前記チャネル間予測係数を符号化するチャネル間予測係数符号化手段と、前記周波数帯域のモノラル信号を合成して全帯域のモノラル信号を生成する周波数帯域合成手段と、前記全帯域のモノラル信号を符号化するモノラル信号符号化手段と、を具備する構成を採る。
本発明のステレオ音声復号装置は、ステレオ音声信号を構成する２つのチャネル信号を用いて得られるモノラル信号が符号化されたモノラル信号符号化情報と、前記２つのチャネル信号と前記モノラル信号とが複数の周波数帯域信号に分割された２つのチャネル信号とモノラル信号とに対しチャネル間予測分析を行って得られたチャネル間予測係数が符号化されたチャネル間予測係数符号化情報と、を受信する受信手段と、前記モノラル信号符号化情報を復号し、前記モノラル信号を得るモノラル信号復号手段と、前記チャネル間予測係数符号化情報を復号し、前記チャネル間予測係数を得るチャネル間予測係数復号手段と、前記モノラル信号を複数の周波数帯域信号に分割する周波数帯域分割手段と、周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するパラメータ帯域構成手段と、前記周波数帯域のモノラル信号と、前記チャネル間予測係数とを用いて前記パラメータ帯域毎にチャネル間予測合成を行い、前記周波数帯域の２つのチャネル信号を得るチャネル間予測合成手段と、前記周波数帯域毎の２つのチャネル信号から全帯域の信号を生成する周波数帯域合成手段と、を具備する構成を採る。
本発明のステレオ音声符号化方法は、ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割するステップと、前記周波数帯域の２つのチャネル信号を用いてモノラル信号を生成するステップと、周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するステップと、前記周波数帯域の２つのチャネル信号と、モノラル信号とを用いて前記パラメータ帯域毎にチャネル間予測分析を行い、チャネル間予測係数を得るステップと、前記チャネル間予測係数を符号化するステップと、前記周波数帯域のモノラル信号を合成して全帯域のモノラル信号を生成するステップと、前記全帯域のモノラル信号を符号化するステップと、を有するようにした。
本発明によれば、符号化装置側において、伝送が必要なＩＣＰフィルタ係数のセット数を低減することでビットレートを抑えつつ、ステレオ音声信号に対するＩＣＰ予測性能を向上させることができる。そしてそれにより、復号装置側において、品質の良いステレオ音声信号を復号することが可能となる。
本発明は、時間領域のステレオ音声信号を複数の周波数帯域信号に分割し、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の周波数帯域をまとめてパラメータ帯域を構成し、パラメータ帯域毎にＩＣＰ分析を行うことを、主な特徴とするものである。これにより、符号化装置側においては、伝送が必要なＩＣＰフィルタ係数のセット数が低減されるため、ビットレートを抑えつつ、ステレオ音声信号に対するＩＣＰ予測性能を向上させることが可能となる。そしてそれにより、復号装置側においては、品質の良いステレオ音声信号を復号することが可能となるものである。
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係るステレオ音声符号化装置１００の主要な構成を示すブロック図である。以下、ステレオ信号として左チャネルおよび右チャネルの２つのチャネルからなる場合を例にとって説明する。なお、左チャネル、右チャネル、Ｌ、Ｒ、という表記は、説明の便宜上の名称であって、必ずしも、左、右、という位置的条件を限定するものではない。
図１は、本発明の実施の形態１に係るステレオ音声符号化装置１００の主要な構成を示すブロック図である。以下、ステレオ信号として左チャネルおよび右チャネルの２つのチャネルからなる場合を例にとって説明する。なお、左チャネル、右チャネル、Ｌ、Ｒ、という表記は、説明の便宜上の名称であって、必ずしも、左、右、という位置的条件を限定するものではない。
図１において、ステレオ音声符号化装置１００は、ＱＭＦ(Quadrature Mirror Filter:直交鏡像フィルタ)分析部１０１、パラメータ帯域構成部１０２、心理音響分析部１０３、モノラル信号生成部１０４、パラメータ帯域構成部１０５、ＩＣＰ分析部１０６、ＩＣＰ係数量子化部１０７、ＱＭＦ合成部１０８、モノラル信号符号化部１０９、および多重部１１０を備える。
ＱＭＦ分析部１０１は、ＱＭＦ分析フィルタバンクからなり、ステレオ音声符号化装置１００に入力される時間領域の左チャネル信号Ｌおよび右チャネル信号Ｒを、原信号、すなわち時間領域の左チャネル信号Ｌおよび右チャネル信号Ｒの狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割してパラメータ帯域構成部１０２、心理音響分析部１０３、およびモノラル信号生成部１０４に出力する。
パラメータ帯域構成部１０２は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２の連続する複数の周波数帯域をまとめてパラメータ帯域を構成し、構成された複数のパラメータ帯域信号をＩＣＰ分析部１０６に出力する。パラメータ帯域とは、同一の１組のＩＣＰ係数を用いてＩＣＰ分析が行われる複数の周波数帯域の集合を示し、パラメータ帯域構成部１０２は、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の周波数帯域をまとめてパラメータ帯域を構成する。
心理音響分析部１０３は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２に対し心理音響分析を行って、チャネル間予測係数を算出するための平均二乗誤差最小化処理において、エネルギが高い周波数帯域ほど誤差評価に対する寄与をより強調するような誤差重み係数ｗを生成し、ＩＣＰ分析部１０６に出力する。
モノラル信号生成部１０４は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２の平均値をモノラル信号Ｍ２として生成し、パラメータ帯域構成部１０５およびＱＭＦ合成部１０８に出力する。
パラメータ帯域構成部１０５は、モノラル信号生成部１０４から入力されるモノラル信号Ｍ２を構成する複数の周波数帯域のうち、連続する複数を用いてパラメータ帯域を構成し、構成された複数のパラメータ帯域をＩＣＰ分析部１０６に出力する。
ＩＣＰ分析部１０６は、心理音響分析部１０３から入力される誤差重み係数ｗ、パラメータ帯域構成部１０２から入力される複数のパラメータ帯域における左チャネル信号Ｌ２および右チャネル信号Ｒ２、およびパラメータ帯域構成部１０５から入力される複数のパラメータ帯域におけるモノラル信号Ｍ２を用いてパラメータ帯域毎にＩＣＰ分析を行い、得られるＩＣＰ係数ｈｐｂをＩＣＰ係数量子化部１０７に出力する。
ＩＣＰ係数量子化部１０７は、ＩＣＰ分析部１０６から入力されるＩＣＰ係数を量子化し、得られるＩＣＰ係数符号化パラメータを多重部１１０に出力する。
ＱＭＦ合成部１０８は、ＱＭＦ合成フィルタバンクからなり、モノラル信号生成部１０４から入力される分割周波数帯域のモノラル信号Ｍ２を用いた合成を行うことで全帯域のモノラル信号Ｍを生成してモノラル信号符号化部１０９に出力する。
モノラル信号符号化部１０９は、ＱＭＦ合成部１０８から入力されるモノラル信号Ｍを符号化し、得られるモノラル信号符号化パラメータを多重部１１０に出力する。
多重部１１０は、ＩＣＰ係数量子化部１０７から入力されるＩＣＰ係数符号化パラメータと、モノラル信号符号化部１０９から入力されるモノラル信号符号化パラメータとを多重し、得られるビットストリームを後述のステレオ音声復号装置２００に出力する。
図２は、ステレオ音声符号化装置１００の各部の動作を説明するための図である。以下、図２を参照しながら、図１に示したステレオ音声符号化装置１００の各部の動作について詳細に説明する。
ＱＭＦ分析部１０１は、ステレオ音声符号化装置１００に入力される左チャネル信号Ｌ（ｎ）および右チャネル信号Ｒ（ｎ）を複数の周波数帯域信号に分割して、図２Ａに示すような左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）を得る。ここで、ｎは信号のサンプル番号を示し、ｂは複数の周波数帯域の帯域番号を示す（図２Ｂ、図２Ｃ、図２Ｄも同様）。
パラメータ帯域構成部１０２は、ＱＭＦ分析部１０１で生成された、図２Ａに示すような左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）の複数の周波数帯域を用いて、図２Ｂに示すようなパラメータ帯域ｐｂ１〜ｐｂ４を構成する。図２Ｂに示すように、パラメータ帯域構成部１０２は、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の周波数帯域をまとめてパラメータ帯域を構成する。
心理音響分析部１０３は、ＱＭＦ分析部１０１で生成された左チャネル信号Ｌ２および右チャネル信号Ｒ２に対し心理音響分析を行って誤差重み係数ｗを生成する。心理音響分析部１０３で生成される誤差重み係数ｗの詳細については後述する。
モノラル信号生成部１０４は、ＱＭＦ分析部１０１で生成された左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）を用いて、下記の式（１）に従ってモノラル信号Ｍ２（ｎ，ｂ）を生成する。
Ｍ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）＋Ｒ２（ｎ，ｂ））／２ …（１）
Ｍ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）＋Ｒ２（ｎ，ｂ））／２ …（１）
図２Ｃは、モノラル信号生成部１０４で生成されるモノラル信号Ｍ２（ｎ，ｂ）を示す図である。図２Ａおよび図２Ｃに示すように、モノラル信号Ｍ２（ｎ，ｂ）を構成する複数の周波数帯域は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）を構成する複数の周波数帯域と同様である。
パラメータ帯域構成部１０５は、モノラル信号生成部１０４で生成されるモノラル信号Ｍ２（ｎ，ｂ）の複数の周波数帯域を用いて複数のパラメータ帯域を構成する。図２Ｄは、パラメータ帯域構成部１０５で生成されるモノラル信号Ｍ２（ｎ，ｂ）の複数のパラメータ帯域を示す図である。図２Ｂおよび図２Ｄに示すように、モノラル信号Ｍ２（ｎ，ｂ）のパラメータ帯域を構成する方法は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）のパラメータ帯域を構成する方法と同様である。すなわち、モノラル信号Ｍ２（ｎ，ｂ）の各パラメータ帯域に含まれる複数の周波数帯域は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）の各パラメータ帯域に含まれる複数の周波数帯域と同様である。
ＩＣＰ分析部１０６は、パラメータ帯域構成部１０２から入力される分割周波数帯域の左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）、およびパラメータ帯域構成部１０５から入力される分割周波数帯域のモノラル信号Ｍ２（ｎ，ｂ）を用いてパラメータ帯域毎にＩＣＰ分析を行い、下記の式（２）に示す平均二乗誤差ξ（ｐｂ）を最小にするＩＣＰ係数ｈｐｂを求める。
式（２）において、ｓ２（ｎ，ｂ）は、分割周波数帯域の左チャネル信号Ｌ２（ｎ，ｂ）、または右チャネル信号Ｒ２（ｎ，ｂ）を示し、ｍ（ｎ，ｂ）は分割周波数帯域のモノラル信号Ｍ２（ｎ，ｂ）を示し、ｉはＦＩＲフィルタ係数の次数を示し、ｐｂはパラメータ帯域の番号を示す。式（２）に示すように、ＩＣＰ分析部１０６は、各パラメータ帯域ｐｂにおいて、分割周波数帯域のモノラル信号Ｍ２（ｎ，ｂ）から分割周波数帯域の左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）を予測するＦＩＲフィルタ係数ｈｐｂ（ｉ）をＩＣＰ係数として求める。また、式（２）に示すように、同一のパラメータ帯域に含まれる複数の周波数帯域は同一の１組のＩＣＰ係数を共有する。式（２）を解くと式（３）に示すｈｐｂが得られる。
式（３）において、Ｔ（ｂ）およびｔ（ｂ）は、下記の式（４）および式（５）に示すものである。
上記の式（２）〜（５）を用いたＩＣＰ分析において、下記の式（６）に示す誤差重み係数ｗｔ（ｂ）を用いて平均二乗誤差最小化処理を調整する。
式（６）において、α、βは、チューニング係数である。
本実施の形態に係るＩＣＰ分析部１０６において用いられる誤差重み係数ｗは、心理音響分析部１０３で生成されたものであり、心理音響分析部１０３は、入力される信号のエネルギが高い帯域よりもエネルギが低い帯域が聴覚的により重要であることを考慮して、平均二乗誤差最小化処理の誤差評価に対する、エネルギがより低い帯域での寄与を強調するような誤差重み係数ｗを求める。式（６）に示す誤差重み係数ｗｔはその一例である。
ＩＣＰ係数量子化部１０７は、ＩＣＰ分析部１０６で生成されるＩＣＰ係数ｈｐｂを量子化し、ＩＣＰ係数符号化パラメータを得る。
ＱＭＦ合成部１０８は、モノラル信号生成部１０４で生成される分割周波数帯域毎のモノラル信号Ｍ２（ｎ，ｂ）を全て用いて合成し、全帯域のモノラル信号Ｍ（ｎ）を生成する。
モノラル信号符号化部１０９は、ＱＭＦ合成部１０８で生成されるモノラル信号Ｍ（ｎ）に対しＣＥＬＰ（Code Excited Linear Prediction）方式の符号化を行い、モノラル信号符号化パラメータを得る。
多重部１１０は、ＩＣＰ係数量子化部１０７で生成されるＩＣＰ係数符号化パラメータと、モノラル信号符号化部１０９で生成されるモノラル信号符号化パラメータとを多重し、得られるビットストリームをステレオ音声復号装置２００に出力する。
図３は、本実施の形態に係るステレオ音声復号装置２００の主要な構成を示すブロック図である。
図３において、ステレオ音声復号装置２００は、分離部２０１、モノラル信号復号部２０２、ＱＭＦ分析部２０３、パラメータ帯域構成部２０４、ＩＣＰ係数復号部２０５、ＩＣＰ合成部２０６、およびＱＭＦ合成部２０７を備える。
分離部２０１は、ステレオ音声符号化装置１００から伝送されるビットストリームをモノラル信号符号化パラメータおよびＩＣＰ係数符号化パラメータに分離し、モノラル信号復号部２０２およびＩＣＰ係数復号部２０５それぞれに出力する。
モノラル信号復号部２０２は、分離部２０１から入力されるモノラル信号符号化パラメータを用いてＣＥＬＰ方式の復号を行い、得られる復号モノラル信号Ｍ’（ｎ）をＱＭＦ分析部２０３に出力するとともに、必要に応じてステレオ音声復号装置２００の外部に出力する。
ＱＭＦ分析部２０３は、ＱＭＦ分析フィルタバンクからなり、モノラル信号復号部２０２から入力される時間領域のモノラル信号Ｍ’（ｎ）を、狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割して、複数の周波数帯域の復号モノラル信号Ｍ２’（ｎ、ｂ）をパラメータ帯域構成部２０４に出力する。
パラメータ帯域構成部２０４は、ステレオ音声符号化装置１００のパラメータ帯域構成部１０５と同様な処理を行い、ＱＭＦ分析部２０３から入力される復号モノラル信号Ｍ２’（ｎ，ｂ）の複数の周波数帯域を用いて複数のパラメータ帯域を構成し、ＩＣＰ合成部２０６に出力する。
ＩＣＰ係数復号部２０５は、分離部２０１から入力されるＩＣＰ係数符号化パラメータを復号し、得られる復号ＩＣＰ係数ｈｐｂ’をＩＣＰ合成部２０６に出力する。
ＩＣＰ合成部２０６は、パラメータ帯域構成部２０４から入力される分割周波数帯域の復号モノラル信号Ｍ２’（ｎ，ｂ）、およびＩＣＰ係数復号部２０５から入力される復号ＩＣＰ係数ｈｐｂ’を用いてパラメータ帯域毎にＩＣＰ合成処理を行い、得られる分割周波数帯域の左チャネル信号Ｌ２’（ｎ，ｂ）および右チャネル信号Ｒ２’（ｎ，ｂ）をＱＭＦ合成部２０７に出力する。
ＱＭＦ合成部２０７は、ＱＭＦ合成フィルタバンクからなり、ＩＣＰ合成部２０６から入力される分割周波数帯域毎の左チャネル信号Ｌ２’（ｎ，ｂ）および右チャネル信号Ｒ２’（ｎ，ｂ）を全て用いて、全帯域の左チャネル信号Ｌ’（ｎ）および右チャネル信号Ｒ’（ｎ）を生成して出力する。
このように、本実施の形態によれば、ステレオ音声符号化装置は、時間領域のステレオ信号を広帯域よりも少ないサンプル数しか必要としない複数の狭帯域の周波数帯域信号に分割し、さらに連続する複数の周波数帯域を用いて構成されるパラメータ帯域を単位としてチャネル間予測を行う。したがって、連続する複数の周波数帯域において１組のチャネル間予測係数を共用することにより、周波数帯域毎にチャネル間予測を行う場合よりも、伝送が必要なチャネル予測係数セット数を低減することで、ステレオ音声符号化のビットレートをさらに抑えることができる。また、ステレオ音声符号化装置は、パラメータ帯域を構成する際に、周波数が低いほど聴覚的により重要であることを考慮し、周波数が低いほどより少ない帯域数の周波数帯域が含まれるようにパラメータ帯域を構成し、予測性能がより高いチャネル間予測を行うため、ステレオ音声符号化のビットレートを抑えつつ、符号化性能をさらに向上することができる。そして本実施の形態によるステレオ音声復号装置は、品質の良い音声信号を復号することができる。
また、本実施の形態によれば、チャネル間予測を行う際に、エネルギが高い周波数帯域ほど聴覚的により重要であることを考慮して、エネルギが高い周波数帯域ほど平均二乗誤差最小化処理の誤差評価に対する寄与をより強調する誤差重み係数を用いるため、チャネル間予測性能をさらに向上し、ステレオ音声符号化の性能をさらに向上することができ、復号装置において品質の良い復号音声信号を得ることができる。
なお、本実施の形態では、エネルギが高い周波数帯域ほど平均二乗誤差最小化処理の誤差評価に対する寄与を強調するように誤差重み係数ｗを求める場合を例にとって説明したが、本発明はこれに限定されず、エネルギが高い周波数帯域ほど、より高いＩＣＰ次数を用いてＩＣＰ分析を行っても良い。これにより、ビットレートを抑えつつＩＣＰ性能、すなわちステレオ音声符号化性能を向上することができ、復号装置において品質の良い復号音声信号を得ることができる。
また、本実施の形態では、モノラル信号生成時に、左チャネル信号Ｌと右チャネル信号Ｒとの時間遅延差を考慮しない場合を例にとって説明したが、本発明はこれに限定されず、この時間遅延差を補正することによりステレオ音声符号化の精度をさらに向上することができる。図４は、このように時間遅延差を補正するステレオ音声符号化装置３００の主要な構成を示すブロック図である。ステレオ音声符号化装置３００は、本実施の形態に係るステレオ音声符号化装置１００（図１参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付されている。ステレオ音声符号化装置３００は、位相差算出部３０１をさらに備える点においてステレオ音声符号化装置１００と相違し、また、モノラル信号生成部３０４の処理の一部において、ステレオ音声符号化装置１００のモノラル信号生成部１０４と相違する。
同じ音源からの音声が左チャネルおよび右チャネルという異なる経路を介してステレオ音声符号化システムにおける同一のマイクロホンに到達するまでには、異なる伝播時間がかかるため、左チャンネル信号Ｌと右チャンネル信号Ｒとに時間遅延差が生じる。この時間遅延差がＱＭＦ処理後の分割周波数帯域信号での１サンプル遅延内に収まれば、この時間遅延差はＬ２’（ｎ，ｂ）とＲ２’（ｎ，ｂ）との間の位相差の形式で表すことができ、位相差算出部３０１は、下記の式（７）に基づきこの位相差Ｄを算出し、モノラル信号生成部３０４に出力する。
式（７）において、Ｄは、Ｌ２’（ｎ，ｂ）とＲ２’（ｎ，ｂ）との間の位相差を示す。モノラル信号生成部３０４は、下記の式（８）に従い、式（７）に示した位相差Ｄが除去されたモノラル信号Ｍ２を生成する。これによりＩＣＰ性能をさらに向上し、ステレオ音声符号化性能をさらに向上することができる。
また、本実施の形態では、モノラル信号を用いて左チャネル信号または右チャネル信号のチャネル間予測を行う場合を例にとって説明したが、本発明はこれに限定されず、左チャネル信号と右チャネル信号との差分信号の二分の一をサイド信号として求めて、モノラル信号からのサイド信号のチャネル間予測を行っても良い。かかる場合、ステレオ音声符号化装置４００は図５に示すような構成をとり、ステレオ音声復号装置５００は図６に示すような構成をとる。ステレオ音声符号化装置４００およびステレオ音声復号装置５００は、ステレオ音声符号化装置１００（図１参照）およびステレオ音声復号装置２００（図３参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付されている。ステレオ音声符号化装置４００は、サイド信号生成部４０１をさらに備える点が主としてステレオ音声符号化装置１００と相違し、ステレオ音声復号装置５００は、加算部５０１および減算部５０２をさらに備える点が主としてステレオ音声復号装置２００と相違する。
ステレオ音声符号化装置４００において、サイド信号生成部４０１は、ＱＭＦ分析部１０１から入力される左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）を用いて下記の式（９）に従いサイド信号Ｆ２（ｎ，ｂ）を求める。
Ｆ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）−Ｒ２（ｎ，ｂ））／２ …（９）
Ｆ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）−Ｒ２（ｎ，ｂ））／２ …（９）
ステレオ音声復号装置５００において、ＩＣＰ合成部２０６ａのＩＣＰ合成処理により生成される信号は復号サイド信号Ｆ２’（ｎ，ｂ）であり、ＱＭＦ合成部２０７ａの合成処理により生成される信号は復号サイド信号Ｆ’（ｎ）である。また、加算部５０１および減算部５０２は、下記の式（１０）および式（１１）それぞれに従い左チャネル信号Ｌ’（ｎ）および右チャネル信号Ｒ’（ｎ）を求めて出力する。
Ｌ’（ｎ）＝Ｍ’（ｎ）＋Ｆ’（ｎ） …（１０）
Ｒ’（ｎ）＝Ｍ’（ｎ）−Ｆ’（ｎ） …（１１）
Ｌ’（ｎ）＝Ｍ’（ｎ）＋Ｆ’（ｎ） …（１０）
Ｒ’（ｎ）＝Ｍ’（ｎ）−Ｆ’（ｎ） …（１１）
以上のような構成としても、上記と同様に、符号化装置においては符号化性能を向上することができ、復号装置においては品質の良い音声信号を復号することが可能となる。
（実施の形態２）
図７は、本発明の実施の形態２に係るステレオ音声符号化装置６００の主要な構成を示すブロック図である。なお、ステレオ音声符号化装置６００は、実施の形態１に示したステレオ音声符号化装置１００（図１参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
図７は、本発明の実施の形態２に係るステレオ音声符号化装置６００の主要な構成を示すブロック図である。なお、ステレオ音声符号化装置６００は、実施の形態１に示したステレオ音声符号化装置１００（図１参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
ステレオ音声符号化装置６００は、ピッチ検出部６０１をさらに備え、ステレオ音声符号化装置１００におけるＩＣＰ分析部１０６およびＩＣＰ係数量子化部１０７の代わりに、ＩＣＰ／ＩＬＤ（Inter-channel Level Difference）分析部６０６およびＩＣＰ係数／ＩＬＤ量子化部６０７を備える点において、ステレオ音声符号化装置１００と相違する。また、ステレオ音声符号化装置６００のパラメータ帯域構成部６０２と、ステレオ音声符号化装置１００のパラメータ帯域構成部１０２とは処理の一部において相違し、それを示すために異なる符号を付す。
ピッチ検出部６０１は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２の複数の周波数帯域信号それぞれに周期性のある波形（ピッチ周期的な波形）またはピッチパルス的な波形が含まれているか否かを検出し、そのような波形が含まれている周波数帯域を「ピッチ状」、含まれていない周波数帯域を「雑音状」と分類し、分類結果をパラメータ帯域構成部６０２およびＩＣＰ／ＩＬＤ分析部６０６に出力する。
パラメータ帯域構成部６０２は、ピッチ検出部６０１から入力される周波数帯域の分類結果に基づき、「ピッチ状」と分類され、かつ連続する複数の周波数帯域を用いてパラメータ帯域を構成し、構成された複数のパラメータ帯域をＩＣＰ／ＩＬＤ分析部６０６に出力する。
図８は、パラメータ帯域構成部６０２において得られるパラメータ帯域の構成結果を例示する図である。図８において、パラメータ帯域構成部６０２は、連続する「ピッチ状」の複数の周波数帯域を用いてパラメータ帯域ｐｂ１〜ｐｂ４を構成する。
再び図７に戻って、ＩＣＰ／ＩＬＤ分析部６０６は、ピッチ検出部６０１から入力される周波数帯域の分類結果に基づき、「ピッチ状」と分類された周波数帯域に対してはステレオ音声符号化装置１００のＩＣＰ分析部１０６におけるＩＣＰ分析処理と同様な処理を行い、「雑音状」と分類された周波数帯域に対してはＩＬＤ分析を行う。ＩＬＤ分析とは、左チャネル信号と右チャネル信号とのエネルギ比を算出する処理であり、エネルギ比のみを量子化して伝送すればよいため、ＩＣＰ分析よりもビットレートをより低減できる。本実施の形態において、ＩＣＰ／ＩＬＤ分析部６０６は下記の式（１２）に従って「雑音状」の周波数帯域の左チャネル信号と右チャネル信号とのエネルギ比を算出する。そして、ＩＣＰ係数／ＩＬＤ量子化部６０７において、ＩＣＰ／ＩＬＤ分析部６０６から得られた、ＩＣＰ係数およびＩＬＤパラメータ(エネルギ比)を量子化して多重部１１０ａに出力する。
ステレオ音声符号化装置６００におけるＩＬＤ分析処理に対応して、本実施の形態に係るステレオ音声復号装置においては下記の式（１３）に従ってＩＬＤ合成処理を行い分割周波数帯域の左チャネル信号Ｌ２’（ｎ，ｂ）を再構築する。
このように、本実施の形態によれば、ステレオ音声符号化装置は、波形の時間的変化や位相情報が符号化に重要な「ピッチ状」の周波数帯域に対してはパラメータ帯域毎にＩＣＰ分析を行い、「雑音状」の周波数帯域に対しては、波形の時間的変化や位相情報はあまり重要でなく、より少ない情報量で符号化できるＩＬＤ分析を行うようにすることで、符号化性能を損なうことなく、ステレオ音声符号化のビットレートをさらに低減することができる。
以上、本発明の実施の形態について説明した。
なお、上記各実施の形態において、ＬとＲは逆でもよく、また、モノラル信号ＭはＬとＲとの平均値としたが、これに限定されず、ＬとＲとを用いて適切に求められる代表値であれば良い。
また、上記各実施の形態におけるステレオ音声復号装置は、上記各実施の形態におけるステレオ音声符号化装置から伝送されたビットストリームを用いて処理を行うとしたが、本発明はこれに限定されず、必要なパラメータやデータを含むビットストリームであれば、必ずしも上記各実施の形態におけるステレオ音声符号化装置からのビットストリームでなくても処理は可能である。
本発明に係るステレオ音声符号化装置およびステレオ音声復号装置は、移動体通信システムにおける通信端末装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置を提供することができる。また、本発明に係るステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法は、有線方式の通信システムにおいても利用可能である。
なお、上記各実施の形態では、本発明をモノラル−ステレオのスケーラブル符号化に適用する構成を例にとって説明したが、ステレオ信号に対して帯域分割符号化を行う場合の帯域別の各符号化／復号に本発明を適用するような構成としても良い。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るステレオ音声符号化方法の処理のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明のステレオ音声符号化装置等と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されていても良いし、一部または全てを含むように１チップ化されていても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
２００７年４月２５日出願の特願２００７−１１５６６０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係るステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法は、移動体通信システムにおける通信端末装置等の用途に適用できる。
要約書
ビットレートを抑えつつ、ステレオ音声信号のＩＣＰ（Inter-channel Prediction）予測性能を向上することができるステレオ音声符号化装置を提供する。この装置（１００）において、ＱＭＦ分析部（１０１）は、ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割して、モノラル信号生成部（１０４）は、分割周波数帯域の２つのチャネル信号の平均値をモノラル信号として生成し、パラメータ帯域構成部（１０２、１０５）それぞれは、分割周波数帯域の２つのチャネル信号およびモノラル信号それぞれに対し、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成し、ＩＣＰ分析部（１０６）は、分割周波数帯域のチャネル信号とモノラル信号とを用いてチャネル間予測を行う。
要約書
ビットレートを抑えつつ、ステレオ音声信号のＩＣＰ（Inter-channel Prediction）予測性能を向上することができるステレオ音声符号化装置を提供する。この装置（１００）において、ＱＭＦ分析部（１０１）は、ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割して、モノラル信号生成部（１０４）は、分割周波数帯域の２つのチャネル信号の平均値をモノラル信号として生成し、パラメータ帯域構成部（１０２、１０５）それぞれは、分割周波数帯域の２つのチャネル信号およびモノラル信号それぞれに対し、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成し、ＩＣＰ分析部（１０６）は、分割周波数帯域のチャネル信号とモノラル信号とを用いてチャネル間予測を行う。
本発明は、ステレオ音声信号に対し符号化を施すステレオ音声符号化装置、これに対応するステレオ音声復号装置、およびこれらの方法に関する。
携帯電話機による通話のように、移動体通信システムにおける音声通信では、現在、モノラル方式による通信（モノラル通信）が主流である。しかし、今後、第４世代の移動体通信システムのように、伝送レートのさらなる高ビットレート化が進めば、複数チャネルを伝送するだけの帯域を確保できるようになるため、音声通信においてもステレオ方式による通信（ステレオ通信）が普及することが期待される。
例えば、音楽をＨＤＤ（ハードディスク）搭載の携帯オーディオプレーヤに記録し、このプレーヤにステレオ用のイヤホンやヘッドフォン等を装着してステレオ音楽を楽しむユーザが増えている現状を考えると、将来、携帯電話機と音楽プレーヤとが結合し、ステレオ用のイヤホンやヘッドフォン等の装備を利用しつつ、ステレオ方式による音声通信を行うライフスタイルが一般的になることが予想される。
また、ステレオ通信が普及しても、依然としてモノラル通信も行われると予想される。何故なら、モノラル通信は低ビットレートであるため通信コストが安くなることが期待され、また、モノラル通信のみに対応した携帯電話機は回路規模が小さいため安価となり、高品質な音声通信を望まないユーザは、モノラル通信のみに対応した携帯電話機を購入するだろうからである。よって、一つの通信システム内において、ステレオ通信に対応した携帯電話機とモノラル通信に対応した携帯電話機とが混在するようになり、通信システムは、これらステレオ通信およびモノラル通信の双方に対応する必要性が生じる。さらに、移動体通信システムでは、無線信号によって通信データをやりとりするため、伝搬路環境によっては通信データの一部を失う場合がある。そこで、通信データの一部を失っても残りの受信データから元の通信データを復元することができる機能を携帯電話機が有していれば非常に有用である。ステレオ通信およびモノラル通信の双方に対応することができ、かつ、通信データの一部を失っても残りの受信データから元の通信データを復元することができる機能として、ステレオ信号とモノラル信号とからなるスケーラブル符号化がある。
このようなスケーラブル符号化において、モノラル信号からステレオ信号を合成する技術として、例えば非特許文献１記載のＭＰＥＧ２／４ ＡＡＣ(Moving Picture Experts Group ２／４ Advanced Audio Coding)に使用されるＩＳＣ（Intensity Stereo Coding：強度ステレオ符号化）、非特許文献２記載のＭＰＥＧ４エンハンストＡＡＣまたは非特許文献３記載のＭＰＥＧサラウンドに使用されるＢＣＣ（Binaural Cue Coding：バイノーラルキュー符号化）などがある。これらの符号化においては、モノラル信号からステレオ信号の左チャネル信号および右チャネル信号を再生する際は、復号される左右両チャネル信号のエネルギ比が、符号化側において符号化された元の左右両チャネル信号のエネルギ比と等しくなるように、モノラル信号のエネルギを復号される左右両チャネル信号に配分する。また、これらの符号化において音声幅を向上するために、逆相関器を用いて、再生信号に残響成分を加える。
また、モノラル信号からステレオ信号、例えば左チャネル信号および右チャネル信号を再生する別の方法としては、モノラル信号に対しＦＩＲ（Finite Impulse Response）フ
ィルタリング処理を行ってステレオ信号の左右両チャネル信号を再構築するチャネル間予測（ＩＣＰ：Inter-channel Prediction）がある。ＩＣＰを利用して符号化を行うＩＣＰ符号化に用いられるＦＩＲフィルタのフィルタ係数は、モノラル信号とステレオ信号との平均二乗誤差が最小となるように、平均二乗誤差最小化（ＭＳＥ：Least mean squared error）により求められる。このようなＩＣＰ方式のステレオ符号化は、エネルギが低周波数に集中している信号、例えば音声信号の符号化に好適である。
ィルタリング処理を行ってステレオ信号の左右両チャネル信号を再構築するチャネル間予測（ＩＣＰ：Inter-channel Prediction）がある。ＩＣＰを利用して符号化を行うＩＣＰ符号化に用いられるＦＩＲフィルタのフィルタ係数は、モノラル信号とステレオ信号との平均二乗誤差が最小となるように、平均二乗誤差最小化（ＭＳＥ：Least mean squared error）により求められる。このようなＩＣＰ方式のステレオ符号化は、エネルギが低周波数に集中している信号、例えば音声信号の符号化に好適である。
さらに、ＩＣＰ符号化においてＩＣＰの予測性能を高めるために、ＩＣＰ符号化を、マルチバンド（Multiband）符号化、すなわち、ステレオ信号を、狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割して符号化を行う方式と組み合わせ、周波数帯域信号毎にＩＣＰ符号化を行う手法が考えられる。ナイキスト定理から分かるように、狭帯域の信号は広帯域の信号よりもより低い標本化周波数しか必要としないため、周波数帯域分割により、ダウンサンプリングされた各周波数帯域毎のステレオ信号は、より少ないサンプル数で表され、ＩＣＰ符号化におけるＩＣＰの予測性能を高めることができる。
「一般オーディオ符号化(General Audio Coding)-AAC、TwinVQ、BSAC」ISO/IEC 14496-3:part 3,subpart 4、2005年 「高品質オーディオのパラメータ符号化(Parametric Coding for High Quality Audio)」ISO/IEC 14496-3,2004年 「MPEGサラウンド」ISO/IEC 23003-1,2006年
「一般オーディオ符号化(General Audio Coding)-AAC、TwinVQ、BSAC」ISO/IEC 14496-3:part 3,subpart 4、2005年 「高品質オーディオのパラメータ符号化(Parametric Coding for High Quality Audio)」ISO/IEC 14496-3,2004年 「MPEGサラウンド」ISO/IEC 23003-1,2006年
しかしながら、ステレオ信号を、狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割し、周波数帯域毎にＩＣＰ符号化を行う方法は、周波数帯域の帯域数と同じセット数のＩＣＰフィルタ係数を伝送する必要があり、符号化ビットレートが増大するという問題がある。
本発明の目的は、ステレオ音声信号を周波数帯域信号に分割しＩＣＰ符号化を行う処理において、伝送が必要なＩＣＰフィルタ係数のセット数を低減し、ビットレートを抑えつつ、ステレオ音声信号のＩＣＰ性能を向上させることができるステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法を提供することである。
本発明のステレオ音声符号化装置は、ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割する周波数帯域分割手段と、前記周波数帯域毎の２つのチャネル信号を用いてモノラル信号を生成するモノラル信号生成手段と、周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するパラメータ帯域構成手段と、前記周波数帯域の２つのチャネル信号と、モノラル信号とを用いて前記パラメータ帯域毎にチャネル間予測分析を行い、チャネル間予測係数を得るチャネル間予測分析手段と、前記チャネル間予測係数を符号化するチャネル間予測係数符号化手段と、前記周波数帯域のモノラル信号を合成して全帯域のモノラル信号を生成する周波数帯域合成手段と、前記全帯域のモノラル信号を符号化するモノラル信号符号化手段と、を具備する構成を採る。
本発明のステレオ音声復号装置は、ステレオ音声信号を構成する２つのチャネル信号を用いて得られるモノラル信号が符号化されたモノラル信号符号化情報と、前記２つのチャネル信号と前記モノラル信号とが複数の周波数帯域信号に分割された２つのチャネル信号とモノラル信号とに対しチャネル間予測分析を行って得られたチャネル間予測係数が符号化されたチャネル間予測係数符号化情報と、を受信する受信手段と、前記モノラル信号符号化情報を復号し、前記モノラル信号を得るモノラル信号復号手段と、前記チャネル間予
測係数符号化情報を復号し、前記チャネル間予測係数を得るチャネル間予測係数復号手段と、前記モノラル信号を複数の周波数帯域信号に分割する周波数帯域分割手段と、周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するパラメータ帯域構成手段と、前記周波数帯域のモノラル信号と、前記チャネル間予測係数とを用いて前記パラメータ帯域毎にチャネル間予測合成を行い、前記周波数帯域の２つのチャネル信号を得るチャネル間予測合成手段と、前記周波数帯域毎の２つのチャネル信号から全帯域の信号を生成する周波数帯域合成手段と、を具備する構成を採る。
測係数符号化情報を復号し、前記チャネル間予測係数を得るチャネル間予測係数復号手段と、前記モノラル信号を複数の周波数帯域信号に分割する周波数帯域分割手段と、周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するパラメータ帯域構成手段と、前記周波数帯域のモノラル信号と、前記チャネル間予測係数とを用いて前記パラメータ帯域毎にチャネル間予測合成を行い、前記周波数帯域の２つのチャネル信号を得るチャネル間予測合成手段と、前記周波数帯域毎の２つのチャネル信号から全帯域の信号を生成する周波数帯域合成手段と、を具備する構成を採る。
本発明のステレオ音声符号化方法は、ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割するステップと、前記周波数帯域の２つのチャネル信号を用いてモノラル信号を生成するステップと、周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するステップと、前記周波数帯域の２つのチャネル信号と、モノラル信号とを用いて前記パラメータ帯域毎にチャネル間予測分析を行い、チャネル間予測係数を得るステップと、前記チャネル間予測係数を符号化するステップと、前記周波数帯域のモノラル信号を合成して全帯域のモノラル信号を生成するステップと、前記全帯域のモノラル信号を符号化するステップと、を有するようにした。
本発明によれば、符号化装置側において、伝送が必要なＩＣＰフィルタ係数のセット数を低減することでビットレートを抑えつつ、ステレオ音声信号に対するＩＣＰ予測性能を向上させることができる。そしてそれにより、復号装置側において、品質の良いステレオ音声信号を復号することが可能となる。
本発明は、時間領域のステレオ音声信号を複数の周波数帯域信号に分割し、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の周波数帯域をまとめてパラメータ帯域を構成し、パラメータ帯域毎にＩＣＰ分析を行うことを、主な特徴とするものである。これにより、符号化装置側においては、伝送が必要なＩＣＰフィルタ係数のセット数が低減されるため、ビットレートを抑えつつ、ステレオ音声信号に対するＩＣＰ予測性能を向上させることが可能となる。そしてそれにより、復号装置側
においては、品質の良いステレオ音声信号を復号することが可能となるものである。
においては、品質の良いステレオ音声信号を復号することが可能となるものである。
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係るステレオ音声符号化装置１００の主要な構成を示すブロック図である。以下、ステレオ信号として左チャネルおよび右チャネルの２つのチャネルからなる場合を例にとって説明する。なお、左チャネル、右チャネル、Ｌ、Ｒ、という表記は、説明の便宜上の名称であって、必ずしも、左、右、という位置的条件を限定するものではない。
図１は、本発明の実施の形態１に係るステレオ音声符号化装置１００の主要な構成を示すブロック図である。以下、ステレオ信号として左チャネルおよび右チャネルの２つのチャネルからなる場合を例にとって説明する。なお、左チャネル、右チャネル、Ｌ、Ｒ、という表記は、説明の便宜上の名称であって、必ずしも、左、右、という位置的条件を限定するものではない。
図１において、ステレオ音声符号化装置１００は、ＱＭＦ(Quadrature Mirror Filter:直交鏡像フィルタ)分析部１０１、パラメータ帯域構成部１０２、心理音響分析部１０３、モノラル信号生成部１０４、パラメータ帯域構成部１０５、ＩＣＰ分析部１０６、ＩＣＰ係数量子化部１０７、ＱＭＦ合成部１０８、モノラル信号符号化部１０９、および多重部１１０を備える。
ＱＭＦ分析部１０１は、ＱＭＦ分析フィルタバンクからなり、ステレオ音声符号化装置１００に入力される時間領域の左チャネル信号Ｌおよび右チャネル信号Ｒを、原信号、すなわち時間領域の左チャネル信号Ｌおよび右チャネル信号Ｒの狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割してパラメータ帯域構成部１０２、心理音響分析部１０３、およびモノラル信号生成部１０４に出力する。
パラメータ帯域構成部１０２は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２の連続する複数の周波数帯域をまとめてパラメータ帯域を構成し、構成された複数のパラメータ帯域信号をＩＣＰ分析部１０６に出力する。パラメータ帯域とは、同一の１組のＩＣＰ係数を用いてＩＣＰ分析が行われる複数の周波数帯域の集合を示し、パラメータ帯域構成部１０２は、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の周波数帯域をまとめてパラメータ帯域を構成する。
心理音響分析部１０３は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２に対し心理音響分析を行って、チャネル間予測係数を算出するための平均二乗誤差最小化処理において、エネルギが高い周波数帯域ほど誤差評価に対する寄与をより強調するような誤差重み係数ｗを生成し、ＩＣＰ分析部１０６に出力する。
モノラル信号生成部１０４は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２の平均値をモノラル信号Ｍ２として生成し、パラメータ帯域構成部１０５およびＱＭＦ合成部１０８に出力する。
パラメータ帯域構成部１０５は、モノラル信号生成部１０４から入力されるモノラル信号Ｍ２を構成する複数の周波数帯域のうち、連続する複数を用いてパラメータ帯域を構成し、構成された複数のパラメータ帯域をＩＣＰ分析部１０６に出力する。
ＩＣＰ分析部１０６は、心理音響分析部１０３から入力される誤差重み係数ｗ、パラメータ帯域構成部１０２から入力される複数のパラメータ帯域における左チャネル信号Ｌ２および右チャネル信号Ｒ２、およびパラメータ帯域構成部１０５から入力される複数のパラメータ帯域におけるモノラル信号Ｍ２を用いてパラメータ帯域毎にＩＣＰ分析を行い、得られるＩＣＰ係数ｈｐｂをＩＣＰ係数量子化部１０７に出力する。
ＩＣＰ係数量子化部１０７は、ＩＣＰ分析部１０６から入力されるＩＣＰ係数を量子化し、得られるＩＣＰ係数符号化パラメータを多重部１１０に出力する。
ＱＭＦ合成部１０８は、ＱＭＦ合成フィルタバンクからなり、モノラル信号生成部１０４から入力される分割周波数帯域のモノラル信号Ｍ２を用いた合成を行うことで全帯域のモノラル信号Ｍを生成してモノラル信号符号化部１０９に出力する。
モノラル信号符号化部１０９は、ＱＭＦ合成部１０８から入力されるモノラル信号Ｍを符号化し、得られるモノラル信号符号化パラメータを多重部１１０に出力する。
多重部１１０は、ＩＣＰ係数量子化部１０７から入力されるＩＣＰ係数符号化パラメータと、モノラル信号符号化部１０９から入力されるモノラル信号符号化パラメータとを多重し、得られるビットストリームを後述のステレオ音声復号装置２００に出力する。
図２は、ステレオ音声符号化装置１００の各部の動作を説明するための図である。以下、図２を参照しながら、図１に示したステレオ音声符号化装置１００の各部の動作について詳細に説明する。
ＱＭＦ分析部１０１は、ステレオ音声符号化装置１００に入力される左チャネル信号Ｌ（ｎ）および右チャネル信号Ｒ（ｎ）を複数の周波数帯域信号に分割して、図２Ａに示すような左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）を得る。ここで、ｎは信号のサンプル番号を示し、ｂは複数の周波数帯域の帯域番号を示す（図２Ｂ、図２Ｃ、図２Ｄも同様）。
パラメータ帯域構成部１０２は、ＱＭＦ分析部１０１で生成された、図２Ａに示すような左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）の複数の周波数帯域を用いて、図２Ｂに示すようなパラメータ帯域ｐｂ１〜ｐｂ４を構成する。図２Ｂに示すように、パラメータ帯域構成部１０２は、周波数が低いほど周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の周波数帯域をまとめてパラメータ帯域を構成する。
心理音響分析部１０３は、ＱＭＦ分析部１０１で生成された左チャネル信号Ｌ２および右チャネル信号Ｒ２に対し心理音響分析を行って誤差重み係数ｗを生成する。心理音響分析部１０３で生成される誤差重み係数ｗの詳細については後述する。
モノラル信号生成部１０４は、ＱＭＦ分析部１０１で生成された左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）を用いて、下記の式（１）に従ってモノラル信号Ｍ２（ｎ，ｂ）を生成する。
Ｍ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）＋Ｒ２（ｎ，ｂ））／２ …（１）
Ｍ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）＋Ｒ２（ｎ，ｂ））／２ …（１）
図２Ｃは、モノラル信号生成部１０４で生成されるモノラル信号Ｍ２（ｎ，ｂ）を示す図である。図２Ａおよび図２Ｃに示すように、モノラル信号Ｍ２（ｎ，ｂ）を構成する複数の周波数帯域は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）を構成する複数の周波数帯域と同様である。
パラメータ帯域構成部１０５は、モノラル信号生成部１０４で生成されるモノラル信号Ｍ２（ｎ，ｂ）の複数の周波数帯域を用いて複数のパラメータ帯域を構成する。図２Ｄは、パラメータ帯域構成部１０５で生成されるモノラル信号Ｍ２（ｎ，ｂ）の複数のパラメータ帯域を示す図である。図２Ｂおよび図２Ｄに示すように、モノラル信号Ｍ２（ｎ，ｂ
）のパラメータ帯域を構成する方法は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）のパラメータ帯域を構成する方法と同様である。すなわち、モノラル信号Ｍ２（ｎ，ｂ）の各パラメータ帯域に含まれる複数の周波数帯域は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）の各パラメータ帯域に含まれる複数の周波数帯域と同様である。
）のパラメータ帯域を構成する方法は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）のパラメータ帯域を構成する方法と同様である。すなわち、モノラル信号Ｍ２（ｎ，ｂ）の各パラメータ帯域に含まれる複数の周波数帯域は、左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）の各パラメータ帯域に含まれる複数の周波数帯域と同様である。
ＩＣＰ分析部１０６は、パラメータ帯域構成部１０２から入力される分割周波数帯域の左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）、およびパラメータ帯域構成部１０５から入力される分割周波数帯域のモノラル信号Ｍ２（ｎ，ｂ）を用いてパラメータ帯域毎にＩＣＰ分析を行い、下記の式（２）に示す平均二乗誤差ξ（ｐｂ）を最小にするＩＣＰ係数ｈｐｂを求める。
式（２）において、ｓ２（ｎ，ｂ）は、分割周波数帯域の左チャネル信号Ｌ２（ｎ，ｂ）、または右チャネル信号Ｒ２（ｎ，ｂ）を示し、ｍ（ｎ，ｂ）は分割周波数帯域のモノラル信号Ｍ２（ｎ，ｂ）を示し、ｉはＦＩＲフィルタ係数の次数を示し、ｐｂはパラメータ帯域の番号を示す。式（２）に示すように、ＩＣＰ分析部１０６は、各パラメータ帯域ｐｂにおいて、分割周波数帯域のモノラル信号Ｍ２（ｎ，ｂ）から分割周波数帯域の左チャネル信号Ｌ２（ｎ，ｂ）または右チャネル信号Ｒ２（ｎ，ｂ）を予測するＦＩＲフィルタ係数ｈｐｂ（ｉ）をＩＣＰ係数として求める。また、式（２）に示すように、同一のパラメータ帯域に含まれる複数の周波数帯域は同一の１組のＩＣＰ係数を共有する。式（２）を解くと式（３）に示すｈｐｂが得られる。
式（３）において、Ｔ（ｂ）およびｔ（ｂ）は、下記の式（４）および式（５）に示すものである。
上記の式（２）〜（５）を用いたＩＣＰ分析において、下記の式（６）に示す誤差重み係数ｗｔ（ｂ）を用いて平均二乗誤差最小化処理を調整する。
式（６）において、α、βは、チューニング係数である。
本実施の形態に係るＩＣＰ分析部１０６において用いられる誤差重み係数ｗは、心理音響分析部１０３で生成されたものであり、心理音響分析部１０３は、入力される信号のエネルギが高い帯域よりもエネルギが低い帯域が聴覚的により重要であることを考慮して、平均二乗誤差最小化処理の誤差評価に対する、エネルギがより低い帯域での寄与を強調するような誤差重み係数ｗを求める。式（６）に示す誤差重み係数ｗｔはその一例である。
ＩＣＰ係数量子化部１０７は、ＩＣＰ分析部１０６で生成されるＩＣＰ係数ｈｐｂを量子化し、ＩＣＰ係数符号化パラメータを得る。
ＱＭＦ合成部１０８は、モノラル信号生成部１０４で生成される分割周波数帯域毎のモノラル信号Ｍ２（ｎ，ｂ）を全て用いて合成し、全帯域のモノラル信号Ｍ（ｎ）を生成する。
モノラル信号符号化部１０９は、ＱＭＦ合成部１０８で生成されるモノラル信号Ｍ（ｎ）に対しＣＥＬＰ（Code Excited Linear Prediction）方式の符号化を行い、モノラル信号符号化パラメータを得る。
多重部１１０は、ＩＣＰ係数量子化部１０７で生成されるＩＣＰ係数符号化パラメータと、モノラル信号符号化部１０９で生成されるモノラル信号符号化パラメータとを多重し、得られるビットストリームをステレオ音声復号装置２００に出力する。
図３は、本実施の形態に係るステレオ音声復号装置２００の主要な構成を示すブロック図である。
図３において、ステレオ音声復号装置２００は、分離部２０１、モノラル信号復号部２０２、ＱＭＦ分析部２０３、パラメータ帯域構成部２０４、ＩＣＰ係数復号部２０５、ＩＣＰ合成部２０６、およびＱＭＦ合成部２０７を備える。
分離部２０１は、ステレオ音声符号化装置１００から伝送されるビットストリームをモノラル信号符号化パラメータおよびＩＣＰ係数符号化パラメータに分離し、モノラル信号復号部２０２およびＩＣＰ係数復号部２０５それぞれに出力する。
モノラル信号復号部２０２は、分離部２０１から入力されるモノラル信号符号化パラメータを用いてＣＥＬＰ方式の復号を行い、得られる復号モノラル信号Ｍ’（ｎ）をＱＭＦ
分析部２０３に出力するとともに、必要に応じてステレオ音声復号装置２００の外部に出力する。
分析部２０３に出力するとともに、必要に応じてステレオ音声復号装置２００の外部に出力する。
ＱＭＦ分析部２０３は、ＱＭＦ分析フィルタバンクからなり、モノラル信号復号部２０２から入力される時間領域のモノラル信号Ｍ’（ｎ）を、狭帯域な周波数スペクトル成分を表す複数の周波数帯域信号に分割して、複数の周波数帯域の復号モノラル信号Ｍ２’（ｎ、ｂ）をパラメータ帯域構成部２０４に出力する。
パラメータ帯域構成部２０４は、ステレオ音声符号化装置１００のパラメータ帯域構成部１０５と同様な処理を行い、ＱＭＦ分析部２０３から入力される復号モノラル信号Ｍ２’（ｎ，ｂ）の複数の周波数帯域を用いて複数のパラメータ帯域を構成し、ＩＣＰ合成部２０６に出力する。
ＩＣＰ係数復号部２０５は、分離部２０１から入力されるＩＣＰ係数符号化パラメータを復号し、得られる復号ＩＣＰ係数ｈｐｂ’をＩＣＰ合成部２０６に出力する。
ＩＣＰ合成部２０６は、パラメータ帯域構成部２０４から入力される分割周波数帯域の復号モノラル信号Ｍ２’（ｎ，ｂ）、およびＩＣＰ係数復号部２０５から入力される復号ＩＣＰ係数ｈｐｂ’を用いてパラメータ帯域毎にＩＣＰ合成処理を行い、得られる分割周波数帯域の左チャネル信号Ｌ２’（ｎ，ｂ）および右チャネル信号Ｒ２’（ｎ，ｂ）をＱＭＦ合成部２０７に出力する。
ＱＭＦ合成部２０７は、ＱＭＦ合成フィルタバンクからなり、ＩＣＰ合成部２０６から入力される分割周波数帯域毎の左チャネル信号Ｌ２’（ｎ，ｂ）および右チャネル信号Ｒ２’（ｎ，ｂ）を全て用いて、全帯域の左チャネル信号Ｌ’（ｎ）および右チャネル信号Ｒ’（ｎ）を生成して出力する。
このように、本実施の形態によれば、ステレオ音声符号化装置は、時間領域のステレオ信号を広帯域よりも少ないサンプル数しか必要としない複数の狭帯域の周波数帯域信号に分割し、さらに連続する複数の周波数帯域を用いて構成されるパラメータ帯域を単位としてチャネル間予測を行う。したがって、連続する複数の周波数帯域において１組のチャネル間予測係数を共用することにより、周波数帯域毎にチャネル間予測を行う場合よりも、伝送が必要なチャネル予測係数セット数を低減することで、ステレオ音声符号化のビットレートをさらに抑えることができる。また、ステレオ音声符号化装置は、パラメータ帯域を構成する際に、周波数が低いほど聴覚的により重要であることを考慮し、周波数が低いほどより少ない帯域数の周波数帯域が含まれるようにパラメータ帯域を構成し、予測性能がより高いチャネル間予測を行うため、ステレオ音声符号化のビットレートを抑えつつ、符号化性能をさらに向上することができる。そして本実施の形態によるステレオ音声復号装置は、品質の良い音声信号を復号することができる。
また、本実施の形態によれば、チャネル間予測を行う際に、エネルギが高い周波数帯域ほど聴覚的により重要であることを考慮して、エネルギが高い周波数帯域ほど平均二乗誤差最小化処理の誤差評価に対する寄与をより強調する誤差重み係数を用いるため、チャネル間予測性能をさらに向上し、ステレオ音声符号化の性能をさらに向上することができ、復号装置において品質の良い復号音声信号を得ることができる。
なお、本実施の形態では、エネルギが高い周波数帯域ほど平均二乗誤差最小化処理の誤差評価に対する寄与を強調するように誤差重み係数ｗを求める場合を例にとって説明したが、本発明はこれに限定されず、エネルギが高い周波数帯域ほど、より高いＩＣＰ次数を用いてＩＣＰ分析を行っても良い。これにより、ビットレートを抑えつつＩＣＰ性能、す
なわちステレオ音声符号化性能を向上することができ、復号装置において品質の良い復号音声信号を得ることができる。
なわちステレオ音声符号化性能を向上することができ、復号装置において品質の良い復号音声信号を得ることができる。
また、本実施の形態では、モノラル信号生成時に、左チャネル信号Ｌと右チャネル信号Ｒとの時間遅延差を考慮しない場合を例にとって説明したが、本発明はこれに限定されず、この時間遅延差を補正することによりステレオ音声符号化の精度をさらに向上することができる。図４は、このように時間遅延差を補正するステレオ音声符号化装置３００の主要な構成を示すブロック図である。ステレオ音声符号化装置３００は、本実施の形態に係るステレオ音声符号化装置１００（図１参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付されている。ステレオ音声符号化装置３００は、位相差算出部３０１をさらに備える点においてステレオ音声符号化装置１００と相違し、また、モノラル信号生成部３０４の処理の一部において、ステレオ音声符号化装置１００のモノラル信号生成部１０４と相違する。
同じ音源からの音声が左チャネルおよび右チャネルという異なる経路を介してステレオ音声符号化システムにおける同一のマイクロホンに到達するまでには、異なる伝播時間がかかるため、左チャンネル信号Ｌと右チャンネル信号Ｒとに時間遅延差が生じる。この時間遅延差がＱＭＦ処理後の分割周波数帯域信号での１サンプル遅延内に収まれば、この時間遅延差はＬ２’（ｎ，ｂ）とＲ２’（ｎ，ｂ）との間の位相差の形式で表すことができ、位相差算出部３０１は、下記の式（７）に基づきこの位相差Ｄを算出し、モノラル信号生成部３０４に出力する。
式（７）において、Ｄは、Ｌ２’（ｎ，ｂ）とＲ２’（ｎ，ｂ）との間の位相差を示す。モノラル信号生成部３０４は、下記の式（８）に従い、式（７）に示した位相差Ｄが除去されたモノラル信号Ｍ２を生成する。これによりＩＣＰ性能をさらに向上し、ステレオ音声符号化性能をさらに向上することができる。
また、本実施の形態では、モノラル信号を用いて左チャネル信号または右チャネル信号のチャネル間予測を行う場合を例にとって説明したが、本発明はこれに限定されず、左チャネル信号と右チャネル信号との差分信号の二分の一をサイド信号として求めて、モノラル信号からのサイド信号のチャネル間予測を行っても良い。かかる場合、ステレオ音声符号化装置４００は図５に示すような構成をとり、ステレオ音声復号装置５００は図６に示すような構成をとる。ステレオ音声符号化装置４００およびステレオ音声復号装置５００は、ステレオ音声符号化装置１００（図１参照）およびステレオ音声復号装置２００（図３参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付されている。ステレオ音声符号化装置４００は、サイド信号生成部４０１をさらに備える点が主としてステレオ音声符号化装置１００と相違し、ステレオ音声復号装置５００は、加算部５０１および減算部５０２をさらに備える点が主としてステレオ音声復号装置２００と相違する。
ステレオ音声符号化装置４００において、サイド信号生成部４０１は、ＱＭＦ分析部１０１から入力される左チャネル信号Ｌ２（ｎ，ｂ）および右チャネル信号Ｒ２（ｎ，ｂ）を用いて下記の式（９）に従いサイド信号Ｆ２（ｎ，ｂ）を求める。
Ｆ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）−Ｒ２（ｎ，ｂ））／２ …（９）
Ｆ２（ｎ，ｂ）＝（Ｌ２（ｎ，ｂ）−Ｒ２（ｎ，ｂ））／２ …（９）
ステレオ音声復号装置５００において、ＩＣＰ合成部２０６ａのＩＣＰ合成処理により生成される信号は復号サイド信号Ｆ２’（ｎ，ｂ）であり、ＱＭＦ合成部２０７ａの合成処理により生成される信号は復号サイド信号Ｆ’（ｎ）である。また、加算部５０１および減算部５０２は、下記の式（１０）および式（１１）それぞれに従い左チャネル信号Ｌ’（ｎ）および右チャネル信号Ｒ’（ｎ）を求めて出力する。
Ｌ’（ｎ）＝Ｍ’（ｎ）＋Ｆ’（ｎ） …（１０）
Ｒ’（ｎ）＝Ｍ’（ｎ）−Ｆ’（ｎ） …（１１）
Ｌ’（ｎ）＝Ｍ’（ｎ）＋Ｆ’（ｎ） …（１０）
Ｒ’（ｎ）＝Ｍ’（ｎ）−Ｆ’（ｎ） …（１１）
以上のような構成としても、上記と同様に、符号化装置においては符号化性能を向上することができ、復号装置においては品質の良い音声信号を復号することが可能となる。
（実施の形態２）
図７は、本発明の実施の形態２に係るステレオ音声符号化装置６００の主要な構成を示すブロック図である。なお、ステレオ音声符号化装置６００は、実施の形態１に示したステレオ音声符号化装置１００（図１参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
図７は、本発明の実施の形態２に係るステレオ音声符号化装置６００の主要な構成を示すブロック図である。なお、ステレオ音声符号化装置６００は、実施の形態１に示したステレオ音声符号化装置１００（図１参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
ステレオ音声符号化装置６００は、ピッチ検出部６０１をさらに備え、ステレオ音声符号化装置１００におけるＩＣＰ分析部１０６およびＩＣＰ係数量子化部１０７の代わりに、ＩＣＰ／ＩＬＤ（Inter-channel Level Difference）分析部６０６およびＩＣＰ係数／ＩＬＤ量子化部６０７を備える点において、ステレオ音声符号化装置１００と相違する。また、ステレオ音声符号化装置６００のパラメータ帯域構成部６０２と、ステレオ音声符号化装置１００のパラメータ帯域構成部１０２とは処理の一部において相違し、それを示すために異なる符号を付す。
ピッチ検出部６０１は、ＱＭＦ分析部１０１から入力される分割周波数帯域の左チャネル信号Ｌ２および右チャネル信号Ｒ２の複数の周波数帯域信号それぞれに周期性のある波形（ピッチ周期的な波形）またはピッチパルス的な波形が含まれているか否かを検出し、そのような波形が含まれている周波数帯域を「ピッチ状」、含まれていない周波数帯域を「雑音状」と分類し、分類結果をパラメータ帯域構成部６０２およびＩＣＰ／ＩＬＤ分析部６０６に出力する。
パラメータ帯域構成部６０２は、ピッチ検出部６０１から入力される周波数帯域の分類結果に基づき、「ピッチ状」と分類され、かつ連続する複数の周波数帯域を用いてパラメータ帯域を構成し、構成された複数のパラメータ帯域をＩＣＰ／ＩＬＤ分析部６０６に出力する。
図８は、パラメータ帯域構成部６０２において得られるパラメータ帯域の構成結果を例示する図である。図８において、パラメータ帯域構成部６０２は、連続する「ピッチ状」の複数の周波数帯域を用いてパラメータ帯域ｐｂ１〜ｐｂ４を構成する。
再び図７に戻って、ＩＣＰ／ＩＬＤ分析部６０６は、ピッチ検出部６０１から入力される周波数帯域の分類結果に基づき、「ピッチ状」と分類された周波数帯域に対してはステレオ音声符号化装置１００のＩＣＰ分析部１０６におけるＩＣＰ分析処理と同様な処理を行い、「雑音状」と分類された周波数帯域に対してはＩＬＤ分析を行う。ＩＬＤ分析とは
、左チャネル信号と右チャネル信号とのエネルギ比を算出する処理であり、エネルギ比のみを量子化して伝送すればよいため、ＩＣＰ分析よりもビットレートをより低減できる。本実施の形態において、ＩＣＰ／ＩＬＤ分析部６０６は下記の式（１２）に従って「雑音状」の周波数帯域の左チャネル信号と右チャネル信号とのエネルギ比を算出する。そして、ＩＣＰ係数／ＩＬＤ量子化部６０７において、ＩＣＰ／ＩＬＤ分析部６０６から得られた、ＩＣＰ係数およびＩＬＤパラメータ(エネルギ比)を量子化して多重部１１０ａに出力する。
、左チャネル信号と右チャネル信号とのエネルギ比を算出する処理であり、エネルギ比のみを量子化して伝送すればよいため、ＩＣＰ分析よりもビットレートをより低減できる。本実施の形態において、ＩＣＰ／ＩＬＤ分析部６０６は下記の式（１２）に従って「雑音状」の周波数帯域の左チャネル信号と右チャネル信号とのエネルギ比を算出する。そして、ＩＣＰ係数／ＩＬＤ量子化部６０７において、ＩＣＰ／ＩＬＤ分析部６０６から得られた、ＩＣＰ係数およびＩＬＤパラメータ(エネルギ比)を量子化して多重部１１０ａに出力する。
ステレオ音声符号化装置６００におけるＩＬＤ分析処理に対応して、本実施の形態に係るステレオ音声復号装置においては下記の式（１３）に従ってＩＬＤ合成処理を行い分割周波数帯域の左チャネル信号Ｌ２’（ｎ，ｂ）を再構築する。
このように、本実施の形態によれば、ステレオ音声符号化装置は、波形の時間的変化や位相情報が符号化に重要な「ピッチ状」の周波数帯域に対してはパラメータ帯域毎にＩＣＰ分析を行い、「雑音状」の周波数帯域に対しては、波形の時間的変化や位相情報はあまり重要でなく、より少ない情報量で符号化できるＩＬＤ分析を行うようにすることで、符号化性能を損なうことなく、ステレオ音声符号化のビットレートをさらに低減することができる。
以上、本発明の実施の形態について説明した。
なお、上記各実施の形態において、ＬとＲは逆でもよく、また、モノラル信号ＭはＬとＲとの平均値としたが、これに限定されず、ＬとＲとを用いて適切に求められる代表値であれば良い。
また、上記各実施の形態におけるステレオ音声復号装置は、上記各実施の形態におけるステレオ音声符号化装置から伝送されたビットストリームを用いて処理を行うとしたが、本発明はこれに限定されず、必要なパラメータやデータを含むビットストリームであれば、必ずしも上記各実施の形態におけるステレオ音声符号化装置からのビットストリームでなくても処理は可能である。
本発明に係るステレオ音声符号化装置およびステレオ音声復号装置は、移動体通信システムにおける通信端末装置に搭載することが可能であり、これにより上記と同様の作用効果を有する通信端末装置を提供することができる。また、本発明に係るステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法は、有線方式の通信システムにおいても利用可能である。
なお、上記各実施の形態では、本発明をモノラル−ステレオのスケーラブル符号化に適用する構成を例にとって説明したが、ステレオ信号に対して帯域分割符号化を行う場合の帯域別の各符号化／復号に本発明を適用するような構成としても良い。
また、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明をソフトウェアで実現することも可能である。例えば、本発明に係るステレオ音声符号化方法の処理のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明のステレオ音声符号化装置等と同様の機能を実現することができる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されていても良いし、一部または全てを含むように１チップ化されていても良い。
また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
２００７年４月２５日出願の特願２００７−１１５６６０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明に係るステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法は、移動体通信システムにおける通信端末装置等の用途に適用できる。
Claims (6)
- ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割する周波数帯域分割手段と、
前記周波数帯域毎の２つのチャネル信号を用いてモノラル信号を生成するモノラル信号生成手段と、
周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するパラメータ帯域構成手段と、
前記周波数帯域の２つのチャネル信号と、モノラル信号とを用いて前記パラメータ帯域毎にチャネル間予測分析を行い、チャネル間予測係数を得るチャネル間予測分析手段と、
前記チャネル間予測係数を符号化するチャネル間予測係数符号化手段と、
前記周波数帯域のモノラル信号を合成して全帯域のモノラル信号を生成する周波数帯域合成手段と、
前記全帯域のモノラル信号を符号化するモノラル信号符号化手段と、
を具備するステレオ音声符号化装置。 - 前記周波数帯域の２つのチャネル信号を用いて心理音響分析を行い誤差重み係数を生成する心理音響分析手段、
をさらに具備し、
前記チャネル間予測分析手段は、
前記誤差重み係数を用いてチャネル間予測分析を行う際に、エネルギが高い周波数帯域ほど平均二乗誤差最小化処理の誤差評価に対する寄与をより強調する、
請求項１記載のステレオ音声符号化装置。 - 前記周波数帯域の２つのチャネル信号の位相差を算出する位相差算出手段、
をさらに具備し、
前記モノラル信号生成手段は、
前記位相差を除去して前記モノラル信号を生成する、
請求項１記載のステレオ音声符号化装置。 - 前記複数の周波数帯域それぞれにピッチ周期的な波形又はピッチパルス的な波形が含まれているか否かを検出し、ピッチ周期的な波形又はピッチパルス的な波形が含まれている周波数帯域をピッチ状周波数帯域と分類し、含まれていない周波数帯域を雑音状周波数帯域と分類するピッチ検出手段、
をさらに具備し、
前記パラメータ帯域構成手段は、
前記ピッチ状周波数帯域のうち、連続する複数を用いてパラメータ帯域を構成し、
前記チャネル間予測分析手段は、
前記ピッチ状周波数帯域においては、前記２つのチャネル信号と前記モノラル信号とを用いて前記パラメータ帯域毎に前記チャネル間予測分析を行い、前記雑音状周波数帯域においては、前記２つのチャネル信号のエネルギ比を求める、
請求項１記載のステレオ音声符号化装置。 - ステレオ音声信号を構成する２つのチャネル信号を用いて得られるモノラル信号が符号化されたモノラル信号符号化情報と、前記２つのチャネル信号と前記モノラル信号とが複数の周波数帯域信号に分割された２つのチャネル信号とモノラル信号とに対しチャネル間予測分析を行って得られたチャネル間予測係数が符号化されたチャネル間予測係数符号化情報と、を受信する受信手段と、
前記モノラル信号符号化情報を復号し、前記モノラル信号を得るモノラル信号復号手段と、
前記チャネル間予測係数符号化情報を復号し、前記チャネル間予測係数を得るチャネル間予測係数復号手段と、
前記モノラル信号を複数の周波数帯域に分割する周波数帯域分割手段と、
周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するパラメータ帯域構成手段と、
前記周波数帯域のモノラル信号と、前記チャネル間予測係数とを用いて前記パラメータ帯域毎にチャネル間予測合成を行い、前記周波数帯域の２つのチャネル信号を得るチャネル間予測合成手段と、
前記周波数帯域毎の２つのチャネル信号から全帯域の信号を生成する周波数帯域合成手段と、
を具備するステレオ音声復号装置。 - ステレオ音声信号を構成する２つのチャネル信号を複数の周波数帯域信号に分割するステップと、
前記周波数帯域の２つのチャネル信号を用いてモノラル信号を生成するステップと、
周波数が低いほど前記周波数帯域の含まれる帯域数が少なくなるように、１または連続する複数の前記周波数帯域をまとめてパラメータ帯域を構成するステップと、
前記周波数帯域の２つのチャネル信号と、モノラル信号とを用いて前記パラメータ帯域毎にチャネル間予測分析を行い、チャネル間予測係数を得るステップと、
前記チャネル間予測係数を符号化するステップと、
前記周波数帯域のモノラル信号を合成して全帯域のモノラル信号を生成するステップと、
前記全帯域のモノラル信号を符号化するステップと、
を具備するステレオ音声符号化方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007115660 | 2007-04-25 | ||
| JP2007115660 | 2007-04-25 | ||
| PCT/JP2008/001080 WO2008132850A1 (ja) | 2007-04-25 | 2008-04-24 | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPWO2008132850A1 true JPWO2008132850A1 (ja) | 2010-07-22 |
Family
ID=39925321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009511690A Withdrawn JPWO2008132850A1 (ja) | 2007-04-25 | 2008-04-24 | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20100121632A1 (ja) |
| JP (1) | JPWO2008132850A1 (ja) |
| WO (1) | WO2008132850A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2214163A4 (en) | 2007-11-01 | 2011-10-05 | Panasonic Corp | CODING DEVICE, DECODING DEVICE AND METHOD THEREFOR |
| US8386267B2 (en) * | 2008-03-19 | 2013-02-26 | Panasonic Corporation | Stereo signal encoding device, stereo signal decoding device and methods for them |
| WO2012058805A1 (en) * | 2010-11-03 | 2012-05-10 | Huawei Technologies Co., Ltd. | Parametric encoder for encoding a multi-channel audio signal |
| CN102436819B (zh) * | 2011-10-25 | 2013-02-13 | 杭州微纳科技有限公司 | 无线音频压缩、解压缩方法及音频编码器和音频解码器 |
| KR101662682B1 (ko) | 2012-04-05 | 2016-10-05 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 채널간 차이 추정 방법 및 공간적 오디오 코딩 장치 |
| DE13750900T1 (de) * | 2013-01-08 | 2016-02-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verbesserung der Sprachverständlichkeit bei Hintergrundrauschen durch SII-abhängige Amplifikation und Kompression |
| CN116741186A (zh) | 2013-04-05 | 2023-09-12 | 杜比国际公司 | 立体声音频编码器和解码器 |
| KR101808810B1 (ko) * | 2013-11-27 | 2017-12-14 | 한국전자통신연구원 | 음성/무음성 구간 검출 방법 및 장치 |
| CN112530444B (zh) * | 2019-09-18 | 2023-10-03 | 华为技术有限公司 | 音频编码方法和装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3271193B2 (ja) * | 1992-03-31 | 2002-04-02 | ソニー株式会社 | 音声符号化方法 |
| TW295747B (ja) * | 1994-06-13 | 1997-01-11 | Sony Co Ltd | |
| DE19526366A1 (de) * | 1995-07-20 | 1997-01-23 | Bosch Gmbh Robert | Verfahren zur Redundanzreduktion bei der Codierung von mehrkanaligen Signalen und Vorrichtung zur Dekodierung von redundanzreduzierten, mehrkanaligen Signalen |
| US6356211B1 (en) * | 1997-05-13 | 2002-03-12 | Sony Corporation | Encoding method and apparatus and recording medium |
| JPH1132399A (ja) * | 1997-05-13 | 1999-02-02 | Sony Corp | 符号化方法及び装置、並びに記録媒体 |
| SE519552C2 (sv) * | 1998-09-30 | 2003-03-11 | Ericsson Telefon Ab L M | Flerkanalig signalkodning och -avkodning |
| JP2004252068A (ja) * | 2003-02-19 | 2004-09-09 | Matsushita Electric Ind Co Ltd | デジタルオーディオ信号の符号化装置及び方法 |
| SE0301273D0 (sv) * | 2003-04-30 | 2003-04-30 | Coding Technologies Sweden Ab | Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods |
| ATE448539T1 (de) * | 2004-12-28 | 2009-11-15 | Panasonic Corp | Audiokodierungsvorrichtung und audiokodierungsmethode |
| DE602006011600D1 (de) * | 2005-04-28 | 2010-02-25 | Panasonic Corp | Audiocodierungseinrichtung und audiocodierungsverfahren |
| JPWO2007088853A1 (ja) * | 2006-01-31 | 2009-06-25 | パナソニック株式会社 | 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法 |
| US8150702B2 (en) * | 2006-08-04 | 2012-04-03 | Panasonic Corporation | Stereo audio encoding device, stereo audio decoding device, and method thereof |
-
2008
- 2008-04-24 US US12/597,037 patent/US20100121632A1/en not_active Abandoned
- 2008-04-24 JP JP2009511690A patent/JPWO2008132850A1/ja not_active Withdrawn
- 2008-04-24 WO PCT/JP2008/001080 patent/WO2008132850A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2008132850A1 (ja) | 2008-11-06 |
| US20100121632A1 (en) | 2010-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2209114B1 (en) | Speech coding/decoding apparatus/method | |
| JP5171256B2 (ja) | ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法 | |
| JP4606418B2 (ja) | スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法 | |
| EP1801783B1 (en) | Scalable encoding device, scalable decoding device, and method thereof | |
| JPWO2008132850A1 (ja) | ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法 | |
| US20080126082A1 (en) | Scalable Decoding Apparatus and Scalable Encoding Apparatus | |
| US20120134511A1 (en) | Multichannel audio coder and decoder | |
| JP2009042734A (ja) | 符号化装置および符号化方法 | |
| JP4555299B2 (ja) | スケーラブル符号化装置およびスケーラブル符号化方法 | |
| US8036390B2 (en) | Scalable encoding device and scalable encoding method | |
| JPWO2012066727A1 (ja) | ステレオ信号符号化装置、ステレオ信号復号装置、ステレオ信号符号化方法及びステレオ信号復号方法 | |
| JP5355387B2 (ja) | 符号化装置および符号化方法 | |
| US20100017197A1 (en) | Voice coding device, voice decoding device and their methods | |
| JP4842147B2 (ja) | スケーラブル符号化装置およびスケーラブル符号化方法 | |
| JP4948401B2 (ja) | スケーラブル符号化装置およびスケーラブル符号化方法 | |
| JP2009042740A (ja) | 符号化装置 | |
| JPWO2008132826A1 (ja) | ステレオ音声符号化装置およびステレオ音声符号化方法 | |
| JPWO2008090970A1 (ja) | ステレオ符号化装置、ステレオ復号装置、およびこれらの方法 | |
| JP5774490B2 (ja) | 符号化装置、復号装置およびこれらの方法 | |
| WO2011045927A1 (ja) | 符号化装置、復号装置およびこれらの方法 | |
| JP2006072269A (ja) | 音声符号化装置、通信端末装置、基地局装置および音声符号化方法 | |
| EP3252763A1 (en) | Low-delay audio coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110404 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20120406 |