[技術的背景]
低ビット(例えば10kbit/s〜20kbit/s程度)の音信号の符号化方法として、DFT(離散フーリエ変換)やMDCT(変形離散コサイン変換)などの周波数領域での直交変換係数に対する適応符号化が知られている。例えば標準規格技術であるMPEG USAC(Unified Speech and Audio Coding)は、TCX(transform coded excitation:変換符号化励振)符号化モードを持ち、この中ではMDCT係数をフレームごとに正規化して量子化後に可変長符号化している(例えば、参考文献1参照)。
〔参考文献1〕M. Neuendorf, et al., “MPEG Unified Speech and Audio Coding- The ISO/MPEG Standard for High-Efficiency Audio Coding of all Content Types”, AES 132ndConvention, Budapest, Hungary, 2012.
従来のTCXに基づく符号化装置の構成例を図1に示す。以下、図1の各部について説明する。
<周波数領域変換部11>
周波数領域変換部11には、時間領域の時系列信号である音信号が入力される。音信号は、例えば音声信号又は音響信号である。
周波数領域変換部11は、所定の時間長のフレーム単位で、入力された時間領域の音信号を周波数領域のN点のMDCT係数列X(0),X(1),…,X(N-1)に変換する。Nは正の整数である。
変換されたMDCT係数列X(0),X(1),…,X(N-1)は、包絡正規化部15に出力される。
<線形予測分析部12>
線形予測分析部12には、時間領域の時系列信号である音信号が入力される。
線形予測分析部12は、フレーム単位で入力された音信号に対する線形予測分析を行うことにより、線形予測係数α1,α2,…,αpを生成する。また、線形予測分析部12は、生成された線形予測係数α1,α2,…,αpを符号化して線形予測係数符号を生成する。線形予測係数符号の例は線形予測係数α1,α2,…,αpに対応するLSP(Line Spectrum Pairs) パラメータ列の量子化値の列に対応する符号であるLSP符号である。pは2以上の整数である。
また、線形予測分析部12は、生成された線形予測係数符号に対応する線形予測係数である量子化線形予測係数^α1,^α2,…,^αpを生成する。
生成された量子化線形予測係数^α1,^α2,…,^αpは、平滑化振幅スペクトル包絡系列生成部14及び非平滑化振幅スペクトル包絡系列生成部13に出力される。また、生成された線形予測係数符号は、復号装置に出力される。
線形予測分析には、例えば、フレーム単位で入力された音信号に対する自己相関を求めて、求めた自己相関を利用してLevinson-Durbinアルゴリズムを行うことにより線形予測係数を得る方法が用いられる。または、線形予測分析部12に周波数領域変換部11が求めたMDCT係数列を入力し、MDCT係数列の各係数の自乗値の系列を逆フーリエ変換したものに対して、Levinson-Durbinアルゴリズムを行うことにより線形予測係数を得る方法を用いてもよい。
<平滑化振幅スペクトル包絡系列生成部14>
平滑化振幅スペクトル包絡系列生成部14には、線形予測分析部12が生成した量子化線形予測係数^α1,^α2,…,^αpが入力される。
平滑化振幅スペクトル包絡系列生成部14は、量子化線形予測係数^α1,^α2,…,^αpを用いて、以下の式(B1)により定義される平滑化振幅スペクトル包絡系列^Wγ(0),^Wγ(1),…,^Wγ(N-1)を生成する。・を実数としてexp(・)はネイピア数を底とする指数関数、jは虚数単位である。γは、1以下の正の定数であり、以下の式(B2)により定義される振幅スペクトル包絡系列^W(0),^W(1),…,^W(N-1)の振幅の凹凸を鈍らせる係数、言い換えれば振幅スペクトル包絡系列を平滑化する係数である。
生成された平滑化振幅スペクトル包絡系列^Wγ(0),^Wγ(1),…,^Wγ(N-1)は、包絡正規化部15と符号化部16の分散パラメータ決定部163に出力される。
<非平滑化振幅スペクトル包絡系列生成部13>
非平滑化振幅スペクトル包絡系列生成部13には、線形予測分析部12が生成した量子化線形予測係数^α1,^α2,…,^αpが入力される。
非平滑化振幅スペクトル包絡系列生成部13は、量子化線形予測係数^α1,^α2,…,^αpを用いて、上記の式(B2)により定義される非平滑化振幅スペクトル包絡系列^W(0),^W(1),…,^W(N-1)を生成する。
生成された非平滑化振幅スペクトル包絡系列^W(0),^W(1),…,^W(N-1)は、符号化部16の分散パラメータ決定部163に出力される。
<包絡正規化部15>
包絡正規化部15には、周波数領域変換部11が生成したMDCT係数列X(0),X(1),…,X(N-1)及び平滑化振幅スペクトル包絡系列生成部14が出力した平滑化振幅スペクトル包絡系列^Wγ(0),^Wγ(1),…,^Wγ(N-1)が入力される。
包絡正規化部15は、MDCT係数列の各係数X(k)を平滑化振幅スペクトル包絡系列の各値^Wγ(k)で正規化することにより、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)を生成する。つまり、XN(k)= X(k)/^Wγ(k) [k=0,1,…,N-1]である。
生成された正規化MDCT係数列XN(0),XN(1),…,XN(N-1)は、符号化部16に出力される。
ここでは、聴覚的に歪が小さくなるような量子化の実現のために、包絡正規化部15は、振幅スペクトル包絡を鈍らせた系列である平滑化振幅スペクトル包絡系列^Wγ(0),^Wγ(1),…,^Wγ(N-1)を用いて、フレーム単位でMDCT係数列X(0),X(1),…,X(N-1)を正規化している。
<符号化部16>
符号化部16には、包絡正規化部15が生成した正規化MDCT係数列XN(0),XN(1),…,XN(N-1)、平滑化振幅スペクトル包絡系列生成部14が出力した平滑化振幅スペクトル包絡系列^Wγ(0),^Wγ(1),…,^Wγ(N-1)、非平滑化振幅スペクトル包絡系列生成部13が出力した非平滑化振幅スペクトル包絡系列^W(0),^W(1),…,^W(N-1)が入力される。
符号化部16は、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)に対応する符号を生成する。
生成された正規化MDCT係数列XN(0),XN(1),…,XN(N-1)に対応する符号は、復号装置に出力される。
正規化MDCT係数列XN(0),XN(1),…,XN(N-1)の各係数を利得(グローバルゲイン)gで割り算し、その結果を量子化した整数値による系列である量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を符号化して得られる符号を整数信号符号とする。非特許文献1の技術では、符号化部16は、この整数信号符号のビット数が、予め配分されたビット数である配分ビット数B以下、かつ、なるべく大きな値となるような利得gを決定する。そして、符号化部16は、この決定された利得gに対応する利得符号と、この決定された利得gに対応する整数信号符号とを生成する。
この生成された利得符号及び整数信号符号が、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)に対応する符号として復号装置に出力される。
[符号化部16が行う符号化処理の具体例]
符号化部16が行う符号化処理の具体例について説明する。
符号化部16の具体例の構成例を図2に示す。符号化部16は、図2に示すように、利得取得部161と、量子化部162と、分散パラメータ決定部168と、算術符号化部169と、利得符号化部165と、判定部166と、利得更新部167とを例えば備えている。以下、図2の各部について説明する。
<利得取得部161>
利得取得部161は、入力された正規化MDCT係数列XN(0),XN(1),…,XN(N-1)から、整数信号符号のビット数が、予め配分されたビット数である配分ビット数B以下、かつ、なるべく大きな値となるようなグローバルゲインgを決定して出力する。利得取得部161が得たグローバルゲインgは、量子化部162で用いられるグローバルゲインの初期値となる。
<量子化部162>
量子化部162は、入力された正規化MDCT係数列XN(0),XN(1),…,XN(N-1)の各係数を利得取得部161または利得更新部167が得たグローバルゲインgで割り算した結果の整数部分による系列である量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を得て出力する。
ここで、量子化部162が初回に実行される際に用いられるグローバルゲインgは、利得取得部161が得たグローバルゲインg、すなわちグローバルゲインの初期値である。また、量子化部162が2回目以降に実行される際に用いられるグローバルゲインgは、利得更新部167が得たグローバルゲインg、すなわちグローバルゲインの更新値である。
<分散パラメータ決定部163>
分散パラメータ決定部163は、入力された非平滑化振幅スペクトル包絡系列^W(0),^W(1),…,^W(N-1)と、入力された平滑化振幅スペクトル包絡系列^Wγ(0),^Wγ(1),…,^Wγ(N-1)とから、下記の式(B3)により各周波数に対する分散パラメータφ(0),φ(1),…,φ(N-1)を得て出力する。
<算術符号化部164>
算術符号化部164は、分散パラメータ決定部163が得た分散パラメータφ(0),φ(1),…,φ(N-1)を用いて、量子化部162が得た量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を算術符号化して整数信号符号を得て、整数信号符号と、整数信号符号のビット数である消費ビット数Cとを出力する。この算術符号は、各周波数k(=0,…,N-1)での量子化正規化済係数系列が以下の確率変数Xに関する例えば以下の式で示されるラプラス分布に従っているときに最適になるようなビットの割り当てを行う。
<判定部166>
判定部166は、利得の更新回数が予め定めた回数の場合には、整数信号符号を出力するとともに、利得符号化部165に対し利得更新部167が得たグローバルゲインgを符号化する指示信号を出力し、利得の更新回数が予め定めた回数未満である場合には、利得更新部167に対し、算術符号化部164が計測した消費ビット数Cを出力する。
<利得更新部167>
利得更新部167は、算術符号化部164が計測した消費ビット数Cが配分ビット数Bより多い場合にはグローバルゲインgの値を大きな値に更新して出力し、消費ビット数Cが配分ビット数Bより少ない場合にはグローバルゲインgの値を小さな値に更新し、更新後のグローバルゲインgの値を出力する。
<利得符号化部165>
利得符号化部165は、判定部166が出力した指示信号に従って、利得更新部167が得たグローバルゲインgを符号化して利得符号を得て出力する。
判定部166が出力した整数信号符号と、利得符号化部165が出力した利得符号は、正規化MDCT係数列に対応する符号として、復号装置に出力される。
以上のように、従来のTCXに基づく符号化では、非平滑化振幅スペクトル包絡を鈍らせた平滑化振幅スペクトル包絡系列を用いてMDCT係数列を正規化した後、正規化MDCT係数列を符号化している。この符号化方法は、上記のMPEG-4 USACなどで採用されている。
従来の符号化装置では、算術符号によりラプラス分布に対して最適なビット割り当てを行っていた。そして、スペクトル包絡の凹凸の情報を算術符号化時に利用するため、上記のラプラス分布の分散に対応する分散パラメータを包絡の値から生成している。しかし、符号化対象の属する確率分布には多様性があり、一概にラプラス分布に従っているというわけではない。このように、仮定から外れた分布に属する符号化対象に対して同様なビット割り当てを行うと、圧縮効率は低下する可能性がある。また、他の分布を導入する際にも、従来の符号化装置と同様、その分布に対する分散パラメータを生成し、スペクトル包絡の凹凸の情報を正しく組み込まなければ効率を改善することは困難である。
ところで、平滑化振幅スペクトル包絡によるMDCT系列X(0),X(1),…,X(N-1)の正規化は、非平滑化振幅スペクトル包絡系列による正規化よりもMDCT系列X(0),X(1),…,X(N-1)を白色化しない。具体的には、MDCT係数列X(0),X(1),…,X(N-1)を平滑化振幅スペクトル包絡系列^Wγ(0),^Wγ(1),…,^Wγ(N-1)で正規化して得られる正規化MDCT係数列XN(0)=X(0)/^Wγ(0),XN(1)=X(1)/^Wγ(1),…,XN(N-1)=X(N-1)/^Wγ(N-1)は、MDCT係数列X(0),X(1),…,X(N-1)を非平滑化振幅スペクトル包絡系列^W(0),^W(1),…,^W(N-1)で正規化して得られる正規化後の系列X(0)/^W(0),X(1)/^W(1),…,X(N-1)/^W(N-1)よりも、^W(0)/^Wγ(0),^W(1)/^Wγ(1),…,^W(N-1)/^Wγ(N-1)だけ凸凹が大きい。したがって、MDCT係数列X(0),X(1),…,X(N-1)を非平滑化振幅スペクトル包絡系列^W(0),^W(1),…,^W(N-1)で正規化して得られる正規化後の系列X(0)/^W(0),X(1)/^W(1), …,X(N-1)/^W(N-1)が符号化部16における符号化に適する程度に包絡の凸凹が平坦にされたものとすると、符号化部16に入力される正規化MDCT係数列XN(0),XN(1),…,XN(N-1)には、^W(0)/^Wγ(0),^W(1)/^Wγ(1),…,^W(N-1)/^Wγ(N-1)の系列(以下、正規化振幅スペクトル包絡系列^WN(0),^WN(1),…,^WN(N-1))で表される包絡の凹凸が残されている。
図16に正規化MDCT系列の包絡の凹凸^W(0)/^Wγ(0),^W(1)/^Wγ(1),…,^W(N-1)/^Wγ(N-1)が各値をとる場合における、正規化MDCT係数列に含まれる各係数の値の出現頻度を示す。envelope:0.2-0.3の曲線は、正規化MDCT系列の包絡の凹凸^W(k)/^Wγ(k)が0.2以上0.3未満であるサンプルkに対応する正規化MDCT係数XN(k)の値の頻度を表す。envelope:0.3-0.4の曲線は、正規化MDCT系列の包絡の凹凸^W(k)/^Wγ(k)が0.3以上0.4未満であるサンプルkに対応する正規化MDCT係数XN(k)の値の頻度を表す。envelope:0.4-0.5の曲線は、正規化MDCT系列の包絡の凹凸^W(k)/^Wγ(k)が0.4以上0.5未満であるサンプルkに対応する正規化MDCT係数XN(k)の値の頻度を表す。
図16を見ると、正規化MDCT係数列に含まれる各係数の値は、平均はほぼ0であるが、分散は包絡の値と関連性をもつことがわかる。すなわち、正規化MDCT系列の包絡の凹凸が大きいほど、頻度を表す曲線の裾野が広がっているため、正規化MDCT係数の分散が大きいという関連性があることがわかる。より効率的な圧縮を実現するため、この関連性を利用した符号化を行う。具体的には、符号化の対象となる周波数領域係数列の各係数に対して、スペクトル包絡を基にビット割り当てを変える又は実質的にビット割り当てが変わる符号化を行う。
そのために、例えば量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を算術符号化する場合には、スペクトル包絡に基づいて決定された分散パラメータを用いる。
また、符号化対象の属する確率分布には多様性があるところ、ある確率分布(例えば、ラプラス分布)に属する符号化対象を仮定した最適なビット割り当てを、その仮定から外れた確率分布に属する符号化対象に対して行うと、圧縮効率は低下する可能性がある。
そこで、符号化対象の属する確率分布として、様々な確率分布を表現することができる分布である、以下の式で表される一般化ガウス分布を使用する。
一般化ガウス分布は形状パラメータであるパラメータη(>0)を変えることにより、図3のようにη=1の時はラプラス分布、η=2の時はガウス分布、といったように様々な分布を表現することができる。ηは、0より大きい所定の数である。ηの値は、予め決めておくか、または所定の時間区間であるフレーム毎に選択又は可変にしてもよい。また、上式のφは分布の分散に対応している値であり、この値を分散パラメータとして、スペクトル包絡の凹凸の情報を組み込む。つまり、分散パラメータφ(0),φ(1),…,φ(N-1)をスペクトル包絡から生成し、各周波数kでの量子化正規化済係数XQ(k)に対して、fGG(X|φ(k),η)に従う場合に最適となるような算術符号を構成し、この構成に基づく算術符号により符号化を行う。
例えば、予測残差のエネルギーσ2及びグローバルゲインgの情報に加えて使用する分布の情報を更に取り入れ、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数に対する分散パラメータを例えば以下の式(A1)で算出する。
ただし、σはσ2の平方根である。
具体的には、Levinson-DurbinアルゴリズムをMDCT係数の絶対値をη乗した値の系列を逆フーリエ変換したものに対して行い、それにより得られる線形予測係数を量子化したものであるβ1,^β2,…,^βpを量子化線形予測係数^α1,^α2,…,^αpの代わりに用い、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)と平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)をそれぞれ下記の式(A2)と式(A3)
から求め、求めた非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)の各係数を対応する平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)の各係数で除算して正規化振幅スペクトル包絡系列^HN(0)=^H(0)/^Hγ(0),^HN(1)=^H(1)/^Hγ(1),…,^HN(N-1)=^H(N-1)/^Hγ(N-1)を得て、正規化振幅スペクトル包絡系列とグローバルゲインgとから上記の式(A1)により分散パラメータを算出する。
ここで、式(A1)のσ2/η/gは、エントロピーに密接に係わる値であり、ビットレートが固定ならフレーム毎の値の変動は小さい。このため、σ2/η/gとして予め定められた固定値を使用することもできる。このように固定値を使用する場合は、本発明の手法のため新たに情報を追加する必要はない。
上記技術は、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を算術符号化する際の符号長を規準とする最小化問題に基づくものである。以下に上記技術の導出を述べる。
量子化正規化済係数XQ(k)をそれぞれ分散パラメータφ(k)により、形状パラメータηの一般化ガウス分布を用いた算術符号で符号化した際の符号長は、量子化が十分細かく行われたとすると、
に比例する。この符号長を小さくするため、既に量子化及び符号化がなされている線形予測係数を基に分散パラメータ系列φ(0),φ(1),…,φ(N-1)を求めることを考える。上の式(A4)は、式変形を行うことにより、
と書き直すことができる。ただし、lnはネイピア数を底とする対数、Cは分散パラメータに対する定数、そして DIS(X|Y)はYからのXの板倉斎藤距離
であるものとする。つまり、分散パラメータ系列に対する符号長Lの最小化問題はφη(k)/(ηBη(η))と|XQ(k)|ηとの板倉斎藤距離の総和の最小化問題に帰着される。ここで、分散パラメータ系列φ(0),φ(1),…,φ(N-1)と線形予測係数β1,β2,…,βp、予測残差のエネルギーσ2との対応関係を一つ決めれば、符号長を最小化する線形予測係数を求める最適化問題を立てることができるが、従来の高速解法を用いるためにここでは次のように対応付ける。
量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)は量子化の影響を無視すると、MDCT系列X(0),X(1),…,X(N-1)と平滑化振幅スペクトル包絡^Hγ(0), ^Hγ(1),…, ^Hγ(N-1)、グローバルゲインgを用いてそれぞれXQ(k)= X(k)/(g^Hγ(k))とあらわすことができることから、式(A5)の分散パラメータに依存する項は式(A6)により、
のように、MDCT係数系列の絶対値と全極型のスペクトル包絡との板倉斎藤距離としてあらわされる。従来の線形予測分析、つまりパワースペクトルを逆フーリエ変換したものに対してLevinson-Durbinアルゴリズムを適用するものは、パワースペクトルと全極型のスペクトル包絡との板倉斎藤距離を最小化する線形予測係数を求める操作であることが知られている。したがって、上記の符号長最小化問題は、振幅スペクトルのη乗、つまりMDCT係数系列の絶対値のη乗を逆フーリエ変換したものに対してLevinson-Durbinアルゴリズムを適用することにより従来法と同様に最適解を求めることができる。
[第一実施形態]
(符号化)
第一実施形態の符号化装置の構成例を図4に示す。第一実施形態の符号化装置は、図4に示すように、周波数領域変換部21と、線形予測分析部22と、非平滑化振幅スペクトル包絡系列生成部23と、平滑化振幅スペクトル包絡系列生成部24と、包絡正規化部25と、符号化部26と、パラメータ決定部27とを例えば備えている。この符号化装置により実現される第一実施形態の符号化方法の各処理の例を図5に示す。
以下、図4の各部について説明する。
<パラメータ決定部27>
第一実施形態では、所定の時間区間ごとに複数のパラメータηの何れかがパラメータ決定部27により選択可能とされている。
パラメータ決定部27には、複数のパラメータηがパラメータηの候補として記憶されているとする。パラメータ決定部27は、複数のパラメータの中の1つのパラメータηを順次読み出し、線形予測分析部22、非平滑化振幅スペクトル包絡系列生成部23及び符号化部26に出力する(ステップA0)。
周波数領域変換部21、線形予測分析部22、非平滑化振幅スペクトル包絡系列生成部23、平滑化振幅スペクトル包絡系列生成部24、包絡正規化部25及び符号化部26は、パラメータ決定部27が順次読み出した各パラメータηに基づいて、例えば以下に説明するステップA1からステップA6の処理を行い同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対して符号を生成する。一般に、パラメータηを所与として、同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対して2個以上の符号が得られる場合がある。この場合、同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対する符号は、これらの得られた2個以上の符号をまとめたものである。この例では、符号は、線形予測係数符号と、利得符号と、整数信号符号とを合わせたものである。これにより、同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対する各パラメータηごとの符号が得られる。
ステップA6の処理の後に、パラメータ決定部27は、同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対して各パラメータηごとに得られた符号の中から1つの符号を選択し、選択された符号に対応するパラメータηを決定する(ステップA7)。この決定されたパラメータηが、その同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対するパラメータηとなる。そして、パラメータ決定部27は、選択された符号及び決定されたパラメータηを表す符号を復号装置に出力する。パラメータ決定部27によるステップA7の処理の詳細については後述する。
以下では、パラメータ決定部27により1つのパラメータηが読み出されており、この読み出された1つのパラメータηについて処理が行われるとする。
<周波数領域変換部21>
周波数領域変換部21には、時間領域の時系列信号である音信号が入力される。音信号の例は、音声ディジタル信号又は音響ディジタル信号である。
周波数領域変換部21は、所定の時間長のフレーム単位で、入力された時間領域の音信号を周波数領域のN点のMDCT係数列X(0),X(1),…,X(N-1)に変換する(ステップA1)。Nは正の整数である。
得られたMDCT係数列X(0),X(1),…,X(N-1)は、線形予測分析部22と包絡正規化部25に出力される。
特に断りがない限り、以降の処理はフレーム単位で行われるものとする。
このようにして、周波数領域変換部21は、音信号に対応する、例えばMDCT係数列である周波数領域サンプル列を求める。
<線形予測分析部22>
線形予測分析部22には、周波数領域変換部21が得たMDCT係数列X(0),X(1),…,X(N-1)が入力される。
線形予測分析部22は、MDCT係数列X(0),X(1),…,X(N-1)を用いて、以下の式(A7)により定義される~R(0),~R(1),…,~R(N-1)を線形予測分析して線形予測係数β1,β2,…,βpを生成し、生成された線形予測係数β1,β2,…,βpを符号化して線形予測係数符号と線形予測係数符号に対応する量子化された線形予測係数である量子化線形予測係数^β1,^β2,…,^βpとを生成する(ステップA2)。
生成された量子化線形予測係数^β1,^β2,…,^βpは、非平滑化スペクトル包絡系列生成部23と平滑化振幅スペクトル包絡系列生成部24に出力される。なお、線形予測分析処理の過程で予測残差のエネルギーσ2が算出される。この場合、算出された予測残差のエネルギーσ2は、符号化部26の分散パラメータ決定部268に出力される。
また、生成された線形予測係数符号は、パラメータ決定部27に送信される。
具体的には、線形予測分析部22は、まずMDCT係数列X(0),X(1),…,X(N-1)の絶対値のη乗をパワースペクトルと見做した逆フーリエ変換に相当する演算、すなわち式(A7)の演算を行うことにより、MDCT係数列X(0),X(1),…,X(N-1)の絶対値のη乗に対応する時間領域の信号列である擬似相関関数信号列~R(0),~R(1),…,~R(N-1)を求める。そして、線形予測分析部22は、求まった擬似相関関数信号列~R(0),~R(1),…,~R(N-1)を用いて線形予測分析を行って、線形予測係数β1,β2,…,βpを生成する。そして、線形予測分析部22は、生成された線形予測係数β1,β2,…,βpを符号化することにより、線形予測係数符号と、線形予測係数符号に対応する量子化線形予測係数^β1,^β2,…,^βpとを得る。
線形予測係数β1,β2,…,βpは、MDCT係数列X(0),X(1),…,X(N-1)の絶対値のη乗をパワースペクトルと見做したときの時間領域の信号に対応する線形予測係数である。
線形予測分析部22による線形予測係数符号の生成は、例えば従来的な符号化技術によって行われる。従来的な符号化技術とは、例えば、線形予測係数そのものに対応する符号を線形予測係数符号とする符号化技術、線形予測係数をLSPパラメータに変換してLSPパラメータに対応する符号を線形予測係数符号とする符号化技術、線形予測係数をPARCOR係数に変換してPARCOR係数に対応する符号を線形予測係数符号とする符号化技術などである。例えば、線形予測係数そのものに対応する符号を線形予測係数符号とする符号化技術は、複数の量子化線形予測係数の候補が予め定められ、各候補が線形予測係数符号と予め対応付けられて記憶されており、候補の何れかが生成された線形予測係数に対する量子化線形予測係数として決定され、量子化線形予測係数と線形予測係数符号とが得られる技術である。例えば、線形予測係数そのものに対応する符号を線形予測係数符号とする符号化技術は、複数の量子化線形予測係数の候補が予め定められ、各候補が線形予測係数符号と予め対応付けられて記憶されており、候補の何れかが生成された線形予測係数に対する量子化線形予測係数として決定され、量子化線形予測係数と線形予測係数符号とが得られる技術である。
このようにして、線形予測分析部22は、例えばMDCT係数列である周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做した逆フーリエ変換を行うことにより得られる疑似相関関数信号列を用いて線形予測分析を行い線形予測係数に変換可能な係数を生成する。
<非平滑化振幅スペクトル包絡系列生成部23>
非平滑化振幅スペクトル包絡系列生成部23には、線形予測分析部22が生成した量子化線形予測係数^β1,^β2,…,^βpが入力される。
非平滑化振幅スペクトル包絡系列生成部23は、量子化線形予測係数^β1,^β2,…,^βpに対応する振幅スペクトル包絡の系列である非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を生成する(ステップA3)。
生成された非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)は、符号化部26に出力される。
非平滑化振幅スペクトル包絡系列生成部23は、量子化線形予測係数^β1,^β2,…,^βpを用いて、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)として、式(A2)により定義される非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を生成する。
このようにして、非平滑化振幅スペクトル包絡系列生成部23は、線形予測分析部22により生成された線形予測係数に変換可能な係数に対応する振幅スペクトル包絡の系列を1/η乗した系列である非平滑化スペクトル包絡系列を得ることによりスペクトル包絡の推定を行う。ここで、cを任意の数として、複数の値から構成される系列をc乗した系列とは、複数の値のそれぞれをc乗した値から構成される系列のことである。例えば、振幅スペクトル包絡の系列を1/η乗した系列とは、振幅スペクトル包絡の各係数を1/η乗した値から構成される系列のことである。
非平滑化振幅スペクトル包絡系列生成部23による1/η乗の処理は、線形予測分析部22で行われた周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做した処理に起因するものである。すなわち、非平滑化振幅スペクトル包絡系列生成部23による1/η乗の処理は、線形予測分析部22で行われた周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做した処理によりη乗された値を元の値に戻すために行われる。
<平滑化振幅スペクトル包絡系列生成部24>
平滑化振幅スペクトル包絡系列生成部24には、線形予測分析部22が生成した量子化線形予測係数^β1,^β2,…,^βpが入力される。
平滑化振幅スペクトル包絡系列生成部24は、量子化線形予測係数^β1,^β2,…,^βpに対応する振幅スペクトル包絡の系列の振幅の凸凹を鈍らせた系列である平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)を生成する(ステップA4)。
生成された平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)は、包絡正規化部25及び符号化部26に出力される。
平滑化振幅スペクトル包絡系列生成部24は、量子化線形予測係数^β1,^β2,…,^βpと補正係数γを用いて、平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)として、式(A3)により定義される平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)を生成する。
ここで、補正係数γは予め定められた1未満の定数であり非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)の振幅の凹凸を鈍らせる係数、言い換えれば非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を平滑化する係数である。
<包絡正規化部25>
包絡正規化部25には、周波数領域変換部21が得たMDCT係数列X(0),X(1),…,X(N-1)及び平滑化振幅スペクトル包絡生成部24が生成した平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)が入力される。
包絡正規化部25は、MDCT係数列X(0),X(1),…,X(N-1)の各係数を、対応する平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)の各値で正規化することにより、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)を生成する(ステップA5)。
生成された正規化MDCT係数列は、符号化部26に出力される。
包絡正規化部25は、例えば、k=0,1,…,N-1として、MDCT係数列X(0),X(1),…,X(N-1)の各係数X(k)を平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)の各値で除算することにより、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)の各係数XN(k)を生成する。すなわち、k=0,1,…,N-1として、XN(k)=X(k)/^Hγ(k)である。
<符号化部26>
符号化部26には、包絡正規化部25が生成した正規化MDCT係数列XN(0),XN(1),…,XN(N-1)、非平滑化振幅スペクトル包絡生成部23が生成した非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)、平滑化振幅スペクトル包絡生成部24が生成した平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)及び線形予測分析部22が算出した平均残差のエネルギーσ2が入力される。
符号化部26は、図8に示すステップA61からステップA65の処理を例えば行うことにより符号化を行う(ステップA6)。
符号化部26は、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)に対応するグローバルゲインgを求め(ステップA61)、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)の各係数をグローバルゲインgで割り算した結果を量子化した整数値による系列である量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を求め(ステップA62)、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数に対応する分散パラメータφ(0),φ(1),…,φ(N-1)をグローバルゲインgと非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)と平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)と平均残差のエネルギーσ2とから式(A1)により求め(ステップA63)、分散パラメータφ(0),φ(1),…,φ(N-1)を用いて量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を算術符号化して整数信号符号を得(ステップA64)、グローバルゲインgに対応する利得符号を得る(ステップA65)。
ここで、上記の式(A1)における正規化振幅スペクトル包絡系列^HN(0),^HN(1),…,^HNは、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)の各値を、対応する平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)の各値で除算したもの、すなわち、以下の式(A8)により求まるものである。
生成された整数信号符号と利得符号は正規化MDCT係数列に対応する符号として、パラメータ決定部27に出力される。
符号化部26は、ステップA61からステップA65により、整数信号符号のビット数が、予め配分されたビット数である配分ビット数B以下、かつ、なるべく大きな値となるようなグローバルゲインgを決定し、決定されたグローバルゲインgに対応する利得符号と、この決定されたグローバルゲインgに対応する整数信号符号とを生成する機能を実現している。
符号化部26が行うステップA61からステップA65のうち、の特徴的な処理が含まれるのはステップA63であり、グローバルゲインgと量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)のそれぞれを符号化することにより正規化MDCT係数列に対応する符号を得る符号化処理自体には、非特許文献1に記載された技術を含む様々な公知技術が存在する。以下では符号化部26が行う符号化処理の具体例を2つ説明する。
[符号化部26が行う符号化処理の具体例1]
符号化部26が行う符号化処理の具体例1として、ループ処理を含まない例について説明する。
具体例1の符号化部26の構成例を図6に示す。具体例1の符号化部26は、図6に示すように、利得取得部261と、量子化部262と、分散パラメータ決定部268と、算術符号化部269と、利得符号化部265とを例えば備えている。以下、図6の各部について説明する。
<利得取得部261>
利得取得部261には、包絡正規化部25が生成した正規化MDCT係数列XN(0),XN(1),…,XN(N-1)が入力される。
利得取得部261は、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)から、整数信号符号のビット数が、予め配分されたビット数である配分ビット数B以下、かつ、なるべく大きな値となるようなグローバルゲインgを決定して出力する(ステップS261)。利得取得部261は、例えば、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)のエネルギーの合計の平方根と配分ビット数Bと負の相関のある定数との乗算値をグローバルゲインgとして得て出力する。または、利得取得部261は、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)のエネルギーの合計と、配分ビット数Bと、グローバルゲインgと、の関係を予めテーブル化しておき、そのテーブルを参照することによりグローバルゲインgを得て出力してもよい。
このようにして、利得取得部261は、例えば正規化MDCT係数列である正規化周波数領域サンプル列の全サンプルを除算するための利得を得る。
得られたグローバルゲインgは、量子化部262及び分散パラメータ決定部268に出力される。
<量子化部262>
量子化部262には、包絡正規化部25が生成した正規化MDCT係数列XN(0),XN(1),…,XN(N-1)及び利得取得部261が得たグローバルゲインgが入力される。
量子化部262は、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)の各係数をグローバルゲインgで割り算した結果の整数部分による系列である量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を得て出力する(ステップS262)。
このようにして、量子化部262は、例えば正規化MDCT係数列である正規化周波数領域サンプル列の各サンプルを、利得で除算するとともに量子化して量子化正規化済係数系列を求める。
得られた量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)は、算術符号化部269に出力される。
<分散パラメータ決定部268>
分散パラメータ決定部268には、パラメータ決定部27が読み出したパラメータη、利得取得部261が得たグローバルゲインg、非平滑化振幅スペクトル包絡生成部23が生成した非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)、平滑化振幅スペクトル包絡生成部24が生成した平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)及び線形予測分析部22が得た予測残差のエネルギーσ2が入力される。
分散パラメータ決定部268は、グローバルゲインgと、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)と、平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)と、予測残差のエネルギーσ2とから、上記の式(A1),式(A8)により分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータを得て出力する(ステップS268)。
得られた分散パラメータ系列φ(0),φ(1),…,φ(N-1)は、算術符号化部269に出力される。
<算術符号化部269>
算術符号化部269には、パラメータ決定部27が読み出したパラメータη、量子化部262が得た量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)及び分散パラメータ決定部268が得た分散パラメータ系列φ(0),φ(1),…,φ(N-1)が入力される。
算術符号化部269は、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数に対応する分散パラメータとして分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータを用いて、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を算術符号化して整数信号符号を得て出力する(ステップS269)。
算術符号化部269は、算術符号化の際に、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数が一般化ガウス分布fGG(X|φ(k),η)に従うときに最適になるようなビット割り当てを算術符号により行い、行われたビット割り当てに基づく算術符号により符号化を行う。
得られた整数信号符号は、パラメータ決定部27に出力される。
量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の中の複数の係数に跨って算術符号化が行われてもよい。この場合、分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータは、式(A1),式(A8)からわかるように、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)に基づいているため、算術符号化部269は、推定されたスペクトル包絡(非平滑化振幅スペクトル包絡)を基に実質的にビット割り当てが変わる符号化を行っていると言える。
<利得符号化部265>
利得符号化部265には、利得取得部261が得たグローバルゲインgが入力される。
利得符号化部265は、グローバルゲインgを符号化して利得符号を得て出力する(ステップS265)。
生成された整数信号符号と利得符号は正規化MDCT係数列に対応する符号として、パラメータ決定部27に出力される。
本具体例1のステップS261,S262,S268,S269,S265がそれぞれ上記のステップA61,A62,A63,A64,A65に対応する。
[符号化部26が行う符号化処理の具体例2]
符号化部26が行う符号化処理の具体例2として、ループ処理を含む例について説明する。
具体例2の符号化部26の構成例を図7に示す。具体例2の符号化部26は、図7に示すように、利得取得部261と、量子化部262と、分散パラメータ決定部268と、算術符号化部269と、利得符号化部265と、判定部266と、利得更新部267とを例えば備えている。以下、図7の各部について説明する。
<利得取得部261>
利得取得部261には、包絡正規化部25が生成した正規化MDCT係数列XN(0),XN(1),…,XN(N-1)が入力される。
利得取得部261は、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)から、整数信号符号のビット数が、予め配分されたビット数である配分ビット数B以下、かつ、なるべく大きな値となるようなグローバルゲインgを決定して出力する(ステップS261)。利得取得部261は、例えば、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)のエネルギーの合計の平方根と配分ビット数Bと負の相関のある定数との乗算値をグローバルゲインgとして得て出力する。
得られたグローバルゲインgは、量子化部262及び分散パラメータ決定部268に出力される。
利得取得部261が得たグローバルゲインgは、量子化部262及び分散パラメータ決定部268で用いられるグローバルゲインの初期値となる。
<量子化部262>
量子化部262には、包絡正規化部25が生成した正規化MDCT係数列XN(0),XN(1),…,XN(N-1)及び利得取得部261又は利得更新部267が得たグローバルゲインgが入力される。
量子化部262は、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)の各係数をグローバルゲインgで割り算した結果の整数部分による系列である量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を得て出力する(ステップS262)。
ここで、量子化部262が初回に実行される際に用いられるグローバルゲインgは、利得取得部261が得たグローバルゲインg、すなわちグローバルゲインの初期値である。また、量子化部262が2回目以降に実行される際に用いられるグローバルゲインgは、利得更新部267が得たグローバルゲインg、すなわちグローバルゲインの更新値である。
得られた量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)は、算術符号化部269に出力される。
<分散パラメータ決定部268>
分散パラメータ決定部268には、パラメータ決定部27が読み出したパラメータη、利得取得部261又は利得更新部267が得たグローバルゲインg、非平滑化振幅スペクトル包絡生成部23が生成した非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)、平滑化振幅スペクトル包絡生成部24が生成した平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)及び線形予測分析部22が得た予測残差のエネルギーσ2が入力される。
分散パラメータ決定部268は、グローバルゲインgと、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)と、平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)と、予測残差のエネルギーσ2とから、上記の式(A1),式(A8)により分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータを得て出力する(ステップS268)。
ここで、分散パラメータ決定部268が初回に実行される際に用いられるグローバルゲインgは、利得取得部261が得たグローバルゲインg、すなわちグローバルゲインの初期値である。また、分散パラメータ決定部268が2回目以降に実行される際に用いられるグローバルゲインgは、利得更新部267が得たグローバルゲインg、すなわちグローバルゲインの更新値である。
得られた分散パラメータ系列φ(0),φ(1),…,φ(N-1)は、算術符号化部269に出力される。
<算術符号化部269>
算術符号化部269には、パラメータ決定部27が読み出したパラメータη、量子化部262が得た量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)及び分散パラメータ決定部268が得た分散パラメータ系列φ(0),φ(1),…,φ(N-1)が入力される。
算術符号化部269は、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数に対応する分散パラメータとして分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータを用いて、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を算術符号化して、整数信号符号と整数信号符号のビット数である消費ビット数Cとを得て出力する(ステップS269)。
算術符号化部269は、算術符号化の際に、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数が一般化ガウス分布fGG(X|φ(k),η)に従うときに最適になるような算術符号を構成し、この構成に基づく算術符号により符号化を行う。この結果、量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数へのビット割り当ての期待値が分散パラメータ系列φ(0),φ(1),…,φ(N-1)で決定されることになる。
得られた整数信号符号及び消費ビット数Cは、判定部266に出力される。
量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の中の複数の係数に跨って算術符号化が行われてもよい。この場合、分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータは、式(A1),式(A8)からわかるように、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)に基づいているため、算術符号化部269は、推定されたスペクトル包絡(非平滑化振幅スペクトル包絡)を基に実質的にビット割り当てが変わる符号化を行っていると言える。
<判定部266>
判定部266には、算術符号化部269が得た整数信号符号が入力される。
判定部266は、利得の更新回数が予め定めた回数の場合には、整数信号符号を出力するとともに、利得符号化部265に対し利得更新部267が得たグローバルゲインgを符号化する指示信号を出力し、利得の更新回数が予め定めた回数未満である場合には、利得更新部267に対し、算術符号化部264が計測した消費ビット数Cを出力する(ステップS266)。
<利得更新部267>
利得更新部267には、算術符号化部264が計測した消費ビット数Cが入力される。
利得更新部267は、消費ビット数Cが配分ビット数Bより多い場合にはグローバルゲインgの値を大きな値に更新して出力し、消費ビット数Cが配分ビット数Bより少ない場合にはグローバルゲインgの値を小さな値に更新し、更新後のグローバルゲインgの値を出力する(ステップS267)。
利得更新部267が得た更新後のグローバルゲインgは、量子化部262及び利得符号化部265に出力される。
<利得符号化部265>
利得符号化部265には、判定部266からの出力指示及び利得更新部267が得たグローバルゲインgが入力される。
利得符号化部265は、指示信号に従って、グローバルゲインgを符号化して利得符号を得て出力する(ステップ265)。
判定部266が出力した整数信号符号と、利得符号化部265が出力した利得符号は、正規化MDCT係数列に対応する符号として、パラメータ決定部27に出力される。
すなわち、本具体例2においては、最後に行われたステップS267が上記のステップA61に対応し、ステップS262,S263,S264,S265がそれぞれ上記のステップA62,A63,A64,A65に対応する。
なお、符号化部26が行う符号化処理の具体例2については、国際公開公報WO2014/054556などに更に詳細に説明されている。
[符号化部26の変形例]
符号化部26は、例えば以下の処理を行うことにより、推定されたスペクトル包絡(非平滑化振幅スペクトル包絡)を基にビット割り当てを変える符号化を行ってもよい。
符号化部26は、まず、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)に対応するグローバルゲインgを求め、正規化MDCT係数列XN(0),XN(1),…,XN(N-1)の各係数をグローバルゲインgで割り算した結果を量子化した整数値による系列である量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)を求める。
この量子化正規化済係数系列XQ(0),XQ(1),…,XQ(N-1)の各係数に対応する量子化ビットは、XQ(k)の分布がある範囲内で一様であると仮定して、その範囲を包絡の推定値から決めることができる。複数のサンプルごとの包絡の推定値を符号化することもできるが、符号化部26は、例えば以下の式(A9)のように線形予測に基づく正規化振幅スペクトル包絡系列の値^HN(k)を使用してXQ(k)の範囲を決めることができる。
あるkにおけるXQ(k)を量子化するときに、XQ(k)の二乗誤差を最小とするために
の制約のもとに、割り当てるビット数b(k)
を設定することができる。Bは予め定められた正の整数である。この際にb(k)が整数となるように四捨五入するとか、0より小さくなる場合にはb(k)=0とするなどして、b(k)の再調整の処理を符号化部26は行ってもよい。
また、符号化部26は、サンプルごとの割り当てでなく、複数のサンプルをまとめて配分ビット数を決めて、量子化にもサンプルごとのスカラ量子化でなく、複数のサンプルをまとめたベクトルごとの量子化をすることも可能である。
サンプルkのXQ(k)の量子化ビット数b(k)が上記で与えられ、サンプルごとに符号化するとすると、XQ(k)は-2b(k)-1から2b(k)-1までの2b(k)種類の整数を取り得る。符号化部26は、b(k)ビットで各サンプルを符号化して整数信号符号を得る。
生成された整数信号符号は、復号装置に出力される。例えば、生成されたXQ(k)に対応するb(k)ビットの整数信号符号は、k=0から順次復号装置に出力される。
もし、XQ(k)が上記の-2b(k)-1から2b(k)-1までの範囲をこえる場合には最大値、または最小値に置き換える。
gが小さすぎるとこの置き換えで量子化歪が発生し、gが大きすぎると量子化誤差は大きくなり、XQ(k)のとりうる範囲がb(k)に比べて小さすぎて、情報の有効利用ができないことになる。このため、gの最適化を行ってもよい。
符号化部26は、グローバルゲインgを符号化して利得符号を得て出力する。
この符号化部26の変形例のように、符号化部26は算術符号化以外の符号化を行ってもよい。
<パラメータ決定部27>
ステップA1からステップA6の処理により、同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対して各パラメータηごとに生成された符号(この例では、線形予測係数符号、利得符号及び整数信号符号)は、パラメータ決定部27に入力される。
パラメータ決定部27は、同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対して各パラメータηごとに得られた符号の中から1つの符号を選択し、選択された符号に対応するパラメータηを決定する(ステップA7)。この決定されたパラメータηが、その同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対するパラメータηとなる。そして、パラメータ決定部27は、選択された符号及び決定されたパラメータηを表すパラメータ符号を復号装置に出力する。符号の選択は、符号の符号量及び符号に対応する符号化歪の少なくとも一方に基づいて行われる。例えば、符号量が最も小さい符号又は符号化歪が最も小さい符号が選択される。
ここで、符号化歪みとは、入力信号から得られる周波数領域サンプル列と、生成された符号をローカルデコードすることにより得られる周波数領域サンプル列との誤差のことである。符号化装置は、符号化歪みを計算するための符号化歪計算部を備えていてもよい。この符号化歪計算部は、以下に述べる復号装置と同様の処理を行う復号部を備え、この復号部が生成された符号をローカルデコードする。その後、符号化歪計算部は、入力信号から得られる周波数領域サンプル列と、ローカルデコードすることにより得られた周波数領域サンプル列との誤差を計算し、符号化歪とする。
(復号)
符号化装置に対応する復号装置の構成例を図9に示す。第一実施形態の復号装置は、図9に示すように、線形予測係数復号部31と、非平滑化振幅スペクトル包絡系列生成部32と、平滑化振幅スペクトル包絡系列生成部33と、復号部34と、包絡逆正規化部35と、時間領域変換部36と、パラメータ復号部37とを例えば備えている。この復号装置により実現される第一実施形態の復号方法の各処理の例を図10に示す。
復号装置には、符号化装置が出力した、パラメータ符号、正規化MDCT係数列に対応する符号及び線形予測係数符号が少なくとも入力される。
以下、図9の各部について説明する。
<パラメータ復号部37>
パラメータ復号部37には、符号化装置が出力したパラメータ符号が入力される。
パラメータ復号部37は、パラメータ符号を復号することにより復号パラメータηを求める。求まった復号パラメータηは、非平滑化振幅スペクトル包絡系列生成部32、平滑化振幅スペクトル包絡系列生成部33及び復号部34に出力される。パラメータ復号部37には、複数の復号パラメータηが候補として記憶されいる。パラメータ復号部37は、パラメータ符号に対応する復号パラメータηの候補を復号パラメータηとして求める。パラメータ復号部37に記憶されている複数の復号パラメータηは、符号化装置のパラメータ決定部27に記憶された複数のパラメータηと同じである。
<線形予測係数復号部31>
線形予測係数復号部31には、符号化装置が出力した線形予測係数符号が入力される。
線形予測係数復号部31は、フレームごとに、入力された線形予測係数符号を例えば従来的な復号技術によって復号して復号線形予測係数^β1,^β2,…, ^βpを得る(ステップB1)。
得られた復号線形予測係数^β1,^β2,…, ^βpは、非平滑化振幅スペクトル包絡系列生成部32及び非平滑化振幅スペクトル包絡系列生成部33に出力される。
ここで、従来的な復号技術とは、例えば、線形予測係数符号が量子化された線形予測係数に対応する符号である場合に線形予測係数符号を復号して量子化された線形予測係数と同じ復号線形予測係数を得る技術、線形予測係数符号が量子化されたLSPパラメータに対応する符号である場合に線形予測係数符号を復号して量子化されたLSPパラメータと同じ復号LSPパラメータを得る技術などである。また、線形予測係数とLSPパラメータは互いに変換可能なものであり、入力された線形予測係数符号と後段での処理において必要な情報に応じて、復号線形予測係数と復号LSPパラメータの間での変換処理を行なえばよいのは周知である。以上から、上記の線形予測係数符号の復号処理と必要に応じて行なう上記の変換処理とを包含したものが「従来的な復号技術による復号」ということになる。
このようにして、線形予測係数復号部31は、入力された線形予測係数符号を復号することにより、時系列信号に対応する周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做した逆フーリエ変換を行うことにより得られる疑似相関関数信号列に対応する線形予測係数に変換可能な係数を生成する。
<非平滑化振幅スペクトル包絡系列生成部32>
非平滑化振幅スペクトル包絡系列生成部32には、パラメータ復号部37が求めた復号パラメータη及び線形予測係数復号部31が得た復号線形予測係数^β1,^β2,…,^βpが入力される。
非平滑化振幅スペクトル包絡系列生成部32は、復号線形予測係数^β1,^β2,…,^βpに対応する振幅スペクトル包絡の系列である非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を上記の式(A2)により生成する(ステップB2)。
生成された非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)は、復号部34に出力される。
このようにして、非平滑化振幅スペクトル包絡系列生成部32は、線形予測係数復号部31により生成された線形予測係数に変換可能な係数に対応するに対応する振幅スペクトル包絡の系列を1/η乗した系列である非平滑化スペクトル包絡系列を得る。
<平滑化振幅スペクトル包絡系列生成部33>
平滑化振幅スペクトル包絡系列生成部33には、パラメータ復号部37が求めた復号パラメータη及び線形予測係数復号部31が得た復号線形予測係数^β1,^β2,…,^βpが入力される。
平滑化振幅スペクトル包絡系列生成部33は、復号線形予測係数^β1,^β2,…,^βpに対応する振幅スペクトル包絡の系列の振幅の凹凸を鈍らせた系列である平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)を上記の式A(3)により生成する(ステップB3)。
生成された平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)は、復号部34及び包絡逆正規化部35に出力される。
<復号部34>
復号部34には、パラメータ復号部37が求めた復号パラメータη、符号化装置が出力した正規化MDCT係数列に対応する符号、非平滑化振幅スペクトル包絡生成部32が生成した非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)及び平滑化振幅スペクトル包絡生成部33が生成した平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)が入力される。
復号部34は、分散パラメータ決定部342を備えている。
復号部34は、図11に示すステップB41からステップB44の処理を例えば行うことにより復号を行う(ステップB4)。すなわち、復号部34は、フレームごとに、入力された正規化MDCT係数列に対応する符号に含まれる利得符号を復号してグローバルゲインgを得る(ステップB41)。復号部34の分散パラメータ決定部342は、グローバルゲインgと非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)と平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)とから上記の式(A1)により分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータを求める(ステップB42)。復号部34は、正規化MDCT係数列に対応する符号に含まれる整数信号符号を分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータに対応する算術復号の構成に従い、算術復号して復号正規化済係数系列^XQ(0),^XQ(1),…,^XQ(N-1)を得(ステップB43)、復号正規化済係数系列^XQ(0),^XQ(1),…,^XQ(N-1)の各係数にグローバルゲインgを乗算して復号正規化MDCT係数列^XN(0),^XN(1),…,^XN(N-1)を生成する(ステップB44)。このように、復号部34は、非平滑化スペクトル包絡系列に基づいて実質的に変わるビット割り当てに従って、入力された整数信号符号の復号を行ってもよい。
なお、[符号化部26の変形例]に記載された処理により符号化が行われた場合には、復号部34は例えば以下の処理を行う。復号部34は、フレームごとに、入力された正規化MDCT係数列に対応する符号に含まれる利得符号を復号してグローバルゲインgを得る。復号部34の分散パラメータ決定部342は、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)と平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)とから上記の式(A9)により分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータを求める。復号部34は、分散パラメータ系列φ(0),φ(1),…,φ(N-1)の各分散パラメータφ(k)に基づいて式(A10)によりb(k)を求めることができ、XQ(k)の値をそのビット数b(k)で順次復号して、復号正規化済係数系列^XQ(0),^XQ(1),…,^XQ(N-1)を得て、復号正規化済係数系列^XQ(0),^XQ(1),…,^XQ(N-1)の各係数にグローバルゲインgを乗算して復号正規化MDCT係数列^XN(0),^XN(1),…,^XN(N-1)を生成する。このように、復号部34は、非平滑化スペクトル包絡系列に基づいて変わるビット割り当てに従って、入力された整数信号符号の復号を行ってもよい。
生成された復号正規化MDCT係数列^XN(0),^XN(1),…,^XN(N-1)は、包絡逆正規化部35に出力される。
<包絡逆正規化部35>
包絡逆正規化部35には、平滑化振幅スペクトル包絡生成部33が生成した平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)及び復号部34が生成した復号正規化MDCT係数列^XN(0),^XN(1),…,^XN(N-1)が入力される。
包絡逆正規化部35は、平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)を用いて、復号正規化MDCT係数列^XN(0),^XN(1),…,^XN(N-1)を逆正規化することにより、復号MDCT係数列^X(0),^X(1),…,^X(N-1)を生成する(ステップB5)。
生成された復号MDCT係数列^X(0),^X(1),…,^X(N-1)は、時間領域変換部36に出力される。
例えば、包絡逆正規化部35は、k=0,1,…,N-1として、復号正規化MDCT係数列^XN(0),^XN(1),…,^XN(N-1)の各係数^XN(k)に、平滑化振幅スペクトル包絡系列^Hγ(0),^Hγ(1),…,^Hγ(N-1)の各包絡値^Hγ(k)を乗じることにより復号MDCT係数列^X(0),^X(1),…,^X(N-1)を生成する。すなわち、k=0,1,…,N-1として、^X(k)=^XN(k)×^Hγ(k)である。
<時間領域変換部36>
時間領域変換部36には、包絡逆正規化部35が生成した復号MDCT係数列^X(0),^X(1),…,^X(N-1)が入力される。
時間領域変換部36は、フレームごとに、包絡逆正規化部35が得た復号MDCT係数列^X(0),^X(1),…,^X(N-1)を時間領域に変換してフレーム単位の音信号(復号音信号)を得る(ステップB6)。
このようにして、復号装置は、周波数領域での復号により時系列信号を得る。
[第二実施形態]
第一実施形態の符号化装置及び方法は、複数のパラメータηのそれぞれについて符号化を行い符号を生成し、パラメータηごとに生成された符号の中から最適な符号を選択し、選択された符号及び選択された符号に対応するパラメータ符号を出力するものであった。
これに対して、第二実施形態の符号化装置及び方法は、まずパラメータ決定部27がパラメータηを決定し、決定されたパラメータηに基づいて符号化を行い符号を生成し出力するものである。第二実施形態では、所定の時間区間ごとにパラメータηがパラメータ決定部27により可変とされている。ここで、所定の時間区間ごとにパラメータηが可変とは、所定の時間区間が変わればパラメータηも変わり得ることを意味し、同一の時間区間ではパラメータηの値は変わらないとする。
以下、第一実施形態と異なる部分を中心に説明する。第一実施形態と同様の部分については重複説明を省略する。
(符号化)
第二実施形態の符号化装置の構成例を図12に示す。符号化装置は、図12に示すように、周波数領域変換部21と、線形予測分析部22と、非平滑化振幅スペクトル包絡系列生成部23と、平滑化振幅スペクトル包絡系列生成部24と、包絡正規化部25と、符号化部26と、パラメータ決定部27’とを例えば備えている。この符号化装置により実現される符号化方法の各処理の例を図13に示す。
以下、図12の各部について説明する。
<パラメータ決定部27’>
パラメータ決定部27’には、時系列信号である時間領域の音信号が入力される。音信号の例は、音声ディジタル信号又は音響ディジタル信号である。
パラメータ決定部27’は、入力された時系列信号に基づいて、後述する処理により、パラメータηを決定する(ステップA7’)。
パラメータ決定部27’により決定されたηは、線形予測分析部22、非平滑化振幅スペクトル包絡推定部23、及び平滑化振幅スペクトル包絡推定部24及び符号化部26に出力される。
また、パラメータ決定部27’は、決定されたηを符号化することによりパラメータ符号を生成する。生成されたパラメータ符号は、復号装置に送信される。
パラメータ決定部27’の詳細については後述する。
周波数領域変換部21、線形予測分析部22、非平滑化振幅スペクトル包絡系列生成部23、平滑化振幅スペクトル包絡系列生成部24、包絡正規化部25及び符号化部26は、パラメータ決定部27’が決定したパラメータηに基づいて、第一実施形態と同様の処理により符号を生成する(ステップA1からステップA6)。この例では、符号は、線形予測係数符号と、利得符号と、整数信号符号とを合わせたものである。生成された符号は、復号装置に送信される。
パラメータ決定部27’の構成例を図14に示す。パラメータ決定部27’は、図14に示すように、周波数領域変換部41と、スペクトル包絡推定部42と、白色化スペクトル系列生成部43と、パラメータ取得部44とを例えば備えている。スペクトル包絡推定部42は、線形予測分析部421及び非平滑化振幅スペクトル包絡系列生成部422を例えば備えている。例えばこのパラメータ決定部27’により実現されるパラメータ決定方法の各処理の例を図2に示す。
以下、図14の各部について説明する。
<周波数領域変換部41>
周波数領域変換部41には、時系列信号である時間領域の音信号が入力される。音信号の例は、音声ディジタル信号又は音響ディジタル信号である。
周波数領域変換部41は、所定の時間長のフレーム単位で、入力された時間領域の音信号を周波数領域のN点のMDCT係数列X(0),X(1),…,X(N-1)に変換する。Nは正の整数である。
得られたMDCT係数列X(0),X(1),…,X(N-1)は、スペクトル包絡推定部42及び白色化スペクトル系列生成部43に出力される。
特に断りがない限り、以降の処理はフレーム単位で行われるものとする。
このようにして、周波数領域変換部41は、音信号に対応する、例えばMDCT係数列である周波数領域サンプル列を求める(ステップC41)。
<スペクトル包絡推定部42>
スペクトル包絡推定部42には、周波数領域変換部41が得たMDCT係数列X(0),X(1),…,X(N-1)が入力される。
スペクトル包絡推定部42は、所定の方法で定められるパラメータη0に基づいて、時系列信号に対応する周波数領域サンプル列の絶対値のη0乗をパワースペクトルとして用いたスペクトル包絡の推定を行う(ステップC42)。
推定されたスペクトル包絡は、白色化スペクトル系列生成部43に出力される。
スペクトル包絡推定部42は、例えば以下に説明する線形予測分析部421及び非平滑化振幅スペクトル包絡系列生成部422の処理により、非平滑化振幅スペクトル包絡系列を生成することによりスペクトル包絡の推定を行う。
パラメータη0は所定の方法で定められるとする。例えば、η0を0より大きい所定の数とする。例えば、η0=1とする。また、現在パラメータηを求めようとしているフレームよりも前のフレームで求まったηを用いてもよい。現在パラメータηを求めようとしているフレーム(以下、現フレームとする。)よりも前のフレームとは、例えば現フレームのよりも前のフレームであって現フレームの近傍のフレームである。現フレームの近傍のフレームは、例えば現フレームの直前のフレームである。
<線形予測分析部421>
線形予測分析部421には、周波数領域変換部41が得たMDCT係数列X(0),X(1),…,X(N-1)が入力される。
線形予測分析部421は、MDCT係数列X(0),X(1),…,X(N-1)を用いて、以下の式(C1)により定義される~R(0),~R(1),…,~R(N-1)を線形予測分析して線形予測係数β1,β2,…,βpを生成し、生成された線形予測係数β1,β2,…,βpを符号化して線形予測係数符号と線形予測係数符号に対応する量子化された線形予測係数である量子化線形予測係数^β1,^β2,…,^βpとを生成する。
生成された量子化線形予測係数^β1,^β2,…,^βpは、非平滑化スペクトル包絡系列生成部422に出力される。
具体的には、線形予測分析部421は、まずMDCT係数列X(0),X(1),…,X(N-1)の絶対値のη0乗をパワースペクトルと見做した逆フーリエ変換に相当する演算、すなわち式(C1)の演算を行うことにより、MDCT係数列X(0),X(1),…,X(N-1)の絶対値のη乗に対応する時間領域の信号列である擬似相関関数信号列~R(0),~R(1),…,~R(N-1)を求める。そして、線形予測分析部421は、求まった擬似相関関数信号列~R(0),~R(1),…,~R(N-1)を用いて線形予測分析を行って、線形予測係数β1,β2,…,βpを生成する。そして、線形予測分析部421は、生成された線形予測係数β1,β2,…,βpを符号化することにより、線形予測係数符号と、線形予測係数符号に対応する量子化線形予測係数^β1,^β2,…,^βpとを得る。
線形予測係数β1,β2,…,βpは、MDCT係数列X(0),X(1),…,X(N-1)の絶対値のη0乗をパワースペクトルと見做したときの時間領域の信号に対応する線形予測係数である。
線形予測分析部421による線形予測係数符号の生成は、例えば従来的な符号化技術によって行われる。従来的な符号化技術とは、例えば、線形予測係数そのものに対応する符号を線形予測係数符号とする符号化技術、線形予測係数をLSPパラメータに変換してLSPパラメータに対応する符号を線形予測係数符号とする符号化技術、線形予測係数をPARCOR係数に変換してPARCOR係数に対応する符号を線形予測係数符号とする符号化技術などである。
このようにして、線形予測分析部421は、例えばMDCT係数列である周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做した逆フーリエ変換を行うことにより得られる疑似相関関数信号列を用いて線形予測分析を行い線形予測係数に変換可能な係数を生成する(ステップC421)。
<非平滑化振幅スペクトル包絡系列生成部422>
非平滑化振幅スペクトル包絡系列生成部422には、線形予測分析部421が生成した量子化線形予測係数^β1,^β2,…,^βpが入力される。
非平滑化振幅スペクトル包絡系列生成部422は、量子化線形予測係数^β1,^β2,…,^βpに対応する振幅スペクトル包絡の系列である非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を生成する。
生成された非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)は、白色化スペクトル系列生成部43に出力される。
非平滑化振幅スペクトル包絡系列生成部422は、量子化線形予測係数^β1,^β2,…,^βpを用いて、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)として、式(C2)により定義される非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を生成する。
このようにして、非平滑化振幅スペクトル包絡系列生成部422は、疑似相関関数信号列に対応する振幅スペクトル包絡の系列を1/η0乗した系列である非平滑化スペクトル包絡系列を線形予測分析部421により生成された線形予測係数に変換可能な係数に基づいて得ることによりスペクトル包絡の推定を行う(ステップC422)。
<白色化スペクトル系列生成部43>
白色化スペクトル系列生成部43には、周波数領域変換部41が得たMDCT係数列X(0),X(1),…,X(N-1)及び非平滑化振幅スペクトル包絡生成部422が生成した非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)が入力される。
白色化スペクトル系列生成部43は、MDCT係数列X(0),X(1),…,X(N-1)の各係数を、対応する非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)の各値で除算することにより、白色化スペクトル系列XW(0),XW(1),…,XW(N-1)を生成する。
生成された白色化スペクトル系列XW(0),XW(1),…,XW(N-1)は、パラメータ取得部44に出力される。
白色化スペクトル系列生成部43は、例えば、k=0,1,…,N-1として、MDCT係数列X(0),X(1),…,X(N-1)の各係数X(k)を非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)の各値^H(k)で除算することにより、白色化スペクトル系列XW(0),XW(1),…,XW(N-1)の各値XW(k)を生成する。すなわち、k=0,1,…,N-1として、XW(k)=X(k)/^H(k)である。
このようにして、白色化スペクトル系列生成部43は、例えば非平滑化振幅スペクトル包絡系列であるスペクトル包絡で例えばMDCT係数列である周波数領域サンプル列を除算した系列である白色化スペクトル系列を得る(ステップC43)。
<パラメータ取得部44>
パラメータ取得部44には、白色化スペクトル系列生成部43が生成した白色化スペクトル系列XW(0),XW(1),…,XW(N-1)が入力される。
パラメータ取得部44は、パラメータηを形状パラメータとする一般化ガウス分布が白色化スペクトル系列XW(0),XW(1),…,XW(N-1)のヒストグラムを近似するパラメータηを求める(ステップC44)。言い換えれば、パラメータ取得部44は、パラメータηを形状パラメータとする一般化ガウス分布が白色化スペクトル系列XW(0),XW(1),…,XW(N-1)のヒストグラムの分布に近くなるようなパラメータηを決定する。
パラメータηを形状パラメータとする一般化ガウス分布は、例えば以下のように定義される。Γは、ガンマ関数である。
一般化ガウス分布は、形状パラメータであるηを変えることにより、図3のようにη=1の時はラプラス分布、η=2の時はガウス分布、といったように様々な分布を表現することができるものである。φは分散に対応するパラメータである。
ここで、パラメータ取得部44が求めるηは、例えば以下の式(C3)により定義される。F-1は、関数Fの逆関数である。この式は、いわゆるモーメント法により導出されるものである。
逆関数F-1が定式化されている場合には、パラメータ取得部44は、定式化された逆関数F-1にm1/((m2)1/2)の値を入力したときの出力値を計算することによりパラメータηを求めることができる。
逆関数F-1が定式化されていない場合には、パラメータ取得部44は、式(C3)で定義されるηの値を計算するために、例えば以下に説明する第一方法又は第二方法によりパラメータηを求めてもよい。
パラメータηを求めるための第一方法について説明する。第一の方法では、パラメータ取得部44は、白色化スペクトル系列に基づいてm1/((m2)1/2)を計算し、予め用意しておいた異なる複数の、ηと対応するF(η)のペアを参照して、計算されたm1/((m2)1/2)に最も近いF(η)に対応するηを取得する。
予め用意しておいた異なる複数の、ηと対応するF(η)のペアは、パラメータ取得部44の記憶部441に予め記憶しておく。パラメータ取得部44は、記憶部441を参照して、計算されたm1/((m2)1/2)に最も近いF(η)を見つけ、見つかったF(η)に対応するηを記憶部441から読み込み出力する。
計算されたm1/((m2)1/2)に最も近いF(η)とは、計算されたm1/((m2)1/2)との差の絶対値が最も小さくなるF(η)のことである。
パラメータηを求めるための第二方法について説明する。第二の方法では、逆関数F-1の近似曲線関数を例えば以下の式(C3’)で表される~F-1として、パラメータ取得部44は、白色化スペクトル系列に基づいてm1/((m2)1/2)を計算し、近似曲線関数~F-1に計算されたm1/((m2)1/2)を入力したときの出力値を計算することによりηを求める。
なお、パラメータ取得部44が求めるηは、式(C3)ではなく、式(C3'')のように予め定めた正の整数q1及びq2を用いて(ただしq1<q2)式(C3)を一般化した式により定義されてもよい。
なお、ηが式(C3'')により定義される場合も、ηが式(C3)により定義されている場合と同様の方法により、ηを求めることができる。すなわち、パラメータ取得部44が、白色化スペクトル系列に基づいてそのq1次モーメントであるmq1とそのq2次モーメントであるmq2とに基づく値mq1/((mq2)q1/q2)を計算した後、例えば上記の第一及び第二の方法と同様、予め用意しておいた異なる複数の、ηと対応するF’(η)のペアを参照して、計算されたmq1/((mq2)q1/q2)に最も近いF’(η)に対応するηを取得するか、逆関数F’-1の近似曲線関数を~F’-1として、近似曲線関数~F-1に計算されたmq1/((mq2)q1/q2)を入力したときの出力値を計算してηを求めることができる。
このようにηは次数が異なる2つの異なるモーメントmq1,mq2に基づく値であるとも言える。例えば、次数が異なる2つの異なるモーメントmq1,mq2のうち、次数が低い方のモーメントの値又はこれに基づく値(以下、前者とする。)と次数が高い方のモーメントの値又はこれに基づく値(以下、後者とする)との比の値、この比の値に基づく値、又は、前者を後者で割って得られる値に基づき、ηを求めてもよい。モーメントに基づく値とは、例えば、そのモーメントをmとしQを所定の実数としてmQのことである。また、これらの値を近似曲線関数~F-1に入力してηを求めてもよい。この近似曲線関数~F’-1は上記同様、使用する定義域において出力が正値となる単調増加関数であればよい。
パラメータ決定部27’は、ループ処理によりパラメータηを求めてもよい。すなわち、パラメータ決定部27’は、パラメータ取得部44で求まるパラメータηを所定の方法で定められるパラメータη0とする、スペクトル包絡推定部42、白色化スペクトル系列生成部43及びパラメータ取得部44の処理を更に1回以上行ってもよい。
この場合、例えば、図14で破線で示すように、パラメータ取得部44で求まったパラメータηは、スペクトル包絡推定部42に出力される。スペクトル包絡推定部42は、パラメータ取得部44で求まったηをパラメータη0として用いて、上記説明した処理と同様の処理を行いスペクトル包絡の推定を行う。白色化スペクトル系列生成部43は、新たに推定されたスペクトル包絡に基づいて、上記説明した処理と同様の処理を行い白色化スペクトル系列を生成する。パラメータ取得部44は、新たに生成された白色化スペクトル系列に基づいて、上記説明した処理と同様の処理を行いパラメータηを求める。
例えば、スペクトル包絡推定部42、白色化スペクトル系列生成部43及びパラメータ取得部44の処理は、所定の回数であるτ回だけ更に行われてもよい。τは所定の正の整数であり、例えばτ=1又はτ=2である。
また、スペクトル包絡推定部42は、今回求まったパラメータηと前回求まったパラメータηとの差の絶対値が所定の閾値以下となるまで、スペクトル包絡推定部42、白色化スペクトル系列生成部43及びパラメータ取得部44の処理を繰り返してもよい。
(復号)
第二実施形態の復号装置及び方法は、第一実施形態と同様であるため重複説明を省略する。
[[第二実施形態の変形例]]
なお、少なくともパラメータηに基づいて符号化処理の構成を特定可能であれば、符号化処理はどのようなものであってもよく、符号化部26の符号化処理以外の符号化処理を用いてもよい。
以下、符号化処理が符号化部26による符号化処理に限定されていない、第二実施形態の変形例について述べる。
(符号化)
第二実施形態の変形例の符号化装置及び方法の一例について説明する。
第二実施形態の変形例の符号化装置は、図17に示すように、パラメータ決定部27’、音響特徴量抽出部521、特定部522及び符号化部523を例えば備えている。符号化装置の各部が、図18に例示する各処理を行うことにより符号化方法が実現される。
以下、符号化装置の各部について説明する。
<パラメータ決定部27’>
パラメータ決定部27’には、時系列信号であるフレーム単位の時間領域の音信号が入力される。音信号の例は、音声ディジタル信号又は音響ディジタル信号である。
パラメータ決定部27’は、入力された時系列信号に基づいて、後述する処理により、パラメータηを決定する(ステップFE1)。パラメータ決定部27’は、所定の時間長のフレームごとに処理を行う。すなわち、フレームごとにパラメータηが決定される。
パラメータ決定部27’により決定されたパラメータηは、特定部522に出力される。
パラメータ決定部27’の構成例を図21に示す。パラメータ決定部27’は、図21に示すように、周波数領域変換部41と、スペクトル包絡推定部42と、白色化スペクトル系列生成部43と、パラメータ取得部44とを例えば備えている。スペクトル包絡推定部42は、線形予測分析部421及び非平滑化振幅スペクトル包絡系列生成部422を例えば備えている。例えばこのパラメータ決定部27’により実現されるパラメータ決定方法の各処理の例を図22に示す。
以下、図21の各部について説明する。
<周波数領域変換部41>
周波数領域変換部41には、時系列信号である時間領域の音信号が入力される。
周波数領域変換部41は、所定の時間長のフレーム単位で、入力された時間領域の音信号を周波数領域のN点のMDCT係数列X(0),X(1),…,X(N-1)に変換する。Nは正の整数である。
得られたMDCT係数列X(0),X(1),…,X(N-1)は、スペクトル包絡推定部42及び白色化スペクトル系列生成部43に出力される。
特に断りがない限り、以降の処理はフレーム単位で行われるものとする。
このようにして、周波数領域変換部41は、時系列信号に対応する、例えばMDCT係数列である周波数領域サンプル列を求める(ステップC41)。
<スペクトル包絡推定部42>
スペクトル包絡推定部42には、周波数領域変換部41が得たMDCT係数列X(0),X(1),…,X(N-1)が入力される。
スペクトル包絡推定部42は、所定の方法で定められるパラメータη0に基づいて、時系列信号に対応する周波数領域サンプル列の絶対値のη0乗をパワースペクトルとして用いたスペクトル包絡の推定を行う(ステップC42)。
推定されたスペクトル包絡は、白色化スペクトル系列生成部43に出力される。
スペクトル包絡推定部42は、例えば以下に説明する線形予測分析部421及び非平滑化振幅スペクトル包絡系列生成部422の処理により、非平滑化振幅スペクトル包絡系列を生成することによりスペクトル包絡の推定を行う。
パラメータη0は所定の方法で定められるとする。例えば、η0を0より大きい所定の数とする。例えば、η0=1とする。また、現在パラメータηを求めようとしているフレームよりも前のフレームで求まったηを用いてもよい。現在パラメータηを求めようとしているフレーム(以下、現フレームとする。)よりも前のフレームとは、例えば現フレームのよりも前のフレームであって現フレームの近傍のフレームである。現フレームの近傍のフレームは、例えば現フレームの直前のフレームである。
<線形予測分析部421>
線形予測分析部421には、周波数領域変換部41が得たMDCT係数列X(0),X(1),…,X(N-1)が入力される。
線形予測分析部421は、MDCT係数列X(0),X(1),…,X(N-1)を用いて、以下の式(C1)により定義される~R(0),~R(1),…,~R(N-1)を線形予測分析して線形予測係数β1,β2,…,βpを生成し、生成された線形予測係数β1,β2,…,βpを符号化して線形予測係数符号と線形予測係数符号に対応する量子化された線形予測係数である量子化線形予測係数^β1,^β2,…,^βpとを生成する。
生成された量子化線形予測係数^β1,^β2,…,^βpは、非平滑化スペクトル包絡系列生成部422に出力される。
具体的には、線形予測分析部421は、まずMDCT係数列X(0),X(1),…,X(N-1)の絶対値のη0乗をパワースペクトルと見做した逆フーリエ変換に相当する演算、すなわち式(C1)の演算を行うことにより、MDCT係数列X(0),X(1),…,X(N-1)の絶対値のη0乗に対応する時間領域の信号列である擬似相関関数信号列~R(0),~R(1),…,~R(N-1)を求める。そして、線形予測分析部421は、求まった擬似相関関数信号列~R(0),~R(1),…,~R(N-1)を用いて線形予測分析を行って、線形予測係数β1,β2,…,βpを生成する。そして、線形予測分析部421は、生成された線形予測係数β1,β2,…,βpを符号化することにより、線形予測係数符号と、線形予測係数符号に対応する量子化線形予測係数^β1,^β2,…,^βpとを得る。
線形予測係数β1,β2,…,βpは、MDCT係数列X(0),X(1),…,X(N-1)の絶対値のη0乗をパワースペクトルと見做したときの時間領域の信号に対応する線形予測係数である。
線形予測分析部421による線形予測係数符号の生成は、例えば従来的な符号化技術によって行われる。従来的な符号化技術とは、例えば、線形予測係数そのものに対応する符号を線形予測係数符号とする符号化技術、線形予測係数をLSPパラメータに変換してLSPパラメータに対応する符号を線形予測係数符号とする符号化技術、線形予測係数をPARCOR係数に変換してPARCOR係数に対応する符号を線形予測係数符号とする符号化技術などである。
このようにして、線形予測分析部421は、例えばMDCT係数列である周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做した逆フーリエ変換を行うことにより得られる疑似相関関数信号列を用いて線形予測分析を行い線形予測係数を生成する(ステップC421)。
<非平滑化振幅スペクトル包絡系列生成部422>
非平滑化振幅スペクトル包絡系列生成部422には、線形予測分析部421が生成した量子化線形予測係数^β1,^β2,…,^βpが入力される。
非平滑化振幅スペクトル包絡系列生成部422は、量子化線形予測係数^β1,^β2,…,^βpに対応する振幅スペクトル包絡の系列である非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を生成する。
生成された非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)は、白色化スペクトル系列生成部43に出力される。
非平滑化振幅スペクトル包絡系列生成部422は、量子化線形予測係数^β1,^β2,…,^βpを用いて、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)として、式(C2)により定義される非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を生成する。
このようにして、非平滑化振幅スペクトル包絡系列生成部422は、疑似相関関数信号列に対応する振幅スペクトル包絡の系列を1/η0乗した系列である非平滑化スペクトル包絡系列を線形予測分析部421により生成された線形予測係数に変換可能な係数に基づいて得ることによりスペクトル包絡の推定を行う(ステップC422)。
なお、非平滑化スペクトル包絡系列生成部422は、量子化線形予測係数^β1,^β2,…,^βpに代えて線形予測分析部421が生成した線形予測係数β1,β2,…,βpを用いることにより、非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)を得てもよい。この場合は、線形予測分析部421は、量子化線形予測係数^β1,^β2,…,^βpを得る処理をしなくてもよい。
<白色化スペクトル系列生成部43>
白色化スペクトル系列生成部43には、周波数領域変換部41が得たMDCT係数列X(0),X(1),…,X(N-1)及び非平滑化振幅スペクトル包絡生成部422が生成した非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)が入力される。
白色化スペクトル系列生成部43は、MDCT係数列X(0),X(1),…,X(N-1)の各係数を、対応する非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)の各値で除算することにより、白色化スペクトル系列XW(0),XW(1),…,XW(N-1)を生成する。
生成された白色化スペクトル系列XW(0),XW(1),…,XW(N-1)は、パラメータ取得部44に出力される。
白色化スペクトル系列生成部43は、例えば、k=0,1,…,N-1として、MDCT係数列X(0),X(1),…,X(N-1)の各係数X(k)を非平滑化振幅スペクトル包絡系列^H(0),^H(1),…,^H(N-1)の各値^H(k)で除算することにより、白色化スペクトル系列XW(0),XW(1),…,XW(N-1)の各値XW(k)を生成する。すなわち、k=0,1,…,N-1として、XW(k)=X(k)/^H(k)である。
このようにして、白色化スペクトル系列生成部43は、例えば非平滑化振幅スペクトル包絡系列であるスペクトル包絡で例えばMDCT係数列である周波数領域サンプル列を除算した系列である白色化スペクトル系列を得る(ステップC43)。
<パラメータ取得部44>
パラメータ取得部44には、白色化スペクトル系列生成部43が生成した白色化スペクトル系列XW(0),XW(1),…,XW(N-1)が入力される。
パラメータ取得部44は、パラメータηを形状パラメータとする一般化ガウス分布が白色化スペクトル系列XW(0),XW(1),…,XW(N-1)のヒストグラムを近似するパラメータηを求める(ステップC44)。言い換えれば、パラメータ取得部44は、パラメータηを形状パラメータとする一般化ガウス分布が白色化スペクトル系列XW(0),XW(1),…,XW(N-1)のヒストグラムの分布に近くなるようなパラメータηを決定する。
パラメータηを形状パラメータとする一般化ガウス分布は、例えば以下のように定義される。Γは、ガンマ関数である。
一般化ガウス分布は、形状パラメータであるηを変えることにより、図23のようにη=1の時はラプラス分布、η=2の時はガウス分布、といったように様々な分布を表現することができるものである。φは分散に対応するパラメータである。
ここで、パラメータ取得部44が求めるηは、例えば以下の式(C3)により定義される。F-1は、関数Fの逆関数である。この式は、いわゆるモーメント法により導出されるものである。
逆関数F-1が定式化されている場合には、パラメータ取得部44は、定式化された逆関数F-1にm1/((m2)1/2)の値を入力したときの出力値を計算することによりパラメータηを求めることができる。
逆関数F-1が定式化されていない場合には、パラメータ取得部44は、式(C3)で定義されるηの値を計算するために、例えば以下に説明する第一方法又は第二方法によりパラメータηを求めてもよい。
パラメータηを求めるための第一方法について説明する。第一の方法では、パラメータ取得部44は、白色化スペクトル系列に基づいてm1/((m2)1/2)を計算し、予め用意しておいた異なる複数の、ηと対応するF(η)のペアを参照して、計算されたm1/((m2)1/2)に最も近いF(η)に対応するηを取得する。
予め用意しておいた異なる複数の、ηと対応するF(η)のペアは、パラメータ取得部44の記憶部441に予め記憶しておく。パラメータ取得部44は、記憶部441を参照して、計算されたm1/((m2)1/2)に最も近いF(η)を見つけ、見つかったF(η)に対応するηを記憶部441から読み込み出力する。
計算されたm1/((m2)1/2)に最も近いF(η)とは、計算されたm1/((m2)1/2)との差の絶対値が最も小さくなるF(η)のことである。
パラメータηを求めるための第二方法について説明する。第二の方法では、逆関数F-1の近似曲線関数を例えば以下の式(C3’)で表される~F-1として、パラメータ取得部44は、白色化スペクトル系列に基づいてm1/((m2)1/2)を計算し、近似曲線関数~F-1に計算されたm1/((m2)1/2)を入力したときの出力値を計算することによりηを求める。
なお、パラメータ取得部44が求めるηは、式(C3)ではなく、式(C3'')のように予め定めた正の整数q1及びq2を用いて(ただしq1<q2)式(C3)を一般化した式により定義されてもよい。
なお、ηが式(C3'')により定義される場合も、ηが式(C3)により定義されている場合と同様の方法により、ηを求めることができる。すなわち、パラメータ取得部44が、白色化スペクトル系列に基づいてそのq1次モーメントであるmq1とそのq2次モーメントであるmq2とに基づく値mq1/((mq2)q1/q2)を計算した後、例えば上記の第一及び第二の方法と同様、予め用意しておいた異なる複数の、ηと対応するF’(η)のペアを参照して、計算されたmq1/((mq2)q1/q2)に最も近いF’(η)に対応するηを取得するか、逆関数F’-1の近似曲線関数を~F’-1として、近似曲線関数~F-1に計算されたmq1/((mq2)q1/q2)を入力したときの出力値を計算してηを求めることができる。
このようにηは次数が異なる2つの異なるモーメントmq1,mq2に基づく値であるとも言える。例えば、次数が異なる2つの異なるモーメントmq1,mq2のうち、次数が低い方のモーメントの値又はこれに基づく値(以下、前者とする。)と次数が高い方のモーメントの値又はこれに基づく値(以下、後者とする)との比の値、この比の値に基づく値、又は、前者を後者で割って得られる値に基づき、ηを求めてもよい。モーメントに基づく値とは、例えば、そのモーメントをmとしQを所定の実数としてmQのことである。また、これらの値を近似曲線関数~F-1に入力してηを求めてもよい。この近似曲線関数~F’-1は上記同様、使用する定義域において出力が正値となる単調増加関数であればよい。
パラメータ決定部27’は、ループ処理によりパラメータηを求めてもよい。すなわち、パラメータ決定部27’は、パラメータ取得部44で求まるパラメータηを所定の方法で定められるパラメータη0とする、スペクトル包絡推定部42、白色化スペクトル系列生成部43及びパラメータ取得部44の処理を更に1回以上行ってもよい。
この場合、例えば、図21で破線で示すように、パラメータ取得部44で求まったパラメータηは、スペクトル包絡推定部42に出力される。スペクトル包絡推定部42は、パラメータ取得部44で求まったηをパラメータη0として用いて、上記説明した処理と同様の処理を行いスペクトル包絡の推定を行う。白色化スペクトル系列生成部43は、新たに推定されたスペクトル包絡に基づいて、上記説明した処理と同様の処理を行い白色化スペクトル系列を生成する。パラメータ取得部44は、新たに生成された白色化スペクトル系列に基づいて、上記説明した処理と同様の処理を行いパラメータηを求める。
例えば、スペクトル包絡推定部42、白色化スペクトル系列生成部43及びパラメータ取得部44の処理は、所定の回数であるτ回だけ更に行われてもよい。τは所定の正の整数であり、例えばτ=1又はτ=2である。
また、スペクトル包絡推定部42は、今回求まったパラメータηと前回求まったパラメータηとの差の絶対値が所定の閾値以下となるまで、スペクトル包絡推定部42、白色化スペクトル系列生成部43及びパラメータ取得部44の処理を繰り返してもよい。
<音響特徴量抽出部521>
音響特徴量抽出部521には、時系列信号であるフレーム単位の時間領域の音信号が入力される。
音響特徴量抽出部521は、音響特徴量として、時系列信号の音の大きさを表す指標を計算する(ステップFE2)。計算された音の大きさを表す指標は、特定部522に出力される。また、音響特徴量抽出部521は、音響特徴量に対応する音響特徴量符号を生成して復号装置に出力する。
時系列信号の音の大きさを表す指標は、その時系列信号の音の大きさを表す指標であればどのようなものであってもよい。時系列信号の音の大きさを表す指標は、例えば時系列信号のエネルギーである。
なお、この例では、以下に述べる特定部522がパラメータηだけではなく音の大きさを表す指標に基づいて符号化処理の構成を特定するため、音響特徴量抽出部521が音の大きさを表す指標を計算しているが、特定部522がパラメータηのみを用いて符号化処理の構成の特定を行い音の大きさを表す指標を用いない場合には、音響特徴量抽出部521は音の大きさを表す指標の計算をしなくてもよい。
<特定部522>
特定部522には、パラメータ決定部27’が決定したパラメータηと、音響特徴量抽出部521が計算した時系列信号の音の大きさを表す指標とが入力される。また、必要に応じて時系列信号であるフレーム単位の音信号が入力される。
特定部522は、少なくともパラメータηに基づいて符号化処理の構成を特定し(ステップFE3)、符号化処理の構成を特定可能な特定符号を生成し復号装置に出力する。また、特定部522により特定された符号化処理の構成についての情報は、符号化部523に出力される。
特定部522は、パラメータηのみに基づいて符号化処理の構成を特定してもよいし、パラメータηとそれ以外のパラメータとに基づいて符号化処理の構成を特定してもよい。
符号化処理の構成とは、TCX(Transform Coded Excitation)、ACELP(Algebraic Code Excited Linear Prediction)等の符号化方法であってもよいし、ある符号化方法における、時間的処理の単位であるフレーム長、符号に割り当てるビット数、線形予測係数に変換可能な係数の次数、符号化処理の中で用いられる任意のパラメータの値であってもよい。すなわち、パラメータηに応じて、ある符号化方法における、時間的処理の単位であるフレーム長、符号に割り当てるビット数、線形予測係数に変換可能な係数の次数、符号化処理の中で用いられる任意のパラメータの値を適切に定めることが可能であってもよい。
なお、図12及び図13を参照しながら上記説明した第二実施形態の符号化装置及び方法は、パラメータηに応じて符号化処理の中で用いられるパラメータの値を定めている。このため、図12及び図13を参照しながら上記説明した第二実施形態の符号化装置及び方法は、パラメータηに基づいて符号化処理の構成を特定する第二実施形態の変形例の一例であると言える。
符号化処理の構成を特定可能な特定符号は、符号化処理の構成を特定可能な符号であればどのような符号でもよい。例えば、符号化処理の構成を特定可能な特定符号は、符号化処理の構成として、フレーム長の長いTCXが特定される場合には"11"、フレーム長の短いTCXが特定される場合には"100"、ACELPが特定される場合には"101"、例えば雑音レベルと特定等のみを伝送する低ビットの符号化処理が特定される場合には"0"等の所定のビット列によるフラグである。符号化処理の構成を特定可能な特定符号は、例えばパラメータηを表すパラメータ符号であってもよい。
符号化処理の構成を特定可能な特定符号は、その特定符号により符号化処理の構成が特定されれば、対応する復号処理の構成も特定されるため、復号処理の構成を特定可能な特定符号とも言える。
以下では、まず、パラメータηと時系列信号の音の大きさを表す指標とに基づいて、符号化処理を特定する場合を例に挙げて説明する。
特定部522は、時系列信号の音の大きさを表す指標と所定の閾値Ceをと比較し、また、パラメータηと所定の閾値Cηとを比較する。時系列信号の音の大きさを表す指標として、例えば、平均振幅(サンプルあたりの平均エネルギーの平方根)を用いた場合には、Ce=最大振幅値*(1/128)とする。例えば16ビット精度ならば最大振幅値は32768となるため、Ce=256とする。また、例えば、Cη=1とする。
時系列信号の音の大きさを表す指標≧所定の閾値Ce、かつ、パラメータη<所定の閾値Cηであれば、時系列信号は継続音を主体とした管楽器や弦楽器を主体とする音楽(以下、継続音楽と記載)である可能性が高いため、特定部522は、継続音楽に適した符号化処理を行うことを決定する。継続音楽に適した符号化処理とは、例えばフレーム長が長いTCX符号化処理、具体的には1024点のフレームのTCX符号化処理である。
時系列信号の音の大きさを表す指標≧所定の閾値Ce、かつ、パラメータη≧所定の閾値Cηであれば、時系列信号は音声又は時間変動の大きい打楽器等を主体とする音楽である可能性が高い。
この場合、特定部522は、必要に応じて入力される時系列信号を例えば4分割し、4個のサブフレームを作り、サブフレームごとの時系列信号のエネルギーを測定する。特定部522は、4個のサブフレームのエネルギーの相加平均を相乗平均で割った値F=((1/4)Σ4個のサブフレームのエネルギー)/((Πサブフレームのエネルギー)1/4)が所定の閾値CF以上であれば、時系列信号は時間変動の大きい音楽である可能性が高い。この場合、特定部522は、時間変動が大きい音楽に適した符号化処理を行うことを決定する。時間変動が大きい音楽に適した符号化処理とは、例えばフレーム長が短いTCX符号化処理、具体的には256点のフレームのTCX符号化処理である。例えば、CE=1.5とする。
値Fが所定の閾値CF未満であれば、時系列信号は音声である可能性が高い。この場合、特定部522は、音声に適した符号化処理を行うことを決定する。音声に適した符号化処理とは、例えばACELP、CELP(Code Excited Linear Prediction)等の音声符号化処理である。
時系列信号の音の大きさを表す指標<所定の閾値Ce、かつ、パラメータη≧所定の閾値Cηであれば、時系列信号は無音区間である可能性が高い。ここで、無音区間とは音が全く存在しない区間という意味ではなく、目的音は存在しないが背景音や周囲の雑音は存在する区間という意味である。この場合、特定部522は、時系列信号は無音区間であると決定する。
時系列信号の音の大きさを表す指標<所定の閾値Ce、かつ、パラメータη<所定の閾値Cηであれば、時系列信号は音量の小さい継続音楽であるバックグラウンドミュージック(以下、BGMのような特徴のある背景音と記載)である可能性が高い。この場合、特定部522は、BGMのような特徴のある背景音に適した符号化処理を行うことを決定する。BGMのような特徴のある背景音に適した符号化処理とは、例えばフレーム長が短いTCX符号化処理、具体的には256ビット点のフレームのTCX符号化処理である。
なお、特定部522は、パラメータηだけではなく、入力された時系列信号の音の大きさを表す指標の時間的変動、スペクトル形状、スペクトル形状の時間的変動、ピッチの周期性の度合いの少なくとも1つに更に基づいて符号化処理の構成を特定してもよい。入力された時系列信号の音の大きさを表す指標の時間的変動、スペクトル形状、スペクトル形状の時間的変動、ピッチの周期性の度合いの少なくとも1つを更に用いる場合には、音響特徴量抽出部521が、入力された時系列信号の音の大きさを表す指標の時間的変動、スペクトル形状、スペクトル形状の時間的変動、ピッチの周期性の度合いの中の特定部522により用いられる音響特徴量を計算し、特定部522に出力する。また、音響特徴量抽出部521は、計算された音響特徴量に対応する音響特徴量符号を生成して復号装置に出力する。
以下、(1)パラメータηと時系列信号の音の大きさを表す指標の時間的変動とに基づいて符号化処理をの構成を特定する場合、(2)パラメータηと時系列信号のスペクトル形状とに基づいて符号化処理をの構成を特定する場合、(3)パラメータηと時系列信号のスペクトル形状の時間的変動とに基づいて符号化処理をの構成を特定する場合、(4)パラメータηと時系列信号のピッチの周期性とに基づいて符号化処理をの構成を特定する場合のそれぞれについて説明する。
(1)パラメータηと時系列信号の音の大きさを表す指標の時間的変動とに基づいて符号化処理の構成を特定する場合には、特定部522は、時系列信号の音の大きさを表す指標の時間的変動が大きいかどうかを判定し、また、パラメータηが大きいかどうかを判定する。
時系列信号の音の大きさを表す指標の時間的変動が大きいかどうかは、例えば所定の閾値CE 'に基づいて判定することができる。すなわち、時系列信号の音の大きさを表す指標の時間的変動≧所定の閾値CE 'であれば時系列信号の音の大きさを表す指標の時間的変動が大きい、そうでない場合には時系列信号の音の大きさを表す指標の時間的変動は小さいと判定することができる。
パラメータηが大きいかどうかは、例えば所定の閾値Cηに基づいて判定することができる。すなわち、パラメータη≧所定の閾値Cηであればパラメータηが大きい、そうでない場合にはパラメータηは小さいと判定することができる。
時系列信号の音の大きさを表す指標の時間的変動が大きく、かつ、パラメータが大きい場合には、時系列信号は音声である可能性が高い。この場合、特定部522は、音声に適した符号化処理を行うことを決定する。例えば、時系列信号を構成する4個のサブフレームのエネルギーの相加平均を相乗平均で割った値F=((1/4)Σ4個のサブフレームのエネルギー)/((Πサブフレームのエネルギー)1/4)を用いた場合には、CE '=1.5とする。
時系列信号の音の大きさを表す指標の時間的変動が大きく、かつ、パラメータが小さい場合には、時系列信号は時間変動の大きい音楽である可能性が高い。この場合、特定部522は、時間変動が大きい音楽に適した符号化処理を行うことを決定する。
時系列信号の音の大きさを表す指標の時間的変動が小さく、かつ、パラメータηが大きい場合には、時系列信号は無音区間である可能性が高い。この場合、特定部522は、時系列信号は無音区間であると決定する。
時系列信号の音の大きさを表す指標の時間的変動が小さく、かつ、パラメータηが小さい場合には、継続音を主体とした管楽器や弦楽器の音楽である可能性が高い。この場合、特定部522は、継続音楽に適した符号化処理を行うことを決定する。
(2)パラメータηと時系列信号のスペクトル形状とに基づいて符号化処理の構成を特定する場合、特定部522は、時系列信号のスペクトル形状が平坦かどうかを判定し、また、パラメータηが大きいかどうかを判定する。
時系列信号のスペクトル形状が平坦かどうかは、所定の閾値EVに基づいて判定することができる。例えば、時系列信号に対応する第1次のPARCOR係数の絶対値が所定の閾値EV(例えば、EV=0.7)未満なら、時系列信号のスペクトル形状が平坦である、そうでない場合には時系列信号のスペクトル形状は平坦でないと判定することができる。
時系列信号のスペクトル形状が平坦であり、かつ、パラメータηが大きい場合には、時系列信号は無音区間である可能性が高い。この場合、特定部522は、時系列信号は無音区間であると決定する。
時系列信号のスペクトル形状が平坦であり、かつ、パラメータηが小さい場合には、時系列信号は時間変動の大きい音楽である可能性が高い。この場合、特定部522は、時間変動が大きい音楽に適した符号化処理を行うことを決定する。
時系列信号のスペクトル形状が平坦ではなく、かつ、パラメータηが大きい場合には、時系列信号は音声である可能性が高い。この場合、特定部522は、音声に適した符号化処理を行うことを決定する。
時系列信号のスペクトル形状が平坦ではなく、かつ、パラメータηが小さい場合には、継続音を主体とした管楽器や弦楽器の音楽である可能性が高い。この場合、特定部522は、継続音楽に適した符号化処理を行うことを決定する。
(3)パラメータηと時系列信号のスペクトル形状の時間的変動とに基づいて符号化処理の構成を特定する場合、特定部522は、時系列信号のスペクトル形状の時間的変動が大きいかどうかを判定し、また、また、パラメータηが大きいかどうかを判定する。
時系列信号のスペクトル形状の時間的変動が平坦かどうかは、所定の閾値EV 'に基づいて判定することができる。例えば、時系列信号を構成する4個のサブフレームの第1次のPARCOR係数の絶対値の相加平均を相乗平均で割った値FV=((1/4)Σ4個のサブフレームの第1次のPARCOR係数の絶対値)/((Π第1次のPARCOR係数の絶対値)1/4)が所定の閾値EV '(例えば、EV '=1.2)以上なら、時系列信号のスペクトル形状の時間的変動が大きい、そうでない場合には時系列信号のスペクトル形状の時間的変動は小さいと判定することができる。
時系列信号のスペクトル形状の時間的変動が大きく、かつ、パラメータηが大きい場合には、時系列信号は音声である可能性が高い。この場合、特定部522は、音声に適した符号化処理を行うことを決定する。
時系列信号のスペクトル形状の時間的変動が大きく、かつ、パラメータηが小さい場合には、時系列信号は時間変動の大きい音楽である可能性が高い。この場合、特定部522は、時間変動が大きい音楽に適した符号化処理を行うことを決定する。
時系列信号のスペクトル形状の時間的変動が小さく、かつ、パラメータηが大きい場合には、時系列信号は無音区間である可能性が高い。この場合、特定部522は、時系列信号は無音区間であると決定する。
時系列信号のスペクトル形状の時間的変動が小さく、かつ、パラメータηが小さい場合には、継続音を主体とした管楽器や弦楽器の音楽である可能性が高い。この場合、特定部522は、継続音楽に適した符号化処理を行うことを決定する。
(4)パラメータηと時系列信号のピッチの周期性とに基づいて符号化処理をの構成を特定する場合、特定部522は、時系列信号のピッチの周期性が大きいかどうかを判定し、また、また、パラメータηが大きいかどうかを判定する。
時系列信号のピッチの周期性が大きいかどうかは、例えば所定の閾値CPに基づいて判定することができる。すなわち、時系列信号のピッチの周期性≧所定の閾値CPであればピッチの周期性が大きい、そうでない場合には時系列信号のピッチの周期性は小さいと判定することができる。ピッチの周期性として、例えば、ピッチ周期τサンプル離れた系列との正規化相関関数
(ただしx(i)は時系列のサンプル値、Nはフレームのサンプル数))を用いた場合には、CP=0.8とする。
ピッチの周期性が大きく、かつ、パラメータηが大きい場合には、時系列信号は音声である可能性が高い。この場合、特定部522は、音声に適した符号化処理を行うことを決定する。
ピッチの周期性が大きく、かつ、パラメータηが小さい場合には、継続音を主体とした管楽器や弦楽器の音楽である可能性が高い。この場合、特定部522は、継続音楽に適した符号化処理を行うことを決定する。
ピッチの周期性が小さく、かつ、パラメータηが大きい場合には、時系列信号は無音区間である可能性が高い。この場合、特定部522は、時系列信号は無音区間であると決定する。
ピッチの周期性が小さく、かつ、パラメータηが小さい場合には、時系列信号は時間変動の大きい音楽である可能性が高い。この場合、特定部522は、時間変動が大きい音楽に適した符号化処理を行うことを決定する。
<符号化部523>
符号化部523には、時系列信号であるフレーム単位の音信号と、特定部522が特定した符号化処理の構成についての情報とが入力される。
符号化部523は、特定された構成の符号化処理により、入力された時系列信号を符号化して符号を生成する(ステップFE4)。生成された符号は、復号装置に出力される。
継続音楽に適した符号化処理が特定された場合には、例えばフレーム長が長いTCX(Transform Coded Excitation)符号化処理、具体的には1024点のフレームのTCX符号化処理を行う。なお、この場合には、パラメータ決定部27’により決定されたパラメータηではなく、固定値のη(例えばη=0.8)を表す符号をパラメータ符号として復号装置に出力してもよい。
時間変動が大きい音楽に適した符号化処理が特定された場合には、例えばフレーム長が短いTCX符号化処理、具体的には256点のフレームのTCX符号化処理を行う。
BGMのような特徴のある背景音に適した符号化処理が特定された場合には、例えばフレーム長が短いTCX符号化処理、具体的には256点のフレームのTCX符号化処理を行う。なお、この場合には、パラメータ決定部27’により決定されたパラメータηではなく、固定値のη(例えばη=0.8)を表す符号をパラメータ符号として復号装置に出力してもよい。
音声に適した符号化処理が特定された場合には、例えばACELP(Algebraic Code Excited Linear Prediction)、CELP(Code Excited Linear Prediction)等の音声符号化処理を行う。
時系列信号が無音区間であると決定された場合には、符号化部523は、入力された時系列信号を符号化せずに、例えば以下に説明する(i)第1の方法又は(ii)第2の方法の処理を行う。
(i)第1の方法
符号化部523は、無音区間であることを示す情報を復号装置に送信する。無音区間であることを示す情報は、例えば1ビット等の低ビットで送信される。符号化523は無音区間であることを示す情報を送信した後に、処理の対象となっている時系列信号が無音区間であると特定部522により決定されている間は、無音区間であることを示す情報を再度送らなくてもよい。
(ii)第2の方法
符号化部523は、無音区間であることを示す情報、時系列信号のスペクトル包絡の形状及び時系列信号の振幅の情報を復号装置に送信する。
(復号)
復号装置及び方法の一例について説明する。
復号装置は、図19に示すように、特定符号復号部525、音響特徴量符号復号部526、特定部527及び復号部528を例えば備えている。復号装置の各部が、図20に例示する各処理を行うことにより復号方法が実現される。
以下、復号装置の各部について説明する。
<特定符号復号部525>
特定符号復号部525には、符号化装置が出力した特定符号が入力される。
特定符号復号部525は、特定符号を復号して、符号化処理の構成についての情報を取得する(ステップFD1)。取得された符号化処理の構成についての情報は、特定部527に出力される
特定符号がパラメータ符号である場合には、特定符号復号部525は、パラメータ符号を復号してパラメータηを得て、得られたパラメータηを符号化処理の構成についての情報として特定部527に出力する。
<音響特徴量符号復号部526>
音響特徴量符号復号部526には、符号化装置が出力した音響特徴量符号が入力される。
音響特徴量符号復号部526は、音響特徴量符号を復号して、時系列信号の音の大きさを表す指標、音の大きさを表す指標の時間的変動、スペクトル形状、スペクトル形状の時間的変動、ピッチの周期性の度合いの少なくとも1つである音響特徴量を得る(ステップFD2)。得られた音響特徴量は、特定部527に出力される。
なお、符号化側において、パラメータηのみに基づいて符号化処理の構成が特定され、音響特徴量及び音響特徴量符号が生成されていない場合には、音響特徴量符号復号部526は処理を行わない。
<特定部527>
特定部527には、特定符号復号部525により得られた符号化処理の構成についての情報が入力される。また、特定部527には、必要に応じて、音響特徴量符号復号部526により得られた音響特徴量が入力される。
特定部527は、符号化処理の構成についての情報に基づいて復号処理の構成を特定する(ステップFD3)。例えば、特定部527は、符号化処理の構成についての情報により特定される符号化処理の構成に対応する復号処理の構成を特定する。特定部527は、必要に応じて、符号化処理の構成についての情報と音響特徴量とに基づいて復号処理の構成を特定してもよい。特定された復号処理の構成についての情報は、復号部528に出力される。
以下、符号化処理の構成についての情報としてパラメータηが入力されており、時系列信号の音の大きさを表す指標、音の大きさを表す指標の時間的変動、スペクトル形状、スペクトル形状の時間的変動、ピッチの周期性の度合いの少なくとも1つである音響特徴量が入力されている場合を例に挙げて説明する。
この場合、符号化装置の特定部522による符号化処理の構成の特定の判断基準と同様の判断基準が復号装置の特定部527に予め定められているとする。特定部527は、その判断基準に従い、パラメータηと音響特徴量を用いて、特定部522で特定された符号化処理の構成に対応する復号処理の構成を特定する。
符号化装置の特定部522による符号化処理の構成の特定の判断基準については、(符号化)で説明したためここでは重複説明を省略する。
例えば、復号処理の構成として、継続音楽に適した復号処理、時間変動が大きい音楽に適した復号処理、BGMのような特徴のある背景音に適した復号処理、音声に適した復号処理の何れかが特定される。または、特定部527は、時系列信号が無音区間であると決定する。
<復号部528>
復号部528には、符号化装置が出力した符号と、特定部527により特定された復号処理の構成についての情報とが入力される。
復号部528は、特定された構成の復号処理により、時系列信号であるフレーム単位の音信号を得る(ステップFD4)。
継続音楽に適した復号処理が特定された場合には、例えばフレーム長が長いTCX(Transform Coded Excitation)復号処理、具体的には1024点のフレームのTCX復号処理を行う。
時間変動が大きい音楽に適した復号処理が特定された場合には、例えばフレーム長が短いTCX復号処理、具体的には256点のフレームのTCX復号処理を行う。
BGMのような特徴のある背景音に適した復号処理が特定された場合には、例えばフレーム長が短いTCX復号処理、具体的には256点のフレームのTCX復号処理を行う。
音声に適した復号処理が特定された場合には、例えばACELP(Algebraic Code Excited Linear Prediction)、CELP(Code Excited Linear Prediction)等の音声復号処理を行う。
復号装置が無音区間であることを示す情報を受信した場合又は特定部527により時系列信号が無音区間であると決定された場合には、復号部528は、例えば以下に説明する(i)第1の方法又は(ii)第2の方法の処理を行う。
(i)第1の方法
符号化側の(i)第1の方法に対応するものである。
復号部528は、予め定められたノイズを発生させる。
(ii)第2の方法
復号部528は、無音区間であることを示す情報と共に受信した、時系列信号のスペクトル包絡の形状及び時系列信号の振幅の情報を用いて、予め定められたノイズを変形して出力する。ノイズの変形方法は、EVS(Enhanced Voice Service)等で用いられている既存の手法を用いれば良い。
このように、復号部528は、無音区間であることを示す情報を受け取った場合には、ノイズを発生させてもよい。
[変形例等]
線形予測分析部22及び非平滑化振幅スペクトル包絡系列生成部23を1つのスペクトル包絡推定部2Aとして捉えると、このスペクトル包絡推定部2Aは、時系列信号に対応する例えばMDCT係数列である周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做したスペクトル包絡(非平滑化振幅スペクトル包絡系列)の推定を行っていると言える。ここで、「パワースペクトルと見做した」とは、パワースペクトルを通常用いるところに、η乗のスペクトルを用いることを意味する。
この場合、スペクトル包絡推定部2Aの線形予測分析部22は、例えばMDCT係数列である周波数領域サンプル列の絶対値のη乗をパワースペクトルと見做した逆フーリエ変換を行うことにより得られる疑似相関関数信号列を用いて線形予測分析を行い線形予測係数に変換可能な係数を得ていると言える。また、スペクトル包絡推定部2Aの非平滑化振幅スペクトル包絡系列生成部23は、線形予測分析部22により得られた線形予測係数に変換可能な係数に対応する振幅スペクトル包絡の系列を1/η乗した系列である非平滑化スペクトル包絡系列を得ることによりスペクトル包絡の推定を行っていると言える。
また、平滑化振幅スペクトル包絡系列生成部24、包絡正規化部25及び符号化部26を1つの符号化部2Bとして捉えると、この符号化部2Bは、スペクトル包絡推定部2Aにより推定されたスペクトル包絡(非平滑化振幅スペクトル包絡系列)を基にビット割り当てを変える又は実質的にビット割り当てが変わる符号化を時系列信号に対応する例えばMDCT係数列である周波数領域サンプル列の各係数に対して行っていると言える。
復号部34及び包絡逆正規化部35を1つの復号部3Aとして捉えると、この復号部3Aは、非平滑化スペクトル包絡系列に基づいて変わるビット割り当て又は実質的に変わるビット割り当てに従って、入力された整数信号符号の復号を行うことにより時系列信号に対応する周波数領域サンプル列を得ていると言える。
符号化部2Bは、スペクトル包絡(非平滑化振幅スペクトル包絡系列)を基にビット割り当てを変える又は実質的にビット割り当てが変わる符号化を行うのであれば、上記説明した算術符号化以外の符号化処理を行ってもよい。この場合、復号部3Aは、符号化部2Bが行った符号化処理に対応する復号処理を行う。
例えば、符号化部2Bは、スペクトル包絡(非平滑化振幅スペクトル包絡系列)に基づいて決定されたRiceパラメータを用いて周波数領域サンプル列をGolomb-Rice符号化してもよい。この場合、復号部3Aは、スペクトル包絡(非平滑化振幅スペクトル包絡系列)に基づいて決定されたRiceパラメータを用いてGolomb-Rice復号してもよい。
第一実施形態において、符号化装置は、パラメータηを決定する際に符号化処理を最後まで行わなくてもよい。言い換えれば、パラメータ決定部27は、推定符号量に基づいてパラメータηを決定してもよい。この場合、符号化部2Bは、複数のパラメータηのそれぞれを用いて同一の所定の時間区間の時系列信号に対応する周波数領域サンプル列に対する上記と同様の符号化処理により得られる符号の推定符号量を得る。パラメータ決定部27は、得られた推定符号量に基づいて複数のパラメータηの何れか1つを選択する。例えば、推定符号量が最も小さいパラメータηを選択する。符号化部2Bは、選択されたパラメータηを用いて上記と同様の符号化処理を行うことにより符号を得て出力する。
符号化装置は、図4又は図12に破線で示した分割部28を更に備えていてもよい。分割部28は、周波数領域変換部21が生成した例えばMDCT係数列である周波数領域サンプル列に基づいて、周波数領域サンプル列の周期性成分に対応するサンプルから構成される第一周波数領域サンプル列と、周波数領域サンプル列の周期性成分に対応するサンプル以外のサンプルから構成される第二周波数領域サンプル列とを生成し、周期性成分に対応するサンプルを表す情報を補助情報として復号装置に出力する。
言い換えれば、第一周波数領域サンプル列は周波数領域サンプル列の山の部分に対応するサンプルから構成されるサンプル列であり、第二周波数領域サンプル列は周波数領域サンプル列の谷の部分に対応するサンプルから構成されるサンプル列である。
例えば、周波数領域サンプル列のうちの周波数領域サンプル列に対応する時系列信号の周期性または基本周波数に対応するサンプルを含む一つまたは連続する複数のサンプルおよび、周波数領域サンプル列のうちの周波数領域サンプル列に対応する時系列信号の周期性または基本周波数の整数倍に対応するサンプルを含む一つまたは連続する複数のサンプル、の全部または一部のサンプルにより構成されるサンプル列を第一周波数領域サンプル列と、周波数領域サンプル列のうちの第一周波数領域サンプル列に含まれないサンプルにより構成されるサンプル列を第二周波数領域サンプル列とを生成する。第一周波数領域サンプル列と第二周波数領域サンプル列の生成は、国際公開公報WO2012/046685に記載された方法を用いて行うことができる。
線形予測分析部22、非平滑化振幅スペクトル包絡系列生成部23、平滑化振幅スペクトル包絡系列生成部24、包絡正規化部25及び符号化部26及びパラメータ決定部27は、第一周波数領域サンプル列及び第二周波数領域サンプル列のそれぞれについて、第一実施形態又は第二実施形態で説明した符号化処理を行い符号を生成する。すなわち、例えば算術符号化が行われる場合には、第一周波数領域サンプル列に対応するパラメータ符号、線形予測係数符号、整数信号符号及び利得符号が生成され、第二周波数領域サンプル列に対応するパラメータ符号、線形予測係数符号、整数信号符号及び利得符号が生成される。
このように、第一周波数領域サンプル列及び第二周波数領域サンプル列のそれぞれについて符号化を行うことにより、更に効率良く符号化を行うことができる。
この場合、復号装置は、図9に破線で示した結合部38を更に備えていてもよい。復号装置は、第一周波数領域サンプル列に対応する符号(例えば、パラメータ符号、線形予測係数符号、整数信号符号及び利得符号)に基づいて、第一実施形態又は第二実施形態で説明した復号処理を行い、復号第一周波数領域サンプル列を求める。また、復号装置は、第二周波数領域サンプル列に対応する符号(例えば、パラメータ符号、線形予測係数符号、整数信号符号及び利得符号)に基づいて、第一実施形態又は第二実施形態で説明した復号処理を行い、復号第二周波数領域サンプル列を求める。結合部38は、入力された補助情報を用いて、復号第一周波数領域サンプル列及び復号第二周波数領域サンプル列を適宜結合することにより例えば復号MDCT係数列^X(0),^X(1),…,^X(N-1)である復号周波数領域サンプル列を求める。時間領域変換部は、復号周波数領域サンプル列を時間領域に変換して時系列信号を求める。補助情報を用いた結合は、国際公開公報WO2012/046685に記載された方法を用いて行うことができる。
なお、ビットレートが低い場合や符号量を更に少なくしたい場合には、符号化装置では第一周波数領域サンプル列のみを符号化して、第一周波数領域サンプル列に対応する符号のみを生成し、第二周波数領域サンプル列に対応する符号は生成せず、復号装置では、符号から得られる第一周波数領域サンプル列と、サンプルの値を0とした第二周波数領域サンプル列を用いて復号周波数領域サンプル列を求めてもよい。
また、線形予測分析部22、非平滑化振幅スペクトル包絡系列生成部23、平滑化振幅スペクトル包絡系列生成部24、包絡正規化部25及び符号化部26及びパラメータ決定部27は、第一周波数領域サンプル列と第二周波数領域サンプル列とを結合して得られるサンプル列である並べ替え後サンプル列について、第一実施形態又は第二実施形態で説明した符号化処理を行い符号を生成してもよい。例えば算術符号化が行われる場合には、並べ替え後サンプル列に対応するパラメータ符号、線形予測係数符号、整数信号符号及び利得符号が生成される。
このように、並べ替え後サンプル列について符号化を行うことにより、更に効率良く符号化を行うことができる。
この場合、復号装置は、第一実施形態又は第二実施形態で説明した復号処理を行い、復号並べ替え後サンプル列を求め、入力された補助情報を用いて、復号並べ替え後サンプル列を、符号化装置で第一周波数領域サンプル列と第二周波数領域サンプル列とを生成した規則に対応する規則で並べ替えて、例えば復号MDCT係数列^X(0),^X(1),…,^X(N-1)である復号周波数領域サンプル列を求める。時間領域変換部36は、復号周波数領域サンプル列を時間領域に変換して時系列信号を求める。補助情報を用いた並べ替えは、国際公開公報WO2012/046685に記載された方法を用いて行うことができる。
また、符号化装置は、(1)周波数領域サンプル列について符号化処理を行い符号を生成する方法、(2)第一周波数領域サンプル列及び第二周波数領域サンプル列のそれぞれについて符号化処理を行い符号を生成する方法、(3)第一周波数領域サンプル列のみについて符号化処理を行い符号を生成する方法、(4)第一周波数領域サンプル列と第二周波数領域サンプル列とを結合して得られるサンプル列である並べ替え後サンプル列について符号化処理を行い符号を生成する方法、のうち何れの方法をフレームごとに選択するようにしてもよい。この場合、符号化装置は、(1)から(4)の何れの方法を選択したかを表す符号も出力し、復号装置は、フレームごとに入力された符号に従って上記の何れの方法に対応する復号処理を行う。
なお、符号化装置のパラメータ決定部27及び復号装置のパラメータ復号部37には、上記の(1)から(4)の方法のそれぞれに対応させたパラメータηの候補を記憶させておいてもよい。同様に、符号化装置の線形予測分析部22及び復号装置の線形予測係数復号部31には、上記の(1)から(4)の方法のそれぞれに対応させた量子化線形予測係数の候補及び復号線形予測係数の候補を記憶させておいてもよい。
非平滑化振幅スペクトル包絡系列生成部23及び非平滑化振幅スペクトル包絡系列生成部422は、例えばMDCT係数列^X(0),^X(1),…,^X(N-1)である周波数領域サンプル列の周期性成分に基づいて、スペクトル包絡系列(非平滑化振幅スペクトル包絡系列)を変形することにより周期性統合包絡系列を生成してもよい。同様に、非平滑化振幅スペクトル包絡系列生成部32は、例えば復号MDCT係数列^X(0),^X(1),…,^X(N-1)である復号周波数領域サンプル列の周期性成分に基づいてスペクトル包絡系列(非平滑化振幅スペクトル包絡系列)を変形することにより周期性統合包絡系列を生成してもよい。この場合、符号化部26の分散パラメータ決定部268、復号部34及び白色化スペクトル系列生成部43は、スペクトル包絡系列(非平滑化振幅スペクトル包絡系列)の代わりに周期性統合包絡系列を用いて上記と同様の処理を行う。周期性統合包絡系列は時系列信号のピッチ周期に起因するピーク付近での近似精度が良いため、周期性統合包絡系列を用いることにより符号化効率を上げることができる。
例えば、周波数領域サンプル列の周期が大きいほど、スペクトル包絡系列のうちの少なくとも周波数領域サンプル列の周期の整数倍および周期の整数倍の近傍のサンプルの値を大きく変更して得られる系列を周期性統合包絡系列とする。また、時系列信号の周期性の程度が大きいほど、スペクトル包絡系列のうちの少なくとも周波数領域サンプル列の周期の整数倍および周期の整数倍の近傍のサンプルの値を大きく変更して得られる系列を周期性統合包絡系列としてもよい。また、周波数領域サンプル列の周期が大きいほど、スペクトル包絡系列うちの周波数領域サンプル列の周期の整数倍の近傍の多くのサンプルの値を変更して得られる系列を周期性統合包絡系列としてもよい。
さらに、NとUを正の整数、Tを周波数領域サンプル列の周期性を有する成分の間隔、Lを間隔Tの小数点以下の桁数、vを1以上の整数、floor(・)を小数点以下を切り捨てて整数値を返す関数、Round(・)を小数点第一位を四捨五入して整数値を返す関数、T’=T×2L、^H[0],…,^H[N-1]をスペクトル包絡系列、δをスペクトル包絡^H[n]と周期性包絡P[k]の混合比率を決める値とし、
(U×T’)/2L−v−1≦k≦(U×T’)/2L+v−1
の範囲の整数kについて、
のように周期性包絡系列P[1],…,P[N]を求め、求まった周期性包絡系列P[1],…,P[N]を用いて以下の式により定義される周期性統合包絡系列^HM[1],…,^H M[N]を求めてもよい。h及びPDは、上記の例以外の所定の値であってもよい。
スペクトル包絡^H[n]と周期性包絡P[k]の混合比率を決める値であるδは、符号化装置及び復号装置で予め定めておいてもよいし、符号化装置で定めたδの情報を示す符号を生成して復号装置に出力してもよい。後者の場合、復号装置は入力されたδの情報を示す符号を復号することによりδを求める。復号装置の非平滑化振幅スペクトル包絡系列生成部32は、求まったδを用いることにより符号化装置で生成された周期性統合包絡系列と同じ周期性統合包絡系列を求めることができる。
図12のスペクトル包絡推定部2A、符号化部2B、周波数領域変換部21及び分割部28を1つの符号化部2Cとして捉えると、この符号化部2Cは所定の時間区間ごとのパラメータηに少なくとも基づいて特定される構成の符号化処理により、所定の時間区間ごとの時系列信号を符号化していると言える。
また、図17の音響特徴量抽出部521、特定部522及び符号化部523を1つの符号化部2Dとして捉えると、この符号化部2Dは所定の時間区間ごとのパラメータηに少なくとも基づいて特定される構成の符号化処理により、所定の時間区間ごとの時系列信号を符号化していると言える。
このように、符号化部2C及び符号化部2Dは、同様の処理をしていると考えることができる。
上記説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
また、各方法又は各装置における各種の処理をコンピュータによって実現してもよい。その場合、各方法又は各装置の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各方法又は各装置における各種の処理がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。