以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明に係る符号化装置および復号装置として、音声符号化装置および音声復号装置を例にとって説明する。
まず、図1を用いて本発明に係る符号化に含まれる探索処理の概要を説明する。図1(a)は入力信号のスペクトルを表し、図1(b)は入力信号の低域部の符号化データを復号して得られるスペクトル(第1レイヤ復号スペクトル)を表す。また、ここでは、電話帯域(0〜3.4kHz)の信号を広帯域(0〜7kHz)の信号に帯域拡張する場合を例に挙げて説明する。つまり、入力信号のサンプリング周波数は16kHzであり、また低域符号化部から出力される復号信号のサンプリング周波数は8kHzである。ここで、入力信号の高域部を符号化する際に、入力信号のスペクトルの高域部を複数のサブバンドに分割し(図1では1stから5thまでの5つのサブバンド構成とする)、サブバンド毎に、第1レイヤ復号スペクトルに対して高域部のスペクトルに最も近似する部分の探索を行う。
図1において、第1探索範囲および第2探索範囲は第1サブバンド(1st)および第2サブバンド(2nd)それぞれに類似する復号低域スペクトル(後述する第1レイヤ復号スペクトル)の一部(帯域)を探索する範囲を表す。ここで、第1探索範囲は例えばTmin(0kHz)からTmaxまでの範囲をとる。周波数Aは、探索により見つかった、第1サブバンドに類似する復号低域スペクトルの一部帯域1st’の開始位置を示し、周波数Bは、帯域1st’の終端部を示す。続いて、第2サブバンド(2nd)に対応する探索を行う際には、すでに探索が終わった第1サブバンド(1st)の探索結果を利用する。具体的には、第1サブバンド(1st)に最も近似する部分1st’の終端部付近の範囲、すなわち第2探索範囲において、第2サブバンド(2nd)に近似する復号低域スペクトルの一部帯域の探索を行う。第2サブバンドに対応する探索を行った結果、例えば第2サブバンドに類似する復号低域スペクトルの一部帯域2nd’の開始位置はCとなり、終端部はDとなる。第3サブバンド、第4サブバンド、及び第5サブバンドのそれぞれに対応する探索も同様に隣接する1つ前のサブバンドに対応する探索の結果を用いて行う。これにより、サブバンド間の相関を利用した効率良い近似部分探索を行うことができ、高域部のスペクトルの符号化性能を向上させることができる。なお、図1では、入力信号のサンプリング周波数が16kHzである場合を例にとって説明したが、本発明はこれに限定されず、入力信号のサンプリング周波数が8kHz、あるいは32kHz等である場合にも同様に適用できる。すなわち、本発明は入力信号のサンプリング周波数によって制限されない。
(実施の形態1)
図2は、本発明の実施の形態1に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図である。図2において、通信システムは、符号化装置と復号装置とを備え、それぞれ伝送路を介して通信可能な状態となっている。なお、符号化装置および復号装置はいずれも、通常、基地局装置あるいは通信端末装置等に搭載されて用いられる。
符号化装置101は、入力信号をNサンプルずつ区切り(Nは自然数)、Nサンプルを1フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号をxn(n=0、…、N−1)と表すこととする。nは、Nサンプルずつ区切られた入力信号のうち、信号要素のn+1番目を示す。符号化された入力情報(符号化情報)は伝送路102を介して復号装置103に符号化情報を送信する。
復号装置103は、伝送路102を介して符号化装置101から送信された符号化情報を受信し、これを復号し出力信号を得る。
図3は、図2に示した符号化装置101の内部の主要な構成を示すブロック図である。入力信号のサンプリング周波数をSRinputとすると、ダウンサンプリング処理部201は、入力信号のサンプリング周波数をSRinputからSRbaseまでダウンサンプリングし(SRbase<SRinput)、ダウンサンプリングした入力信号をダウンサンプリング後入力信号として、第1レイヤ符号化部202に出力する。
第1レイヤ符号化部202は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対して、例えばCELP(Code Excited Linear Prediction)方式の音声符号化方法を用いて符号化を行って第1レイヤ符号化情報を生成し、生成した第1レイヤ符号化情報を第1レイヤ復号部203および符号化情報統合部207に出力する。
第1レイヤ復号部203は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報に対して、例えばCELP方式の音声復号方法を用いて復号を行って第1レイヤ復号信号を生成し、生成した第1レイヤ復号信号をアップサンプリング処理部204に出力する。
アップサンプリング処理部204は、第1レイヤ復号部203から入力される第1レイヤ復号信号のサンプリング周波数をSRbaseからSRinputまでアップサンプリングし、アップサンプリングした第1レイヤ復号信号をアップサンプリング後第1レイヤ復号信号として、直交変換処理部205に出力する。
直交変換処理部205は、バッファbuf1nおよびbuf2n(n=0、…、N−1)を内部に有し、入力信号xnおよびアップサンプリング処理部204から入力されるアップサンプリング後第1レイヤ復号信号ynを修正離散コサイン変換(MDCT:Modified Discrete Cosine Transform)する。
次に、直交変換処理部205における直交変換処理について、その計算手順と内部バッファへのデータ出力に関して説明する。
まず、直交変換処理部205は、下記の式(1)および式(2)によりバッファbuf1
nおよびbuf2
nそれぞれを、「0」を初期値として初期化する。
次いで、直交変換処理部205は、入力信号x
n、アップサンプリング後第1レイヤ復号信号y
nに対し下記の式(3)および式(4)に従ってMDCTし、入力信号のMDCT係数(以下、入力スペクトルと呼ぶ)S2(k)およびアップサンプリング後第1レイヤ復号信号y
nのMDCT係数(以下、第1レイヤ復号スペクトルと呼ぶ)S1(k)を求める。
ここで、kは1フレームにおける各サンプルのインデックスを示す。直交変換処理部205は、入力信号x
nとバッファbuf1
nとを結合させたベクトルであるx
n’を下記の式(5)により求める。また、直交変換処理部205は、アップサンプリング後第1レイヤ復号信号y
nとバッファbuf2
nとを結合させたベクトルであるy
n’を下記の式(6)により求める。
次に、直交変換処理部205は、式(7)および式(8)によりバッファbuf1
nおよびbuf2
nを更新する。
そして、直交変換処理部205は、入力スペクトルS2(k)および第1レイヤ復号スペクトルS1(k)を第2レイヤ符号化部206に出力する。
第2レイヤ符号化部206は、直交変換処理部205から入力される入力スペクトルS2(k)および第1レイヤ復号スペクトルS1(k)を用いて第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部206の詳細については後述する。
符号化情報統合部207は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報と、第2レイヤ符号化部206から入力される第2レイヤ符号化情報とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路102に出力する。
次に、図3に示した第2レイヤ符号化部206の内部の主要な構成について図4を用いて説明する。
第2レイヤ符号化部206は、帯域分割部260、フィルタ状態設定部261、フィルタリング部262、探索部263、ピッチ係数設定部264、ゲイン符号化部265および多重化部266を備え、各部は以下の動作を行う。
帯域分割部260は、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)をP個のサブバンドSBp(p=0,1,…,P−1)に分割する。そして、帯域分割部260は、分割した各サブバンドのバンド幅BWp(p=0,1,…,P−1)および先頭インデックスBSp(p=0,1,…,P−1)(FL≦BSp<FH)を帯域分割情報としてフィルタリング部262、探索部263および多重化部266に出力する。以下、入力スペクトルS2(k)のうち、サブバンドSBpに対応する部分をサブバンドスペクトルS2p(k)(BSp≦k<BSp+BWp)と記す。
フィルタ状態設定部261は、直交変換処理部205から入力される第1レイヤ復号スペクトルS1(k)(0≦k<FL)を、フィルタリング部262で用いるフィルタ状態として設定する。フィルタリング部262における全周波数帯域0≦k<FHのスペクトルS(k)の0≦k<FLの帯域に、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。
フィルタリング部262は、マルチタップのピッチフィルタを備え、フィルタ状態設定部261により設定されたフィルタ状態と、ピッチ係数設定部264から入力されるピッチ係数と、帯域分割部260から入力される帯域分割情報とに基づいて、第1レイヤ復号スペクトルをフィルタリングし、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)(以下、「サブバンドSBpの推定スペクトル」と称す)を算出する。フィルタリング部262は、サブバンドSBpの推定スペクトルS2p’(k)を探索部263に出力する。なお、フィルタリング部262におけるフィルタリング処理の詳細については後述する。なお、マルチタップのタップ数は1以上の任意の値(整数)をとることができるものとする。
探索部263は、帯域分割部260から入力される帯域分割情報に基づき、フィルタリング部262から入力されるサブバンドSBpの推定スペクトルS2p’(k)と、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)における各サブバンドスペクトルS2p(k)との類似度を算出する。この類似度の算出は、例えば相関演算等により行われる。また、フィルタリング部262、探索部263およびピッチ係数設定部264の処理は、サブバンド毎に閉ループの探索処理を構成し、各閉ループにおいて、探索部263は、ピッチ係数設定部264からフィルタリング部262に入力されるピッチ係数Tを種々に変化させることにより、各ピッチ係数に対応する類似度を算出する。探索部263は、サブバンド毎の閉ループにおいて、例えば、サブバンドSBpに対応する閉ループにおいて類似度が最大となる最適ピッチ係数Tp’(ただしTmin〜Tmaxの範囲)を求め、P個の最適ピッチ係数を多重化部266に出力する。探索部263は、各最適ピッチ係数Tp’を用いて、各サブバンドSBpに類似する、第1レイヤ復号スペクトルの一部帯域を算出する。また、探索部263は、各最適ピッチ係数Tp’(p=0,1,…,P−1)に対応する推定スペクトルS2p’(k)をゲイン符号化部265に出力する。なお、探索部263における最適ピッチ係数Tp’(p=0,1,…,P−1)の探索処理の詳細については後述する。
ピッチ係数設定部264は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB
0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲Tmin〜Tmaxの中で少しずつ変化させながら、フィルタリング部262に順次出力する。また、ピッチ係数設定部264は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第2サブバンド以降のサブバンドSB
p(p=1,2,…,P−1)に対応する閉ループの探索処理を行う場合には、サブバンドSB
p−1に対応する閉ループの探索処理において求められた最適ピッチ係数T
p−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部264は、下記の式(9)に示すピッチ係数Tをフィルタリング部262に出力する。式(9)において、SEARCHはサブバンドSB
pに対応するピッチ係数Tの探索範囲(探索エントリ数)を示す。
式(9)に示すように、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対応するピッチ係数Tの探索範囲は、サブバンドSBp−1の最適ピッチ係数Tp−1’からサブバンドSBp−1のバンド幅BWp−1分だけ高域側に存在するインデックス(Tp−1’+BWp−1)の周辺(±SEARCH/2部分)となる。これは、サブバンドSBp−1に隣接するサブバンドSBpに類似する部分は、サブバンドSBp−1に類似する第1レイヤ復号スペクトルの一部帯域に隣接する傾向があるという理由に基づくものである。サブバンドSBp−1とサブバンドSBpとの間に存在するこのような相関を利用して探索を行うことにより、各サブバンドに対して固定的にTmin〜Tmaxの探索範囲で探索を行う方法等と比べ、探索の効率を向上させることができる。
なお、上記のように、隣接するサブバンド間の相関を利用した探索方法を適応類似探索方法(ASS:Adaptive Similarity Search Method)と呼ぶことにする。この名称は、便宜上付与するものであり、この名称により本発明における上記探索方法が限定されるものではない。
また、通常、スペクトルの調波構造は高域になるに従って徐々に弱くなる傾向にある。すなわち、サブバンドSBpはサブバンドSBp−1に比べて調波構造が弱い傾向にある。従って、サブバンドSBpに対しては、サブバンドSBp−1に類似する第1レイヤ復号スペクトルの部分よりも調波構造が弱まる高域側でサブバンドSBpに類似する部分の探索を行う方が探索の効率を向上させることができる。この観点からも本方式の探索の効率性を説明することができる。
また、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合(式(10)に示す条件に該当する場合)、下記の式(10)に示すようにしてピッチ係数Tの範囲を修正する。式(10)において、SEARCH_MAXはピッチ係数Tの設定値の上限値を示す。
また、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を越えてしまう場合(式(11)に示す条件に該当する場合)、下記の式(11)に示すようにしてピッチ係数Tの範囲を修正する。式(11)において、SEARCH_MINはピッチ係数Tの設定値の下限値を示す。
上式(10)および式(11)のような処理をすることで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
ゲイン符号化部265は、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)についてのゲイン情報を算出する。具体的には、ゲイン符号化部265は、周波数帯域FL≦k<FHをJ個のサブバンドに分割し、入力スペクトルS2(k)のサブバンド毎のスペクトルパワを求める。この場合、第j+1サブバンドのスペクトルパワB
jは下記の式(12)で表される。
式(12)において、BL
jは第j+1サブバンドの最小周波数、BH
jは第j+1サブバンドの最大周波数を表す。また、ゲイン符号化部265は、探索部263から入力される各サブバンドの推定スペクトルS2
p’(k)(p=0,1,…,P−1)を周波数領域で連続させて入力スペクトルの高域部の推定スペクトルS2’(k)を構成する。そして、ゲイン符号化部265は、入力スペクトルS2(k)に対してスペクトルパワを算出した場合と同様に、推定スペクトルS2’(k)のサブバンド毎のスペクトルパワB’
jを下記の式(13)に従い算出する。次いで、ゲイン符号化部265は、入力スペクトルS2(k)に対する推定スペクトルのS2’(k)のサブバンド毎のスペクトルパワの変動量V
jを式(14)に従い算出する。
そして、ゲイン符号化部265は、変動量Vjを符号化し、符号化後の変動量VQjに対応するインデックスを多重化部266に出力する。
多重化部266は、帯域分割部260から入力される帯域分割情報と、探索部263から入力される各サブバンドSBp(p=0,1,…,P−1)に対する最適ピッチ係数Tp’と、ゲイン符号化部265から入力される変動量VQjのインデックスと、を第2レイヤ符号化情報として多重化し、符号化情報統合部207に出力する。なお、Tp’と、VQjのインデックスとを直接、符号化情報統合部207に入力して、符号化情報統合部207にて第1レイヤ符号化情報と多重化しても良い。
次いで、図4に示したフィルタリング部262におけるフィルタリング処理の詳細について、図5を用いて説明する。
フィルタリング部262は、フィルタ状態設定部261から入力されるフィルタ状態と、ピッチ係数設定部264から入力されるピッチ係数Tと、帯域分割部260から入力される帯域分割情報とを用いて、サブバンドSBp(p=0,1,…,P−1)に対して、帯域BSp≦k<BSp+BWp(p=0,1,…,P−1)における推定スペクトルを生成する。フィルタリング部262において用いるフィルタの伝達関数F(z)は下記の式(15)で表される。
以下、サブバンドSB
pを例にとり、サブバンドスペクトルS2
p(k)の推定スペクトルS2
p’(k)を生成する処理を説明する。
式(15)において、Tはピッチ係数設定部264から与えられるピッチ係数、βiは予め内部に記憶されているフィルタ係数を表している。例えば、タップ数が3の場合、フィルタ係数の候補は(β−1、β0、β1)=(0.1、0.8、0.1)が例として挙げられる。この他に(β−1、β0、β1)=(0.2、0.6、0.2)、(0.3、0.4、0.3)などの値も適当である。また、(β−1、β0、β1)=(0.0、1.0、0.0)の値でも良く、この場合には帯域0≦k<FLの第1レイヤ復号スペクトルの一部帯域をその形状を変化させずにそのままBSp≦k<BSp+BWpの帯域にコピーすることを意味する。また、式(15)においてM=1とする。Mはタップ数に関する指標である。
フィルタリング部262における全周波数帯域のスペクトルS(k)の0≦k<FLの帯域には、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。
S(k)のBS
p≦k<BS
p+BW
pの帯域には、以下の手順のフィルタリング処理によりサブバンドSB
pの推定スペクトルS2
p’(k)が格納される。すなわち、S2
p’(k)には、基本的に、このkよりTだけ低い周波数のスペクトルS(k−T)が代入される。ただし、スペクトルの円滑性を増すために、実際には、スペクトルS(k−T)からiだけ離れた近傍のスペクトルS(k−T+i)に所定のフィルタ係数β
iを乗じたスペクトルβ
i・S(k−T+i)を、全てのiについて加算したスペクトルをS2
p’(k)に代入する。この処理は下記の式(16)で表される。
上記演算を、周波数の低いk=BSpから順に、kをBSp≦k<BSp+BWpの範囲で変化させて行うことにより、BSp≦k<BSp+BWpにおける推定スペクトルS2p’(k)を算出する。
以上のフィルタリング処理は、ピッチ係数設定部264からピッチ係数Tが与えられる度に、BSp≦k<BSp+BWpの範囲において、その都度S(k)をゼロクリアして行われる。すなわち、ピッチ係数Tが変化するたびにS(k)は算出され、探索部263に出力される。
図6は、図4に示した探索部263においてサブバンドSBpに対して最適ピッチ係数Tp’を探索する処理の手順を示すフロー図である。なお、探索部263は、図6に示した手順を繰り返すことにより、各サブバンドSBp(p=0,1,…,P−1)に対応する最適ピッチ係数Tp’(p=0,1,…,P−1)を探索する。
まず、探索部263は、類似度の最小値を保存するための変数である最小類似度D
minを「+∞」に初期化する(ST2010)。次いで、探索部263は、下記の式(17)に従い、あるピッチ係数における入力スペクトルS2(k)の高域部(FL≦k<FH)と、推定スペクトルS2
p’(k)との類似度Dを算出する(ST2020)。
式(17)において、M’は、類似度Dを算出する際のサンプル数を示し、各サブバンドのバンド幅以下の任意の値で良い。なお、式(17)中にはS2p’(k)が存在しないが、これはBSpとS2’(k)を用いてS2p’(k)を表しているためである。
次いで、探索部263は算出した類似度Dが最小類似度Dminより小さいか否かを判定する(ST2030)。ST2020において算出された類似度が最小類似度Dminより小さい場合(ST2030:「YES」)には、探索部263は、類似度Dを最小類似度Dminに代入する(ST2040)。一方、ST2020において算出された類似度が最小類似度Dmin以上である場合(ST2030:「NO」)には、探索部263は、探索範囲にわたる処理が終了した否かを判定する。すなわち、探索部263は、探索範囲内のすべてのピッチ係数それぞれに対し、ST2020において上記の式(17)に従って類似度を算出したか否かを判定する(ST2050)。探索範囲にわたって処理が終了していなかった場合(ST2050:「NO」)には、探索部263は処理を再びST2020に戻す。そして、探索部263は、前回のST2020の手順において式(17)に従って類似度を算出した場合とは異なるピッチ係数に対して、式(17)に従い類似度を算出する。一方、探索範囲にわたる処理が終了した場合(ST2050:「YES」)には、探索部263には、最小類似度Dminに対応するピッチ係数Tを最適ピッチ係数Tp’として多重化部266に出力する(ST2060)。
次いで、図2に示した復号装置103について説明する。
図7は、復号装置103の内部の主要な構成を示すブロック図である。
図7において、符号化情報分離部131は、入力された符号化情報の中から第1レイヤ符号化情報と第2レイヤ符号化情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部132に出力し、第2レイヤ符号化情報を第2レイヤ復号部135に出力する。
第1レイヤ復号部132は、符号化情報分離部131から入力される第1レイヤ符号化情報に対して復号を行い、生成された第1レイヤ復号信号をアップサンプリング処理部133に出力する。ここで、第1レイヤ復号部132の動作は、図3に示した第1レイヤ復号部203と同様であるため、詳細な説明は省略する。
アップサンプリング処理部133は、第1レイヤ復号部132から入力される第1レイヤ復号信号に対してサンプリング周波数をSRbaseからSRinputまでアップサンプリングする処理を行い、得られるアップサンプリング後第1レイヤ復号信号を直交変換処理部134に出力する。
直交変換処理部134は、アップサンプリング処理部133から入力されるアップサンプリング後第1レイヤ復号信号に対して直交変換処理(MDCT)を施し、得られるアップサンプリング後第1レイヤ復号信号のMDCT係数(以下、第1レイヤ復号スペクトルと呼ぶ)S1(k)を第2レイヤ復号部135に出力する。ここで、直交変換処理部134の動作は、図3に示した直交変換処理部205のアップサンプリング後第1レイヤ復号信号に対する処理と同様であるため、詳細な説明は省略する。
第2レイヤ復号部135は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)、符号化情報分離部131から入力される第2レイヤ符号化情報を用いて、高域成分を含む第2レイヤ復号信号を生成し出力信号として出力する。
図8は、図7に示した第2レイヤ復号部135の内部の主要な構成を示すブロック図である。
分離部351は、符号化情報分離部131から入力される第2レイヤ符号化情報を、各サブバンドのバンド幅BWp(p=0,1,…,P−1)、先頭インデックスBSp(p=0,1,…,P−1)(FL≦BSp<FH)を含む帯域分割情報と、フィルタリングに関する情報である最適ピッチ係数Tp’(p=0,1,…,P−1)と、ゲインに関する情報である符号化後変動量VQj(j=0,1,…,J−1)のインデックスと、に分離する。また、分離部351は、帯域分割情報および最適ピッチ係数Tp’(p=0,1,…,P−1)をフィルタリング部353に出力し、符号化後変動量VQj(j=0,1,…,J−1)のインデックスをゲイン復号部354に出力する。なお、符号化情報分離部131において、帯域分割情報と、Tp’(p=0,1,…,P−1)と、VQj(j=0,1,…,J−1)のインデックスとを分離済みの場合は、分離部351を配置しなくても良い。
フィルタ状態設定部352は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)(0≦k<FL)を、フィルタリング部353で用いるフィルタ状態として設定する。ここで、フィルタリング部353における全周波数帯域0≦k<FHのスペクトルを便宜的にS(k)と呼ぶ場合、S(k)の0≦k<FLの帯域に、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。ここで、フィルタ状態設定部352の構成および動作は、図4に示したフィルタ状態設定部261と同様であるため、詳細な説明は省略する。
フィルタリング部353は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部353は、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、上記の式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。フィルタリング部353でも、上記の式(15)に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
ここで、フィルタリング部353は、第1サブバンドに対してはピッチ係数T
1’をそのまま用いてフィルタリング処理を行う。また、フィルタリング部353は、第2サブバンド以降のサブバンドSB
p(p=1,2,…,P−1)に対しては、サブバンドSB
p−1のピッチ係数T
p−1’を考慮してサブバンドSB
pのピッチ係数T
p”を新たに設定し、このピッチ係数T
p”を用いてフィルタリングを行う。具体的には、第2サブバンド以降のサブバンドSB
p(p=1,2,…,P−1)に対するフィルタリングを行う際には、フィルタリング部353は、分離部351から得られたピッチ係数に対して、サブバンドSB
p−1のピッチ係数T
p−1’とサブバンド幅BW
p−1とを用いて、下記の式(18)に従い、フィルタリングに用いるピッチ係数T
p”を算出する。この場合のフィルタリング処理は、式(16)において、TをT
p”に置き換えた式に従うものとする。
式(18)においては、サブバンドSBp(p=1,2,…,P−1)に対しては、サブバンドSBp−1のピッチ係数Tp−1’にサブバンドSBp−1のバンド幅BWp−1を加算し、探索範囲SEARCHの半分の値を減算したインデックスにTp’を加算し、ピッチ係数Tp”とする。
ゲイン復号部354は、分離部351から入力される、符号化後変動量VQjのインデックスを復号し、変動量Vjの量子化値である変動量VQjを求める。
スペクトル調整部355は、フィルタリング部353から入力される各サブバンドSB
p(p=0,1,…,P−1)の推定値S2
p’(k)(BS
p≦k<BS
p+BW
p)(p=0,1,…,P−1)を周波数領域で連続させて入力スペクトルの推定スペクトルS2’(k)を求める。また、スペクトル調整部355は、下記の式(19)に従い、推定スペクトルS2’(k)にゲイン復号部354から入力されるサブバンド毎の変動量VQ
jを乗じる。これにより、スペクトル調整部355は、推定スペクトルS2’(k)の周波数帯域FL≦k<FHにおけるスペクトル形状を調整し、復号スペクトルS3(k)を生成して直交変換処理部356に出力する。
ここで、復号スペクトルS3(k)の低域部(0≦k<FL)は第1レイヤ復号スペクトルS1(k)からなり、復号スペクトルS3(k)の高域部(FL≦k<FH)はスペクトル形状調整後の推定スペクトルS2’(k)からなる。
直交変換処理部356は、スペクトル調整部355から入力される復号スペクトルS3(k)を時間領域の信号に直交変換し、得られる第2レイヤ復号信号を出力信号として出力する。ここでは、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行い、フレーム間に生じる不連続を回避する。
以下、直交変換処理部356における具体的な処理について説明する。
直交変換処理部356は、バッファbuf’(k)を内部に有しており、下記の式(20)に示すようにバッファbuf’(k)を初期化する。
また、直交変換処理部356は、スペクトル調整部355から入力される第2レイヤ復号スペクトルS3(k)を用いて下記の式(21)に従い、第2レイヤ復号信号y
n”を求めて出力する。
式(21)において、Z4(k)は、下記の式(22)に示すように、復号スペクトルS3(k)とバッファbuf’(k)とを結合させたベクトルである。
次に、直交変換処理部356は、下記の式(23)に従いバッファbuf’(k)を更新する。
次に、直交変換処理部356は、復号信号yn”を出力信号として出力する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、隣接サブバンドの符号化結果を利用してサブバンド毎の符号化を行う。すなわち、高域のサブバンド間の相関を利用して効率的な探索を行う(適応類似探索方法(ASS:Adaptive Similarity Search Method))ため、より効率的に高域スペクトルを符号化/復号することができ、復号信号に含まれる不自然な異音を抑制し、復号信号の品質を向上させることができる。また、本発明は、上記効率的な高域スペクトルの探索を行うことにより、サブバンド間の相関を利用せずに高域スペクトルを符号化/復号する方法と比べ、同程度の復号信号の品質を達成するために必要な類似部分探索の演算量を削減することができる。
なお、本実施の形態では、ゲイン符号化部265において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数Jが、探索部263において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数Pと異なる場合を例にとって説明した。しかし、本発明はこれに限定されず、ゲイン符号化部265において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数をP個にしても良い。また、この場合に、特許文献2に明示されているように、ゲイン符号化部265は、式(14)に示すようなサブバンド毎のスペクトルパワ比の平方根の代わりに、探索部263において最適ピッチ係数T
p’(p=0,1,…,P−1)が探索された時の理想利得を用いても良い。なお、最適ピッチ係数T
p’(p=0,1,…,P−1)が探索された時の理想利得は、下記の式(24)により求まる。ただし、式(24)におけるM’は式(17)で最適ピッチ係数T
p’を算出した時のM’と同じ値を用いる。
また、本実施の形態では、ピッチ係数設定部264において式(9)のようにピッチ係数Tの探索範囲を設定する場合を例にとって説明したが、本発明はこれに限定されず、下記の式(25)のようにピッチ係数Tの探索範囲を設定しても良い。
式(25)において、ピッチ係数Tは、サブバンドSB
p−1に対応する最適ピッチ係数T
p−1’の近傍の値に設定される。これはサブバンドSB
p−1に最も類似する第1レイヤ復号スペクトルの一部帯域はサブバンドSB
pにも類似する可能性が高いという理由に基づくものである。特にサブバンドSB
p−1とサブバンドSB
pの相関が非常に高い場合には、上記のようなピッチ係数の設定方法により、より効率的に探索を行うことができる。なお、ピッチ係数設定部264において、式(25)のようにピッチ係数Tの探索範囲を設定した場合には、フィルタリング部353において、式(18)の代わりに式(26)のようにしてフィルタリングに用いるピッチ係数T
p”を算出する。
また、上記各実施の形態では、第2サブバンド以降の全てのサブバンドSBp(p=1,2,…,P−1)に対し、隣接サブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する場合を例にとって説明した。しかし、本発明はこれに限定されず、一部のサブバンドに対しては第1サブバンドと同様にピッチ係数の探索範囲をTmin〜Tmaxの範囲に固定しても良い。例えば、連続して所定定数以上のサブバンドに対し、隣接するサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定した場合には、次のサブバンドに対しては、第1サブバンドと同様にピッチ係数の探索範囲をTmin〜Tmaxの範囲に固定する。これにより、第1サブバンドSB0に対応する探索結果が、第2サブバンドSB1から第PサブバンドSBP−1までのすべての探索に影響を及ぼすことを回避することができる。すなわち、あるサブバンドに対して、類似部分を探索する対象が高域に偏り過ぎるということを避けることができる。これにより、本来類似部分が第1レイヤ復号スペクトルの低域部分に存在するサブバンドに対して、類似部分の探索が第1レイヤ復号スペクトルの高域部分に限定されることにより発生し得る異音や音質劣化を抑制することができる。
(実施の形態2)
本発明の実施の形態2は、第1レイヤ符号化部に、実施の形態1で示したCELP方式の符号化方法を用いず、MDCTなどの変換符号化を用いる場合について説明する。
実施の形態2に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「111」および「113」を付し、説明を行う。
図9は、本実施の形態に係る符号化装置111の内部の主要な構成を示すブロック図である。なお、本実施の形態に係る符号化装置111は、ダウンサンプリング処理部201、第1レイヤ符号化部212、直交変換処理部215、第2レイヤ符号化部216および符号化情報統合部207とから主に構成される。ここで、ダウンサンプリング処理部201および符号化情報統合部207は、実施の形態1の場合と同一の処理を行うため、説明を省略する。
第1レイヤ符号化部212は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対し、変換符号化方式の符号化を行う。具体的には、第1レイヤ符号化部212は、入力されるダウンサンプリング後入力信号に対し、MDCTなどの手法を用いて時間領域の信号から周波数領域の成分に変換し、得られる周波数成分に対して量子化を行う。第1レイヤ符号化部212は、量子化した周波数成分を直接、第1レイヤ復号スペクトルとして第2レイヤ符号化部216に出力する。第1レイヤ符号化部212におけるMDCT処理は、実施の形態1で示したMDCT処理と同様であるため、詳細な説明を省略する。
直交変換処理部215は、入力信号に対してMDCTなどの直交変換を行い、得られる周波数成分を高域スペクトルとして第2レイヤ符号化部216に出力する。直交変換処理部215におけるMDCT処理は、実施の形態1で示したMDCT処理と同様であるため、詳細な説明を省略する。
第2レイヤ符号化部216は、第1レイヤ符号化部212から第1レイヤ復号スペクトルが入力される点のみが図3に示した第2レイヤ符号化部206と異なり、その他の処理については第2レイヤ符号化部206の処理と同様であるため、詳細な説明を省略する。
図10は、本実施の形態に係る復号装置113の内部の主要な構成を示すブロック図である。なお、本実施の形態に係る復号装置113は、符号化情報分離部131、第1レイヤ復号部142および第2レイヤ復号部145とから主に構成される。また、符号化情報分離部131は、実施の形態1の場合と同一の処理を行うため、詳細な説明を省略する。
第1レイヤ復号部142は、符号化情報分離部131から入力される第1レイヤ符号化情報を復号し、得られる第1レイヤ復号スペクトルを第2レイヤ復号部145に出力する。第1レイヤ復号部142における復号処理としては、図9に示した第1レイヤ符号化部212における符号化方法に対応する一般的な逆量子化方法を採るものとし、その詳細な説明を省略する。
第2レイヤ復号部145は、第1レイヤ復号部142から第1レイヤ復号スペクトルが入力される点のみが図7に示した第2レイヤ復号部135と異なり、その他の処理については第2レイヤ復号部135の処理と同様であるため、詳細な説明を省略する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、隣接サブバンドの符号化結果を利用してサブバンド毎の符号化を行う。すなわち、高域のサブバンド間の相関を利用して効率的な探索を行うため、より効率的に高域スペクトルを符号化/復号することができ、復号信号に含まれる不自然な異音を抑制し、復号信号の品質を向上させることができる。
また、本実施の形態によれば、第1レイヤの符号化に、CELP方式の符号化/復号方法ではなく、例えば変換符号化/復号方法を採用した場合にも本発明を適用することができる。この場合、第1レイヤ符号化の後に、別途第1レイヤ復号信号に対して直交変換を施し第1レイヤ復号スペクトルを算出する必要がなく、その分の演算量を抑えることができる。
なお、本実施の形態では、ダウンサンプリング処理部201により入力信号をダウンサンプリングしてから第1レイヤ符号化部212に入力する場合を例にとって説明したが、本発明はこれに限定されず、ダウンサンプリング処理部201を省略し、直交変換処理部215の出力である入力スペクトルを第1レイヤ符号化部212に入力しても良い。この場合には、第1レイヤ符号化部212においては直交変換処理を省略することが可能となり、その分の演算量を削減することができる。
(実施の形態3)
本発明の実施の形態3は、高域部のサブバンド間の相関の度合いを分析し、分析結果に基づき、隣接するサブバンドの最適ピッチ周期を利用した探索を行うか否かを切り替える構成について説明する。
本発明の実施の形態3に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「121」および「123」を付し、説明を行う。
図11は、本実施の形態に係る符号化装置121の内部の主要な構成を示すブロック図である。本実施の形態に係る符号化装置121は、ダウンサンプリング処理部201、第1レイヤ符号化部202、第1レイヤ復号部203、アップサンプリング処理部204、直交変換処理部205、相関判定部221、第2レイヤ符号化部226および符号化情報統合部227とから主に構成される。ここで、相関判定部221、第2レイヤ符号化部226および符号化情報統合部227以外の構成要素については、実施の形態1の場合と同様であるため、説明を省略する。
相関判定部221は、第2レイヤ符号化部226から入力される帯域分割情報に基づき、直交変換処理部205から入力される入力スペクトルの高域部(FL≦k<FH)の各サブバンド間の相関を算出し、算出した相関値に基づき判定情報の値を「0」または「1」のいずれかに設定する。具体的には、相関判定部221は、P個のサブバンドそれぞれに対してスペクトルフラットネスメジャー(SFM:Spectral Flatness Measure)を算出し、隣接するサブバンドのSFM値の差(SFMp−SFMp+1)(p=0,1,…,P−2)それぞれを算出する。相関判定部221は、(SFMp−SFMp+1)(p=0,1,…,P−2)それぞれの絶対値を予め定めた閾値THSFMと比較し、絶対値が閾値THSFMよりも低い(SFMp−SFMp+1)の数が所定数以上である場合には、入力スペクトルの高域部全体において、隣接サブバンド間の相関が高いと判定し、判定情報の値を「1」とする。それ以外の場合には、相関判定部221は、判定情報の値を「0」とする。相関判定部221は、設定した判定情報を第2レイヤ符号化部226および符号化情報統合部227に出力する。
第2レイヤ符号化部226は、直交変換処理部205から入力される入力スペクトルS2(k)、第1レイヤ復号スペクトルS1(k)および相関判定部221から入力される判定情報を用いて第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部227に出力する。また、第2レイヤ符号化部226は、内部で算出した帯域分割情報を相関判定部221に出力する。第2レイヤ符号化部226における帯域分割情報の詳細は後述する。
図12は、図11に示した第2レイヤ符号化部226の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部226において、ピッチ係数設定部274、帯域分割部275以外の構成要素は、実施の形態1の場合と同様であるため、説明を省略する。
ピッチ係数設定部274は、相関判定部221から入力される判定情報が「0」である場合には、探索部263の制御の下、ピッチ係数Tを、予め定められた探索範囲Tmin〜Tmaxの中で少しずつ変化させながら、フィルタリング部262に順次出力する。すなわち、相関判定部221から入力される判定情報が「0」である場合には、ピッチ係数設定部274は、隣接するサブバンドに対応する探索結果を考慮せずにピッチ係数Tを設定する。
また、ピッチ係数設定部274は、相関判定部221から入力される判定情報が「1」である場合には、実施の形態1に係るピッチ係数設定部264と同様な処理を行う。すなわち、ピッチ係数設定部274は、探索部263の制御の下、フィルタリング部262および探索部263と、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲Tmin〜Tmaxの中で少しずつ変化させながら、フィルタリング部262に順次出力する。一方、ピッチ係数設定部274は、探索部263の制御の下、フィルタリング部262および探索部263と、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対応する閉ループの探索処理を行う場合には、サブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’を用い、上記式(9)に従って、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。
要するに、ピッチ係数設定部274は、入力される判定情報の値に応じて、隣接するサブバンドに対応する探索結果を利用してピッチ係数を設定するか否かを適応的に切り替える。したがって、フレーム内のサブバンド間の相関が所定レベル以上である場合のみ、隣接するサブバンドに対応する探索結果を利用することができ、サブバンド間の相関が所定レベルより低い場合には、隣接するサブバンドの探索結果の利用による符号化精度の低下を抑制することができる。
帯域分割部275は、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)をP個のサブバンドSBp(p=0,1,…,P−1)に分割する。そして、帯域分割部275は、各サブバンドのバンド幅BWp(p=0,1,…,P−1)および先頭インデックスBSp(p=0,1,…,P−1)(FL≦BSp<FH)を帯域分割情報としてフィルタリング部262、探索部263、多重化部266、及び相関判定部221に出力する。
符号化情報統合部227は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報と、相関判定部221から入力される判定情報と、第2レイヤ符号化部226から入力される第2レイヤ符号化情報とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路102に出力する。
図13は、本実施の形態に係る復号装置123の内部の主要な構成を示すブロック図である。本実施の形態に係る復号装置123は、符号化情報分離部151、第1レイヤ復号部132、アップサンプリング処理部133、直交変換処理部134、第2レイヤ復号部155とから主に構成される。ここで、符号化情報分離部151および第2レイヤ復号部155以外の構成要素については、実施の形態1の場合と同様であるため、説明を省略する。
図13において、符号化情報分離部151は、入力された符号化情報の中から第1レイヤ符号化情報と第2レイヤ符号化情報と判定情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部132に出力し、第2レイヤ符号化情報および判定情報を第2レイヤ復号部155に出力する。
第2レイヤ復号部155は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)、符号化情報分離部131から入力される第2レイヤ符号化情報および判定情報を用いて、高域成分を含む第2レイヤ復号信号を生成し、出力信号として出力する。
図14は、図13に示した第2レイヤ復号部155の内部の主要な構成を示すブロック図である。
図14において、フィルタリング部363以外の構成要素は、実施の形態1の場合と同様であるため、説明を省略する。
フィルタリング部363は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部363は、符号化情報分離部151から入力される判定情報に応じて、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。
ここで、判定情報に応じたフィルタリング部363の処理を具体的に説明する。フィルタリング部363は、入力された判定情報が「0」である場合には、サブバンドSB0からサブバンドSBP−1までの全P個の各サブバンドに対して、隣接するサブバンドのピッチ係数を考慮せずに分離部351から入力されるピッチ係数Tp’を用いてフィルタリングを行う。この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
また、フィルタリング部363は、入力された判定情報が「1」である場合には、図8に示したフィルタリング部353と同様な処理を行う。すなわち、フィルタリング部363は、第1サブバンドに対してはピッチ係数T1’をそのまま用いてフィルタリング処理を行う。また、フィルタリング部363は、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対しては、サブバンドSBp−1のピッチ係数Tp−1’を考慮してサブバンドSBpのピッチ係数Tp”を新たに設定し、このピッチ係数Tp”を用いてフィルタリングを行う。具体的には、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対するフィルタリングを行う際には、フィルタリング部363は、分離部351から得られたピッチ係数に対して、サブバンドSBp−1のピッチ係数Tp−1’とサブバンド幅BWp−1とを用いて、上記の式(18)に従い、フィルタリングに用いるピッチ係数Tp”を算出する。この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp”に置き換えたものとする。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、フレーム毎にサブバンド間の相関の度合いを分析した結果に基づき、隣接サブバンドの符号化結果を利用してサブバンド毎の符号化を行うか否かを適応的に切り替える。すなわち、フレーム内のサブバンド間の相関が所定レベル以上である場合のみ、サブバンド間の相関を利用して効率的な探索を行い、より効率的に高域スペクトルを符号化/復号することができ、復号信号に含まれる不自然な異音を抑制することができる。また、フレーム内のサブバンド間の相関が所定レベルより低い場合には、隣接するサブバンドの探索結果を利用せず、相関が低い隣接サブバンドの探索結果の利用による符号化精度の低下を抑制することができ、復号信号の品質を向上させることができる。
なお、本実施の形態では、サブバンド毎にSFM値を分析し、1フレームに含まれるすべてのサブバンドのSFM値を総合的に考慮し、フレーム毎に相関判定を行って判定情報の値を設定する場合を例にとって説明したが、本発明はこれに限定されず、サブバンド毎に個別に相関判定を行って判定情報の値を設定しても良い。また、SFM値の代わりに、各サブバンドのエネルギを算出し、サブバンド間のエネルギの差または比などに応じて相関判定を行って判定情報の値を設定しても良い。また、各サブバンド間の周波数成分(MDCT係数など)に対して相関演算などにより相関を算出し、その相関値を予め定めた閾値と比較することによって、判定情報の値を設定しても良い。
また、本実施の形態では、判定情報の値が「1」である場合に、ピッチ係数設定部274は、上記の式(9)のようにピッチ係数Tの探索範囲を設定する場合を例にとって説明したが、本発明はこれに限定されず、上記の式(25)のようにピッチ係数Tの探索範囲を設定しても良い。
(実施の形態4)
本発明の実施の形態4は、入力信号のサンプリング周波数が32kHzであり、第1レイヤ符号化部の符号化方式として、ITU−Tで規格化されているG.729.1方式を適用する場合の構成について説明する。
本発明の実施の形態4に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「161」および「163」を付し、説明を行う。
図15は、本実施の形態に係る符号化装置161の内部の主要な構成を示すブロック図である。本実施の形態に係る符号化装置161は、ダウンサンプリング処理部201、第1レイヤ符号化部233、直交変換処理部215、第2レイヤ符号化部236および符号化情報統合部207とから主に構成される。ここで、第1レイヤ符号化部233および第2レイヤ符号化部236以外の構成要素については、実施の形態1の場合と同様であるため、説明を省略する。
第1レイヤ符号化部233は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対して、G.729.1方式の音声符号化方法を用いて符号化を行って第1レイヤ符号化情報を生成する。そして、第1レイヤ符号化部233は、生成した第1レイヤ符号化情報を符号化情報統合部207に出力する。また、第1レイヤ符号化部233は、第1レイヤ符号化情報を生成する過程で得られる情報を第1レイヤ復号スペクトルとして第2レイヤ符号化部236に出力する。なお、第1レイヤ符号化部233の詳細については後述する。
第2レイヤ符号化部236は、直交変換処理部215から入力される入力スペクトルおよび第1レイヤ符号化部233から入力される第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部236の詳細については後述する。
図16は、図15に示した第1レイヤ符号化部233の内部の主要な構成を示すブロック図である。ここでは、第1レイヤ符号化部233においてG.729.1符号化方式を適用する場合を例に挙げて説明する。
図16に示す第1レイヤ符号化部233は、帯域分割処理部281、ハイパスフィルタ282、CELP(Code Excited Linear Prediction)符号化部283、FEC(Forward Error Correction:前方誤り訂正)符号化部284、加算部285、ローパスフィルタ286、TDAC(Time-Domain Aliasing Cancellation:時間領域エイリアス除去)符号化部287、TDBWE(Time-Domain BandWidth Extension:時間領域帯域拡張)符号化部288および多重化部289を備え、各部は以下の動作を行う。
帯域分割処理部281は、ダウンサンプリング処理部201から入力される、サンプリング周波数が16kHzであるダウンサンプリング後入力信号に対して、QMF(Quadrature Mirror Filter)等による帯域分割処理を行い、0〜4kHz帯域の第1低域信号および4〜8kHz帯域の第2低域信号を生成する。帯域分割処理部281は、生成した第1低域信号をハイパスフィルタ282に出力し、第2低域信号をローパスフィルタ286に出力する。
ハイパスフィルタ282は、帯域分割処理部281から入力される第1低域信号に対して0.05kHz以下の周波数成分を抑え、主に0.05kHzより高い周波数成分からなる信号を得てフィルタ後第1低域信号としてCELP符号化部283および加算部285に出力する。
CELP符号化部283は、ハイパスフィルタ282から入力されるフィルタ後第1低域信号に対してCELP方式の符号化を行い、得られるCELPパラメータをFEC符号化部284、TDAC符号化部287および多重化部289に出力する。ここで、CELP符号化部283は、FEC符号化部284およびTDAC符号化部287にCELPパラメータの一部、または、CELPパラメータを生成する過程で得られる情報を出力してもよい。また、CELP符号化部283は、生成したCELPパラメータを用いてCELP方式の復号を行い、得られるCELP復号信号を加算部285に出力する。
FEC符号化部284は、CELP符号化部283から入力されるCELPパラメータを用いて、復号装置163の消失フレーム補償処理に利用されるFECパラメータを算出し、算出したFECパラメータを多重化部289に出力する。
加算部285は、ハイパスフィルタ282から入力されるフィルタ後第1低域信号から、CELP符号化部283から入力されるCELP復号信号を減じて得られる差分信号をTDAC符号化部287に出力する。
ローパスフィルタ286は、帯域分割処理部281から入力される第2低域信号に対して7kHzより大きい周波数成分を抑え、主に7kHz以下の周波数成分からなる信号を得てフィルタ後第2低域信号としてTDAC符号化部287およびTDBWE符号化部288に出力する。
TDAC符号化部287は、加算部285から入力される差分信号およびローパスフィルタ286から入力されるフィルタ後第2低域信号それぞれに対してMDCT等の直交変換を施し、得られる周波数領域信号(MDCT係数)を量子化する。そして、TDAC符号化部287は、量子化して得られるTDACパラメータを多重化部289に出力する。また、TDAC符号化部287は、TDACパラメータを用いて復号を行い、得られる復号スペクトルを第1レイヤ復号スペクトルとして第2レイヤ符号化部236(図15)に出力する。
TDBWE符号化部288は、ローパスフィルタ286から入力されるフィルタ後第2低域信号に対して時間領域での帯域拡張符号化を行い、得られるTDBWEパラメータを多重化部289に出力する。
多重化部289は、FECパラメータ、CELPパラメータ、TDACパラメータおよびTDBWEパラメータを多重化し、第1レイヤ符号化情報として符号化情報統合部237(図15)に出力する。なお、第1レイヤ符号化部233に多重化部289を設けずに、これらのパラメータを符号化情報統合部237で多重化してもよい。
図16に示した、本実施の形態に係る第1レイヤ符号化部233における符号化は、TDAC符号化部287において、TDACパラメータを復号した復号スペクトルを第1レイヤ復号スペクトルとして第2レイヤ符号化部236に出力する点が、G.729.1方式の符号化と相違する。
図17は、図15に示した第2レイヤ符号化部236の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部236において、ピッチ係数設定部294以外の構成要素は、実施の形態1の場合と同様であるため、説明を省略する。
また、以下の説明では、図17に示す帯域分割部260において、入力スペクトルS2(k)の高域部(FL≦k<FH)を5個のサブバンドSBp(p=0,1,…,4)に分割する場合を例にとって説明する。つまり、実施の形態1において、サブバンド数PがP=5である場合について説明する。ただし、本発明は入力スペクトルS2の高域部を分割するサブバンド数を限定するものではなく、サブバンド数PがP=5以外の場合についても同様に適用することができる。
ピッチ係数設定部294は、複数のサブバンドのうち、一部のサブバンドに対してはピッチ係数の探索範囲を予め設定し、それ以外のサブバンドに対しては隣接する1つ前のサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する。
例えば、ピッチ係数設定部294は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB0、第3サブバンドSB2または第5サブバンドSB4(サブバンドSBp(p=0,2,4))に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲の中で少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部294は、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第1サブバンドに対して予め設定された探索範囲Tmin1〜Tmax1の中で少しずつ変化させながら設定する。また、ピッチ係数設定部294は、第3サブバンドSB2に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第3サブバンドに対して予め設定された探索範囲Tmin3〜Tmax3の中で少しずつ変化させながら設定する。同様に、ピッチ係数設定部294は、第5サブバンドSB4に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第5サブバンドに対して予め設定された探索範囲Tmin5〜Tmax5の中で少しずつ変化させながら設定する。
一方、ピッチ係数設定部294は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第2サブバンドSB1または第4サブバンドSB3(サブバンドSBp(p=1,3))に対応する閉ループの探索処理を行う場合には、隣接する1つ前のサブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部294は、第2サブバンドSB1に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、隣接する1つ前のサブバンドである第1サブバンドSB0の最適ピッチ係数T0’に基づき、式(9)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(9)においてはP=1となる。同様に、ピッチ係数設定部294は、第4サブバンドSB3に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、隣接する1つ前のサブバンドである第3サブバンドSB2の最適ピッチ係数T2’に基づき、式(9)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(9)においてはP=3となる。
なお、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合、実施の形態1と同様、式(10)に示すようにしてピッチ係数Tの範囲を修正する。同様に、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を下回る場合、実施の形態1と同様、式(11)に示すようにしてピッチ係数Tの範囲を修正する。このようにピッチ係数Tの範囲を修正することで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
上述したように、ピッチ係数設定部294は、第1サブバンド、第3サブバンドおよび第5サブバンドに対して、それぞれのサブバンドに対して予め設定された探索範囲の中でピッチ係数Tを少しずつ変化させる。ここで、ピッチ係数設定部294は、複数のサブバンドのうち高域のサブバンドほど、第1復号スペクトルのより高い帯域(高域部)を探索範囲としてピッチ係数Tを設定してもよい。つまり、ピッチ係数設定部294は、高域のサブバンドほど、探索範囲が第1復号スペクトルのより高い帯域になるように、各サブバンドの探索範囲を予め設定する。例えば、高域になるほどスペクトルの調波構造が弱まる傾向がある場合には、高域のサブバンドほど、サブバンドに類似する部分は、第1復号スペクトルの高域部に存在する可能性が高い。そこで、ピッチ係数設定部294が高域のサブバンドほど探索範囲がより高域に偏るように設定することで、探索部263はそれぞれのサブバンドに適した探索範囲に対して探索を行うことができ、符号化効率を向上することが期待できる。
また、ピッチ係数設定部294は、上述した設定方法とは逆に、複数のサブバンドのうち高域のサブバンドほど、第1復号スペクトルのより低い帯域(低域部)を探索範囲としてピッチ係数Tを設定してもよい。つまり、ピッチ係数設定部294は、高域のサブバンドほど、探索範囲が第1復号スペクトルのより低い帯域になるように、各サブバンドの探索範囲を予め設定する。例えば、第1復号スペクトルのうち、0〜4kHzのスペクトルと4〜7kHzのスペクトルとを比較して、0〜4kHzのスペクトルの調波構造の方が弱い場合、高域のサブバンドほど、サブバンドに類似する部分は、第1復号スペクトルの低域部に存在する可能性が高い。そこで、ピッチ係数設定部294が高域のサブバンドほど探索範囲がより低域に偏るように設定することで、探索部263は第1復号スペクトルの高域部よりも調波構造が弱まる低域部に対して、高域のサブバンドに類似する部分の探索を行うため、探索の効率が良くなる。ここで、本実施の形態では、第1復号スペクトルとして、第1レイヤ符号化部233内のTDAC符号化部287から得られる復号スペクトルを例としている。この場合、第1復号スペクトルの0〜4kHz部分のスペクトルは、入力信号からCELP符号化部283で算出されるCELP復号信号を減じた成分となっており、調波構造が比較的弱い。このため、高域のサブバンドほど、探索範囲がより低域に偏るように設定する方法が有効である。
また、ピッチ係数設定部294は、第2サブバンドおよび第4サブバンドに対してのみ、隣接する1つ前のサブバンド(隣接する低域側のサブバンド)において探索された最適ピッチ係数Tp−1’に基づきピッチ係数Tを設定する。すなわち、ピッチ係数設定部294は、1サブバンドだけ離れたサブバンドに対して、隣接する1つ前のサブバンドにおいて探索された最適ピッチ係数Tp−1’に基づきピッチ係数Tを設定する。これにより、低域のサブバンドにおける探索結果がそのサブバンドよりも高域のすべてのサブバンドにおける探索に与える影響を低減することができるため、高域のサブバンドに対して設定されるピッチ係数Tの値が大きくなり過ぎるということを避けることができる。すなわち、高域のサブバンドほど類似する部分の探索を行うための探索範囲が高域に限定されることを避けることができる。これにより、類似する可能性が低い帯域で最適ピッチ係数の探索を行うことを回避して、符号化効率が低下し復号信号の品質が劣化することを回避することができる。
図18は、本実施の形態に係る復号装置163の内部の主要な構成を示すブロック図である。本実施の形態に係る復号装置163は、符号化情報分離部171、第1レイヤ復号部172、第2レイヤ復号部173、直交変換処理部174および加算部175とから主に構成される。
図18において、符号化情報分離部171は、入力された符号化情報の中から第1レイヤ符号化情報と第2レイヤ符号化情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部172に出力し、第2レイヤ符号化情報を第2レイヤ復号部173に出力する。
第1レイヤ復号部172は、符号化情報分離部171から入力される第1レイヤ符号化情報に対して、G.729.1方式の音声符号化方法を用いて復号を行い、生成された第1レイヤ復号信号を加算部175に出力する。また、第1レイヤ復号部172は、第1レイヤ復号信号を生成する過程で得られる第1レイヤ復号スペクトルを、第2レイヤ復号部173に出力する。なお、第1レイヤ復号部172の動作の詳細な説明は後述する。
第2レイヤ復号部173は、第1レイヤ復号部172から入力される第1レイヤ復号スペクトルおよび符号化情報分離部171から入力される第2レイヤ符号化情報を用いて、高域部のスペクトルを復号し、生成された第2レイヤ復号スペクトルを直交変換処理部174に出力する。第2レイヤ復号部173の処理は、入力される信号とその信号の送り元が異なるという点を除けば、図7の第2レイヤ復号部135と同様であるため、詳細な説明は省略する。なお、第2レイヤ復号部173の動作の詳細な説明は後述する。
直交変換処理部174は、第2レイヤ復号部173から入力される第2レイヤ復号スペクトルに対して直交変換処理(IMDCT)を施し、得られる第2レイヤ復号信号を加算部175に出力する。ここで、直交変換処理部174の動作は、入力される信号とその信号の送り元が異なるという点を除けば、図8に示した直交変換処理部356の処理と同様であるため、詳細な説明は省略する。
加算部175は、第1レイヤ復号部172から入力される第1レイヤ復号信号と直交変換処理部174から入力される第2レイヤ復号信号とを加算し、得られる信号を出力信号として出力する。
図19は、図18に示した第1レイヤ復号部172の内部の主要な構成を示すブロック図である。ここでは、図15の第1レイヤ符号化部233と対応させて、第1レイヤ復号部172がITU−Tで規格化されているG.729.1方式の復号を行う構成を例に挙げて説明する。なお、図19に示す第1レイヤ復号部172の構成は伝送時にフレームエラーが生じなかった場合の構成であり、フレームエラー補償処理のための構成要素は図示せずその説明を省略する。ただし、本発明はフレームエラーが生じる場合にも適用することができる。
第1レイヤ復号部172は、分離部371、CELP復号部372、TDBWE復号部373、TDAC復号部374、プリ/ポストエコー削減部375、加算部376、適応ポスト処理部377、ローパスフィルタ378、プリ/ポストエコー削減部379、ハイパスフィルタ380および帯域合成処理部381を備え、各部は以下の動作を行う。
分離部371は、符号化情報分離部171(図18)から入力される第1レイヤ符号化情報を、CELPパラメータ、TDACパラメータ、TDBWEパラメータに分離し、CELPパラメータをCELP復号部372に出力し、TDACパラメータをTDAC復号部374に出力し、TDBWEパラメータをTDBWE復号部373に出力する。なお、分離部371を設けずに、符号化情報分離部171においてまとめてこれらのパラメータを分離してもよい。
CELP復号部372は、分離部371から入力されるCELPパラメータを用いてCELP方式の復号を行い、得られる復号信号を復号CELP信号としてTDAC復号部374、加算部376およびプリ/ポストエコー削減部375に出力する。なお、CELP復号部372は、復号CELP信号の他に、CELPパラメータから復号CELP信号を生成する過程で得られる他の情報をTDAC復号部374に出力してもよい。
TDBWE復号部373は、分離部371から入力されるTDBWEパラメータを復号し、得られる復号信号を復号TDBWE信号としてTDAC復号部374およびプリ/ポストエコー削減部379に出力する。
TDAC復号部374は、分離部371から入力されるTDACパラメータ、CELP復号部372から入力される復号CELP信号およびTDBWE復号部373から入力される復号TDBWE信号を用いて、第1レイヤ復号スペクトルを算出する。そして、TDAC復号部374は、算出した第1レイヤ復号スペクトルを第2レイヤ復号部173(図18)に出力する。なお、ここで得られる第1レイヤ復号スペクトルは、符号化装置161内の第1レイヤ符号化部233(図15)で算出される第1レイヤ復号スペクトルと同じである。また、TDAC復号部374は、算出した第1レイヤ復号スペクトルの0〜4kHz帯域と4〜8kHz帯域に対してそれぞれMDCT等の直交変換処理を施し、復号第1TDAC信号(0〜4kHz帯域)および復号第2TDAC信号(4〜8kHz帯域)を算出する。TDAC復号部374は、算出した復号第1TDAC信号をプリ/ポストエコー削減部375に出力し、復号第2TDAC信号をプリ/ポストエコー削減部379に出力する。
プリ/ポストエコー削減部375は、CELP復号部372から入力される復号CELP信号およびTDAC復号部374から入力される復号第1TDAC信号に対し、プリ/ポストエコーを削減する処理を施して、エコー削除後の信号を加算部376に出力する。
加算部376は、CELP復号部372から入力される復号CELP信号およびプリ/ポストエコー削減部375から入力されるエコー削減後の信号を加算し、得られる加算信号を適応ポスト処理部377に出力する。
適応ポスト処理部377は、加算部376から入力される加算信号に対して適応的に後処理を施し、得られる復号第1低域信号(0〜4kHz帯域)をローパスフィルタ378に出力する。
ローパスフィルタ378は、適応ポスト処理部377から入力される復号第1低域信号に対して4kHzより大きい周波数成分を抑え、主に4kHz以下の周波数成分からなる信号を得てフィルタ後復号第1低域信号として帯域合成処理部381に出力する。
プリ/ポストエコー削減部379は、TDAC復号部374から入力される復号第2TDAC信号およびTDBWE復号部373から入力される復号TDBWE信号に対してプリ/ポストエコーを削減する処理を施して、エコー削減後の信号を復号第2低域信号(4〜8kHz帯域)としてハイパスフィルタ380に出力する。
ハイパスフィルタ380は、プリ/ポストエコー削減部379から入力される復号第2低域信号に対して4kHz以下の周波数成分を抑え、主に4kHzより高い周波数成分からなる信号を得てフィルタ後復号第2低域信号として帯域合成処理部381に出力する。
帯域合成処理部381には、ローパスフィルタ378からフィルタ後復号第1低域信号が入力され、ハイパスフィルタ380からフィルタ後復号第2低域信号が入力される。帯域合成処理部381は、サンプリング周波数が共に8kHzであるフィルタ後復号第1低域信号(0〜4kHz帯域)およびフィルタ後復号第2低域信号(4〜8kHz帯域)に対して帯域合成処理を施し、サンプリング周波数が16kHz(0〜8kHz帯域)である第1レイヤ復号信号を生成する。そして、帯域合成処理部381は、生成した第1レイヤ復号信号を加算部175に出力する。
なお、帯域合成処理部381を設けずに、帯域合成処理を加算部175でまとめて行ってもよい。
図19に示した、本実施の形態に係る第1レイヤ復号部172における復号は、TDAC復号部374において、TDACパラメータから第1レイヤ復号スペクトルを算出した時点でこれを第2レイヤ復号部173に出力するという点のみがG.729.1方式の復号と相違する。
図20は、図18に示した第2レイヤ復号部173の内部の主要な構成を示すブロック図である。図20に示す第2レイヤ復号部173の内部の構成は、図8に示す第2レイヤ復号部135において、直交変換処理部356を省略した構成である。第2レイヤ復号部173において、フィルタリング部390およびスペクトル調整部391以外の構成要素については、第2レイヤ復号部135内の構成要素と同一であるため、説明を省略する。
フィルタリング部390は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部390は、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。フィルタリング部390でも、式(15)に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
ここで、フィルタリング部390は、第1サブバンド、第3サブバンドおよび第5サブバンドSBp(p=0,2,4)に対してはピッチ係数Tp’(p=0,2,4)をそのまま用いてフィルタリング処理を行う。また、フィルタリング部390は、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対しては、サブバンドSBp−1のピッチ係数Tp−1’を考慮してサブバンドSBpのピッチ係数Tp”を新たに設定し、このピッチ係数Tp”を用いてフィルタリングを行う。具体的には、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対するフィルタリングを行う際には、フィルタリング部390は、分離部351から得られたピッチ係数に対して、サブバンドSBp−1(p=1,3)のピッチ係数Tp−1’とサブバンド幅BWp−1とを用いて、式(18)に従い、フィルタリングに用いるピッチ係数Tp”を算出する。この場合のフィルタリング処理は、式(16)において、TをTp”に置き換えた式に従うものとする。
式(18)においては、サブバンドSBp(p=1,2,…,P−1)に対しては、サブバンドSBp−1のピッチ係数Tp−1’にサブバンドSBp−1のバンド幅BWp−1を加算し、探索範囲SEARCHの半分の値を減算したインデックスにTp’を加算し、ピッチ係数Tp”とする。
スペクトル調整部391は、フィルタリング部390から入力される各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を周波数領域で連続させて入力スペクトルの推定スペクトルS2’(k)を求める。また、スペクトル調整部391は、式(19)に従い、推定スペクトルS2’(k)にゲイン復号部354から入力されるサブバンド毎の変動量VQjを乗じる。これにより、スペクトル調整部391は、推定スペクトルS2’(k)の周波数帯域FL≦k<FHにおけるスペクトル形状を調整し、復号スペクトルS3(k)を生成する。次いで、スペクトル調整部391は、復号スペクトルS3(k)の低域部(0≦k<FL)の値を0とする。そして、スペクトル調整部391は、低域部(0≦k<FL)の値を0とした復号スペクトルを直交変換処理部174に出力する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、一部のサブバンド(本実施の形態では第1サブバンド、第3サブバンドおよび第5サブバンド)に対してはサブバンド毎に設定された探索範囲において探索を行う。また、それ以外のサブバンド(本実施の形態では第2サブバンドおよび第4サブバンド)に対しては隣接する1つ前のサブバンドの符号化結果を利用して探索を行う。これにより、サブバンド間の相関を利用して効率的な探索を行い、より効率的に高域スペクトルを符号化/復号するとともに、探索範囲が高域に偏ることで発生する異音を抑制することができるため、結果として復号信号の品質を向上させることができる。
(実施の形態5)
本発明の実施の形態5は、実施の形態4と同様に入力信号のサンプリング周波数が32kHzであり、第1レイヤ符号化部の符号化方式として、ITU−Tで規格化されているG.729.1方式を適用する場合の構成について説明する。
本発明の実施の形態5に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「181」および「184」を付し、説明を行う。
本実施の形態に係る符号化装置181(図示せず)は、図15に示した符号化装置161と基本的に同様であり、ダウンサンプリング処理部201、第1レイヤ符号化部233、直交変換処理部215、第2レイヤ符号化部246および符号化情報統合部207とから主に構成される。ここで、第2レイヤ符号化部246以外の構成要素については、実施の形態4の場合と同様であるため、説明を省略する。
第2レイヤ符号化部246は、直交変換処理部215から入力される入力スペクトルおよび第1レイヤ符号化部233から入力される第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部246の詳細については後述する。
図21は、本実施の形態に係る第2レイヤ符号化部246の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部246において、ピッチ係数設定部404以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
また、以下の説明では、実施の形態4と同様に、図21に示す帯域分割部260において、入力スペクトルS2(k)の高域部(FL≦k<FH)を5個のサブバンドSBp(p=0,1,…,4)に分割する場合を例にとって説明する。つまり、実施の形態1において、サブバンド数PがP=5である場合について説明する。ただし、本発明は入力スペクトルS2の高域部を分割するサブバンド数を限定するものではなく、サブバンド数PがP=5以外の場合についても同様に適用することができる。
ピッチ係数設定部404は、複数のサブバンドのうち、一部のサブバンドに対してはピッチ係数の探索範囲を予め設定し、それ以外のサブバンドに対しては隣接する1つ前のサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する。
例えば、ピッチ係数設定部404は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB0、第3サブバンドSB2または第5サブバンドSB4(サブバンドSBp(p=0,2,4))に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲の中で少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部404は、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第1サブバンドに対して予め設定された探索範囲Tmin1〜Tmax1の中で少しずつ変化させながら設定する。また、ピッチ係数設定部404は、第3サブバンドSB2に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第3サブバンドに対して予め設定された探索範囲Tmin3〜Tmax3の中で少しずつ変化させながら設定する。同様に、ピッチ係数設定部404は、第5サブバンドSB4に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第5サブバンドに対して予め設定された探索範囲Tmin5〜Tmax5の中で少しずつ変化させながら設定する。
一方、ピッチ係数設定部404は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第2サブバンドSB
1または第4サブバンドSB
3(サブバンドSB
p(p=1,3))に対応する閉ループの探索処理を行う場合には、隣接する1つ前のサブバンドSB
p−1に対応する閉ループの探索処理において求められた最適ピッチ係数T
p−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部404は、第2サブバンドSB
1に対応する閉ループの探索処理を行う際、隣接する1つ前のサブバンドである第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p未満である場合(パターン1)には、ピッチ係数Tを式(27)に従って算出される探索範囲の中で少しずつ変化させながら設定する。一方、第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p以上である場合(パターン2)には、ピッチ係数Tを式(28)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(27)および式(28)においてはP=1となる。ここで、式(27)および式(28)中のSEARCH1、SEARCH2は予め定められた探索ピッチ係数の設定範囲を示す。なお、以下では、SEARCH1>SEARCH2である場合について説明する。
同様に、ピッチ係数設定部404は、第4サブバンドSB
3に対応する閉ループの探索処理を行う際、第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p未満である場合(パターン1)には、隣接する1つ前のサブバンドである第3サブバンドSB
2の最適ピッチ係数T
2’に基づき、ピッチ係数Tを式(29)に従って算出される探索範囲の中で少しずつ変化させながら設定する。一方、第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p以上である場合(パターン2)には、ピッチ係数Tを式(30)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(29)および式(30)においてはP=3となる。
なお、式(27)〜式(30)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合、実施の形態1と同様、式(31)および式(32)に示すようにしてピッチ係数Tの範囲を修正する。この時、式(27)および式(30)に対しては式(31)が、式(28)および式(29)に対しては式(32)がそれぞれ対応する。同様に、式(27)〜式(30)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を下回る場合、実施の形態1と同様、式(33)および式(34)に示すようにしてピッチ係数Tの範囲を修正する。この時、式(27)および式(30)に対しては式(33)が、式(28)および式(29)に対しては式(34)がそれぞれ対応する。このようにピッチ係数Tの範囲を修正することで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
ピッチ係数設定部404は、第2サブバンド及び第4サブバンドに対する最適ピッチ探索時のエントリ数を適応的に変化させる。つまり、ピッチ係数設定部404は、第1サブバンドの最適ピッチ係数T0’が予め設定した閾値よりも小さい場合には第2サブバンドに対する最適ピッチ探索時のエントリ数を多くし(パターン1)、第1サブバンドの最適ピッチ係数T0’が閾値以上である場合には第2サブバンドに対する最適ピッチ探索時のエントリ数を少なくする(パターン2)。また、ピッチ係数設定部404は、第2サブバンドの最適ピッチ探索時のパターン(パターン1およびパターン2)に応じて、第4サブバンドの最適ピッチ探索時のエントリ数を増減させる。具体的には、ピッチ係数設定部404は、パターン1の場合には第4サブバンドの最適ピッチ探索時のエントリ数を少なくし、パターン2の場合には第4サブバンドの最適ピッチ探索時のエントリ数を多くする。この時、パターン1及びパターン2のそれぞれに対して、第2サブバンドの最適ピッチ探索時のエントリ数と第4サブバンドの最適ピッチ探索時のエントリ数の合計を等しくすることで、ビットレートを固定にしたまま、より効率的な最適ピッチ係数の探索をすることができる。
第1レイヤ復号スペクトルについては、一般的に入力信号が音声信号などである場合には、低域側ほど周期性が強いという特徴がある。従って、最適ピッチ係数を探索する帯域が低域側であるほど、探索時のエントリ数を増加させることによる効果が大きい。そこで、上記のように、第1サブバンドに対して探索された最適ピッチ係数の値が小さい場合には、第2サブバンドに対する最適ピッチの探索時のエントリ数を大きくすることで、第2サブバンドに対してより効果的な最適ピッチ探索をすることができる。この時、第4サブバンドに対する最適ピッチ係数の探索時のエントリ数を減少させる。一方、第1サブバンドに対して探索された最適ピッチ係数の値が大きい場合には、第2サブバンドに対する最適ピッチ係数の探索のエントリ数を多くしてもその効果は小さいため、第2サブバンドに対しては、最適ピッチ係数の探索時のエントリ数を少なくし、第4サブバンドに対する最適ピッチ係数の探索時のエントリ数を増加させる。このように、第1サブバンドに対して探索された最適ピッチ係数の値に応じて、第2サブバンドおよび第4サブバンド間で最適ピッチ係数の探索時のエントリ数(ビットアロケーション)を調整することで、より効率的に最適ピッチ係数を探索することができ、品質の良い復号信号を生成することが可能になる。
本実施の形態に係る復号装置184(図示せず)の内部の主要な構成は、図18に示した復号装置163と基本的には同じであるため、説明を省略する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、一部のサブバンド(本実施の形態では第1サブバンド、第3サブバンドおよび第5サブバンド)に対してはサブバンド毎に設定された探索範囲において探索を行う。また、それ以外のサブバンド(本実施の形態では第2サブバンドおよび第4サブバンド)に対しては隣接する1つ前のサブバンドの符号化結果を利用して探索を行う。なお、ここで、第2サブバンドおよび第4サブバンドに対する最適ピッチの探索時に、第1サブバンドに対して探索された最適ピッチに基づいて、探索のエントリ数を適応的に切り替える。これにより、サブバンド間の相関を利用するとともに、サブバンド毎に適応的にエントリ数を変更することができ、より効率的に高域スペクトルを符号化/復号することができる。その結果として復号信号の品質をさらに向上させることができる。
なお、本実施の形態では、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数の合計が等しい場合を例に挙げて説明した。しかし、本発明はこれに限定されず、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数の合計がパターン毎に異なる構成についても同様に適用できる。
また、本実施の形態では、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数が増減する場合を例に挙げて説明したが、探索エントリ数を多くしたことによって、探索範囲が低域の全範囲になる場合に対しても同様に適用できる。
また、本実施の形態では、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数が増減する場合の例として、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合(パターン1)には、第2サブバンドの最適ピッチ係数の探索エントリ数を多くし(探索範囲を広くし)、第4サブバンドの最適ピッチ係数の探索エントリ数を少なくする(探索範囲を狭くする)構成について説明した。また、上記構成は、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp以上である場合(パターン2)には、上記とは逆の探索範囲の設定方法を採る。しかし、本発明は上記構成に限らず、第1サブバンドのパターン1、パターン2に対してそれぞれ逆の探索範囲設定方法を採る構成についても同様に適用できる。すなわち、本発明は、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合(パターン1)には、第2サブバンドの最適ピッチ係数の探索エントリ数を少なくし(探索範囲を狭くし)、第4サブバンドの最適ピッチ係数の探索エントリ数を多くする(探索範囲を広くする)構成についても同様に適用できる。なお、本構成は、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp以上である場合(パターン2)には、上記とは逆の探索範囲の設定方法を採る。この構成により、低域部分の中でも、低域側と高域側で大きくスペクトル特性が異なる入力信号に対して、効率的に符号化することができる。具体的には、スペクトルが複数のピーク成分から構成されており、さらにピーク成分の存在する密度が帯域によって大きく異なるような特性を有する入力信号に対して効率的に量子化できることが実験により確認されている。
(実施の形態6)
本発明の実施の形態6は、実施の形態4と同様に入力信号のサンプリング周波数が32kHzであり、第1レイヤ符号化部の符号化方式として、ITU−Tで規格化されているG.729.1方式を適用する場合の構成について説明する。
本発明の実施の形態6に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「191」および「193」を付し、説明を行う。
本実施の形態に係る符号化装置191(図示せず)は、図15に示した符号化装置161と基本的に同様であり、ダウンサンプリング処理部201、第1レイヤ符号化部233、直交変換処理部215、第2レイヤ符号化部256および符号化情報統合部207とから主に構成される。ここで、第2レイヤ符号化部256以外の構成要素については、実施の形態4の場合と同様であるため、説明を省略する。
第2レイヤ符号化部256は、直交変換処理部215から入力される入力スペクトルおよび第1レイヤ符号化部233から入力される第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部256の詳細については後述する。
図22は、本実施の形態に係る第2レイヤ符号化部256の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部256において、ピッチ係数設定部414以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
また、以下の説明では、実施の形態4と同様に、図22に示す帯域分割部260において、入力スペクトルS2(k)の高域部(FL≦k<FH)を5個のサブバンドSBp(p=0,1,…,4)に分割する場合を例にとって説明する。つまり、実施の形態1において、サブバンド数PがP=5である場合について説明する。ただし、本発明は入力スペクトルS2の高域部を分割するサブバンド数を限定するものではなく、サブバンド数PがP=5以外の場合についても同様に適用することができる。
ピッチ係数設定部414は、複数のサブバンドのうち、一部のサブバンドに対してはピッチ係数の探索範囲を予め設定し、それ以外のサブバンドに対しては隣接する1つ前のサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する。
例えば、ピッチ係数設定部414は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB0、第3サブバンドSB2または第5サブバンドSB4(サブバンドSBp(p=0,2,4))に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲の中で少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部414は、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第1サブバンドに対して予め設定された探索範囲Tmin1〜Tmax1の中で少しずつ変化させながら設定する。また、ピッチ係数設定部414は、第3サブバンドSB2に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第3サブバンドに対して予め設定された探索範囲Tmin3〜Tmax3の中で少しずつ変化させながら設定する。同様に、ピッチ係数設定部414は、第5サブバンドSB4に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第5サブバンドに対して予め設定された探索範囲Tmin5〜Tmax5の中で少しずつ変化させながら設定する。
一方、ピッチ係数設定部414は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第2サブバンドSB1または第4サブバンドSB3(サブバンドSBp(p=1,3))に対応する閉ループの探索処理を行う場合には、隣接する1つ前のサブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部414は、第2サブバンドSB1に対応する閉ループの探索処理を行う際、隣接する1つ前のサブバンドである第1サブバンドSB0の最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合には、ピッチ係数Tを式(9)に従って算出される探索範囲の中で少しずつ変化させながら設定する。ここで、式(9)においてはP=1となる。一方、第1サブバンドSB0の最適ピッチ係数T0’の値が予め定められた閾値THp以上である場合には、ピッチ係数Tを予め設定された探索範囲Tmin2〜Tmax2の中で少しずつ変化させながら設定する。
同様に、ピッチ係数設定部414は、第4サブバンドSB3に対応する閉ループの探索処理を行う際、第1サブバンドSB0の最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合には、隣接する1つ前のサブバンドである第3サブバンドSB2の最適ピッチ係数T2’に基づき、ピッチ係数Tを式(9)に従って算出される探索範囲の中で少しずつ変化させながら設定する。ここで、式(9)においてはP=3となる。一方、第3サブバンドSB2の最適ピッチ係数T2’の値が予め定められた閾値THp以上である場合には、ピッチ係数Tを予め設定された探索範囲Tmin4〜Tmax4の中で少しずつ変化させながら設定する。
なお、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合、実施の形態1と同様、式(10)に示すようにしてピッチ係数Tの範囲を修正する。同様に、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を下回る場合、実施の形態1と同様、式(11)に示すようにしてピッチ係数Tの範囲を修正する。このようにピッチ係数Tの範囲を修正することで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
ピッチ係数設定部414は、第2サブバンドおよび第4サブバンドに対する最適ピッチ探索時の探索範囲の設定を、隣接する1つ前のサブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’に基づいて適応的に変更する。つまり、ピッチ係数設定部414は、隣接する1つ前のサブバンドSBp−1に対して探索された最適ピッチ係数Tp−1’が閾値未満であった場合にのみ、最適ピッチ係数Tp−1’に基づいた範囲に対して最適ピッチ係数の探索を行う。一方、ピッチ係数設定部414は、隣接する1つ前のサブバンドSBp−1に対して探索された最適ピッチ係数Tp−1’が閾値以上であった場合には、予め設定された探索範囲に対して最適ピッチ係数の探索を行う。このような構成により、最適ピッチの探索範囲が高域に偏ることで発生する異音を抑制することができるため、結果として復号信号の品質を向上させることができる。
本実施の形態に係る復号装置193(図示せず)は、図18に示した復号装置163と基本的に同様であり、符号化情報分離部171、第1レイヤ復号部172、第2レイヤ復号部183、直交変換処理部174および加算部175とから主に構成される。ここで、第2レイヤ復号部183以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
図23は、本実施の形態に係る第2レイヤ復号部183の内部の主要な構成を示すブロック図である。
第2レイヤ復号部183において、フィルタリング部490以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
フィルタリング部490は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部490は、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。フィルタリング部490でも、式(15)に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
ここで、フィルタリング部490は、第1サブバンド、第3サブバンドおよび第5サブバンドSBp(p=0,2,4)に対してはピッチ係数Tp’(p=0,2,4)をそのまま用いてフィルタリング処理を行う。また、フィルタリング部490は、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対しては、サブバンドSBp−1のピッチ係数Tp−1’を考慮してサブバンドSBpのピッチ係数Tp”を新たに設定し、このピッチ係数Tp”を用いてフィルタリングを行う。具体的には、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対するフィルタリングを行う際には、フィルタリング部490は、分離部351から得られたピッチ係数の値が予め定められた閾値THp未満である場合に対して、サブバンドSBp−1(p=1,3)のピッチ係数Tp−1’とサブバンド幅BWp−1とを用いて、式(18)に従い、フィルタリングに用いるピッチ係数Tp”を算出する。この場合のフィルタリング処理は、式(16)において、TをTp”に置き換えた式に従うものとする。また、フィルタリング部490は、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対するフィルタリングを行う際、分離部351から得られたピッチ係数の値が予め定められた閾値THp以上である場合に対しては、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、一部のサブバンド(本実施の形態では第1サブバンド、第3サブバンドおよび第5サブバンド)に対してはサブバンド毎に設定された探索範囲において探索を行う。また、それ以外のサブバンド(本実施の形態では第2サブバンドおよび第4サブバンド)に対しては隣接する1つ前のサブバンドの符号化結果を利用して探索を行う。なお、ここで、第2サブバンドおよび第4サブバンドに対する最適ピッチの探索時に、第1サブバンドに対して探索された最適ピッチに基づいて、探索のエントリ数を適応的に切り替える。これにより、サブバンド間の相関を利用するとともに、サブバンド毎に適応的にエントリ数を変更することができ、より効率的に高域スペクトルを符号化/復号することができる。その結果として復号信号の品質をさらに向上させることができる。
なお、上記実施の形態4〜6では、第1レイヤ符号化部および第1レイヤ復号部において、G.729.1符号化/復号方式を用いる場合を例に採って説明した。しかし、本発明において第1レイヤ符号化部および第1レイヤ復号部で用いる符号化方式/復号方式はG.729.1符号化/復号方式に限定されるものではない。例えば、第1レイヤ符号化部、および第1レイヤ復号部で用いる符号化方式/復号方式としてG.718等の他の符号化/復号方式を採る構成についても本発明を同様に適用できる。
また、上記実施の形態4〜6では、第1レイヤ復号スペクトルとして、第1レイヤ符号化部の内部で得られる情報(TDAC符号化部287で得られるTDACパラメータの復号スペクトル)を用いる場合について説明した。しかし、本発明はこれに限らず、第1レイヤ符号化部の内部で算出される他の情報を第1レイヤ復号スペクトルとして用いる場合についても同様に適用することができる。また、本発明は、第1レイヤ符号化情報を復号して得られる第1レイヤ復号信号に対して直交変換等の処理を行い、算出されたスペクトルを第1レイヤ復号スペクトルとして用いる場合についても同様に適用できる。つまり、本発明は第1レイヤ復号スペクトルの特性に限定されるものではなく、第1レイヤ符号化部の内部で算出されるパラメータ、または、第1レイヤ符号化情報を復号して得られる復号信号から算出される全てのスペクトルを第1レイヤ復号スペクトルとして利用する場合にも同様の効果を得ることができる。
また、上記実施の形態4〜6では、一部のサブバンド(本実施の形態では、第1サブバンド、第3サブバンド、第5サブバンド)に予め設定された探索範囲が、それぞれのサブバンド毎に異なる場合を例にとって説明した。しかし、本発明はこれに限定されず、全てのサブバンドまたは一部のサブバンド群に対して共通の探索範囲を設定してもよい。
以上、本発明の各実施の形態について説明した。
なお、上記各実施の形態においては、各サブバンドSBp(p=0,…,P−1)に最も近似する部分を、第1レイヤ復号スペクトルにおいて探索した後に、ゲイン符号化部265にてサブバンド毎に、入力スペクトルとのスペクトルパワの変動量を符号化する場合を例にとって説明した。しかし、本発明はこれに限定されず、ゲイン符号化部265において、探索部263で算出される最適ピッチ係数Tp’に対応する理想利得を符号化しても良い。この場合には、ゲイン符号化部265で符号化するゲインのサブバンド構成は、フィルタリング時のサブバンド構成と同一とした方が好ましい。この構成により、入力スペクトルの高域部により近似する推定スペクトルを生成することができ、復号信号に含まれうる雑音感を減少させることができる。
また、上記各実施の形態では、復号側において常に第2レイヤの復号信号を出力信号とする場合を例にとって説明したが、本発明はこれに限定されず、第1レイヤの復号信号と第2レイヤの復号信号とを切替えて出力信号としても良い。例えば、伝送路において一部の符号化情報が消失したり、符号化情報に伝送誤りが生じたりする場合には、第1レイヤの復号による復号信号しか得られない場合がある。このような場合には、第1レイヤの復号信号を出力信号として出力する。
また、上記各実施の形態では、符号化装置/復号装置としてそれぞれ2つの階層からなるスケーラブル符号化装置/復号装置を例にとって説明したが、本発明はこれに限定されず、符号化装置/復号装置はそれぞれ3階層以上からなるスケーラブル符号化装置/復号装置であっても良い。
また、上記各実施の形態では、各サブバンドに対応する最適ピッチ係数を探索するためにピッチ係数設定部264、274で設定するピッチ係数の範囲として各サブバンドに対してSEARCHという共通の範囲を利用する場合について説明した。しかし、本発明はこれに限定されず、サブバンド毎に探索範囲を別途SEARCHp(p=0,…,P−1)としても良い。例えば、高域部の中でも低域に近いサブバンドに対しては探索範囲をより広く設定し、高域部の中でもより高域のサブバンドに対しては探索範囲をより狭く設定することにより、周波数帯域に応じた柔軟なビット割当を実現することができる。
また、上記各実施の形態では、各サブバンドに対応する最適ピッチ係数を探索するためにピッチ係数設定部264、274、294、404、414で設定するピッチ係数の範囲が、各サブバンドに対してSEARCHという共通の範囲を利用し、前サブバンドの最適ピッチ係数に前サブバンド幅を加えた位置の周辺(±SEARCHの範囲)である構成について説明した。しかし、本発明はこれに限らず、前サブバンドの最適ピッチ係数に前サブバンド幅を加えた位置に対して、非対称的な範囲を最適ピッチ係数の探索範囲とする構成についても同様に適用できる。例えば、前サブバンドの最適ピッチ係数に前サブバンド幅を加えた位置からより低域側を広めにし、高域側は狭く探索範囲を設定する方法がある。この構成により、最適ピッチ係数の探索範囲が高域側に偏り過ぎる傾向を軽減でき、復号信号の品質が向上する可能性がある。
また、上記各実施の形態では、幾つかのサブバンドに対しては、隣接する前サブバンドに対する最適ピッチ係数に基づいて最適ピッチ係数を探索する範囲を設定する構成について説明した。上記方法は、最適ピッチ係数について周波数軸上の相関を利用した方法である。しかし、本発明はこれに限らず、最適ピッチ係数について時間軸上の相関を利用した場合についても同様に適用できる。具体的には、同一サブバンドにおいて、時間的に前に処理されたフレーム(例えば過去3フレームなど)に対して探索された最適ピッチ係数に基づいて、その周辺を最適ピッチ係数の探索範囲に設定する。この場合は、4次の線形予測によって求められる位置の周辺を探索する。また上記のように時間軸上の相関と、上記各実施の形態で説明した周波数軸上の相関を併用することも可能である。この場合、あるサブバンドに対して、過去のフレームで探索された最適ピッチ係数と隣接する前サブバンドに対して探索された最適ピッチ係数とに基づき、最適ピッチ係数の探索範囲が設定される。また、時間軸上の相関を利用して最適ピッチ係数の探索範囲を設定する場合には、伝送誤りが伝播するという問題点がある。この問題点に対しては、一定以上連続して時間軸上の相関に基づいて最適ピッチ係数の探索範囲を設定した後、時間軸上の相関に基づかずに最適ピッチ係数の探索範囲を設定するフレームを設けることで対処できる(例えば、4フレーム処理する毎に、時間軸上の相関を利用しないフレームを設定するなど)。
また、本発明に係る符号化装置、復号装置およびこれらの方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。
また、上記各実施の形態における復号装置は、上記各実施の形態における符号化装置から伝送された符号化情報を用いて処理を行うとしたが、本発明はこれに限定されず、必要なパラメータやデータを含む符号化情報であれば、必ずしも上記各実施の形態における符号化装置からの符号化情報でなくても処理は可能である。
また、信号処理プログラムを、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用および効果を得ることができる。
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル/プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
2008年3月14日出願の特願2008−66202、2008年5月30日出願の特願2008−143963及び2008年11月21日出願の特願2008−298091の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明に係る符号化装置および復号装置として、音声符号化装置および音声復号装置を例にとって説明する。
まず、図1を用いて本発明に係る符号化に含まれる探索処理の概要を説明する。図1(a)は入力信号のスペクトルを表し、図1(b)は入力信号の低域部の符号化データを復号して得られるスペクトル(第1レイヤ復号スペクトル)を表す。また、ここでは、電話帯域(0〜3.4kHz)の信号を広帯域(0〜7kHz)の信号に帯域拡張する場合を例に挙げて説明する。つまり、入力信号のサンプリング周波数は16kHzであり、また低域符号化部から出力される復号信号のサンプリング周波数は8kHzである。ここで、入力信号の高域部を符号化する際に、入力信号のスペクトルの高域部を複数のサブバンドに分割し(図1では1stから5thまでの5つのサブバンド構成とする)、サブバンド毎に、第1レイヤ復号スペクトルに対して高域部のスペクトルに最も近似する部分の探索を行う。
図1において、第1探索範囲および第2探索範囲は第1サブバンド(1st)および第2サブバンド(2nd)それぞれに類似する復号低域スペクトル(後述する第1レイヤ復号スペクトル)の一部(帯域)を探索する範囲を表す。ここで、第1探索範囲は例えばTmin(0kHz)からTmaxまでの範囲をとる。周波数Aは、探索により見つかった、第1サブバンドに類似する復号低域スペクトルの一部帯域1st’の開始位置を示し、周波数Bは、帯域1st’の終端部を示す。続いて、第2サブバンド(2nd)に対応する探索を行う際には、すでに探索が終わった第1サブバンド(1st)の探索結果を利用する。具体的には、第1サブバンド(1st)に最も近似する部分1st’の終端部付近の範囲、すなわち第2探索範囲において、第2サブバンド(2nd)に近似する復号低域スペクトルの一部帯域の探索を行う。第2サブバンドに対応する探索を行った結果、例えば第2サブバンドに類似する復号低域スペクトルの一部帯域2nd’の開始位置はCとなり、終端部はDとなる。第3サブバンド、第4サブバンド、及び第5サブバンドのそれぞれに対応する探索も同様に隣接する1つ前のサブバンドに対応する探索の結果を用いて行う。これにより、サブバンド間の相関を利用した効率良い近似部分探索を行うことができ、高域部のスペクトルの符号化性能を向上させることができる。なお、図1では、入力信号のサンプリング周波数が16kHzである場合を例にとって説明したが、本発明はこれに限定されず、入力信号のサンプリング周波数が8kHz、あるいは32kHz等である場合にも同様に適用できる。すなわち、本発明は入力信号のサンプリング周波数によって制限されない。
(実施の形態1)
図2は、本発明の実施の形態1に係る符号化装置および復号装置を有する通信システムの構成を示すブロック図である。図2において、通信システムは、符号化装置と復号装置
とを備え、それぞれ伝送路を介して通信可能な状態となっている。なお、符号化装置および復号装置はいずれも、通常、基地局装置あるいは通信端末装置等に搭載されて用いられる。
符号化装置101は、入力信号をNサンプルずつ区切り(Nは自然数)、Nサンプルを1フレームとしてフレーム毎に符号化を行う。ここで、符号化の対象となる入力信号をxn(n=0、…、N−1)と表すこととする。nは、Nサンプルずつ区切られた入力信号のうち、信号要素のn+1番目を示す。符号化された入力情報(符号化情報)は伝送路102を介して復号装置103に符号化情報を送信する。
復号装置103は、伝送路102を介して符号化装置101から送信された符号化情報を受信し、これを復号し出力信号を得る。
図3は、図2に示した符号化装置101の内部の主要な構成を示すブロック図である。入力信号のサンプリング周波数をSRinputとすると、ダウンサンプリング処理部201は、入力信号のサンプリング周波数をSRinputからSRbaseまでダウンサンプリングし(SRbase<SRinput)、ダウンサンプリングした入力信号をダウンサンプリング後入力信号として、第1レイヤ符号化部202に出力する。
第1レイヤ符号化部202は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対して、例えばCELP(Code Excited Linear Prediction)方式の音声符号化方法を用いて符号化を行って第1レイヤ符号化情報を生成し、生成した第1レイヤ符号化情報を第1レイヤ復号部203および符号化情報統合部207に出力する。
第1レイヤ復号部203は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報に対して、例えばCELP方式の音声復号方法を用いて復号を行って第1レイヤ復号信号を生成し、生成した第1レイヤ復号信号をアップサンプリング処理部204に出力する。
アップサンプリング処理部204は、第1レイヤ復号部203から入力される第1レイヤ復号信号のサンプリング周波数をSRbaseからSRinputまでアップサンプリングし、アップサンプリングした第1レイヤ復号信号をアップサンプリング後第1レイヤ復号信号として、直交変換処理部205に出力する。
直交変換処理部205は、バッファbuf1nおよびbuf2n(n=0、…、N−1)を内部に有し、入力信号xnおよびアップサンプリング処理部204から入力されるアップサンプリング後第1レイヤ復号信号ynを修正離散コサイン変換(MDCT:Modified Discrete Cosine Transform)する。
次に、直交変換処理部205における直交変換処理について、その計算手順と内部バッファへのデータ出力に関して説明する。
まず、直交変換処理部205は、下記の式(1)および式(2)によりバッファbuf1
nおよびbuf2
nそれぞれを、「0」を初期値として初期化する。
次いで、直交変換処理部205は、入力信号x
n、アップサンプリング後第1レイヤ復号信号y
nに対し下記の式(3)および式(4)に従ってMDCTし、入力信号のMDCT係数(以下、入力スペクトルと呼ぶ)S2(k)およびアップサンプリング後第1レイヤ復号信号y
nのMDCT係数(以下、第1レイヤ復号スペクトルと呼ぶ)S1(k)を求める。
ここで、kは1フレームにおける各サンプルのインデックスを示す。直交変換処理部205は、入力信号x
nとバッファbuf1
nとを結合させたベクトルであるx
n’を下記の式(5)により求める。また、直交変換処理部205は、アップサンプリング後第1レイヤ復号信号y
nとバッファbuf2
nとを結合させたベクトルであるy
n’を下記の式(6)により求める。
次に、直交変換処理部205は、式(7)および式(8)によりバッファbuf1
nおよびbuf2
nを更新する。
そして、直交変換処理部205は、入力スペクトルS2(k)および第1レイヤ復号スペクトルS1(k)を第2レイヤ符号化部206に出力する。
第2レイヤ符号化部206は、直交変換処理部205から入力される入力スペクトルS2(k)および第1レイヤ復号スペクトルS1(k)を用いて第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部206の詳細については後述する。
符号化情報統合部207は、第1レイヤ符号化部202から入力される第1レイヤ符号
化情報と、第2レイヤ符号化部206から入力される第2レイヤ符号化情報とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路102に出力する。
次に、図3に示した第2レイヤ符号化部206の内部の主要な構成について図4を用いて説明する。
第2レイヤ符号化部206は、帯域分割部260、フィルタ状態設定部261、フィルタリング部262、探索部263、ピッチ係数設定部264、ゲイン符号化部265および多重化部266を備え、各部は以下の動作を行う。
帯域分割部260は、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)をP個のサブバンドSBp(p=0,1,…,P−1)に分割する。そして、帯域分割部260は、分割した各サブバンドのバンド幅BWp(p=0,1,…,P−1)および先頭インデックスBSp(p=0,1,…,P−1)(FL≦BSp<FH)を帯域分割情報としてフィルタリング部262、探索部263および多重化部266に出力する。以下、入力スペクトルS2(k)のうち、サブバンドSBpに対応する部分をサブバンドスペクトルS2p(k)(BSp≦k<BSp+BWp)と記す。
フィルタ状態設定部261は、直交変換処理部205から入力される第1レイヤ復号スペクトルS1(k)(0≦k<FL)を、フィルタリング部262で用いるフィルタ状態として設定する。フィルタリング部262における全周波数帯域0≦k<FHのスペクトルS(k)の0≦k<FLの帯域に、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。
フィルタリング部262は、マルチタップのピッチフィルタを備え、フィルタ状態設定部261により設定されたフィルタ状態と、ピッチ係数設定部264から入力されるピッチ係数と、帯域分割部260から入力される帯域分割情報とに基づいて、第1レイヤ復号スペクトルをフィルタリングし、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)(以下、「サブバンドSBpの推定スペクトル」と称す)を算出する。フィルタリング部262は、サブバンドSBpの推定スペクトルS2p’(k)を探索部263に出力する。なお、フィルタリング部262におけるフィルタリング処理の詳細については後述する。なお、マルチタップのタップ数は1以上の任意の値(整数)をとることができるものとする。
探索部263は、帯域分割部260から入力される帯域分割情報に基づき、フィルタリング部262から入力されるサブバンドSBpの推定スペクトルS2p’(k)と、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)における各サブバンドスペクトルS2p(k)との類似度を算出する。この類似度の算出は、例えば相関演算等により行われる。また、フィルタリング部262、探索部263およびピッチ係数設定部264の処理は、サブバンド毎に閉ループの探索処理を構成し、各閉ループにおいて、探索部263は、ピッチ係数設定部264からフィルタリング部262に入力されるピッチ係数Tを種々に変化させることにより、各ピッチ係数に対応する類似度を算出する。探索部263は、サブバンド毎の閉ループにおいて、例えば、サブバンドSBpに対応する閉ループにおいて類似度が最大となる最適ピッチ係数Tp’(ただしTmin〜Tmaxの範囲)を求め、P個の最適ピッチ係数を多重化部266に出力する。探索部263は、各最適ピッチ係数Tp’を用いて、各サブバンドSBpに類似する、第1レイヤ復号スペクトルの一部帯域を算出する。また、探索部263は、各最適ピッチ係数Tp’(p=0,1,…,P−1)に対応する推定スペクトルS2p’(k)をゲイン符
号化部265に出力する。なお、探索部263における最適ピッチ係数Tp’(p=0,1,…,P−1)の探索処理の詳細については後述する。
ピッチ係数設定部264は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB
0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲Tmin〜Tmaxの中で少しずつ変化させながら、フィルタリング部262に順次出力する。また、ピッチ係数設定部264は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第2サブバンド以降のサブバンドSB
p(p=1,2,…,P−1)に対応する閉ループの探索処理を行う場合には、サブバンドSB
p−1に対応する閉ループの探索処理において求められた最適ピッチ係数T
p−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部264は、下記の式(9)に示すピッチ係数Tをフィルタリング部262に出力する。式(9)において、SEARCHはサブバンドSB
pに対応するピッチ係数Tの探索範囲(探索エントリ数)を示す。
式(9)に示すように、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対応するピッチ係数Tの探索範囲は、サブバンドSBp−1の最適ピッチ係数Tp−1’からサブバンドSBp−1のバンド幅BWp−1分だけ高域側に存在するインデックス(Tp−1’+BWp−1)の周辺(±SEARCH/2部分)となる。これは、サブバンドSBp−1に隣接するサブバンドSBpに類似する部分は、サブバンドSBp−1に類似する第1レイヤ復号スペクトルの一部帯域に隣接する傾向があるという理由に基づくものである。サブバンドSBp−1とサブバンドSBpとの間に存在するこのような相関を利用して探索を行うことにより、各サブバンドに対して固定的にTmin〜Tmaxの探索範囲で探索を行う方法等と比べ、探索の効率を向上させることができる。
なお、上記のように、隣接するサブバンド間の相関を利用した探索方法を適応類似探索方法(ASS:Adaptive Similarity Search Method)と呼ぶことにする。この名称は、便宜上付与するものであり、この名称により本発明における上記探索方法が限定されるものではない。
また、通常、スペクトルの調波構造は高域になるに従って徐々に弱くなる傾向にある。すなわち、サブバンドSBpはサブバンドSBp−1に比べて調波構造が弱い傾向にある。従って、サブバンドSBpに対しては、サブバンドSBp−1に類似する第1レイヤ復号スペクトルの部分よりも調波構造が弱まる高域側でサブバンドSBpに類似する部分の探索を行う方が探索の効率を向上させることができる。この観点からも本方式の探索の効率性を説明することができる。
また、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合(式(10)に示す条件に該当する場合)、下記の式(10)に示すようにしてピッチ係数Tの範囲を修正する。式(10)において、SEARCH_MAXはピッチ係数Tの設定値の上限値を示す。
また、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を越えてしまう場合(式(11)に示す条件に該当する場合)、下記の式(11)に示すようにしてピッチ係数Tの範囲を修正する。式(11)において、SEARCH_MINはピッチ係数Tの設定値の下限値を示す。
上式(10)および式(11)のような処理をすることで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
ゲイン符号化部265は、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)についてのゲイン情報を算出する。具体的には、ゲイン符号化部265は、周波数帯域FL≦k<FHをJ個のサブバンドに分割し、入力スペクトルS2(k)のサブバンド毎のスペクトルパワを求める。この場合、第j+1サブバンドのスペクトルパワB
jは下記の式(12)で表される。
式(12)において、BL
jは第j+1サブバンドの最小周波数、BH
jは第j+1サブバンドの最大周波数を表す。また、ゲイン符号化部265は、探索部263から入力される各サブバンドの推定スペクトルS2
p’(k)(p=0,1,…,P−1)を周波数領域で連続させて入力スペクトルの高域部の推定スペクトルS2’(k)を構成する。そして、ゲイン符号化部265は、入力スペクトルS2(k)に対してスペクトルパワを算出した場合と同様に、推定スペクトルS2’(k)のサブバンド毎のスペクトルパワB’
jを下記の式(13)に従い算出する。次いで、ゲイン符号化部265は、入力スペクトルS2(k)に対する推定スペクトルのS2’(k)のサブバンド毎のスペクトルパワの変動量V
jを式(14)に従い算出する。
そして、ゲイン符号化部265は、変動量Vjを符号化し、符号化後の変動量VQjに対応するインデックスを多重化部266に出力する。
多重化部266は、帯域分割部260から入力される帯域分割情報と、探索部263から入力される各サブバンドSBp(p=0,1,…,P−1)に対する最適ピッチ係数Tp’と、ゲイン符号化部265から入力される変動量VQjのインデックスと、を第2レイヤ符号化情報として多重化し、符号化情報統合部207に出力する。なお、Tp’と、VQjのインデックスとを直接、符号化情報統合部207に入力して、符号化情報統合部207にて第1レイヤ符号化情報と多重化しても良い。
次いで、図4に示したフィルタリング部262におけるフィルタリング処理の詳細について、図5を用いて説明する。
フィルタリング部262は、フィルタ状態設定部261から入力されるフィルタ状態と、ピッチ係数設定部264から入力されるピッチ係数Tと、帯域分割部260から入力される帯域分割情報とを用いて、サブバンドSBp(p=0,1,…,P−1)に対して、帯域BSp≦k<BSp+BWp(p=0,1,…,P−1)における推定スペクトルを生成する。フィルタリング部262において用いるフィルタの伝達関数F(z)は下記の式(15)で表される。
以下、サブバンドSB
pを例にとり、サブバンドスペクトルS2
p(k)の推定スペクトルS2
p’(k)を生成する処理を説明する。
式(15)において、Tはピッチ係数設定部264から与えられるピッチ係数、βiは予め内部に記憶されているフィルタ係数を表している。例えば、タップ数が3の場合、フィルタ係数の候補は(β−1、β0、β1)=(0.1、0.8、0.1)が例として挙げられる。この他に(β−1、β0、β1)=(0.2、0.6、0.2)、(0.3、0.4、0.3)などの値も適当である。また、(β−1、β0、β1)=(0.0、1.0、0.0)の値でも良く、この場合には帯域0≦k<FLの第1レイヤ復号スペクトルの一部帯域をその形状を変化させずにそのままBSp≦k<BSp+BWpの帯域にコピーすることを意味する。また、式(15)においてM=1とする。Mはタップ数に関する指標である。
フィルタリング部262における全周波数帯域のスペクトルS(k)の0≦k<FLの帯域には、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。
S(k)のBS
p≦k<BS
p+BW
pの帯域には、以下の手順のフィルタリング処理によりサブバンドSB
pの推定スペクトルS2
p’(k)が格納される。すなわち、S2
p’(k)には、基本的に、このkよりTだけ低い周波数のスペクトルS(k−T)が代入される。ただし、スペクトルの円滑性を増すために、実際には、スペクトルS(k−T)からiだけ離れた近傍のスペクトルS(k−T+i)に所定のフィルタ係数β
iを乗じたスペクトルβ
i・S(k−T+i)を、全てのiについて加算したスペクトルをS2
p’(k)に代入する。この処理は下記の式(16)で表される。
上記演算を、周波数の低いk=BSpから順に、kをBSp≦k<BSp+BWpの範囲で変化させて行うことにより、BSp≦k<BSp+BWpにおける推定スペクトルS2p’(k)を算出する。
以上のフィルタリング処理は、ピッチ係数設定部264からピッチ係数Tが与えられる度に、BSp≦k<BSp+BWpの範囲において、その都度S(k)をゼロクリアして行
われる。すなわち、ピッチ係数Tが変化するたびにS(k)は算出され、探索部263に出力される。
図6は、図4に示した探索部263においてサブバンドSBpに対して最適ピッチ係数Tp’を探索する処理の手順を示すフロー図である。なお、探索部263は、図6に示した手順を繰り返すことにより、各サブバンドSBp(p=0,1,…,P−1)に対応する最適ピッチ係数Tp’(p=0,1,…,P−1)を探索する。
まず、探索部263は、類似度の最小値を保存するための変数である最小類似度D
minを「+∞」に初期化する(ST2010)。次いで、探索部263は、下記の式(17)に従い、あるピッチ係数における入力スペクトルS2(k)の高域部(FL≦k<FH)と、推定スペクトルS2
p’(k)との類似度Dを算出する(ST2020)。
式(17)において、M’は、類似度Dを算出する際のサンプル数を示し、各サブバンドのバンド幅以下の任意の値で良い。なお、式(17)中にはS2p’(k)が存在しないが、これはBSpとS2’(k)を用いてS2p’(k)を表しているためである。
次いで、探索部263は算出した類似度Dが最小類似度Dminより小さいか否かを判定する(ST2030)。ST2020において算出された類似度が最小類似度Dminより小さい場合(ST2030:「YES」)には、探索部263は、類似度Dを最小類似度Dminに代入する(ST2040)。一方、ST2020において算出された類似度が最小類似度Dmin以上である場合(ST2030:「NO」)には、探索部263は、探索範囲にわたる処理が終了した否かを判定する。すなわち、探索部263は、探索範囲内のすべてのピッチ係数それぞれに対し、ST2020において上記の式(17)に従って類似度を算出したか否かを判定する(ST2050)。探索範囲にわたって処理が終了していなかった場合(ST2050:「NO」)には、探索部263は処理を再びST2020に戻す。そして、探索部263は、前回のST2020の手順において式(17)に従って類似度を算出した場合とは異なるピッチ係数に対して、式(17)に従い類似度を算出する。一方、探索範囲にわたる処理が終了した場合(ST2050:「YES」)には、探索部263には、最小類似度Dminに対応するピッチ係数Tを最適ピッチ係数Tp’として多重化部266に出力する(ST2060)。
次いで、図2に示した復号装置103について説明する。
図7は、復号装置103の内部の主要な構成を示すブロック図である。
図7において、符号化情報分離部131は、入力された符号化情報の中から第1レイヤ符号化情報と第2レイヤ符号化情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部132に出力し、第2レイヤ符号化情報を第2レイヤ復号部135に出力する。
第1レイヤ復号部132は、符号化情報分離部131から入力される第1レイヤ符号化情報に対して復号を行い、生成された第1レイヤ復号信号をアップサンプリング処理部133に出力する。ここで、第1レイヤ復号部132の動作は、図3に示した第1レイヤ復
号部203と同様であるため、詳細な説明は省略する。
アップサンプリング処理部133は、第1レイヤ復号部132から入力される第1レイヤ復号信号に対してサンプリング周波数をSRbaseからSRinputまでアップサンプリングする処理を行い、得られるアップサンプリング後第1レイヤ復号信号を直交変換処理部134に出力する。
直交変換処理部134は、アップサンプリング処理部133から入力されるアップサンプリング後第1レイヤ復号信号に対して直交変換処理(MDCT)を施し、得られるアップサンプリング後第1レイヤ復号信号のMDCT係数(以下、第1レイヤ復号スペクトルと呼ぶ)S1(k)を第2レイヤ復号部135に出力する。ここで、直交変換処理部134の動作は、図3に示した直交変換処理部205のアップサンプリング後第1レイヤ復号信号に対する処理と同様であるため、詳細な説明は省略する。
第2レイヤ復号部135は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)、符号化情報分離部131から入力される第2レイヤ符号化情報を用いて、高域成分を含む第2レイヤ復号信号を生成し出力信号として出力する。
図8は、図7に示した第2レイヤ復号部135の内部の主要な構成を示すブロック図である。
分離部351は、符号化情報分離部131から入力される第2レイヤ符号化情報を、各サブバンドのバンド幅BWp(p=0,1,…,P−1)、先頭インデックスBSp(p=0,1,…,P−1)(FL≦BSp<FH)を含む帯域分割情報と、フィルタリングに関する情報である最適ピッチ係数Tp’(p=0,1,…,P−1)と、ゲインに関する情報である符号化後変動量VQj(j=0,1,…,J−1)のインデックスと、に分離する。また、分離部351は、帯域分割情報および最適ピッチ係数Tp’(p=0,1,…,P−1)をフィルタリング部353に出力し、符号化後変動量VQj(j=0,1,…,J−1)のインデックスをゲイン復号部354に出力する。なお、符号化情報分離部131において、帯域分割情報と、Tp’(p=0,1,…,P−1)と、VQj(j=0,1,…,J−1)のインデックスとを分離済みの場合は、分離部351を配置しなくても良い。
フィルタ状態設定部352は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)(0≦k<FL)を、フィルタリング部353で用いるフィルタ状態として設定する。ここで、フィルタリング部353における全周波数帯域0≦k<FHのスペクトルを便宜的にS(k)と呼ぶ場合、S(k)の0≦k<FLの帯域に、第1レイヤ復号スペクトルS1(k)がフィルタの内部状態(フィルタ状態)として格納される。ここで、フィルタ状態設定部352の構成および動作は、図4に示したフィルタ状態設定部261と同様であるため、詳細な説明は省略する。
フィルタリング部353は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部353は、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、上記の式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。フィルタリング部353でも、上記の式(15)に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置
き換えたものとする。
ここで、フィルタリング部353は、第1サブバンドに対してはピッチ係数T
1’をそのまま用いてフィルタリング処理を行う。また、フィルタリング部353は、第2サブバンド以降のサブバンドSB
p(p=1,2,…,P−1)に対しては、サブバンドSB
p−1のピッチ係数T
p−1’を考慮してサブバンドSB
pのピッチ係数T
p”を新たに設定し、このピッチ係数T
p”を用いてフィルタリングを行う。具体的には、第2サブバンド以降のサブバンドSB
p(p=1,2,…,P−1)に対するフィルタリングを行う際には、フィルタリング部353は、分離部351から得られたピッチ係数に対して、サブバンドSB
p−1のピッチ係数T
p−1’とサブバンド幅BW
p−1とを用いて、下記の式(18)に従い、フィルタリングに用いるピッチ係数T
p”を算出する。この場合のフィルタリング処理は、式(16)において、TをT
p”に置き換えた式に従うものとする。
式(18)においては、サブバンドSBp(p=1,2,…,P−1)に対しては、サブバンドSBp−1のピッチ係数Tp−1’にサブバンドSBp−1のバンド幅BWp−1を加算し、探索範囲SEARCHの半分の値を減算したインデックスにTp’を加算し、ピッチ係数Tp”とする。
ゲイン復号部354は、分離部351から入力される、符号化後変動量VQjのインデックスを復号し、変動量Vjの量子化値である変動量VQjを求める。
スペクトル調整部355は、フィルタリング部353から入力される各サブバンドSB
p(p=0,1,…,P−1)の推定値S2
p’(k)(BS
p≦k<BS
p+BW
p)(p=0,1,…,P−1)を周波数領域で連続させて入力スペクトルの推定スペクトルS2’(k)を求める。また、スペクトル調整部355は、下記の式(19)に従い、推定スペクトルS2’(k)にゲイン復号部354から入力されるサブバンド毎の変動量VQ
jを乗じる。これにより、スペクトル調整部355は、推定スペクトルS2’(k)の周波数帯域FL≦k<FHにおけるスペクトル形状を調整し、復号スペクトルS3(k)を生成して直交変換処理部356に出力する。
ここで、復号スペクトルS3(k)の低域部(0≦k<FL)は第1レイヤ復号スペクトルS1(k)からなり、復号スペクトルS3(k)の高域部(FL≦k<FH)はスペクトル形状調整後の推定スペクトルS2’(k)からなる。
直交変換処理部356は、スペクトル調整部355から入力される復号スペクトルS3(k)を時間領域の信号に直交変換し、得られる第2レイヤ復号信号を出力信号として出力する。ここでは、必要に応じて適切な窓掛けおよび重ね合わせ加算等の処理を行い、フレーム間に生じる不連続を回避する。
以下、直交変換処理部356における具体的な処理について説明する。
直交変換処理部356は、バッファbuf’(k)を内部に有しており、下記の式(20)に示すようにバッファbuf’(k)を初期化する。
また、直交変換処理部356は、スペクトル調整部355から入力される第2レイヤ復号スペクトルS3(k)を用いて下記の式(21)に従い、第2レイヤ復号信号y
n”を求めて出力する。
式(21)において、Z4(k)は、下記の式(22)に示すように、復号スペクトルS3(k)とバッファbuf’(k)とを結合させたベクトルである。
次に、直交変換処理部356は、下記の式(23)に従いバッファbuf’(k)を更新する。
次に、直交変換処理部356は、復号信号yn”を出力信号として出力する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、隣接サブバンドの符号化結果を利用してサブバンド毎の符号化を行う。すなわち、高域のサブバンド間の相関を利用して効率的な探索を行う(適応類似探索方法(ASS:Adaptive Similarity Search Method))ため、より効率的に高域スペクトルを符号化/復号することができ、復号信号に含まれる不自然な異音を抑制し、復号信号の品質を向上させることができる。また、本発明は、上記効率的な高域スペクトルの探索を行うことにより、サブバンド間の相関を利用せずに高域スペクトルを符号化/復号する方法と比べ、同程度の復号信号の品質を達成するために必要な類似部分探索の演算量を削減することができる。
なお、本実施の形態では、ゲイン符号化部265において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数Jが、探索部263において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数Pと異なる場合を例にとって説明した。しかし、本発明はこれに限定されず、ゲイン符号化部265において入力スペクトルS2(k)の高域部を分割して得られるサブバンドの数をP個にしても良い。また、この場合に、特許文献2に明示されているように、ゲイン符号化部265は、式(14)に示すようなサブバンド毎のスペクトルパワ比の平方根の代わりに、探索部263において最適ピッチ係数T
p’(p=0,1,…,P−1)が探索された時の理想利得を用いても良い。なお、最適ピッチ係数T
p’(p=0,1,…,P−1)が探索された時の理想利得は、下記の式(24)により求まる。ただし、式(24)におけるM’は式(17)で最適ピッチ係数T
p’を算出した時のM’と同じ値を用いる。
また、本実施の形態では、ピッチ係数設定部264において式(9)のようにピッチ係数Tの探索範囲を設定する場合を例にとって説明したが、本発明はこれに限定されず、下記の式(25)のようにピッチ係数Tの探索範囲を設定しても良い。
式(25)において、ピッチ係数Tは、サブバンドSB
p−1に対応する最適ピッチ係数T
p−1’の近傍の値に設定される。これはサブバンドSB
p−1に最も類似する第1レイヤ復号スペクトルの一部帯域はサブバンドSB
pにも類似する可能性が高いという理由に基づくものである。特にサブバンドSB
p−1とサブバンドSB
pの相関が非常に高い場合には、上記のようなピッチ係数の設定方法により、より効率的に探索を行うことができる。なお、ピッチ係数設定部264において、式(25)のようにピッチ係数Tの探索範囲を設定した場合には、フィルタリング部353において、式(18)の代わりに式(26)のようにしてフィルタリングに用いるピッチ係数T
p”を算出する。
また、上記各実施の形態では、第2サブバンド以降の全てのサブバンドSBp(p=1,2,…,P−1)に対し、隣接サブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する場合を例にとって説明した。しかし、本発明はこれに限定されず、一部のサブバンドに対しては第1サブバンドと同様にピッチ係数の探索範囲をTmin〜Tmaxの範囲に固定しても良い。例えば、連続して所定定数以上のサブバンドに対し、隣接するサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定した場合には、次のサブバンドに対しては、第1サブバンドと同様にピッチ係数の探索範囲をTmin〜Tmaxの範囲に固定する。これにより、第1サブバンドSB0に対応する探索結果が、第2サブバンドSB1から第PサブバンドSBP−1までのすべての探索に影響を及ぼすことを回避することができる。すなわち、あるサブバンドに対して、類似部分を探索する対象が高域に偏り過ぎるということを避けることができる。これにより、本来類似部分が第1レイヤ復号スペクトルの低域部分に存在するサブバンドに対して、類似部分の探索が第1レイヤ復号スペクトルの高域部分に限定されることにより発生し得る異音や音質劣化を抑制することができる。
(実施の形態2)
本発明の実施の形態2は、第1レイヤ符号化部に、実施の形態1で示したCELP方式の符号化方法を用いず、MDCTなどの変換符号化を用いる場合について説明する。
実施の形態2に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「111」および「113」を付し、説明を行う。
図9は、本実施の形態に係る符号化装置111の内部の主要な構成を示すブロック図である。なお、本実施の形態に係る符号化装置111は、ダウンサンプリング処理部201、第1レイヤ符号化部212、直交変換処理部215、第2レイヤ符号化部216および符号化情報統合部207とから主に構成される。ここで、ダウンサンプリング処理部201および符号化情報統合部207は、実施の形態1の場合と同一の処理を行うため、説明を省略する。
第1レイヤ符号化部212は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対し、変換符号化方式の符号化を行う。具体的には、第1レイヤ符号化部212は、入力されるダウンサンプリング後入力信号に対し、MDCTなどの手法を用いて時間領域の信号から周波数領域の成分に変換し、得られる周波数成分に対して量子化を行う。第1レイヤ符号化部212は、量子化した周波数成分を直接、第1レイヤ復号スペクトルとして第2レイヤ符号化部216に出力する。第1レイヤ符号化部212におけるMDCT処理は、実施の形態1で示したMDCT処理と同様であるため、詳細な説明を省略する。
直交変換処理部215は、入力信号に対してMDCTなどの直交変換を行い、得られる周波数成分を高域スペクトルとして第2レイヤ符号化部216に出力する。直交変換処理部215におけるMDCT処理は、実施の形態1で示したMDCT処理と同様であるため、詳細な説明を省略する。
第2レイヤ符号化部216は、第1レイヤ符号化部212から第1レイヤ復号スペクトルが入力される点のみが図3に示した第2レイヤ符号化部206と異なり、その他の処理については第2レイヤ符号化部206の処理と同様であるため、詳細な説明を省略する。
図10は、本実施の形態に係る復号装置113の内部の主要な構成を示すブロック図である。なお、本実施の形態に係る復号装置113は、符号化情報分離部131、第1レイヤ復号部142および第2レイヤ復号部145とから主に構成される。また、符号化情報分離部131は、実施の形態1の場合と同一の処理を行うため、詳細な説明を省略する。
第1レイヤ復号部142は、符号化情報分離部131から入力される第1レイヤ符号化情報を復号し、得られる第1レイヤ復号スペクトルを第2レイヤ復号部145に出力する。第1レイヤ復号部142における復号処理としては、図9に示した第1レイヤ符号化部212における符号化方法に対応する一般的な逆量子化方法を採るものとし、その詳細な説明を省略する。
第2レイヤ復号部145は、第1レイヤ復号部142から第1レイヤ復号スペクトルが入力される点のみが図7に示した第2レイヤ復号部135と異なり、その他の処理については第2レイヤ復号部135の処理と同様であるため、詳細な説明を省略する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、隣接サブバンドの符号化結果を利用してサブバンド毎の符号化を行う。すなわち、高域のサブバンド間の相関を利用して効率的な探索を行うため、より効率的に高域スペクトルを符号化/復号することができ、復号信号に含まれる不自然な異音を抑制し、復号信号の品質を向上させることができる。
また、本実施の形態によれば、第1レイヤの符号化に、CELP方式の符号化/復号方法ではなく、例えば変換符号化/復号方法を採用した場合にも本発明を適用することがで
きる。この場合、第1レイヤ符号化の後に、別途第1レイヤ復号信号に対して直交変換を施し第1レイヤ復号スペクトルを算出する必要がなく、その分の演算量を抑えることができる。
なお、本実施の形態では、ダウンサンプリング処理部201により入力信号をダウンサンプリングしてから第1レイヤ符号化部212に入力する場合を例にとって説明したが、本発明はこれに限定されず、ダウンサンプリング処理部201を省略し、直交変換処理部215の出力である入力スペクトルを第1レイヤ符号化部212に入力しても良い。この場合には、第1レイヤ符号化部212においては直交変換処理を省略することが可能となり、その分の演算量を削減することができる。
(実施の形態3)
本発明の実施の形態3は、高域部のサブバンド間の相関の度合いを分析し、分析結果に基づき、隣接するサブバンドの最適ピッチ周期を利用した探索を行うか否かを切り替える構成について説明する。
本発明の実施の形態3に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「121」および「123」を付し、説明を行う。
図11は、本実施の形態に係る符号化装置121の内部の主要な構成を示すブロック図である。本実施の形態に係る符号化装置121は、ダウンサンプリング処理部201、第1レイヤ符号化部202、第1レイヤ復号部203、アップサンプリング処理部204、直交変換処理部205、相関判定部221、第2レイヤ符号化部226および符号化情報統合部227とから主に構成される。ここで、相関判定部221、第2レイヤ符号化部226および符号化情報統合部227以外の構成要素については、実施の形態1の場合と同様であるため、説明を省略する。
相関判定部221は、第2レイヤ符号化部226から入力される帯域分割情報に基づき、直交変換処理部205から入力される入力スペクトルの高域部(FL≦k<FH)の各サブバンド間の相関を算出し、算出した相関値に基づき判定情報の値を「0」または「1」のいずれかに設定する。具体的には、相関判定部221は、P個のサブバンドそれぞれに対してスペクトルフラットネスメジャー(SFM:Spectral Flatness Measure)を算出し、隣接するサブバンドのSFM値の差(SFMp−SFMp+1)(p=0,1,…,P−2)それぞれを算出する。相関判定部221は、(SFMp−SFMp+1)(p=0,1,…,P−2)それぞれの絶対値を予め定めた閾値THSFMと比較し、絶対値が閾値THSFMよりも低い(SFMp−SFMp+1)の数が所定数以上である場合には、入力スペクトルの高域部全体において、隣接サブバンド間の相関が高いと判定し、判定情報の値を「1」とする。それ以外の場合には、相関判定部221は、判定情報の値を「0」とする。相関判定部221は、設定した判定情報を第2レイヤ符号化部226および符号化情報統合部227に出力する。
第2レイヤ符号化部226は、直交変換処理部205から入力される入力スペクトルS2(k)、第1レイヤ復号スペクトルS1(k)および相関判定部221から入力される判定情報を用いて第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部227に出力する。また、第2レイヤ符号化部226は、内部で算出した帯域分割情報を相関判定部221に出力する。第2レイヤ符号化部226における帯域分割情報の詳細は後述する。
図12は、図11に示した第2レイヤ符号化部226の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部226において、ピッチ係数設定部274、帯域分割部275以外の構成要素は、実施の形態1の場合と同様であるため、説明を省略する。
ピッチ係数設定部274は、相関判定部221から入力される判定情報が「0」である場合には、探索部263の制御の下、ピッチ係数Tを、予め定められた探索範囲Tmin〜Tmaxの中で少しずつ変化させながら、フィルタリング部262に順次出力する。すなわち、相関判定部221から入力される判定情報が「0」である場合には、ピッチ係数設定部274は、隣接するサブバンドに対応する探索結果を考慮せずにピッチ係数Tを設定する。
また、ピッチ係数設定部274は、相関判定部221から入力される判定情報が「1」である場合には、実施の形態1に係るピッチ係数設定部264と同様な処理を行う。すなわち、ピッチ係数設定部274は、探索部263の制御の下、フィルタリング部262および探索部263と、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲Tmin〜Tmaxの中で少しずつ変化させながら、フィルタリング部262に順次出力する。一方、ピッチ係数設定部274は、探索部263の制御の下、フィルタリング部262および探索部263と、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対応する閉ループの探索処理を行う場合には、サブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’を用い、上記式(9)に従って、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。
要するに、ピッチ係数設定部274は、入力される判定情報の値に応じて、隣接するサブバンドに対応する探索結果を利用してピッチ係数を設定するか否かを適応的に切り替える。したがって、フレーム内のサブバンド間の相関が所定レベル以上である場合のみ、隣接するサブバンドに対応する探索結果を利用することができ、サブバンド間の相関が所定レベルより低い場合には、隣接するサブバンドの探索結果の利用による符号化精度の低下を抑制することができる。
帯域分割部275は、直交変換処理部205から入力される入力スペクトルS2(k)の高域部(FL≦k<FH)をP個のサブバンドSBp(p=0,1,…,P−1)に分割する。そして、帯域分割部275は、各サブバンドのバンド幅BWp(p=0,1,…,P−1)および先頭インデックスBSp(p=0,1,…,P−1)(FL≦BSp<FH)を帯域分割情報としてフィルタリング部262、探索部263、多重化部266、及び相関判定部221に出力する。
符号化情報統合部227は、第1レイヤ符号化部202から入力される第1レイヤ符号化情報と、相関判定部221から入力される判定情報と、第2レイヤ符号化部226から入力される第2レイヤ符号化情報とを統合し、統合された情報源符号に対し、必要であれば伝送誤り符号などを付加した上でこれを符号化情報として伝送路102に出力する。
図13は、本実施の形態に係る復号装置123の内部の主要な構成を示すブロック図である。本実施の形態に係る復号装置123は、符号化情報分離部151、第1レイヤ復号部132、アップサンプリング処理部133、直交変換処理部134、第2レイヤ復号部155とから主に構成される。ここで、符号化情報分離部151および第2レイヤ復号部155以外の構成要素については、実施の形態1の場合と同様であるため、説明を省略す
る。
図13において、符号化情報分離部151は、入力された符号化情報の中から第1レイヤ符号化情報と第2レイヤ符号化情報と判定情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部132に出力し、第2レイヤ符号化情報および判定情報を第2レイヤ復号部155に出力する。
第2レイヤ復号部155は、直交変換処理部134から入力される第1レイヤ復号スペクトルS1(k)、符号化情報分離部131から入力される第2レイヤ符号化情報および判定情報を用いて、高域成分を含む第2レイヤ復号信号を生成し、出力信号として出力する。
図14は、図13に示した第2レイヤ復号部155の内部の主要な構成を示すブロック図である。
図14において、フィルタリング部363以外の構成要素は、実施の形態1の場合と同様であるため、説明を省略する。
フィルタリング部363は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部363は、符号化情報分離部151から入力される判定情報に応じて、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。
ここで、判定情報に応じたフィルタリング部363の処理を具体的に説明する。フィルタリング部363は、入力された判定情報が「0」である場合には、サブバンドSB0からサブバンドSBP−1までの全P個の各サブバンドに対して、隣接するサブバンドのピッチ係数を考慮せずに分離部351から入力されるピッチ係数Tp’を用いてフィルタリングを行う。この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
また、フィルタリング部363は、入力された判定情報が「1」である場合には、図8に示したフィルタリング部353と同様な処理を行う。すなわち、フィルタリング部363は、第1サブバンドに対してはピッチ係数T1’をそのまま用いてフィルタリング処理を行う。また、フィルタリング部363は、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対しては、サブバンドSBp−1のピッチ係数Tp−1’を考慮してサブバンドSBpのピッチ係数Tp”を新たに設定し、このピッチ係数Tp”を用いてフィルタリングを行う。具体的には、第2サブバンド以降のサブバンドSBp(p=1,2,…,P−1)に対するフィルタリングを行う際には、フィルタリング部363は、分離部351から得られたピッチ係数に対して、サブバンドSBp−1のピッチ係数Tp−1’とサブバンド幅BWp−1とを用いて、上記の式(18)に従い、フィルタリングに用いるピッチ係数Tp”を算出する。この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp”に置き換えたものとする。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、フレーム毎にサブバンド間の相関の度合いを分析した結果に基づき、隣接サブバンドの符号化結果を利用してサブバンド毎の符号化を行うか否かを適応的に切り替える。すなわち
、フレーム内のサブバンド間の相関が所定レベル以上である場合のみ、サブバンド間の相関を利用して効率的な探索を行い、より効率的に高域スペクトルを符号化/復号することができ、復号信号に含まれる不自然な異音を抑制することができる。また、フレーム内のサブバンド間の相関が所定レベルより低い場合には、隣接するサブバンドの探索結果を利用せず、相関が低い隣接サブバンドの探索結果の利用による符号化精度の低下を抑制することができ、復号信号の品質を向上させることができる。
なお、本実施の形態では、サブバンド毎にSFM値を分析し、1フレームに含まれるすべてのサブバンドのSFM値を総合的に考慮し、フレーム毎に相関判定を行って判定情報の値を設定する場合を例にとって説明したが、本発明はこれに限定されず、サブバンド毎に個別に相関判定を行って判定情報の値を設定しても良い。また、SFM値の代わりに、各サブバンドのエネルギを算出し、サブバンド間のエネルギの差または比などに応じて相関判定を行って判定情報の値を設定しても良い。また、各サブバンド間の周波数成分(MDCT係数など)に対して相関演算などにより相関を算出し、その相関値を予め定めた閾値と比較することによって、判定情報の値を設定しても良い。
また、本実施の形態では、判定情報の値が「1」である場合に、ピッチ係数設定部274は、上記の式(9)のようにピッチ係数Tの探索範囲を設定する場合を例にとって説明したが、本発明はこれに限定されず、上記の式(25)のようにピッチ係数Tの探索範囲を設定しても良い。
(実施の形態4)
本発明の実施の形態4は、入力信号のサンプリング周波数が32kHzであり、第1レイヤ符号化部の符号化方式として、ITU−Tで規格化されているG.729.1方式を適用する場合の構成について説明する。
本発明の実施の形態4に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「161」および「163」を付し、説明を行う。
図15は、本実施の形態に係る符号化装置161の内部の主要な構成を示すブロック図である。本実施の形態に係る符号化装置161は、ダウンサンプリング処理部201、第1レイヤ符号化部233、直交変換処理部215、第2レイヤ符号化部236および符号化情報統合部207とから主に構成される。ここで、第1レイヤ符号化部233および第2レイヤ符号化部236以外の構成要素については、実施の形態1の場合と同様であるため、説明を省略する。
第1レイヤ符号化部233は、ダウンサンプリング処理部201から入力されるダウンサンプリング後入力信号に対して、G.729.1方式の音声符号化方法を用いて符号化を行って第1レイヤ符号化情報を生成する。そして、第1レイヤ符号化部233は、生成した第1レイヤ符号化情報を符号化情報統合部207に出力する。また、第1レイヤ符号化部233は、第1レイヤ符号化情報を生成する過程で得られる情報を第1レイヤ復号スペクトルとして第2レイヤ符号化部236に出力する。なお、第1レイヤ符号化部233の詳細については後述する。
第2レイヤ符号化部236は、直交変換処理部215から入力される入力スペクトルおよび第1レイヤ符号化部233から入力される第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に
出力する。なお、第2レイヤ符号化部236の詳細については後述する。
図16は、図15に示した第1レイヤ符号化部233の内部の主要な構成を示すブロック図である。ここでは、第1レイヤ符号化部233においてG.729.1符号化方式を適用する場合を例に挙げて説明する。
図16に示す第1レイヤ符号化部233は、帯域分割処理部281、ハイパスフィルタ282、CELP(Code Excited Linear Prediction)符号化部283、FEC(Forward Error Correction:前方誤り訂正)符号化部284、加算部285、ローパスフィルタ286、TDAC(Time-Domain Aliasing Cancellation:時間領域エイリアス除去)符号化部287、TDBWE(Time-Domain BandWidth Extension:時間領域帯域拡張)符号化部288および多重化部289を備え、各部は以下の動作を行う。
帯域分割処理部281は、ダウンサンプリング処理部201から入力される、サンプリング周波数が16kHzであるダウンサンプリング後入力信号に対して、QMF(Quadrature Mirror Filter)等による帯域分割処理を行い、0〜4kHz帯域の第1低域信号および4〜8kHz帯域の第2低域信号を生成する。帯域分割処理部281は、生成した第1低域信号をハイパスフィルタ282に出力し、第2低域信号をローパスフィルタ286に出力する。
ハイパスフィルタ282は、帯域分割処理部281から入力される第1低域信号に対して0.05kHz以下の周波数成分を抑え、主に0.05kHzより高い周波数成分からなる信号を得てフィルタ後第1低域信号としてCELP符号化部283および加算部285に出力する。
CELP符号化部283は、ハイパスフィルタ282から入力されるフィルタ後第1低域信号に対してCELP方式の符号化を行い、得られるCELPパラメータをFEC符号化部284、TDAC符号化部287および多重化部289に出力する。ここで、CELP符号化部283は、FEC符号化部284およびTDAC符号化部287にCELPパラメータの一部、または、CELPパラメータを生成する過程で得られる情報を出力してもよい。また、CELP符号化部283は、生成したCELPパラメータを用いてCELP方式の復号を行い、得られるCELP復号信号を加算部285に出力する。
FEC符号化部284は、CELP符号化部283から入力されるCELPパラメータを用いて、復号装置163の消失フレーム補償処理に利用されるFECパラメータを算出し、算出したFECパラメータを多重化部289に出力する。
加算部285は、ハイパスフィルタ282から入力されるフィルタ後第1低域信号から、CELP符号化部283から入力されるCELP復号信号を減じて得られる差分信号をTDAC符号化部287に出力する。
ローパスフィルタ286は、帯域分割処理部281から入力される第2低域信号に対して7kHzより大きい周波数成分を抑え、主に7kHz以下の周波数成分からなる信号を得てフィルタ後第2低域信号としてTDAC符号化部287およびTDBWE符号化部288に出力する。
TDAC符号化部287は、加算部285から入力される差分信号およびローパスフィルタ286から入力されるフィルタ後第2低域信号それぞれに対してMDCT等の直交変換を施し、得られる周波数領域信号(MDCT係数)を量子化する。そして、TDAC符号化部287は、量子化して得られるTDACパラメータを多重化部289に出力する。
また、TDAC符号化部287は、TDACパラメータを用いて復号を行い、得られる復号スペクトルを第1レイヤ復号スペクトルとして第2レイヤ符号化部236(図15)に出力する。
TDBWE符号化部288は、ローパスフィルタ286から入力されるフィルタ後第2低域信号に対して時間領域での帯域拡張符号化を行い、得られるTDBWEパラメータを多重化部289に出力する。
多重化部289は、FECパラメータ、CELPパラメータ、TDACパラメータおよびTDBWEパラメータを多重化し、第1レイヤ符号化情報として符号化情報統合部237(図15)に出力する。なお、第1レイヤ符号化部233に多重化部289を設けずに、これらのパラメータを符号化情報統合部237で多重化してもよい。
図16に示した、本実施の形態に係る第1レイヤ符号化部233における符号化は、TDAC符号化部287において、TDACパラメータを復号した復号スペクトルを第1レイヤ復号スペクトルとして第2レイヤ符号化部236に出力する点が、G.729.1方式の符号化と相違する。
図17は、図15に示した第2レイヤ符号化部236の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部236において、ピッチ係数設定部294以外の構成要素は、実施の形態1の場合と同様であるため、説明を省略する。
また、以下の説明では、図17に示す帯域分割部260において、入力スペクトルS2(k)の高域部(FL≦k<FH)を5個のサブバンドSBp(p=0,1,…,4)に分割する場合を例にとって説明する。つまり、実施の形態1において、サブバンド数PがP=5である場合について説明する。ただし、本発明は入力スペクトルS2の高域部を分割するサブバンド数を限定するものではなく、サブバンド数PがP=5以外の場合についても同様に適用することができる。
ピッチ係数設定部294は、複数のサブバンドのうち、一部のサブバンドに対してはピッチ係数の探索範囲を予め設定し、それ以外のサブバンドに対しては隣接する1つ前のサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する。
例えば、ピッチ係数設定部294は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB0、第3サブバンドSB2または第5サブバンドSB4(サブバンドSBp(p=0,2,4))に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲の中で少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部294は、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第1サブバンドに対して予め設定された探索範囲Tmin1〜Tmax1の中で少しずつ変化させながら設定する。また、ピッチ係数設定部294は、第3サブバンドSB2に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第3サブバンドに対して予め設定された探索範囲Tmin3〜Tmax3の中で少しずつ変化させながら設定する。同様に、ピッチ係数設定部294は、第5サブバンドSB4に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第5サブバンドに対して予め設定された探索範囲Tmin5〜Tmax5の中で少しずつ変化させながら設定する。
一方、ピッチ係数設定部294は、探索部263の制御の下、フィルタリング部262
および探索部263とともに、第2サブバンドSB1または第4サブバンドSB3(サブバンドSBp(p=1,3))に対応する閉ループの探索処理を行う場合には、隣接する1つ前のサブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部294は、第2サブバンドSB1に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、隣接する1つ前のサブバンドである第1サブバンドSB0の最適ピッチ係数T0’に基づき、式(9)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(9)においてはP=1となる。同様に、ピッチ係数設定部294は、第4サブバンドSB3に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、隣接する1つ前のサブバンドである第3サブバンドSB2の最適ピッチ係数T2’に基づき、式(9)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(9)においてはP=3となる。
なお、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合、実施の形態1と同様、式(10)に示すようにしてピッチ係数Tの範囲を修正する。同様に、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を下回る場合、実施の形態1と同様、式(11)に示すようにしてピッチ係数Tの範囲を修正する。このようにピッチ係数Tの範囲を修正することで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
上述したように、ピッチ係数設定部294は、第1サブバンド、第3サブバンドおよび第5サブバンドに対して、それぞれのサブバンドに対して予め設定された探索範囲の中でピッチ係数Tを少しずつ変化させる。ここで、ピッチ係数設定部294は、複数のサブバンドのうち高域のサブバンドほど、第1復号スペクトルのより高い帯域(高域部)を探索範囲としてピッチ係数Tを設定してもよい。つまり、ピッチ係数設定部294は、高域のサブバンドほど、探索範囲が第1復号スペクトルのより高い帯域になるように、各サブバンドの探索範囲を予め設定する。例えば、高域になるほどスペクトルの調波構造が弱まる傾向がある場合には、高域のサブバンドほど、サブバンドに類似する部分は、第1復号スペクトルの高域部に存在する可能性が高い。そこで、ピッチ係数設定部294が高域のサブバンドほど探索範囲がより高域に偏るように設定することで、探索部263はそれぞれのサブバンドに適した探索範囲に対して探索を行うことができ、符号化効率を向上することが期待できる。
また、ピッチ係数設定部294は、上述した設定方法とは逆に、複数のサブバンドのうち高域のサブバンドほど、第1復号スペクトルのより低い帯域(低域部)を探索範囲としてピッチ係数Tを設定してもよい。つまり、ピッチ係数設定部294は、高域のサブバンドほど、探索範囲が第1復号スペクトルのより低い帯域になるように、各サブバンドの探索範囲を予め設定する。例えば、第1復号スペクトルのうち、0〜4kHzのスペクトルと4〜7kHzのスペクトルとを比較して、0〜4kHzのスペクトルの調波構造の方が弱い場合、高域のサブバンドほど、サブバンドに類似する部分は、第1復号スペクトルの低域部に存在する可能性が高い。そこで、ピッチ係数設定部294が高域のサブバンドほど探索範囲がより低域に偏るように設定することで、探索部263は第1復号スペクトルの高域部よりも調波構造が弱まる低域部に対して、高域のサブバンドに類似する部分の探索を行うため、探索の効率が良くなる。ここで、本実施の形態では、第1復号スペクトルとして、第1レイヤ符号化部233内のTDAC符号化部287から得られる復号スペクトルを例としている。この場合、第1復号スペクトルの0〜4kHz部分のスペクトルは、入力信号からCELP符号化部283で算出されるCELP復号信号を減じた成分となっており、調波構造が比較的弱い。このため、高域のサブバンドほど、探索範囲がより低
域に偏るように設定する方法が有効である。
また、ピッチ係数設定部294は、第2サブバンドおよび第4サブバンドに対してのみ、隣接する1つ前のサブバンド(隣接する低域側のサブバンド)において探索された最適ピッチ係数Tp−1’に基づきピッチ係数Tを設定する。すなわち、ピッチ係数設定部294は、1サブバンドだけ離れたサブバンドに対して、隣接する1つ前のサブバンドにおいて探索された最適ピッチ係数Tp−1’に基づきピッチ係数Tを設定する。これにより、低域のサブバンドにおける探索結果がそのサブバンドよりも高域のすべてのサブバンドにおける探索に与える影響を低減することができるため、高域のサブバンドに対して設定されるピッチ係数Tの値が大きくなり過ぎるということを避けることができる。すなわち、高域のサブバンドほど類似する部分の探索を行うための探索範囲が高域に限定されることを避けることができる。これにより、類似する可能性が低い帯域で最適ピッチ係数の探索を行うことを回避して、符号化効率が低下し復号信号の品質が劣化することを回避することができる。
図18は、本実施の形態に係る復号装置163の内部の主要な構成を示すブロック図である。本実施の形態に係る復号装置163は、符号化情報分離部171、第1レイヤ復号部172、第2レイヤ復号部173、直交変換処理部174および加算部175とから主に構成される。
図18において、符号化情報分離部171は、入力された符号化情報の中から第1レイヤ符号化情報と第2レイヤ符号化情報とを分離し、第1レイヤ符号化情報を第1レイヤ復号部172に出力し、第2レイヤ符号化情報を第2レイヤ復号部173に出力する。
第1レイヤ復号部172は、符号化情報分離部171から入力される第1レイヤ符号化情報に対して、G.729.1方式の音声符号化方法を用いて復号を行い、生成された第1レイヤ復号信号を加算部175に出力する。また、第1レイヤ復号部172は、第1レイヤ復号信号を生成する過程で得られる第1レイヤ復号スペクトルを、第2レイヤ復号部173に出力する。なお、第1レイヤ復号部172の動作の詳細な説明は後述する。
第2レイヤ復号部173は、第1レイヤ復号部172から入力される第1レイヤ復号スペクトルおよび符号化情報分離部171から入力される第2レイヤ符号化情報を用いて、高域部のスペクトルを復号し、生成された第2レイヤ復号スペクトルを直交変換処理部174に出力する。第2レイヤ復号部173の処理は、入力される信号とその信号の送り元が異なるという点を除けば、図7の第2レイヤ復号部135と同様であるため、詳細な説明は省略する。なお、第2レイヤ復号部173の動作の詳細な説明は後述する。
直交変換処理部174は、第2レイヤ復号部173から入力される第2レイヤ復号スペクトルに対して直交変換処理(IMDCT)を施し、得られる第2レイヤ復号信号を加算部175に出力する。ここで、直交変換処理部174の動作は、入力される信号とその信号の送り元が異なるという点を除けば、図8に示した直交変換処理部356の処理と同様であるため、詳細な説明は省略する。
加算部175は、第1レイヤ復号部172から入力される第1レイヤ復号信号と直交変換処理部174から入力される第2レイヤ復号信号とを加算し、得られる信号を出力信号として出力する。
図19は、図18に示した第1レイヤ復号部172の内部の主要な構成を示すブロック図である。ここでは、図15の第1レイヤ符号化部233と対応させて、第1レイヤ復号部172がITU−Tで規格化されているG.729.1方式の復号を行う構成を例に挙
げて説明する。なお、図19に示す第1レイヤ復号部172の構成は伝送時にフレームエラーが生じなかった場合の構成であり、フレームエラー補償処理のための構成要素は図示せずその説明を省略する。ただし、本発明はフレームエラーが生じる場合にも適用することができる。
第1レイヤ復号部172は、分離部371、CELP復号部372、TDBWE復号部373、TDAC復号部374、プリ/ポストエコー削減部375、加算部376、適応ポスト処理部377、ローパスフィルタ378、プリ/ポストエコー削減部379、ハイパスフィルタ380および帯域合成処理部381を備え、各部は以下の動作を行う。
分離部371は、符号化情報分離部171(図18)から入力される第1レイヤ符号化情報を、CELPパラメータ、TDACパラメータ、TDBWEパラメータに分離し、CELPパラメータをCELP復号部372に出力し、TDACパラメータをTDAC復号部374に出力し、TDBWEパラメータをTDBWE復号部373に出力する。なお、分離部371を設けずに、符号化情報分離部171においてまとめてこれらのパラメータを分離してもよい。
CELP復号部372は、分離部371から入力されるCELPパラメータを用いてCELP方式の復号を行い、得られる復号信号を復号CELP信号としてTDAC復号部374、加算部376およびプリ/ポストエコー削減部375に出力する。なお、CELP復号部372は、復号CELP信号の他に、CELPパラメータから復号CELP信号を生成する過程で得られる他の情報をTDAC復号部374に出力してもよい。
TDBWE復号部373は、分離部371から入力されるTDBWEパラメータを復号し、得られる復号信号を復号TDBWE信号としてTDAC復号部374およびプリ/ポストエコー削減部379に出力する。
TDAC復号部374は、分離部371から入力されるTDACパラメータ、CELP復号部372から入力される復号CELP信号およびTDBWE復号部373から入力される復号TDBWE信号を用いて、第1レイヤ復号スペクトルを算出する。そして、TDAC復号部374は、算出した第1レイヤ復号スペクトルを第2レイヤ復号部173(図18)に出力する。なお、ここで得られる第1レイヤ復号スペクトルは、符号化装置161内の第1レイヤ符号化部233(図15)で算出される第1レイヤ復号スペクトルと同じである。また、TDAC復号部374は、算出した第1レイヤ復号スペクトルの0〜4kHz帯域と4〜8kHz帯域に対してそれぞれMDCT等の直交変換処理を施し、復号第1TDAC信号(0〜4kHz帯域)および復号第2TDAC信号(4〜8kHz帯域)を算出する。TDAC復号部374は、算出した復号第1TDAC信号をプリ/ポストエコー削減部375に出力し、復号第2TDAC信号をプリ/ポストエコー削減部379に出力する。
プリ/ポストエコー削減部375は、CELP復号部372から入力される復号CELP信号およびTDAC復号部374から入力される復号第1TDAC信号に対し、プリ/ポストエコーを削減する処理を施して、エコー削除後の信号を加算部376に出力する。
加算部376は、CELP復号部372から入力される復号CELP信号およびプリ/ポストエコー削減部375から入力されるエコー削減後の信号を加算し、得られる加算信号を適応ポスト処理部377に出力する。
適応ポスト処理部377は、加算部376から入力される加算信号に対して適応的に後処理を施し、得られる復号第1低域信号(0〜4kHz帯域)をローパスフィルタ378
に出力する。
ローパスフィルタ378は、適応ポスト処理部377から入力される復号第1低域信号に対して4kHzより大きい周波数成分を抑え、主に4kHz以下の周波数成分からなる信号を得てフィルタ後復号第1低域信号として帯域合成処理部381に出力する。
プリ/ポストエコー削減部379は、TDAC復号部374から入力される復号第2TDAC信号およびTDBWE復号部373から入力される復号TDBWE信号に対してプリ/ポストエコーを削減する処理を施して、エコー削減後の信号を復号第2低域信号(4〜8kHz帯域)としてハイパスフィルタ380に出力する。
ハイパスフィルタ380は、プリ/ポストエコー削減部379から入力される復号第2低域信号に対して4kHz以下の周波数成分を抑え、主に4kHzより高い周波数成分からなる信号を得てフィルタ後復号第2低域信号として帯域合成処理部381に出力する。
帯域合成処理部381には、ローパスフィルタ378からフィルタ後復号第1低域信号が入力され、ハイパスフィルタ380からフィルタ後復号第2低域信号が入力される。帯域合成処理部381は、サンプリング周波数が共に8kHzであるフィルタ後復号第1低域信号(0〜4kHz帯域)およびフィルタ後復号第2低域信号(4〜8kHz帯域)に対して帯域合成処理を施し、サンプリング周波数が16kHz(0〜8kHz帯域)である第1レイヤ復号信号を生成する。そして、帯域合成処理部381は、生成した第1レイヤ復号信号を加算部175に出力する。
なお、帯域合成処理部381を設けずに、帯域合成処理を加算部175でまとめて行ってもよい。
図19に示した、本実施の形態に係る第1レイヤ復号部172における復号は、TDAC復号部374において、TDACパラメータから第1レイヤ復号スペクトルを算出した時点でこれを第2レイヤ復号部173に出力するという点のみがG.729.1方式の復号と相違する。
図20は、図18に示した第2レイヤ復号部173の内部の主要な構成を示すブロック図である。図20に示す第2レイヤ復号部173の内部の構成は、図8に示す第2レイヤ復号部135において、直交変換処理部356を省略した構成である。第2レイヤ復号部173において、フィルタリング部390およびスペクトル調整部391以外の構成要素については、第2レイヤ復号部135内の構成要素と同一であるため、説明を省略する。
フィルタリング部390は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部390は、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。フィルタリング部390でも、式(15)に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
ここで、フィルタリング部390は、第1サブバンド、第3サブバンドおよび第5サブバンドSBp(p=0,2,4)に対してはピッチ係数Tp’(p=0,2,4)をその
まま用いてフィルタリング処理を行う。また、フィルタリング部390は、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対しては、サブバンドSBp−1のピッチ係数Tp−1’を考慮してサブバンドSBpのピッチ係数Tp”を新たに設定し、このピッチ係数Tp”を用いてフィルタリングを行う。具体的には、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対するフィルタリングを行う際には、フィルタリング部390は、分離部351から得られたピッチ係数に対して、サブバンドSBp−1(p=1,3)のピッチ係数Tp−1’とサブバンド幅BWp−1とを用いて、式(18)に従い、フィルタリングに用いるピッチ係数Tp”を算出する。この場合のフィルタリング処理は、式(16)において、TをTp”に置き換えた式に従うものとする。
式(18)においては、サブバンドSBp(p=1,2,…,P−1)に対しては、サブバンドSBp−1のピッチ係数Tp−1’にサブバンドSBp−1のバンド幅BWp−1を加算し、探索範囲SEARCHの半分の値を減算したインデックスにTp’を加算し、ピッチ係数Tp”とする。
スペクトル調整部391は、フィルタリング部390から入力される各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を周波数領域で連続させて入力スペクトルの推定スペクトルS2’(k)を求める。また、スペクトル調整部391は、式(19)に従い、推定スペクトルS2’(k)にゲイン復号部354から入力されるサブバンド毎の変動量VQjを乗じる。これにより、スペクトル調整部391は、推定スペクトルS2’(k)の周波数帯域FL≦k<FHにおけるスペクトル形状を調整し、復号スペクトルS3(k)を生成する。次いで、スペクトル調整部391は、復号スペクトルS3(k)の低域部(0≦k<FL)の値を0とする。そして、スペクトル調整部391は、低域部(0≦k<FL)の値を0とした復号スペクトルを直交変換処理部174に出力する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、一部のサブバンド(本実施の形態では第1サブバンド、第3サブバンドおよび第5サブバンド)に対してはサブバンド毎に設定された探索範囲において探索を行う。また、それ以外のサブバンド(本実施の形態では第2サブバンドおよび第4サブバンド)に対しては隣接する1つ前のサブバンドの符号化結果を利用して探索を行う。これにより、サブバンド間の相関を利用して効率的な探索を行い、より効率的に高域スペクトルを符号化/復号するとともに、探索範囲が高域に偏ることで発生する異音を抑制することができるため、結果として復号信号の品質を向上させることができる。
(実施の形態5)
本発明の実施の形態5は、実施の形態4と同様に入力信号のサンプリング周波数が32kHzであり、第1レイヤ符号化部の符号化方式として、ITU−Tで規格化されているG.729.1方式を適用する場合の構成について説明する。
本発明の実施の形態5に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「181」および「184」を付し、説明を行う。
本実施の形態に係る符号化装置181(図示せず)は、図15に示した符号化装置161と基本的に同様であり、ダウンサンプリング処理部201、第1レイヤ符号化部233、直交変換処理部215、第2レイヤ符号化部246および符号化情報統合部207とか
ら主に構成される。ここで、第2レイヤ符号化部246以外の構成要素については、実施の形態4の場合と同様であるため、説明を省略する。
第2レイヤ符号化部246は、直交変換処理部215から入力される入力スペクトルおよび第1レイヤ符号化部233から入力される第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部246の詳細については後述する。
図21は、本実施の形態に係る第2レイヤ符号化部246の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部246において、ピッチ係数設定部404以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
また、以下の説明では、実施の形態4と同様に、図21に示す帯域分割部260において、入力スペクトルS2(k)の高域部(FL≦k<FH)を5個のサブバンドSBp(p=0,1,…,4)に分割する場合を例にとって説明する。つまり、実施の形態1において、サブバンド数PがP=5である場合について説明する。ただし、本発明は入力スペクトルS2の高域部を分割するサブバンド数を限定するものではなく、サブバンド数PがP=5以外の場合についても同様に適用することができる。
ピッチ係数設定部404は、複数のサブバンドのうち、一部のサブバンドに対してはピッチ係数の探索範囲を予め設定し、それ以外のサブバンドに対しては隣接する1つ前のサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する。
例えば、ピッチ係数設定部404は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB0、第3サブバンドSB2または第5サブバンドSB4(サブバンドSBp(p=0,2,4))に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲の中で少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部404は、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第1サブバンドに対して予め設定された探索範囲Tmin1〜Tmax1の中で少しずつ変化させながら設定する。また、ピッチ係数設定部404は、第3サブバンドSB2に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第3サブバンドに対して予め設定された探索範囲Tmin3〜Tmax3の中で少しずつ変化させながら設定する。同様に、ピッチ係数設定部404は、第5サブバンドSB4に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第5サブバンドに対して予め設定された探索範囲Tmin5〜Tmax5の中で少しずつ変化させながら設定する。
一方、ピッチ係数設定部404は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第2サブバンドSB
1または第4サブバンドSB
3(サブバンドSB
p(p=1,3))に対応する閉ループの探索処理を行う場合には、隣接する1つ前のサブバンドSB
p−1に対応する閉ループの探索処理において求められた最適ピッチ係数T
p−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部404は、第2サブバンドSB
1に対応する閉ループの探索処理を行う際、隣接する1つ前のサブバンドである第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p未満である場合(パターン1)には、ピッチ係数Tを式(27)に従って算出される探索範囲の中で少しずつ変化させながら設定する。一方、第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p以上である場合(パターン2)には、ピッチ係数Tを式(2
8)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(27)および式(28)においてはP=1となる。ここで、式(27)および式(28)中のSEARCH1、SEARCH2は予め定められた探索ピッチ係数の設定範囲を示す。なお、以下では、SEARCH1>SEARCH2である場合について説明する。
同様に、ピッチ係数設定部404は、第4サブバンドSB
3に対応する閉ループの探索処理を行う際、第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p未満である場合(パターン1)には、隣接する1つ前のサブバンドである第3サブバンドSB
2の最適ピッチ係数T
2’に基づき、ピッチ係数Tを式(29)に従って算出される探索範囲の中で少しずつ変化させながら設定する。一方、第1サブバンドSB
0の最適ピッチ係数T
0’の値が予め定められた閾値TH
p以上である場合(パターン2)には、ピッチ係数Tを式(30)に従って算出される探索範囲の中で少しずつ変化させながら設定する。この場合、式(29)および式(30)においてはP=3となる。
なお、式(27)〜式(30)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合、実施の形態1と同様、式(31)および式(32)に示すようにしてピッチ係数Tの範囲を修正する。この時、式(27)および式(30)に対しては式(31)が、式(28)および式(29)に対しては式(32)がそれぞれ対応する。同様に、式(27)〜式(30)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を下回る場合、実施の形態1と同様、式(33)および式(34)に示すようにしてピッチ係数Tの範囲を修正する。この時、式(27)および式(30)に対しては式(33)が、式(28)および式(29)に対しては式(34)がそれぞれ対応する。このようにピッチ係数Tの範囲を修正することで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
ピッチ係数設定部404は、第2サブバンド及び第4サブバンドに対する最適ピッチ探索時のエントリ数を適応的に変化させる。つまり、ピッチ係数設定部404は、第1サブバンドの最適ピッチ係数T0’が予め設定した閾値よりも小さい場合には第2サブバンドに対する最適ピッチ探索時のエントリ数を多くし(パターン1)、第1サブバンドの最適ピッチ係数T0’が閾値以上である場合には第2サブバンドに対する最適ピッチ探索時のエントリ数を少なくする(パターン2)。また、ピッチ係数設定部404は、第2サブバンドの最適ピッチ探索時のパターン(パターン1およびパターン2)に応じて、第4サブバンドの最適ピッチ探索時のエントリ数を増減させる。具体的には、ピッチ係数設定部404は、パターン1の場合には第4サブバンドの最適ピッチ探索時のエントリ数を少なくし、パターン2の場合には第4サブバンドの最適ピッチ探索時のエントリ数を多くする。この時、パターン1及びパターン2のそれぞれに対して、第2サブバンドの最適ピッチ探索時のエントリ数と第4サブバンドの最適ピッチ探索時のエントリ数の合計を等しくすることで、ビットレートを固定にしたまま、より効率的な最適ピッチ係数の探索をすることができる。
第1レイヤ復号スペクトルについては、一般的に入力信号が音声信号などである場合には、低域側ほど周期性が強いという特徴がある。従って、最適ピッチ係数を探索する帯域が低域側であるほど、探索時のエントリ数を増加させることによる効果が大きい。そこで、上記のように、第1サブバンドに対して探索された最適ピッチ係数の値が小さい場合には、第2サブバンドに対する最適ピッチの探索時のエントリ数を大きくすることで、第2サブバンドに対してより効果的な最適ピッチ探索をすることができる。この時、第4サブバンドに対する最適ピッチ係数の探索時のエントリ数を減少させる。一方、第1サブバンドに対して探索された最適ピッチ係数の値が大きい場合には、第2サブバンドに対する最適ピッチ係数の探索のエントリ数を多くしてもその効果は小さいため、第2サブバンドに対しては、最適ピッチ係数の探索時のエントリ数を少なくし、第4サブバンドに対する最適ピッチ係数の探索時のエントリ数を増加させる。このように、第1サブバンドに対して探索された最適ピッチ係数の値に応じて、第2サブバンドおよび第4サブバンド間で最適ピッチ係数の探索時のエントリ数(ビットアロケーション)を調整することで、より効率的に最適ピッチ係数を探索することができ、品質の良い復号信号を生成することが可能になる。
本実施の形態に係る復号装置184(図示せず)の内部の主要な構成は、図18に示した復号装置163と基本的には同じであるため、説明を省略する。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、一部のサブバンド(本実施の形態では第1サブバンド、第3サブバンドおよび第5サブバ
ンド)に対してはサブバンド毎に設定された探索範囲において探索を行う。また、それ以外のサブバンド(本実施の形態では第2サブバンドおよび第4サブバンド)に対しては隣接する1つ前のサブバンドの符号化結果を利用して探索を行う。なお、ここで、第2サブバンドおよび第4サブバンドに対する最適ピッチの探索時に、第1サブバンドに対して探索された最適ピッチに基づいて、探索のエントリ数を適応的に切り替える。これにより、サブバンド間の相関を利用するとともに、サブバンド毎に適応的にエントリ数を変更することができ、より効率的に高域スペクトルを符号化/復号することができる。その結果として復号信号の品質をさらに向上させることができる。
なお、本実施の形態では、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数の合計が等しい場合を例に挙げて説明した。しかし、本発明はこれに限定されず、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数の合計がパターン毎に異なる構成についても同様に適用できる。
また、本実施の形態では、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数が増減する場合を例に挙げて説明したが、探索エントリ数を多くしたことによって、探索範囲が低域の全範囲になる場合に対しても同様に適用できる。
また、本実施の形態では、第2サブバンドおよび第4サブバンドに対する最適ピッチ係数の探索時のエントリ数が増減する場合の例として、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合(パターン1)には、第2サブバンドの最適ピッチ係数の探索エントリ数を多くし(探索範囲を広くし)、第4サブバンドの最適ピッチ係数の探索エントリ数を少なくする(探索範囲を狭くする)構成について説明した。また、上記構成は、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp以上である場合(パターン2)には、上記とは逆の探索範囲の設定方法を採る。しかし、本発明は上記構成に限らず、第1サブバンドのパターン1、パターン2に対してそれぞれ逆の探索範囲設定方法を採る構成についても同様に適用できる。すなわち、本発明は、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合(パターン1)には、第2サブバンドの最適ピッチ係数の探索エントリ数を少なくし(探索範囲を狭くし)、第4サブバンドの最適ピッチ係数の探索エントリ数を多くする(探索範囲を広くする)構成についても同様に適用できる。なお、本構成は、第1サブバンドの最適ピッチ係数T0’の値が予め定められた閾値THp以上である場合(パターン2)には、上記とは逆の探索範囲の設定方法を採る。この構成により、低域部分の中でも、低域側と高域側で大きくスペクトル特性が異なる入力信号に対して、効率的に符号化することができる。具体的には、スペクトルが複数のピーク成分から構成されており、さらにピーク成分の存在する密度が帯域によって大きく異なるような特性を有する入力信号に対して効率的に量子化できることが実験により確認されている。
(実施の形態6)
本発明の実施の形態6は、実施の形態4と同様に入力信号のサンプリング周波数が32kHzであり、第1レイヤ符号化部の符号化方式として、ITU−Tで規格化されているG.729.1方式を適用する場合の構成について説明する。
本発明の実施の形態6に係る通信システム(図示せず)は、図2に示した通信システムと基本的に同様であり、符号化装置、復号装置の構成および動作の一部のみにおいて、図2の通信システムの符号化装置101、復号装置103と相違する。以下、本実施の形態に係る通信システムの符号化装置および復号装置についてそれぞれ符号「191」および「193」を付し、説明を行う。
本実施の形態に係る符号化装置191(図示せず)は、図15に示した符号化装置16
1と基本的に同様であり、ダウンサンプリング処理部201、第1レイヤ符号化部233、直交変換処理部215、第2レイヤ符号化部256および符号化情報統合部207とから主に構成される。ここで、第2レイヤ符号化部256以外の構成要素については、実施の形態4の場合と同様であるため、説明を省略する。
第2レイヤ符号化部256は、直交変換処理部215から入力される入力スペクトルおよび第1レイヤ符号化部233から入力される第1レイヤ復号スペクトルを用いて、第2レイヤ符号化情報を生成し、生成した第2レイヤ符号化情報を符号化情報統合部207に出力する。なお、第2レイヤ符号化部256の詳細については後述する。
図22は、本実施の形態に係る第2レイヤ符号化部256の内部の主要な構成を示すブロック図である。
第2レイヤ符号化部256において、ピッチ係数設定部414以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
また、以下の説明では、実施の形態4と同様に、図22に示す帯域分割部260において、入力スペクトルS2(k)の高域部(FL≦k<FH)を5個のサブバンドSBp(p=0,1,…,4)に分割する場合を例にとって説明する。つまり、実施の形態1において、サブバンド数PがP=5である場合について説明する。ただし、本発明は入力スペクトルS2の高域部を分割するサブバンド数を限定するものではなく、サブバンド数PがP=5以外の場合についても同様に適用することができる。
ピッチ係数設定部414は、複数のサブバンドのうち、一部のサブバンドに対してはピッチ係数の探索範囲を予め設定し、それ以外のサブバンドに対しては隣接する1つ前のサブバンドに対応する探索結果に基づいてピッチ係数の探索範囲を設定する。
例えば、ピッチ係数設定部414は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第1サブバンドSB0、第3サブバンドSB2または第5サブバンドSB4(サブバンドSBp(p=0,2,4))に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、予め定められた探索範囲の中で少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部414は、第1サブバンドSB0に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第1サブバンドに対して予め設定された探索範囲Tmin1〜Tmax1の中で少しずつ変化させながら設定する。また、ピッチ係数設定部414は、第3サブバンドSB2に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第3サブバンドに対して予め設定された探索範囲Tmin3〜Tmax3の中で少しずつ変化させながら設定する。同様に、ピッチ係数設定部414は、第5サブバンドSB4に対応する閉ループの探索処理を行う場合には、ピッチ係数Tを、第5サブバンドに対して予め設定された探索範囲Tmin5〜Tmax5の中で少しずつ変化させながら設定する。
一方、ピッチ係数設定部414は、探索部263の制御の下、フィルタリング部262および探索部263とともに、第2サブバンドSB1または第4サブバンドSB3(サブバンドSBp(p=1,3))に対応する閉ループの探索処理を行う場合には、隣接する1つ前のサブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’に基づき、ピッチ係数Tを、少しずつ変化させながら、フィルタリング部262に順次出力する。具体的には、ピッチ係数設定部414は、第2サブバンドSB1に対応する閉ループの探索処理を行う際、隣接する1つ前のサブバンドである第1サブバンドSB0の最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合には、ピッチ係数Tを式(9)に従って算出される探索範囲の中で少しずつ変化させなが
ら設定する。ここで、式(9)においてはP=1となる。一方、第1サブバンドSB0の最適ピッチ係数T0’の値が予め定められた閾値THp以上である場合には、ピッチ係数Tを予め設定された探索範囲Tmin2〜Tmax2の中で少しずつ変化させながら設定する。
同様に、ピッチ係数設定部414は、第4サブバンドSB3に対応する閉ループの探索処理を行う際、第1サブバンドSB0の最適ピッチ係数T0’の値が予め定められた閾値THp未満である場合には、隣接する1つ前のサブバンドである第3サブバンドSB2の最適ピッチ係数T2’に基づき、ピッチ係数Tを式(9)に従って算出される探索範囲の中で少しずつ変化させながら設定する。ここで、式(9)においてはP=3となる。一方、第3サブバンドSB2の最適ピッチ係数T2’の値が予め定められた閾値THp以上である場合には、ピッチ係数Tを予め設定された探索範囲Tmin4〜Tmax4の中で少しずつ変化させながら設定する。
なお、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の上限値を越えてしまう場合、実施の形態1と同様、式(10)に示すようにしてピッチ係数Tの範囲を修正する。同様に、式(9)に従って設定したピッチ係数Tの範囲が、第1レイヤ復号スペクトルの帯域の下限値を下回る場合、実施の形態1と同様、式(11)に示すようにしてピッチ係数Tの範囲を修正する。このようにピッチ係数Tの範囲を修正することで、最適ピッチ係数の探索におけるエントリ数を減らすことなく効率的に符号化することができる。
ピッチ係数設定部414は、第2サブバンドおよび第4サブバンドに対する最適ピッチ探索時の探索範囲の設定を、隣接する1つ前のサブバンドSBp−1に対応する閉ループの探索処理において求められた最適ピッチ係数Tp−1’に基づいて適応的に変更する。つまり、ピッチ係数設定部414は、隣接する1つ前のサブバンドSBp−1に対して探索された最適ピッチ係数Tp−1’が閾値未満であった場合にのみ、最適ピッチ係数Tp−1’に基づいた範囲に対して最適ピッチ係数の探索を行う。一方、ピッチ係数設定部414は、隣接する1つ前のサブバンドSBp−1に対して探索された最適ピッチ係数Tp−1’が閾値以上であった場合には、予め設定された探索範囲に対して最適ピッチ係数の探索を行う。このような構成により、最適ピッチの探索範囲が高域に偏ることで発生する異音を抑制することができるため、結果として復号信号の品質を向上させることができる。
本実施の形態に係る復号装置193(図示せず)は、図18に示した復号装置163と基本的に同様であり、符号化情報分離部171、第1レイヤ復号部172、第2レイヤ復号部183、直交変換処理部174および加算部175とから主に構成される。ここで、第2レイヤ復号部183以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
図23は、本実施の形態に係る第2レイヤ復号部183の内部の主要な構成を示すブロック図である。
第2レイヤ復号部183において、フィルタリング部490以外の構成要素は、実施の形態4の場合と同様であるため、説明を省略する。
フィルタリング部490は、マルチタップ(タップ数が1より多い)のピッチフィルタを備える。フィルタリング部490は、分離部351から入力される帯域分割情報と、フィルタ状態設定部352により設定されたフィルタ状態と、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数
とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。フィルタリング部490でも、式(15)に示したフィルタ関数が用いられる。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
ここで、フィルタリング部490は、第1サブバンド、第3サブバンドおよび第5サブバンドSBp(p=0,2,4)に対してはピッチ係数Tp’(p=0,2,4)をそのまま用いてフィルタリング処理を行う。また、フィルタリング部490は、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対しては、サブバンドSBp−1のピッチ係数Tp−1’を考慮してサブバンドSBpのピッチ係数Tp”を新たに設定し、このピッチ係数Tp”を用いてフィルタリングを行う。具体的には、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対するフィルタリングを行う際には、フィルタリング部490は、分離部351から得られたピッチ係数の値が予め定められた閾値THp未満である場合に対して、サブバンドSBp−1(p=1,3)のピッチ係数Tp−1’とサブバンド幅BWp−1とを用いて、式(18)に従い、フィルタリングに用いるピッチ係数Tp”を算出する。この場合のフィルタリング処理は、式(16)において、TをTp”に置き換えた式に従うものとする。また、フィルタリング部490は、第2サブバンドおよび第4サブバンドSBp(p=1,3)に対するフィルタリングを行う際、分離部351から得られたピッチ係数の値が予め定められた閾値THp以上である場合に対しては、分離部351から入力されるピッチ係数Tp’(p=0,1,…,P−1)と、予め内部に格納しているフィルタ係数とに基づき、第1レイヤ復号スペクトルS1(k)をフィルタリングし、式(16)に示す、各サブバンドSBp(p=0,1,…,P−1)の推定値S2p’(k)(BSp≦k<BSp+BWp)(p=0,1,…,P−1)を算出する。ただし、この場合のフィルタリング処理およびフィルタ関数は、式(15)、式(16)におけるTをTp’に置き換えたものとする。
このように、本実施の形態によれば、低域部のスペクトルを用いて帯域拡張を行い高域部のスペクトルを推定する符号化/復号において、高域部を複数のサブバンドに分割し、一部のサブバンド(本実施の形態では第1サブバンド、第3サブバンドおよび第5サブバンド)に対してはサブバンド毎に設定された探索範囲において探索を行う。また、それ以外のサブバンド(本実施の形態では第2サブバンドおよび第4サブバンド)に対しては隣接する1つ前のサブバンドの符号化結果を利用して探索を行う。なお、ここで、第2サブバンドおよび第4サブバンドに対する最適ピッチの探索時に、第1サブバンドに対して探索された最適ピッチに基づいて、探索のエントリ数を適応的に切り替える。これにより、サブバンド間の相関を利用するとともに、サブバンド毎に適応的にエントリ数を変更することができ、より効率的に高域スペクトルを符号化/復号することができる。その結果として復号信号の品質をさらに向上させることができる。
なお、上記実施の形態4〜6では、第1レイヤ符号化部および第1レイヤ復号部において、G.729.1符号化/復号方式を用いる場合を例に採って説明した。しかし、本発明において第1レイヤ符号化部および第1レイヤ復号部で用いる符号化方式/復号方式はG.729.1符号化/復号方式に限定されるものではない。例えば、第1レイヤ符号化部、および第1レイヤ復号部で用いる符号化方式/復号方式としてG.718等の他の符号化/復号方式を採る構成についても本発明を同様に適用できる。
また、上記実施の形態4〜6では、第1レイヤ復号スペクトルとして、第1レイヤ符号化部の内部で得られる情報(TDAC符号化部287で得られるTDACパラメータの復号スペクトル)を用いる場合について説明した。しかし、本発明はこれに限らず、第1レ
イヤ符号化部の内部で算出される他の情報を第1レイヤ復号スペクトルとして用いる場合についても同様に適用することができる。また、本発明は、第1レイヤ符号化情報を復号して得られる第1レイヤ復号信号に対して直交変換等の処理を行い、算出されたスペクトルを第1レイヤ復号スペクトルとして用いる場合についても同様に適用できる。つまり、本発明は第1レイヤ復号スペクトルの特性に限定されるものではなく、第1レイヤ符号化部の内部で算出されるパラメータ、または、第1レイヤ符号化情報を復号して得られる復号信号から算出される全てのスペクトルを第1レイヤ復号スペクトルとして利用する場合にも同様の効果を得ることができる。
また、上記実施の形態4〜6では、一部のサブバンド(本実施の形態では、第1サブバンド、第3サブバンド、第5サブバンド)に予め設定された探索範囲が、それぞれのサブバンド毎に異なる場合を例にとって説明した。しかし、本発明はこれに限定されず、全てのサブバンドまたは一部のサブバンド群に対して共通の探索範囲を設定してもよい。
以上、本発明の各実施の形態について説明した。
なお、上記各実施の形態においては、各サブバンドSBp(p=0,…,P−1)に最も近似する部分を、第1レイヤ復号スペクトルにおいて探索した後に、ゲイン符号化部265にてサブバンド毎に、入力スペクトルとのスペクトルパワの変動量を符号化する場合を例にとって説明した。しかし、本発明はこれに限定されず、ゲイン符号化部265において、探索部263で算出される最適ピッチ係数Tp’に対応する理想利得を符号化しても良い。この場合には、ゲイン符号化部265で符号化するゲインのサブバンド構成は、フィルタリング時のサブバンド構成と同一とした方が好ましい。この構成により、入力スペクトルの高域部により近似する推定スペクトルを生成することができ、復号信号に含まれうる雑音感を減少させることができる。
また、上記各実施の形態では、復号側において常に第2レイヤの復号信号を出力信号とする場合を例にとって説明したが、本発明はこれに限定されず、第1レイヤの復号信号と第2レイヤの復号信号とを切替えて出力信号としても良い。例えば、伝送路において一部の符号化情報が消失したり、符号化情報に伝送誤りが生じたりする場合には、第1レイヤの復号による復号信号しか得られない場合がある。このような場合には、第1レイヤの復号信号を出力信号として出力する。
また、上記各実施の形態では、符号化装置/復号装置としてそれぞれ2つの階層からなるスケーラブル符号化装置/復号装置を例にとって説明したが、本発明はこれに限定されず、符号化装置/復号装置はそれぞれ3階層以上からなるスケーラブル符号化装置/復号装置であっても良い。
また、上記各実施の形態では、各サブバンドに対応する最適ピッチ係数を探索するためにピッチ係数設定部264、274で設定するピッチ係数の範囲として各サブバンドに対してSEARCHという共通の範囲を利用する場合について説明した。しかし、本発明はこれに限定されず、サブバンド毎に探索範囲を別途SEARCHp(p=0,…,P−1)としても良い。例えば、高域部の中でも低域に近いサブバンドに対しては探索範囲をより広く設定し、高域部の中でもより高域のサブバンドに対しては探索範囲をより狭く設定することにより、周波数帯域に応じた柔軟なビット割当を実現することができる。
また、上記各実施の形態では、各サブバンドに対応する最適ピッチ係数を探索するためにピッチ係数設定部264、274、294、404、414で設定するピッチ係数の範囲が、各サブバンドに対してSEARCHという共通の範囲を利用し、前サブバンドの最適ピッチ係数に前サブバンド幅を加えた位置の周辺(±SEARCHの範囲)である構成
について説明した。しかし、本発明はこれに限らず、前サブバンドの最適ピッチ係数に前サブバンド幅を加えた位置に対して、非対称的な範囲を最適ピッチ係数の探索範囲とする構成についても同様に適用できる。例えば、前サブバンドの最適ピッチ係数に前サブバンド幅を加えた位置からより低域側を広めにし、高域側は狭く探索範囲を設定する方法がある。この構成により、最適ピッチ係数の探索範囲が高域側に偏り過ぎる傾向を軽減でき、復号信号の品質が向上する可能性がある。
また、上記各実施の形態では、幾つかのサブバンドに対しては、隣接する前サブバンドに対する最適ピッチ係数に基づいて最適ピッチ係数を探索する範囲を設定する構成について説明した。上記方法は、最適ピッチ係数について周波数軸上の相関を利用した方法である。しかし、本発明はこれに限らず、最適ピッチ係数について時間軸上の相関を利用した場合についても同様に適用できる。具体的には、同一サブバンドにおいて、時間的に前に処理されたフレーム(例えば過去3フレームなど)に対して探索された最適ピッチ係数に基づいて、その周辺を最適ピッチ係数の探索範囲に設定する。この場合は、4次の線形予測によって求められる位置の周辺を探索する。また上記のように時間軸上の相関と、上記各実施の形態で説明した周波数軸上の相関を併用することも可能である。この場合、あるサブバンドに対して、過去のフレームで探索された最適ピッチ係数と隣接する前サブバンドに対して探索された最適ピッチ係数とに基づき、最適ピッチ係数の探索範囲が設定される。また、時間軸上の相関を利用して最適ピッチ係数の探索範囲を設定する場合には、伝送誤りが伝播するという問題点がある。この問題点に対しては、一定以上連続して時間軸上の相関に基づいて最適ピッチ係数の探索範囲を設定した後、時間軸上の相関に基づかずに最適ピッチ係数の探索範囲を設定するフレームを設けることで対処できる(例えば、4フレーム処理する毎に、時間軸上の相関を利用しないフレームを設定するなど)。
また、本発明に係る符号化装置、復号装置およびこれらの方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。
また、上記各実施の形態における復号装置は、上記各実施の形態における符号化装置から伝送された符号化情報を用いて処理を行うとしたが、本発明はこれに限定されず、必要なパラメータやデータを含む符号化情報であれば、必ずしも上記各実施の形態における符号化装置からの符号化情報でなくても処理は可能である。
また、信号処理プログラムを、メモリ、ディスク、テープ、CD、DVD等の機械読み取り可能な記録媒体に記録、書き込みをし、動作を行う場合についても、本発明は適用することができ、本実施の形態と同様の作用および効果を得ることができる。
また、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル/プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
2008年3月14日出願の特願2008−66202、2008年5月30日出願の特願2008−143963及び2008年11月21日出願の特願2008−298091の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。