JP6962386B2 - 復号装置、符号化装置、これらの方法及びプログラム - Google Patents

Description

この発明は、音信号の符号化技術などの信号処理技術において、音信号の周波数スペクトルに由来するサンプル列を符号化又は復号する技術に関連する。

音信号を圧縮符号化する際、その圧縮の効率を高めるために、音信号を周波数スペクトル列で表現し、当該周波数スペクトル列について聴覚的な重要度を考慮したビット割り当てを行って符号化することが従来より行われている。聴覚的な重要度を考慮したビット割り当ては、周波数スペクトル列のうちの低周波数に対応するサンプルに優先してビットを割り当てることなどにより行われる。その結果、周波数スペクトル列のうちの高周波数に対応するサンプルについてはビットを全く割り当てず、高周波数に対応するサンプル列に関する直接的な情報は符号化装置では全く符号化しない構成が採用されることがある。この符号化装置に対応する復号装置では周波数スペクトル列のうちの高周波数に対応するサンプル値を０として復号音を得ることになることから、非特許文献１に記載されているような帯域拡張技術、すなわち、復号装置で低周波数に対応するサンプル列の振幅を調節しつつ複製したものを高周波数に対応するサンプル列の復号結果として出力する技術、が用いられることがある。これは、人間が音を受聴する際、高周波数に対する感度が低く、低周波数の倍音が聴こえていれば違和感がないことに基づいている。高周波数帯で節約したビット数を低周波数帯に割り当てることにより、人間の聴覚特性に対してより重要な情報を精度よく表現することができる。このように、音信号の符号化方式は、低周波数のスペクトルに対してよりビット数を割くように設計がなされていることが多い。

M. Arora, J. Lee, and S. Park, "High Quality Blind Bandwidth Extension of Audio for Portable Player Applications,"AES 120th Convention, Paris, France, 2006.

非特許文献１の帯域拡張技術によれば、自然音の中の多くの音については復号装置が得た復号音から聴覚品質の劣化が少ない帯域拡張音を得ることができる。しかし、自然音の中には人間の発話音声中の摩擦音のように、高周波数にエネルギーが集中していて、低周波数にはほとんどエネルギーがないような音も存在しており、そのような音信号に対して符号化装置で上記のようなビット数の配分の符号化を行ってしまうと、特にビットレートの低い条件下では、復号装置からはその音の主となる周波数成分が大きく歪んだ復号音が得られてしまい、その復号音から非特許文献１の帯域拡張技術で帯域拡張音を得ると、帯域拡張音は聴感的にも劣化してしまうという課題がある。

そこで、本発明は、摩擦音などの音信号も聴感的な劣化が少なくなるように、復号側での帯域拡張を前提とした符号化側での圧縮符号化を行う符号化装置、復号側での帯域拡張を伴う復号をする復号装置、これらの方法及びプログラムを提供することを目的とする。

この発明の一態様による復号装置は、所定の時間区間のフレーム単位のスペクトル符号であって、高域側の一部にビットが割り当てられていないスペクトル符号、を復号して周波数領域のサンプル列を得る復号部と、復号部がスペクトル符号を復号して得た周波数領域のサンプル列よりも高域側に、復号部がスペクトル符号を復号して得た周波数領域のサンプル列に含まれるK個（Kは2以上の整数）のサンプルに基づくサンプルを配置することにより、復号拡張周波数スペクトル系列を得る帯域拡張部と、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、帯域拡張部が得た復号拡張周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数サンプル列の全部または一部と、これと同数の、帯域拡張部が得た復号拡張周波数スペクトル系列のうちの所定の周波数よりも高域側にある高域側周波数サンプル列の全部または一部と、を入れ替えたものを復号音信号の周波数スペクトル系列として得て、前記以外の場合には、帯域拡張部が得た復号拡張周波数スペクトル系列をそのまま復号音信号の周波数スペクトル系列として得る摩擦音調整解除部と、を含む。

この発明の一態様による復号装置は、所定の時間区間のフレーム単位のスペクトル符号を復号して復号音信号の周波数スペクトル系列を得る復号装置であって、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、スペクトル符号には低域側の一部にビットが割り当てられていないとして、スペクトル符号を復号して周波数領域のスペクトル系列を得て、前記以外の場合には、スペクトル符号には高域側の一部にビットが割り当てられていないとして、スペクトル符号を復号して周波数領域のスペクトル系列を得る復号部と、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、復号部が得た周波数領域のスペクトル系列について低域側への帯域拡張を行って復号音信号の周波数スペクトル系列を得、前記以外の場合には、復号部が得た周波数領域のスペクトル系列について高域側への帯域拡張を行って復号音信号の周波数スペクトル系列を得る摩擦音対応帯域拡張部と、を含む。

この発明の一態様による符号化装置は、所定の時間区間のフレーム単位の音信号に対応する周波数のサンプル列を高域側の一部にビットを割り当てない符号化処理で符号化してスペクトル符号を得る符号化部を含む符号化装置であって、音信号が摩擦音的な音であるか否かを判定する摩擦音判定部と、摩擦音判定部が摩擦音的な音であると判定した場合には、音信号の周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数スペクトル系列の全部または一部と、これと同数の、周波数スペクトル系列のうちの所定の周波数よりも高域側にある高域側周波数スペクトル系列の全部または一部と、を入れ替えたものを調整済周波数スペクトル系列として得て、前記以外の場合には、音信号に対応する周波数スペクトル系列をそのまま調整済周波数スペクトル系列として得る摩擦音調整部と、を含み、符号化部は、摩擦音調整部が得た調整済周波数スペクトル系列を音信号に対応する周波数のサンプル列として符号化してスペクトル符号を得るものであり、複数個の符号と、符号のそれぞれに対応する利得候補ベクトルと、が記憶されており、利得候補ベクトルのそれぞれはK個（Kは2以上の整数）の利得候補値を含み、調整済周波数スペクトル系列のうちの符号化部がビットを割り当てたK個の調整済周波数スペクトルと、利得候補ベクトルに含まれるK個の利得候補値と、を乗算して得たK個の値の絶対値による系列と、調整済周波数スペクトル系列のうちの符号化部がビットを割り当てなかったK個の調整済周波数スペクトルの絶対値による系列と、の誤差が最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得て出力する帯域拡張利得符号化部を更に含む。

符号化装置及び復号装置によれば、摩擦音などの音信号も聴感的な劣化が少なくなるように符号化及び復号を行うことができる。

第一実施形態の符号化装置の例を示すブロック図。 第一実施形態の符号化方法の例を示す流れ図。 第一実施形態の復号装置の例を示すブロック図。 第一実施形態の復号方法の例を示す流れ図。 摩擦音調整処理の例を説明するための図。 摩擦音調整処理の例を説明するための図。 摩擦音調整処理の例を説明するための図。 摩擦音調整処理の例を説明するための図。 第二実施形態の符号化装置の例を示すブロック図。 第二実施形態の符号化方法の例を示す流れ図。 第二実施形態の復号装置の例を示すブロック図。 第二実施形態の復号方法の例を示す流れ図。 帯域拡張処理及び摩擦音調整解除処理の例を説明するための図。 帯域拡張処理及び摩擦音調整解除処理の例を説明するための図。

＜第一実施形態＞
第一実施形態は、この発明の一実施形態である第二実施形態の前提となる実施形態である。

第一実施形態のシステムは、符号化装置および復号装置を含む。符号化装置は、所定の時間長のフレーム単位で入力された時間領域の音信号を符号化して符号を得て出力する。符号化装置が出力する符号は復号装置へ入力される。復号装置は入力された符号を復号してフレーム単位の時間領域の音信号を出力する。符号化装置に入力される音信号は、例えば、音声や音楽などの音をマイクロホンで収音し、ＡＤ変換して得られた音声信号又は音響信号である。また、復号装置が出力した音信号は、例えば、ＤＡ変換され、スピーカで再生されることで、受聴可能とされる。

≪符号化装置≫
図１を参照して、第一実施形態の符号化装置の処理手続きを説明する。図１に例示するように、第一実施形態の符号化装置は、周波数領域変換部１１、摩擦音判定部１２、摩擦音調整部１３、符号化部１４、多重化部１５を含む。符号化装置に入力された時間領域の音信号は周波数領域変換部１１へ入力される。符号化装置は、各部で所定の時間長のフレーム単位での処理を行う。第一実施形態の符号化方法は、符号化装置の各部が、以下及び図２に例示するステップＳ１１からステップＳ１５の処理を行うことにより実現される。

なお、時間領域の音信号ではなく周波数領域の音信号を符号化装置に入力する構成としてもよい。この構成とする場合には、符号化装置は周波数領域変換部１１を含まないでよく、所定の時間長のフレーム単位の周波数領域の音信号を摩擦音判定部１２と摩擦音調整部１３に入力すればよい。

［周波数領域変換部１１］
周波数領域変換部１１には、符号化装置に入力された時間領域の音信号が入力される。周波数領域変換部１１は、所定の時間長のフレーム単位で、入力された時間領域の音信号を例えば修正離散コサイン変換（MDCT）などで周波数領域のN点の周波数スペクトル系列X₀,…,X_N-1に変換して出力する（ステップＳ１１）。Nは正の整数であり、例えばN=32などである。また、Xに下付きで付してある添え字は周波数の低いスペクトルから順に振られている番号である。周波数領域への変換方法として、MDCTではない様々な公知の変換方法等（例えば、離散フーリエ変換、短時間フーリエ変換等）を用いてもよい。

周波数領域変換部１１は、変換により得た周波数スペクトル系列を、摩擦音判定部１２及び摩擦音調整部１３に出力する。なお、周波数領域変換部１１は、変換により得た周波数スペクトル系列に対して聴覚的な重み付けのためにフィルタ処理や圧伸処理を施し、フィルタ処理後や圧伸処理後の系列を周波数スペクトル系列X₀,…,X_N-1として出力してもよい。

［摩擦音判定部１２（摩擦音判定装置）］
摩擦音判定部１２には、例えば、周波数領域変換部１１が出力した周波数スペクトル系列X₀,…,X_N-1が入力される。摩擦音判定部１２は、フレーム単位で、入力された周波数スペクトル系列X₀,…,X_N-1を用いて、音信号が摩擦音的な音であるか否かを判定し、その判定結果を摩擦音判定情報として摩擦音調整部１３及び多重化部１５へ出力する（ステップＳ１２）。摩擦音判定情報としては、例えば、１ビットの情報を用いればよい。すなわち、摩擦音判定部１２は、フレーム単位で、音信号が摩擦音的な音である場合には、摩擦音的な音であることを示す情報としてビット"1"を、当該フレームの音信号が摩擦音的な音でない場合には、摩擦音的な音でないことを示す情報としてビット"0"を、摩擦音判定情報として出力すればよい。

摩擦音判定部１２は、例えば、入力された周波数スペクトル系列X₀,…,X_N-1のうちの低域側にあるサンプルの平均エネルギーに対する入力された周波数スペクトル系列X₀,…,X_N-1のうちの高域側にあるサンプルの平均エネルギーの比が大きいほど大きくなる指標を当該フレームが摩擦音的な音であることの指標として求める。摩擦音判定部１２は、求めた指標が予め定めた閾値より大きいか閾値以上である場合に摩擦音的な音であると判定し、そうでない場合すなわち求めた指標が予め定めた閾値以下であるか閾値より小さい場合に摩擦音的な音でないと判定する。

1より大きくN-1より小さい整数値をMAとし、MAより大きくNより小さい整数値をMBとすると、摩擦音判定部１２は、例えば、周波数スペクトル系列X₀,…,X_N-1のうちのサンプル番号がMA以下のサンプルであるX₀,…,X_MAを低域側にあるサンプルとし、周波数スペクトル系列X₀,…,X_N-1のうちのサンプル番号がMB以上のサンプルであるX_MB,…,X_N-1を高域側にあるサンプルとして、X₀,…,X_MAの全てまたは一部のサンプルの値の絶対値和の平均値または二乗和の平均値を低域側平均エネルギーとし、X_MB,…,X_N-1の全てまたは一部のサンプルの値の絶対値和の平均値または二乗和の平均値を高域側平均エネルギーとし、高域側平均エネルギーを低域側平均エネルギーで除算して得られる値を摩擦音的な音であることの指標として求める。

なお、整数値MAは、摩擦音判定部１２で低域側平均エネルギーの算出対象となる低域側のサンプルが、後述する摩擦音調整部１３での低域側周波数スペクトル系列に含まれるように、設定するのがよい。すなわち、摩擦音判定部１２で用いる整数値MAは、後述する摩擦音調整部１３の整数値M未満の値とするのがよい。また、整数値MBは、摩擦音判定部１２で高域側平均エネルギーの算出対象となる高域側のサンプルが、後述する摩擦音調整部１３での高域側周波数スペクトル系列に含まれるように、設定するのがよい。すなわち、摩擦音判定部１２で用いる整数値MBは、後述する摩擦音調整部１３の整数値M以上の値とするのがよい。

低域側にあるサンプルX₀,…,X_MAのうちの一部のサンプルの値を上記の指標の算出に用いる場合には、X₀,…,X_MAのうちの周波数が最も低い側から１個または複数個のサンプルの値を上記の指標の算出に用いるのがよい。すなわち、αをMA未満の正の整数として、X₀,…,X_αのサンプルの値の絶対値和の平均値または二乗和の平均値を低域側平均エネルギーとするのがよい。このαの値は、X₀,…,X_αが摩擦音的な音以外の音であれば周波数スペクトルが通常存在し得る範囲になるように、事前の実験などに基づいて予め定めればよい。

後述する符号化部１４での符号化処理においては、符号化処理で得るビット数の最大値の制約から、調整済周波数スペクトル系列のうちの最も高い周波数から何個かのサンプルにはビットが全く割り当てられないことがある。この場合、後述する摩擦音調整部１３での周波数スペクトルの調整処理を行ったとしても行わなかったとしても、周波数スペクトル系列のうちの最も高い周波数からβ個（βは正の整数）のサンプルにはビットが全く割り当てられないことがある。このような場合には、X_MB,…,X_N-1のうちの最も高い周波数からβ個のサンプルを除いたX_MB,…,X_N-1-βを上記の指標の算出に用いるとよい。すなわち、X_MB,…,X_N-1-βのサンプルの値の絶対値和の平均値または二乗和の平均値を高域側平均エネルギーとするのがよい。なお、このβの値は、事前に設計した符号化部１４が行う符号化処理と摩擦音調整部１３が行う調整処理に対応させて、予め定めればよい。

図５と図６は、N=32、M=20の場合の後述する摩擦音調整部１３の例である。これらの例においては、周波数スペクトル系列のうちのX₀,…,X₁₉が低域側周波数スペクトル系列とされ、周波数スペクトル系列のうちのX₂₀,…,X₃₁が高域側周波数スペクトル系列とされる。したがって、摩擦音判定部１２は、MAを20未満の値である例えば19とし、MBを20以上の値である例えば20として、X₀,…,X₁₉の全てまたは一部のサンプルの値の絶対値和の平均値または二乗和の平均値を低域側平均エネルギーとし、X₂₀,…,X₃₁の全てまたは一部のサンプルの値の絶対値和の平均値または二乗和の平均値を高域側平均エネルギーとすればよい。ここでα=8とする場合には、摩擦音判定部１２はX₀,…,X₈のサンプルの値の絶対値和の平均値または二乗和の平均値を低域側平均エネルギーとすればよい。またここでβ=4とする場合には、摩擦音判定部１２はX₂₀,…,X₂₇のサンプルの値の絶対値和の平均値または二乗和の平均値を高域側平均エネルギーとすればよい。

なお、図１に破線で示したように、摩擦音判定部１２に周波数領域変換部１１が出力した周波数スペクトル系列ではなく符号化装置に入力された時間領域の音信号を入力して、フレーム単位で、入力された時間領域の音信号を用いて、当該フレームの音信号が摩擦音的な音であるか否かを判定してもよい。この判定は、例えば、入力された時間領域の音信号の零交差点数を当該フレームが摩擦音的な音であることの指標として求め、求めた指標が予め定めた閾値より大きいか閾値以上である場合に摩擦音的な音であると判定し、そうでない場合すなわち求めた指標が予め定めた閾値以下であるか閾値より小さい場合に摩擦音的な音でないと判定することにより行えばよい。

［摩擦音調整部１３］
摩擦音調整部１３には、周波数領域変換部１１が出力した周波数スペクトル系列X₀,…,X_N-1と、摩擦音判定部１２が出力した摩擦音判定情報が入力される。摩擦音調整部１３は、フレーム単位で、入力された摩擦音判定情報が摩擦音的な音であることを示す場合には、入力された周波数スペクトル系列X₀,…,X_N-1に対して以下の周波数スペクトルの調整処理を行って調整済周波数スペクトル系列Y₀,…,Y_N-1を得て、得られた調整済周波数スペクトル系列Y₀,…,Y_N-1を符号化部１４へ出力し、摩擦音判定情報が摩擦音的な音でないことを示す場合には、周波数スペクトル系列X₀,…,X_N-1をそのまま調整済周波数スペクトル系列Y₀,…,Y_N-1として符号化部１４へ出力する（ステップＳ１３）。

1より大きくNより小さい整数値をMとすると、例えば、周波数スペクトル系列X₀,…,X_N-1のうちのサンプル番号がM未満のサンプルであるX₀,…,X_M-1によるサンプル群を低域側周波数スペクトル系列とし、周波数スペクトル系列X₀,…,X_N-1のうちのサンプル番号がM以上のサンプルであるX_M,…,X_N-1によるサンプル群を高域側周波数スペクトル系列とすると、摩擦音判定情報が摩擦音的な音であることを示す場合に摩擦音調整部１３が行う調整処理は、低域側周波数スペクトル系列X₀,…,X_M-1の全部または一部のサンプルと、これと同数の、高域側周波数スペクトル系列X_M,…,X_N-1の全部または一部のサンプルと、を入れ替えたものを調整済周波数スペクトル系列Y₀,…,Y_N-1として得る処理である。以下、摩擦音調整部１３が行う調整処理を例示する。摩擦音調整部１３が行う調整処理としては、以下に例示するものを含む様々な処理が有り得るが、何れの処理を行うかは予め定めておく。

〔摩擦音調整部１３が行う調整処理の例１〕
摩擦音調整部１３は、摩擦音判定情報が摩擦音的な音であることを示す場合には、例えば、下記のStep 1-1からStep 1-6までを行うことにより調整済周波数スペクトル系列Y₀,…,Y_N-1を得る。なお、下記のStep 1-1からStep 1-6までは摩擦音調整部１３の動作を分かり易く示すために6個のステップに分けてあるが、下記のStep 1-1からStep 1-6までを分けて行うのはあくまでも一例であり、摩擦音調整部１３は、配列の要素の入れ替えやインデックスの付け替えを行う等によりStep 1-1からStep 1-6までと等価な処理を1回のステップで行ってもよい。

Step 1-1：周波数スペクトル系列X₀,…,X_N-1のうちのサンプル番号がM未満のサンプルによるサンプル群を低域側周波数スペクトル系列X₀,…,X_M-1とし、周波数スペクトル系列X₀,…,X_N-1のうちのサンプル番号がM以上のサンプルによるサンプル群を高域側周波数スペクトル系列X_M,…,X_N-1とする。

Step 1-2：Step 1-1で得た低域側周波数スペクトル系列X₀,…,X_M-1に含まれるC個（Cは正の整数)のサンプルを高域側への調整対象サンプルとして取り出す。

Step 1-3：Step 1-1で得た高域側周波数スペクトル系列X_M,…,X_N-1に含まれるC個のサンプルを低域側への調整対象サンプルとして取り出す。

Step 1-4：Step 1-2で低域側周波数スペクトル系列中の高域側への調整対象サンプルを取り出したサンプル位置に、Step 1-3で高域側周波数スペクトル系列から取り出した低域側への調整対象サンプルを配置したものを低域側調整済周波数スペクトル系列Y₀,…,Y_M-1として得る。

Step 1-5：Step 1-3で高域側周波数スペクトル系列中の低域側への調整対象サンプルを取り出したサンプル位置に、Step1-2で低域側周波数スペクトル系列から取り出した高域側への調整対象サンプルを配置したものを高域側調整済周波数スペクトル系列Y_M,…,Y_N-1として得る。

Step 1-6：Step 1-4で得た低域側調整済周波数スペクトル系列Y₀,…,Y_M-1と、Step 1-5で得た高域側調整済周波数スペクトル系列Y_M,…,Y_N-1と、を結合して、調整済周波数スペクトル系列Y₀,…,Y_N-1を得る。

N=32、M=20、C=8の場合のStep 1-1からStep 1-6までの例を図５に示す。摩擦音調整部１３は、まず、周波数スペクトル系列X₀,…,X₃₁のうちのX₀,…,X₁₉を低域側周波数スペクトル系列とし、X₂₀,…,X₃₁を高域側周波数スペクトル系列とする (Step 1-1)。摩擦音調整部１３は、低域側周波数スペクトル系列X₀,…,X₁₉に含まれる8個のサンプルX₂,…,X₉を高域側への調整対象サンプルとして取り出す(Step 1-2)。摩擦音調整部１３は、高域側周波数スペクトル系列X₂₀,…,X₃₁に含まれる8個のサンプルX₂₀,…,X₂₇を低域側への調整対象サンプルとして取り出す(Step 1-3)。摩擦音調整部１３は、低域側周波数スペクトル系列中のX₂,…,X₉があったサンプル位置にX₂₀,…,X₂₇を配置したものを低域側調整済周波数スペクトル系列Y₀,…,Y₁₉として得る(Step 1-4)。摩擦音調整部１３は、高域側周波数スペクトル系列中のX₂₀,…,X₂₇があったサンプル位置にX₂,…,X₉を配置したものを高域側調整済周波数スペクトル系列Y₂₀,…,Y₃₁として得る(Step 1-5)。摩擦音調整部１３は、低域側調整済周波数スペクトル系列Y₀,…,Y₁₉と高域側調整済周波数スペクトル系列Y₂₀,…,Y₃₁とを結合して調整済周波数スペクトル系列Y₀,…,Y₃₁を得る(Step 1-6)。

〔摩擦音調整部１３が行う調整処理の例２〕
また、摩擦音調整部１３は、上記のStep 1-4に代えて下記のStep 1-4'を行ってもよい。

Step 1-4’：Step 1-2で低域側周波数スペクトル系列中の高域側への調整対象サンプルを取り出した残りのサンプルを低域側に詰めて、空いた高域側のサンプル位置にStep 1-3で高域側周波数スペクトル系列から取り出した低域側への調整対象サンプルを配置したもの、を低域側調整済周波数スペクトル系列Y₀,…,Y_M-1として得る。

摩擦音調整部１３がStep 1-4に代えてStep 1-4'を行うことで、後段の符号化部１４では、対応する周波数が低いサンプルほど聴覚的な重要度を高くして符号化することが可能となる。

このように、摩擦音調整部１３は、摩擦音判定部１２が摩擦音的な音であると判定した場合には、調整済周波数スペクトル系列が低域側調整済周波数スペクトル系列と高域側調整済周波数スペクトル系列により構成されるとして、低域側周波数スペクトル系列中の一部のサンプルを高域側調整済周波数スペクトル系列中に含め、低域側周波数スペクトル系列中の残りのサンプルを低域側調整済周波数スペクトル系列中の低域側に配置し、高域側周波数スペクトル系列中の一部のサンプルを低域側調整済周波数スペクトル系列中の高域側に配置し、高域側周波数スペクトル系列中の残りのサンプルを高域側調整済周波数スペクトル系列中に含めることにより調整済周波数スペクトル系列を得てもよい。
〔摩擦音調整部１３が行う調整処理の例３〕
同様に、摩擦音調整部１３は、上記のStep 1-5に代えて下記のStep 1-5'を行ってもよい。

Step 1-5’：Step 1-3で高域側周波数スペクトル系列中の低域側への調整対象サンプルを取り出した残りのサンプルを低域側に詰めて、空いた高域側のサンプル位置にStep1-2で低域側周波数スペクトル系列から取り出した高域側への調整対象サンプルを配置したもの、を高域側調整済周波数スペクトル系列Y_M,…,Y_N-1を得る。

摩擦音調整部１３がStep 1-5に代えてStep 1-5'を行うことで、後段の符号化部１４では、元は高域側にあったサンプルのほうを元は低域側にあったサンプルよりも聴覚的な重要度を高くして符号化することが可能となる。

N=32、M=20、C=8の場合のStep 1-1からStep 1-6までのうちのStep 1-4に代えてStep 1-4'を行い、Step 1-5に代えてStep 1-5'を行う例を図６に示す。摩擦音調整部１３は、まず、周波数スペクトル系列X₀,…,X₃₁のうちのX₀,…,X₁₉を低域側周波数スペクトル系列とし、X₂₀,…,X₃₁を高域側周波数スペクトル系列とする (Step 1-1)。摩擦音調整部１３は、低域側周波数スペクトル系列X₀,…,X₁₉に含まれる8個のサンプルX₂,…,X₉を高域側への調整対象サンプルとして取り出す(Step 1-2) 。摩擦音調整部１３は、高域側周波数スペクトル系列X₂₀,…,X₃₁に含まれる8個のサンプルX₂₀,…,X₂₇を低域側への調整対象サンプルとして取り出す(Step 1-3)。摩擦音調整部１３は、低域側周波数スペクトル系列中のX₁₀,…,X₁₉を低域側に詰め、低域側に詰めたX₁₀,…,X₁₉の高域側にX₂₀,…,X₂₇を配置したものを低域側調整済周波数スペクトル系列Y₀,…,Y₁₉として得る(Step 1-4') 。摩擦音調整部１３は、高域側周波数スペクトル系列中のX₂₈,…,X₃₁を低域側に詰め、低域側に詰めたX₂₈,…,X₃₁の高域側にX₂,…,X₉を配置したものを高域側調整済周波数スペクトル系列Y₂₀,…,Y₃₁として得る(Step 1-5')。摩擦音調整部１３は、低域側調整済周波数スペクトル系列Y₀,…,Y₁₉と高域側調整済周波数スペクトル系列Y₂₀,…,Y₃₁とを結合して調整済周波数スペクトル系列Y₀,…,Y₃₁を得る(Step 1-6)。

このようにして、摩擦音調整部１３は、摩擦音判定部１２が摩擦音的な音であると判定した場合には、調整済周波数スペクトル系列が低域側調整済周波数スペクトル系列と高域側調整済周波数スペクトル系列により構成されるとして、低域側周波数スペクトル系列中の一部のサンプルを高域側調整済周波数スペクトル系列中の高域側に配置し、低域側周波数スペクトル系列中の残りのサンプルを低域側調整済周波数スペクトル系列中に含め、高域側周波数スペクトル系列中の一部のサンプルを低域側調整済周波数スペクトル系列中に含め、高域側周波数スペクトル系列中の残りのサンプルを高域側調整済周波数スペクトル系列中の低域側に配置することにより調整済周波数スペクトル系列を得てもよい。

〔摩擦音調整部１３が行う調整処理の例４〕
また、摩擦音調整部１３は、上記のStep 1-2における低域側周波数スペクトル系列からの高域側への調整対象サンプルには、周波数が最も低いものから１個または複数個のサンプルを含めないようにするのが望ましい。これは、周波数が低いサンプルはフレーム間の信号波形の連続性に寄与するサンプルであり、符号化部１４でより多くのビットを割り当てた符号化をするべきだからである。すなわち、γを正の整数としたとき、低域側周波数スペクトル系列のうちのX_γ,…,X_M-1からC個の調整対象サンプルを選ぶようにするのがよく、例えばX_γ,…,X_γ+C-1を調整対象サンプルとすればよい。なお、γの値を大きくすればフレーム間の信号波形の連続性は高まるが、その他のサンプルに符号化部１４で割り当てられるビット数は相対的に少なくなることから、フレーム内の復号音の聴覚品質が低くなる。従って、γの値は、これらのことを考慮して、事前の実験等により定めるとよい。

上述した図５と図６の例では、γ＝２とし、低域側周波数スペクトル系列のうちの周波数が最も低いものから２個のサンプルであるX₀とX₁を、低域側周波数スペクトル系列からの高域側への調整対象サンプルに含めないようにしている。

言い換えれば、摩擦音調整部１３は、摩擦音判定部１２が摩擦音的な音であると判定した場合には、低域側周波数スペクトル系列中の高域側にある一部と、これと同数の、高域側周波数スペクトル系列の全部または一部と、を入れ替えたものを調整済周波数スペクトル系列として得てもよい。

〔摩擦音調整部１３が行う調整処理の例５〕
後述する符号化部１４での符号化処理においては、符号化処理で得るビット数の最大値の制約から、調整済周波数スペクトル系列のうちの周波数が最も高いものから何個かのサンプルにはビットが全く割り当てられないことがある。この場合は、高域側周波数スペクトル系列X_M,…,X_N-1のうちの周波数が最も高いものから１個または複数個のサンプルについては符号化対象とせずに、高域側周波数スペクトル系列X_M,…,X_N-1のうちの低域側にある残りのサンプルを符号化対象とするのがよい。従って、この場合には、摩擦音調整部１３は、上記のStep 1-3における高域側周波数スペクトル系列からの低域側への調整対象サンプルには、高域側周波数スペクトル系列のうちの周波数が最も高いものから１個または複数個のサンプルは含めないようにする。

上述した図５と図６の例では、高域側周波数スペクトル系列のうちの周波数が最も高いものから４個のサンプルであるX₂₈,…,X₃₁を、高域側周波数スペクトル系列からの低域側への調整対象サンプルに含めないようにしている。

言い換えれば、摩擦音調整部１３は、摩擦音判定部１２が摩擦音的な音であると判定した場合には、低域側周波数スペクトル系列の全部または一部と、これと同数の、高域側周波数スペクトル系列中の低域側にある一部と、を入れ替えたものを調整済周波数スペクトル系列として得てもよい。

［符号化部１４］
符号化部１４には、摩擦音調整部１３が出力した調整済周波数スペクトル系列Y₀,…,Y_N-1が入力される。符号化部１４は、フレーム単位で、入力された調整済周波数スペクトル系列Y₀,…,Y_N-1を、サンプル番号が小さいサンプルに対して優先してビットを割り当てる方法で、例えば非特許文献１と同じ方法で、符号化してスペクトル符号を得て、得たスペクトル符号を多重化部１５へ出力する（ステップＳ１４）。

ここで、サンプル番号が小さいサンプルに対して優先してビットを割り当てる方法とは、例えば、調整済周波数スペクトル系列Y₀,…,Y_N-1を複数の部分系列に分け、サンプル番号が小さいほうの部分系列ほど小さな値の利得で部分系列に含まれる各サンプルを除算して、除算結果の整数値それぞれを可変長符号や固定長符号を用いて符号化したり、ベクトル量子化をしたりして、調整済周波数スペクトル系列に対応する符号であるスペクトル符号を得る方法などである。その際、サンプル番号が大きいほうの一部の部分系列については、当該部分系列に対応する符号を得ないようにしてもよい。すなわち、サンプル番号が大きいほうの一部の部分系列については、ビットを割り当てないようにしてもよい。

調整済周波数スペクトル系列Y₀,…,Y_N-1のうちのサンプル番号が小さいほうの部分系列については、部分系列に含まれるサンプルの値それぞれを小さな値の利得で除算して得た大きな値の整数値それぞれを符号化することになるため、各整数値は多くのビットを割り当てて符号化することになる。一方、調整済周波数スペクトル系列Y₀,…,Y_N-1のうちのサンプル番号が大きいほうの部分系列については、部分系列に含まれるサンプルの値それぞれを大きな値の利得で除算して得た小さな値の整数値それぞれを符号化することになるため、各整数値は少ないビットを割り当てて符号化することになる。部分系列に含まれるサンプルの値それぞれを大きな値の利得で除算して得た整数値は０であることも多い。

なお、図１に一点鎖線で示すように、摩擦音調整部１３と符号化部１４とを摩擦音対応符号化部１７とすると、摩擦音対応符号化部１７は、摩擦音判定部１２が摩擦音的な音であると判定した場合には、周波数スペクトル系列を高域側に優先してビットを割り当てる符号化処理で符号化してスペクトル符号を得て、前記以外の場合には、周波数スペクトル系列を低域側に優先してビットを割り当てる符号化処理で符号化してスペクトル符号を得ていると言える。

［多重化部１５］
多重化部１５には、摩擦音判定部１２が出力した摩擦音判定情報と符号化部１４が出力したスペクトル符号が入力される。多重化部１５は、フレーム単位で、入力された摩擦音判定情報に対応する符号とスペクトル符号とを繋ぎ合わせて得た符号を出力する（ステップＳ１５）。摩擦音判定部１２が出力した摩擦音判定情報が１ビットの情報である場合には、摩擦音判定部１２が出力して多重化部１５に入力された摩擦音判定情報そのものを摩擦音判定情報に対応する符号とすればよい。

≪復号装置≫
図３を参照して、第一実施形態の復号装置の処理手続きを説明する。図３に例示するように、第一実施形態の復号装置は、多重分離部２１、復号部２２、摩擦音調整解除部２３、時間領域変換部２４を含む。復号装置には符号化装置が出力した符号が入力される。復号装置に入力された符号は多重分離部２１へ入力される。復号装置は、各部で所定の時間長のフレーム単位での処理を行う。第一実施形態の復号方法は、復号装置の各部が、以下及び図４に例示するステップＳ２１からステップＳ２４の処理を行うことにより実現される。

［多重分離部２１］
多重分離部２１には、符号化装置が出力した符号が入力される。多重分離部２１は、フレーム単位で、入力された符号を摩擦音判定情報に対応する符号とスペクトル符号に分離して、摩擦音判定情報に対応する符号から得た摩擦音判定情報を摩擦音調整解除部２３へ、スペクトル符号を復号部２２へそれぞれ出力する（ステップＳ２１）。

摩擦音判定情報を１ビットの情報とする場合には、多重分離部２１に入力された摩擦音判定情報に対応する符号そのものを摩擦音判定情報とすればよい。

［復号部２２］
復号部２２には、多重分離部２１の出力したスペクトル符号が入力される。復号部２２は、フレーム単位で、符号化装置の符号化部１４が行った符号化方法に対応する復号方法により、入力されたスペクトル符号を復号して復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1を得て、得た復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1を摩擦音調整解除部２３へ出力する（ステップＳ２２）。

符号化装置の符号化部１４の説明箇所に上述した符号化方法に対応する復号方法によりスペクトル符号を復号する場合には、復号部２２は、スペクトル符号を復号して整数値列を得て、サンプル番号が小さいほうの部分系列ほど小さな値の利得を整数値に乗算して得たサンプル値の複数の部分系列を結合して復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1を得る。サンプル番号が大きいほうの一部の部分系列について符号化装置でビットの割り当てなかった場合には、例えば、その部分系列に対応する復号調整済周波数スペクトルの値は０とする。また、整数値が０であるサンプルについては利得を乗算して得た値も０であるので、復号調整済周波数スペクトルの値は０となる。すなわち、サンプル番号が大きいほうの一部の部分系列については整数値が０であることが多く、復号調整済周波数スペクトルの値は０であることが多い。

このようにして、復号部２２は、所定の時間区間のフレーム単位のスペクトル符号であって、低域側に優先してビットが割り当てられているスペクトル符号、を復号して、復号音信号に対応する周波数領域のサンプル列（復号調整済周波数スペクトル系列）を得る。

［摩擦音調整解除部２３］
摩擦音調整解除部２３には、多重分離部２１が出力した摩擦音判定情報と復号部２２が出力した復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1が入力される。摩擦音調整解除部２３は、フレーム単位で、入力された摩擦音判定情報が摩擦音的な音であることを示す場合には、入力された復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1に対して以下の調整解除処理を行って復号周波数スペクトル系列^X₀,…,^X_N-1を得て、得られた復号周波数スペクトル系列^X₀,^X₁,…,^X_N-1を時間領域変換部２４へ出力し、摩擦音判定情報が摩擦音的な音でないと示す場合には、復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1をそのまま復号周波数スペクトル系列^X₀,…,^X_N-1として時間領域変換部２４へ出力する（ステップＳ２３）。

1より大きくNより小さい整数値をMとすると、例えば、復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1のうちのサンプル番号がM未満のサンプルである^Y₀,…,^Y_M-1によるサンプル群を低域側復号調整済周波数スペクトル系列とし、復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1のうちのサンプル番号がM以上のサンプルである^Y_M,…,^Y_N-1によるサンプル群を高域側復号調整済周波数スペクトル系列とすると、摩擦音判定情報が摩擦音的な音であることを示す場合に摩擦音調整解除部２３が行う調整解除処理は、低域側復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1の全部または一部のサンプルと、これと同数の、高域側復号調整周波数スペクトル系列^Y_M,…,^Y_N-1の全部または一部のサンプルと、を入れ替えたものを復号周波数スペクトル系列^X₀,…,^X_N-1として得る処理である。摩擦音調整解除部２３が行う調整解除処理としては、以下に例示するものを含む様々な処理が有り得るが、対応する符号化装置の摩擦音調整部１３が行った調整処理の逆処理となるよう調整解除処理を予め定めておく。

言い換えれば、摩擦音調整解除部２３は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、復号部２２が得た周波数領域のサンプル列のうちの所定の周波数よりも低域側にある低域側周波数サンプル列（低域側復号調整済周波数スペクトル系列）の全部または一部と、これと同数の、復号部２２が得た周波数領域のサンプル列のうちの所定の周波数よりも高域側にある高域側周波数サンプル列（高域側復号調整済周波数スペクトル系列）の全部または一部と、を入れ替えたものを復号音信号の周波数スペクトル系列（復号周波数スペクトル系列）として得て、前記以外の場合には、復号部２２が得た周波数領域のサンプル列（復号調整済周波数スペクトル系列）をそのまま復号音信号の周波数スペクトル系列（復号周波数スペクトル系列）として得る。

〔摩擦音調整解除部２３が行う調整解除処理の例１〕
摩擦音調整解除部２３は、摩擦音判定情報が摩擦音的な音であることを示す場合には、例えば、下記のStep 2-1からStep 2-6までを行うことにより復号周波数スペクトル系列^X₀,…,^X_N-1を得る。なお、下記のStep 2-1からStep 2-6までは摩擦音調整解除部２３の動作を分かり易く示すために6個のステップに分けてあるが、摩擦音調整解除部２３は、下記のStep 2-1からStep 2-6までを分けて行うのはあくまでも一例であり、配列の要素の入れ替えやインデックスの付け替えを行う等によりStep 2-1からStep 2-6までと等価な処理を1回のステップで行ってもよい。

Step 2-1：復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1のうちのサンプル番号がM未満のサンプルによるサンプル群を低域側復号調整済周波数スペクトル系列^Y₀,…,^Y_M-1とし、復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1のうちのサンプル番号がM以上のサンプルによるサンプル群を高域側復号調整済周波数スペクトル系列^Y_M,…,^Y_N-1とする。

Step 2-2：Step 2-1で得た低域側復号調整済周波数スペクトル系列^Y₀,…,^Y_M-1に含まれるC個（Cは正の整数)のサンプルを高域側への調整対象サンプルとして取り出す。

Step 2-3：Step 2-1で得た高域側復号調整済周波数スペクトル系列^Y_M,…,^Y_N-1に含まれるC個のサンプルを低域側への調整対象サンプルとして取り出す。

Step 2-4：Step 2-2で低域側復号調整済周波数スペクトル系列中の高域側への調整対象サンプルを取り出したサンプル位置に、Step 2-3で高域側復号調整済周波数スペクトル系列から取り出した低域側への調整対象サンプルを配置したものを低域側復号周波数スペクトル系列^X₀,…,^X_M-1として得る。

Step 2-5：Step 2-3で高域側復号調整済周波数スペクトル系列中の低域側への調整対象サンプルを取り出したサンプル位置に、Step2-2で低域側復号調整済周波数スペクトル系列から取り出した高域側への調整対象サンプルを配置したものを高域側復号周波数スペクトル系列^X_M,…,^X_N-1として得る。

Step 2-6：Step 2-4で得た低域側復号周波数スペクトル系列^X₀,…,^X_M-1と、Step 2-5で得た高域側復号周波数スペクトル系列^X_M,…,^X_N-1と、を結合して、復号周波数スペクトル系列^X₀,…,^X_N-1を得る。

N=32、M=20、C=8の場合のStep 2-1からStep 2-6までの例を図７に示す。摩擦音調整解除部２３は、まず、復号調整済周波数スペクトル系列^Y₀,…,^Y₃₁のうちの^Y₀,…,^Y₁₉を低域側復号調整済周波数スペクトル系列とし、^Y₂₀,…,^Y₃₁を高域側復号調整済周波数スペクトル系列とする(Step 2-1)。摩擦音調整解除部２３は、低域側復号調整済周波数スペクトル系列^Y₀,…,^Y₁₉に含まれる8個のサンプル^Y₂,…,^Y₉を高域側への調整対象サンプルとして取り出す(Step 2-2)。摩擦音調整解除部２３は、高域側復号調整済周波数スペクトル系列^Y₂₀,…,^Y₃₁に含まれる8個のサンプル^Y₂₀,…,^Y₂₇を低域側への調整対象サンプルとして取り出す(Step 2-3)。摩擦音調整解除部２３は、低域側復号調整済周波数スペクトル系列中の^Y₂,…,^Y₉があったサンプル位置に^Y₂₀,…,^Y₂₇を配置したものを低域側復号周波数スペクトル系列^X₀,…,^X₁₉として得る(Step 2-4)。摩擦音調整解除部２３は、高域側復号調整済周波数スペクトル系列中の^Y₂₀,…,^Y₂₇があったサンプル位置に^Y₂,…,^Y₉を配置したものを高域側復号周波数スペクトル系列^X₂₀,…,^X₃₁として得る(Step 2-5)。摩擦音調整解除部２３は、低域側復号周波数スペクトル系列^X₀,…,^X₁₉と高域側復号周波数スペクトル系列^X₂₀,…,^X₃₁とを結合して復号周波数スペクトル系列^X₀,…,^X₃₁を得る(Step 2-6)。

〔摩擦音調整解除部２３が行う調整解除処理の例２〕
摩擦音調整解除部２３は、符号化装置の摩擦音調整部１３がStep 1-4に代えてStep 1-4'を行った場合には、上記のStep 2-4に代えて下記のStep 2-4'を行う。

Step 2-4’：Step 2-2で低域側復号調整済周波数スペクトル系列中の高域側への調整対象サンプルを取り出した残りのサンプルを低域側と高域側に詰めて、空いた間のサンプル位置にStep 2-3で高域側復号調整済周波数スペクトル系列から取り出した低域側への調整対象サンプルを配置したもの、を低域側復号周波数スペクトル系列^X₀,…,^X_M-1として得る。

〔摩擦音調整部１３が行う調整処理の例３〕
摩擦音調整解除部２３は、符号化装置の摩擦音調整部１３がStep 1-5に代えてStep 1-5'を行った場合には、上記のStep 2-5に代えて下記のStep 2-5'を行う。

Step 2-5’：Step 2-3で高域側復号調整済周波数スペクトル系列中の低域側への調整対象サンプルを取り出した残りのサンプルを高域側に詰めて、空いた低域側のサンプル位置にStep2-2で低域側復号調整済周波数スペクトル系列から取り出した高域側への調整対象サンプルを配置したもの、を高域側復号周波数スペクトル系列^X_M,…,^X_N-1 として得る。

N=32、M=20、C=8の場合のStep 2-1からStep 2-6までのうちのStep 2-4に代えてStep 2-4'を行い、Step 2-5に代えてStep 2-5'を行う例を図８に示す。摩擦音調整解除部２３は、まず、復号調整済周波数スペクトル系列^Y₀,…,^Y₃₁のうちの^Y₀,…,^Y₁₉を低域側復号調整済周波数スペクトル系列とし、^Y₂₀,…,^Y₃₁を高域側復号調整済周波数スペクトル系列とする(Step 2-1)。摩擦音調整解除部２３は、低域側復号調整済周波数スペクトル系列^Y₀,…,^Y₁₉に含まれる8個のサンプル^Y₁₂,…,^Y₁₉を高域側への調整対象サンプルとして取り出す(Step 2-2) 。摩擦音調整解除部２３は、高域側復号調整済周波数スペクトル系列^Y₂₀,…,^Y₃₁に含まれる8個のサンプル^Y₂₄,…,^Y₃₁を低域側への調整対象サンプルとして取り出す(Step 2-3) 。摩擦音調整解除部２３は、低域側復号調整済周波数スペクトル系列中の^Y₀,^Y₁を低域側に詰め、^Y₂,…,^Y₁₁を高域側に詰め、空いた間に^Y₂₄,…,^Y₃₁を配置したものを低域側復号周波数スペクトル系列^X₀,…,^X₁₉として得る(Step 2-4')。摩擦音調整解除部２３は、高域側復号調整済周波数スペクトル系列中の^Y₂₀,…,^Y₂₃を高域側に詰め、高域側に詰めた^Y₂₀,…,^Y₂₃の低域側に^Y₁₂,…,^Y₁₉を配置したものを高域側復号周波数スペクトル系列^X₂₀,…,^X₃₁として得る(Step 2-5') 。摩擦音調整解除部２３は、低域側復号周波数スペクトル系列^X₀,…,^X₁₉と高域側復号周波数スペクトル系列^X₂₀,…,^X₃₁とを結合して復号周波数スペクトル系列^X₀,…,^X₃₁を得る(Step 2-6)。

〔摩擦音調整解除部２３が行う調整解除処理の例４〕
摩擦音調整解除部２３は、符号化装置の摩擦音調整部１３がStep 1-2において低域側周波数スペクトル系列からの高域側への調整対象サンプルに周波数が最も低いものから１個または複数個のサンプルを含めないようにした場合には、Step 2-2において、低域側復号調整済周波数スペクトル系列からの高域側への調整対象サンプルに周波数が最も低いものから１個または複数個のサンプルを含めないようにする。

〔摩擦音調整解除部２３が行う調整解除処理の例５〕
摩擦音調整解除部２３は、符号化装置の摩擦音調整部１３がStep 1-3において高域側周波数スペクトル系列からの低域側への調整対象サンプルに周波数が最も高いものから１個または複数個のサンプルを含めないようにした場合には、Step 2-3において、高域側復号調整済周波数スペクトル系列からの低域側への調整対象サンプルに周波数が最も高いものから１個または複数個のサンプルを含めないようにする。

なお、図３に一点鎖線で示すように、復号部２２と摩擦音調整解除部２３を摩擦音対応復号部２６とすると、摩擦音対応復号部２６は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、スペクトル符号には高域側に優先してビットが割り当てられているとして、スペクトル符号を復号して周波数スペクトル系列（復号周波数スペクトル系列）を得て、前記以外の場合には、スペクトル符号には低域側に優先してビットが割り当てられているとして、スペクトル符号を復号して周波数スペクトル系列（復号周波数スペクトル系列）を得ていると言える。

［時間領域変換部２４］
時間領域変換部２４には、摩擦音調整解除部２３が出力した復号周波数スペクトル系列^X₀,…,^X_N-1が入力される。時間領域変換部２４は、フレーム毎に、復号周波数スペクトル系列^X₀,…,^X_N-1を、符号化装置の周波数領域変換部１１が行った周波数領域への変換方法に対応する時間領域への変換方法、例えば逆ＭＤＣＴ、を用いて時間領域の信号に変換してフレーム単位の音信号（復号音信号）を得て出力する（ステップＳ２４）。

なお、符号化装置の周波数領域変換部１１において、変換により得た周波数スペクトル系列に対して聴覚的な重み付けのためのフィルタ処理や圧伸処理を施した場合は、時間領域変換部２４は、これらの処理に対応する逆フィルタ処理や逆圧伸処理を復号周波数スペクトル系列に行ったものを時間領域の信号に変換して得た復号音信号を出力する。

なお、時間領域の復号音信号ではなく周波数領域の復号音信号を復号装置が出力する構成としてもよい。この構成とする場合には、復号装置には時間領域変換部２４を含まないでよく、摩擦音調整解除部２３が得たフレーム単位の復号周波数スペクトル系列を時間区間順に連結して周波数領域の復号音信号として出力すればよい。

≪作用効果≫
第一実施形態の符号化装置と復号装置によれば、従来のような低周波数のスペクトルに対してよりビット数を割くように設計がされた符号化処理やこれらに対応する復号処理が行われる構成に、摩擦音調整処理やこれに対応する摩擦音調整解除処理を付加した構成とすることで、摩擦音などを含む音信号であっても聴感的な劣化が少なくなるように圧縮符号化することが可能となる。

摩擦音などを含む音信号であっても聴感的な劣化が少なくなるように圧縮符号化する従来技術としてはエネルギーが大きいサブバンドに優先的にビットを割り当てる符号化・復号技術も存在する。しかし、この技術では各サブバンドについてのビット割り当ての情報を符号化側から復号側に送る必要がある。これに対し、第一実施形態の符号化装置と復号装置によれば、１ビットの摩擦音判定情報を符号化側から復号側に送るだけで、摩擦音などを含む音信号であっても聴感的な劣化が少なくなるように圧縮符号化することが可能となる。

＜第一実施形態の変形例＞
第一実施形態の変形例は、符号化装置に含まれる摩擦音判定部１２のみが第一実施形態と異なる。符号化装置のその他の構成や復号装置の構成は第一実施形態と同じである。以下では、第一実施形態と異なる摩擦音判定部１２の動作と、それによる符号化装置と復号装置での作用効果について説明する。

［摩擦音判定部１２］
第一実施形態の変形例の摩擦音判定部１２は、図示しない比較結果記憶部を備える。

摩擦音判定部１２は、フレーム単位で、当該フレームの入力された周波数スペクトル系列X₀,…,X_N-1のうちの低域側にあるサンプルの平均エネルギーに対する入力された周波数スペクトル系列X₀,…,X_N-1のうちの高域側にあるサンプルの平均エネルギーの比が大きいほど大きくなる指標を当該フレームが摩擦音的な音であることの指標として求め、求めた指標が予め定めた閾値より大きいか閾値以上であるか否かを表す比較結果情報を得る。

比較結果記憶部は、この比較結果情報を、予め定めた所定個数の過去のフレームの分だけ記憶しておくものである。すなわち、摩擦音判定部１２は、フレーム単位で、当該フレームの周波数スペクトル系列から計算された比較結果情報を比較結果記憶部に新たに記憶するとともに、記憶された一番古い比較結果情報を削除する。

摩擦音判定部１２は、当該フレームの周波数スペクトル系列から計算された比較結果情報と、比較結果記憶部に記憶された所定個数の過去のフレームの比較結果情報と、を用いて、これらの比較結果情報のうちの半数以上の比較結果情報または半数より多くの比較結果情報が、予め定めた閾値より大きいか閾値以上であることを表す場合には摩擦音的な音であると判定し、そうでない場合には摩擦音的な音でないと判定し、その判定結果を摩擦音判定情報として摩擦音調整部１３及び多重化部１５へ出力する。

このようにして、摩擦音判定部１２は、当該フレームを含む複数のフレームにおいて、音信号の周波数スペクトル系列における低域側の周波数スペクトルの平均エネルギーに対する高域側の周波数スペクトルの平均エネルギーの比が大きいほど大きくなる指標が予め定めた閾値より大きいか閾値以上であるフレーム数が、そうでないフレーム数より多いかまたはそうでないフレーム数以上である場合に、当該フレームについて音信号が摩擦音的な音であると判定してもよい。

摩擦音判定情報として例えば１ビットの情報を用いればよいこと、平均エネルギーとして全てまたは一部のサンプルの値の絶対値和の平均値または二乗和の平均値を用いればよいこと、などは第一実施形態の摩擦音判定部１２と同様である。

≪作用効果≫
第一実施形態の符号化装置と復号装置での処理を行うと、調整処理と調整解除処理が行われるフレームについては高域成分の符号化歪が少なく低域成分の符号化歪が多い復号音が得られ、調整処理と調整解除処理が行われないフレームについては高域成分の符号化歪が多く低域成分の符号化歪が少ない復号音が得られることから、調整処理と調整解除処理が行われるフレームと調整処理と調整解除処理が行われないフレームとの境界では復号音の波形の不連続が発生する可能性がある。すなわち、摩擦音判定部１２の判定結果が頻繁に切り替わると、復号音の波形の不連続が頻繁に発生することになり、この不連続が知覚されることにより聴覚品質が劣化してしまう可能性がある。第一実施形態の変形例の符号化装置は、第一実施形態の符号化装置よりも、摩擦音判定部１２の判定結果が頻繁に切り替わることを抑制することができ、復号音の波形の不連続の発生頻度を抑制することができ、この不連続が知覚されることによる聴覚品質の劣化を抑えることができる。

第一実施形態の変形例の摩擦音判定部１２では、判定に用いる比較結果情報の個数を増やせば増やすほど、摩擦音判定部１２の判定結果が頻繁に切り替わることを抑制することができ、復号音の波形の不連続の発生頻度を抑制することができるが、判定に用いる比較結果情報の個数は、不連続が知覚されることによる聴覚品質の劣化とフレーム毎の復号音の聴覚品質とのトレードオフを考慮して、決める必要がある。例えば、フレーム長が3 msである場合には判定に用いる比較結果情報の個数を16個とするとよい。

＜第二実施形態＞
この発明の第二実施形態のシステムは、第一実施形態のシステムと同様に、符号化装置と復号装置を含む。

第二実施形態が第一実施形態と異なるのは、符号化装置でビットが割り当てられなかった周波数スペクトルを復号装置で復元すること、すなわち、復号装置で帯域を拡張することである。第二実施形態の復号装置は、摩擦音判定情報に基づいて入れ替わった後の周波数スペクトルである復号調整済周波数スペクトル系列に対して帯域を拡張する。符号化装置でビットが割り当てられない周波数スペクトルは、摩擦音的な音ではない時間区間については高域に、摩擦音的な音の時間区間については低域に、それぞれ含まれている。そこで、第二実施形態では、摩擦音的な音でない時間区間については、低域の周波数スペクトルの複製により高域の周波数スペクトルを再現することで帯域を拡張し、摩擦音的な音の時間区間については、高域の周波数スペクトルの複製により低域の周波数スペクトルを再現することで帯域を拡張する。

第二実施形態における周波数スペクトルの複製は、複製の元となる周波数スペクトルに利得を乗算することにより行う。そこで、第二実施形態の符号化装置は、第一実施形態の符号化装置が行うことに加えて、第二実施形態の復号装置が用いる利得を求めて、求めた利得に対応する符号を出力する。

≪符号化装置≫
図９を参照して、第二実施形態の符号化装置の処理手続きを説明する。図９に例示するように、第二実施形態の符号化装置は、周波数領域変換部１１、摩擦音判定部１２、摩擦音調整部１３、符号化部１４、帯域拡張利得符号化部１６、多重化部１５を含む。図９の第二実施形態の符号化装置が図１の符号化装置と異なるのは、帯域拡張利得符号化部１６を備え、多重化部１５が、帯域拡張利得符号化部１６が出力した帯域拡張利得符号も出力する符号に含めることである。第二実施形態の符号化装置のその他の構成、すなわち、周波数領域変換部１１、摩擦音判定部１２、摩擦音調整部１３、符号化部１４の動作は第一実施形態の符号化装置のものと同じであるので、以下では動作の要部のみを説明する。

符号化装置には、所定の時間長のフレーム単位で時間領域の音信号が入力される。符号化装置に入力された時間領域の音信号は周波数領域変換部１１へ入力される。符号化装置は、各部で所定の時間長のフレーム単位での処理を行う。第二実施形態の符号化方法は、符号化装置の各部が、以下及び図１０に例示するステップＳ１１からステップＳ１６の処理を行うことにより実現される。

［周波数領域変換部１１］
周波数領域変換部１１は、フレーム単位で、符号化装置に入力された時間領域の音信号を周波数領域のN点の周波数スペクトル系列X₀,…,X_N-1に変換して出力する（ステップＳ１１）。

［摩擦音判定部１２］
摩擦音判定部１２は、フレーム単位で、周波数領域変換部１１が得た周波数スペクトル系列X₀,…,X_N-1または符号化装置に入力された時間領域の音信号を用いて、音信号が摩擦音的な音であるか否かを判定し、その判定結果を摩擦音判定情報として出力する（ステップＳ１２）。第一実施形態の符号化装置の摩擦音判定部１２は摩擦音判定情報を摩擦音調整部１３と多重化部１５に出力したが、第二実施形態の符号化装置の摩擦音判定部１２は、摩擦音判定情報を摩擦音調整部１３と多重化部１５に加えて帯域拡張利得符号化部１６へも出力する。なお、第二実施形態の符号化装置の摩擦音判定部１２は、第一実施形態の変形例の符号化装置の摩擦音判定部１２と同じ動作をしてもよい。

言い換えれば、摩擦音判定部１２は、あるフレームの周波数スペクトル系列における低域側の周波数スペクトルの平均エネルギーに対する高域側の周波数スペクトルの平均エネルギーの比が大きいほど大きくなる指標が、予め定めた閾値より大きいか閾値以上である場合に、音信号が摩擦音的な音であると判定してもよい。

また、摩擦音判定部１２は、あるフレームを含む複数のフレームにおいて、周波数スペクトル系列における低域側の周波数スペクトルの平均エネルギーに対する高域側の周波数スペクトルの平均エネルギーの比が大きいほど大きくなる指標が予め定めた閾値より大きいか閾値以上であるフレーム数が、そうでないフレーム数より多いかまたはそうでないフレーム数以上である場合に、音信号が摩擦音的な音であると判定してもよい。

［摩擦音調整部１３］
摩擦音調整部１３は、フレーム単位で、摩擦音判定部１２が得た摩擦音判定情報が摩擦音的な音であることを示す場合には、周波数領域変換部１１が得た周波数スペクトル系列X₀,…,X_N-1に対して周波数スペクトルの調整処理を行って調整済周波数スペクトル系列Y₀,…,Y_N-1を得て、得られた調整済周波数スペクトル系列Y₀,…,Y_N-1を符号化部１４へ出力し、摩擦音判定部１２が得た摩擦音判定情報が摩擦音的な音でないことを示す場合には、周波数領域変換部１１が得た周波数スペクトル系列X₀,…,X_N-1をそのまま調整済周波数スペクトル系列Y₀,…,Y_N-1として符号化部１４へ出力する（ステップＳ１３）。

摩擦音調整部１３が行う周波数スペクトルの調整処理は、周波数スペクトル系列X₀,…,X_N-1のうちの低域側周波数スペクトル系列X₀,…,X_M-1の全部または一部のサンプルと、これと同数の、周波数スペクトル系列X₀,X…,X_N-1のうちの高域側周波数スペクトル系列X_M,…,X_N-1の全部または一部のサンプルと、を入れ替えたものを調整済周波数スペクトル系列Y₀,…,Y_N-1として得る処理である。

言い換えれば、摩擦音調整部１３は、摩擦音判定部１２が摩擦音的な音であると判定した場合には、音信号の周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数スペクトル系列の全部または一部と、これと同数の、周波数スペクトル系列のうちの所定の周波数よりも高域側にある高域側周波数スペクトル系列の全部または一部と、を入れ替えたものを調整済周波数スペクトル系列として得て、前記以外の場合には、音信号に対応する周波数スペクトル系列をそのまま調整済周波数スペクトル系列として得る。

［符号化部１４］
符号化部１４は、フレーム単位で、摩擦音調整部１３が得た調整済周波数スペクトル系列Y₀,…,Y_N-1を、サンプル番号が小さいサンプルに対して優先してビットを割り当てる方法で、符号化してスペクトル符号を得て、得たスペクトル符号を多重化部１５へ出力する（ステップＳ１４）。

第一実施形態の符号化装置の符号化部１４における、サンプル番号が小さいサンプルに対して優先してビットを割り当てる方法は、調整済周波数スペクトル系列の全てのサンプルにビットを割り当てる方法でも、サンプル番号が大きいほうの一部のサンプルにビットを割り当てない方法でもよかった。これに対し、第二実施形態の符号化装置の符号化部１４における、サンプル番号が小さいサンプルに対して優先してビットを割り当てる方法は、調整済周波数スペクトル系列のうち、サンプル番号が大きいほうの一部の調整済周波数スペクトルにビットを割り当てない方法に限定されるものとする。なお、このビットを割り当てる方法は、予め定めて符号化部１４に記憶しておくとともに、後述する帯域拡張利得符号化部１６にも記憶しておく。

符号化部１４は、例えば、調整済周波数スペクトル系列Y₀,…,Y_N-1のN個の調整済周波数スペクトルのうちのサンプル番号が大きいほうのK個（K≦N/2）の調整済周波数スペクトルY_N-K,…,Y_N-1にはビットを割り当てず、残りのサンプル番号が小さいほうからN-K個の調整済周波数スペクトルY₀,…,Y_N-K-1にビットを割り当てて、調整済周波数スペクトル系列Y₀,…,Y_N-1を符号化してスペクトル符号を得て、得たスペクトル符号を多重化部１５へ出力する。すなわち、符号化部１４は、実質的には調整済周波数スペクトル系列Y₀,…,Y_N-1のN個の調整済周波数スペクトルのうちのサンプル番号が小さいほうからN-K個の調整済周波数スペクトルY₀,…,Y_N-K-1のみを符号化してスペクトル符号を得る。

［帯域拡張利得符号化部１６］
帯域拡張利得符号化部１６には、摩擦音調整部１３が出力した調整済周波数スペクトル系列Y₀,…,Y_N-1が少なくとも入力される。帯域拡張利得符号化部１６は、フレーム単位で、入力された調整済周波数スペクトル系列Y₀,…,Y_N-1に少なくとも基づいて下記のように帯域拡張利得符号を得て、得た帯域拡張利得符号を多重化部１５へ出力する（ステップＳ１６）。

帯域拡張利得符号化部１６に調整済周波数スペクトル系列Y₀,…,Y_N-1のみが入力される構成とする場合には、例えば下記の例１のように、帯域拡張利得符号化部１６は、フレーム単位で、入力された調整済周波数スペクトル系列Y₀,…,Y_N-1に基づいて帯域拡張利得符号を得て、得た帯域拡張利得符号を多重化部１５へ出力する。

また、帯域拡張利得符号化部１６には、調整済周波数スペクトル系列Y₀,…,Y_N-1に加えて摩擦音判定部１２が出力した摩擦音判定情報も入力される構成としてもよい。この構成とする場合には、例えば下記の例２のように、帯域拡張利得符号化部１６は、フレーム単位で、入力された調整済周波数スペクトル系列Y₀,…,Y_N-1と摩擦音判定情報に基づいて帯域拡張利得符号を得て、得た帯域拡張利得符号を多重化部１５へ出力する。

帯域拡張利得符号化部１６の記憶部１６１には、利得ベクトルの候補である利得候補ベクトルとその利得候補ベクトルを特定可能な符号とが組にされて複数組予め格納されていて、各利得候補ベクトルは複数サンプル分の利得候補値により構成されている。帯域拡張利得符号化部１６は、フレーム単位で、符号化部１４がビットを割り当てた調整済周波数スペクトルの値と利得候補ベクトルを構成する利得候補値とを乗算した値の絶対値と、符号化部１４がビットを割り当てなかった調整済周波数スペクトルの値の絶対値と、の差の絶対値の総和が最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得て出力する。なお、絶対値に代えて二乗値などを用いてもよい。

以下、符号化部１４がビットを割り当てた調整済周波数スペクトルは、調整済周波数スペクトル系列Y₀,…,Y_N-1のうちのサンプル番号が小さいほうからN-K個の調整済周波数スペクトルY₀,…,Y_N-K-1であり、符号化部１４がビットを割り当てなかった調整済周波数スペクトルは、調整済周波数スペクトル系列Y₀,…,Y_N-1のうちのサンプル番号が大きいほうからK個の調整済周波数スペクトルY_N-K,…,Y_N-1である場合の例を説明する。

〔帯域拡張利得符号化部１６の例１〕
この例では、記憶部１６１には利得候補ベクトルと符号の組がJ組格納されていて、各利得候補ベクトルがKサンプル分の利得候補値により構成されているとする。以下、J個の利得候補ベクトルそれぞれをG_j (j=0,…,J-1)とし、利得候補ベクトルG_j(j=0,…,J-1)のそれぞれに対応する符号をC_Gj(j=0,…,J-1)とし、それぞれの利得候補ベクトルG_jはK個の利得候補値g_j,k (k=0,…,K-1)により構成されているとして説明する。

帯域拡張利得符号化部１６は、記憶部１６１に記憶された利得候補ベクトルG_j (j=0,…,J-1)のうちの下記の式(1)により求まるE_jが最小となる利得候補ベクトルG_jに対応する符号C_Gjを帯域拡張利得符号C_Gとして出力する。

言い換えると、帯域拡張利得符号化部１６は、符号化部１４がビットを割り当てた調整済周波数スペクトルY₀,…,Y_N-K-1のうちのサンプル番号が大きいほうからK個の調整済周波数スペクトルY_N-2K,…,Y_N-K-1と利得候補ベクトルを構成する利得候補値g_j,0,…,g_j,K-1とをそれぞれ乗算した値の絶対値|Y_N-2K g_j,0|,…,|Y_N-K-1 g_j,K|と、符号化部１４がビットを割り当てなかった調整済周波数スペクトルY_N-K,…,Y_N-1それぞれの絶対値|Y_N-K|,…,|Y_N-1|と、の差の絶対値||Y_N-2K g_j,0|-|Y_N-K||,…,||Y_N-K-1 g_j,K|-|Y_N-1||の総和E_jが最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得て出力する。

〔帯域拡張利得符号化部１６の例２〕
この例では、記憶部１６１には例１と同様に利得候補ベクトルと符号の組がJ組格納されているが、例１とは異なり、利得候補ベクトルとして摩擦音用利得候補ベクトルと非摩擦音用利得候補ベクトルの２種類が格納されているとする。すなわち、記憶部１６１には摩擦音用利得候補ベクトルと非摩擦音用利得候補ベクトルと符号の組がJ組格納されていて、各摩擦音用利得候補ベクトルと各非摩擦音用利得候補ベクトルがKサンプル分の利得候補値により構成されているとする。以下、J個の摩擦音用利得候補ベクトルそれぞれをG1_j (j=0,…,J-1)とし、J個の非摩擦音用利得候補ベクトルそれぞれをG2_j (j=0,…,J-1)とし、摩擦音用利得候補ベクトルG1_j (j=0,…,J-1)のそれぞれに対応しかつ非摩擦音用利得候補ベクトルG2_j (j=0,…,J-1)のそれぞれに対応する符号をC_Gj (j=0,…,J-1)として説明する。また、それぞれの摩擦音用利得候補ベクトルG1_jはKサンプル分すなわちK個の利得候補値g1_j,k (k=0,…,K-1)により構成されていて、それぞれの非摩擦音用利得候補ベクトルG2_jはKサンプル分すなわちK個の利得候補値g2_j,k(k=0,…,K-1)により構成されているとして説明する。

帯域拡張利得符号化部１６は、入力された摩擦音判定情報が摩擦音的な音であることを示す場合には記憶部１６１に記憶された摩擦音用利得候補ベクトルG1_j (j=0,…,J-1)を利得候補ベクトルG_j (j=0,…,J-1)として、入力された摩擦音判定情報が摩擦音的な音でないことを示す場合には記憶部１６１に記憶された非摩擦音用利得候補ベクトルG2_j (j=0,…,J-1)を利得候補ベクトルG_j (j=0,…,J-1)として、利得候補ベクトルG_j (j=0,…,J-1)のうちの上記の式(1)により求まるE_jが最小となる利得候補ベクトルG_jに対応する帯域拡張利得符号C_Gjを帯域拡張利得符号C_Gとして出力する。

言い換えると、帯域拡張利得符号化部１６は、入力された摩擦音判定情報が摩擦音的な音であることを示す場合には記憶部１６１に記憶された摩擦音用利得候補ベクトルを利得候補ベクトルとし、入力された摩擦音判定情報が摩擦音的な音でないことを示す場合には記憶部１６１に記憶された非摩擦音用利得候補ベクトルを利得候補ベクトルとして、符号化部１４がビットを割り当てた調整済周波数スペクトルY₀,…,Y_N-K-1のうちのサンプル番号が大きいほうからK個の調整済周波数スペクトルY_N-2K,…,Y_N-K-1と利得候補ベクトルを構成する利得候補値g_j,0,…,g_j,K-1とをそれぞれ乗算した値の絶対値|Y_N-2K g_j,0|,…,|Y_N-K-1 g_j,K-1|と、符号化部１４がビットを割り当てなかった調整済周波数スペクトルY_N-K,…,Y_N-1それぞれの絶対値|Y_N-K|,…,|Y_N-1|と、の差の絶対値||Y_N-2K g_j,0|-|Y_N-K||,…,||Y_N-K-1 g_j,K-1|-|Y_N-1||の総和E_jが最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得て出力する。

このように、帯域拡張利得符号化部１６には、複数個の符号と、符号のそれぞれに対応する摩擦音用利得候補ベクトルと、符号のそれぞれに対応する非摩擦音用利得候補ベクトルと、が記憶されており、帯域拡張利得符号化部１６は、摩擦音判定部１２が摩擦音的な音であると判定した場合には、摩擦音用利得候補ベクトルを利得候補ベクトルとして用い、前記以外の場合には、非摩擦音用利得候補ベクトルを利得候補ベクトルとして用いてもよい。

〔帯域拡張利得符号化部１６の例１と例２の変形例１〕
上述した例１と例２では、利得候補値の乗算の対象とする調整済周波数スペクトルは、符号化部１４がビットを割り当てた調整済周波数スペクトルY₀,…,Y_N-K-1のうちのサンプル番号が大きいほうからK個の調整済周波数スペクトルY_N-2K,…,Y_N-K-1とした。しかし、利得候補値の乗算の対象とする調整済周波数スペクトルは、符号化部１４がビットを割り当てた調整済周波数スペクトルY₀,…,Y_N-K-1のうちの予め定めたK個のサンプル番号に対応するK個の調整済周波数スペクトルであればよい。

〔帯域拡張利得符号化部１６の例１と例２の変形例２〕
上述した例１と例２では、式(1)ではkの値が小さい順のY_N-2K+k、g_j,k、Y_N-K+kを対応付けているが、予め定めた対応付けであればどのような対応付けでもよい。

〔帯域拡張利得符号化部１６の具体例〕
N=32, K=12の場合の帯域拡張利得符号化部１６の具体例を説明する。この具体例は帯域拡張利得符号化部１６の例２の変形例２に対応する。図１３と図１４は、N=32, K=12の場合の後述する復号装置の帯域拡張部２５と摩擦音調整解除部２３の例である。

図１３は摩擦音判定情報が摩擦音的な音でないことを示す場合の例である。復号装置の帯域拡張部２５は、後述するように、８番目から１９番目の復号調整済周波数スペクトルを複製元とし、これらの複製元の復号調整済周波数スペクトルの値と帯域拡張利得とを乗算した値をサンプル番号順に２０番目から３１番目の復号拡張周波数スペクトルとして得る処理を行う。そこで、帯域拡張利得符号化部１６は、入力された摩擦音判定情報が摩擦音的な音でないことを示す場合には、記憶部１６１に記憶された非摩擦音用利得候補ベクトルを利得候補ベクトルとして、符号化部１４がビットを割り当てた調整済周波数スペクトルY₀,…,Y₁₉のうちのサンプル番号が大きいほうから12個の調整済周波数スペクトルY₈,…,Y₁₉と利得候補ベクトルを構成する利得候補値g_j,0,…,g_j,11とをそれぞれ乗算した値の絶対値|Y₈ g_j,0|,…,|Y₁₉ g_j,11|と、符号化部１４がビットを割り当てなかった調整済周波数スペクトルY₂₀,…,Y₃₁それぞれの絶対値|Y₂₀|,…,|Y₃₁|と、の差の絶対値||Y₈ g_j,0|-|Y₂₀||,…,||Y₁₉ g_j,11|-|Y₃₁||の総和E_jが最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得る。

図１４は摩擦音判定情報が摩擦音的な音であることを示す場合の例である。復号装置の帯域拡張部２５は、後述するように、８番目から１９番目の復号調整済周波数スペクトルを複製元とし、これらの複製元の復号調整済周波数スペクトルの値と帯域拡張利得とを乗算した値を、１６番目から１９番目までのサンプル番号順の後が８番目から１５番目までのサンプル番号順となる順番としたものを、２０番目から３１番目の復号拡張周波数スペクトルとして得る処理を行う。そこで、帯域拡張利得符号化部１６は、入力された摩擦音判定情報が摩擦音的な音であることを示す場合には、記憶部１６１に記憶された摩擦音用利得候補ベクトルを利得候補ベクトルとして、符号化部１４がビットを割り当てた調整済周波数スペクトルY₀,…,Y₁₉のうちのサンプル番号が大きいほうから12個の調整済周波数スペクトルY₈,…,Y₁₉と利得候補ベクトルを構成する利得候補値g_j,0,…,g_j,11とをそれぞれ乗算した値の絶対値|Y₈ g_j,0|,…,|Y₁₉ g_j,11|と、符号化部１４がビットを割り当てなかった調整済周波数スペクトルY₂₄,…,Y₃₁,Y₂₀,…,Y₂₃それぞれの絶対値|Y₂₄|,…,|Y₃₁|,|Y₂₀|,…,|Y₂₃|と、の差の絶対値||Y₈ g_j,0|-|Y₂₄||,…,||Y₁₅ g_j,7|-|Y₃₁||,||Y₁₆ g_j,8|-|Y₂₀||,…,||Y₁₉ g_j,11|-|Y₂₃||の総和E_jが最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得る。

このようにして、帯域拡張利得符号化部１６には、複数個の符号と、符号のそれぞれに対応する利得候補ベクトルと、が記憶されており、利得候補ベクトルのそれぞれはK個（Kは2以上の整数）の利得候補値を含んでいるとして、帯域拡張利得符号化部１６は、調整済周波数スペクトル系列のうちの符号化部１４がビットを割り当てたK個の調整済周波数スペクトルと、利得候補ベクトルに含まれるK個の利得候補値と、を乗算して得たK個の値の絶対値による系列と、調整済周波数スペクトル系列のうちの符号化部１４がビットを割り当てなかったK個の調整済周波数スペクトルの絶対値による系列と、の誤差が最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得て出力する。

この帯域拡張利得符号化部１６の動作は、復号装置の帯域拡張部２５と摩擦音調整解除部２３の動作に対応させたものである。図８の例では、復号装置の摩擦音調整解除部２３は、２０番目から３１番目までの復号拡張周波数スペクトルのうちのサンプル番号が小さい側の２０番目から２３番目までの復号拡張周波数スペクトルを、サンプル番号が２８番目から３１番目までの復号周波数スペクトルとし、２０番目から３１番目までの復号拡張周波数スペクトルのうちのサンプル番号が大きい側の２４番目から３１番目までの復号拡張周波数スペクトルを、サンプル番号が２番目から９番目までの復号周波数スペクトルとする。復号装置の帯域拡張部２５は、この摩擦音調整解除部２３の動作により得られる復号周波数スペクトルの周波数の高低を考慮して、図１４の動作をする。

すなわち、復号装置の帯域拡張部２５は、摩擦音判定情報が摩擦音的な音であることを示す場合でも摩擦音的な音でないことを示す場合でも、復号周波数スペクトルにおける周波数の高低に整合した処理を行うようにされている。従って、帯域拡張利得符号化部１６もこの帯域拡張部２５に対応した動作をする。

［多重化部１５］
多重化部１５には、摩擦音判定部１２が出力した摩擦音判定情報と、符号化部１４が出力したスペクトル符号と、帯域拡張利得符号化部１６が出力した帯域拡張利得符号が入力される。多重化部１５は、入力された摩擦音判定情報に対応する符号とスペクトル符号と帯域拡張利得符号とを繋ぎ合わせて得た符号を出力する（ステップＳ１５）。

≪復号装置≫
図１１を参照して、第二実施形態の復号装置の処理手続きを説明する。図１１に例示するように、第二実施形態の復号装置は、多重分離部２１、復号部２２、帯域拡張部２５、摩擦音調整解除部２３、時間領域変換部２４を含む。図１１の第二実施形態の復号装置が図３の第一実施形態の復号装置と異なるのは、帯域拡張部２５を備え、多重分離部２１が、入力された符号から帯域拡張利得符号も得ることである。第二実施形態の復号装置のその他の構成、すなわち、復号部２２、摩擦音調整解除部２３、時間領域変換部２４の動作は第一実施形態の復号装置のものと同じであるので、以下では動作の要部のみを説明する。

復号装置には符号化装置が出力した符号が入力される。復号装置に入力された符号は多重分離部２１へ入力される。復号装置は、各部で所定の時間長のフレーム単位での処理を行う。第二実施形態の復号方法は、復号装置の各部が、以下及び図１２に例示するステップＳ２１からステップＳ２５の処理を行うことにより実現される。

［多重分離部２１］
多重分離部２１は、入力された符号を摩擦音判定情報に対応する符号と帯域拡張利得符号とスペクトル符号に分離して、摩擦音判定情報に対応する符号から得た摩擦音判定情報を摩擦音調整解除部２３と帯域拡張部２５へ、帯域拡張利得符号を帯域拡張部２５へ、スペクトル符号を復号部２２へそれぞれ出力する（ステップＳ２１）。

［復号部２２］
復号部２２は、フレーム単位で、符号化装置の符号化部１４が行った符号化処理に対応する復号処理により、入力されたスペクトル符号を復号して復号調整済周波数スペクトル系列を得て出力する（ステップＳ２２）。

上述したように、第二実施形態の符号化装置の符号化部１４はサンプル番号が大きいほうの一部のサンプルにビットを割り当てない符号化処理を行うことから、これらのサンプル番号の復号調整済周波数スペクトルの値はスペクトル符号を復号しても得られない。復号部２２は、上述した符号化部１４の例の場合であれば、スペクトル符号を復号して、サンプル番号が小さいほうからN-K個の復号調整済周波数スペクトル^Y₀,…,^Y_N-K-1による復号調整済周波数スペクトル系列を得る。

なお、符号化部１４でビットを割り当てなかったサンプル番号の復号調整済周波数スペクトルの値を0としてもよい。すなわち、復号部２２は、上述した符号化部１４の例の場合であれば、スペクトル符号を復号して、サンプル番号が大きいほうからK個の復号調整済周波数スペクトル^Y_N-K,…,^Y_N-1それぞれの値を0として、復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1を得てもよい。

このようにして、復号部２２は、所定の時間区間のフレーム単位のスペクトル符号であって、高域側の一部にビットが割り当てられていないスペクトル符号、を復号して周波数領域のサンプル列（復号調整済周波数スペクトル系列）を得る。

ただし、後述する通り摩擦音調整解除部２３は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、後述する帯域拡張部２５が得た復号拡張周波数スペクトル系列（復号調整済周波数スペクトル系列に基づくスペクトル系列）のうちの所定の周波数よりも低域側にある低域側周波数サンプル列の全部または一部と、帯域拡張部２５が得た復号拡張周波数スペクトル系列のうちの所定の周波数よりも高域側にある高域側周波数サンプル列の全部または一部と、を入れ替えたものを復号音信号の周波数スペクトル系列として得て、前記以外の場合には、帯域拡張部２５が得た復号拡張周波数スペクトル系列をそのまま復号音信号の周波数スペクトル系列として得る。すなわち、復号部２２は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、スペクトル符号には低域側の一部にビットが割り当てられていないとして、スペクトル符号を復号して周波数領域のスペクトル系列（復号調整済周波数スペクトル系列）を得て、前記以外の場合には、スペクトル符号には高域側の一部にビットが割り当てられていないとして、スペクトル符号を復号して周波数領域のスペクトル系列（復号調整済周波数スペクトル系列）を得ている。

第一実施形態の復号装置の復号部２２は、得た復号調整済周波数スペクトル系列を摩擦音調整解除部２３に出力したが、第二実施形態の復号装置の復号部２２は、得た復号調整済周波数スペクトル系列を帯域拡張部２５へ出力する。

［帯域拡張部２５］
帯域拡張部２５には、多重分離部２１が出力した帯域拡張利得符号と復号部２２が出力した復号調整済周波数スペクトル系列が少なくとも入力される。帯域拡張部２５は、フレーム単位で、入力された帯域拡張利得符号と復号調整済周波数スペクトル系列に少なくとも基づいて下記のように復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1を得て、得た復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1を摩擦音調整解除部２３へ出力する（ステップＳ２５）。

帯域拡張部２５に帯域拡張利得符号と復号調整済周波数スペクトル系列のみが入力される構成とする場合には、例えば下記の例１のように、帯域拡張部２５は、フレーム単位で、入力された帯域拡張利得符号と復号調整済周波数スペクトル系列に基づいて復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1を得て、得た復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1を摩擦音調整解除部２３へ出力する。

また、帯域拡張部２５には、帯域拡張利得符号と復号調整済周波数スペクトル系列に加えて多重分離部２１が出力した摩擦音判定情報も入力される構成としてもよい。この構成とする場合には、例えば下記の例２のように、帯域拡張部２５は、フレーム単位で、入力された帯域拡張利得符号と復号調整済周波数スペクトル系列と摩擦音判定情報に基づいて復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1を得て、得た復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1を摩擦音調整解除部２３へ出力する。

帯域拡張部２５の記憶部２５１には、符号化装置の帯域拡張利得符号化部１６の記憶部１６１に格納されているのと同じ、利得ベクトルの候補である利得候補ベクトルとその利得候補ベクトルを特定可能な符号とが組にされて複数組予め格納されていて、各利得候補ベクトルは複数サンプル分の利得候補値により構成されている。帯域拡張部２５はスペクトル符号を復号して得られた復号調整済周波数スペクトル（符号化装置の符号化部１４でビットを割り当てた調整済周波数スペクトルに対応する復号調整済周波数スペクトル）の全部または一部である複製元の各サンプル値と帯域拡張利得符号に対応する符号で特定される利得候補ベクトルに含まれる各帯域拡張利得とをそれぞれ乗算した値を、符号化装置の符号化部１４でビットが割り当てなかった調整済周波数スペクトルに対応する復号拡張周波数スペクトルとしたものと、スペクトル符号を復号して得られた復号調整済周波数スペクトルをそのまま復号拡張周波数スペクトルとしたものと、による系列を復号拡張周波数スペクトル系列として得る。

以下、符号化部１４がビットを割り当てた調整済周波数スペクトルは調整済周波数スペクトル系列Y₀,…,Y_N-1のうちのサンプル番号が小さいほうからN-K個の調整済周波数スペクトルY₀,…,Y_N-K-1であり、符号化部１４がビットを割り当てなかった調整済周波数スペクトルは調整済周波数スペクトル系列Y₀,…,Y_N-1のうちのサンプル番号が大きいほうからK個の調整済周波数スペクトルY_N-K,…,Y_N-1である場合の例を説明する。すなわち、スペクトル符号の復号により復号調整済周波数スペクトル系列^Y₀,…,^Y_N-K-1が得られた場合の例を説明する。
〔帯域拡張部２５の例１〕
この例では、記憶部２５１には利得候補ベクトルと符号の組がJ組格納されていて、各利得候補ベクトルがKサンプル分の利得候補値により構成されているとする。以下、J個の利得候補ベクトルそれぞれをG_j (j=0,…,J-1)とし、利得候補ベクトルG_j(j=0,…,J-1)それぞれに対応する符号をC_Gj(j=0,…,J-1)とし、それぞれの利得候補ベクトルG_jはKサンプル分すなわちK個の利得候補値g_j,k(k=0,…,K-1)により構成されているとして説明する。

帯域拡張部２５は、復号調整済周波数スペクトル^Y₀,…,^Y_N-K-1をそのまま復号拡張周波数スペクトル系列のサンプル番号が小さいほうからN-K個の復号拡張周波数スペクトル~Y₀,…,~Y_N-K-1とする。帯域拡張部２５は、また、記憶部２５１に記憶された利得候補ベクトルG_j (j=0,…,J-1)のうち、対応する符号C_Gjが入力された帯域拡張利得符号と等しい利得候補ベクトルに含まれるK個の利得候補値を帯域拡張利得g₀,…,g_K-1として得る。帯域拡張部２５は、さらに、復号調整済周波数スペクトル^Y₀,…,^Y_N-K-1のうちのサンプル番号が大きいほうからK個の復号調整済周波数スペクトル^Y_N-2K,…,^Y_N-K-1と帯域拡張利得g₀,…,g_K-1とをそれぞれ乗算した値^Y_N-2K g₀,…,^Y_N-K-1 g_K-1を、復号拡張周波数スペクトル系列のサンプル番号が大きいほうからK個の復号拡張周波数スペクトル~Y_N-K,…,~Y_N-1とする。

〔帯域拡張部２５の例２〕
この例では、記憶部２５１には例１と同様に利得候補ベクトルと符号の組がJ組格納されているが、例１とは異なり、利得候補ベクトルとして摩擦音用利得候補ベクトルと非摩擦音用利得候補ベクトルの２種類が格納されているとする。すなわち、記憶部２５１には摩擦音用利得候補ベクトルと非摩擦音用利得候補ベクトルと符号の組がJ組格納されていて、各摩擦音用利得候補ベクトルと各非摩擦音用利得候補ベクトルがKサンプル分の利得候補値により構成されているとする。以下、J個の摩擦音用利得候補ベクトルそれぞれをG1_j (j=0,…,J-1)とし、J個の非摩擦音用利得候補ベクトルそれぞれをG2_j (j=0,…,J-1)とし、摩擦音用利得候補ベクトルG1_j (j=0,…,J-1)のそれぞれに対応しかつ非摩擦音用利得候補ベクトルG2_j (j=0,…,J-1)のそれぞれに対応する符号をC_Gj (j=0,…,J-1)として説明する。また、それぞれの摩擦音用利得候補ベクトルG1_jはKサンプル分すなわちK個の利得候補値g1_j,k (k=0,…,K-1)により構成されていて、それぞれの非摩擦音用利得候補ベクトルG2_jはKサンプル分すなわちK個の利得候補値g2_j,k(k=0,…,K-1)により構成されているとして説明する。

帯域拡張部２５は、復号調整済周波数スペクトル^Y₀,…,^Y_N-K-1をそのまま復号拡張周波数スペクトル系列のサンプル番号が小さいほうからN-K個の復号拡張周波数スペクトル~Y₀,…,~Y_N-K-1とする。帯域拡張部２５は、また、入力された摩擦音判定情報が摩擦音的な音であることを示す場合には記憶部２５１に記憶された摩擦音用利得候補ベクトルG1_j (j=0,…,J-1)を利得候補ベクトルG_j (j=0,…,J-1)として、入力された摩擦音判定情報が摩擦音的な音でないことを示す場合には記憶部２５１に記憶された非摩擦音用利得候補ベクトルG2_j (j=0,…,J-1)を利得候補ベクトルG_j (j=0,…,J-1)として、利得候補ベクトルG_j (j=0,…,J-1)のうち、対応する符号C_Gjが入力された帯域拡張利得符号と等しい利得候補ベクトルに含まれるK個の利得候補値を帯域拡張利得g₀,…,g_K-1として得る。帯域拡張部２５は、さらに、復号調整済周波数スペクトル^Y₀,…,^Y_N-K-1のうちのサンプル番号が大きいほうからK個の復号調整済周波数スペクトル^Y_N-2K,…,^Y_N-K-1と帯域拡張利得g₀,…,g_K-1とをそれぞれ乗算した値^Y_N-2K g₀,…,^Y_N-K-1 g_K-1を、復号拡張周波数スペクトル系列のサンプル番号が大きいほうからK個の復号拡張周波数スペクトル~Y_N-K,…,~Y_N-1とする。

〔帯域拡張部２５の例１と例２の変形例１〕
上述した例１と例２では、帯域拡張利得の乗算の対象とする復号調整済周波数スペクトルは、スペクトル符号を復号して得られた復号調整済周波数スペクトル^Y₀,…,^Y_N-K-1のうちのサンプル番号が大きいほうからK個の調整済周波数スペクトル^Y_N-2K,…,^Y_N-K-1とした。しかし、帯域拡張利得の乗算の対象とする復号調整済周波数スペクトルは、スペクトル符号を復号して得られた復号調整済周波数スペクトル^Y₀,…,^Y_N-K-1のうちの予め定めたK個のサンプル番号に対応するK個の復号調整済周波数スペクトルであればよい。

〔帯域拡張部２５の例１と例２の変形例２〕
上述した例１と例２では、kの値が小さい順の復号調整済周波数スペクトル^Y_N-2K+kと、kの値が小さい順の帯域拡張利得g_kと、を乗算して、kの値が小さい順の復号拡張周波数スペクトル~Y_N-K+kを得ているが、すなわち、kの値が小さい順での対応付けをしているが、予め定めた対応付けであればどのような対応付けでもよい。

〔帯域拡張部２５の具体例〕
N=32, K=12の場合の帯域拡張部２５の具体例を説明する。この具体例は帯域拡張部２５の例２の変形例２に対応する。図１３と図１４は、N=32, K=12の場合の帯域拡張部２５と摩擦音調整解除部２３の処理の例である。

図１３は摩擦音判定情報が摩擦音的な音でないことを示す場合の例である。帯域拡張部２５は、スペクトル符号の復号により得られた復号調整済周波数スペクトル^Y₀,…,^Y₁₉をそのまま復号拡張周波数スペクトル~Y₀,…,~Y₁₉とする。帯域拡張部２５は、また、対応する符号C_Gjが入力された帯域拡張利得符号と等しい利得候補ベクトルに含まれる12個の利得候補値を帯域拡張利得g₀,…,g₁₁として得る。帯域拡張部２５は、さらに、復号調整済周波数スペクトル^Y₀,…,^Y₁₉のうちのサンプル番号が大きいほうから12個の復号調整済周波数スペクトル^Y₈,…,^Y₁₉と帯域拡張利得g₀,…,g₁₁とをそれぞれ乗算した値^Y₈ g₀,…,^Y₁₉ g₁₁を、復号拡張周波数スペクトル系列のサンプル番号が大きいほうからK個の復号拡張周波数スペクトル~Y₂₀,…,~Y₃₁とする。

図１４は摩擦音判定情報が摩擦音的な音であることを示す場合の例である。帯域拡張部２５は、スペクトル符号の復号により得られた復号調整済周波数スペクトル^Y₀,…,^Y₁₉をそのまま復号拡張周波数スペクトル~Y₀,…,~Y₁₉とする。帯域拡張部２５は、また、対応する符号C_Gjが入力された帯域拡張利得符号と等しい利得候補ベクトルに含まれる12個の利得候補値を帯域拡張利得g₀,…,g₁₁として得る。帯域拡張部２５は、さらに、復号調整済周波数スペクトル^Y₀,…,^Y₁₉のうちのサンプル番号が大きいほうから12個の復号調整済周波数スペクトル^Y₈,…,^Y₁₉と帯域拡張利得g₀,…,g₁₁とをそれぞれ乗算した値^Y₈ g₀,…,^Y₁₉ g₁₁を、復号拡張周波数スペクトル系列のサンプル番号が大きいほうからK個の復号拡張周波数スペクトル~Y₂₄,…,~Y_31,~Y₂₀,…,~Y₂₃とする。すなわち、帯域拡張部２５は、８番目から１９番目の復号調整済周波数スペクトル^Y₈,…,^Y₁₉を複製元とし、これらの複製元の復号調整済周波数スペクトル^Y₈,…,^Y₁₉の値と帯域拡張利得g₀,…,g₁₁とを乗算した値^Y₈ g₀,…,^Y₁₉ g₁₁を、復号調整済周波数スペクトルの１６番目から１９番目までのサンプル番号順に対応する復号拡張周波数スペクトル~Y₂₀=^Y₁₆ g₈,…,~Y₂₃=^Y₁₉ g₁₁の後が、復号調整済周波数スペクトルの８番目から１５番目までのサンプル番号順に対応する復号拡張周波数スペクトル~Y₂₄=^Y₈ g₀,…,~Y₃₁=^Y₁₅ g₇となる順番で並べたものが、２０番目から３１番目の復号拡張周波数スペクトル~Y₂₀,…,~Y₃₁となるようにする処理を行う。

この帯域拡張部２５の動作は、摩擦音調整解除部２３の動作に対応させたものである。図８の例では、摩擦音調整解除部２３は、２０番目から３１番目までの復号拡張周波数スペクトル~Y₂₀,…,~Y₃₁のうちのサンプル番号が小さい側の２０番目から２３番目までの復号拡張周波数スペクトル~Y₂₀,…,~Y₂₃を、サンプル番号が２８番目から３１番目までの復号周波数スペクトル^X₂₈,…,^X₃₁とし、２０番目から３１番目までの復号拡張周波数スペクトル~Y₂₀,…,~Y₃₁のうちのサンプル番号が大きい側の２４番目から３１番目までの復号拡張周波数スペクトル~Y₂₄,…,~Y₃₁を、サンプル番号が２番目から９番目までの復号周波数スペクトル^X₂,…,^X₈とする。帯域拡張部２５は、この摩擦音調整解除部２３の動作により得られる復号周波数スペクトルの周波数の高低を考慮して、図１４の動作をする。すなわち、復号装置の帯域拡張部２５は、摩擦音判定情報が摩擦音的な音であることを示す場合でも摩擦音的な音でないことを示す場合でも、復号周波数スペクトルにおける周波数の高低に整合した処理を行うようにされている。

このようにして、帯域拡張部２５は、復号部２２がスペクトル符号を復号して得た周波数領域のサンプル列（復号調整済周波数スペクトル系列）よりも高域側に、復号部２２がスペクトル符号を復号して得た周波数領域のサンプル列（復号調整済周波数スペクトル系列）に含まれるK個（Kは2以上の整数）のサンプルに基づくサンプルを配置することにより、復号拡張周波数スペクトル系列を得る。

より具体的には、例えば、帯域拡張部２５は、帯域拡張利得符号を復号してK個の帯域拡張利得による組を得て、復号部２２がスペクトル符号を復号して得た周波数領域のサンプル列（復号調整済周波数スペクトル系列）よりも高域側に、復号部２２がスペクトル符号を復号して得た周波数領域のサンプル列に含まれるK個のサンプルとK個の帯域拡張利得とを乗算して得たK個のサンプルを配置することにより、復号拡張周波数スペクトル系列を得る。

また、帯域拡張部２５には、複数個の符号と、符号のそれぞれに対応する摩擦音用利得候補ベクトルと、符号のそれぞれに対応する非摩擦音用利得候補ベクトルと、が記憶されているとし、摩擦音用利得候補ベクトルと非摩擦音用利得候補ベクトルのそれぞれはK個の利得候補値を含むとして、帯域拡張部２５が帯域拡張利得符号を復号してK個の帯域拡張利得による組を得る処理は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、複数個の摩擦音用利得候補ベクトルのうち対応する符号が帯域拡張利得符号と同じである摩擦音用利得候補ベクトルに含まれるK個の利得候補値をK個の帯域拡張利得の組とし、前記以外の場合には、複数個の非摩擦音用利得候補ベクトルのうち対応する符号が帯域拡張利得符号と同じである非摩擦音用利得候補ベクトルに含まれるK個の利得候補値をK個の帯域拡張利得の組とする処理であってもよい。

［摩擦音調整解除部２３］
摩擦音調整解除部２３には、多重分離部２１が出力した摩擦音判定情報と帯域拡張部２５が出力した復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1が入力される。摩擦音調整解除部２３は、フレーム単位で入力された摩擦音判定情報が摩擦音的な音であることを示す場合には、入力された復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1に対して調整解除処理を行って復号周波数スペクトル系列^X₀,…,^X_N-1を得て、得られた復号周波数スペクトル系列^X₀,…,^X_N-1を時間領域変換部２４へ出力し、摩擦音判定情報が摩擦音的な音でないと示す場合には、復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1をそのまま復号周波数スペクトル系列^X₀,…,^X_N-1として時間領域変換部２４へ出力する（ステップＳ２３）。

摩擦音調整解除部２３が行う調整解除処理は、第一実施形態の復号装置の摩擦音調整解除部２３が復号調整済周波数スペクトル系列^Y₀,…,^Y_N-1に対して行う処理と同様の処理を復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1に対して行う処理である。すなわち、1より大きくNより小さい整数値をMとすると、例えば、復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1のうちのサンプル番号がM未満のサンプルである~Y₀,…,~Y_M-1によるサンプル群を低域側復号拡張周波数スペクトル系列とし、復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1のうちのサンプル番号がM以上のサンプルである~Y_M,…,~Y_N-1によるサンプル群を高域側復号拡張周波数スペクトル系列とすると、摩擦音判定情報が摩擦音的な音であることを示す場合に摩擦音調整解除部２３が行う調整解除処理は、低域側復号拡張周波数スペクトル系列~Y₀,…,~Y_N-1の全部または一部のサンプルと、これと同数の、高域側復号拡張周波数スペクトル系列~Y_M,…,~Y_N-1の全部または一部のサンプルと、を入れ替えたものを復号周波数スペクトル系列^X₀,…,^X_N-1として得る処理である。

言い換えれば、摩擦音調整解除部２３は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、帯域拡張部２５が得た復号拡張周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数サンプル列の全部または一部と、これと同数の、帯域拡張部２５が得た復号拡張周波数スペクトル系列のうちの所定の周波数よりも高域側にある高域側周波数サンプル列の全部または一部と、を入れ替えたものを復号音信号の周波数スペクトル系列（復号周波数スペクトル系列）として得て、前記以外の場合には、帯域拡張部２５が得た復号拡張周波数スペクトル系列をそのまま復号音信号の周波数スペクトル系列（復号周波数スペクトル系列）として得てもよい。

なお、図１１に一点鎖線で示すように、帯域拡張部２５と摩擦音調整解除部２３を摩擦音対応帯域拡張部２７とすると、摩擦音対応帯域拡張部２７は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、復号部２２が得た周波数領域のスペクトル系列（復号調整済周波数スペクトル系列）について低域側への帯域拡張を行って復号音信号の周波数スペクトル系列（復号周波数スペクトル系列）を得、前記以外の場合には、復号部２２が得た周波数領域のスペクトル系列について高域側への帯域拡張を行って復号音信号の周波数スペクトル系列（復号周波数スペクトル系列）を得ていると言える。

［時間領域変換部２４］
時間領域変換部２４は、フレーム毎に、復号周波数スペクトル系列^X₀,…,^X_N-1を、符号化装置の周波数領域変換部１１が行った周波数領域への変換方法に対応する時間領域への変換方法を用いて時間領域の信号に変換してフレーム単位の音信号（復号音信号）を得て出力する（ステップＳ２４）。

≪作用効果≫
第二実施形態の符号化装置と復号装置によれば、第一実施形態の符号化装置と復号装置と同様に、摩擦音調整処理と摩擦音調整解除処理を行うことで、摩擦音的な音の時間区間では高域に優先してビットが割り当て、そうでない時間区間では低域に優先してビットを割り当てられるようにすることで、摩擦音などを含む音信号であっても聴感的な劣化を少なくすることができる。

第二実施形態の符号化装置と復号装置によれば、更に、帯域拡張利得を用いて、摩擦音的な音の時間区間では高域の周波数スペクトルの複製により低域の周波数スペクトルを再現して帯域を拡張し、そうでない時間区間では低域の周波数スペクトルの複製により高域の周波数スペクトルを再現して帯域を拡張することで、摩擦音などを含む音信号であっても第一実施形態よりも更に聴感的な劣化を少なくすることができる。その際、周波数スペクトルの振幅に基づく帯域拡張利得を用いて周波数順を維持した複製をすることで、元の周波数スペクトルの概形をなるべく再現し、聴感品質を高めている。

また、第二実施形態の符号化装置の摩擦音判定部１２として第一実施形態の変形例の摩擦音判定部１２を用いれば、第二実施形態の符号化装置の摩擦音判定部１２として第一実施形態の摩擦音判定部１２を用いる構成よりも、摩擦音判定部１２の判定結果が頻繁に切り替わることを抑制することができ、復号音の波形の不連続の発生頻度を抑制することができ、この不連続が知覚されることによる聴覚品質の劣化を抑えることができる。

［プログラム及び記録媒体］
符号化装置、復号装置及び摩擦音判定装置のそれぞれを、コンピュータによって実現してもよい。この場合、符号化装置、復号装置及び摩擦音判定装置のそれぞれが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、符号化装置、復号装置及び摩擦音判定装置のそれぞれがコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、各部の処理は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理の少なくとも一部をハードウェア的に実現することとしてもよい。

その他、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

Claims (13)

1. 所定の時間区間のフレーム単位のスペクトル符号であって、高域側の一部にビットが割り当てられていないスペクトル符号、を復号して周波数領域のサンプル列を得る復号部と、
   前記復号部が前記スペクトル符号を復号して得た周波数領域のサンプル列よりも高域側に、前記復号部が前記スペクトル符号を復号して得た周波数領域のサンプル列に含まれるK個（Kは2以上の整数）のサンプルに基づくサンプルを配置することにより、復号拡張周波数スペクトル系列を得る帯域拡張部と、
   入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、前記帯域拡張部が得た前記復号拡張周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数サンプル列の全部または一部と、これと同数の、前記帯域拡張部が得た前記復号拡張周波数スペクトル系列のうちの所定の周波数よりも高域側にある高域側周波数サンプル列の全部または一部と、を入れ替えたものを復号音信号の周波数スペクトル系列として得て、前記以外の場合には、前記帯域拡張部が得た復号拡張周波数スペクトル系列をそのまま復号音信号の周波数スペクトル系列として得る摩擦音調整解除部と、を含む、
   復号装置。
2. 請求項１に記載の復号装置であって、
   前記帯域拡張部は、帯域拡張利得符号を復号してK個の帯域拡張利得による組を得て、前記復号部が前記スペクトル符号を復号して得た前記周波数領域のサンプル列よりも高域側に、前記復号部が前記スペクトル符号を復号して得た前記周波数領域のサンプル列に含まれるK個のサンプルとK個の前記帯域拡張利得とを乗算して得たK個のサンプルを配置することにより、前記復号拡張周波数スペクトル系列を得る、
   復号装置。
3. 請求項２に記載の復号装置であって、
   前記帯域拡張部には、複数個の符号と、前記符号のそれぞれに対応する摩擦音用利得候補ベクトルと、前記符号のそれぞれに対応する非摩擦音用利得候補ベクトルと、が記憶されており、
   前記摩擦音用利得候補ベクトルと前記非摩擦音用利得候補ベクトルのそれぞれはK個の利得候補値を含み、
   前記帯域拡張部が前記帯域拡張利得符号を復号してK個の前記帯域拡張利得による組を得る処理は、入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、複数個の前記摩擦音用利得候補ベクトルのうち対応する符号が前記帯域拡張利得符号と同じである摩擦音用利得候補ベクトルに含まれるK個の利得候補値をK個の前記帯域拡張利得の組とし、前記以外の場合には、複数個の前記非摩擦音用利得候補ベクトルのうち対応する符号が前記帯域拡張利得符号と同じである非摩擦音用利得候補ベクトルに含まれるK個の利得候補値をK個の前記帯域拡張利得の組とする処理である、
   復号装置。
4. 所定の時間区間のフレーム単位のスペクトル符号を復号して復号音信号の周波数スペクトル系列を得る復号装置であって、
   入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、前記スペクトル符号には低域側の一部にビットが割り当てられていないとして、前記スペクトル符号を復号して周波数領域のスペクトル系列を得て、前記以外の場合には、前記スペクトル符号には高域側の一部にビットが割り当てられていないとして、前記スペクトル符号を復号して周波数領域のスペクトル系列を得る復号部と、
   入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、前記復号部が得た周波数領域のスペクトル系列について低域側への帯域拡張を行って前記復号音信号の前記周波数スペクトル系列を得、前記以外の場合には、前記復号部が得た周波数領域のスペクトル系列について高域側への帯域拡張を行って前記復号音信号の前記周波数スペクトル系列を得る摩擦音対応帯域拡張部と、を含む、
   復号装置。
5. 所定の時間区間のフレーム単位の音信号に対応する周波数のサンプル列を高域側の一部にビットを割り当てない符号化処理で符号化してスペクトル符号を得る符号化部を含む符号化装置であって、
   前記音信号が摩擦音的な音であるか否かを判定する摩擦音判定部と、
   前記摩擦音判定部が摩擦音的な音であると判定した場合には、前記音信号の周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数スペクトル系列の全部または一部と、これと同数の、前記周波数スペクトル系列のうちの前記所定の周波数よりも高域側にある高域側周波数スペクトル系列の全部または一部と、を入れ替えたものを調整済周波数スペクトル系列として得て、前記以外の場合には、前記音信号に対応する周波数スペクトル系列をそのまま調整済周波数スペクトル系列として得る摩擦音調整部と、を含み、
   前記符号化部は、前記摩擦音調整部が得た調整済周波数スペクトル系列を前記音信号に対応する周波数のサンプル列として符号化してスペクトル符号を得るものであり、
   複数個の符号と、前記符号のそれぞれに対応する利得候補ベクトルと、が記憶されており、前記利得候補ベクトルのそれぞれはK個（Kは2以上の整数）の利得候補値を含み、前記調整済周波数スペクトル系列のうちの前記符号化部がビットを割り当てたK個の調整済周波数スペクトルと、前記利得候補ベクトルに含まれる前記K個の利得候補値と、を乗算して得たK個の値の絶対値による系列と、前記調整済周波数スペクトル系列のうちの前記符号化部がビットを割り当てなかったK個の調整済周波数スペクトルの絶対値による系列と、の誤差が最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得て出力する帯域拡張利得符号化部を更に含む、
   符号化装置。
6. 請求項５に記載の符号化装置であって、
   前記帯域拡張利得符号化部には、複数個の符号と、前記符号のそれぞれに対応する摩擦音用利得候補ベクトルと、前記符号のそれぞれに対応する非摩擦音用利得候補ベクトルと、が記憶されており、
   前記帯域拡張利得符号化部は、前記摩擦音判定部が摩擦音的な音であると判定した場合には、摩擦音用利得候補ベクトルを前記利得候補ベクトルとして用い、前記以外の場合には、非摩擦音用利得候補ベクトルを前記利得候補ベクトルとして用いる、
   符号化装置。
7. 請求項５または６の何れかに記載の符号化装置であって、
   前記摩擦音判定部は、当該フレームの前記周波数スペクトル系列における低域側の周波数スペクトルの平均エネルギーに対する高域側の周波数スペクトルの平均エネルギーの比が大きいほど大きくなる指標が、予め定めた閾値より大きいか閾値以上である場合に、前記音信号が摩擦音的な音であると判定する、
   符号化装置。
8. 請求項５または６に記載の符号化装置であって、
   前記摩擦音判定部は、当該フレームを含む複数のフレームにおいて、前記周波数スペクトル系列における低域側の周波数スペクトルの平均エネルギーに対する高域側の周波数スペクトルの平均エネルギーの比が大きいほど大きくなる指標が予め定めた閾値より大きいか閾値以上であるフレーム数が、そうでないフレーム数より多いかまたはそうでないフレーム数以上である場合に、前記音信号が摩擦音的な音であると判定する、
   符号化装置。
9. 所定の時間区間のフレーム単位のスペクトル符号であって、高域側の一部にビットが割り当てられていないスペクトル符号、を復号して周波数領域のサンプル列を得る復号ステップと、
   前記復号ステップが前記スペクトル符号を復号して得た周波数領域のサンプル列よりも高域側に、前記復号ステップが前記スペクトル符号を復号して得た周波数領域のサンプル列に含まれるK個（Kは2以上の整数）のサンプルに基づくサンプルを配置することにより、復号拡張周波数スペクトル系列を得る帯域拡張ステップと、
   入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、前記帯域拡張ステップが得た前記復号拡張周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数サンプル列の全部または一部と、これと同数の、前記帯域拡張ステップが得た前記復号拡張周波数スペクトル系列のうちの所定の周波数よりも高域側にある高域側周波数サンプル列の全部または一部と、を入れ替えたものを復号音信号の周波数スペクトル系列として得て、前記以外の場合には、前記帯域拡張ステップが得た復号拡張周波数スペクトル系列をそのまま復号音信号の周波数スペクトル系列として得る摩擦音調整解除ステップと、を含む、
   復号方法。
10. 所定の時間区間のフレーム単位のスペクトル符号を復号して復号音信号の周波数スペクトル系列を得る復号方法であって、
    入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、前記スペクトル符号には低域側の一部にビットが割り当てられていないとして、前記スペクトル符号を復号して周波数領域のスペクトル系列を得て、前記以外の場合には、前記スペクトル符号には高域側の一部にビットが割り当てられていないとして、前記スペクトル符号を復号して周波数領域のスペクトル系列を得る復号ステップと、
    入力された摩擦音的な音であるか否かを表す情報が摩擦音的な音であることを示す場合には、前記復号ステップが得た周波数領域のスペクトル系列について低域側への帯域拡張を行って前記復号音信号の前記周波数スペクトル系列を得、前記以外の場合には、前記復号ステップが得た周波数領域のスペクトル系列について高域側への帯域拡張を行って前記復号音信号の前記周波数スペクトル系列を得る摩擦音対応帯域拡張ステップと、を含む、
    復号方法。
11. 所定の時間区間のフレーム単位の音信号に対応する周波数のサンプル列を高域側の一部にビットを割り当てない符号化処理で符号化してスペクトル符号を得る符号化ステップを含む符号化方法であって、
    前記音信号が摩擦音的な音であるか否かを判定する摩擦音判定ステップと、
    前記摩擦音判定ステップが摩擦音的な音であると判定した場合には、前記音信号の周波数スペクトル系列のうちの所定の周波数よりも低域側にある低域側周波数スペクトル系列の全部または一部と、これと同数の、前記周波数スペクトル系列のうちの前記所定の周波数よりも高域側にある高域側周波数スペクトル系列の全部または一部と、を入れ替えたものを調整済周波数スペクトル系列として得て、前記以外の場合には、前記音信号に対応する周波数スペクトル系列をそのまま調整済周波数スペクトル系列として得る摩擦音調整ステップと、を含み、
    前記符号化ステップは、前記摩擦音調整ステップが得た調整済周波数スペクトル系列を前記音信号に対応する周波数のサンプル列として符号化してスペクトル符号を得るものであり、
    複数個の符号と、前記符号のそれぞれに対応する利得候補ベクトルと、が記憶されており、前記利得候補ベクトルのそれぞれはK個（Kは2以上の整数）の利得候補値を含み、前記調整済周波数スペクトル系列のうちの前記符号化ステップがビットを割り当てたK個の調整済周波数スペクトルと、前記利得候補ベクトルに含まれる前記K個の利得候補値と、を乗算して得たK個の値の絶対値による系列と、前記調整済周波数スペクトル系列のうちの前記符号化ステップがビットを割り当てなかったK個の調整済周波数スペクトルの絶対値による系列と、の誤差が最小となる利得候補ベクトルに対応する符号を帯域拡張利得符号として得て出力する帯域拡張利得符号化ステップを更に含む、
    符号化方法。
12. 請求項１から４の何れかの復号装置の各部としてコンピュータを機能させるためのプログラム。
13. 請求項５から８の何れかの符号化装置の各部としてコンピュータを機能させるためのプログラム。

Images