JP4781272B2 - 音声符号化装置、音声復号装置、通信装置及び音声符号化方法 - Google Patents

Description

本発明は、音声信号をスケーラブルＣＥＬＰ（Code Excited Linear Prediction）方式で符号化する音声符号化装置等に関する。

ＩＰ（Internet Protocol）ネットワーク上における音声データ通信のトラフィック制御やマルチキャスト通信には、スケーラブル機能（受信側で部分的な符号化データからでも復号が可能な機能）を有する音声符号化方式が適している。ＣＥＬＰ符号化方式は、低ビットレートで高音質を実現できる音声符号化方式であり、スケーラブル符号化方式に適用されることにより、ビットレートに応じた音質調節が可能になる。

音声信号のＣＥＬＰ符号化において、適応符号帳（ＡＣＢ：Adaptive Code Book）探索（時間的に過去の駆動音源信号即ち適応符号帳を用いた音源探索）は、符号化音声信号の音質やその伝送に必要なビットレート等に大きな影響を与える。特に、スケーラブルＣＥＬＰ符号化では、その影響の度合いが一段と大きくなる。なお、スケーラブルＣＥＬＰ符号化において、拡張レイヤ（エンハンスメント層とも言う）に適応符号帳を用いない符号化方式が知られているが（例えば非特許文献１の図３を参照）、適応符号帳を用いる方が、最適化のために随時更新される過去の駆動音源信号を有効利用できることから、符号化音声信号の音質は概して良好である（例えば非特許文献１の図５を参照）。

図１に、拡張レイヤでサブフレーム毎にスケーラブルＣＥＬＰ符号化における音源探索を行う場合において、符号化対象サブフレームと、この符号化対象サブフレームの拡張レイヤ適応音源候補ベクトルを生成するために探索される適応符号帳の区間と、の時間関係を示す。図１に示すように、拡張レイヤ適応音源候補ベクトルは、拡張レイヤにおける符号化対象サブフレームよりも過去の駆動音源信号の集積である適応符号帳の所定区間を探索することによって取り出される。ちなみに、拡張レイヤにおける適応符号帳は、次の手順で生成、更新される。
（１）コアレイヤの符号化
（２）コアレイヤ駆動音源、コアレイヤの適応音源ラグ（ピッチ周期Ｔ０）及び拡張レイヤの適応符号帳（補助適応符号帳）を用いて拡張レイヤで適応符号帳探索（ピッチ予測）を行い、適応符号帳から適応音源を生成
（３）拡張レイヤで固定音源探索およびゲイン符号化を実行
（４）前記（１）〜（３）により得られた符号化後の拡張レイヤ駆動音源信号を用いて拡張レイヤの適応符号帳を更新
電子情報通信学会論文誌，Ｄ−ＩＩ，２００３年３月，Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ（Ｎｏ．３），ｐ．３７９−３８７

しかしながら、従来のスケーラブルＣＥＬＰ符号化方式では、過渡的な有声信号や有音の立ち上がり部分等の時間的に変化している区間の入力音声信号を拡張レイヤで適応符号帳探索を行って符号化すると、適応符号帳は過去の駆動音源信号の集積であるため入力音声信号の時間的変化に対応できていないことから、符号化音声信号の音質が却って劣化する問題がある。

本発明の目的は、時間的に変化している区間の音声信号をスケーラブルＣＥＬＰ符号化する場合でも、符号化音声信号の音質を改善できる音声符号化装置等を提供することであ
る。

本発明に係る音声符号化装置は、音声信号のスケーラブルＣＥＬＰ符号化において、サブフレーム毎に拡張レイヤの適応符号帳探索を行う音声符号化装置であって、コアレイヤについて、音声信号からコアレイヤ駆動音源信号及びＣＥＬＰ符号化の符号化結果を示すコアレイヤ符号化データを生成するコアレイヤ符号化手段と、拡張レイヤについて、符号化対象サブフレームよりも過去の拡張レイヤ駆動音源信号と前記過去の拡張レイヤ駆動音源信号よりも未来の前記コアレイヤ駆動音源信号とを含む拡張型適応符号帳を生成する拡張レイヤ拡張型適応符号帳生成手段と、生成した拡張型適応符号帳を探索することによって前記符号化対象サブフレームの適応音源ベクトルを示す拡張レイヤ適応音源符号を生成する拡張レイヤ拡張型適応符号帳と、を具備する構成を採る。

また、本発明に係る音声復号装置は、スケーラブルＣＥＬＰ符号化された音声符号化データを復号して復号音声を生成する音声復号装置であって、コアレイヤについて、前記音声符号化データに含まれるコアレイヤ符号化データを復号してコアレイヤ駆動音源信号及びコアレイヤ復号音声信号を生成するコアレイヤ復号手段と、拡張レイヤについて、復号対象サブフレームよりも過去の拡張レイヤ駆動音源信号と前記過去の拡張レイヤ駆動音源信号よりも未来の前記コアレイヤ駆動音源信号とを含む拡張型適応符号帳を生成する拡張レイヤ拡張型適応符号帳生成手段と、生成した拡張型適応符号帳から前記復号対象サブフレームの適応音源ベクトルを取り出す拡張レイヤ拡張型適応符号帳と、を具備する構成を採る。

本発明によれば、過渡的な有声信号や有音の立ち上がり部分等の時間的に変化している区間の音声信号をサブフレーム毎に拡張レイヤで適応符号帳探索を行って符号化する場合に、その適応符号帳が過去の拡張レイヤの駆動音源信号の集積である従来型の適応符号帳のみならず符号化対象サブフレームよりも未来の音声信号の変化を示すコアレイヤ駆動音源信号を含んで構成されるため、その符号化対象サブフレームの駆動音源を正確に推定することができ、その結果、符号化音声信号の音質を改善することができる。

以下、本発明の実施の形態について、適宜図を参照しながら詳細に説明する。

（実施の形態１）
本発明に係る実施の形態１では、音声信号がスケーラブルＣＥＬＰ符号化され、拡張レイヤで音源探索される適応符号帳が、過去の拡張レイヤの駆動音源信号の集積である従来型の適応符号帳のみならず符号化対象サブフレームよりも未来の音声信号の変化を示すコアレイヤ駆動音源信号を含んで構成される態様について説明する。なお、本実施の形態では、下記の条件下で音声信号のスケーラブルＣＥＬＰ符号化が行われるものとする。

（１）コアレイヤと拡張レイヤとの２階層スケーラブル符号化方式
（２）コアレイヤと拡張レイヤとにおけるサンプリング周波数は同一（２階層間での帯域拡張なし）
（３）拡張レイヤの音源探索において、適応符号帳探索時には、適応符号帳から生成された適応音源とコアレイヤ駆動音源信号との差分を符号化する
（４）ＬＰＣパラメータは、コアレイヤと拡張レイヤとで同一
（５）コアレイヤと拡張レイヤとのＣＥＬＰ符号化は共に、サブフレーム単位で実行される
（６）拡張レイヤのＣＥＬＰ符号化における音源探索は、１つのフレームにおける全サブフレームに対してコアレイヤのＣＥＬＰ符号化が完了した後に実行される

図２は、本実施の形態に係る音声符号化装置１００の主要な構成を示すブロック図である。なお、音声符号化装置１００は、移動体無線通信システムを構成する移動局装置又は基地局装置に搭載されて使用されるものとする。

音声符号化装置１００は、コアレイヤＣＥＬＰ符号化部１０１、拡張レイヤ拡張型適応符号帳生成部１０２、拡張レイヤ拡張型適応符号帳１０３、加算器１０４、１０６、ゲイン乗算部１０５、ＬＰＣ合成フィルタ部１０７、減算器１０８、聴感重み付け部１０９、歪最小化部１１１、拡張レイヤ固定符号帳１１２及び拡張レイヤゲイン符号帳１１３を具備する。

コアレイヤＣＥＬＰ符号化部１０１は、入力されてくる音声信号に対して線形予測分析を施すことにより、スペクトル包絡情報であるＬＰＣパラメータ（ＬＰＣ係数）を算出し、算出したＬＰＣパラメータを量子化してＬＰＣ合成フィルタ部１０７へ出力する。また、コアレイヤＣＥＬＰ符号化部１０１は、入力されてくる音声信号のコアレイヤのＣＥＬＰ符号化を行い、１フレーム内の全サブフレームについてコアレイヤ駆動音源信号exc_core[n]（n=0,...,Nfr-1）（Nfr：フレーム長）と適応音源ラグTcore[is]（is=0,...,ns-1）（ns：サブフレーム数）とを生成し、このコアレイヤ駆動音源信号exc_core[n]を拡張レイヤ拡張型適応符号帳生成部１０２、加算器１０４及びゲイン乗算部１０５における乗算器Ｇ１に入力するとともに、適応音源ラグTcore[is]を拡張レイヤ拡張型適応符号帳１０３に入力する。また、コアレイヤＣＥＬＰ符号化部１０１は、コアレイヤにおけるＣＥＬＰ符号化により、コアレイヤ符号化データを生成して、生成したコアレイヤ符号化データを、図示しない多重部等に入力する。

拡張レイヤ拡張型適応符号帳生成部１０２は、コアレイヤＣＥＬＰ符号化部１０１から入力されてくる１フレーム分のコアレイヤ駆動音源信号exc_core[n]と、加算器１０６から入力されてくる過去の拡張レイヤ駆動音源信号exc_enh[n]と、から拡張型適応符号帳d_enh_ext[i]を生成し、生成した拡張型適応符号帳d_enh_ext[i]をサブフレーム毎に拡張レイヤ拡張型適応符号帳１０３に入力する。つまり、拡張レイヤ拡張型適応符号帳生成部１０２は、サブフレーム毎に拡張型適応符号帳d_enh_ext[i]を更新する。なお、このサブフレーム毎の更新では、拡張レイヤにおける従来型の適応符号帳に対応する過去の拡張レイヤ駆動音源信号のみが更新されることになる。拡張レイヤ拡張型適応符号帳生成部１０２における拡張型適応符号帳の生成態様については、後に詳述する。

拡張レイヤ拡張型適応符号帳１０３は、コアレイヤＣＥＬＰ符号化部１０１から入力されてくる適応音源ラグTcore[is]と、拡張レイヤ拡張型適応符号帳生成部１０２から入力されてくる拡張型適応符号帳d_enh_ext[i]と、を用いて、歪最小化部１１１からの指示に従い、サブフレーム単位で拡張レイヤのＣＥＬＰ符号化における音源探索を行う。具体的には、拡張レイヤ拡張型適応符号帳１０３は、拡張レイヤ拡張型適応符号帳生成部１０２
から入力されてくる拡張型適応符号帳d_enh_ext[i]における所定の区間即ちコアレイヤＣＥＬＰ符号化部１０１から入力されてくる適応音源ラグTcore[is]の値又はその累積値の時間間隔に基づいて決定した区間（適応音源ラグ候補）でのみ、歪最小化部１１１から指示されたインデックスに対応する適応音源を生成し、その生成した適応音源を加算器１０４に入力する。

加算器１０４は、拡張レイヤ拡張型適応符号帳１０３から入力されてくる適応音源とコアレイヤＣＥＬＰ符号化部１０１から入力されてくる対応するサブフレームのコアレイヤ駆動音源信号との差分信号を算出し、算出した差分信号をゲイン乗算部１０５における乗算器Ｇ２に入力する。

拡張レイヤ固定符号帳１１２は、所定形状の音源ベクトル（固定音源）を複数個予め記憶しており、歪最小化部１１１から指示されたインデックスに対応する固定音源をゲイン乗算部１０５における乗算器Ｇ３に入力する。

拡張レイヤゲイン符号帳１１３は、歪最小化部１１１からの指示に従って、コアレイヤ駆動音源信号exc_core[n]に対するゲイン、加算器１０４から入力されてくる差分信号に対するゲイン及び固定音源に対するゲインを生成し、生成したゲインをそれぞれゲイン乗算部１０５へ出力する。

ゲイン乗算部１０５は、乗算器Ｇ１、Ｇ２、Ｇ３を具備し、乗算器Ｇ１においてコアレイヤＣＥＬＰ符号化部１０１から入力されてくるコアレイヤ駆動音源信号exc_core[n]に対してゲイン値ｇ１を乗じ、同様に乗算器Ｇ２において加算器１０４から入力されてくる差分信号に対してゲイン値ｇ２を乗じ、乗算器Ｇ３において拡張レイヤ固定符号帳１１２から入力されてくる固定音源に対してゲイン値ｇ３を乗じて、これら３つの乗算結果を全て加算器１０６に入力する。

加算器１０６は、ゲイン乗算部１０５から入力されてくる３つの量子化された乗算結果を加算して、その加算結果即ち拡張レイヤ駆動音源信号をＬＰＣ合成フィルタ部１０７に入力する。

ＬＰＣ合成フィルタ部１０７は、コアレイヤＣＥＬＰ符号化部１０１から入力されてくる量子化されたＬＰＣパラメータをフィルタ係数とする合成フィルタにより、加算器１０６から入力されてくる拡張レイヤ駆動音源信号から合成音声信号を生成し、生成された拡張レイヤ合成音声信号を減算器１０８に入力する。

減算器１０８は、ＬＰＣ合成フィルタ部１０７から入力されてくる拡張レイヤ合成音声信号を入力音声信号から減算することによって誤差信号を生成し、この誤差信号を聴感重み付け部１０９に入力する。なお、この誤差信号が符号化歪みに相当する。

聴感重み付け部１０９は、減算器１０８から入力されてくる符号化歪みに対して聴感的な重み付けを施し、この重み付けした符号化歪みを歪最小化部１１１に入力する。

歪最小化部１１１は、聴感重み付け部１０９から入力されてくる符号化歪みが最小となるような、拡張レイヤ拡張型適応符号帳１０３、拡張レイヤ固定符号帳１１２及び拡張レイヤゲイン符号帳１１３の各インデックスをサブフレーム毎に求め、それらのインデックスを拡張レイヤ拡張型適応符号帳１０３、拡張レイヤ固定符号帳１１２及び拡張レイヤゲイン符号帳１１３にそれぞれ通知し、それらを経由して対応する拡張レイヤ適応音源符号、拡張レイヤ固定音源符号及び拡張レイヤゲイン符号を、音声符号化データとして図示しない多重化部に入力する。

そして、図示しない多重部及び送信部等は、コアレイヤＣＥＬＰ符号化部１０１から入力されてくるコアレイヤ符号化データをフレーム単位でパケット化し、また拡張レイヤ拡張型適応符号帳１０３から入力されてくる拡張レイヤ適応音源符号と、拡張レイヤゲイン符号帳１１３から入力されてくる拡張レイヤゲイン符号と、拡張レイヤ固定符号帳１１２から入力されてくる拡張レイヤ固定音源符号と、をフレーム単位でパケット化し、前記コアレイヤ符号化データを含むパケットと、前記拡張レイヤ適応音源符号を含むパケットと、を別々のタイミングで無線送信する。

なお、符号化歪みが最小となる際の拡張レイヤ駆動音源信号は、サブフレーム毎に拡張レイヤ拡張型符号帳生成部１０２へフィードバックされる。

なお、拡張レイヤ拡張型適応符号帳１０３は、有声音のように周期性の強い成分を表現するために使われ、一方で拡張レイヤ固定符号帳１１２は、白色雑音のように周期性の弱い成分を表現するために使われる。

図３は、本実施の形態に係る音声復号装置２００における主要な構成を示すブロック図である。音声復号装置２００は、音声符号化装置１００によってスケーラブルＣＥＬＰ符号化された音声符号化データから音声信号を復号する装置であり、音声符号化装置１００と同様に、移動体無線通信システムを構成する移動局又は基地局に搭載されて使用されるものとする。

音声復号装置２００は、コアレイヤＣＥＬＰ復号部２０１、拡張レイヤ拡張型適応符号帳生成部２０２、拡張レイヤ拡張型適応符号帳２０３、加算器２０４、２０７、拡張レイヤ固定符号帳２０５、拡張レイヤゲイン符号帳２０９、ゲイン乗算部２０６及びＬＰＣ合成フィルタ部２０８を具備する。なお、音声復号装置２００では、コアレイヤの復号音声信号を復号する場合と、拡張レイヤの復号音声信号を復号する場合と、がある。

まず、コアレイヤの復号音声信号を復号する場合には、コアレイヤＣＥＬＰ復号部２０１において、図示しない受信部から音声符号化装置１００によってスケーラブルＣＥＬＰ符号化された音声符号化データのうちコアレイヤ符号化データを取り出し、取り出したコアレイヤ符号化データに基づいて、コアレイヤにおけるＣＥＬＰ復号を行い、コアレイヤの復号音声を生成し出力する。

一方、拡張レイヤの復号音声信号を復号する場合には、コアレイヤＣＥＬＰ復号部２０１におけるＣＥＬＰ復号の過程で、量子化されたＬＰＣパラメータと、１フレーム分のコアレイヤ駆動音源信号exc_core[n]と、１フレーム分の適応音源ラグTcore[is]と、をそれぞれ生成する。そして、コアレイヤＣＥＬＰ復号部２０１は、この量子化されたＬＰＣパラメータをＬＰＣ合成フィルタ部２０８に入力する。また、コアレイヤＣＥＬＰ復号部２０１は、このコアレイヤ駆動音源信号exc_core[n]を拡張レイヤ拡張型適応符号帳生成部２０２、加算器２０４及びゲイン乗算部２０６における乗算器Ｇ’１に入力するとともに、この適応音源ラグTcore[is]を拡張レイヤ拡張型適応符号帳２０３に入力する。

拡張レイヤ拡張型適応符号帳生成部２０２は、コアレイヤＣＥＬＰ復号部２０１から入力されてくる１フレーム分のコアレイヤ駆動音源信号exc_core[n]と、加算器２０７からサブフレーム毎に入力されてくる過去の拡張レイヤ駆動音源信号exc_enh[n]と、からサブフレーム毎に拡張型適応符号帳d_enh_ext[i]を生成し、生成した拡張型適応符号帳d_enh_ext[i]を拡張レイヤ拡張型適応符号帳２０３に入力する。つまり、拡張レイヤ拡張型適応符号帳生成部２０２は、サブフレーム毎に拡張型適応符号帳d_enh_ext[i]を更新する。

拡張レイヤ拡張型適応符号帳２０３は、図示しない受信部から音声符号化装置１００によってスケーラブルＣＥＬＰ符号化された音声符号化データのうちの拡張レイヤ適応音源符号と、コアレイヤＣＥＬＰ復号部２０１から入力されてくる適応音源ラグTcore[is]と、拡張レイヤ拡張型適応符号帳生成部２０２から入力されてくる拡張型適応符号帳d_enh_ext[i]と、に基づいて、適応音源を生成し、生成した適応音源を加算器２０４に入力する。

加算器２０４は、拡張レイヤ拡張型適応符号帳２０３から入力されてくる適応音源とコアレイヤＣＥＬＰ復号部２０１から入力されてくるコアレイヤ駆動音源信号との差分信号をゲイン乗算部２０６における乗算器Ｇ’２に入力する。

拡張レイヤ固定符号帳２０５は、図示しない受信部から音声符号化装置１００によってスケーラブルＣＥＬＰ符号化された音声符号化データのうちの拡張レイヤ固定音源符号を取り出す。また、拡張レイヤ固定符号帳２０５は、所定形状の音源ベクトル（固定音源）を複数個予め記憶しており、取得した固定音源符号に対応する固定音源を生成して、生成した固定音源をゲイン乗算部２０６における乗算器Ｇ’３に入力する。

拡張レイヤゲイン符号帳２０９は、図示しない受信部から音声符号化装置１００によってスケーラブルＣＥＬＰ符号化された音声符号化データのうちの拡張レイヤゲイン符号からゲイン乗算部１０５で用いられたゲイン値ｇ１、ｇ２、ｇ３を生成し、生成したゲイン値ｇ１、ｇ２、ｇ３をゲイン乗算部２０６に通知する。

そして、ゲイン乗算部２０６は、具備する乗算器Ｇ’１において取得したゲイン値ｇ１をコアレイヤＣＥＬＰ復号部２０１から入力されてくるコアレイヤ駆動音源信号exc_core[n]に乗じ、同様に乗算器Ｇ’２においてゲイン値ｇ２を加算器２０４から入力されてくる差分信号に乗じ、ゲイン値ｇ３を拡張レイヤ固定符号帳２０５から入力されてくる固定音源に乗じ、これら３つの乗算結果を加算器２０７に入力する。

加算器２０７は、ゲイン乗算部２０６から入力されてくる３つの乗算結果を加算して、その加算結果即ち拡張レイヤ駆動音源信号を拡張レイヤ拡張型適応符号帳生成部２０２とＬＰＣ合成フィルタ部２０８とにそれぞれ入力する。

ＬＰＣ合成フィルタ部２０８は、加算器２０７から入力されてくる拡張レイヤ駆動音源信号から合成復号音声を生成し、生成された拡張レイヤ復号音声信号を出力する。

次いで、音声符号化装置１００の動作について、図４〜図６を用いて説明する。

図４は、音声符号化装置１００において、拡張レイヤ拡張型適応符号帳生成部１０２において拡張型適応符号帳が生成され、最終的に拡張レイヤ拡張型適応符号帳生成部１０２において拡張型適応符号帳が更新されるまでの拡張レイヤでの音源探索の１サイクル（１サブフレーム周期）の流れを示すフロー図である。また、図５に、コアレイヤ駆動音源信号と従来型の適応符号帳とから拡張型適応符号帳が生成され、さらに生成された拡張型適応符号帳の所定区間から拡張レイヤ適応音源候補ベクトル（適応音源に相当）が生成される態様を模式的に示す。

図４に示すステップＳＴ３１０では、拡張レイヤ拡張型適応符号帳生成部１０２が、過去の拡張レイヤ駆動音源信号と、コアレイヤＣＥＬＰ符号化部１０１から入力されてくる１フレーム分のコアレイヤ駆動音源信号とに基づいて、拡張型適応符号帳を生成する。ここで、音声信号のサブフレーム番号isの符号化対象サブフレームをスケーラブルＣＥＬＰ符号化における音源探索を行う際に探索される拡張型適応符号帳d_enh_ext[i]は、下記（
式１）で表される。
d_enh_ext[i] = d_enh[i] ( for -Nd ≦ i < 0 )
exc_core[is*+Nsub+i]( for 0 ≦ i < Nfr-is*Nsub )・・・（式１）
ここで、
d_enh[i]：拡張レイヤにおける従来型の適応符号帳
exc_core[i]：コアレイヤにおける駆動音源信号
Nsub：サブフレーム長
Nfr：フレーム長（Nfr=Nsub*ns、ns：フレーム当たりのサブフレーム数）
また、（式１）の意義は、図５における（ａ）コアレイヤ駆動音源信号、（ｂ）拡張レイヤ適応符号帳及び（ｃ）拡張レイヤ拡張型適応符号帳の欄によって模式的に示される。

そして、ステップＳＴ３２０からステップＳＴ３４０までで拡張型適応符号帳探索、固定符号帳探索及びゲイン量子化をその順序で順次行う。ここで、サブフレーム番号isの符号化対象サブフレームにおける拡張レイヤ駆動音源信号exc_enh[n]（n=0,...,Nsub-1）は、下記（式２）で表される。
exc_enh[n] = g1 * exc_core[is*Nsub+n]
+ g2 * {d_enh_ext[n - Tenh] -exc_core[is*Nsub+n]}
+ g3*c_enh[n] ・・・（式２）
ここで、
g1, g2, g3：ゲイン値
c_enh[n]：固定音源
Tenh：拡張レイヤにおける適応音源ラグ値
なお、本実施の形態では、拡張型適応符号帳探索によりTenhを、固定符号帳探索によりc_enh[n]を、並びにゲイン量子化によりg1, g2, g3を順次求める。

ステップＳＴ３２０では、拡張型適応符号帳探索を行う。まず、拡張レイヤ拡張型適応符号帳１０３において、拡張レイヤ拡張型適応符号帳生成部１０２から入力されてくる拡張型適応符号帳の所定区間に対する拡張レイヤ適応音源候補ベクトルを出力する。そして、加算器１０４にてコアレイヤＣＥＬＰ符号化部１０１から入力されてくるコアレイヤ駆動音源信号との差分をとった差分信号と、前記コアレイヤ駆動音源信号と、を各々ゲイン乗算部１０５で乗算した後に加算器１０６で加算した信号（（式２）における右辺の第１項及び第２項の和に該当）に対するＬＰＣ合成信号と、入力音声信号との間の符号化歪みを最小にするような拡張レイヤ適応音源候補ベクトルを適応音源として選択して、その時の対応する適応音源ラグ値Tenhを出力するとともに、選択した適応音源とコアレイヤ駆動音源信号との差分信号をゲイン乗算部１０５に入力する。

ここで、Tenhの算出においては、コアレイヤの適応音源ラグTcore[is]を利用して定められた拡張レイヤ適応音源ラグ候補ベース値Tcand[it]を中心とする±ΔTの範囲を複数範囲設定し、その範囲内に限定して探索することで、拡張レイヤ適応音源ラグを表す符号化ビット数の低減（符号化効率の向上）や演算量の削減を図ることができる。なお、Tenhの算出は、小数精度でも良い。
Tenh = Tcand[it] -ΔT 〜 Tcand[it]＋ΔT it = 0, 1, 2, 3, ... ・・・（式３）

また、拡張レイヤ適応音源ラグ候補ベース値Tcand[it]は、コアレイヤのサブフレーム毎に算出された適応音源ラグTcore[j]（j=is,...,ns-1）の値又はその累積値の時間的間隔で入力信号の相関性が高いことを利用して、拡張型適応符号帳d_enh_ext[i]の取り得る範囲全体の中から、例えば下記（式４）のようにして決定される。

Tcand[it] ＝ Tcore[is] it= 0
0 it= 1
-(Tcand[it-1]+Tcore[is0]) it>=2 ・・・（式４）
ここで、is0は、is0*Nsub ≦ is*Nsub+Tcand[it-1] < (is0+1)*Nsub を満たすように定められる。

また、（式２）〜（式４）の意義は、図５における（ｃ）拡張レイヤ拡張型適応符号帳及び（ｄ）拡張レイヤ適応音源候補ベクトルの欄によって模式的に示される。

続いて、図４に示すステップＳＴ３３０では、固定符号帳探索により固定音源を生成する。具体的には、ステップＳＴ３３０では、拡張レイヤ固定符号帳１１２が歪最小化部１１１から指示されたインデックスに対応する固定音源候補ベクトルを生成する。そして、前記固定音源候補ベクトルと、コアレイヤＣＥＬＰ符号化部１０１から入力されてくるコアレイヤ駆動音源信号と、ステップＳＴ３２０で選択された拡張レイヤ適応音源と前記コアレイヤ駆動音源信号との差分信号とから、減算器１０８で生成される符号化歪みを最小にするような固定音源候補ベクトルを固定音源c_enh[n]として選択して、その固定音源をゲイン乗算部１０５に入力する。

続いて、ステップＳＴ３４０では、ゲイン量子化を行うため、ゲイン乗算部１０５において、コアレイヤＣＥＬＰ符号化部１０１から入力されてくるコアレイヤ駆動音源信号と、ステップＳＴ３２０で選択された拡張レイヤ適応音源と前記コアレイヤ駆動音源信号を用いて加算器１０４から入力されてくる差分信号と、拡張レイヤ固定符号帳１１２から入力されてくるステップＳＴ３３０で選択された固定音源と、に対して、歪最小化部１１１から指示され、かつ、拡張レイヤゲイン符号帳１１３から出力されたそれぞれに対するゲイン値を乗じた後に、加算器１０６で加算した信号に対するＬＰＣ合成信号と、入力音声信号と、の間の符号化歪みを最小にするようなゲイン値ｇ１、ｇ２、ｇ３を求める。

続いて、ステップＳＴ３５０では、加算器１０６が、ステップＳＴ３４０で求められたゲイン値ｇ１、ｇ２、ｇ３を用いて乗算された３つの乗算結果を加算して、その加算結果を拡張レイヤ拡張型適応符号帳生成部１０２にフィードバックすることにより、拡張型適応符号帳を更新する。ここで、拡張レイヤの音源探索後に決定された拡張レイヤの駆動音源信号exc_enh[n]を用いて、次サブフレームでの探索用に拡張レイヤの従来型の適応符号帳d_enh[i]を、下記（式５）に従って更新する。
d_enh[i] = d_enh[i+Nsub] ( for -Nd ≦ i < -Nsub )
exc_enh[i+Nsub] ( for -Nsub ≦ i < 0 ) ・・・（式５）

図６は、音声符号化装置１００において、音声信号がスケーラブルＣＥＬＰ符号化されて無線送信されるまでの１サイクル（１フレーム周期）の流れを示すフロー図である。

ステップＳＴ５１０では、コアレイヤＣＥＬＰ符号化部１０１が音声信号のコアレイヤについて１フレーム分をＣＥＬＰ符号化するとともに、符号化により得られるコアレイヤ駆動音源信号を拡張レイヤ拡張型適応符号帳生成部１０２に入力する。

続いて、ステップＳＴ５２０では、符号化対象サブフレームのサブフレーム番号isを０に設定する。

続いて、ステップＳＴ５３０では、is＜ns（ns：１フレーム中の全サブフレーム数）であるか判定する。ステップＳＴ５３０において、is＜nsであると判定された場合は、次にステップＳＴ５４０が実行され、一方でis＜nsでないと判定された場合は、次にステップＳＴ５６０が実行される。

続いて、ステップＳＴ５４０では、サブフレーム番号isの符号化対象サブフレームに対して、前記ステップＳＴ３１０からステップＳＴ３５０までの各ステップが順次実行される。

続いて、ステップＳＴ５５０では、次の符号化対象サブフレームのサブフレーム番号isとしてis＋１を設定する。そして、ステップＳＴ５５０に続いて、ステップＳＴ５３０が実行される。

また、ステップＳＴ５６０では、図示しない音声符号化装置１００における送信部等が、スケーラブルＣＥＬＰ符号化された１フレーム分の音声符号化データのパケットを音声復号装置２００に無線送信する。

このように、本実施の形態によれば、過渡的な有声信号や有音の立ち上がり部分等の時間的に変化している区間の音声信号をサブフレーム毎に拡張レイヤで適応符号帳探索を行ってＣＥＬＰ符号化する場合に、拡張レイヤ拡張型適応符号帳１０３が過去の拡張レイヤの駆動音源信号の集積である従来型の適応符号帳のみならず符号化対象サブフレームよりも未来の音声信号の変化を示すコアレイヤ駆動音源信号を含んで構成されるため、その符号化対象サブフレームの駆動音源を正確に推定することができ、その結果、符号化音声信号の音質を改善することができる。

なお、本実施の形態に係る音声符号化装置１００又は音声復号装置２００について、以下のように応用したり変形したりしても良い。

本実施の形態では、コアレイヤと符号化レイヤとの２階層のスケーラブルＣＥＬＰ符号化方式を適用する場合について説明したが、本発明はこの場合に限定されるものではなく、例えば３階層以上のスケーラブルＣＥＬＰ符号化方式を適用しても良い。ちなみに、Ｎ階層のスケーラブルＣＥＬＰ符号化方式では、２〜Ｎ階層目においてそれぞれ、本実施の形態の拡張レイヤで行ったように、一つ下位の階層即ち１〜Ｎ−１階層目のコアレイヤ駆動音源信号又は拡張レイヤ駆動音源信号を用いて拡張型適応符号帳を生成すれば良い。

また、本実施の形態では、コアレイヤと拡張レイヤとにおいてサンプリング周波数が同一である場合について説明したが、本発明はこの場合に限定されるものではなく、例えばスケーラブル符号化の階層に応じてサンプリング周波数を適宜変更即ち帯域スケーラブルを適用しても良い。ちなみに、音声符号化装置１００に帯域スケーラブルを適用するには、コアレイヤＣＥＬＰ符号化部１０１と拡張レイヤ拡張型適応符号帳生成部１０２との間に、コアレイヤ駆動音源信号exc_core[n]をアップサンプルするアップサンプル部と、アップサンプリングされたコアレイヤ駆動音源信号exc_core[n]に対して帯域制限を行うローパスフィルタ（Low Pass Filter：ＬＰＦ）と、を新たに設置するか、或いはコアレイヤ駆動音源信号exc_core[n]から復号音声信号を生成するコアレイヤ局部復号器と、前記アップサンプル部及びＬＰＦと、ＬＰＦを通過した信号からコアレイヤ駆動音源信号exc_core[n]を再生成する逆フィルタと、をこの順で設置すれば良い。

また、本実施の形態では、ゲイン乗算部１０５における乗算器Ｇ１のゲイン値ｇ１即ちコアレイヤ駆動音源信号exc_core[n]に乗算されるゲイン値ｇ１が歪最小化部１１１によって指定される場合について説明したが、本発明はこの場合に限定されるものではなく、例えばゲイン値ｇ１＝１．０と固定しても良い。

また、本実施の形態では、加算器１０４が、拡張レイヤ拡張型適応符号帳１０３から入力されてくる適応音源とコアレイヤ駆動音源信号との差分信号をゲイン乗算部１０５に入
力する場合について説明したが、本発明はこの場合に限定されるものではなく、ゲイン乗算部１０５に入力されるのは、拡張レイヤ拡張型適応符号帳１０３から出力された適応音源の特性を示す信号であれば良い。よって、上記差分信号の代わりに、例えば拡張レイヤ拡張型適応符号帳１０３から出力される適応音源をゲイン乗算部１０５に直接入力するようにしても良い。このようにすれば、音声符号化装置１００から加算器１０４を除去することができ、音声符号化装置１００の構成を簡素化できる。ちなみに、このようにする場合には、拡張レイヤ駆動音源信号exc_enh[n]は、次式で表されることとなる。
exc_enh[n] = g1*exc_core[is*Nsub+n]+g2*d_enh_ext[n-Tenh]+g3*c_enh[n]
また、このようにする場合には、ゲイン乗算部１０５におけるゲイン値ｇ１、ｇ２を、（ｇ１，ｇ２）＝（１，０）又は（０，１）に制限する即ちコアレイヤ駆動音源信号exc_core[n]と 拡張レイヤ適応音源信号d_enh_ext[n-Tenh]とを切り替えて使用するようにしても良い。

また、本実施の形態では、ＬＰＣパラメータがコアレイヤと拡張レイヤとで同一である場合について説明したが、本発明はこの場合に限定されるものではなく、例えばコアレイヤの量子化に対して、付加的量子化分を拡張レイヤで量子化し、拡張レイヤではそれによって得られた量子化ＬＰＣパラメータを用いるようにしても良い。このようにする場合は、音声符号化装置１００において、コアレイヤＬＰＣパラメータ及び音声信号を入力され、かつ、拡張レイヤ量子化ＬＰＣパラメータ及び量子化符号を出力する拡張レイヤＬＰＣパラメータ量子化部が新たに設置される。さらに、帯域スケーラブルを適用する場合には、音声符号化装置１００にＬＰＣ分析部が追加して設置される。

また、本実施の形態における拡張型適応符号帳の探索時の適応音源ラグ決定方法を、下記(a)〜(c)の手法で行っても良い。

(a)サブフレーム番号isの符号化対象サブフレームに対応するコアレイヤ駆動音源信号exc_core[n](n=is*Nsub, ..., is*Nsub+Nsub-1)と拡張型適応符号帳d_enh_ext[i]との間で相関を取り、その相関値が最大となるものから順に複数の遅延値を選択し、それらを適応音源ラグ候補ベース値Tcand[it]とし、以降は本実施の形態と同様にして適応音源ラグ探索を行う。

(b)音声信号から予めＬＰＣ予測残差信号又はそれに類する信号を算出しておき、サブフレーム番号isの符号化対象サブフレームに対応するＬＰＣ予測信号res[n](n=is*Nsub, ..., is*Nsub+Nsub-1)と拡張型適応符号帳d_enh_ext[i]との間で相関を取り、その相関値が最大となるものから順に複数の遅延値を選択し、それらを適応音源ラグ候補ベース値Tcand[it]とし、以降は本実施の形態と同様にして適応音源ラグ探索を行う。

(c)適応音源ラグの候補値を事前に選択せずに、拡張型適応符号帳d_enh_ext[i]の全ての区間の中から、最適な適応音源ラグを全探索により算出する。

また、本実施の形態では、全ての符号化対象サブフレームについて拡張型適応符号帳d_enh_ext[i]の探索を行う場合について説明したが、本発明はこの場合に限定されるものではなく、例えば１フレーム内の一部の符号化対象サブフレームに対してのみ拡張型適応符号帳d_enh_ext[i]の探索を行うようにしても良い。具体的には、ns=4の場合に、is=0,2の符号化対象サブフレームに対してのみ、拡張型適応符号帳d_enh_ext[i]の探索を行うようにしても良い。このようにすれば、拡張レイヤ適応音源ラグの符号化伝送ビット数の増加をある程度抑えながら、スケーラブルＣＥＬＰ符号化された音声信号の音質を改善することができる。

（実施の形態２）
本発明に係る実施の形態２では、実施の形態１において、音声符号化装置１００から無線送信されたコアレイヤ符号化データを含むパケットと、拡張レイヤ適応音源符号を含むパケットと、について、音声復号装置２００におけるパケットロス率に差が生じた場合に、コアレイヤ駆動音源信号に乗じるゲイン値と拡張型適応符号帳からの出力である適応音源に乗じるゲイン値との比率を調節する態様について説明する。具体的には、音声復号装置２００においてコアレイヤ符号化データを含むパケットのロス率が拡張レイヤ適応音源符号を含むパケットのロス率より十分小さい場合に、音声符号化装置１００における拡張レイヤ駆動音源信号の生成に際して、過去の拡張レイヤ駆動音源信号よりもコアレイヤ駆動音源信号の影響度を大きくするために、コアレイヤ駆動音源信号に乗じるゲイン値を増大させる又は拡張レイヤにおける適応音源に乗じるゲイン値を縮小させる。

図７は、本実施の形態に係る音声符号化装置６００の主要な構成を示すブロック図である。音声符号化装置６００は、実施の形態１における音声符号化装置１００において、ゲイン量子化制御部６２１をさらに具備するものである。従って、音声符号化装置６００は、音声符号化装置１００の全ての構成要素を具備するため、音声符号化装置１００の構成要素と同一の構成要素には同一の参照符号を付して、その説明を省略する。また、音声符号化装置６００は、移動体無線通信システムを構成する移動局や基地局に搭載されて使用され、音声復号装置２００を搭載する無線通信装置とパケット通信を行うものとする。

ゲイン量子化制御部６２１は、先に音声符号化装置６００からパケット送信されたコアレイヤ符号化データを含むパケットと、拡張レイヤ適応音源符号を含むパケットと、について音声復号装置２００の生成したパケットロス情報を取得し、このパケットロス情報に応じて、ゲイン乗算部１０５におけるゲイン値ｇ１、ｇ２、ｇ３を適応的に制御する。具体的には、ゲイン量子化制御部６２１は、拡張レイヤゲイン符号帳１１３に対して、コアレイヤ符号化データを含むパケットのロス率をPLRcoreとし、拡張レイヤ適応音源符号を含むパケットのロス率をPLRenhとすると、コアレイヤ駆動音源信号に対するゲイン値ｇ1と、コアレイヤ駆動音源信号と拡張型適応符号帳からの出力である適応音源との差分信号に乗じるゲイン値ｇ２と、について、下記のような制限を設定し、その制限の下でゲイン量子化を行なわせる。

if PLRcore < c * PLRenh
then
ｇ１の取り得る下限値をTHR1に設定
ｇ２の取り得る上限値をTHR2に設定
else
ｇ１，ｇ２への上限値及び下限値の設定はしない
ここで、cは、パケットロスに関する判定条件を調整するための定数（但し、c < 1.0）、THR1,THR2は、ｇ１に対する下限値及びｇ２に対する上限値の設定値定数である。

このように、本実施の形態に係る音声符号化装置６００によれば、音声復号装置２００におけるコアレイヤ符号化データを含むパケットのロス率が拡張レイヤ適応音源符号を含むパケットのロス率より十分小さい場合には、音声符号化装置１００における拡張レイヤ駆動音源信号の生成に際して、コアレイヤ駆動音源信号に乗じるゲイン値を増大させる又は拡張型適応符号帳１０３の出力である適応音源に乗じるゲイン値を縮小させることから、スケーラブルＣＥＬＰ符号化された音声信号について、パケットの消失耐性を高めることができる。

なお、本実施の形態に係る音声符号化装置６００について、以下のように応用したり変形したりしても良い。

本実施の形態では、ゲイン量子化制御部６２１がゲイン乗算部１０５におけるゲイン値ｇ１、ｇ２に対する制限の設定を行う場合について説明したが、本発明はこの場合に限定されるものではなく、例えばゲイン量子化制御部６２１が拡張レイヤ拡張型適応符号帳１０３に対して、拡張型適応符号帳探索時に、従来型の適応符号帳に対応する区間よりもコアレイヤ駆動音源信号に対応する区間から優先的に適応音源を取り出すように制御しても良い。さらに、ゲイン量子化制御部６２１が、前記拡張レイヤゲイン符号帳１１３に対する制御と、前記拡張レイヤ拡張型適応符号帳１０３に対する制御と、を組み合わせて行うようにしても良い。

また、本実施の形態では、パケットロス情報が、音声復号装置２００から音声符号化装置６００に、音声符号化データとは別個に送信される場合を想定して説明したが、本発明はこの場合に限定されるものではなく、例えば音声復号装置２００から無線送信された音声符号化データのパケットを受信した音声符号化装置６００が、その受信パケットにおけるパケットロス率を算出して、自ら算出したパケットロス率を音声復号装置２００におけるパケットロス率として代用しても良い。

なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。

本明細書は、２００４年９月１７日出願の特願２００４−２７１８８６に基づくものである。この内容は全てここに含めておく。

本発明に係る音声符号化装置は、符号化対象サブフレームの駆動音源を正確に推定することができ、その結果符号化音声信号の音質を改善できるという効果を有し、移動体無線通信システムを構成する移動局や基地局等の通信装置等として有用である。

従来型の適応符号帳の生成及び更新の態様を模式的に示す図 実施の形態１に係る音声符号化装置の主要な構成を示すブロック図 実施の形態１に係る音声復号装置の主要な構成を示すブロック図 実施の形態１における拡張型適応符号帳が生成、更新される流れを示すフロー図 実施の形態１における拡張型適応符号帳の生成又は探索の態様を模式的に示す図 実施の形態１におけるスケーラブルＣＥＬＰ符号化された音声符号化データが音声符号化装置からフレーム単位でパケット送信されるまでの流れを示すフロー図 実施の形態２に係る音声符号化装置の主要な構成を示すブロック図

Claims (7)

1. 音声信号のスケーラブルＣＥＬＰ符号化において、サブフレーム毎に拡張レイヤの適応符号帳探索を行う音声符号化装置であって、
   コアレイヤについて、音声信号からコアレイヤ駆動音源信号及びＣＥＬＰ符号化の符号化結果を示すコアレイヤ符号化データを生成するコアレイヤ符号化手段と、
   拡張レイヤについて、符号化対象サブフレームよりも過去の拡張レイヤ駆動音源信号と前記過去の拡張レイヤ駆動音源信号よりも未来の前記コアレイヤ駆動音源信号とを含む拡張型適応符号帳を生成する拡張レイヤ拡張型適応符号帳生成手段と、
   生成した拡張型適応符号帳を探索することによって前記符号化対象サブフレームの適応音源ベクトルを示す拡張レイヤ適応音源符号を生成する拡張レイヤ拡張型適応符号帳と、を具備する音声符号化装置。
2. 前記コアレイヤ符号化データと前記拡張レイヤ適応音源符号とを別個のパケットで送信する送信手段と、
   前記コアレイヤ駆動音源信号と前記拡張レイヤ拡張型適応符号帳から出力された適応音源の特性を示す信号とに対してそれぞれゲインを乗じるゲイン手段と、
   前記送信手段によって送信された前記コアレイヤ符号化データを含むパケットと前記拡張レイヤ適応音源符号を含むパケットとのパケットロスの状況を監視し、前記コアレイヤ符号化データを含むパケットロス率が前記拡張レイヤ適応音源符号を含むパケットロス率よりも低い場合には、前記ゲイン手段に対して、前記コアレイヤ駆動音源信号に乗じるゲインを増大させる又は前記適応音源の特性を示す信号に乗じるゲインを縮小させるゲイン制御手段と、
   をさらに具備する請求項１記載の音声符号化装置。
3. 前記適応音源の特性を示す信号は、
   前記拡張レイヤ拡張型適応符号帳から出力された適応音源と、前記コアレイヤ駆動音源信号と、の差分信号である、
   請求項２記載の音声符号化装置。
4. スケーラブルＣＥＬＰ符号化された音声符号化データを復号して復号音声を生成する音声復号装置であって、
   コアレイヤについて、前記音声符号化データに含まれるコアレイヤ符号化データを復号してコアレイヤ駆動音源信号及びコアレイヤ復号音声信号を生成するコアレイヤ復号手段と、
   拡張レイヤについて、復号対象サブフレームよりも過去の拡張レイヤ駆動音源信号と前記過去の拡張レイヤ駆動音源信号よりも未来の前記コアレイヤ駆動音源信号とを含む拡張型適応符号帳を生成する拡張レイヤ拡張型適応符号帳生成手段と、
   生成した拡張型適応符号帳から前記復号対象サブフレームの適応音源ベクトルを取り出す拡張レイヤ拡張型適応符号帳と、
   を具備する音声復号装置。
5. 請求項１記載の音声符号化装置を具備する通信装置。
6. 請求項４記載の音声復号装置を具備する通信装置。
7. 音声信号のスケーラブルＣＥＬＰ符号化において、サブフレーム毎に拡張レイヤの適応符号帳探索を行う音声符号化方法であって、
   コアレイヤについて、音声信号からコアレイヤ駆動音源信号及びＣＥＬＰ符号化の符号化結果を示すコアレイヤ符号化データを生成するコアレイヤ符号化ステップと、
   拡張レイヤについて、符号化対象サブフレームよりも過去の拡張レイヤ駆動音源信号と前記過去の拡張レイヤ駆動音源信号よりも未来の前記コアレイヤ駆動音源信号とを含む拡張型適応符号帳を生成する拡張レイヤ拡張型適応符号帳生成ステップと、
   拡張レイヤについて、生成した拡張型適応符号帳を探索することによって前記符号化対象サブフレームの適応音源ベクトルを示す拡張レイヤ適応音源符号を生成する拡張レイヤ拡張型適応符号帳探索ステップと、
   を具備する音声符号化方法。

Images