JP4937746B2 - 音声符号化装置および音声符号化方法 - Google Patents

Description

本発明は、音声符号化装置および音声符号化方法に関する。

音声信号またはオーディオ信号を低ビットレートで圧縮する音声符号化技術は、通信システムにおいて伝送路容量の有効利用のために重要である。音声符号化技術の主要な応用先として、近年、ＶｏＩＰ（Voice over IP）ネットワーク、携帯電話網等に代表される通信システムが注目されている。ＶｏＩＰとは、ＩＰ（Internet Protocol）によるパケット通信網を利用し、パケットに音声信号の符号化コードを格納し、通信相手とパケットの交換を行う音声通信技術である。

ところで、音声通信システムにおいて通信相手と音声通信を成立させるためには、通信相手が所持する通信端末装置が生成した符号化コードを、自分が所有する通信端末装置が正確に解釈して復号化処理を施すことができる必要がある。そのため、音声通信システムのコーデックの仕様が一旦決められた後は、この仕様を変更するのは容易ではない。仮にコーデックの仕様を変更しようとすれば、符号化装置および復号化装置の双方の機能を変更しなければならないからである。よって、符号化装置に新たに何らかの拡張機能を持たせ、その拡張機能に関する情報も併せて送信するようなことを考えた場合、音声通信システムのコーデックの仕様自体も修正する必要があり、多大なコスト増を生む。

特許文献１または非特許文献１には、付加情報をステガノグラフィ技術を利用して符号化コードに埋め込む音声符号化方法が開示されている。例えば、人間の聴覚的には、符号化コードの最下位ビットが多少変更されていても全く違いがわからない。そこで、送信装置において新たな情報を付加するために、聴覚的には問題を生じない音声データの最下位ビットに付加情報を表すビットを埋め込んで、このデータを伝送する。この技術によれば、符号化装置に何らかの拡張機能を持たせ、その拡張機能に関する情報を拡張符号にして元の符号化コードに埋め込んで伝送することとしても、復号化装置において復号化ができなくなるということが起こらない。すなわち、拡張機能に対応した復号化装置は勿論のこと、拡張機能に対応していない復号化装置においても、この符号化コードを解釈して復号信号を生成することが可能である。

例えば、上記の特許文献１では、上記の拡張機能に関する情報として、パケットロス等での音質劣化を抑える補償技術を適用するための情報を埋め込んでおり、また、上記の非特許文献１では、狭帯域信号を広帯域信号へ拡張するための情報を埋め込んでいる。
特開２００３−３１６６７０号公報 青木著「ステガノグラフィを用いたＶｏＩＰにおける音声の広帯域化に関する一検討」信学技報ＳＰ２００３−７２，ｐｐ．４９−５２

一般的に、音声信号のように時間的に相関のある信号を量子化する場合、符号化対象のサンプルの振幅値を過去のサンプルの振幅値から予測して、時間的な冗長性を除去してから符号化する予測符号化を使用した方が低ビットレート化を実現できる。ここで予測とは、具体的には、過去のサンプルの振幅値に特定の係数を乗じて符号化対象のサンプルの振幅値を推定することである。そして、符号化対象のサンプルの振幅値から予測値を減じた残差を量子化すれば、符号化対象のサンプルの振幅値を直接量子化するよりも少ない符号量で符号化することができ、低ビットレート化が可能となる。過去のサンプルの振幅値に
乗じる係数として、例えば、ＬＰＣ（Linear Predictive Coding）係数がある。

しかしながら、例えば、上記の特許文献１または非特許文献１のいずれにおいても、使用しているコーデックはＩＴＵ―Ｔ勧告のＧ．７１１方式である。このＧ．７１１方式は、サンプルの振幅値を直接量子化する符号化方式であり、上記の予測符号化を行っていない。そこで、ステガノグラフィ技術と予測符号化とを組み合わせることを考えると、以下のような問題が発生する。

音声符号化装置において、予測符号化は符号化処理の一環であるため、符号化部内部において行われる。そして、符号化部から生成される符号化コードに対し、拡張符号が埋め込まれ、音声符号化装置から出力される。一方、音声復号化装置においては、拡張符号が既に埋め込まれた符号化コードに対し、予測符号化が行われ、音声信号が復号化される。すなわち、予測符号化の対象が、音声符号化装置においては拡張符号が埋め込まれる前のものであるのに対し、音声復号化装置においては拡張符号化が埋め込まれた後のものである。よって、音声符号化装置内の予測部の内部状態と音声復号化装置内の予測部の内部状態とが乖離するようになり、復号信号に品質劣化が生じる。これは、ステガノグラフィ技術と予測符号化とを組み合わせる場合に発生する特有の問題である。

よって、本発明の目的は、音声符号化にステガノグラフィ技術と予測符号化とを組み合わせて適用しても、復号信号の品質劣化を生じさせない音声符号化装置および音声符号化方法を提供することである。

本発明の態様の一つに係る音声符号化装置は、予測符号化によって音声信号から符号を生成する符号化手段と、前記符号に付加情報を埋め込む埋込手段と、前記付加情報が埋め込まれた符号を用いて、前記符号化手段の予測符号化に対応する復号化を行う予測復号化手段と、前記符号化手段の予測符号化で使用されるパラメータを、前記予測復号化手段の復号化で使用されるパラメータに同期させる同期手段と、を具備する構成を採る。

本発明によれば、音声符号化にステガノグラフィ技術と予測符号化とを組み合わせて適用しても、復号信号の品質劣化を防止することができる。

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る音声符号化装置１００を搭載したパケット送信装置の主要な構成を示すブロック図である。

本実施の形態では、音声符号化装置１００がＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）方式による音声符号化を行う場合を例にとって説明する。ＡＤＰＣＭ方式は、予測部および適応部において後方予測による適応化を図ることにより符号化効率を上げる。例えば、ＩＴＵ−Ｔ標準規格であるＧ．７２６方式は、ＡＤＰＣＭ方式をベースにした音声符号化方法であるが、狭帯域信号を１６〜４０ｋｂｉｔ／ｓで符号化することができ、予測を用いないＧ．７１１よりも低ビットレート化を実現する。また、Ｇ．７２２方式も同様に、ＡＤＰＣＭ方式をベースにした符号化方式であり、広帯域信号を４８〜６４ｋｂｉｔ／ｓのビットレートで符号化できる。

本実施の形態に係るパケット送信装置は、Ａ／Ｄ変換部１０１、符号化部１０２、機能拡張符号化部１０３、ビット埋め込み部１０４、パケット化部１０５、および同期情報生成部１０６を備え、各部は以下の動作を行う。

Ａ／Ｄ変換部１０１は、入力音声信号をディジタル化し、ディジタル音声信号Ｘを符号化部１０２および機能拡張符号化部１０３に出力する。符号化部１０２は、ディジタル音声信号Ｘと復号化装置で生成される復号信号との間の量子化歪が最小となるような、または人間の聴感的に歪が知覚されにくくなるような符号化コードＩを決定し、ビット埋め込み部１０４に出力する。

一方、機能拡張符号化部１０３は、音声符号化装置１００の機能拡張に必要な情報の符号化コードＪを生成し、ビット埋め込み部１０４に出力する。機能拡張としては、例えば、周波数帯域を狭帯域（０．３〜３．４ｋＨｚ帯域、すなわち一般的な電話回線で使用されている信号帯域）から広帯域（０．０５〜７ｋＨｚ帯域、この帯域を使用することにより狭帯域の場合よりも自然で明瞭性が高くなる）に拡張したり、復号化装置において現パケットを損失（ロスト）しても次パケットを利用することにより誤り補償を行って品質劣化が最小限に抑えられるような補償情報の生成を行う。

ビット埋め込み部１０４は、符号化部１０２から得られる符号化コードＩの一部のビットに、機能拡張符号化部１０３から得られる符号化コードＪの情報を埋め込み、その結果得られる符号化コードＩ’をパケット化部１０５に出力する。パケット化部１０５は、符号化コードＩ’をパケット化し、例えば、ＶｏＩＰであればパケットをＩＰネットワークを介して通信相手に送信する。同期情報生成部１０６は、ビットが埋め込まれた後の符号化コードＩ’に基づいて後述の同期情報を生成し、符号化部１０２に出力する。符号化部１０２は、この同期情報に基づいて内部状態等を更新し、次のディジタル音声信号Ｘの符号化を行う。

なお、ＩとＩ’のビットレートは同じである。仮に、符号化部１０２がＧ．７２６方式を採用しており、符号化コードＩのＬＳＢ（Least Significant Bit；最下位ビット）に拡張符号Ｊを埋め込むとすると、ビットレート８ｋｂｉｔ／ｓで拡張符号Ｊを埋め込むことができる。

本実施の形態に係る音声符号化処理の手順を整理すると次のようになる。

まず、同期情報生成部１０６から、予測部１３２の内部状態、予測部１３２で使用される予測係数、および適応部１３３で用いられる１サンプル前の量子化符号が符号化部１０２に与えられる。次に、符号化部１０２にて符号化処理が行われ、機能拡張符号化部１０３にて拡張機能に関する情報の符号化が行われる。次に、ビット埋め込み部１０４にて符号化コードＩ’が生成され、これが出力されるとともに同期情報生成部１０６に与えられる。同期情報生成部１０６は、符号化コードＩ’を用いて、予測部１３２の内部状態、予測部１３２で使用される予測係数、および適応部１３３で用いられる１サンプル前の量子化符号の更新を行い、その結果を符号化部１０２に与え、符号化部１０２は次の入力ディジタル信号Ｘに備える。

図２は、符号化部１０２内部の主要な構成を表すブロック図である。

更新部１１１には、図１に示した同期情報生成部１０６から同期情報が与えられる。更新部１１１は、この同期情報に基づき、予測部１１５で使用される予測係数、予測部１１５の内部状態、および適応部１１３で用いられる１サンプル前の量子化符号を更新する。符号化部１０２の以降の処理は、更新された適応部１１３および予測部１１５を用いて行われる。

符号化部１０２には、ディジタル音声信号Ｘが与えられ、減算部１１６に入力される。減算部１１６は、ディジタル音声信号Ｘから予測部１１５の出力を減算し、その誤差信号を量子化部１１２に与える。量子化部１１２は、適応部１１３にて１サンプル前の量子化符号を用いて決定された量子化ステップサイズにて誤差信号を量子化し、その符号化コードＩを出力すると共に、適応部１１３および逆量子化部１１４に与える。逆量子化部１１４は、適応部１１３から与えられる量子化ステップサイズに従い、量子化後の誤差信号を復号し、その信号を予測部１１５に与える。適応部１１３は、１サンプル前の量子化符号が表す誤差信号の振幅値に基づき、振幅値が大きい場合には量子化ステップ幅を拡大し、振幅値が小さい場合には量子化ステップ幅を縮小する。予測部１１５は、量子化後の誤差信号ならびに入力信号の予測値を用いて次の式（１）に従い、予測を行う。

ここで、ｙ（ｎ）は第ｎサンプルの入力信号の予測値、ｕ（ｎ）は第ｎサンプルの量子化後の誤差信号、ａ（ｉ）はＡＲ予測係数、ｂ（ｉ）はＭＡ予測係数、Ｌ、ＭはそれぞれＡＲ予測次数、ＭＡ予測次数を表す。そして、ａ（ｉ）およびｂ（ｉ）は、後方予測による適応化により逐次更新される。

図３は、ビット埋め込み部１０４内部の主要な構成を表すブロック図である。

ビットマスク部１２１は、入力される符号化コードＩの予め定められたビット位置をマスクして、その位置のビットの値を常に０にする。埋め込み部１２２は、マスクされた符号化コードのそのビット位置に拡張符号Ｊの情報を埋め込んで、その位置のビットの値を拡張符号Ｊで置き換え、埋め込み後の符号化コードＩ’を出力する。

図４は、ビット埋め込み部１０４から入出力される信号のビット構成の一例を表す図である。なお、ＭＳＢは、Most Significant Bit（最上位ビット）の略である。

ここでは、４ビットの符号化コード（４ワード）Ｉに対して４ビットの拡張符号Ｊを埋
め込み、符号化コードＩ’として出力する場合を例にとって説明する。なお、拡張符号を埋め込むビット位置はＬＳＢである。符号化コードＩは、ビットマスク部１２１において「Ｉｔｍｐ＝Ｉ＆（０ｘＥ）」と処理がなされ、Ｉｔｍｐとなる。このＩｔｍｐは、埋め込み部１２２において「Ｉ’＝Ｉｔｍｐ｜Ｊ」と処理がなされ、符号化コードＩ’となる。なお、これらの処理において「＆」は論理積、「｜」は論理和を表す。この例では、８ｋＨｚサンプリングデータの処理の場合、ビットレートが３２ｋｂｉｔ／ｓとなり、ビットレート８ｋｂｉｔ／ｓだけの付加情報を埋め込むことが可能となる。

なお、ここでは、１サンプル当り４ビットで符号化し、ＬＳＢに拡張符号を埋め込む場合を例にとって説明したが、これに限定されるわけではない。例えば、１サンプルおきに拡張符号を埋め込めば、ビットレート４ｋｂｉｔ／ｓの付加情報を埋め込むことができる。また、下位２ビットに拡張符号を埋め込むようにすれば、付加情報用ビットレートは１６ｋｂｉｔ／ｓとなる。このように、付加情報のビットレートを比較的自由度高く設定することができる。また、入力される音声信号の性質に応じて、適応的に埋め込むビット数を変化させることも可能である。かかる場合、何ビットを埋め込んだかという情報を別途復号化装置に通知する。

図５は、同期情報生成部１０６内部の主要な構成を表すブロック図である。同期情報生成部１０６は、ビット埋め込み部１０４の出力である符号化コードＩ’を使って復号化処理を次のように行う。

まず、適応部１３３から与えられる量子化ステップ情報を使い、逆量子化部１３１では量子化後の残差信号を復号し、それを予測部１３２に与える。予測部１３２では、上記の式（１）に従い、量子化後の残差信号および予測部１３２の前回の処理において出力された信号を用いて、式（１）に表される内部状態および予測係数を更新する。適応部１３３は、誤差信号の振幅値に基づき、振幅値が大きい場合には量子化ステップ幅を拡大し、振幅値が小さい場合には量子化ステップ幅を縮小する。これら一連の処理がなされた後に、抽出部１３４は、予測部１３２の内部状態、予測部１３２で使用される予測係数、および適応部１３３で用いられる１サンプル前の量子化符号を抽出して同期情報として出力する。

同期情報生成部１０６の基本的な動作は、音声復号化装置内に存在する復号化部、すなわち、符号化部１０２に対応する復号化部の処理を、符号化コードＩ’を用いて音声符号化装置１００内で擬似的に行い、その結果得られる予測符号化に関するパラメータ（予測部１３２で使用される予測係数、予測部１３２の内部状態、および適応部１３３で用いられる１サンプル前の量子化符号）を符号化部１０２における予測符号化（適応部１１３および予測部１１５の処理）に反映させることである。すなわち、符号化部１０２内の適応部１１３および予測部１１５には、符号化コードＩ’に基づいて生成される予測符号化に関するパラメータが同期情報として同期情報生成部１０６から通知されるため、音声復号化装置内の予測部で使用される予測係数、この予測部の内部状態、および音声復号化装置内の適応部で用いられる１サンプル前の量子化符号を、符号化部１０２内の予測部１１５で使用される予測係数、予測部１１５の内部状態、および適応部１１３で用いられる１サンプル前の量子化符号に同期（一致）させることができる。換言すると、音声符号化装置１００とこれに対応する音声復号化装置の双方において、同一の符号化コードＩ’に基づいて予測符号化に関するパラメータが求められる。このような構成を採ることにより、音声復号化装置で得られる復号信号の音質劣化を避けることができる。

このように、本実施の形態によれば、拡張符号のビットを埋め込んだ後の符号を使って符号化部内の予測部で使用される予測符号化に関するパラメータを更新するため、音声符号装置内の予測部で使用されるパラメータと音声復号装置内の予測部で使用されるパラメ
ータとを同期させることができ、復号信号の音質劣化を防止することができる。

また、以上の構成において、ＡＤＰＣＭ方式を用いた符号化方法の場合、ビット埋め込み部１０４は、符号化コードのＬＳＢに付加情報の一部もしくはすべてを埋め込む。

なお、本実施の形態では、音声符号化装置１００がパケット送信装置に搭載される場合を例にとって説明したが、音声符号化装置１００は非パケット通信型の携帯電話機に搭載されても良い。かかる場合、パケット通信の代わりに回線交換型の通信ネットワークを用いるため、パケット化部１０５の代わりに多重化部が設置される。

また、音声符号化装置１００に対応する音声復号化装置、すなわち、音声符号化装置１００から出力される符号化パケットを復号化する音声復号化装置は、機能拡張に対応している必要はない。

また、符号化コード以外の、例えば通信システムの制御情報を通信している場合（シグナリング時）には、付加情報を埋め込む位置または埋め込む量を通信相手である通信端末装置に伝える機能をさらに備えることにより、以下の効果が得られる。

例えば、音声符号化装置において、通信相手の通信端末装置の置かれている状況（伝送誤りを受けやすい／受け難い）を判断して、埋め込み位置をシグナリング時に決定しても良い。これにより、伝送誤り耐性を改善できる。

また、例えば、自端末で拡張機能の符号化コードの大きさを設定しても良い。これにより、自端末の使用者が付加機能の程度を選択できる。例えば、拡張帯域の帯域幅を７ｋＨｚ、１０ｋＨｚ、１５ｋＨｚのいずれかから選択できる。

図６Ａおよび図６Ｂは、音声符号化装置１００に対応する音声復号化装置の構成例を表すブロック図である。図６Ａは、機能拡張に対応していない音声復号化装置１５０の例、図６Ｂは、機能拡張に対応している音声復号化装置１６０の例を表している。なお、同一の構成要素には同一の符号を付している。

音声復号化装置１５０において、パケット分離部１５１は、受け取ったパケットから符号化コードＩ’を分離する。復号化部１５２は、この符号化コードＩ’の復号化処理を行う。Ｄ／Ａ変換部１５３は、その結果得られる復号信号Ｘ’をアナログ信号に変換し、復号音声信号を出力する。一方、音声復号化装置１６０では、ビット抽出部１６１がパケット分離部１５１から出力された符号化コードＩ’から拡張符号のビットＪを抽出する。機能拡張復号化部１６２は、抽出されたビットＪを復号化して拡張機能に関する情報を得て、復号化部１６３に出力する。復号化部１６３は、機能拡張復号化部１６２から出力された情報に基づいて拡張機能を使用しつつ、ビット抽出部１６１から出力される符号化コードＩ’（パケット分離部１５１から出力される符号化コードと同一）を復号化する。このように、復号化部１５２、１６３に入力される符号化コードは双方ともＩ’であり、双方の違いは、符号化コードＩ’を拡張機能を使用して復号化するか拡張機能を使用せずに符号化するかという点である。このとき、音声復号化装置１６０で得られる音声信号も音声復号化装置１５０で得られる音声信号も共に、ＬＳＢの情報において伝送路誤りが生じたような状態となっている。よって、このＬＳＢの受信誤りによって復号信号に音質劣化を生じさせるが、その音質劣化の程度は小さい。

（実施の形態２）
本発明の実施の形態２に係る音声符号化装置は、ＣＥＬＰ方式による音声符号化を行う。ＣＥＬＰの代表例として、Ｇ．７２９やＡＭＲ、ＡＭＲ−ＷＢ等がある。なお、この音
声符号化装置は、実施の形態１に示した音声符号化装置１００と同様の基本的構成を有しているので、同一の部分の説明は省略する。

図７は、本実施の形態に係る音声符号化装置内部の符号化部２０１の主要な構成を示すブロック図である。

更新部２１１には、適応符号帳２１９および聴感重み付き合成フィルタ２１５の内部状態に関する情報が与えられる。更新部２１１は、この情報に基づいて、適応符号帳２１９および聴感重み付き合成フィルタ２１５の内部状態を更新する。

符号化部２０１に入力された音声信号は、ＬＰＣ分析部２１２にてＬＰＣ係数が求められる。このＬＰＣ係数は、聴感的な品質向上のために利用され、聴感重みフィルタ２１６と聴感重み付き合成フィルタ２１５とに与えられる。また、ＬＰＣ係数は、同時にＬＰＣ量子化部２１３にも与えられ、ＬＰＣ量子化部２１３は、ＬＰＣ係数をＬＳＰ係数などの量子化に適したパラメータに変換し、量子化を行う。この量子化で得られるインデックスが多重化部２２５に与えられ、かつＬＰＣ復号部２１４に与えられる。ＬＰＣ復号部２１４は、符号化コードから量子化後のＬＳＰ係数を算出し、ＬＰＣ係数に変換する。これにより、量子化後のＬＰＣ係数が求められる。この量子化後のＬＰＣ係数は聴感重み付き合成フィルタ２１５に与えられ、適応符号帳２１９および雑音符号帳２２０で利用される。

聴感重みフィルタ２１６は、ＬＰＣ分析部２１２で求められたＬＰＣ係数に基づいて入力音声信号に重み付けを行う。これは、量子化歪のスペクトルを入力信号のスペクトル包絡にマスクされるようスペクトル整形を行うことを目的として行われる。

次に、適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの探索方法について説明する。

適応符号帳２１９は、過去に生成した駆動音源信号を内部状態として保持しており、この内部状態を所望のピッチ周期で繰り返すことにより適応ベクトルを生成する。ピッチ周期の取る範囲は６０Ｈｚ〜４００Ｈｚの間が適当である。また、雑音符号帳２２０は、あらかじめ記憶領域に格納されている雑音ベクトル、もしくは代数（algebraic）構造のように記憶領域を持たずにルールに従い生成されるベクトルを雑音ベクトルとして出力する。ゲイン符号帳２２３から、適応ベクトルに乗じられる適応ベクトルゲインと、雑音ベクトルに乗じられる雑音ベクトルゲインとが出力され、乗算器２２１、２２２においてそれぞれのゲインがそれぞれのベクトルに乗じられる。

加算器２２４は、適応ベクトルゲインが乗じられた適応ベクトルと雑音ベクトルゲインが乗じられた雑音ベクトルとを加算し、駆動音源信号を生成し、聴感重み付き合成フィルタ２１５に与える。聴感重み付き合成フィルタ２１５は、駆動音源信号を通過させて聴覚重み付き合成信号を生成し、減算器２１７に与える。減算器２１７は、聴覚重み付き入力信号から聴覚重み付き合成信号を減算し、探索部２１８に減算後の信号を与える。探索部２１８は、減算後の信号から定義される歪が最小となる適応ベクトル、適応ベクトルゲイン、雑音ベクトル、雑音ベクトルゲインの組み合わせを効率よく探索し、それら符号化コードを多重化部２２５に送る。

探索部２１８は、次の式（２）または式（３）で定義される歪を最小とするインデックスｉ、ｊ、ｍ、もしくはインデックスｉ、ｊ、ｍ、ｎを決定して、それらを多重化部２２５に送る。

ここで、ｔ（ｋ）は聴覚重み付き入力信号、ｐ_ｉ（ｋ）は第ｉ番目の適応ベクトルに聴覚重み付き合成フィルタを通して得られる信号、ｅ_ｊ（ｋ）は第ｊ番目の雑音ベクトルに聴覚重み付き合成フィルタを通して得られる信号、βとγはそれぞれ適応ベクトルゲインと雑音ベクトルゲインを表す。式（２）と式（３）とではゲイン符号帳の構成が異なり、式（２）の場合、ゲイン符号帳は適応ベクトルゲインβ_ｍと雑音ベクトルゲインγ_ｍを要素として持つベクトルとして表されており、ベクトルを特定するためのインデックスｍが決定されることになる。式（３）の場合、ゲイン符号帳は適応ベクトルゲインβ_ｍと雑音ベクトルゲインγ_ｎをそれぞれ独立に有しており、それぞれのインデックスｍ、ｎが独立に決定されることになる。

多重化部２２５は、全てのインデックスが決定された後に、インデックスを一つに多重化して符号化コードを生成し、出力する。

図８は、本実施の形態に係る同期情報生成部２０６内部の主要な構成を示すブロック図である。

同期情報生成部２０６の基本的な動作は、実施の形態１で示した同期情報生成部１０６と同様である。すなわち、音声復号化装置内に存在する復号化部の処理を、符号化コードＩ’を用いて音声符号化装置内で擬似的に行い、その結果得られる適応符号帳および（聴感重み付き）合成フィルタの内部状態を符号化部２０１内の適応符号帳２１９および聴感重み付き合成フィルタ２１５に反映させることである。これにより、復号信号の品質劣化を防止することが可能となる。

分離部２３１は、入力される符号化コードＩ’から符号化コードを分離し、適応符号帳２３３、雑音符号帳２３４、ゲイン符号帳２３５、およびＬＰＣ復号部２３２にそれぞれ与える。ＬＰＣ復号部２３２は、与えられる符号化コードを用いてＬＰＣ係数を復号し、合成フィルタ２３９に与える。

適応符号帳２３３、雑音符号帳２３４、およびゲイン符号帳２３５は、符号化コードを利用してそれぞれ適応ベクトルｑ（ｋ）、雑音ベクトルｃ（ｋ）、適応ベクトルゲインβ_ｑ、および雑音ベクトルゲインγ_ｑをそれぞれ復号化する。乗算器２３６は適応ベクトルと適応ベクトルゲインとを乗じ、乗算器２３７は雑音ベクトルと雑音ベクトルゲインとを乗じ、加算器２３８はそれぞれの乗算後の信号を加算して駆動音源信号を生成する。駆動音源信号をｅｘ（ｋ）と表すと、駆動音源信号ｅｘ（ｋ）は次の式（４）のように求められる。

次に、復号されたＬＰＣ係数と駆動音源信号ｅｘ（ｋ）とを用いて合成フィルタ２３９にて合成信号ｓｙｎ（ｋ）を次の式（５）に従い生成する。

ここで、α_ｑ（ｉ）は復号されたＬＰＣ係数、ＮＰはＬＰＣ係数の次数を表す。次に、駆動音源信号ｅｘ（ｋ）を用いて適応符号帳２３３の内部状態を更新する。

これら一連の処理がなされた後に、抽出部２４０は、適応符号帳２３３および合成フィルタ２３９の内部状態を抽出し、出力する。

このように、本実施の形態によれば、ＣＥＬＰ方式による音声符号化を行う場合に、付加情報の一部もしくは全てをＣＥＬＰの励振音源を表す符号に埋め込む。これにより、実施の形態１と同様の効果を得ることができる。

なお、ここでは適応符号帳２１９と聴感重み付き合成フィルタ２１５の内部状態を用いる場合について説明したが、その他の処理、例えば、ＬＰＣ復号、雑音符号帳、ゲイン符号帳等についても予測を利用する場合には、それらの予測に利用される内部状態、予測係数についても同様に処理を行う。

（実施の形態３）
図９は、本発明の実施の形態３に係る音声符号化装置３００の主要な構成を示すブロック図である。なお、この音声符号化装置３００は、実施の形態１に示した音声符号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。ここでは、ＡＤＰＣＭ方式による音声符号化を行う場合を例にとって説明する。

本実施の形態の特徴は、ビット埋め込み部１０４から与えられる符号化コードＩ’のうち、機能拡張符号化部１０３の拡張符号Ｊに相当する情報はそのままで保持し、その情報を変更しないという制限を設定し、この制限の下、再符号化部３０１にて符号化コードＩ’に対し再度符号化処理を行い、最終的な符号化コードＩ”を決定することである。

再符号化部３０１には、入力ディジタル信号Ｘと、ビット埋め込み部１０４の出力である符号化コードＩ’とが与えられる。再符号化部３０１は、ビット埋め込み部１０４から与えられる符号化コードＩ’を再符号化する。ただし、符号化コードＩ’のうち拡張符号Ｊに相当する情報については変更が加わらないように符号化対象から外す。そして、得られた最終的な符号化コードＩ”を出力する。これにより、機能拡張符号化部１０３の符号化コードＪの情報を保持しつつ、最適な符号化コードを生成することが可能となる。さらに、このときの予測部で使用される予測係数、予測部の内部状態、および適応部で用いられる１サンプル前の量子化符号を符号化部１０２に与えることにより、符号化コードＩ”にて復号処理を行う音声復号化装置（図示せず）の予測部で使用される予測係数、予測部の内部状態、および適応部で用いられる１サンプル前の量子化符号と同期がとれるようになり、復号信号の音質劣化を防止することができる。

図１０は、上記の再符号化部３０１内部の主要な構成を示すブロック図である。なお、量子化部３１１および内部状態抽出部３１２を除き、実施の形態１で示した符号化部１０２（図２参照）と同様の構成を有しているので、これらの説明は省略する。

量子化部３１１には、ビット埋め込み部１０４で生成される符号化コードＩ’が与えられる。量子化部３１１は、符号化コードＩ’のうち、埋め込まれた機能拡張符号化部１０３の符号化コードＪの情報はそのままに、それ以外の符号化コードを再決定する。

図１１は、量子化部３１１の再決定処理の概要を説明するための図である。ここでは、機能拡張符号化部１０３の符号化コードＪは｛０，１，１，０｝であり、符号化コードは４ビット、そのＬＳＢに符号化コードＪが埋め込まれている場合を例にとって説明する。

かかる場合、量子化部３１１は、ＬＳＢが符号化コードＪで固定されている状態で、目標の残差信号に対して最も歪が小さくなる量子化値の符号化コードを再決定することになる。よって、機能拡張符号化部１０３の符号化コードＪが０の場合、量子化部３１１が採ることの可能な量子化値の符号化コードは、０ｘ０，０ｘ２，０ｘ４，０ｘ６，０ｘ８，０ｘＡ，０ｘＣ，０ｘＤの８種類である。また、Ｊ＝１の場合には、量子化部３１１が採ることの可能な量子化値の符号化コードは、０ｘ１，０ｘ３，０ｘ５，０ｘ７，０ｘ９，０ｘＢ，０ｘＤ，０ｘＦの８種類となる。

このようにして再決定した符号化コードＩ”を出力すると共に、予測部１１５の内部状態、予測部１１５で使用される予測係数、および適応部１１３で用いる１サンプル前の量子化符号を内部状態抽出部３１２を介して、出力する。これらの情報は符号化部１０２に与えられ、次の入力Ｘに備える。

本実施の形態に係る符号化処理の手順を整理すると次のようになる。

まず符号化部１０２にて符号化処理が行われ、次にビット埋め込み部１０４で符号化部１０２より得られる符号化コードＩに機能拡張符号化部１０３より与えられる符号化コードＪを埋め込み、符号化コードＩ’を生成する。この符号化コードＩ’を再符号化部３０１に与える。再符号化部３０１では、符号化コードＪを保持するという制限の基に符号化コードを再決定し、符号化コードＩ”を生成する。最後に符号化コードＩ”を出力するとともに、再符号化部３０１内の予測部で使用される予測係数、この予測部の内部状態、および再符号化部３０１内の適応部で用いられる１サンプル前の量子化符号を符号化部１０２に与え、次の入力Ｘに備える。

このように、本実施の形態によれば、符号化部の予測部で使用されるパラメータと、復号化部の予測部で使用されるパラメータとの間の同期がとれ、音質劣化の発生を防止することができる。さらに、ビット埋め込み情報による制限の基で最適な符号化パラメータを再決定するため、ビット埋め込みによる劣化を最小限に抑えることができる。

なお、本実施の形態では、ＡＤＰＣＭ方式による音声符号化を行う場合を例にとって説明したが、ＣＥＬＰ方式であっても良い。

図１２は、ＣＥＬＰ方式を用いた場合の再符号化部３０１の構成を示すブロック図である。なお、雑音符号帳３２１および内部状態抽出部３２２を除き、実施の形態２で示した符号化部２０１（図７参照）と同様の構成を有するので、これらについては説明を省略する。

雑音符号帳３２１にはビット埋め込み部１０４で生成される符号化コードＩ’が与えられる。雑音符号帳３２１は、符号化コードＩ’のうち、埋め込まれた符号化コードＪの情報はそのままに、それ以外の符号化コードを再決定する。仮に、雑音符号帳３２１のインデックスが８ビットで表され、そのＬＳＢに拡張機能符号化部１０２の情報｛０｝が埋め込まれている場合には、雑音符号帳３２１の探索は、インデックスが偶数で表される候補｛２ｎ；ｎ＝０〜１２７｝の中で行われる。雑音符号帳３２１は、その中で最も歪を小さくする候補を探索によって決定し、そのインデックスを出力する。同様に、雑音符号帳３２１のインデックスが８ビットで表され、そのＬＳＢに拡張機能符号化部１０２の情報｛
１｝が埋め込まれている場合には、雑音符号帳３２１の探索は、インデックスが奇数で表される候補｛２ｎ＋１；ｎ＝０〜１２７｝の中で行われる。

再符号化部３０１は、このようにして再決定した符号化コードＩ”を出力すると共に、適応符号帳２１９、聴感重みフィルタ２１６、および聴感重み付き合成フィルタ２１５の内部状態を、内部状態抽出部３２２を介して出力する。これらの情報は符号化部１０２に与えられる。

上記の説明は、雑音符号帳３２１のインデックスの一部に拡張機能の情報を埋め込む場合の説明である。このとき、再符号化部３０１は、ＬＰＣ係数の算出および符号化、適応符号帳の探索は行う必要は無い。その理由は、再符号化が必要なのは雑音符号帳についてであり、その前段で処理される部分は符号化部１０２での結果と変わらない。よって、符号化部１０２で求めた結果をそのまま利用すればよいためである。

また、ここでは、雑音ベクトルのインデックスの一部に拡張機能の情報を埋め込む場合について説明しているが、これに限定されることは無く、例えばＬＰＣ係数、適応符号帳、ゲイン符号帳のインデックスに拡張機能の情報を埋め込むことも可能である。その場合の動作原理は、上記の雑音符号帳３２１に対する説明と同じで、拡張機能の情報は保持するという制限の下、歪が最も小さくなるときのインデックスを再決定する点が特徴となる。

なお、ここでは適応符号帳２１９と聴感重み付き合成フィルタ２１５の内部状態を用いる場合について説明したが、その他の処理、例えば、ＬＰＣ復号、雑音符号帳、ゲイン符号帳等についても予測を利用する場合には、それらの予測に利用される内部状態、予測係数についても同様に処理を行う。

図１３は、音声符号化装置３００のバリエーションの構成を示すブロック図である。

図９に示した音声符号化装置３００は、符号化部１０２の処理結果に依存して機能拡張符号化部１０３の処理結果が変わる構成となっていた。ここでは、符号化部１０２の処理結果とは独立に機能拡張符号化部１０３の処理が行える構成とする。

上記の構成は、例えば、入力音声信号を２つの帯域（例えば、０−４ｋＨｚと４−８ｋＨｚ）に帯域分割し、符号化部１０２では０−４ｋＨｚ帯域、機能拡張部符号部１０３では４−８ｋＨｚ帯域を独立に符号化するような場合に適用できる。この場合、機能拡張符号化部１０３の符号化処理は、符号化部１０２の処理結果に依存せずに実施することが可能である。

符号化処理の手順を説明すると、まず機能拡張符号化部１０３にて符号化処理を行い、拡張符号Ｊを生成する。この拡張符号Ｊを符号化処理制限部３３１に与える。符号化部１０２には、拡張符号Ｊを埋め込むことを前提として、この符号Ｊに関し情報を変更しないという制限情報が符号化処理制限部３３１から与えられる。よって、符号化部１０２は、この制限の下で符号化処理を行い、最終的な符号化コードＩ’を決定する。この構成によれば、再符号化部３０１が必要なくなり、少ない演算量で実施の形態３に係る音声符号化を実現できる。

以上、本発明の各実施の形態について説明した。

本発明に係る音声符号化装置は、上記の実施の形態１〜３に限定されず、種々変更して実施することが可能である。

本発明に係る音声符号化装置は、移動体通信システムにおける通信端末装置および基地局装置に搭載することも可能であり、これにより上記と同様の作用効果を有する通信端末装置および基地局装置を提供することができる。

なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。例えば、本発明に係る音声符号化方法のアルゴリズムをプログラミング言語によって記述し、このプログラムをメモリに記憶しておいて情報処理手段によって実行させることにより、本発明に係る音声符号化装置と同様の機能を実現することができる。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。

また、ここではＬＳＩとしたが、集積度の違いによって、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ等と呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラム化することが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続もしくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。

本明細書は、２００４年７月２０日出願の特願２００４−２１１５８９に基づく。この内容はすべてここに含めておく。

本発明に係る音声符号化装置および音声符号化方法は、ＶｏＩＰネットワーク、携帯電話網等の用途に適用できる。

実施の形態１に係るパケット送信装置の主要な構成を示すブロック図 実施の形態１に係る符号化部内部の主要な構成を表すブロック図 実施の形態１に係るビット埋め込み部内部の主要な構成を表すブロック図 実施の形態１に係るビット埋め込み部から入出力される信号のビット構成の一例を表す図 実施の形態１に係る同期情報生成部内部の主要な構成を表すブロック図 実施の形態１に係る音声復号化装置の構成例を表すブロック図 実施の形態１に係る音声復号化装置の構成例を表すブロック図 実施の形態２に係る符号化部の主要な構成を示すブロック図 実施の形態２に係る同期情報生成部内部の主要な構成を示すブロック図 実施の形態３に係る音声符号化装置の主要な構成を示すブロック図 実施の形態３に係る再符号化部内部の主要な構成を示すブロック図 実施の形態３に係る量子化部の再決定処理の概要を説明するための図 ＣＥＬＰ方式を用いた場合の実施の形態３に係る再符号化部の構成を示すブロック図 実施の形態３に係る音声符号化装置のバリエーションの構成を示すブロック図

Claims (12)

1. 予測符号化によって音声信号から符号を生成する符号化手段と、
   前記符号に付加情報を埋め込む埋込手段と、
   前記付加情報を保持したまま、前記付加情報が埋め込まれた符号を用いて前記音声信号を再符号化して、第２の符号と前記予測符号化で使用される予測用パラメータとを生成する再符号化手段と、
   前記予測用パラメータを用いて、前記予測符号化にて使用される予測用パラメータを更新する更新手段と、
   を具備する音声符号化装置。
2. 前記符号化手段は、
   ＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）方式により前記符号を生成し、
   前記埋込手段は、
   前記符号のＬＳＢ（Least Significant Bit）に前記付加情報を埋め込む、
   請求項１記載の音声符号化装置。
3. 前記符号化手段は、
   ＣＥＬＰ方式により前記符号を生成し、
   前記埋込手段は、
   前記符号のうちＣＥＬＰ方式の励振音源を表す符号に前記付加情報を埋め込む、
   請求項１記載の音声符号化装置。
4. 前記埋込手段は、
   埋め込む前記付加情報のビット数を前記音声信号の性質に応じて変化させ、かつ、このビット数を音声復号化装置に通知する、
   請求項１記載の音声符号化装置。
5. 前記付加情報のビット数が所定の選択肢の中から指定される指定手段、
   をさらに具備する請求項１記載の音声符号化装置。
6. 請求項１記載の音声符号化装置を具備する通信端末装置。
7. 前記埋込手段が付加情報を埋め込む位置、および前記付加情報のビット数をシグナリングする送信手段、
   をさらに具備する請求項６記載の通信端末装置。
8. 前記埋込手段は、
   通信相手の通信端末装置の受信状況に応じて前記付加情報を埋め込む位置を決定する、 請求項７記載の通信端末装置。
9. 請求項１記載の音声符号化装置を具備する基地局装置。
10. 前記埋込手段が付加情報を埋め込む位置、および前記付加情報のビット数をシグナリングする送信手段、
    をさらに具備する請求項９記載の基地局装置。
11. 前記埋込手段は、
    通信相手の通信端末装置の受信状況に応じて前記付加情報を埋め込む位置を決定する、 請求項１０記載の基地局装置。
12. 予測符号化によって音声信号から符号を生成する符号化ステップと、
    前記符号に付加情報を埋め込む埋込ステップと、
    前記付加情報を保持したまま、前記付加情報が埋め込まれた符号を用いて前記音声信号を再符号化して、第２の符号と前記予測符号化で使用される予測用パラメータとを生成する再符号化ステップと、
    前記予測用パラメータを用いて、前記予測符号化にて使用される予測用パラメータを更新する更新ステップと、
    を具備する音声符号化方法。

Images