JPH05265499A - 高能率符号化方法 - Google Patents
高能率符号化方法Info
- Publication number
- JPH05265499A JPH05265499A JP4092258A JP9225892A JPH05265499A JP H05265499 A JPH05265499 A JP H05265499A JP 4092258 A JP4092258 A JP 4092258A JP 9225892 A JP9225892 A JP 9225892A JP H05265499 A JPH05265499 A JP H05265499A
- Authority
- JP
- Japan
- Prior art keywords
- data
- vector
- unit
- signal
- pitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
で周波数軸上データに変換し、ベクトル量子化部15で
ベクトル量子化を施して出力端子16から取り出す。ベ
クトル量子化部15は、V(有声音)用コードブック1
5V と、UV(無声音)用コードブック15U とが切換
スイッチ15W にて切換選択されるようになっており、
周波数変換処理部12からのV(有声音)/UV(無声
音)判別情報に応じて切換スイッチ15W が切換制御さ
れる。 【効果】 ベクトル量子化の品質が向上し、性能向上に
役立つ。
Description
音響信号等のオーディオ信号をフレーム単位で区分して
周波数軸上のデータに変換して符号化を施すような高能
率符号化方法に関する。
含む)の時間領域や周波数領域における統計的性質と人
間の聴感上の特性を利用して信号圧縮を行うような符号
化方法が種々知られている。この符号化方法としては、
大別して時間領域での符号化、周波数領域での符号化、
分析合成符号化等が挙げられる。
BE(Multiband Excitation: マルチバンド励起)符号
化、SBE(Singleband Excitation:シングルバンド励
起)符号化、ハーモニック(Harmonic)符号化、SBC
(Sub-band Coding:帯域分割符号化)、LPC(Linear
Predictive Coding: 線形予測符号化)、あるいはDC
T(離散コサイン変換)、MDCT(モデファイドDC
T)、FFT(高速フーリエ変換)等において、スペク
トル振幅やそのパラメータ(LSPパラメータ、αパラ
メータ、kパラメータ等)のような各種情報データを量
子化する場合に、従来においてはスカラ量子化を行うこ
とが多い。
トを例えば3〜4kbps 程度にまで低減し、量子化効率
を更に向上させようとすると、スカラ量子化では量子化
雑音(歪み)が大きくなってしまい、実用化が困難であ
った。そこで、これらの符号化の際に得られる時間軸デ
ータや周波数軸データやフィルタ係数データ等を個々に
量子化せず、複数個のデータを組(ベクトル)にまとめ
て一つの符号で表現して量子化するベクトル量子化が注
目されている。
スペクトルエンベロープ、あるいはそのパラメータ(L
SPパラメータ、αパラメータ、kパラメータ等)のベ
クトル量子化の際には、固定のコードブックを使用して
いる。しかしながら、使用可能なビット数が減少(低ビ
ットレート化)してくると、固定コードブックでは充分
な性能が得られなくなる。このため、ベクトル量子化す
る入力データのベクトル空間上での存在領域が狭くなる
ようにクラスタリング(分類分け)したものをベクトル
量子化することが好ましい。
も、コードブックサイズ、サーチのための演算量を低減
するため、構造化されたコードブックを使用することも
考えられているが、このとき、出力インデックス長がn
+1ビットの1個のコードブックを使用する代わりに、
例えば2個のnビットのコードブックに分割する方が好
ましい。
たものであり、ベクトル量子化を入力データの性質等に
応じて効率良く行え、ベクトル量子化器のコードブック
のサイズやサーチ時の演算量を低減でき、品質の高い符
号化が行えるような高能率符号化方法の提供を目的とす
る。
化方法は、入力されたオーディオ信号(音声信号や音響
信号等)をブロック単位で区分して周波数軸に変換して
得られるデータに基づいてM次元ベクトルとしての周波
数軸上データを求める工程と、このM次元ベクトルの周
波数軸上データに対してベクトル量子化を施すためにオ
ーディオ信号の状態に応じた複数のコードブックを有す
るベクトル量子化器を用い、上記オーディオ入力信号の
ブロック毎の特徴を表すパラメータに応じて上記複数の
コードブックを切り換えて量子化を施す工程とを有する
ことにより、上述の課題を解決するものである。
は、入力されたオーディオ信号をブロック単位で区分し
て周波数軸に変換して得られるデータに基づいてM次元
ベクトルとしての周波数軸上データを求める工程と、こ
のM次元ベクトルの周波数軸上データを複数グループに
分割して各グループ毎に代表値を求めることにより次元
をS次元(S<M)に低下させる工程と、このS次元ベ
クトルのデータに対して第1のベクトル量子化を施す工
程と、この第1のベクトル量子化出力データを逆量子化
して対応するS次元のコードベクトルを求める工程と、
このS次元のコードベクトルを元のM次元のベクトルに
拡張する工程と、この拡張されたM次元のベクトルと元
の上記M次元ベクトルの周波数軸上データとの関係を表
すデータに対して第2のベクトル量子化を施すためにオ
ーディオ信号の状態に応じた複数のコードブックを有す
る第2のベクトル量子化器を用い、上記オーディオ入力
信号のブロック毎の特徴を表すパラメータに応じて上記
複数のコードブックを切り換えて量子化を施す工程とを
有することにより、上述の課題を解決する。
号として音声信号を用る場合に、上記コードブックとし
て音声信号が有声音か無声音かに応じた複数のコードブ
ックを用い、上記特徴パラメータとして上記ブロック毎
の入力音声信号が有声音か無声音かを表すパラメータを
用いることができる。また、特徴パラメータとして、ピ
ッチの値、ピッチの成分の強弱、有声音/無声音の含有
比率、信号スペクトルの傾き及びそのレベル等が使用で
き、基本的には有声音か無声音かに応じてコードブック
を切り換えることが好ましい。このような特徴パラメー
タは、別途伝送してもよいが、符号化方式により予め規
定されているような元々伝送されるパラメータを代用さ
せるようにしてもよい。また、上記M次元ベクトルの周
波数軸上データとして、上記ブロック単位で周波数軸に
変換したデータを非線形圧縮したものを用いることがで
きる。さらに、上記ベクトル量子化の前に、ベクトル量
子化しようとするデータのブロック間の差分をとり、こ
のブロック間差分データに対してベクトル量子化を施す
ようにしてもよい。
を表すパラメータに応じて上記複数のコードブックを切
り換えてベクトル量子化を施すことにより、量子化が効
率良く行え、ベクトル量子化器のコードブックのサイズ
やサーチ時の演算量を低減でき、品質の高い符号化が行
える。
例について、図面を参照しながら説明する。図1は本発
明の一実施例となる高能率符号化方法を説明するための
符号化装置(エンコーダ)の概略構成を示している。
号あるいは音響信号が供給され、この入力信号は、周波
数軸変換処理部12にて周波数軸上のスペクトル振幅デ
ータに変換される。この周波数軸変換処理部12の内部
には、例えば入力された時間軸上の信号の所定数のサン
プル(Nサンプル)毎にブロック化するブロック化部1
2a、FFT(高速フーリエ変換)等の直交変換部12
b、スペクトルエンベロープの特徴を表す振幅情報を求
めるためのデータ処理部12c等が設けられている。周
波数軸変換処理部12からの出力は、必要に応じて例え
ばdB領域に変換する非線形圧縮部13を介し、必要に
応じてブロック間の差分をとる処理部14を介してベク
トル量子化部15に送られる。このベクトル量子化部1
5では、入力データの所定数(Mサンプル)がまとめら
れてM次元とベクトルとされ、ベクトル量子化処理が施
される。このようなM次元ベクトル量子化処理は、一般
的には、入力された次元ベクトルに対してM次元空間上
で最も距離が近いコードベクトルがコードブックから検
索(サーチ)されて、該検索されたコードベクトルのイ
ンデックスを出力端子16から取り出すような処理であ
るが、この図1に示す実施例のベクトル量子化部15
は、複数種類のコードブックを有し、これらのコードブ
ックが、周波数軸変換処理部12からの上記入力信号の
特徴を表すパラメータに応じて切り換えられるようにな
っている。
想定し、V(有声音)用コードブック15V と、UV
(無声音)用コードブック15U とが切換スイッチ15
W により切り換えられてベクトル量子化器15Q に送ら
れるようになっており、切換スイッチ15は、周波数軸
変換処理部12からのV/UV(有声音/無声音)判別
信号に応じて切換制御される。このV/UV判別信号
(フラグ等)は、後述するようなMBE(Multiband Ex
citation: マルチバンド励起)ボコーダ(音声分析合成
装置)等の場合には、分析系(エンコーダ)側から合成
系(デコーダ)側へ伝送されるパラメータであり、別途
に伝送する必要がない。
すると、上記コードブック15V 、15U の切換のため
のパラメータは、伝送される情報の一つであるV/UV
判別フラグを利用するようにすればよい。すなわち、上
記周波数軸変換処理部12において、ピッチに応じたバ
ンド分割を行い、分割された各バンド毎にV(有声音)
かUV(無声音)かの判別が行われる。ここで、Vバン
ドの個数をNV 、UVバンドの個数をNUVとし、所定の
閾値Vthに対して、
選択するようにし、それ以外のときはUV(無声音)用
コードブック15U を切換選択するようにする。上記閾
値Vthは、例えば1程度に設定すればよい。
声音)用及びUV(無声音)用の2種類のコードブック
の切換選択を行う。上記V/UV判別フラグはMBEボ
コーダでは必ず伝送するサイドインフォメーション(補
助情報)であるので、この具体例においては別個にコー
ドブック切換のための特徴パラメータを伝送する必要が
なく、伝送ビットレートの増加がない。
(無声音)用コードブック15U の生成(トレーニン
グ)は、単に同じ基準でトレーニングデータを分けるこ
とによって可能となる。すなわち、V(有声音)と判別
された振幅データの集まりから生成されたコードブック
をV用コードブック15V とし、UV(無声音)と判別
された振幅データの集まりから生成されたコードブック
をUV用コードブック15U とする。
ードブックの切換に用いていることから、上記V/UV
判別フラグをより確実に(信頼性を高く)しておく必要
がある。例えば、明らかに子音や背景雑音であるとみな
せる部分では、全バンドUVにすべきである。その判断
の一例としては、高域にパワーの多い微小入力をUV化
することが挙げられる。
てFFT(高速フーリエ変換)を行い、有効な0〜π
(0〜N/2)の中で、0〜N/4とN/4〜N/2と
のそれぞれの区間でパワー計算を行う。
件に全バンドUV(無声音)と判別する。
で検出したときに、それを使用しない効果がある。この
ようにして、より確かなV/UVフラグを作っておく
と、ベクトル量子化の際のコードブックの切換に好都合
である。
音)用の各コードブックを作成する際のトレーニングに
ついて、図2を参照しながら説明する。図2において、
トレーニング用の数分程度の音声信号から成るトレーニ
ングセット31からの信号は、周波数軸変換処理部32
に送られて、ピッチ抽出部32aによりピッチ抽出が、
スペクトル振幅算出部32bによりスペクトル振幅の算
出が、またバンド毎のV/UV判断部32cにより各バ
ンド毎のV/UV判断がそれぞれ行われる。この周波数
軸変換処理部32からの出力データは、トレーニング前
処理部34に送られる。
含有率のチェック部34aにより上記(1)式や(4)
式の条件等をチェックし、得られたV/UV情報に応じ
て、トレーニングデータの振り分け部34bにより上記
スペクトル振幅データを振り分けており、V(有声音)
のときにはV(有声音)用トレーニングデータ出力部3
6aへ、UV(無声音)のときにはUV(有声音)用ト
レーニングデータ出力部37aへ、それぞれ振幅データ
を送っている。
出力されたV(有声音)のスペクトル振幅データは、ト
レーニング処理部36bに送られて、例えばいわゆるL
BG法によりトレーニング処理が行われ、V(有声音)
用コードブック36cが作成される。ここで、上記LB
G法とは、Linde, Y., Buzo, A. and Gray, R. M.,"An
Algolithm for Vector Quantizer Design", IEEE Tran
s. Comm., COM-28,pp.84-95, Jan. 1980 において提案
されたベクトル量子化器を設計するアルゴリズムにおけ
るコードブックのトレーニング法であり、確率密度関数
が知られていない情報源に対していわゆるトレーニング
系列を用いて局所的に最適なベクトル量子化器を設計す
るものである。同様に、UV用トレーニングデータ出力
部37aから出力されたUV(無声音)のスペクトル振
幅データは、トレーニング処理部37bに送られて例え
ばLBG法によりトレーニング処理が行われ、UV(無
声音)用コードブック37cが作成される。
部に階層構造を持たせ、上位層にはV/UV共用部分の
コードブックを用い、下位層のコードブックのみをV/
UVに応じて切り換えるようにする場合には、V/UV
共用部分のコードブックも作成する必要がある。この場
合、上記周波数軸変換処理部32からの出力データをV
/UV共用部分のコードブック用トレーニングデータ出
力部35aに送ることが必要とされる。
ニングデータ出力部35aから出力されたスペクトル振
幅データは、トレーニング処理部35bに送られて、例
えばいわゆるLBG法によりトレーニング処理が実行さ
れ、V/UV共用部分のコードブック35cが作成され
る。この作成されたV/UV共用コードブック35cか
らのコードベクトルを、上記V用、UV用の各トレーニ
ングデータ出力部36a、37aに送り、入力データか
ら減算することが必要とされる。
の具体的構成及び作用について、図3〜図9を参照しな
がら説明する。すなわち、この図3に示すベクトル量子
化部15は、例えば上下の2つの層に階層構造化されて
おり、入力ベクトルに対して2段階のベクトル量子化が
施されるようになっている。
子17には、上記図1の周波数軸変換処理部12からの
周波数軸上の振幅データが(必要に応じて非線形圧縮部
13及びブロック間差分処理部14を介し)、ベクトル
量子化の単位となる上記M次元ベクトルとして供給され
ている。このM次元ベクトルは、次元低減部21に送ら
れることにより複数グループに分割され、各グループ毎
に代表値を求めることにより次元がS次元(S<M)に
低下させられる。ここで図4は、ベクトル量子化器15
に入力されるM次元ベクトルXの各要素、すなわち周
波数軸上のM個の振幅データx(n) の一具体例を示して
おり、1≦n≦Mである。これらのM個の振幅データx
(n) は、例えば4サンプル毎にまとめられてそれぞれの
代表値、例えば平均値yi が求められ、図5に示すよう
に、平均値データy1 〜yS のS個(この場合はS=M
/4)から成るS次元ベクトルYが得られる。
てS次元ベクトル量子化器22Q によりベクトル量子化
が施される。すなわち、S次元ベクトル量子化器22Q
のコードブック22C 中のS次元コードベクトルの内、
入力されたS次元ベクトルにS次元空間上で最も距離が
近いコードベクトルがサーチされ、このサーチされたコ
ードベクトルのインデックスデータは出力端子26より
取り出され、サーチされたコードベクトル(出力インデ
ックスを逆ベクトル量子化して得られるコードベクト
ル)は次元拡張部23に送られる。コードブック22C
には、上記図2において説明したV/UV共用部分のコ
ードブック35cが用いられる。図6は、上記図5に示
すS個の平均値データy1 〜yS から成るS次元ベクト
ルYをベクトル量子化した後、逆量子化して(あるい
はベクトル量子化器22のコードブックで上記量子化の
際にサーチされたコードベクトルを取り出して)得られ
たローカルデコーダ出力としてのS次元ベクトルYVQ
の各要素yVQ1 〜yVQS を示している。
ードベクトルを元のM次元のベクトルに拡張する。この
拡張されたM次元ベクトルの各要素の例を図7に示す。
この図7から明らかなように、上記逆ベクトル量子化さ
れたS次元ベクトルYVQの各要素yVQ1 〜yVQS をそ
れぞれ元の4サンプルずつに増加させることにより、4
S=M個の要素から成るM次元ベクトルを得るわけであ
る。この拡張されたM次元のベクトルと元の上記M次元
ベクトルの周波数軸上データとの関係を表すデータに対
して第2のベクトル量子化を施す。
拡張されたM次元ベクトルデータを減算器24に送り、
元の上記M次元ベクトルの周波数軸上データから減算す
ることにより、上記S次元を拡張したM次元ベクトルと
元のM次元ベクトルとの関係を表すS個のベクトルデー
タを得ている。図8は、上記図4に示すM次元ベクトル
Xの各要素である周波数軸上のM個の振幅データx
(n) から、図7に示す拡張M次元ベクトルの各要素を減
算して得られたM個のデータr1 〜rM を示しており、
これらのM個のデータr1 〜rM の4サンプルずつを組
(ベクトル)としてS個の4次元ベクトルR1 〜R
S が得られる。
個のベクトルのそれぞれに対して、ベクトル量子化器群
25のS個の各ベクトル量子化器251Q〜25SQにより
それぞれベクトル量子化を施す。各ベクトル量子化器2
51Q〜25SQから出力されるインデックスは、それぞれ
出力端子271Q〜27SQから取り出される。図9は、ベ
クトル量子化器251Q〜25SQとしてそれぞれ4次元ベ
クトル量子化器を用い、上記図8に示す各4次元ベクト
ルR1 〜RS をそれぞれベクトル量子化した後の各
4次元ベクトルRVQ1 〜RVQS の各要素rVQ1 〜r
VQ4 、rVQ5 〜rVQ8 、…〜rVQM を示している。
SQには、それぞれV(有声音)用のコードブック251V
〜25SVとUV(無声音)用のコードブック251U〜2
5SUとが用いられ、これらのV用コードブック251V〜
25SVとUV用コードブック251U〜25SUとは、入力
端子18からのV/UV情報に応じて切換制御される切
換スイッチ251W〜25SWにより切換選択されるように
なっている。これらの切換スイッチ251W〜25SWの切
換制御は、全バンドに対して同時に(連動させて)行っ
てもよいが、各ベクトル量子化器251Q〜25SQが受け
持つ周波数帯域が異なることを考慮して、バンド毎のV
/UV判別フラグに応じて切換制御するようにしてもよ
い。V用コードブック251V〜25SVが図2のV(有声
音)用コードブック36cに対応し、UV用コードブッ
ク251U〜25SUが図2のV(有声音)用コードブック
37cに対応することは勿論である。
トル量子化を施すことにより、コードブックサーチのた
めの演算量を低減でき、コードブックのためのメモリ量
(例えばROM容量)を低減でき、また上記出力端子2
6から得られる上位層のより重要なインデックスに対し
て誤り訂正符号化を施して重点的に保護するようにする
こと等により、誤り訂正符号の効果的な適用が可能とな
る。なお、ベクトル量子化部15の階層構造は、2段階
に限定されず、3段階以上の多層の階層構造を持たせる
ようにしてもよい。
ウェアにて構成する必要はなく、例えばいわゆるDSP
(ディジタル信号プロセッサ)等を用いてソフトウェア
的に実現するようにしてもよい。
符号化の場合に、音声の有声無声の度合い、ピッチ等が
既に特徴量として抽出されていることを考慮して、それ
らの特徴量、特に有声/無声の判断結果によってベクト
ル量子化のコードブックを切り換えることにより、良好
なベクトル量子化が実現できる。すなわち、有声音時と
無声音時とでは、各々存在するスペクトルの形状が大き
く異なり、各状態に対応して各々別々にトレーニングさ
れたコードブックを持つことは、特性改善上、大変好ま
しいことである。また、階層構造化ベクトル量子化の場
合、上位層のベクトル量子化は固定のコードブックと
し、下位層のベクトル量子化のコードブックのみ、有声
用/無声用の2種を切り換えるようにしてもよい。ま
た、周波数軸上のビットアロケーションも、例えば有声
音のときは低音重視、無声音のときは高音重視に切り換
えるようにしてもよい。切換制御には、ピッチの有無、
有声音/無声音の比率、スペクトルのレベルや傾き、等
を利用することができる。さらに、3種類以上のコード
ブックを切り換えるようにしてもよく、例えば、無声音
用のコードブックを子音、背景雑音等で2種類以上用い
るようにしてもよい。
適用可能な、音声信号の合成分析符号化装置(いわゆる
ボコーダ)の一種のMBE(Multiband Excitation: マ
ルチバンド励起)ボコーダの具体例について、図面を参
照しながら説明する。以下に説明するMBEボコーダ
は、D.W. Griffin and J.S. Lim, "MultibandExcitatio
n Vocoder," IEEE Trans.Acoustics,Speech,and Signal
Processing,vol.36, No.8, pp.1223-1235, Aug. 1988
に開示されているものであり、従来のPARCOR(PA
Rtial auto-CORrelation: 偏自己相関)ボコーダ等で
は、音声のモデル化の際に有声音区間と無声音区間とを
ブロックあるいはフレーム毎に切り換えていたのに対
し、MBEボコーダでは、同時刻(同じブロックあるい
はフレーム内)の周波数軸領域に有声音(Voiced)区間
と無声音(Unvoiced)区間とが存在するという仮定でモ
デル化している。
適用した実施例の全体の概略構成を示すブロック図であ
る。この図10において、入力端子101には音声信号
が供給されるようになっており、この入力音声信号は、
HPF(ハイパスフィルタ)等のフィルタ102に送ら
れて、いわゆるDC(直流)オフセット分の除去や帯域
制限(例えば200〜3400Hzに制限)のための少な
くとも低域成分(200Hz以下)の除去が行われる。こ
のフィルタ102を介して得られた信号は、ピッチ抽出
部103及び窓かけ処理部104にそれぞれ送られる。
ピッチ抽出部103では、入力音声信号データが所定サ
ンプル数N(例えばN=256)単位でブロック分割さ
れ(あるいは方形窓による切り出しが行われ)、このブ
ロック内の音声信号についてのピッチ抽出が行われる。
このような切り出しブロック(256サンプル)を、例
えば図11のAに示すようにLサンプル(例えばL=1
60)のフレーム間隔で時間軸方向に移動させており、
各ブロック間のオーバラップはN−Lサンプル(例えば
96サンプル)となっている。また、窓かけ処理部10
4では、1ブロックNサンプルに対して所定の窓関数、
例えばハミング窓をかけ、この窓かけブロックを1フレ
ームLサンプルの間隔で時間軸方向に順次移動させてい
る。
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部103内での図11の
Aに示すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(5) =0 r<0,N≦r また、窓かけ処理部104での図11のBに示すような
ハミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(6) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(4)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って例えば上記方形窓の場合に窓関数wr (kL-q)=1
となるのは、図12に示すように、kL−N<q≦kL
のときとなる。また、上記(4)〜(6)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(5)
式、(6)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
うに、上記(6)式のハミング窓がかけられた1ブロッ
ク256サンプルのサンプル列xwh(k,r) に対して17
92サンプル分の0データが付加されて(いわゆる0詰
めされて)2048サンプルとされ、この2048サン
プルの時間軸データ列に対して、直交変換部105によ
り例えばFFT(高速フーリエ変換)等の直交変換処理
が施される。
のサンプル列(1ブロックNサンプル)に基づいてピッ
チ抽出が行われる。このピッチ抽出法には、時間波形の
周期性や、スペクトルの周期的周波数構造や、自己相関
関数を用いるもの等が知られているが、本実施例では、
センタクリップ波形の自己相関法を採用している。この
ときのブロック内でのセンタクリップレベルについて
は、1ブロックにつき1つのクリップレベルを設定して
もよいが、ブロックを細分割した各部(各サブブロッ
ク)の信号のピークレベル等を検出し、これらの各サブ
ブロックのピークレベル等の差が大きいときに、ブロッ
ク内でクリップレベルを段階的にあるいは連続的に変化
させるようにしている。このセンタクリップ波形の自己
相関データのピーク位置に基づいてピーク周期を決めて
いる。このとき、現在フレームに属する自己相関データ
(自己相関は1ブロックNサンプルのデータを対象とし
て求められる)から複数のピークを求めておき、これら
の複数のピークの内の最大ピークが所定の閾値以上のと
きには該最大ピーク位置をピッチ周期とし、それ以外の
ときには、現在フレーム以外のフレーム、例えば前後の
フレームで求められたピッチに対して所定の関係を満た
すピッチ範囲内、例えば前フレームのピッチを中心とし
て±20%の範囲内にあるピークを求め、このピーク位
置に基づいて現在フレームのピッチを決定するようにし
ている。このピッチ抽出部103ではオープンループに
よる比較的ラフなピッチのサーチが行われ、抽出された
ピッチデータは高精度(ファイン)ピッチサーチ部10
6に送られて、クローズドループによる高精度のピッチ
サーチ(ピッチのファインサーチ)が行われる。
には、ピッチ抽出部103で抽出された整数(インテジ
ャー)値の粗(ラフ)ピッチデータと、直交変換部10
5により例えばFFTされた周波数軸上のデータとが供
給されている。この高精度ピッチサーチ部106では、
上記粗ピッチデータ値を中心に、0.2〜0.5きざみで±
数サンプルずつ振って、最適な小数点付き(フローティ
ング)のファインピッチデータの値へ追い込む。このと
きのファインサーチの手法として、いわゆる合成による
分析 (Analysis by Synthesis)法を用い、合成されたパ
ワースペクトルが原音のパワースペクトルに最も近くな
るようにピッチを選んでいる。
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(7) と表現するようなモデルを想定している。ここで、Jは
πωs =fs /2に対応し、サンプリング周波数fs =
2πωs が例えば8kHzのときには4kHzに対応する。
上記(7)式中において、周波数軸上のスペクトルデー
タS(j) が図14のAに示すような波形のとき、H(j)
は、図14のBに示すような元のスペクトルデータS
(j) のスペクトル包絡線(エンベロープ)を示し、E
(j) は、図14のCに示すような等レベルで周期的な励
起信号(エキサイテイション)のスペクトルを示してい
る。すなわち、FFTスペクトルS(j) は、スペクトル
エンベロープH(j) と励起信号のパワースペクトル|E
(j) |との積としてモデル化される。
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図13に示す
ような256サンプルのハミング窓関数に1792サン
プル分の0データを付加(0詰め)した波形を時間軸信
号と見なしてFFTし、得られた周波数軸上のある帯域
幅を持つインパルス波形を上記ピッチに応じて切り出す
ことにより形成することができる。
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
は、
最小化する。このような振幅|Am |を各バンド毎に求
め、得られた各振幅|Am |を用いて上記(8)式で定
義された各バンド毎のエラーεm を求める。次に、この
ような各バンド毎のエラーεm の全バンドの総和値Σε
m を求める。さらに、このような全バンドのエラー総和
値Σεm を、いくつかの微小に異なるピッチについて求
め、エラー総和値Σεm が最小となるようなピッチを求
める。
られたラフピッチを中心として、例えば 0.25 きざみで
上下に数種類ずつ用意する。これらの複数種類の微小に
異なるピッチの各ピッチに対してそれぞれ上記エラー総
和値Σεm を求める。この場合、ピッチが定まるとバン
ド幅が決まり、上記(9)式より、周波数軸上データの
パワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(8)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部106で最適のファイン(例えば 0.25 きざみ)ピッ
チが求められ、この最適ピッチに対応する振幅|Am |
が決定される。
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
適ピッチ及び振幅|Am |のデータは、有声音/無声音
判別部107に送られ、上記各バンド毎に有声音/無声
音の判別が行われる。この判別のために、NSR(ノイ
ズtoシグナル比)を利用する。すなわち、第mバンド
のNSRは、
大のとき(エラーが大きい)ときには、そのバンドでの
|Am ||E(j) |による|S(j) |の近似が良くない
(上記励起信号|E(j) |が基底として不適当である)
と判断でき、当該バンドをUV(Unvoiced、無声音)と
判別する。これ以外のときは、近似がある程度良好に行
われていると判断でき、そのバンドをV(Voiced、有声
音)と判別する。
部105からの周波数軸上データ、高精度ピッチサーチ
部106からのファインピッチと評価された振幅|Am
|との各データ、及び上記有声音/無声音判別部107
からのV/UV(有声音/無声音)判別データが供給さ
れている。この振幅再評価部108では、有声音/無声
音判別部107において無声音(UV)と判別されたバ
ンドに関して、再度振幅を求めている。このUVのバン
ドについての振幅|Am |UVは、
データ数変換(一種のサンプリングレート変換)部10
9に送られる。このデータ数変換部109は、上記ピッ
チに応じて周波数軸上での分割帯域数が異なり、データ
数(特に振幅データの数)が異なることを考慮して、一
定の個数にするためのものである。すなわち、例えば有
効帯域を3400kHzまでとすると、この有効帯域が上
記ピッチに応じて、8バンド〜63バンドに分割される
ことになり、これらの各バンド毎に得られる上記振幅|
Am |(UVバンドの振幅|Am |UVも含む)データの
個数mMX+1も8〜63と変化することになる。このた
めデータ数変換部109では、この可変個数mMX+1の
振幅データを一定個数NC (例えば44個)のデータに
変換している。
有効帯域1ブロック分の振幅データに対して、ブロック
内の最後のデータからブロック内の最初のデータまでの
値を補間するようなダミーデータを付加してデータ個数
をNF 個に拡大した後、帯域制限型のKOS倍(例えば8
倍)のオーバーサンプリングを施すことによりKOS倍の
個数の振幅データを求め、このKOS倍の個数((mMX+
1)×KOS個)の振幅データを直線補間してさらに多く
のNM 個(例えば2048個)に拡張し、このNM 個の
データを間引いて上記一定個数NC (例えば44個)の
データに変換する。
(上記一定個数NC の振幅データ)がベクトル量子化部
110に送られて、所定個数のデータ毎にまとめられて
ベクトルとされ、ベクトル量子化が施される。このベク
トル量子化部110として、上述した図1あるいは図3
に示すような、V(有声音)用コードブックとUV(無
声音)用コードブックとを切換選択するようなベクトル
量子化部15を用いている。これらのV用、UV用コー
ドブックは、上記有声音/無声音(V/UV)判別部1
07からのV/UV判別データに応じて切換制御すれば
よい。このようなベクトル量子化部110からの量子化
出力データは、出力端子111を介して取り出される。
からの高精度(ファイン)ピッチデータは、ピッチ符号
化部115で符号化され、出力端子112を介して取り
出される。さらに、上記有声音/無声音判別部107か
らの有声音/無声音(V/UV)判別データは、出力端
子113を介して取り出される。これらの各出力端子1
11〜113からのデータは、所定の伝送フォーマット
の信号とされて伝送される。
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。
基づき音声信号を合成するための合成側(デコード側)
の概略構成について、図15を参照しながら説明する。
この図15において、入力端子121には上記ベクトル
量子化された振幅データが、入力端子122には上記符
号化されたピッチデータが、また入力端子123には上
記V/UV判別データがそれぞれ供給される。入力端子
121からの量子化振幅データは、逆ベクトル量子化部
124に送られて逆量子化される。この逆ベクトル量子
化部124も、V(有声音)用コードブックとUV(無
声音)用コードブックとを入力端子123から得られる
V/UV判別データに応じて切換選択するような構造を
有している。逆ベクトル量子化部124からの出力デー
タは、データ数逆変換部125に送られて逆変換され、
得られた振幅データが有声音合成部126及び無声音合
成部127に送られる。入力端子122からの符号化ピ
ッチデータは、ピッチ復号化部128で復号化され、デ
ータ数逆変換部125、有声音合成部126及び無声音
合成部127に送られる。また入力端子123からのV
/UV判別データは有声音合成部126及び無声音合成
部127に送られる。
e)波合成により時間軸上の有声音波形を合成し、無声音
合成部127では例えばホワイトノイズをバンドパスフ
ィルタでフィルタリングして時間軸上の無声音波形を合
成し、これらの各有声音合成波形と無声音合成波形とを
加算部129で加算合成して、出力端子130より取り
出すようにしている。この場合、上記振幅データ、ピッ
チデータ及びV/UV判別データは、上記分析時の1フ
レーム(Lサンプル、例えば160サンプル)毎に更新
されて与えられるが、フレーム間の連続性を高める(円
滑化する)ために、上記振幅データやピッチデータの各
値を1フレーム中の例えば中心位置における各データ値
とし、次のフレームの中心位置までの間(合成時の1フ
レーム)の各データ値を補間により求める。すなわち、
合成時の1フレーム(例えば上記分析フレームの中心か
ら次の分析フレームの中心まで)において、先端サンプ
ル点での各データ値と終端(次の合成フレームの先端)
サンプル点での各データ値とが与えられ、これらのサン
プル点間の各データ値を補間により求めるようにしてい
る。
理を詳細に説明する。上記V(有声音)と判別された第
mバンド(第m高調波の帯域)における時間軸上の上記
1合成フレーム(Lサンプル、例えば160サンプル)
分の有声音をVm (n) とするとき、この合成フレーム内
の時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(12) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(13) の式によりAm (n) を計算すればよい。
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(11)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。第
mバンドが、n=0、n=LのいずれもV(有声音)と
される場合に、振幅Am (n) は、上述した(13)式によ
り、伝送された振幅値A0m、ALmを直線補間して振幅A
m (n) を算出すればよい。位相θm (n) は、n=0でθ
m (0) =φ0mからn=Lでθm (L) がφLmとなるように
Δωを設定する。
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(15) とし、かつΔω=0とする。
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(14)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(16) となる。この(16)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
トルの一例を示しており、バンド番号(ハーモニクスナ
ンバ)mが8、9、10の各バンドがUV(無声音)と
され、他のバンドはV(有声音)とされている。このV
(有声音)のバンドの時間軸信号が上記有声音合成部1
26により合成され、UV(無声音)のバンドの時間軸
信号が無声音合成部127で合成されるわけである。
合成処理を説明する。ホワイトノイズ発生部131から
の時間軸上のホワイトノイズ信号波形を、所定の長さ
(例えば256サンプル)で適当な窓関数(例えばハミ
ング窓)により窓かけをし、STFT処理部132によ
りSTFT(ショートタームフーリエ変換)処理を施す
ことにより、図16のBに示すようなホワイトノイズの
周波数軸上のパワースペクトルを得る。このSTFT処
理部132からのパワースペクトルをバンド振幅処理部
133に送り、図16のCに示すように、上記UV(無
声音)とされたバンド(例えばm=8、9、10)につ
いて上記振幅|Am |UVを乗算し、他のV(有声音)と
されたバンドの振幅を0にする。このバンド振幅処理部
133には上記振幅データ、ピッチデータ、V/UV判
別データが供給されている。バンド振幅処理部133か
らの出力は、ISTFT処理部134に送られ、位相は
元のホワイトノイズの位相を用いて逆STFT処理を施
すことにより時間軸上の信号に変換する。ISTFT処
理部134からの出力は、オーバーラップ加算部135
に送られ、時間軸上で適当な(元の連続的なノイズ波形
を復元できるように)重み付けをしながらオーバーラッ
プ及び加算を繰り返し、連続的な時間軸波形を合成す
る。オーバーラップ加算部135からの出力信号が上記
加算部129に送られる。
いて合成されて時間軸上に戻された有声音部及び無声音
部の各信号は、加算部129により適当な固定の混合比
で加算して、出力端子130より再生された音声信号を
取り出す。
ド側)の構成や図15の音声合成側(デコード側)の構
成については、各部をハードウェア的に記載している
が、いわゆるDSP(ディジタル信号プロセッサ)等を
用いてソフトウェアプログラムにより実現することも可
能である。
るものではなく、例えば、音声信号のみならず、音響信
号を入力信号として用いることもできる。また、入力オ
ーディオ信号(音声信号や音響信号)の特徴を表すパラ
メータとしては、上記V(有声音)/UV(無声音)の
判別情報に限定されず、ピッチの値、ピッチ成分の強
弱、信号スペクトルの傾きやレベル等を使用することが
できる。さらに、このような特徴パラメータは、符号化
方式に応じて本来伝送するパラメータ情報の一部を代用
しても、別途に伝送してもよく、他の伝送パラメータで
代用させる場合には適応的コードブックと見なせ、別途
伝送する場合には構造化コードブックと見なせる。
に係る高能率符号化方法によれば、ベクトル量子化器に
入力されたオーディオ信号(音声信号や音響信号)の状
態に応じた複数種類のコードブックを設け、該入力オー
ディオ信号のブロック毎(フレーム毎)の特徴を表すパ
ラメータに応じて、上記複数種類のコードブックを切り
換えてベクトル量子化を施しているため、効率的なベク
トル量子化が実現でき、ベクトル量子化の性能向上に役
立つ。
号化装置(エンコーダ)側の概略構成を示すブロック図
である。
明するための図である。
号化装置(エンコーダ)の要部の概略構成を示すブロッ
ク図である。
するための図である。
するための図である。
するための図である。
するための図である。
するための図である。
するための図である。
装置の具体例としての音声信号の合成分析符号化装置の
分析側(エンコード側)の概略構成を示す機能ブロック
図である。
の図である。
データを示す図である。
包絡線(エンベロープ)及び励起信号のパワースペクト
ルを示す図である。
装置の具体例としての音声信号の合成分析符号化装置の
合成側(デコード側)の概略構成を示す機能ブロック図
である。
るための図である。
ドブック 15U 、251U〜25SU・・・・・UV(無声音)用コ
ードブック 15W 、251W〜25SW・・・・・切換スイッチ 21・・・・・次元低減部 22Q ・・・・・S次元ベクトル量子化器 22C ・・・・・S次元コードブック 23・・・・・次元拡張部 103・・・・・ピッチ抽出部 104・・・・・窓かけ処理部 105・・・・・直交変換(FFT)部 106・・・・・高精度(ファイン)ピッチサーチ部 107・・・・・有声音/無声音(V/UV)判別部 108・・・・・振幅再評価部 109・・・・・データ数変換(データレートコンバー
ト)部 110・・・・・ベクトル量子化部 126・・・・・有声音合成部 127・・・・・無声音合成部
音響信号等のオーディオ信号をフレーム単位で区分して
周波数軸上のデータに変換して符号化を施すような高能
率符号化方法に関する。
含む)の時間領域や周波数領域における統計的性質と人
間の聴感上の特性を利用して信号圧縮を行うような符号
化方法が種々知られている。この符号化方法としては、
大別して時間領域での符号化、周波数領域での符号化、
分析合成符号化等が挙げられる。
BE(Multiband Excitation: マルチバンド励起)符号
化、SBE(Singleband Excitation:シングルバンド励
起)符号化、ハーモニック(Harmonic)符号化、SBC
(Sub-band Coding:帯域分割符号化)、LPC(Linear
Predictive Coding: 線形予測符号化)、あるいはDC
T(離散コサイン変換)、MDCT(モデファイドDC
T)、FFT(高速フーリエ変換)等において、スペク
トル振幅やそのパラメータ(LSPパラメータ、αパラ
メータ、kパラメータ等)のような各種情報データを量
子化する場合に、従来においてはスカラ量子化を行うこ
とが多い。
トを例えば3〜4kbps 程度にまで低減し、量子化効率
を更に向上させようとすると、スカラ量子化では量子化
雑音(歪み)が大きくなってしまい、実用化が困難であ
った。そこで、これらの符号化の際に得られる時間軸デ
ータや周波数軸データやフィルタ係数データ等を個々に
量子化せず、複数個のデータを組(ベクトル)にまとめ
て一つの符号で表現して量子化するベクトル量子化が注
目されている。
スペクトルエンベロープ、あるいはそのパラメータ(L
SPパラメータ、αパラメータ、kパラメータ等)のベ
クトル量子化の際には、固定のコードブックを使用して
いる。しかしながら、使用可能なビット数が減少(低ビ
ットレート化)してくると、固定コードブックでは充分
な性能が得られなくなる。このため、ベクトル量子化す
る入力データのベクトル空間上での存在領域が狭くなる
ようにクラスタリング(分類分け)したものをベクトル
量子化することが好ましい。
も、コードブックサイズ、サーチのための演算量を低減
するため、構造化されたコードブックを使用することも
考えられているが、このとき、出力インデックス長がn
+1ビットの1個のコードブックを使用する代わりに、
例えば2個のnビットのコードブックに分割する方が好
ましい。
たものであり、ベクトル量子化を入力データの性質等に
応じて効率良く行え、ベクトル量子化器のコードブック
のサイズやサーチ時の演算量を低減でき、品質の高い符
号化が行えるような高能率符号化方法の提供を目的とす
る。
化方法は、入力されたオーディオ信号(音声信号や音響
信号等)をブロック単位で区分して周波数軸に変換して
得られるデータに基づいてM次元ベクトルとしての周波
数軸上データを求める工程と、このM次元ベクトルの周
波数軸上データに対してベクトル量子化を施すためにオ
ーディオ信号の状態に応じた複数のコードブックを有す
るベクトル量子化器を用い、上記オーディオ入力信号の
ブロック毎の特徴を表すパラメータに応じて上記複数の
コードブックを切り換えて量子化を施す工程とを有する
ことにより、上述の課題を解決するものである。
は、入力されたオーディオ信号をブロック単位で区分し
て周波数軸に変換して得られるデータに基づいてM次元
ベクトルとしての周波数軸上データを求める工程と、こ
のM次元ベクトルの周波数軸上データを複数グループに
分割して各グループ毎に代表値を求めることにより次元
をS次元(S<M)に低下させる工程と、このS次元ベ
クトルのデータに対して第1のベクトル量子化を施す工
程と、この第1のベクトル量子化出力データを逆量子化
して対応するS次元のコードベクトルを求める工程と、
このS次元のコードベクトルを元のM次元のベクトルに
拡張する工程と、この拡張されたM次元のベクトルと元
の上記M次元ベクトルの周波数軸上データとの関係を表
すデータに対して第2のベクトル量子化を施すためにオ
ーディオ信号の状態に応じた複数のコードブックを有す
る第2のベクトル量子化器を用い、上記オーディオ入力
信号のブロック毎の特徴を表すパラメータに応じて上記
複数のコードブックを切り換えて量子化を施す工程とを
有することにより、上述の課題を解決する。
号として音声信号を用いる場合に、上記コードブックと
して音声信号が有声音か無声音かに応じた複数のコード
ブックを用い、上記特徴パラメータとして上記ブロック
毎の入力音声信号が有声音か無声音かを表すパラメータ
を用いることができる。また、特徴パラメータとして、
ピッチの値、ピッチの成分の強弱、有声音/無声音の含
有比率、信号スペクトルの傾き及びそのレベル等が使用
でき、基本的には有声音か無声音かに応じてコードブッ
クを切り換えることが好ましい。このような特徴パラメ
ータは、別途伝送してもよいが、符号化方式により予め
規定されているような元々伝送されるパラメータを代用
させるようにしてもよい。また、上記M次元ベクトルの
周波数軸上データとして、上記ブロック単位で周波数軸
に変換したデータを非線形圧縮したものを用いることが
できる。さらに、上記ベクトル量子化の前に、ベクトル
量子化しようとするデータのブロック間の差分をとり、
このブロック間差分データに対してベクトル量子化を施
すようにしてもよい。
を表すパラメータに応じて上記複数のコードブックを切
り換えてベクトル量子化を施すことにより、量子化が効
率良く行え、ベクトル量子化器のコードブックのサイズ
やサーチ時の演算量を低減でき、品質の高い符号化が行
える。
例について、図面を参照しながら説明する。図1は本発
明の一実施例となる高能率符号化方法を説明するための
符号化装置(エンコーダ)の概略構成を示している。
号あるいは音響信号が供給され、この入力信号は、周波
数軸変換処理部12にて周波数軸上のスペクトル振幅デ
ータに変換される。この周波数軸変換処理部12の内部
には、例えば入力された時間軸上の信号の所定数のサン
プル(Nサンプル)毎にブロック化するブロック化部1
2a、FFT(高速フーリエ変換)等の直交変換部12
b、スペクトルエンベロープの特徴を表す振幅情報を求
めるためのデータ処理部12c等が設けられている。周
波数軸変換処理部12からの出力は、必要に応じて例え
ばdB領域に変換する非線形圧縮部13を介し、必要に
応じてブロック間の差分をとる処理部14を介してベク
トル量子化部15に送られる。このベクトル量子化部1
5では、入力データの所定数(Mサンプル)がまとめら
れてM次元とベクトルとされ、ベクトル量子化処理が施
される。このようなM次元ベクトル量子化処理は、一般
的には、入力されたM次元ベクトルに対してM次元空間
上で最も距離が近いコードベクトルがコードブックから
検索(サーチ)されて、該検索されたコードベクトルの
インデックスを出力端子16から取り出すような処理で
あるが、この図1に示す実施例のベクトル量子化部15
は、複数種類のコードブックを有し、これらのコードブ
ックが、周波数軸変換処理部12からの上記入力信号の
特徴を表すパラメータに応じて切り換えられるようにな
っている。
想定し、V(有声音)用コードブック15V と、UV
(無声音)用コードブック15U とが切換スイッチ15
W により切り換えられてベクトル量子化器15Q に送ら
れるようになっており、切換スイッチ15は、周波数軸
変換処理部12からのV/UV(有声音/無声音)判別
信号に応じて切換制御される。このV/UV判別信号
(フラグ等)は、後述するようなMBE(Multiband Ex
citation: マルチバンド励起)ボコーダ(音声分析合成
装置)等の場合には、分析系(エンコーダ)側から合成
系(デコーダ)側へ伝送されるパラメータであり、別途
に伝送する必要がない。
すると、上記コードブック15V 、15U の切換のため
のパラメータは、伝送される情報の一つであるV/UV
判別フラグを利用するようにすればよい。すなわち、上
記周波数軸変換処理部12において、ピッチに応じたバ
ンド分割を行い、分割された各バンド毎にV(有声音)
かUV(無声音)かの判別が行われる。ここで、Vバン
ドの個数をNV 、UVバンドの個数をNUVとし、所定の
閾値Vthに対して、
選択するようにし、それ以外のときはUV(無声音)用
コードブック15U を切換選択するようにする。上記閾
値Vthは、例えば1程度に設定すればよい。
声音)用及びUV(無声音)用の2種類のコードブック
の切換選択を行う。上記V/UV判別フラグはMBEボ
コーダでは必ず伝送するサイドインフォメーション(補
助情報)であるので、この具体例においては別個にコー
ドブック切換のための特徴パラメータを伝送する必要が
なく、伝送ビットレートの増加がない。
(無声音)用コードブック15U の生成(トレーニン
グ)は、単に同じ基準でトレーニングデータを分けるこ
とによって可能となる。すなわち、V(有声音)と判別
された振幅データの集まりから生成されたコードブック
をV用コードブック15V とし、UV(無声音)と判別
された振幅データの集まりから生成されたコードブック
をUV用コードブック15U とする。
ードブックの切換に用いていることから、上記V/UV
判別フラグをより確実に(信頼性を高く)しておく必要
がある。例えば、明らかに子音や背景雑音であるとみな
せる部分では、全バンドUVにすべきである。その判断
の一例としては、高域にパワーの多い微小入力をUV化
することが挙げられる。
てFFT(高速フーリエ変換)を行い、有効な0〜π
(0〜N/2)の中で、0〜N/4とN/4〜N/2と
のそれぞれの区間でパワー計算を行う。
件に全バンドUV(無声音)と判別する。
で検出したときに、それを使用しない効果がある。この
ようにして、より確かなV/UVフラグを作っておく
と、ベクトル量子化の際のコードブックの切換に好都合
である。
音)用の各コードブックを作成する際のトレーニングに
ついて、図2を参照しながら説明する。図2において、
トレーニング用の数分程度の音声信号から成るトレーニ
ングセット31からの信号は、周波数軸変換処理部32
に送られて、ピッチ抽出部32aによりピッチ抽出が、
スペクトル振幅算出部32bによりスペクトル振幅の算
出が、またバンド毎のV/UV判断部32cにより各バ
ンド毎のV/UV判断がそれぞれ行われる。この周波数
軸変換処理部32からの出力データは、トレーニング前
処理部34に送られる。
含有率のチェック部34aにより上記(1)式や(4)
式の条件等をチェックし、得られたV/UV情報に応じ
て、トレーニングデータの振り分け部34bにより上記
スペクトル振幅データを振り分けており、V(有声音)
のときにはV(有声音)用トレーニングデータ出力部3
6aへ、UV(無声音)のときにはUV(有声音)用ト
レーニングデータ出力部37aへ、それぞれ振幅データ
を送っている。
出力されたV(有声音)のスペクトル振幅データは、ト
レーニング処理部36bに送られて、例えばいわゆるL
BG法によりトレーニング処理が行われ、V(有声音)
用コードブック36cが作成される。ここで、上記LB
G法とは、Linde, Y., Buzo, A. and Gray, R. M.,"An
Algolithm for Vector Quantizer Design", IEEE Tran
s. Comm., COM-28,pp.84-95, Jan. 1980 において提案
されたベクトル量子化器を設計するアルゴリズムにおけ
るコードブックのトレーニング法であり、確率密度関数
が知られていない情報源に対していわゆるトレーニング
系列を用いて略最適なベクトル量子化器を設計するもの
である。同様に、UV用トレーニングデータ出力部37
aから出力されたUV(無声音)のスペクトル振幅デー
タは、トレーニング処理部37bに送られて例えばLB
G法によりトレーニング処理が行われ、UV(無声音)
用コードブック37cが作成される。
部に階層構造を持たせ、上位層にはV/UV共用部分の
コードブックを用い、下位層のコードブックのみをV/
UVに応じて切り換えるようにする場合には、V/UV
共用部分のコードブックも作成する必要がある。この場
合、上記周波数軸変換処理部32からの出力データをV
/UV共用部分のコードブック用トレーニングデータ出
力部35aに送ることが必要とされる。
ニングデータ出力部35aから出力されたスペクトル振
幅データは、トレーニング処理部35bに送られて、例
えばいわゆるLBG法によりトレーニング処理が実行さ
れ、V/UV共用部分のコードブック35cが作成され
る。この作成されたV/UV共用コードブック35cか
らのコードベクトルを、上記V用、UV用の各トレーニ
ングデータ出力部36a、37aに送り、V/UV共用
コードブックを用いて、V用及びUV用のトレーニング
データに対し上位層のベクトル量子化を実行し、下位層
のためのV用及びUV用のトレーニングデータを生成す
る必要がある。
の具体的構成及び作用について、図3〜図9を参照しな
がら説明する。すなわち、この図3に示すベクトル量子
化部15は、例えば上下の2つの層に階層構造化されて
おり、入力ベクトルに対して2段階のベクトル量子化が
施されるようになっている。
子17には、上記図1の周波数軸変換処理部12からの
周波数軸上の振幅データが(必要に応じて非線形圧縮部
13及びブロック間差分処理部14を介し)、ベクトル
量子化の単位となる上記M次元ベクトルとして供給され
ている。このM次元ベクトルは、次元低減部21に送ら
れることにより複数グループに分割され、各グループ毎
に代表値を求めることにより次元がS次元(S<M)に
低下させられる。ここで図4は、ベクトル量子化器15
に入力されるM次元ベクトルXの各要素、すなわち周
波数軸上のM個の振幅データx(n) の一具体例を示して
おり、1≦n≦Mである。これらのM個の振幅データx
(n) は、例えば4サンプル毎にまとめられてそれぞれの
代表値、例えば平均値yi が求められ、図5に示すよう
に、平均値データy1 〜yS のS個(この場合はS=M
/4)から成るS次元ベクトルYが得られる。
てS次元ベクトル量子化器22Q によりベクトル量子化
が施される。すなわち、S次元ベクトル量子化器22Q
のコードブック22C 中のS次元コードベクトルの内、
入力されたS次元ベクトルにS次元空間上で最も距離が
近いコードベクトルがサーチされ、このサーチされたコ
ードベクトルのインデックスデータは出力端子26より
取り出され、サーチされたコードベクトル(出力インデ
ックスを逆ベクトル量子化して得られるコードベクト
ル)は次元拡張部23に送られる。コードブック22C
には、上記図2において説明したV/UV共用部分のコ
ードブック35cが用いられる。図6は、上記図5に示
すS個の平均値データy1 〜yS から成るS次元ベクト
ルYをベクトル量子化した後、逆量子化して(あるい
はベクトル量子化器22のコードブックで上記量子化の
際にサーチされたコードベクトルを取り出して)得られ
たローカルデコーダ出力としてのS次元ベクトルYVQ
の各要素yVQ1 〜yVQS を示している。
ードベクトルを元のM次元のベクトルに拡張する。この
拡張されたM次元ベクトルの各要素の例を図7に示す。
この図7から明らかなように、上記逆ベクトル量子化さ
れたS次元ベクトルYVQの各要素yVQ1 〜yVQS をそ
れぞれ元の4サンプルずつに増加させることにより、4
S=M個の要素から成るM次元ベクトルを得るわけであ
る。この拡張されたM次元のベクトルと元の上記M次元
ベクトルの周波数軸上データとの関係を表すデータに対
して第2のベクトル量子化を施す。
拡張されたM次元ベクトルデータを減算器24に送り、
元の上記M次元ベクトルの周波数軸上データから減算す
ることにより、上記S次元を拡張したM次元ベクトルと
元のM次元ベクトルとの関係を表すS個のベクトルデー
タを得ている。図8は、上記図4に示すM次元ベクトル
Xの各要素である周波数軸上のM個の振幅データx
(n) から、図7に示す拡張M次元ベクトルの各要素を減
算して得られたM個のデータr1 〜rM を示しており、
これらのM個のデータr1 〜rM の4サンプルずつを組
(ベクトル)としてS個の4次元ベクトルR1 〜R
S が得られる。
個のベクトルのそれぞれに対して、ベクトル量子化器群
25のS個の各ベクトル量子化器251Q〜25SQにより
それぞれベクトル量子化を施す。各ベクトル量子化器2
51Q〜25SQから出力されるインデックスは、それぞれ
出力端子271Q〜27SQから取り出される。図9は、ベ
クトル量子化器251Q〜25SQとしてそれぞれ4次元ベ
クトル量子化器を用い、上記図8に示す各4次元ベクト
ルR1 〜RS をそれぞれベクトル量子化した後の各
4次元ベクトルRVQ1 〜RVQS の各要素rVQ1 〜r
VQ4 、rVQ5 〜rVQ8 、…〜rVQM を示している。
SQには、それぞれV(有声音)用のコードブック251V
〜25SVとUV(無声音)用のコードブック251U〜2
5SUとが用いられ、これらのV用コードブック251V〜
25SVとUV用コードブック251U〜25SUとは、入力
端子18からのV/UV情報に応じて切換制御される切
換スイッチ251W〜25SWにより切換選択されるように
なっている。これらの切換スイッチ251W〜25SWの切
換制御は、全バンドに対して同時に(連動させて)行っ
てもよいが、各ベクトル量子化器251Q〜25SQが受け
持つ周波数帯域が異なることを考慮して、バンド毎のV
/UV判別フラグに応じて切換制御するようにしてもよ
い。V用コードブック251V〜25SVが図2のV(有声
音)用コードブック36cに対応し、UV用コードブッ
ク251U〜25SUが図2のV(有声音)用コードブック
37cに対応することは勿論である。
トル量子化を施すことにより、コードブックサーチのた
めの演算量を低減でき、コードブックのためのメモリ量
(例えばROM容量)を低減でき、また上記出力端子2
6から得られる上位層のより重要なインデックスに対し
て誤り訂正符号化を施して重点的に保護するようにする
こと等により、誤り訂正符号の効果的な適用が可能とな
る。なお、ベクトル量子化部15の階層構造は、2段階
に限定されず、3段階以上の多層の階層構造を持たせる
ようにしてもよい。
ウェアにて構成する必要はなく、例えばいわゆるDSP
(ディジタル信号プロセッサ)等を用いてソフトウェア
的に実現するようにしてもよい。
符号化の場合に、音声の有声無声の度合い、ピッチ等が
既に特徴量として抽出されていることを考慮して、それ
らの特徴量、特に有声/無声の判断結果によってベクト
ル量子化のコードブックを切り換えることにより、良好
なベクトル量子化が実現できる。すなわち、有声音時と
無声音時とでは、各々存在するスペクトルの形状が大き
く異なり、各状態に対応して各々別々にトレーニングさ
れたコードブックを持つことは、特性改善上、大変好ま
しいことである。また、階層構造化ベクトル量子化の場
合、上位層のベクトル量子化は固定のコードブックと
し、下位層のベクトル量子化のコードブックのみ、有声
用/無声用の2種を切り換えるようにしてもよい。ま
た、周波数軸上のビットアロケーションも、例えば有声
音のときは低音重視、無声音のときは高音重視に切り換
えるようにしてもよい。切換制御には、ピッチの有無、
有声音/無声音の比率、スペクトルのレベルや傾き、等
を利用することができる。さらに、3種類以上のコード
ブックを切り換えるようにしてもよく、例えば、無声音
用のコードブックを子音、背景雑音等で2種類以上用い
るようにしてもよい。
適用可能な、音声信号の合成分析符号化装置(いわゆる
ボコーダ)の一種のMBE(Multiband Excitation: マ
ルチバンド励起)ボコーダの具体例について、図面を参
照しながら説明する。以下に説明するMBEボコーダ
は、D.W. Griffin and J.S. Lim, "MultibandExcitatio
n Vocoder," IEEE Trans.Acoustics,Speech,and Signal
Processing,vol.36, No.8, pp.1223-1235, Aug. 1988
に開示されているものであり、従来のPARCOR(PA
Rtial auto-CORrelation: 偏自己相関)ボコーダ等で
は、音声のモデル化の際に有声音区間と無声音区間とを
ブロックあるいはフレーム毎に切り換えていたのに対
し、MBEボコーダでは、同時刻(同じブロックあるい
はフレーム内)の周波数軸領域に有声音(Voiced)区間
と無声音(Unvoiced)区間とが存在するという仮定でモ
デル化している。
適用した実施例の全体の概略構成を示すブロック図であ
る。この図10において、入力端子101には音声信号
が供給されるようになっており、この入力音声信号は、
HPF(ハイパスフィルタ)等のフィルタ102に送ら
れて、いわゆるDC(直流)オフセット分の除去や帯域
制限(例えば200〜3400Hzに制限)のための少な
くとも低域成分(200Hz以下)の除去が行われる。こ
のフィルタ102を介して得られた信号は、ピッチ抽出
部103及び窓かけ処理部104にそれぞれ送られる。
ピッチ抽出部103では、入力音声信号データが所定サ
ンプル数N(例えばN=256)単位でブロック分割さ
れ(あるいは方形窓による切り出しが行われ)、このブ
ロック内の音声信号についてのピッチ抽出が行われる。
このような切り出しブロック(256サンプル)を、例
えば図11のAに示すようにLサンプル(例えばL=1
60)のフレーム間隔で時間軸方向に移動させており、
各ブロック間のオーバラップはN−Lサンプル(例えば
96サンプル)となっている。また、窓かけ処理部10
4では、1ブロックNサンプルに対して所定の窓関数、
例えばハミング窓をかけ、この窓かけブロックを1フレ
ームLサンプルの間隔で時間軸方向に順次移動させてい
る。
qはデータの時間インデックス(サンプル番号)を表
し、処理前の入力信号のq番目のデータx(q) に対して
第kブロックの窓(ウィンドウ)関数w(kL-q)により窓
かけ処理されることによりデータxw (k,q) が得られる
ことを示している。ピッチ抽出部103内での図11の
Aに示すような方形窓の場合の窓関数wr (r) は、 wr (r) =1 0≦r<N ・・・(5) =0 r<0,N≦r また、窓かけ処理部104での図11のBに示すような
ハミング窓の場合の窓関数wh (r) は、 wh (r) = 0.54 − 0.46 cos(2πr/(N-1)) 0≦r<N ・・・(6) =0 r<0,N≦r である。このような窓関数wr (r) あるいはwh (r) を
用いるときの上記(4)式の窓関数w(r) (=w(kL-
q))の否零区間は、 0≦kL−q<N これを変形して、 kL−N<q≦kL 従って例えば上記方形窓の場合に窓関数wr (kL-q)=1
となるのは、図12に示すように、kL−N<q≦kL
のときとなる。また、上記(4)〜(6)式は、長さN
(=256)サンプルの窓が、L(=160)サンプル
ずつ前進してゆくことを示している。以下、上記(5)
式、(6)式の各窓関数で切り出された各N点(0≦r
<N)の否零サンプル列を、それぞれxwr(k,r) 、xwh
(k,r) と表すことにする。
うに、上記(6)式のハミング窓がかけられた1ブロッ
ク256サンプルのサンプル列xwh(k,r) に対して17
92サンプル分の0データが付加されて(いわゆる0詰
めされて)2048サンプルとされ、この2048サン
プルの時間軸データ列に対して、直交変換部105によ
り例えばFFT(高速フーリエ変換)等の直交変換処理
が施される。
のサンプル列(1ブロックNサンプル)に基づいてピッ
チ抽出が行われる。このピッチ抽出法には、時間波形の
周期性や、スペクトルの周期的周波数構造や、自己相関
関数を用いるもの等が知られているが、本実施例では、
センタクリップ波形の自己相関法を採用している。この
ときのブロック内でのセンタクリップレベルについて
は、1ブロックにつき1つのクリップレベルを設定して
もよいが、ブロックを細分割した各部(各サブブロッ
ク)の信号のピークレベル等を検出し、これらの各サブ
ブロックのピークレベル等の差が大きいときに、ブロッ
ク内でクリップレベルを段階的にあるいは連続的に変化
させるようにしている。このセンタクリップ波形の自己
相関データのピーク位置に基づいてピッチ周期を決めて
いる。このとき、現在フレームに属する自己相関データ
(自己相関は1ブロックNサンプルのデータを対象とし
て求められる)から複数のピークを求めておき、これら
の複数のピークの内の最大ピークが所定の閾値以上のと
きには該最大ピーク位置をピッチ周期とし、それ以外の
ときには、現在フレーム以外のフレーム、例えば前後の
フレームで求められたピッチに対して所定の関係を満た
すピッチ範囲内、例えば前フレームのピッチを中心とし
て±20%の範囲内にあるピークを求め、このピーク位
置に基づいて現在フレームのピッチを決定するようにし
ている。このピッチ抽出部103ではオープンループに
よる比較的ラフなピッチのサーチが行われ、抽出された
ピッチデータは高精度(ファイン)ピッチサーチ部10
6に送られて、クローズドループによる高精度のピッチ
サーチ(ピッチのファインサーチ)が行われる。
には、ピッチ抽出部103で抽出された整数(インテジ
ャー)値の粗(ラフ)ピッチデータと、直交変換部10
5により例えばFFTされた周波数軸上のデータとが供
給されている。この高精度ピッチサーチ部106では、
上記粗ピッチデータ値を中心に、0.2〜0.5きざみで±
数サンプルずつ振って、最適な小数点付き(フローティ
ング)のファインピッチデータの値へ追い込む。このと
きのファインサーチの手法として、いわゆる合成による
分析 (Analysis by Synthesis)法を用い、合成されたパ
ワースペクトルが原音のパワースペクトルに最も近くな
るようにピッチを選んでいる。
する。先ず、上記MBEボコーダにおいては、上記FF
T等により直交変換された周波数軸上のスペクトルデー
タとしてのS(j) を S(j) =H(j) |E(j) | 0<j<J ・・・(7) と表現するようなモデルを想定している。ここで、Jは
ωs /4π=fs /2に対応し、サンプリング周波数f
s =ωs /2πが例えば8kHzのときには4kHzに対応
する。上記(7)式中において、周波数軸上のスペクト
ルデータS(j) が図14のAに示すような波形のとき、
H(j) は、図14のBに示すような元のスペクトルデー
タS(j) のスペクトル包絡線(エンベロープ)を示し、
E(j) は、図14のCに示すような等レベルで周期的な
励起信号(エキサイテイション)のスペクトルを示して
いる。すなわち、FFTスペクトルS(j) は、スペクト
ルエンベロープH(j) と励起信号のパワースペクトル|
E(j) |との積としてモデル化される。
|は、上記ピッチに応じて決定される周波数軸上の波形
の周期性(ピッチ構造)を考慮して、1つの帯域(バン
ド)の波形に相当するスペクトル波形を周波数軸上の各
バンド毎に繰り返すように配列することにより形成され
る。この1バンド分の波形は、例えば上記図13に示す
ような256サンプルのハミング窓関数に1792サン
プル分の0データを付加(0詰め)した波形を時間軸信
号と見なしてFFTし、得られた周波数軸上のある帯域
幅を持つインパルス波形を上記ピッチに応じて切り出す
ことにより形成することができる。
ンド毎に、上記H(j) を代表させるような(各バンド毎
のエラーを最小化するような)値(一種の振幅)|Am
|を求める。ここで、例えば第mバンド(第m高調波の
帯域)の下限、上限の点をそれぞれam 、bm とすると
き、この第mバンドのエラーεm は、
うな|Am |は、
エラーεm を最小化する。このような振幅|Am |を各
バンド毎に求め、得られた各振幅|Am |を用いて上記
(8)式で定義された各バンド毎のエラーεm を求め
る。次に、このような各バンド毎のエラーεm の全バン
ドの総和値Σεm を求める。さらに、このような全バン
ドのエラー総和値Σεm を、いくつかの微小に異なるピ
ッチについて求め、エラー総和値Σεm が最小となるよ
うなピッチを求める。
られたラフピッチを中心として、例えば 0.25 きざみで
上下に数種類ずつ用意する。これらの複数種類の微小に
異なるピッチの各ピッチに対してそれぞれ上記エラー総
和値Σεm を求める。この場合、ピッチが定まるとバン
ド幅が決まり、上記(9)式より、周波数軸上データの
パワースペクトル|S(j) |と励起信号スペクトル|E
(j) |とを用いて上記(8)式のエラーεm を求め、そ
の全バンドの総和値Σεm を求めることができる。この
エラー総和値Σεm を各ピッチ毎に求め、最小となるエ
ラー総和値に対応するピッチを最適のピッチとして決定
するわけである。以上のようにして高精度ピッチサーチ
部106で最適のファイン(例えば 0.25 きざみ)ピッ
チが求められ、この最適ピッチに対応する振幅|Am |
が決定される。
ては、説明を簡略化するために、全バンドが有声音(Vo
iced)の場合を想定しているが、上述したようにMBE
ボコーダにおいては、同時刻の周波数軸上に無声音(Un
voiced)領域が存在するというモデルを採用しているこ
とから、上記各バンド毎に有声音/無声音の判別を行う
ことが必要とされる。
適ピッチ及び振幅|Am |のデータは、有声音/無声音
判別部107に送られ、上記各バンド毎に有声音/無声
音の判別が行われる。この判別のために、NSR(ノイ
ズtoシグナル比)を利用する。すなわち、第mバンド
のNSRは、
ば0.3)より大のとき(エラーが大きい)ときには、そ
のバンドでの|Am ||E(j) |による|S(j) |の近
似が良くない(上記励起信号|E(j) |が基底として不
適当である)と判断でき、当該バンドをUV(Unvoice
d、無声音)と判別する。これ以外のときは、近似があ
る程度良好に行われていると判断でき、そのバンドをV
(Voiced、有声音)と判別する。
部105からの周波数軸上データ、高精度ピッチサーチ
部106からのファインピッチと評価された振幅|Am
|との各データ、及び上記有声音/無声音判別部107
からのV/UV(有声音/無声音)判別データが供給さ
れている。この振幅再評価部108では、有声音/無声
音判別部107において無声音(UV)と判別されたバ
ンドに関して、再度振幅を求めている。このUVのバン
ドについての振幅|Am |UVは、
データ数変換(一種のサンプリングレート変換)部10
9に送られる。このデータ数変換部109は、上記ピッ
チに応じて周波数軸上での分割帯域数が異なり、データ
数(特に振幅データの数)が異なることを考慮して、一
定の個数にするためのものである。すなわち、例えば有
効帯域を3400kHzまでとすると、この有効帯域が上
記ピッチに応じて、8バンド〜63バンドに分割される
ことになり、これらの各バンド毎に得られる上記振幅|
Am |(UVバンドの振幅|Am |UVも含む)データの
個数mMX+1も8〜63と変化することになる。このた
めデータ数変換部109では、この可変個数mMX+1の
振幅データを一定個数NC (例えば44個)のデータに
変換している。
有効帯域1ブロック分の振幅データに対して、ブロック
内の最後のデータからブロック内の最初のデータまでの
値を補間するようなダミーデータを付加してデータ個数
をNF 個に拡大した後、帯域制限型のKOS倍(例えば8
倍)のオーバーサンプリングを施すことによりKOS倍の
個数の振幅データを求め、このKOS倍の個数((mMX+
1)×KOS個)の振幅データを直線補間してさらに多く
のNM 個(例えば2048個)に拡張し、このNM 個の
データを間引いて上記一定個数NC (例えば44個)の
データに変換する。
(上記一定個数NC の振幅データ)がベクトル量子化部
110に送られて、所定個数のデータ毎にまとめられて
ベクトルとされ、ベクトル量子化が施される。このベク
トル量子化部110として、上述した図1あるいは図3
に示すような、V(有声音)用コードブックとUV(無
声音)用コードブックとを切換選択するようなベクトル
量子化部15を用いている。これらのV用、UV用コー
ドブックは、上記有声音/無声音(V/UV)判別部1
07からのV/UV判別データに応じて切換制御すれば
よい。このようなベクトル量子化部110からの量子化
出力データは、出力端子111を介して取り出される。
からの高精度(ファイン)ピッチデータは、ピッチ符号
化部115で符号化され、出力端子112を介して取り
出される。さらに、上記有声音/無声音判別部107か
らの有声音/無声音(V/UV)判別データは、出力端
子113を介して取り出される。これらの各出力端子1
11〜113からのデータは、所定の伝送フォーマット
の信号とされて伝送される。
ル(例えば256サンプル)のブロック内のデータに対
して処理を施すことにより得られるものであるが、ブロ
ックは時間軸上を上記Lサンプルのフレームを単位とし
て前進することから、伝送するデータは上記フレーム単
位で得られる。すなわち、上記フレーム周期でピッチデ
ータ、V/UV判別データ、振幅データが更新されるこ
とになる。
基づき音声信号を合成するための合成側(デコード側)
の概略構成について、図15を参照しながら説明する。
この図15において、入力端子121には上記ベクトル
量子化された振幅データが、入力端子122には上記符
号化されたピッチデータが、また入力端子123には上
記V/UV判別データがそれぞれ供給される。入力端子
121からの量子化振幅データは、逆ベクトル量子化部
124に送られて逆量子化される。この逆ベクトル量子
化部124も、V(有声音)用コードブックとUV(無
声音)用コードブックとを入力端子123から得られる
V/UV判別データに応じて切換選択するような構造を
有している。逆ベクトル量子化部124からの出力デー
タは、データ数逆変換部125に送られて逆変換され、
得られた振幅データが有声音合成部126及び無声音合
成部127に送られる。入力端子122からの符号化ピ
ッチデータは、ピッチ復号化部128で復号化され、デ
ータ数逆変換部125、有声音合成部126及び無声音
合成部127に送られる。また入力端子123からのV
/UV判別データは有声音合成部126及び無声音合成
部127に送られる。
e)波合成により時間軸上の有声音波形を合成し、無声音
合成部127では例えばホワイトノイズをバンドパスフ
ィルタでフィルタリングして時間軸上の無声音波形を合
成し、これらの各有声音合成波形と無声音合成波形とを
加算部129で加算合成して、出力端子130より取り
出すようにしている。この場合、上記振幅データ、ピッ
チデータ及びV/UV判別データは、上記分析時の1フ
レーム(Lサンプル、例えば160サンプル)毎に更新
されて与えられるが、フレーム間の連続性を高める(円
滑化する)ために、上記振幅データやピッチデータの各
値を1フレーム中の例えば中心位置における各データ値
とし、次のフレームの中心位置までの間(合成時の1フ
レーム)の各データ値を補間により求める。すなわち、
合成時の1フレーム(例えば上記分析フレームの中心か
ら次の分析フレームの中心まで)において、先端サンプ
ル点での各データ値と終端(次の合成フレームの先端)
サンプル点での各データ値とが与えられ、これらのサン
プル点間の各データ値を補間により求めるようにしてい
る。
理を詳細に説明する。上記V(有声音)と判別された第
mバンド(第m高調波の帯域)における時間軸上の上記
1合成フレーム(Lサンプル、例えば160サンプル)
分の有声音をVm (n) とするとき、この合成フレーム内
の時間インデックス(サンプル番号)nを用いて、 Vm (n) =Am (n) cos(θm (n)) 0≦n<L ・・・(12) と表すことができる。全バンドの内のV(有声音)と判
別された全てのバンドの有声音を加算(ΣVm (n) )し
て最終的な有声音V(n) を合成する。
レームの先端から終端までの間で補間された第m高調波
の振幅である。最も簡単には、フレーム単位で更新され
る振幅データの第m高調波の値を直線補間すればよい。
すなわち、上記合成フレームの先端(n=0)での第m
高調波の振幅値をA0m、該合成フレームの終端(n=
L:次の合成フレームの先端)での第m高調波の振幅値
をALmとするとき、 Am (n) = (L-n)A0m/L+nALm/L ・・・(13) の式によりAm (n) を計算すればよい。
上記合成フレームの先端(n=0)での第m高調波の位
相(フレーム初期位相)を示し、ω01は合成フレーム先
端(n=0)での基本角周波数、ωL1は該合成フレーム
の終端(n=L:次の合成フレーム先端)での基本角周
波数をそれぞれ示している。上記(11)式中のΔωは、
n=Lにおける位相φLmがθm (L) に等しくなるような
最小のΔωを設定する。
れn=0、n=LのときのV/UV判別結果に応じた上
記振幅Am (n) 、位相θm (n) の求め方を説明する。第
mバンドが、n=0、n=LのいずれもV(有声音)と
される場合に、振幅Am (n) は、上述した(13)式によ
り、伝送された振幅値A0m、ALmを直線補間して振幅A
m (n) を算出すればよい。位相θm (n) は、n=0でθ
m (0) =φ0mからn=Lでθm (L) がφLmとなるように
Δωを設定する。
LのときUV(無声音)とされる場合に、振幅Am (n)
は、Am (0) の伝送振幅値A0mからAm (L) で0となる
ように直線補間する。n=Lでの伝送振幅値ALmは無声
音の振幅値であり、後述する無声音合成の際に用いられ
る。位相θm (n) は、θm (0) =φ0mとし、かつΔω=
0とする。
n=LのときV(有声音)とされる場合には、振幅Am
(n) は、n=0での振幅Am (0) を0とし、n=Lで伝
送された振幅値ALmとなるように直線補間する。位相θ
m (n) については、n=0での位相θm (0) として、フ
レーム終端での位相値φLmを用いて、 θm (0) =φLm−m(ωO1+ωL1)L/2 ・・・(15) とし、かつΔω=0とする。
音)とされる場合に、θm (L) がφLmとなるようにΔω
を設定する手法について説明する。上記(14)式で、n
=Lと置くことにより、 θm (L) =mωO1L+L2 m(ωL1−ω01)/2L+φ0m+ΔωL =m(ωO1+ωL1)L/2+φ0m+ΔωL =φLm となり、これを整理すると、Δωは、 Δω=(mod2π((φLm−φ0m) − mL(ωO1+ωL1)/2)/L ・・・(16) となる。この(16)式でmod2π(x) とは、xの主値を−
π〜+πの間の値で返す関数である。例えば、x=1.3
πのときmod2π(x) =−0.7π、x=2.3πのときmod2
π(x) =0.3π、x=−1.3πのときmod2π(x) =0.7
π、等である。
トルの一例を示しており、バンド番号(ハーモニクスナ
ンバ)mが8、9、10の各バンドがUV(無声音)と
され、他のバンドはV(有声音)とされている。このV
(有声音)のバンドの時間軸信号が上記有声音合成部1
26により合成され、UV(無声音)のバンドの時間軸
信号が無声音合成部127で合成されるわけである。
合成処理を説明する。ホワイトノイズ発生部131から
の時間軸上のホワイトノイズ信号波形を、所定の長さ
(例えば256サンプル)で適当な窓関数(例えばハミ
ング窓)により窓かけをし、STFT処理部132によ
りSTFT(ショートタームフーリエ変換)処理を施す
ことにより、図16のBに示すようなホワイトノイズの
周波数軸上のパワースペクトルを得る。このSTFT処
理部132からのパワースペクトルをバンド振幅処理部
133に送り、図16のCに示すように、上記UV(無
声音)とされたバンド(例えばm=8、9、10)につ
いて上記振幅|Am |UVを乗算し、他のV(有声音)と
されたバンドの振幅を0にする。このバンド振幅処理部
133には上記振幅データ、ピッチデータ、V/UV判
別データが供給されている。バンド振幅処理部133か
らの出力は、ISTFT処理部134に送られ、位相は
元のホワイトノイズの位相を用いて逆STFT処理を施
すことにより時間軸上の信号に変換する。ISTFT処
理部134からの出力は、オーバーラップ加算部135
に送られ、時間軸上で適当な(元の連続的なノイズ波形
を復元できるように)重み付けをしながらオーバーラッ
プ及び加算を繰り返し、連続的な時間軸波形を合成す
る。オーバーラップ加算部135からの出力信号が上記
加算部129に送られる。
いて合成されて時間軸上に戻された有声音部及び無声音
部の各信号は、加算部129により適当な固定の混合比
で加算して、出力端子130より再生された音声信号を
取り出す。
ド側)の構成や図15の音声合成側(デコード側)の構
成については、各部をハードウェア的に記載している
が、いわゆるDSP(ディジタル信号プロセッサ)等を
用いてソフトウェアプログラムにより実現することも可
能である。
るものではなく、例えば、音声信号のみならず、音響信
号を入力信号として用いることもできる。また、入力オ
ーディオ信号(音声信号や音響信号)の特徴を表すパラ
メータとしては、上記V(有声音)/UV(無声音)の
判別情報に限定されず、ピッチの値、ピッチ成分の強
弱、信号スペクトルの傾きやレベル等を使用することが
できる。さらに、このような特徴パラメータは、符号化
方式に応じて本来伝送するパラメータ情報の一部を代用
しても、別途に伝送してもよく、他の伝送パラメータで
代用させる場合には適応的コードブックと見なせ、別途
伝送する場合には構造化コードブックと見なせる。
に係る高能率符号化方法によれば、ベクトル量子化器に
入力されたオーディオ信号(音声信号や音響信号)の状
態に応じた複数種類のコードブックを設け、該入力オー
ディオ信号のブロック毎(フレーム毎)の特徴を表すパ
ラメータに応じて、上記複数種類のコードブックを切り
換えてベクトル量子化を施しているため、効率的なベク
トル量子化が実現でき、ベクトル量子化の性能向上に役
立つ。
号化装置(エンコーダ)側の概略構成を示すブロック図
である。
明するための図である。
号化装置(エンコーダ)の要部の概略構成を示すブロッ
ク図である。
するための図である。
するための図である。
するための図である。
するための図である。
するための図である。
するための図である。
装置の具体例としての音声信号の合成分析符号化装置の
分析側(エンコード側)の概略構成を示す機能ブロック
図である。
の図である。
データを示す図である。
包絡線(エンベロープ)及び励起信号のパワースペクト
ルを示す図である。
装置の具体例としての音声信号の合成分析符号化装置の
合成側(デコード側)の概略構成を示す機能ブロック図
である。
るための図である。
ドブック 15U 、251U〜25SU・・・・・UV(無声音)用コ
ードブック 15W 、251W〜25SW・・・・・切換スイッチ 21・・・・・次元低減部 22Q ・・・・・S次元ベクトル量子化器 22C ・・・・・S次元コードブック 23・・・・・次元拡張部 103・・・・・ピッチ抽出部 104・・・・・窓かけ処理部 105・・・・・直交変換(FFT)部 106・・・・・高精度(ファイン)ピッチサーチ部 107・・・・・有声音/無声音(V/UV)判別部 108・・・・・振幅再評価部 109・・・・・データ数変換(データレートコンバー
ト)部 110・・・・・ベクトル量子化部 126・・・・・有声音合成部 127・・・・・無声音合成部
Claims (3)
- 【請求項1】 入力されたオーディオ信号をブロック単
位で区分して周波数軸に変換して得られるデータに基づ
いてM次元ベクトルとしての周波数軸上データを求める
工程と、 このM次元ベクトルの周波数軸上データに対してベクト
ル量子化を施すためにオーディオ信号の状態に応じた複
数のコードブックを有するベクトル量子化器を用い、上
記オーディオ入力信号のブロック毎の特徴を表すパラメ
ータに応じて上記複数のコードブックを切り換えて量子
化を施す工程とを有することを特徴とする高能率符号化
方法。 - 【請求項2】 上記オーディオ信号として音声信号を用
い、上記コードブックとして音声信号が有声音か無声音
かに応じた複数のコードブックを用い、上記特徴パラメ
ータとして上記ブロック毎の入力音声信号が有声音か無
声音かを表すパラメータを用いることを特徴とする請求
項1記載の高能率符号化方法。 - 【請求項3】 入力されたオーディオ信号をブロック単
位で区分して周波数軸に変換して得られるデータに基づ
いてM次元ベクトルとしての周波数軸上データを求める
工程と、 このM次元ベクトルの周波数軸上データを複数グループ
に分割して各グループ毎に代表値を求めることにより次
元をS次元(S<M)に低下させる工程と、 このS次元ベクトルのデータに対して第1のベクトル量
子化を施す工程と、 この第1のベクトル量子化出力データを逆量子化して対
応するS次元のコードベクトルを求める工程と、 このS次元のコードベクトルを元のM次元のベクトルに
拡張する工程と、 この拡張されたM次元のベクトルと元の上記M次元ベク
トルの周波数軸上データとの関係を表すデータに対して
第2のベクトル量子化を施すためにオーディオ信号の状
態に応じた複数のコードブックを有する第2のベクトル
量子化器を用い、上記オーディオ入力信号のブロック毎
の特徴を表すパラメータに応じて上記複数のコードブッ
クを切り換えて量子化を施す工程とを有することを特徴
とする高能率符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09225892A JP3297749B2 (ja) | 1992-03-18 | 1992-03-18 | 符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP09225892A JP3297749B2 (ja) | 1992-03-18 | 1992-03-18 | 符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05265499A true JPH05265499A (ja) | 1993-10-15 |
JP3297749B2 JP3297749B2 (ja) | 2002-07-02 |
Family
ID=14049391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09225892A Expired - Lifetime JP3297749B2 (ja) | 1992-03-18 | 1992-03-18 | 符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3297749B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5809459A (en) * | 1996-05-21 | 1998-09-15 | Motorola, Inc. | Method and apparatus for speech excitation waveform coding using multiple error waveforms |
US5848387A (en) * | 1995-10-26 | 1998-12-08 | Sony Corporation | Perceptual speech coding using prediction residuals, having harmonic magnitude codebook for voiced and waveform codebook for unvoiced frames |
JP2001222297A (ja) * | 1999-11-29 | 2001-08-17 | Digital Voice Syst Inc | マルチバンドハーモニック変換コーダ |
WO2003019527A1 (fr) * | 2001-08-31 | 2003-03-06 | Kabushiki Kaisha Kenwood | Procede et appareil de generation d'un signal affecte d'un pas et procede et appareil de compression/decompression et de synthese d'un signal vocal l'utilisant |
US6605768B2 (en) | 2000-12-06 | 2003-08-12 | Matsushita Electric Industrial Co., Ltd. | Music-signal compressing/decompressing apparatus |
US7092885B1 (en) | 1997-12-24 | 2006-08-15 | Mitsubishi Denki Kabushiki Kaisha | Sound encoding method and sound decoding method, and sound encoding device and sound decoding device |
WO2008072733A1 (ja) * | 2006-12-15 | 2008-06-19 | Panasonic Corporation | 符号化装置および符号化方法 |
JP2009512271A (ja) * | 2005-10-05 | 2009-03-19 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置、エンコーディング及びデコーディング方法並びにそのための装置 |
JP2009520384A (ja) * | 2005-10-05 | 2009-05-21 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置、エンコーディング及びデコーディング方法並びにそのための装置 |
-
1992
- 1992-03-18 JP JP09225892A patent/JP3297749B2/ja not_active Expired - Lifetime
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5848387A (en) * | 1995-10-26 | 1998-12-08 | Sony Corporation | Perceptual speech coding using prediction residuals, having harmonic magnitude codebook for voiced and waveform codebook for unvoiced frames |
US5809459A (en) * | 1996-05-21 | 1998-09-15 | Motorola, Inc. | Method and apparatus for speech excitation waveform coding using multiple error waveforms |
US7747441B2 (en) | 1997-12-24 | 2010-06-29 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for speech decoding based on a parameter of the adaptive code vector |
US8688439B2 (en) | 1997-12-24 | 2014-04-01 | Blackberry Limited | Method for speech coding, method for speech decoding and their apparatuses |
JP2009134303A (ja) * | 1997-12-24 | 2009-06-18 | Mitsubishi Electric Corp | 音声復号化方法及び音声復号化装置 |
US7092885B1 (en) | 1997-12-24 | 2006-08-15 | Mitsubishi Denki Kabushiki Kaisha | Sound encoding method and sound decoding method, and sound encoding device and sound decoding device |
US9263025B2 (en) | 1997-12-24 | 2016-02-16 | Blackberry Limited | Method for speech coding, method for speech decoding and their apparatuses |
US7363220B2 (en) | 1997-12-24 | 2008-04-22 | Mitsubishi Denki Kabushiki Kaisha | Method for speech coding, method for speech decoding and their apparatuses |
US7383177B2 (en) | 1997-12-24 | 2008-06-03 | Mitsubishi Denki Kabushiki Kaisha | Method for speech coding, method for speech decoding and their apparatuses |
US8447593B2 (en) | 1997-12-24 | 2013-05-21 | Research In Motion Limited | Method for speech coding, method for speech decoding and their apparatuses |
US8352255B2 (en) | 1997-12-24 | 2013-01-08 | Research In Motion Limited | Method for speech coding, method for speech decoding and their apparatuses |
US8190428B2 (en) | 1997-12-24 | 2012-05-29 | Research In Motion Limited | Method for speech coding, method for speech decoding and their apparatuses |
US9852740B2 (en) | 1997-12-24 | 2017-12-26 | Blackberry Limited | Method for speech coding, method for speech decoding and their apparatuses |
US7937267B2 (en) | 1997-12-24 | 2011-05-03 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for decoding |
US7747433B2 (en) | 1997-12-24 | 2010-06-29 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for speech encoding by evaluating a noise level based on gain information |
US7742917B2 (en) | 1997-12-24 | 2010-06-22 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for speech encoding by evaluating a noise level based on pitch information |
US7747432B2 (en) | 1997-12-24 | 2010-06-29 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for speech decoding by evaluating a noise level based on gain information |
JP2001222297A (ja) * | 1999-11-29 | 2001-08-17 | Digital Voice Syst Inc | マルチバンドハーモニック変換コーダ |
US6605768B2 (en) | 2000-12-06 | 2003-08-12 | Matsushita Electric Industrial Co., Ltd. | Music-signal compressing/decompressing apparatus |
US7647226B2 (en) | 2001-08-31 | 2010-01-12 | Kabushiki Kaisha Kenwood | Apparatus and method for creating pitch wave signals, apparatus and method for compressing, expanding, and synthesizing speech signals using these pitch wave signals and text-to-speech conversion using unit pitch wave signals |
WO2003019527A1 (fr) * | 2001-08-31 | 2003-03-06 | Kabushiki Kaisha Kenwood | Procede et appareil de generation d'un signal affecte d'un pas et procede et appareil de compression/decompression et de synthese d'un signal vocal l'utilisant |
US7630883B2 (en) | 2001-08-31 | 2009-12-08 | Kabushiki Kaisha Kenwood | Apparatus and method for creating pitch wave signals and apparatus and method compressing, expanding and synthesizing speech signals using these pitch wave signals |
CN1324556C (zh) * | 2001-08-31 | 2007-07-04 | 株式会社建伍 | 生成基音周期波形信号的装置和方法及处理语音信号的装置和方法 |
JP2009520384A (ja) * | 2005-10-05 | 2009-05-21 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置、エンコーディング及びデコーディング方法並びにそのための装置 |
JP2009512271A (ja) * | 2005-10-05 | 2009-03-19 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置、エンコーディング及びデコーディング方法並びにそのための装置 |
WO2008072733A1 (ja) * | 2006-12-15 | 2008-06-19 | Panasonic Corporation | 符号化装置および符号化方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3297749B2 (ja) | 2002-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1065655B1 (en) | High efficiency encoding method | |
JP3707116B2 (ja) | 音声復号化方法及び装置 | |
JP3680380B2 (ja) | 音声符号化方法及び装置 | |
JPH0869299A (ja) | 音声符号化方法、音声復号化方法及び音声符号化復号化方法 | |
JPH0744193A (ja) | 高能率符号化方法 | |
JPH11330977A (ja) | オ―ディオ信号符号化装置、オ―ディオ信号復号化装置、及び、オ―ディオ信号符号化・復号化装置 | |
JPH0990968A (ja) | 音声合成方法 | |
JP3297749B2 (ja) | 符号化方法 | |
JP3237178B2 (ja) | 符号化方法及び復号化方法 | |
JP3297751B2 (ja) | データ数変換方法、符号化装置及び復号化装置 | |
JP3218679B2 (ja) | 高能率符号化方法 | |
JPH09127985A (ja) | 信号符号化方法及び装置 | |
JP3362471B2 (ja) | 音声信号の符号化方法及び復号化方法 | |
JPH09127987A (ja) | 信号符号化方法及び装置 | |
JP3731575B2 (ja) | 符号化装置及び復号装置 | |
JPH0651800A (ja) | データ数変換方法 | |
JP3297750B2 (ja) | 符号化方法 | |
JP3218681B2 (ja) | 背景雑音検出方法及び高能率符号化方法 | |
JP3221050B2 (ja) | 有声音判別方法 | |
JP3218680B2 (ja) | 有声音合成方法 | |
JPH05281995A (ja) | 音声符号化方法 | |
JP2000132195A (ja) | 信号符号化装置及び方法 | |
JPH09127986A (ja) | 符号化信号の多重化方法及び信号符号化装置 | |
JPH0744194A (ja) | 高能率符号化方法 | |
JPH07212239A (ja) | ラインスペクトル周波数のベクトル量子化方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020305 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080419 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090419 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090419 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100419 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100419 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110419 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110419 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120419 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term |