JPH09127992A - 発声音データの復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 発声音を音要素に分解して圧縮した符号化デ
ータを復号・再生する復号化装置において、単一発声音
であるにも関わらず複数話者の発声音のように音声再生
される不具合を解消する。 【解決手段】 メモリ4の変換用係数テーブルに各音要
素毎の信号特徴データを与える第１係数データ群と声道
伝達特性を係数化した第２係数データ群(ＰＡＲＣＯＲ
係数等)を構成しておき、変換データ作成器5が音要素量
データと前記第１係数データ群から合成音データを作成
し、また音要素量データと前記第２係数データ群からフ
ィルタ係数データを作成する。駆動音源部6はピッチデ
ータと合成音データから駆動音信号を生成させてフィル
タ部7へ出力するが、フィルタ部7には前記フィルタ係数
データがセットされており、音要素間の過渡的な状態を
滑らかに変化する発声音信号に調整して出力させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は発声音データの復号
化装置に係り、ＴＶ会議やＡＶ(Audio-Visual)データ通
信等の分野に適用され、人間の発声音を音要素に分析し
て高能率なデータ圧縮を行う符号化装置に対応して、そ
の符号化データを自然な発声音として復号・再生するた
めの復号化装置に関する。

【０００２】

【従来の技術】最近、オーディオ機器においては音声デ
ータをディジタル化して処理する技術の開発が目覚まし
く、特にマルチメディア機器には映像データと音声デー
タのディジタル処理とそのデータ伝送技術が不可欠な要
素になっている。従来から、音声データの伝送に関して
はディジタル通信回線を用いた電話通信があるが、通常
の通話ではその情報伝送に必要とされるデータ量が少な
いために現状のディジタル通信回線で十分であっても、
ボーカルを含む音楽や映画の音声のように高い音質を要
求される音声データを伝送しなければならないような場
合には回線の容量が足りず、蓄積交換方式等のようにリ
アルタイム性を犠牲にした伝送方式を採用せざるを得な
い。

【０００３】そして、従来の音声データの高能率符号化
技術としては、主に次のような方式が採用されている
が、何れも高音質を保持しながら高い圧縮率を得るとい
う条件を満たすには十分な符号化方法とはいえないのが
現状である。 直交変換を行った結果を符号化する方法；時系列的
音声信号に対してＦＦＴ(高速フーリエ変換)やＤＣＴ
(離散コサイン変換)のような直交変換を施した場合にそ
の逆変換によって元の信号を復元できることを利用し、
音声信号を周波数成分に変換した上で符号を割り当てて
符号化する方法であるが、そのままでは情報量を減少さ
せることができない。そこで、実際の音声信号において
は高域成分が低域成分と比較して少ないことや、人間の
聴覚特性等を考慮した符号量の割当てを行うことによっ
て、聴覚的な音質を保持しながら符号化データ量の減少
を実現している。 音声の分析結果を符号化する方法；過去のいくつか
のサンプリング値から現在のサンプリング値を予測推定
し、真の値と予測値との差(予測誤差)を符号化する予測
符号化方法や、人間の発声メカニズムに着目し、モデル
化した声帯、咽喉、鼻腔の形状等を発声音の分析ファク
ターとして符号化する方法があり、音声情報の高能率な
圧縮を可能にする。しかし、それらの方法は、復号化し
て再生した場合の音質の劣化が大きく、主に音質が重要
視されない分野、即ち、簡易な音声メッセージ伝送や電
話の留守番録音等にしか適用できない。

【０００４】一般に、高い再生音質を確保するには、Ｃ
Ｄ(Compact Disc)やＤＡＴ(DigitalAudio Tape)に見ら
れるように、約１.４Ｍbpsの情報伝送速度が必要とされ
ている。前記の各方法は、何れも基本的には信号の波形
形状やパワースペクトルを再現可能なように信号のもつ
性質を利用して符号化を行うことを基本としており、人
間の聴覚特性に基づいて周波数成分毎に符号量の割当て
を変化させたり、聴覚のマスキング効果を利用して情報
量を減らすことで高能率な符号化を実現させているが、
高々数Ｋ〜数十Ｋbps程度の低伝送レートしか有してい
ない電話回線で音声情報を高い音質を保持しながらリア
ルタイムに伝送するには未だ大きな隔たりがある。

【０００５】そこで、本願の発明者は、人間の発声音を
音要素レベルで分析し、その分析結果を符号化する符号
化装置とそれに対応した復号化装置の提案を行った(平
成7年9月26日提出の特許願;「発声音データの符号化装置
及び復号化装置」)。その提案では、次のような基本的な
考え方に基づいて符号化装置と復号化装置を構成させて
いる。先ず、人間の聴覚は各周波数成分毎に音を認識し
ているわけではなく、何らかの規則性をもって集合して
いる周波数成分のまとまり具合を「音」として聴取してい
る。即ち、「人間の発声音」や「楽器の音」や「鳥の鳴き声」
や「水の音」等を分析してゆくと、それ以上分解すれば一
つの「音」として認識できなくなるような単位(以下、「音
要素」という)まで分解できるが、「人の話声」についてみ
れば/a/や/i/等の母音又は/k/や/t/等の子音がそれに相
当し、人間の聴覚はその音要素単位で「音」を聞き分けて
いる。更に具体的には、各音要素は前記の「周波数成分
のまとまり具合」である「パワースペクトルの分布と時間
軸上での変化の具合」にそれぞれ固有のパターンを生じ
させ、人間の聴覚がその固有パターンの変化情報に基づ
いて「音」を認識している。

【０００６】その場合、例えば、人間が発話した音声の
/a/であっても発声者が異なるとパワースペクトルの分
布と時間軸上での変化は異なるが、少なくとも、聴く者
においては、音質の相違はともかく、/a/のカテゴリー
に属する音として聞き分けることができる。尚、音要素
は一般に母音と子音に大別され、学説によって相違はあ
るが、日本語におけるその数は母音で５個、子音で２０
個乃至４０個程度とされている。

【０００７】このように、音要素に着目した考察からみ
ると、従来のように周波数毎に符号量の割当てを行った
り聴覚のマスキング効果を利用して符号化を行うより
も、音要素に着目した符号化方式を組み込んで人間が音
声を聴取する際に必要な情報のみを抽出すれば、更に高
能率な符号化を実現できる余地がある。特に、人間の発
声音については、既に音声学や音声認識の分野等におい
て音要素を基準にした情報解析の研究が行われており、
それらの研究成果を有効に利用することができる。

【０００８】前記提案に係る符号化装置と復号化装置は
図７及び図８に示すような機能ブロックの構成とされて
いる。先ず、図７の符号化装置51では、発声音信号をサ
ンプリング器52で標本化し、例えば図１１に示すような
ディジタル化された時系列発声音データを得ると共に、
そのデータを一定個数毎に区切ってＦＦＴ(高速フーリ
エ変換)器53へ入力する。ＦＦＴ器53では、入力データ
に対して逐次直交変換を施し、その変換処理によってパ
ワースペクトルデータをサブバンド化器54ヘ出力する。
サブバンド化器54では、人間の聴覚の周波数特性に適合
するようにパワースペクトルデータをサブバンド分割
し、そのサブバンド化されたデータを音要素抽出ニュー
ラルネットワーク(以下、「音要素抽出ＮＮ」という)55へ
転送する。

【０００９】ここに、サブバンド化器54では、人間の聴
覚における周波数の解像度が高帯域で小さくなることに
基づいて周波数が高くなるにつれて広い帯域になる対数
比の帯域区分でパワースペクトルデータをブロック化
し、各ブロック毎にパワーの平均値を求めて対数化する
という処理を行う。尚、ＦＦＴ処理の結果は各周波数に
相当する成分が複素数で与えられるため、絶対値につい
ての平均値を求めて対数化することになる。例えば、あ
る発声音についてサブバンド化したパワースペクトルデ
ータをみるとは図１２のようになる。但し、同図におい
ては、横軸方向に時間軸が、奥行き方向に関して奥の方
から手前に向けて周波数軸が、縦軸方向に対数化したパ
ワー値がとられており、パワーに関しては２０dBに相当
するレベルを閾値としてカットオフされている。また、
パワー値は、パワースペクトルを上記のブロック化方式
で周波数方向に１７分割し、その各サブバンド毎に求め
られた平均値を対数化した値として求められている。

【００１０】次に、音要素抽出ＮＮ55には、前記のサブ
バンド化器54でのサブバンド化方式に対応した各音要素
毎の特徴に係る基準データパターンが予め学習せしめら
れており、サブバンド化器54から転送されるサブバンド
化されたパワースペクトルデータをその基準データパタ
ーンと比較して相関データを出力させる。その動作状態
は図９及び図１０に示され、入力層にブロックデータが
入力されるとそのデータの音要素毎の特徴に基づいて出
力層のニューロンが反応するようになっており、入力さ
れた一定量のパワースペクトルデータに対応した出力ニ
ューロンの変化によって音要素成分が如何なる態様で含
まれているかを抽出する。即ち、単一の音要素に係るパ
ワースペクトルデータである場合には、出力層のその音
要素のパターンに対応した出力ニューロンのみが「１」と
なり、他の出力ニューロンは「０」になるが、パワースペ
クトルデータが学習データと近似したパターンである場
合には、相当するカテゴリを示す出力ニューロンの活性
値が「１」に近い値をとり、それ以外の出力ニューロンは
「０」に近い値を示す。また、複数の発声音が合成された
パワースペクトルデータである場合には、各発声音の音
要素成分の強弱に基づいて対応する各出力ニューロンが
０と１の間の活性値をとり、出力層の各出力ニューロン
の活性状態から如何なる音要素成分がどのような割合で
含まれているかを学習データとの相関情報として出力さ
せる。尚、音声認識の分野で用いられているパターンマ
ッチングでは、入力されたデータが各音要素の基準デー
タに対してどの程度の差があるかを判定して最も差が小
さいものを選択する方式を採用するが、この音要素抽出
Ｎ・Ｎ55では確定的な認識までは行わずに、基準データ
との類似度情報を各出力ニューロンの活性状態で与える
ようにしている。

【００１１】ところで、実際の発声音を再生する場合に
は前記の情報だけでは足りず、パワースペクトルに係る
周波数方向のピッチデータとパワーデータが必要であ
る。ピッチデータはＦＦＴ処理した後のパワースペクト
ルデータの分布状態(又はそのサブバンド化後のデータ)
から求めることができるが、最も簡単な抽出法はＦＦＴ
処理結果における最大の絶対値を持つ要素を検出する方
法である。また、パワーデータはサンプリング器52のサ
ンプリングデータ又はＦＦＴ処理結果から各成分の絶対
値の２乗和として求めることができる。そこで、この符
号化装置51では、絶対値演算回路や積分器や加算器や比
較器で構成したピッチ・パワー抽出器56を設け、ＦＦＴ
器53の処理結果を用いてピッチデータとパワーデータを
抽出するようになっている。

【００１２】以上の結果、音要素抽出Ｎ・Ｎ55から発声
音データの音要素成分に係る情報が各出力ニューロンの
活性状態(ｇ1,ｇ2,・・・,ｇN)として求まり、ピッチ・パワ
ー抽出器56からピッチデータ(ｐi)とパワーデータ(ｐo)
が求まるが、それらのデータは符号作成器57へ入力され
る。そして、符号作成器57では、音要素抽出Ｎ・Ｎ55の
各出力ニューロンの活性状態から得られる所定ビット数
のデータとピッチ・パワー抽出器56の出力を読み込み、
それらのデータを所定の順番に並べたデータストリーム
[ｇ1,ｇ2,・・・,ｇN,ｐi,ｐo]を構成して伝送路側へ出力
させる。従って、その単位ストリームのデータはＦＦＴ
器53が１回当たりに処理したデータに対応した時間帯に
おける発声音の状態を示すことになる。そして、データ
の圧縮率を見積もると、音要素抽出Ｎ・Ｎ5に入力するデ
ータの時間方向のシフト量によって異なるが約１／１９
〜１／１５０程度の圧縮が可能になり、また音要素抽出
Ｎ・Ｎ55の出力層の各ニューロンから得られる出力デー
タが時系列的に相関性の強いものであることを利用し
て、差分データを用いたり、ハフマン符号化等の高能率
符号化方法を適用すればその圧縮率を更に向上させるこ
とができる。

【００１３】一方、復号化装置61では、伝送路を介して
前記の符号化装置51から得られた符号化発声音データを
符号解読器62で解読すると共に、予め与えられている関
数(ｑ1,ｑ2,・・・,ｑN)＝Ｄf(ｇ1,ｇ2,・・・,ｇN,ｐo)によ
って各データストリームが与える一定時間内の音要素成
分量(ｑ1,ｑ2,・・・,ｑN)を演算する。そして、各音要素
成分量データ(ｑ1,ｑ2,・・・,ｑN)とピッチデータｐiを各
音要素毎に設けられた音要素信号生成器63-1〜Nへ個別
に転送し、各音要素信号生成器63-1〜Nがその転送デー
タに基づいてそれぞれ音要素信号ｑs1,ｑs2,・・・,ｑsNを
発声させる。ここに、各音要素信号生成器63-jは、音要
素の成分量ｑjとピッチデータｐiを与えるとｊ番に設定
されている音要素に相当する音要素信号ｑsjを生成させ
る回路で構成されている。次に、この復号化装置61では
各音要素信号生成器63-1〜Nの出力を混合器64で混合し
て出力させる。即ち、各音要素信号ｑs1,ｑs2,・・・・,ｑs
Nが混合器64で合成されることにより元の発声音信号が
再生され、増幅器65で増幅されてスピーカ(図示せず)で
音声再生される。

【００１４】以上の復号・再生処理を更に具体的にみる
と、先ず、ある一定時間の各音要素成分量データ(ｑ1,
ｑ2,・・・,ｑN)は例えば図１３で示すような音要素毎のデ
ータになる。但し、この例は一定時間内の発声音が音要
素/ｅ/に僅かな音要素/ｏ/が混在しているような状態で
あった場合に相当する。また、そのようなデータを音要
素毎に時系列的に配列した結果として図１４に示すよう
なデータが得られる。そして、各音要素番号に対応した
音要素信号生成器63-1〜Nがピッチデータｐiを用いなが
ら図１４で示される音要素量の時間軸方向の変化に伴っ
てそれぞれ音要素信号を再生出力し、その各信号が混合
器64で合成されて元の発声音に係る再生信号が得られる
ことになる。

【００１５】

【発明が解決しようとする課題】ところで、前記の符号
化・復号化処理によると、元の発声音の発話者が一人で
あるにも関わらず、その発声音の音要素が変化する過程
における再生音が恰も複数の発話者が話しているように
聞こえるという傾向が生じる。具体的には、例えば、
「アイ」と発声した場合に、/ａ/から/ｉ/へ変化する過程
で、/ａ/のようでもあり/ｉ/のようでもある過渡的な変
化音ではなく、/ａ/と/ｉ/の両音が同時に聞こえ、複数
の発話者がハモリながら話しているような状態になる。

【００１６】その現象(以下、「ハモリ現象」という)は、
前記の符号化・復号化処理が、音要素単位で発声音の特
徴を抽出した後に各音要素データを分離して扱い、最終
的に音要素毎の発声音信号を合成する方式を採用してい
るからであり、図１４に基づけば、音要素番号方向に音
要素量が重複して表れている時間帯でハモリ現象を生じ
ることになる。

【００１７】そして、そのようなハモリ現象の発生状態
は当然に元の発声音の忠実な再生とはいえず、その音質
の劣化によって非常に聴き難いものとなる。そこで、本
発明は、上記のような音要素成分を抽出する符号化方式
を採用した場合において、ハモリ現象を生じない音声再
生が可能な発声音の復号化装置を提供することを目的と
して創作された。

【００１８】

【課題を解決するための手段】本発明は、ディジタル化
された時系列発声音データを各音要素データとピッチデ
ータに分解して符号化されたデータを入力データとし、
その入力データを復号して発声音信号を再生する発声音
データの復号化装置において、発声音に係る各音要素毎
の信号特徴データを与える第１係数データ群と各音要素
毎の声道伝達特性を係数化した第２係数データ群を記憶
した記憶手段と、前記入力データに含まれる各音要素の
成分量データに前記記憶手段の第１係数データ群の各係
数データを対応する音要素毎に乗算してその演算結果を
合成した合成音データを作成し、また前記の各音要素の
成分量データに前記記憶手段の第２係数データ群を乗算
して音要素毎のフィルタ係数データを作成する変換デー
タ作成手段と、前記変換データ作成手段が作成した合成
音データとそのデータに対応したピッチデータを用いて
駆動音信号を生成させる駆動音源部と、前記変換データ
作成手段が作成した各フィルタ係数データを設定して前
記駆動音源部が生成した駆動音信号の通過帯域を調整す
るフィルタ部を具備したことを特徴とする発声音データ
の復号化装置に係る。

【００１９】入力データは時系列発声音データを各音要
素データとピッチデータに分解して符号化したものであ
り、その符号化が可逆符号化方式であれば前記の各デー
タはそのまま時系列的に再現できる。変換データ作成手
段は、入力データに含まれている各音要素の成分量デー
タに対して予め記憶手段に記憶せしめた第１係数データ
群と第２係数データ群を適用して合成音データとフィル
タ係数データを作成する。

【００２０】その場合、第１係数データ群は発声音に係
る各音要素毎の信号特徴データであり、変換データ作成
手段がそれらの信号特徴データに各音要素の成分量デー
タを対応乗算して合成するため、合成音データは入力デ
ータの処理単位に対応した一定時間帯の発声音に係るも
のとなる。そして、駆動音源部ではその合成音データと
それに対応したピッチデータを用いて駆動音信号を生成
させる。

【００２１】ところで、前記の合成音データは分解され
ていた各音要素成分を単純に合成したものであり、基本
的には図８の復号化装置による処理と同様である。従っ
て、その合成音データで駆動音源部を動作させて、その
駆動音信号をそのまま再生した場合にはやはりハモリ現
象が発生する。

【００２２】その問題に対して、本発明では、変換デー
タ作成手段が各音要素の成分量データに各音要素毎の声
道伝達特性を係数化したものである第２係数データを乗
算して音要素毎のフィルタ係数データを求め、それをフ
ィルタ部に設定するようにしている。前記の駆動音信号
はフィルタ部を通過して出力されるが、フィルタ係数デ
ータが設定されたフィルタ部は各音要素の成分量に対応
した声道伝達特性による濾波機能を発揮する。即ち、駆
動音信号がフィルタ部を通過すると、フィルタ係数デー
タで与えられる音要素毎の声道伝達特性によって滑らか
に補間され、各音要素間の過渡的な変化音を自然な信号
変化状態で表現してハモリ現象の発生を防止することが
できる。

【００２３】

【発明の実施の形態】以下、本発明の「発声音データの
復号化装置」の実施形態を図１から図６を用いて詳細に
説明する。先ず、図１は復号化装置の機能ブロック回路
図を示す。同図において、1は復号化装置であり、2は伝
送路を介して入力される可逆符号化方式の圧縮データの
ビットストリームを伸長する可逆符号伸長器、3は伸長
されたデータを解読して音要素量データとピッチデータ
に分離したビット列に展開するビット復号化器、4は変
換用係数テーブルを格納したメモリ、5はメモリ4の変換
用係数テーブルを用いてビット復号化器3から入力され
る音要素量データから合成音データと各音要素毎のフィ
ルタ係数データを求めると共にピッチデータをスループ
ットさせる変換データ作成器、6は変換データ作成器5か
ら入力されるピッチデータと合成音データを用いて駆動
音信号を生成させる駆動音源部、7は変換データ作成器5
から入力されるフィルタ係数データを設定して駆動音源
部6から入力される駆動音信号を濾波するフィルタ部、8
はフィルタ部7から出力される発声音信号を増幅する増
幅器、9は発声音信号を再生するスピーカを示す。

【００２４】図７及び図８に示した符号化・復号化方式
では、符号化装置51側が音要素成分データ(ｇ1,ｇ2,・・
・,ｇN)とピッチデータｐiとパワーデータｐoを符号化し
て伝送路へ出力し、復号化装置61側の符号化解読器62で
音要素成分データ(ｇ1,ｇ2,・・・,ｇN)とパワーデータｐo
から音要素量データ(ｑ1,ｑ2,・・・,ｑN)を作成するよう
にしているが、本実施形態の復号化装置1では音要素量
データ(ｑ1,ｑ2,・・・,ｑN)とピッチデータｐiが可逆符号
化方式で圧縮されたビットストリームを直接受信するよ
うになっている。これは、音要素成分データとパワーデ
ータに分解したものを伝送するか、両データから音要素
量データを作成して伝送するかの相違だけであり、もし
本実施形態の復号化装置1へ音要素成分データとパワー
データに分解したものが伝送されるのであれば、ビット
復号化器3に関数;(ｑ1,ｑ2,・・・,ｑN)＝Ｄf(ｇ1,ｇ2,・・
・,ｇN,ｐo)を設けて音要素量データ(ｑ1,ｑ2,・・・,ｑN)
を求めるようにすれば足りる。また、「伝送路」は、通信
回線に限定されず、ハードディスク等のストレージメデ
ィアを介して復号化装置1側へ入力される場合も含む。

【００２５】次に、本実施形態の復号化装置1による復
号・再生動作を順次説明する。先ず、圧縮データは可逆
符号伸長器2で伸長される。即ち、伝送効率やストレー
ジメディアの容量節減のために、符号化装置側では音要
素量データ(ｑ1,ｑ2,・・・,ｑN)とピッチデータｐiを可逆
符号化方式であるハフマン符号化方式等で圧縮して伝送
するが、可逆符号伸長器2によってそれを伸長する。ま
た、伸長されたデータはビット復号化器3で解読され、
ピッチデータｐiと音要素量データ(ｑ1,ｑ2,・・・,ｑN)の
ビットストリームに分離して組立てられ、それらのデー
タが変換データ作成器5へ入力される。

【００２６】変換データ作成器5は、図２に示すよう
に、入力側ラッチ群11と演算部12と出力側ラッチ群13か
らなる機能ブロック構成を有している。ここに、入力側
ラッチ群11は(ｎ＋１)個のラッチ回路で、演算部12は２
つの内積演算器12a,12bと１つの行列積演算器12cで、出
力側ラッチ群13は(ｎ＋３)個のラッチ回路で構成されて
いる。そして、変換データ作成器5へ１ブロックのピッ
チデータｐiと音要素量データ［ｑ1,ｑ2,・・・,ｑN］が入
力される度に、その各データがそれぞれ入力側ラッチ群
11の各ラッチ回路で個別に保持される。

【００２７】次に、その保持状態で演算部12がメモリ4
の変換用係数テーブルから必要な係数データを読出し、
内積演算器12aがインパルス成分データＩを、内積演算
器12bが白色ノイズ成分データＷを、行列積演算器12cが
各音要素毎のフィルタ係数ｂ1〜ｂnを求める。この各演
算器12a,12b,12cによる演算は次のような手順で実行さ
れる。先ず、メモリ4の変換用係数テーブルは図３に示
すような構成になっており、同図の[ｒ1,ｒ2,・・・,ｒn]
は各音要素(添字は図１４で示すような音要素番号)に対
応したＩＷ(インパルス／白色ノイズ)比の列であり、
[ａ(i,j)](i=1〜k,j=1〜n)は各音要素毎の声道伝達係数
に係る行列である。尚、本実施形態の復号化器1ではフ
ィルタ係数ｂ1〜ｂnをＰＡＲＣＯＲ(Partial Correlatt
ion)係数を用いて演算することとした。ＰＡＲＣＯＲ係
数は音声信号を統計的に処理するＬＰＣ(Linear Predic
tive Coding)技術で広く適用されているものであり、図
４に示すようなＰＡＲＣＯＲ分析回路の相関器の出力か
ら発声音における音要素毎のＰＡＲＣＯＲ係数(ａ1,ａ
2,・・・,ａk)を求めることができ、その結果を行列[ａ(i,
j)]としてメモリ4の変換用係数テーブルに格納してお
く。

【００２８】そして、内積演算器12aは、列[ｒ1,ｒ2,・・
・,ｒn]と音要素量データ[ｑ1,ｑ2,・・・,ｑN]の内積を求
めてその結果をインパルス成分データＩとし、内積演算
器12bは先に[１−ｒ1,１−ｒ2,・・・,１−ｒn]を求め、そ
の結果と音要素量データ[ｑ1,ｑ2,・・・,ｑN]の内積を求
めてその演算結果を白色ノイズ成分データＷとする。ま
た、行列積演算器12cは、ＰＡＲＣＯＲ係数の行列[ａ
(i,j)]と音要素量データ[ｑ1,ｑ2,・・・,ｑN]の転置行列
との行列積を求め、その結果を各音要素毎のフィルタ係
数ｂ1〜ｂnとする。

【００２９】このようにして求められたインパルス成分
データＩと白色ノイズ成分データＷと各フィルタ係数ｂ
1〜ｂnは出力側ラッチ群13の各ラッチ回路で保持され、
またピッチデータｐiもそれに同期して入力側から出力
側ラッチ群13へ移され、ピッチデータｐiと合成音デー
タ(インパルス成分データＩと白色ノイズ成分データＷ)
は駆動音源部6へ、フィルタ係数ｂ1〜ｂnはフィルタ部7
へ出力される。

【００３０】次に、駆動音源部6はピッチデータｐiと合
成音データＩ,Ｗを受けて駆動音信号を出力させ、フィ
ルタ部7はフィルタ係数ｂ1〜ｂnを用いて駆動音信号の
通過帯域を制御するが、本実施形態の駆動音源部6とフ
ィルタ部7は図５に示すような回路構成を有している。

【００３１】先ず、駆動音源部6は、３個のラッチ回路
で構成された入力ラッチ群21と、インパルスジェネレー
タ22と、白色ノイズジェネレータ23と、入力ラッチ群21
で保持された合成音データのインパルス成分データＩと
白色ノイズ成分データＷによって各利得が制御される増
幅器24,25と、各増幅器24,25の出力信号を合成する信号
合成器26とからなる。そして、入力ラッチ群21にピッチ
データｐiと合成音データＩ,Ｗが保持されると、インパ
ルス成分データＩと白色ノイズ成分データＷによって各
増幅器24,25の利得を設定し、インパルスジェネレータ2
2がピッチデータｐiの与える周期でインパルス信号を発
生させる。従って、インパルス信号はインパルス成分デ
ータＩに基づいて利得が設定された増幅器24で増幅さ
れ、また白色ノイズ信号は白色ノイズ成分データＷに基
づいて利得が設定された増幅器25で増幅されるが、それ
らの増幅信号が信号合成器26で合成されて駆動音信号と
して出力される。即ち、音要素量データ[ｑ1,ｑ2,・・・,
ｑN]に基づいて作成された合成音データＩ,ＷでＩＷ比
を制御した駆動音信号が得られることになる。

【００３２】一方、フィルタ部7は、メモリ4の変換用係
数テーブルにＰＡＲＣＯＲ係数の行列[ａ(i,j)]を用い
ているため、ＰＡＲＣＯＲ格子型フィルタを採用してい
る。具体的には、前記の変換データ作成器5から転送さ
れるフィルタ係数ｂ1〜ｂnを格納するシフトレジスタ27
を具備すると共に、出力系を加算器28の直列回路で、帰
還系を１クロック遅延素子29と減算器30の直列回路で構
成し、加算器28の出力に係数を乗算して各減算器30へ出
力する乗算器31と、１クロック遅延素子29の出力に係数
を乗算して各加算器28へ出力する乗算器32を設け、各乗
算器31,32の乗算係数をシフトレジスタ27の対応したフ
ィルタ係数ｂiに基づいて設定する格子型回路で構成さ
れている。

【００３３】そして、前記の駆動音信号がこのフィルタ
部7の出力系に入力されると、各フィルタ係数ｂ1〜ｂn
に基づいてＰＡＲＣＯＲ係数の相関が各加算器28毎に付
与され、声道伝達特性に対応して通過帯域が調整された
発声音信号が再現される。ここに、駆動音信号はインパ
ルス信号と白色ノイズ信号を発声音に含まれている各音
要素量に対応したＩＷ比で合成して発声音を表現してい
るが、基本的には音要素成分を合成したものであり、音
要素が変化する場合の過渡的な音を滑らかな合成音とし
て表現できていない。即ち、復号化装置1へ入力される
各データセット(音要素量データとピッチデータ)を順次
処理し、駆動音源部6から得られる駆動音信号を数msec
から数十msecの周期で直接再生しても、従来技術で説明
したハモリ現象を発生させてしまう。しかし、前記のよ
うにフィルタ部7でＰＡＲＣＯＲ係数に基づいた声道伝
達特性の相関を付与して駆動音信号の周波数成分を調整
したことにより、発声音における連続した音要素間の過
渡的な状態を滑らかに変化する合成信号として表現で
き、聴覚上のハモリ現象をなくした高品質な発声音を再
生させることができる。

【００３４】以上のように、本実施形態の復号化装置で
は、メモリ4の変換用係数テーブルに構成したＰＡＲＣ
ＯＲ係数の行列[ａ(i,j)]で発声音に含まれている音要
素成分に対応したフィルタ係数ｂ1〜ｂnを設定し、ＰＡ
ＲＣＯＲ格子型のフィルタ部7でハモリ現象対策を施し
ている。しかし、ハモリ現象の防止効果を得る上では、
必ずしもＰＡＲＣＯＲ合成方式を採用する必要はなく、
フィルタ部7に線形予測フィルタを用いたり、一般的な
ＦＩＲ(Finite Impulse Response)フィルタやＩＩＲ(In
finite Impulse Response)フィルタを適用し、メモリ4
に対してそれに対応する係数のテーブルを構成しておい
てもよい。

【００３５】例えば、線形予測フィルタを適用する場合
のフィルタ部7の回路構成は図６のようになり、駆動音
信号をｎ個の１クロック遅延素子41でそれぞれ遅延さ
せ、各１クロック遅延素子41の出力に対して各乗算器42
に設定した係数を乗算して減算器43へ帰還することで所
謂たたみ込みを行うが、各乗算器42に設定する乗算係数
をシフトレジスタ44に転送されたフィルタ係数ｂ'1〜
ｂ'nとして設定する。ここに、フィルタ係数ｂ'1〜ｂ'n
は、変換用係数テーブルの線形予測係数の行列[ａ'(i,
j)]と音要素量データ[ｑ1,ｑ2,・・・,ｑN]の転置行列との
行列積で求められることは前記の実施形態の場合と同様
である

【００３６】

【発明の効果】本発明の「発声音データの復号化装置」
は、以上の構成を有していることにより、次のような効
果を奏する。請求項１の発明は、ディジタル化された時
系列発声音データを各音要素データとピッチデータに分
解して符号化されたデータを入力データとして、そのデ
ータを復号して発声音信号を再生する発声音データの復
号化装置において、その特殊な高能率符号化方式により
復号・再生した発声音にハモリ現象が発生してしまうと
いう問題を駆動音源部とフィルタ部に人間の発声構造を
モデル化した構成を適用することにより解消し、発声音
データの高い伝送効率やストレージメディアの容量節減
を図りながら発声音の高品質な再生を可能にする。請求
項２の発明は、駆動音源部として音要素成分に対応して
インパルスパワーと白色ノイズパワーの成分比を適応的
に変化させる方式を採用し、簡単な構成で駆動音信号を
生成させることを可能にする。請求項３の発明は、フィ
ルタ部に対するフィルタ係数の設定を声道伝達特性を具
体化するＰＡＲＣＯＲ係数を用いて行うことにより、ハ
モリ現象のない高音質の発声音の再生を実現する。請求
項４の発明は、フィルタ部に対するフィルタ係数の設定
を線形予測係数を用いて行うことにより、フィルタ部に
一般的なＦＩＲフィルタやＩＩＲフィルタを適用するこ
とを可能にし、装置の製造コストの低減化を実現する。

【図面の簡単な説明】

【図１】本発明の「発声音データの復号化装置」の実施形
態に係る機能ブロック回路図である。

【図２】変換データ作成器の詳細な機能ブロック回路図
である。

【図３】変換用係数テーブルの構成図である。

【図４】発声音における音要素毎のＰＡＲＣＯＲ係数を
求めるために用いるＰＡＲＣＯＲ分析回路の電気回路図
である。

【図５】駆動音源部の機能ブロック回路図及びフィルタ
部の電気回路図である。

【図６】ＦＩＲフィルタを適用する場合におけるフィル
タ部の電気回路図である。

【図７】発声音データの符号化装置の機能ブロック回路
図である。

【図８】従来の発声音データの復号化装置の機能ブロッ
ク回路図である。

【図９】音要素抽出Ｎ・Ｎの概略構成図である。

【図１０】音要素抽出Ｎ・Ｎの出力層の各ニューロンの
反応出力状態を示すグラフである。

【図１１】発声音の信号をサンプリングした波形例であ
る。

【図１２】発声音をサブバンド化・ＦＦＴ処理して得ら
れたパワースペクトル分布の実例を示すパワースペクト
ル図である。

【図１３】発声音の一定時間におけるピッチデータと各
音要素成分量データの実例を示す表である。

【図１４】発声音をサブバンド化・ＦＦＴ処理・音要素抽
出して得られる音要素量の実例を音要素番号軸と時間軸
のなす平面上に３次元的に表現した図である。

【符号の説明】

1,61…復号化装置、2…可逆符号伸長器、3…ビット復号
器、4…変換用係数テーブルを格納したメモリ(記憶手
段)、5…変換データ作成器(変換データ作成手段)、6…
駆動音源部、7…フィルタ部、8,24,25,65…増幅器、9…
スピーカ、11…入力側ラッチ群、12…演算部、12a,12b
…内積演算器、12c…行列積演算器、13…出力側ラッチ
群、21…入力ラッチ群、22…インパルスジェネレータ、
23…白色ノイズジェネレータ、26…信号合成器、27,44
…シフトレジスタ、28…加算器、29,41…１クロック遅
延素子、30,43…減算器、31,32,42…乗算器、52…サン
プリング器、53…ＦＦＴ器、54…サブバンド化器、55…
音要素抽出Ｎ・Ｎ、56…ピッチ・パワー抽出器、57…符号
作成器、62…符号解読器、63-1〜N…音要素信号生成
器、64…混合器。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ディジタル化された時系列発声音データ
   を各音要素データとピッチデータに分解して符号化され
   たデータを入力データとし、その入力データを復号して
   発声音信号を再生する発声音データの復号化装置におい
   て、発声音に係る各音要素毎の信号特徴データを与える
   第１係数データ群と各音要素毎の声道伝達特性を係数化
   した第２係数データ群を記憶した記憶手段と、前記入力
   データに含まれる各音要素の成分量データに前記記憶手
   段の第１係数データ群の各係数データを対応する音要素
   毎に乗算してその演算結果を合成した合成音データを作
   成し、また前記の各音要素の成分量データに前記記憶手
   段の第２係数データ群を乗算して音要素毎のフィルタ係
   数データを作成する変換データ作成手段と、前記変換デ
   ータ作成手段が作成した合成音データとそのデータに対
   応したピッチデータを用いて駆動音信号を生成させる駆
   動音源部と、前記変換データ作成手段が作成した各フィ
   ルタ係数データを設定して前記駆動音源部が生成した駆
   動音信号の通過帯域を調整するフィルタ部を具備したこ
   とを特徴とする発声音データの復号化装置。
2. 【請求項２】 記憶手段における第１係数データ群の各
   係数データを各音要素毎の信号要素の特徴データをイン
   パルスの白色ノイズに対する比として与え、変換データ
   作成手段が各音要素に係るインパルスレベルの合成デー
   タと白色ノイズレベルの合成データとして合成音データ
   を作成し、駆動音源部がピッチデータが示す周期毎に前
   記合成音データに基づいてインパルスと白色ノイズを混
   合することにより駆動音信号を生成させることとした請
   求項１の発声音データの復号化装置。
3. 【請求項３】 記憶手段における第２係数データ群の各
   係数データが、発声音における各音要素毎のＰＡＲＣＯ
   Ｒ(Partial Correlattion)係数であり、フィルタ部が前
   記ＰＡＲＣＯＲ係数に基づいたフィルタ係数データが設
   定されて動作するＰＡＲＣＯＲ格子型フィルタである請
   求項１又は請求項２の発声音データの復号化装置。
4. 【請求項４】 記憶手段における第２係数データ群の各
   係数データが、各音要素毎の発声音データの線形予測係
   数であり、フィルタ部が前記線形予測係数に基づいたフ
   ィルタ係数データが設定されて動作する線形型フィルタ
   であるである請求項１又は請求項２の発声音データの復
   号化装置。