JP2899533B2 - 音質改善装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音質改善装置に関
し、特に、不明瞭な音声を明瞭度の高い音声に変換して
生成することができるような音質改善装置に関する。

【０００２】

【従来の技術】従来、不明瞭な音声を明瞭にする方法と
しては、ホルマント周波数を求めてホルマント周波数の
時間的な動きを強調する方式［桑原尚夫，都木徹：“分
析合成による声質変換と嗄声改善への応用”，信学技
報，SP86-57, pp.45-52(1986-12)］、直前の音量により
音声信号レベルを調節する方式［吉住嘉之、目片強司、
山田義則、鈴木良二、経時マスキングを補償する音声強
調方式の検討、日本音響学会講演論文集、Vol.Ｉ, pp.3
63-364, 1991-10 ］、狭い周波数領域の音声のエネルギ
の平均から広い周波数領域の音声のエネルギの平均を除
く形式の側抑制を用いてホルマントを強調するもの［目
片強司、山田義則、鈴木良二、田中豊、補聴器への応用
を考慮したホルマント強調方式の検討、日本音響学会講
演論文集、Vol.Ｉ, pp.285-286, 1993-03 ］、などが挙
げられる。

【０００３】

【発明が解決しようとする課題】ところで、時間周波数
マスキングの原理を用いた音声認識のための特徴パラメ
ータが提案された［相川、河原、東倉、“順向マスキン
グの時間周波数特性を模擬した動的ケプストラムを用い
た音韻認識”、電子情報通信学会論文誌、Vol. J76-A,
No.11, pp.1514-1521, 1991-11］。

【０００４】しかし、このようなスペクトルからマスキ
ングパターンを求める演算が周波数と時間の関数になっ
ている時間周波数マスキングの原理が用いられること
で、ホルマント（音声スペクトルのうちエネルギが高い
周波数領域）の動き、強度などの音韻情報を強調しつ
つ、音韻明瞭性に不要なスペクトルの傾きやマイクロホ
ン周波数特性などが同時に抑圧されて、不明瞭な音質を
明瞭にするような音質改善装置については未だ提案され
ていない。

【０００５】ゆえに、本発明の目的は、上記のように未
だ提案されたことのない、時間周波数マスキングの原理
を用いて不明瞭な音声を明瞭な音声にして音質を改善す
ることのできるような音質改善装置を提供することであ
る。

【０００６】

【課題を解決するための手段】請求項１に係る発明は音
質改善装置であって、線形予測手段と特徴パラメータ算
出手段と残差波形生成手段とケプストラム分析手段と時
間周波数マスキング手段と特徴パラメータ変換手段と音
声生成手段とからなる。線形予測手段は入力される音声
波形から線形予測係数を算出し、特徴パラメータ算出手
段は線形予測係数から第１特徴パラメータを算出し、残
差波形生成手段は入力される音声信号と第１特徴パラメ
ータに基づいて残差波形を算出し、ケプストラム分析手
段は線形予測係数をケプストラム係数に変換し、時間周
波数マスキング手段は過去の複数のケプストラム係数か
らなるケプストラム系列に、所定のスペクトル平滑化リ
フタ重みを重畳積分することによりケプストラム展開係
数を算出するとともに現在のケプストラム係数からケプ
ストラム展開係数を減算して動的ケプストラム係数を算
出し、特徴パラメータ変換手段は動的ケプストラム係数
から第２特徴パラメータを算出し、音声生成手段は残差
波形と第２特徴パラメータに基づいて音声波形を生成す
る。

【０００７】請求項２に係る発明は音質改善装置であっ
て、スペクトル分析手段と詳細包絡抽出手段とスペクト
ル微細構造抽出手段と平滑包絡抽出手段とケプストラム
分析手段と時間周波数マスキング手段とマスクスペクト
ル変換手段と複素スペクトル生成手段と音声生成手段と
からなる。スペクトル分析手段は入力される音声波形を
複素スペクトルに変換し、詳細包絡抽出手段は複素スペ
クトルから詳細スペクトル包絡を抽出し、スペクトル微
細構造抽出手段は複素スペクトルを詳細スペクトル包絡
で除算することにより微細構造複素スペクトルを算出
し、平滑包絡抽出手段は複素スペクトルから平滑化スペ
クトル包絡を抽出し、ケプストラム分析手段は線形予測
係数をケプストラム係数に変換し、時間周波数マスキン
グ手段は過去の複数のケプストラム係数からなるケプス
トラム系列に、所定のスペクトル平滑化リフタ重みを重
畳積分することによりケプストラム展開係数を算出する
とともに、現在のケプストラム係数からケプストラム展
開係数を減算して動的ケプストラム係数を算出し、マス
クスペクトル変換手段は線形予測係数を新スペクトル包
絡に変換し、複素スペクトル生成手段は微細構造複素ス
ペクトルと新スペクトル包絡とを掛け合わせて新複素ス
ペクトルを算出し、音声生成手段は新複素スペクトルに
基づいて音声波形を算出する。

【０００８】

【０００９】

【００１０】

【００１１】

【００１２】

【作用】請求項１の発明に係る音質改善装置は、入力さ
れる音声波形から線形予測係数を算出し、その線形予測
係数から第１特徴パラメータを算出し、一方入力される
音声信号と第１特徴パラメータに基づいて残差波形を算
出し、算出された線形予測係数をケプストラム係数に変
換し、過去の複数のケプストラム係数からなるケプスト
ラム系列に、所定のスペクトル平滑化リフタ重みを重畳
積分することによりケプストラム展開係数を算出し、現
在のケプストラム係数からケプストラム展開係数を減算
して動的ケプストラム係数を算出し、さらに動的ケプス
トラム係数から第２特徴パラメータを算出し、残差波形
とこの第２特徴パラメータに基づいて音声波形を生成す
ることにより、マスクされた時系列データを入力された
音声波形よりも明瞭度の高い音声波形に変換して音声の
音質を改善できる。

【００１３】請求項２の発明に係る音質改善装置は、入
力される音声波形を複素スペクトルに変換し、その複素
スペクトルから詳細スペクトル包絡を抽出し、複素スペ
クトルを詳細スペクトル包絡で除算することにより微細
構造複素スペクトルを算出し、さらに変換された複素ス
ペクトルから平滑化スペクトル包絡を抽出するととも
に、線形予測係数をケプストラム係数に変換し、過去の
複数のケプストラム係数からなるケプストラム系列に、
所定のスペクトル平滑化リフタ重みを重畳積分すること
によりケプストラム展開係数を算出し、現在のケプスト
ラム係数からケプストラム展開係数を減算して動的ケプ
ストラム係数を算出し、線形予測係数を新スペクトル包
絡に変換し、微細構造複素スペクトルと新スペクトル包
絡とを掛け合わせて新複素スペクトルを算出し、その新
複素スペクトルに基づいて音声波形を算出し、音声の音
質を改善する。

【００１４】

【００１５】

【００１６】

【００１７】

【００１８】

【実施例】まず、この発明の原理について説明する。

【００１９】時間周波数マスキングを受けた音声スペク
トルは、時間を遡るほど周波数平滑化された過去のスペ
クトルを累積して得られるマスキングパターンを現時点
のスペクトルから減算することにより得られる。対数ス
ペクトルの逆フーリエ変換で定義されるケプストラムを
特徴パラメータとする場合にはケプストラム次数による
異なる重みの系列が過去のケプストラム係数に乗算して
累積されることにより、現在の音声スペクトルをマスク
するマスキングパターンに対応するケプストラム係数が
求められ、これを現時点のケプストラム係数から減算す
ることにより求められる。このマスクされたスペクトル
を表わすケプストラムが動的ケプストラムと呼ばれる。

【００２０】時間周波数マスキングの原理が用いられる
ことで、マスキングパターンは時間的周波数的に平滑化
された直前のスペクトルを表わすこととなる。時間周波
数平滑化によりスペクトルに含まれる時間的に変動する
成分や、周波数軸上の細かい成分は抑制される。このた
め、このマスキングパターンには時間的に一定なマイク
ロホンや伝送系の周波数特性が残ってくる。したがっ
て、このマスキングパターンを現時点のスペクトルから
減算することにより、音韻情報に担うホルマントそのも
の、およびその時間変化が強調され、かつ、マイクロホ
ンや伝送系の周波数特性などの時間的に一定の成分が軽
減される。

【００２１】すなわち、音声がスペクトルに変換され、
時間周波数マスキングが施され、再び音声に変換される
ことで音韻情報が強調され、マイクロホンなどの音韻明
瞭性に不要な情報が除去された音声が生成される。

【００２２】次に、図面を用いて実施例を具体的に説明
する。図１は、この発明の一実施例による音質改善装置
を示した概略ブロック図である。

【００２３】図１を参照して、この実施例の音質改善装
置は、マイクロホン１と、波形生成部３と、スペクトル
変換部５と、スピーカ１１とを含む。

【００２４】波形生成部３は、Ａ／Ｄ変換部１３と、自
己相関分析部１５と、線形予測分析部１７と、パーコー
ル変換部１９と、予測フィルタ系列生成部２１と、残差
波形生成部２３と、音声生成部３７と、Ｄ／Ａ変換部３
９とを含む。

【００２５】スペクトル変換部５は、Ａ／Ｄ変換部１３
と、自己相関分析部１５と、線形予測分析部１７と、ケ
プストラム分析部２５と、時間周波数マスキング部７
と、マスクトスペクトル変換部２７と、自己相関分析部
２９と、線形予測分析部３１と、パーコール変換部３３
と、逆フィルタ系列生成部３５と、音声生成部３７と、
Ｄ／Ａ変換部３９とを含む。

【００２６】スペクトル変換部５は、人間の口の形状を
規定する役割を果たすものであり、波形生成部３は、人
間の声帯の役割を果たすものである。

【００２７】次に、動作について説明する。マイクロホ
ン１に入った音声波形は、Ａ／Ｄ変換部１３でたとえば
サンプリング周波数１１．０２５ｋＨｚのデジタル信号
に変換される。変換されたデジタル信号は自己相関分析
部１５および残差波形生成部２３に与えられる。自己相
関分析部１５は、デジタル信号を一定の時間間隔として
たとえば５ｍｓでたとえば２２次の自己相関関数に変換
する。自己相関分析部１５で自己相関関数に変換された
デジタル信号に対して、線形予測分析部１７でたとえば
２０次の線形予測分析が行なわれて、線形予測係数が求
められる。求められた線形予測係数はケプストラム分析
部２５およびパーコール変換部１９に与えられる。

【００２８】パーコール変換部１９は、与えられた線形
予測係数をパーコール（偏自己相関）係数（または反射
係数）に変換して時間的補間を行ない、予測フィルタ系
列生成部２１に与える。予測フィルタ系列生成部２１で
は、時間的に補間された線形予測係数時系列が再び求め
られる。そして、その線形予測係数時系列が残差波形生
成部２３に与えられ、残差波形生成部２３は、Ａ／Ｄ変
換部１３から与えられた元の音声波形を示すデジタル信
号と予測フィルタ系列生成部２１から与えられた線形予
測係数時系列に基づいて、予測誤差である残差波形を求
める。残差波形生成部２３は、その残差波形を音声生成
部３７に与える。

【００２９】一方で、ケプストラム分析部２５は、与え
られた線形予測係数に対してケプストラム領域で時間周
波数マスキングの演算を行なう。マスクされたケプスト
ラム係数（動的ケプストラム）を第（１）式および第
（２）式に基づいて求める。

【００３０】

【数１】

【００３１】ここで、ｄ_k （ｉ）は時点ｉのｋ次の動的
ケプストラム、ｃ_k （ｉ）は、ケプストラム、ｌ
_k （ｎ）は、スペクトル平滑化リフタ利得、Ｎはマスキ
ング継続時間、αは初期マスキング減衰率、βはマスキ
ング減衰率、ｑ０はガウス型リフタ利得形状の初期標準
偏差、νは標準偏差減少速度である。

【００３２】この図１に示す実施例では、Ｎ＝４、α＝
０．２、β＝０．７、ｑ０＝１８、ν＝１が用いられ
る。ただし、ｎの時間間隔は２フレーム分の１０ｍｓと
する。動的ケプストラムはマスキングパターンを減算す
るので、その値が元のケプストラムに比べて小さくな
る。これを防ぐために適当な倍率Ｇ_k がかけられる。た
とえば、第（３）式に示すようなＧ_k などが適当であ
る。

【００３３】以上のような自己相関分析部１５、線形予
測分析部１７、パーコール変換部１９、予測フィルタ系
列生成部２１およびケプストラム分析部２５は、自己相
関分析部１５における時間間隔（上記の例では５ｍｓ）
で動作し、残差波形生成部２３で得られる残差波形はＡ
／Ｄ変換部１３においてサンプルされた音声信号の１サ
ンプル時点に対し１つずつ求められる。

【００３４】図２は、図１に示す音質改善装置の時間周
波数マスキング部の動作を示したフロー図であり、図３
は、図１の時間周波数マスキング部の動作を説明するた
めの図である。

【００３５】図２および図３を用いて、時間周波数マス
キング部についてより詳しく説明する。

【００３６】まず、図２を参照して、ステップ（図面で
はＳで表わす）１において、現時点ｉの処理が始められ
る。ステップ２において、ケスプストラム次数がｋ＝１
と設定される。ステップ３において、過去の時点がｎ＝
１と設定される。ステップ４において、ｋ次マスキング
パターンがクリアされる。

【００３７】ステップ５において、ｎ，ｋに依存したリ
フタ重みと時点ｉ−ｎのｋ次のケプストラムとの乗算が
行なわれる。ステップ６において、マスキングパターン
に足し込みが行なわれ、ステップ７においてｎの値が４
以上であるか否かが判定される。このｎは、前述したよ
うにマスキング継続時間Ｎを４としたためである。ｎ≧
４の場合にはステップ８に進み、ｎ＜４の場合にはステ
ップ５に戻る。ステップ８において、現時点ｉのｋ次の
ケプストラム係数からステップ６においてマスキングパ
ターンの足し込みが行なわれて得られたマスキングパタ
ーンのケプストラム展開係数を引く演算が行なわれる。
これは、ケプストラム次数を１６としたためである。そ
して、ステップ９において時点ｉのｋ次動的ケプストラ
ムが得られる。

【００３８】ステップ１０においてｋが１６以上である
か否かの判定が行なわれる。ｋ≧１６の場合にはステッ
プ１１に進み、ｋ＜１６の場合にはステップ３に戻る。
ステップ１１においてｉ時点の処理が終了する。

【００３９】なお、図２に示す時点ｉは、図１のケプス
トラム分析部２５の時点を指す。時点ｉに関する繰返し
は、たとえば５ｍｓ毎に繰返され、図１の自己相関分析
部１５から音声生成部３７のループに組込まれて行なわ
れる。

【００４０】次に、図３を用いて図２に示す処理を具体
的に説明する。たとえば、時系列データの一例のケプス
トラム系列１０１が時系列データ１０３ａ〜１０３ｍで
形成されている。各データ１０３ａ〜１０３ｍは１次か
ら１６次までの低次から高次に及ぶケプストラム係数で
表わされたデータである。ここで、現時点ｉのデータと
してデータ１０３ｉが設定されていたとする。このデー
タ１０３ｉに対してケプストラム領域で時間周波数マス
キングの演算が行なわれる。

【００４１】ここで、時間周波数マスキングの演算が行
なわれるためには、スペクトル平滑化リフタ重みが必要
とされる。ケプストラム系列１０１のデータ１０３ｅに
対応したスペクトル平滑化リフタ重み１０５ａがあり、
データ１０３ｆに対応したスペクトル平滑化リフタ重み
１０５ｂがあり、データ１０３ｇに対応したスペクトル
平滑化リフタ重み１０５ｃがあり、データ１０３ｈに対
応したスペクトル平滑化リフタ重み１０５ｄがあるとす
る。各スペクトル平滑化リフタ重み１０５ａ〜１０５ｄ
は、１次から１６次までの低次から高次に及ぶスペクト
ル平滑化リフタ重みである。このようなスペクトル平滑
化リフタ重み１０５ａ〜１０５ｄが用いられて、時間周
波数マスキングの演算が行なわれる。

【００４２】すなわち、まず、過去のケプストラムであ
るデータ１０３ｅにスペクトル平滑化リフタ重み１０５
ａがかけられ、同様に過去のケプストラムであるデータ
１０３ｆ〜１０３ｈに対応のスペクトル平滑化リフタ重
み１０５ｂ〜１０５ｄがかけられて、加算が行なわれ
る。加算されることで、マスキングパターンのケプスト
ラム展開係数を表わすデータ１０７が得られる。そし
て、データ１０３ｉからケプストラム展開係数を表わす
データ１０７が減算されることで、動的ケプストラムの
系列１１１の１つのデータ１０９ｉが得られる。動的ケ
プストラム系列１１１のデータ１０９ａ〜１０９ｈおよ
び１０９ｉ〜１０９ｍも同様にして得られる。そして、
データ１０９ａ〜１０９ｍで形成され、かつマスクされ
た時系列データの一例である時間周波数マスクされたス
ペクトルのケプストラム展開係数である動的ケプストラ
ム系列１１１が、時間周波数マスキング部７によって得
られる。

【００４３】次に、図１に戻って、このようにして得ら
れた動的ケプストラムは、マスクトスペクトル変換部２
７に与えられる。マスクトスペクトル変換部２７は、与
えられた動的ケプストラムをマスクされたスペクトルに
変換する。自己相関分析部２９は、マスクトスペクトル
変換部２７でマスクされたスペクトルから逆フーリエ変
換により自己相関関数を求める。線形予測分析部３１
は、自己相関分析部２９で求められた自己相関に従って
線形予測分析を行なう。パーコール変換部３３は、線形
予測分析部で得られた線形予測係数からパーコールパラ
メータを求め、これを時間的に補間する。逆フィルタ系
列生成部３５は、補間された線形予測係数、すなわち予
測誤差から音声を求める逆フィルタの系列を生成する。

【００４４】音声生成部３７は、逆フィルタ系列生成部
３５で生成された逆フィルタの系列に対して残差波形生
成部２３で得られた残差波形を与えることにより、音声
を生成する。Ｄ／Ａ変換部３９は、音声生成部３７で得
られた音声波形を示すデジタル信号をアナログ信号に変
換する。そして、アナログ信号によりスピーカ１１を駆
動して、マイクロホン１１に与えた音声よりも明瞭度の
高い音声が得られて、音質の改善が行なわれる。

【００４５】なお、自己相関分析部１５から逆フィルタ
系列生成部３５までの処理動作は、自己相関分析部１５
の説明で示したような一定の時間ごとに行なわれる。

【００４６】図１に示す実施例では、音声をスペクトル
包絡に変換する方法として線形予測分析によるものにつ
いて説明し、また音声を合成する基本技術としてＰＡＲ
ＣＯＲ（パーコール、偏自己相関係数）方式［板倉文
忠、新しい音声分析合成方式“ＰＡＲＣＯＲ”、日経エ
レクトロニクス、2.12，pp.58-75,1973 ］を用いたもの
を示した。次に、他の実施例について説明する。図４
は、この発明の他の実施例による音質改善装置を示した
概略ブロック図である 。

【００４７】図４を参照して、この実施例の音質改善装
置は、マイクロホン１と、波形生成部５１と、スペクト
ル変換部５３と、スピーカ１１とを含む。

【００４８】波形生成部５１は、Ａ／Ｄ変換部１３と、
スペクトル分析部５９と、詳細包絡抽出部６３と、スペ
クトル微細構造抽出部６５と、複素スペクトル生成部７
１と、音声生成部７３と、Ｄ／Ａ変換部７５とを含む。

【００４９】スペクトル変換部５３は、Ａ／Ｄ変換部１
３と、スペクトル分析部５９と、平滑化包絡抽出部６１
と、ケプストラム分析部６７と、時間周波数マスキング
部５５と、マスクトスペクトル変換部６９と、複素スペ
クトル生成部７１と、音声生成部７３と、Ｄ／Ａ変換部
７５とを含む。

【００５０】スペクトル変換部５３は、人間における口
の形状を規定する役割を果たすものであり、波形生成部
５１は、人間の声帯の役割を果たすものである。

【００５１】次に、動作について説明する。マイクロホ
ン１に入った音声は、Ａ／Ｄ変換部１３でたとえばサン
プリング周波数１６ｋＨｚでデジタル信号に変換され
る。変換されたデジタル信号は、スペクトル分析部５９
でたとえば８ｍｓのような一定の時間間隔で、たとえば
３０ｍｓの窓長のＨａｎｎｉｎｇ時間窓を用いて音声波
形を短時間フーリエ変換により複素スペクトルに変換さ
れる。たとえば４ｍｓを時定数とするラグ窓によりスペ
クトル平滑化が行なわれてスペクトル包絡が抽出され
る。

【００５２】また一方で、詳細包絡抽出部６３で、たと
えば１０ｍｓを時定数とするラグ窓によりスペクトルの
細かな平滑化が行なわれて詳細なスペクトル包絡が抽出
される。スペクトル分析部５９で求められた複素スペク
トルが詳細包絡抽出部６３で求められた詳細なスペクト
ル包絡によって除算されることにより、スペクトル微細
構造抽出部６５においてはスペクトルの微細構造を表わ
す複素スペクトルが求められる。

【００５３】ケプストラム分析部６７は、平滑化包絡抽
出部６１で求められた平滑化スペクトル包絡から、たと
えば２５６次のケプストラム係数を求める。

【００５４】時間周波数マスキング部５５は、ケプスト
ラム領域で時間周波数マスキングの演算を行なう。マス
クされたケプストラム係数（動的ケプストラム）は、図
１に示した実施例と同様に、第（４）式および第（５）
式が用いられることで求められる。

【００５５】

【数２】

【００５６】ここで、ｄ_k （ｉ）は、時点ｉのｋ次の動
的ケプストラム、ｃ_k （ｉ）はケプストラム、ｌ
_k （ｎ）はスペクトル平滑化リフタ利得、Ｎはマスキン
グ継続時間、αは初期マスキング減衰率、βはマスキン
グ減衰率、ｑ０はガウス型リフタ利得形状の初期標準偏
差、νは標準偏差減少速度である。

【００５７】この実施例では、Ｎ＝４、α＝０．２、β
＝０．７、ｑ０＝３６、ν＝２が用いられる。

【００５８】動的ケプストラムはマスキングパターンを
減算するので、その値が元のケプストラムに比べて小さ
くなる。これを防ぐために適当な倍率Ｇ_k がかけられ
る。そのＧ_k としては、たとえば第（６）式で決定され
る倍率が適当である。

【００５９】スペクトル分析部５９、平滑化包絡抽出部
６１、詳細包絡抽出部６３、スペクトル微細構造抽出部
６５およびケプストラム分析部６７は、前述したように
一定の時間間隔（この例では８ｍｓ）毎に動作を行な
う。

【００６０】そして、時間周波数マスキング部５５は、
図１の時間周波数マスキング部７と同様の動作を行な
う。すなわち、図２および図３に示した処理に従って、
時間周波数マスキング部５５は動作を行なう。

【００６１】次に、時間周波数マスキング部５５で得ら
れた動的ケプストラムであるスペクトル系列が、マスク
トスペクトル変換部６９によってスペクトル包絡に変換
される。そして、複素スペクトル生成部７１は、スペク
トル微細構造抽出部６５で抽出されたスペクトルの微細
構造を表わす複素スペクトルと与えられたスペクトル包
絡とを掛け合わせて、新たな複素スペクトルを求める。
音声生成部７３は、複素スペクトル生成部７１で得られ
た複素スペクトルに対して逆変換を行ない、分析区間内
の音声波形を復元する。そしてそれまでの処理結果と加
え合わせられることにより、音声が生成される。Ｄ／Ａ
変換部７５は、生成された音声のデジタル信号をアナロ
グ信号に変換し、スピーカ１１を駆動する。これによ
り、図１に示した実施例と同様に、マイクロホン１に入
力された音声に比べて音質が改善されて明瞭度のはっき
りした音声が得られる。

【００６２】図５は、この発明のさらに他の実施例によ
る音質改善装置の時間周波数マスキング部の動作を示し
たフロー図であって、図２および図３に示したケプスト
ラム領域での演算を周波数領域で演算する方法を示した
フロー図であり、図６は、図５に示されたフロー図に従
う時間周波数マスキングを説明するための図である。

【００６３】図５および図６を用いて、周波数領域での
演算について詳しく説明する。まず、図５を参照して、
ステップ１１１において、現時点ｉの処理が始められ
る。ステップ１１２において、マスキングパターンがク
リアされる。ステップ１１３において、遡る時間ｎ＝１
が設定される。

【００６４】ステップ１１４において、ｎに依存したス
ペクトル平滑化フィルタと時点ｉ−ｎのスペクトルとの
間で重畳積分が行なわれる。そして、ステップ１１５に
おいてマスキングパターンに足し込みが行なわれ、ステ
ップ１１６においてｎの値が４以上であるか否かが判定
される。このｎは、前述したようにマスキング継続時間
ｎを４としたためである。ｎ≧４の場合にはステップ１
１７に進み、ｎ＜４の場合にはステップ１１３に戻る。
ステップ１１７において、現時点ｉのスペクトルからス
テップ１１５においてマスキングパターンの足し込みが
行なわれて得られたマスキングパターンを引く演算が行
なわれる。そして、ステップ１１８において、時点ｉの
マスクされたスペクトルが得られる。最後の処理である
ステップ１１９において、時点ｉの処理が終了する。

【００６５】なお、図５における時点ｉは、図１のケプ
ストラム分析部２５および図４のケプストラム分析部６
７の時点に相当する。そして、図４のケプストラム分析
部６７の時点ｉに関する繰返しは、たとえば８ｍｓ毎に
行なわれ、図４のスペクトル分析部５９から音声生成部
７３までの処理のループに組込まれて行なわれる。

【００６６】次に、図６を用いて図５に示す処理を具体
的に説明する。図６を参照して、時系列データの一例の
スペクトル系列１５１が時系列データ１５３ａ〜１５３
ｍで形成されている。各データ１５３ａ〜１５３ｍは、
１次から１２８次の低周波数から高周波数に及ぶスペク
トルの値で表わされるデータである。ここで、たとえば
現時点ｉでのデータをデータ１５３ｉとする。過去のス
ペクトルであるデータ１５３ｅ〜１５３ｈのそれぞれに
スペクトル平滑化フィルタ群の対応のフィルタ１５５
ａ，１５５ｂ，１５５ｃ，１５５ｄによる重畳積分（コ
ンボリューション）が施されて加算され、マスキングパ
ターンであるデータ１５７が得られる。現時点のスペク
トルであるデータ１５３ｉから得られたマスキングパタ
ーンであるデータ１５７が減算されることで、時間周波
数マスクされたスペクトル系列１６１の１つのデータ１
５９ｉが得られる。データ１５９ｉよりも過去のデータ
１５９ａ〜１５９ｈおよび以降のデータ１５９ｊ〜１５
９ｍも、データ１５９ｉと同様にして得られる。データ
１５９ａ〜１５９ｍは、それぞれ低周波から高周波にわ
たるデータである。そして、時間周波数マスクされたス
ペクトル系列１６１は、マスクされた時系列データの一
例であり、データ１５９ａ〜１５９ｍによって形成され
る。

【００６７】このようなケプストラム領域での演算を周
波数領域で演算する音質改善装置であっても、図１に示
した実施例および図４に示した実施例と同様に、入力さ
れた音声に比べて音質が改善されて明瞭度のはっきりし
た音声が得られる。

【００６８】以下、図１および図４に示した実施例の機
能とこれから容易に類推される方法の概要について説明
する。まず入力された音声波形をスペクトル包絡または
スペクトル包絡を表わすパラメータの時系列に変換す
る。また必要に応じてピッチまたはピッチ情報を含む線
形予測誤差などの駆動音源波形または駆動音源波形を表
わすパラメータの時系列に音声波形を変換する。また
は、駆動音源情報を、当該音声から抽出する代わりに、
予め定められた駆動音源の情報が直接入力される。

【００６９】そして、現時点の直前のみ、または直前お
よび直後の、周波数平滑化された単一または複数個の過
去のスペクトル包絡から求められるマスキングパターン
を、現時点のスペクトル包絡から減算するなどの時間周
波数マスキング（覆い隠す）を施す。また必要に応じて
マスクされたスペクトルのうちの負になる部分をゼロに
置換え、あるいは、これと等価な演算を、対数スペクト
ル包絡をフーリエ変換して求めたケプストラムなどの特
徴パラメータに対して行なう。これにより、音韻知覚に
重要なホルマントを強調し、かつ音韻の知覚に不要なマ
イクロホンや伝送系の周波数特性の影響、定常雑音ある
いは振幅変調された広帯域雑音等による影響を軽減す
る。そしてこのマスキングを施されたスペクトル包絡時
系列をそのまま出力し、または音声波形に含まれている
駆動音源情報または人工的なピッチ情報を併用して音声
波形を生成して、明瞭度の低いぼやけた入力音声波形ま
たは音声スペクトル包絡を明瞭度の高いはっきりした音
声波形または音声スペクトル包絡に変換する。

【００７０】このような音質改善方法により、時間周波
数マスキングにより時間的に一定、または時間的に変動
するが平坦なスペクトルを持つ雑音が抑制されるため、
雑音が除かれた明瞭な音声に変換されて音質が改善され
る。このように明瞭な音声が得られることで、音声を強
調するが雑音を強調しない補聴器に対して有効に応用で
きる。また、時間周波数マスキングによりホルマント遷
移などの音韻の特徴が強調されるため、一般人の音声を
アナウンサのような明瞭な音声に変換して音質を改善で
きる。これにより、さらに外国語の聞取りが容易にな
る。すなわち、外国語を聞く場合、多くの場合にはバイ
リンガルでない限り、母国語にない外国語固有の音韻特
徴の抽出能力が低いため、時間周波数マスキングにより
音韻特徴が強調されれば、外国語の聞取りが容易にな
る。

【００７１】

【発明の効果】以上のように、この発明によれば、入力
された音声から線形予測係数を算出し、その線形予測係
数から第１特徴パラメータを算出し、入力される音声信
号と第１特徴パラメータに基づいて残差波形を算出する
とともに、算出した線形予測係数をケプストラム係数に
変換し、過去の複数のケプストラム係数からなるケプス
トラム系列に平滑化リフタ重みを重畳積分することによ
ってケプストラム展開係数を算出するとともに、現在の
ケプストラム係数からケプストラム展開係数を減算して
動的ケプストラム係数を算出し、この動的ケプストラム
係数から第２特徴パラメータを算出し、残差波形と第２
特徴パラメータに基づいて音声波形を生成することによ
り、音質の改善された音声を得ることができ、たとえば
音声を強調するが雑音を強調しない補聴器に応用でき、
さらに、外国語の聞取りを容易にするなどの効果が得ら
れる。

【図面の簡単な説明】

【図１】この発明の一実施例による音質改善装置を示し
た概略ブロック図である。

【図２】図１の時間周波数マスキング部の動作を説明す
るためのフロー図である。

【図３】図１の時間周波数マスキング部の動作を説明す
るための図である。

【図４】この発明の他の実施例による音質改善装置を示
した概略ブロック図である。

【図５】図１または図４の時間周波数マスキング部での
演算を周波数領域で演算するための動作を説明するため
のフロー図である。

【図６】図１または図４の時間周波数マスキング部での
演算を周波数領域で演算するための動作を説明するため
の図である。

【符号の説明】

３，５１ 波形生成部 ５，５３ スペクトル変換部 ７，５５ 時間周波数マスキング部 １０１ ケプストラム系列 １１１ 動的ケプストラム系列 １５１ スペクトル系列 １６１ マスクされたスペクトル系列

───────────────────────────────────────────────────── フロントページの続き (72)発明者 河原 英紀 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール人 間情報通信研究所内 (56)参考文献 特開 平８−110796（ＪＰ，Ａ) 特開 平１−93796（ＪＰ，Ａ) 特開 平６−202695（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 7/02 G10L 9/02 G10L 9/14

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 線形予測手段（１５，１７）、特徴パラ
   メータ算出手段（１９，２１）、残差波形生成手段（２
   ３）、ケプストラム分析手段（２５）、時間周波数マス
   キング手段（７）、特徴パラメータ変換手段（２９，３
   １，３３，３５）、および音声生成手段（３７）からな
   る音質改善装置であって、 線形予測手段（１５，１７）は、入力される音声波形か
   ら線形予測係数を算出し、 特徴パラメータ算出手段（１９，２１）は、線形予測係
   数から第１特徴パラメータを算出し、 残差波形生成手段（２３）は、入力される音声信号と第
   １特徴パラメータに基づいて残差波形を算出し、 ケプストラム分析手段（２５）は、線形予測係数をケプ
   ストラム係数に変換し、 時間周波数マスキング手段（７）は、過去の複数のケプ
   ストラム係数からなるケプストラム系列に、所定のスペ
   クトル平滑化リフタ重みを重畳積分することによりケプ
   ストラム展開係数を算出するとともに、現在のケプスト
   ラム係数からケプストラム展開係数を減算して動的ケプ
   ストラム係数を算出し、 特徴パラメータ変換手段（２９，３１，３３，３５）
   は、動的ケプストラム係数から第２特徴パラメータを算
   出し、 音声生成手段（３７）は、残差波形と第２特徴パラメー
   タに基づいて音声波形を生成することを特徴とする、音
   質改善装置。
2. 【請求項２】 スペクトル分析手段（５９）、詳細包絡
   抽出手段（６３）、スペクトル微細構造抽出手段（６
   ５）、平滑包絡抽出手段（６５）、ケプストラム分析手
   段（６７）、時間周波数マスキング手段（５５）、マス
   クスペクトル変換手段（６９）、複素スペクトル生成手
   段（７１）および音声生成手段（７３）からなる音質改
   善装置であって、 スペクトル分析手段（５９）は、入力される音声波形を
   複素スペクトルに変換し、 詳細包絡抽出手段（６３）は、複素スペクトルから詳細
   スペクトル包絡を抽出 し、 スペクトル微細構造抽出手段（６５）は、複素スペクト
   ルを詳細スペクトル包絡で除算することにより微細構造
   複素スペクトルを算出し、 平滑包絡抽出手段（６５）は、複素スペクトルから平滑
   化スペクトル包絡を抽出し、 ケプストラム分析手段（６７）は、線形予測係数をケプ
   ストラム係数に変換し、 時間周波数マスキング手段（５５）は、過去の複数のケ
   プストラム係数からなるケプストラム系列に、所定のス
   ペクトル平滑化リフタ重みを重畳積分することによりケ
   プストラム展開係数を算出するとともに、現在のケプス
   トラム係数からケプストラム展開係数を減算して動的ケ
   プストラム係数を算出し、 マスクスペクトル変換手段（６９）は、線形予測係数を
   新スペクトル包絡に変換し、 複素スペクトル生成手段（７１）は、微細構造複素スペ
   クトルと新スペクトル包絡とを掛け合わせて新複素スペ
   クトルを算出し、 音声生成手段（７３）は、新複素スペクトルに基づいて
   音声波形を算出することを特徴とする、音質改善装置。