JPH08160992A - 音質改善装置 - Google Patents

Abstract

(57)【要約】 【目的】 時間周波数マスキングを利用して音声の音質
を改善することができるような音質改善装置を提供す
る。 【構成】 音質改善装置は、マイクロホン１に入力され
た音声を、スペクトルを表わす特徴パラメータの時系列
データに変換して生成し、その生成された時系列データ
を時間周波数マスキング部７が時間周波数マスキングを
施して音質を改善するためのマスクされたスペクトルを
表わす特徴パラメータの時系列データを求めて、一方で
マイクロホン１に入力された音声からその予測誤差を示
す時系列データを生成し、時間周波数マスキング部７で
得られたマスクされたスペクトルを表わす特徴パラメー
タの時系列データと残差波形生成部２３で予測誤差とし
て得られた予測誤差を示す時系列データとを用いて、マ
イクロホン１に入力された音声よりも音質が改善された
音声波形を生成してスピーカ１１を駆動する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、音質改善装置に関
し、特に、不明瞭な音声を明瞭度の高い音声に変換して
生成することができるような音質改善装置に関する。

【０００２】

【従来の技術】従来、不明瞭な音声を明瞭にする方法と
しては、ホルマント周波数を求めてホルマント周波数の
時間的な動きを強調する方式［桑原尚夫，都木徹：“分
析合成による声質変換と嗄声改善への応用”，信学技
報，SP86-57, pp.45-52(1986-12)］、直前の音量により
音声信号レベルを調節する方式［吉住嘉之、目片強司、
山田義則、鈴木良二、経時マスキングを補償する音声強
調方式の検討、日本音響学会講演論文集、Vol.Ｉ, pp.3
63-364, 1991-10 ］、狭い周波数領域の音声のエネルギ
の平均から広い周波数領域の音声のエネルギの平均を除
く形式の側抑制を用いてホルマントを強調するもの［目
片強司、山田義則、鈴木良二、田中豊、補聴器への応用
を考慮したホルマント強調方式の検討、日本音響学会講
演論文集、Vol.Ｉ, pp.285-286, 1993-03 ］、などが挙
げられる。

【０００３】

【発明が解決しようとする課題】ところで、時間周波数
マスキングの原理を用いた音声認識のための特徴パラメ
ータが提案された［相川、河原、東倉、“順向マスキン
グの時間周波数特性を模擬した動的ケプストラムを用い
た音韻認識”、電子情報通信学会論文誌、Vol. J76-A,
No.11, pp.1514-1521, 1991-11］。

【０００４】しかし、このようなスペクトルからマスキ
ングパターンを求める演算が周波数と時間の関数になっ
ている時間周波数マスキングの原理が用いられること
で、ホルマント（音声スペクトルのうちエネルギが高い
周波数領域）の動き、強度などの音韻情報を強調しつ
つ、音韻明瞭性に不要なスペクトルの傾きやマイクロホ
ン周波数特性などが同時に抑圧されて、不明瞭な音質を
明瞭にするような音質改善装置については未だ提案され
ていない。

【０００５】ゆえに、本発明の目的は、上記のように未
だ提案されたことのない、時間周波数マスキングの原理
を用いて不明瞭な音声を明瞭な音声にして音質を改善す
ることのできるような音質改善装置を提供することであ
る。

【０００６】

【課題を解決するための手段】請求項１の発明に係る音
質改善装置は、音声の明瞭度を高くして音質を改善する
音質改善装置であって、入力された音声波形を所定の時
系列データに変換生成しつつ、各時点のデータにマスキ
ングを施してマスクされた時系列データを生成する生成
手段と、生成手段は、各時点のデータに時間および周波
数の両者で規定されるマスキングを行なうマスキング手
段を含み、生成手段で生成されるマスクされた時系列デ
ータを入力された音声波形よりも明瞭度の高い音声波形
に変換する変換手段とを備えて構成される。

【０００７】請求項２では、請求項１の所定の時系列デ
ータは、スペクトル包絡の時系列データを含み、マスク
された時系列データは、マスクされたスペクトル包絡の
時系列データを含む。

【０００８】請求項３では、請求項１の所定の時系列デ
ータは、スペクトル包絡を表わす特徴パラメータの時系
列データを含み、マスクされた時系列データは、マスク
されたスペクトル包絡を表わす特徴パラメータの時系列
データを含む。

【０００９】請求項４では、請求項１または２の変換手
段は、入力された音声波形から音源情報を抽出して音源
波形の時系列データを生成し、その音源波形の時系列デ
ータを用いてマスクされた時系列データを明瞭度の高い
音声波形に変換する。

【００１０】請求項５では、請求項１または３の変換手
段は、入力された音声波形から音源情報を抽出して音源
波形を表わす特徴パラメータの時系列データを生成し、
その音源波形を表わす特徴パラメータの時系列データを
用いてマスクされた時系列データを明瞭度の高い音声波
形に変換する。

【００１１】請求項６では、請求項１の変換手段は、予
め定められた音源の音源波形を表わす時系列データを用
いてマスクされた時系列データを明瞭度の高い音声波形
に変換する。

【００１２】

【作用】請求項１の発明に係る音質改善装置は、入力さ
れた音声波形を所定の時系列データに変換生成しつつ、
各時点のデータに時間および周波数の両方で規定される
マスキングを行なってマスクされた時系列データを生成
し、マスクされた時系列データを入力された音声波形よ
りも明瞭度の高い音声波形に変換して、音声の音質を改
善することができる。

【００１３】請求項２の発明に係る音質改善装置も、所
定の時系列データとしてスペクトル包絡の時系列データ
を用い、マスクされた時系列としてマスクされたスペク
トル包絡の時系列データを用いて、請求項１の作用と同
様に、音声の音質を改善することができる。

【００１４】請求項３の発明に係る音質改善装置も、所
定の時系列データとしてスペクトル包絡を表わす特徴パ
ラメータの時系列データを用い、マスクされた時系列デ
ータとしてマスクされたスペクトル包絡を表わす特徴パ
ラメータの時系列データを用いて、請求項１の作用と同
様に、音声の音質を改善することができる。

【００１５】請求項４の発明に係る音質改善装置も、入
力された音声波形から音源情報を抽出して音源波形の時
系列データを生成し、その音源波形の時系列データを用
いてマスクされた時系列データを明瞭度の高い音声波形
に変換して、請求項１または２の作用と同様に、音声の
音質を改善することができる。

【００１６】請求項５の発明に係る音質改善装置も、入
力された音声波形から音源情報を抽出して音源波形を表
わす特徴パラメータの時系列データを生成し、その音源
波形を表わす特徴パラメータの時系列データを用いてマ
スクされた時系列データを明瞭度の高い音声波形に変換
して、請求項１または３の作用と同様に、音声の音質を
改善することができる。

【００１７】請求項６の発明に係る音質改善装置も、予
め定められた音源の音源波形を表わす時系列データを用
いてマスクされた時系列データを明瞭度の高い音声波形
に変換して、請求項１の作用と同様に、音声の音質を改
善することができる。

【００１８】

【実施例】まず、この発明の原理について説明する。

【００１９】時間周波数マスキングを受けた音声スペク
トルは、時間を遡るほど周波数平滑化された過去のスペ
クトルを累積して得られるマスキングパターンを現時点
のスペクトルから減算することにより得られる。対数ス
ペクトルの逆フーリエ変換で定義されるケプストラムを
特徴パラメータとする場合にはケプストラム次数による
異なる重みの系列が過去のケプストラム係数に乗算して
累積されることにより、現在の音声スペクトルをマスク
するマスキングパターンに対応するケプストラム係数が
求められ、これを現時点のケプストラム係数から減算す
ることにより求められる。このマスクされたスペクトル
を表わすケプストラムが動的ケプストラムと呼ばれる。

【００２０】時間周波数マスキングの原理が用いられる
ことで、マスキングパターンは時間的周波数的に平滑化
された直前のスペクトルを表わすこととなる。時間周波
数平滑化によりスペクトルに含まれる時間的に変動する
成分や、周波数軸上の細かい成分は抑制される。このた
め、このマスキングパターンには時間的に一定なマイク
ロホンや伝送系の周波数特性が残ってくる。したがっ
て、このマスキングパターンを現時点のスペクトルから
減算することにより、音韻情報に担うホルマントそのも
の、およびその時間変化が強調され、かつ、マイクロホ
ンや伝送系の周波数特性などの時間的に一定の成分が軽
減される。

【００２１】すなわち、音声がスペクトルに変換され、
時間周波数マスキングが施され、再び音声に変換される
ことで音韻情報が強調され、マイクロホンなどの音韻明
瞭性に不要な情報が除去された音声が生成される。

【００２２】次に、図面を用いて実施例を具体的に説明
する。図１は、この発明の一実施例による音質改善装置
を示した概略ブロック図である。

【００２３】図１を参照して、この実施例の音質改善装
置は、マイクロホン１と、波形生成部３と、スペクトル
変換部５と、スピーカ１１とを含む。

【００２４】波形生成部３は、Ａ／Ｄ変換部１３と、自
己相関分析部１５と、線形予測分析部１７と、パーコー
ル変換部１９と、予測フィルタ系列生成部２１と、残差
波形生成部２３と、音声生成部３７と、Ｄ／Ａ変換部３
９とを含む。

【００２５】スペクトル変換部５は、Ａ／Ｄ変換部１３
と、自己相関分析部１５と、線形予測分析部１７と、ケ
プストラム分析部２５と、時間周波数マスキング部７
と、マスクトスペクトル変換部２７と、自己相関分析部
２９と、線形予測分析部３１と、パーコール変換部３３
と、逆フィルタ系列生成部３５と、音声生成部３７と、
Ｄ／Ａ変換部３９とを含む。

【００２６】スペクトル変換部５は、人間の口の形状を
規定する役割を果たすものであり、波形生成部３は、人
間の声帯の役割を果たすものである。

【００２７】次に、動作について説明する。マイクロホ
ン１に入った音声波形は、Ａ／Ｄ変換部１３でたとえば
サンプリング周波数１１．０２５ｋＨｚのデジタル信号
に変換される。変換されたデジタル信号は自己相関分析
部１５および残差波形生成部２３に与えられる。自己相
関分析部１５は、デジタル信号を一定の時間間隔として
たとえば５ｍｓでたとえば２２次の自己相関関数に変換
する。自己相関分析部１５で自己相関関数に変換された
デジタル信号に対して、線形予測分析部１７でたとえば
２０次の線形予測分析が行なわれて、線形予測係数が求
められる。求められた線形予測係数はケプストラム分析
部２５およびパーコール変換部１９に与えられる。

【００２８】パーコール変換部１９は、与えられた線形
予測係数をパーコール（偏自己相関）係数（または反射
係数）に変換して時間的補間を行ない、予測フィルタ系
列生成部２１に与える。予測フィルタ系列生成部２１で
は、時間的に補間された線形予測係数時系列が再び求め
られる。そして、その線形予測係数時系列が残差波形生
成部２３に与えられ、残差波形生成部２３は、Ａ／Ｄ変
換部１３から与えられた元の音声波形を示すデジタル信
号と予測フィルタ系列生成部２１から与えられた線形予
測係数時系列に基づいて、予測誤差である残差波形を求
める。残差波形生成部２３は、その残差波形を音声生成
部３７に与える。

【００２９】一方で、ケプストラム分析部２５は、与え
られた線形予測係数に対してケプストラム領域で時間周
波数マスキングの演算を行なう。マスクされたケプスト
ラム係数（動的ケプストラム）を第（１）式および第
（２）式に基づいて求める。

【００３０】

【数１】

【００３１】ここで、ｄ_k （ｉ）は時点ｉのｋ次の動的
ケプストラム、ｃ_k （ｉ）は、ケプストラム、ｌ
_k （ｎ）は、スペクトル平滑化リフタ利得、Ｎはマスキ
ング継続時間、αは初期マスキング減衰率、βはマスキ
ング減衰率、ｑ０はガウス型リフタ利得形状の初期標準
偏差、νは標準偏差減少速度である。

【００３２】この図１に示す実施例では、Ｎ＝４、α＝
０．２、β＝０．７、ｑ０＝１８、ν＝１が用いられ
る。ただし、ｎの時間間隔は２フレーム分の１０ｍｓと
する。動的ケプストラムはマスキングパターンを減算す
るので、その値が元のケプストラムに比べて小さくな
る。これを防ぐために適当な倍率Ｇ_k がかけられる。た
とえば、第（３）式に示すようなＧ_k などが適当であ
る。

【００３３】以上のような自己相関分析部１５、線形予
測分析部１７、パーコール変換部１９、予測フィルタ系
列生成部２１およびケプストラム分析部２５は、自己相
関分析部１５における時間間隔（上記の例では５ｍｓ）
で動作し、残差波形生成部２３で得られる残差波形はＡ
／Ｄ変換部１３においてサンプルされた音声信号の１サ
ンプル時点に対し１つずつ求められる。

【００３４】図２は、図１に示す音質改善装置の時間周
波数マスキング部の動作を示したフロー図であり、図３
は、図１の時間周波数マスキング部の動作を説明するた
めの図である。

【００３５】図２および図３を用いて、時間周波数マス
キング部についてより詳しく説明する。

【００３６】まず、図２を参照して、ステップ（図面で
はＳで表わす）１において、現時点ｉの処理が始められ
る。ステップ２において、ケスプストラム次数がｋ＝１
と設定される。ステップ３において、過去の時点がｎ＝
１と設定される。ステップ４において、ｋ次マスキング
パターンがクリアされる。

【００３７】ステップ５において、ｎ，ｋに依存したリ
フタ重みと時点ｉ−ｎのｋ次のケプストラムとの乗算が
行なわれる。ステップ６において、マスキングパターン
に足し込みが行なわれ、ステップ７においてｎの値が４
以上であるか否かが判定される。このｎは、前述したよ
うにマスキング継続時間Ｎを４としたためである。ｎ≧
４の場合にはステップ８に進み、ｎ＜４の場合にはステ
ップ５に戻る。ステップ８において、現時点ｉのｋ次の
ケプストラム係数からステップ６においてマスキングパ
ターンの足し込みが行なわれて得られたマスキングパタ
ーンのケプストラム展開係数を引く演算が行なわれる。
これは、ケプストラム次数を１６としたためである。そ
して、ステップ９において時点ｉのｋ次動的ケプストラ
ムが得られる。

【００３８】ステップ１０においてｋが１６以上である
か否かの判定が行なわれる。ｋ≧１６の場合にはステッ
プ１１に進み、ｋ＜１６の場合にはステップ３に戻る。
ステップ１１においてｉ時点の処理が終了する。

【００３９】なお、図２に示す時点ｉは、図１のケプス
トラム分析部２５の時点を指す。時点ｉに関する繰返し
は、たとえば５ｍｓ毎に繰返され、図１の自己相関分析
部１５から音声生成部３７のループに組込まれて行なわ
れる。

【００４０】次に、図３を用いて図２に示す処理を具体
的に説明する。たとえば、時系列データの一例のケプス
トラム系列１０１が時系列データ１０３ａ〜１０３ｍで
形成されている。各データ１０３ａ〜１０３ｍは１次か
ら１６次までの低次から高次に及ぶケプストラム係数で
表わされたデータである。ここで、現時点ｉのデータと
してデータ１０３ｉが設定されていたとする。このデー
タ１０３ｉに対してケプストラム領域で時間周波数マス
キングの演算が行なわれる。

【００４１】ここで、時間周波数マスキングの演算が行
なわれるためには、スペクトル平滑化リフタ重みが必要
とされる。ケプストラム系列１０１のデータ１０３ｅに
対応したスペクトル平滑化リフタ重み１０５ａがあり、
データ１０３ｆに対応したスペクトル平滑化リフタ重み
１０５ｂがあり、データ１０３ｇに対応したスペクトル
平滑化リフタ重み１０５ｃがあり、データ１０３ｈに対
応したスペクトル平滑化リフタ重み１０５ｄがあるとす
る。各スペクトル平滑化リフタ重み１０５ａ〜１０５ｄ
は、１次から１６次までの低次から高次に及ぶスペクト
ル平滑化リフタ重みである。このようなスペクトル平滑
化リフタ重み１０５ａ〜１０５ｄが用いられて、時間周
波数マスキングの演算が行なわれる。

【００４２】すなわち、まず、過去のケプストラムであ
るデータ１０３ｅにスペクトル平滑化リフタ重み１０５
ａがかけられ、同様に過去のケプストラムであるデータ
１０３ｆ〜１０３ｈに対応のスペクトル平滑化リフタ重
み１０５ｂ〜１０５ｄがかけられて、加算が行なわれ
る。加算されることで、マスキングパターンのケプスト
ラム展開係数を表わすデータ１０７が得られる。そし
て、データ１０３ｉからケプストラム展開係数を表わす
データ１０７が減算されることで、動的ケプストラムの
系列１１１の１つのデータ１０９ｉが得られる。動的ケ
プストラム系列１１１のデータ１０９ａ〜１０９ｈおよ
び１０９ｉ〜１０９ｍも同様にして得られる。そして、
データ１０９ａ〜１０９ｍで形成され、かつマスクされ
た時系列データの一例である時間周波数マスクされたス
ペクトルのケプストラム展開係数である動的ケプストラ
ム系列１１１が、時間周波数マスキング部７によって得
られる。

【００４３】次に、図１に戻って、このようにして得ら
れた動的ケプストラムは、マスクトスペクトル変換部２
７に与えられる。マスクトスペクトル変換部２７は、与
えられた動的ケプストラムをマスクされたスペクトルに
変換する。自己相関分析部２９は、マスクトスペクトル
変換部２７でマスクされたスペクトルから逆フーリエ変
換により自己相関関数を求める。線形予測分析部３１
は、自己相関分析部２９で求められた自己相関に従って
線形予測分析を行なう。パーコール変換部３３は、線形
予測分析部で得られた線形予測係数からパーコールパラ
メータを求め、これを時間的に補間する。逆フィルタ系
列生成部３５は、補間された線形予測係数、すなわち予
測誤差から音声を求める逆フィルタの系列を生成する。

【００４４】音声生成部３７は、逆フィルタ系列生成部
３５で生成された逆フィルタの系列に対して残差波形生
成部２３で得られた残差波形を与えることにより、音声
を生成する。Ｄ／Ａ変換部３９は、音声生成部３７で得
られた音声波形を示すデジタル信号をアナログ信号に変
換する。そして、アナログ信号によりスピーカ１１を駆
動して、マイクロホン１１に与えた音声よりも明瞭度の
高い音声が得られて、音質の改善が行なわれる。

【００４５】なお、自己相関分析部１５から逆フィルタ
系列生成部３５までの処理動作は、自己相関分析部１５
の説明で示したような一定の時間ごとに行なわれる。

【００４６】図１に示す実施例では、音声をスペクトル
包絡に変換する方法として線形予測分析によるものにつ
いて説明し、また音声を合成する基本技術としてＰＡＲ
ＣＯＲ（パーコール、偏自己相関係数）方式［板倉文
忠、新しい音声分析合成方式“ＰＡＲＣＯＲ”、日経エ
レクトロニクス、2.12，pp.58-75,1973 ］を用いたもの
を示した。次に、他の実施例について説明する。図４
は、この発明の他の実施例による音質改善装置を示した
概略ブロック図である 。

【００４７】図４を参照して、この実施例の音質改善装
置は、マイクロホン１と、波形生成部５１と、スペクト
ル変換部５３と、スピーカ１１とを含む。

【００４８】波形生成部５１は、Ａ／Ｄ変換部１３と、
スペクトル分析部５９と、詳細包絡抽出部６３と、スペ
クトル微細構造抽出部６５と、複素スペクトル生成部７
１と、音声生成部７３と、Ｄ／Ａ変換部７５とを含む。

【００４９】スペクトル変換部５３は、Ａ／Ｄ変換部１
３と、スペクトル分析部５９と、平滑化包絡抽出部６１
と、ケプストラム分析部６７と、時間周波数マスキング
部５５と、マスクトスペクトル変換部６９と、複素スペ
クトル生成部７１と、音声生成部７３と、Ｄ／Ａ変換部
７５とを含む。

【００５０】スペクトル変換部５３は、人間における口
の形状を規定する役割を果たすものであり、波形生成部
５１は、人間の声帯の役割を果たすものである。

【００５１】次に、動作について説明する。マイクロホ
ン１に入った音声は、Ａ／Ｄ変換部１３でたとえばサン
プリング周波数１６ｋＨｚでデジタル信号に変換され
る。変換されたデジタル信号は、スペクトル分析部５９
でたとえば８ｍｓのような一定の時間間隔で、たとえば
３０ｍｓの窓長のＨａｎｎｉｎｇ時間窓を用いて音声波
形を短時間フーリエ変換により複素スペクトルに変換さ
れる。たとえば４ｍｓを時定数とするラグ窓によりスペ
クトル平滑化が行なわれてスペクトル包絡が抽出され
る。

【００５２】また一方で、詳細包絡抽出部６３で、たと
えば１０ｍｓを時定数とするラグ窓によりスペクトルの
細かな平滑化が行なわれて詳細なスペクトル包絡が抽出
される。スペクトル分析部５９で求められた複素スペク
トルが詳細包絡抽出部６３で求められた詳細なスペクト
ル包絡によって除算されることにより、スペクトル微細
構造抽出部６５においてはスペクトルの微細構造を表わ
す複素スペクトルが求められる。

【００５３】ケプストラム分析部６７は、平滑化包絡抽
出部６１で求められた平滑化スペクトル包絡から、たと
えば２５６次のケプストラム係数を求める。

【００５４】時間周波数マスキング部５５は、ケプスト
ラム領域で時間周波数マスキングの演算を行なう。マス
クされたケプストラム係数（動的ケプストラム）は、図
１に示した実施例と同様に、第（４）式および第（５）
式が用いられることで求められる。

【００５５】

【数２】

【００５６】ここで、ｄ_k （ｉ）は、時点ｉのｋ次の動
的ケプストラム、ｃ_k （ｉ）はケプストラム、ｌ
_k （ｎ）はスペクトル平滑化リフタ利得、Ｎはマスキン
グ継続時間、αは初期マスキング減衰率、βはマスキン
グ減衰率、ｑ０はガウス型リフタ利得形状の初期標準偏
差、νは標準偏差減少速度である。

【００５７】この実施例では、Ｎ＝４、α＝０．２、β
＝０．７、ｑ０＝３６、ν＝２が用いられる。

【００５８】動的ケプストラムはマスキングパターンを
減算するので、その値が元のケプストラムに比べて小さ
くなる。これを防ぐために適当な倍率Ｇ_k がかけられ
る。そのＧ_k としては、たとえば第（６）式で決定され
る倍率が適当である。

【００５９】スペクトル分析部５９、平滑化包絡抽出部
６１、詳細包絡抽出部６３、スペクトル微細構造抽出部
６５およびケプストラム分析部６７は、前述したように
一定の時間間隔（この例では８ｍｓ）毎に動作を行な
う。

【００６０】そして、時間周波数マスキング部５５は、
図１の時間周波数マスキング部７と同様の動作を行な
う。すなわち、図２および図３に示した処理に従って、
時間周波数マスキング部５５は動作を行なう。

【００６１】次に、時間周波数マスキング部５５で得ら
れた動的ケプストラムであるスペクトル系列が、マスク
トスペクトル変換部６９によってスペクトル包絡に変換
される。そして、複素スペクトル生成部７１は、スペク
トル微細構造抽出部６５で抽出されたスペクトルの微細
構造を表わす複素スペクトルと与えられたスペクトル包
絡とを掛け合わせて、新たな複素スペクトルを求める。
音声生成部７３は、複素スペクトル生成部７１で得られ
た複素スペクトルに対して逆変換を行ない、分析区間内
の音声波形を復元する。そしてそれまでの処理結果と加
え合わせられることにより、音声が生成される。Ｄ／Ａ
変換部７５は、生成された音声のデジタル信号をアナロ
グ信号に変換し、スピーカ１１を駆動する。これによ
り、図１に示した実施例と同様に、マイクロホン１に入
力された音声に比べて音質が改善されて明瞭度のはっき
りした音声が得られる。

【００６２】図５は、この発明のさらに他の実施例によ
る音質改善装置の時間周波数マスキング部の動作を示し
たフロー図であって、図２および図３に示したケプスト
ラム領域での演算を周波数領域で演算する方法を示した
フロー図であり、図６は、図５に示されたフロー図に従
う時間周波数マスキングを説明するための図である。

【００６３】図５および図６を用いて、周波数領域での
演算について詳しく説明する。まず、図５を参照して、
ステップ１１１において、現時点ｉの処理が始められ
る。ステップ１１２において、マスキングパターンがク
リアされる。ステップ１１３において、遡る時間ｎ＝１
が設定される。

【００６４】ステップ１１４において、ｎに依存したス
ペクトル平滑化フィルタと時点ｉ−ｎのスペクトルとの
間で重畳積分が行なわれる。そして、ステップ１１５に
おいてマスキングパターンに足し込みが行なわれ、ステ
ップ１１６においてｎの値が４以上であるか否かが判定
される。このｎは、前述したようにマスキング継続時間
ｎを４としたためである。ｎ≧４の場合にはステップ１
１７に進み、ｎ＜４の場合にはステップ１１３に戻る。
ステップ１１７において、現時点ｉのスペクトルからス
テップ１１５においてマスキングパターンの足し込みが
行なわれて得られたマスキングパターンを引く演算が行
なわれる。そして、ステップ１１８において、時点ｉの
マスクされたスペクトルが得られる。最後の処理である
ステップ１１９において、時点ｉの処理が終了する。

【００６５】なお、図５における時点ｉは、図１のケプ
ストラム分析部２５および図４のケプストラム分析部６
７の時点に相当する。そして、図４のケプストラム分析
部６７の時点ｉに関する繰返しは、たとえば８ｍｓ毎に
行なわれ、図４のスペクトル分析部５９から音声生成部
７３までの処理のループに組込まれて行なわれる。

【００６６】次に、図６を用いて図５に示す処理を具体
的に説明する。図６を参照して、時系列データの一例の
スペクトル系列１５１が時系列データ１５３ａ〜１５３
ｍで形成されている。各データ１５３ａ〜１５３ｍは、
１次から１２８次の低周波数から高周波数に及ぶスペク
トルの値で表わされるデータである。ここで、たとえば
現時点ｉでのデータをデータ１５３ｉとする。過去のス
ペクトルであるデータ１５３ｅ〜１５３ｈのそれぞれに
スペクトル平滑化フィルタ群の対応のフィルタ１５５
ａ，１５５ｂ，１５５ｃ，１５５ｄによる重畳積分（コ
ンボリューション）が施されて加算され、マスキングパ
ターンであるデータ１５７が得られる。現時点のスペク
トルであるデータ１５３ｉから得られたマスキングパタ
ーンであるデータ１５７が減算されることで、時間周波
数マスクされたスペクトル系列１６１の１つのデータ１
５９ｉが得られる。データ１５９ｉよりも過去のデータ
１５９ａ〜１５９ｈおよび以降のデータ１５９ｊ〜１５
９ｍも、データ１５９ｉと同様にして得られる。データ
１５９ａ〜１５９ｍは、それぞれ低周波から高周波にわ
たるデータである。そして、時間周波数マスクされたス
ペクトル系列１６１は、マスクされた時系列データの一
例であり、データ１５９ａ〜１５９ｍによって形成され
る。

【００６７】このようなケプストラム領域での演算を周
波数領域で演算する音質改善装置であっても、図１に示
した実施例および図４に示した実施例と同様に、入力さ
れた音声に比べて音質が改善されて明瞭度のはっきりし
た音声が得られる。

【００６８】以下、図１および図４に示した実施例の機
能とこれから容易に類推される方法の概要について説明
する。まず入力された音声波形をスペクトル包絡または
スペクトル包絡を表わすパラメータの時系列に変換す
る。また必要に応じてピッチまたはピッチ情報を含む線
形予測誤差などの駆動音源波形または駆動音源波形を表
わすパラメータの時系列に音声波形を変換する。また
は、駆動音源情報を、当該音声から抽出する代わりに、
予め定められた駆動音源の情報が直接入力される。

【００６９】そして、現時点の直前のみ、または直前お
よび直後の、周波数平滑化された単一または複数個の過
去のスペクトル包絡から求められるマスキングパターン
を、現時点のスペクトル包絡から減算するなどの時間周
波数マスキング（覆い隠す）を施す。また必要に応じて
マスクされたスペクトルのうちの負になる部分をゼロに
置換え、あるいは、これと等価な演算を、対数スペクト
ル包絡をフーリエ変換して求めたケプストラムなどの特
徴パラメータに対して行なう。これにより、音韻知覚に
重要なホルマントを強調し、かつ音韻の知覚に不要なマ
イクロホンや伝送系の周波数特性の影響、定常雑音ある
いは振幅変調された広帯域雑音等による影響を軽減す
る。そしてこのマスキングを施されたスペクトル包絡時
系列をそのまま出力し、または音声波形に含まれている
駆動音源情報または人工的なピッチ情報を併用して音声
波形を生成して、明瞭度の低いぼやけた入力音声波形ま
たは音声スペクトル包絡を明瞭度の高いはっきりした音
声波形または音声スペクトル包絡に変換する。

【００７０】このような音質改善方法により、時間周波
数マスキングにより時間的に一定、または時間的に変動
するが平坦なスペクトルを持つ雑音が抑制されるため、
雑音が除かれた明瞭な音声に変換されて音質が改善され
る。このように明瞭な音声が得られることで、音声を強
調するが雑音を強調しない補聴器に対して有効に応用で
きる。また、時間周波数マスキングによりホルマント遷
移などの音韻の特徴が強調されるため、一般人の音声を
アナウンサのような明瞭な音声に変換して音質を改善で
きる。これにより、さらに外国語の聞取りが容易にな
る。すなわち、外国語を聞く場合、多くの場合にはバイ
リンガルでない限り、母国語にない外国語固有の音韻特
徴の抽出能力が低いため、時間周波数マスキングにより
音韻特徴が強調されれば、外国語の聞取りが容易にな
る。

【００７１】

【発明の効果】以上のようにこの発明によれば、入力さ
れた音声波形を所定の時系列データに変換して生成しつ
つ、各時点のデータに時間および周波数でマスキングし
てマスキングされた時系列データを生成し、マスクされ
た時系列データを、入力された音声波形よりも明瞭度の
高い音声波形に変換して生成するので、音質の改善され
た音声を得ることができ、たとえば音声を強調するが雑
音を強調しない補聴器に応用でき、さらに、外国語の聞
取りを容易にするなどの効果が得られる。

【図面の簡単な説明】

【図１】この発明の一実施例による音質改善装置を示し
た概略ブロック図である。

【図２】図１の時間周波数マスキング部の動作を説明す
るためのフロー図である。

【図３】図１の時間周波数マスキング部の動作を説明す
るための図である。

【図４】この発明の他の実施例による音質改善装置を示
した概略ブロック図である。

【図５】図１または図４の時間周波数マスキング部での
演算を周波数領域で演算するための動作を説明するため
のフロー図である。

【図６】図１または図４の時間周波数マスキング部での
演算を周波数領域で演算するための動作を説明するため
の図である。

【符号の説明】

３，５１ 波形生成部 ５，５３ スペクトル変換部 ７，５５ 時間周波数マスキング部 １０１ ケプストラム系列 １１１ 動的ケプストラム系列 １５１ スペクトル系列 １６１ マスクされたスペクトル系列

───────────────────────────────────────────────────── フロントページの続き (72)発明者 東倉 洋一 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内 (72)発明者 河原 英紀 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール人間情 報通信研究所内

Claims (6)

【特許請求の範囲】
1. 【請求項１】 音声の明瞭度を高くして音質を改善する
   音質改善装置であって、 入力された音声波形を所定の時系列データに変換生成し
   つつ、各時点のデータにマスキングを施してマスクされ
   た時系列データを生成する生成手段と、 前記生成手段は、前記各時点のデータに時間および周波
   数の両者で規定されるマスキングを行なうマスキング手
   段を含み、 前記生成手段で生成される前記マスクされた時系列デー
   タを前記入力された音声波形よりも明瞭度の高い音声波
   形に変換する変換手段とを備えた、音質改善装置。
2. 【請求項２】 前記所定の時系列データは、スペクトル
   包絡の時系列データを含み、 前記マスクされた時系列データは、マスクされたスペク
   トル包絡の時系列データを含む、請求項１記載の音質改
   善装置。
3. 【請求項３】 前記所定の時系列データは、スペクトル
   包絡を表わす特徴パラメータの時系列データを含み、 前記マスクされた時系列データは、マスクされたスペク
   トル包絡を表わす特徴パラメータの時系列データを含
   む、請求項１記載の音質改善装置。
4. 【請求項４】 前記変換手段は、前記入力された音声波
   形から音源情報を抽出して音源波形の時系列データを生
   成し、その音源波形の時系列データを用いて前記マスク
   された時系列データを前記明瞭度の高い音声波形に変換
   する、請求項１または２記載の音質改善装置。
5. 【請求項５】 前記変換手段は、前記入力された音声波
   形から音源情報を抽出して音源波形を表わす特徴パラメ
   ータの時系列データを生成し、その音源波形を表わす特
   徴パラメータの時系列データを用いて前記マスクされた
   時系列データを前記明瞭度の高い音声波形に変換する、
   請求項１または３記載の音質改善装置。
6. 【請求項６】 前記変換手段は、予め定められた音源の
   音源波形を表わす時系列データを用いて前記マスクされ
   た時系列データを前記明瞭度の高い音声波形に変換す
   る、請求項１記載の音質改善装置。