JPH08211887A - 発声変形音声認識装置及び音声認識方法 - Google Patents

Abstract

(57)【要約】 【課題】 発声変形モデルの学習に用いる音声データが
少量の場合でも高い認識性能をもつ発声変形音声認識装
置を得る。 【解決手段】 発声変形モデル学習手段により、発声変
形が生じた音声に生じる音韻スペクトルの変形を表現す
る発声変形モデルを学習し、発声変形のない音声データ
で学習した音声標準モデルを記憶する発声変形なし音声
標準モデルメモリに格納されているすべての音声標準モ
デルに対し、前記発声変形モデルを用いてスペクトルの
変形処理を施し変形音声標準モデルとして出力する平滑
型スペクトル変形手段を備え、この変形音声標準モデル
と、発声変形なし音声標準モデルとを用いて、入力音声
信号に対し音響分析を行って得た発声変形音声特徴ベク
トル時系列に対し認識処理を行う構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば環境騒音の
もとでおこるような発声変形が生じた音声を対象とする
音声認識装置に関するものである。

【０００２】

【従来の技術】騒音下音声認識を実現する上で、環境騒
音による発声変形（ロンバード効果）は、雑音重畳によ
る音声信号の品質劣化と並ぶ重要な問題となっている。
ロンバード効果による音韻スペクトルの変形に対して、
音韻や話者に依存しない補正手法がこれまでに提案され
ている。

【０００３】特開平４−２９６７９９号公報に示された
「音声認識装置」や特開平５−６１９６号公報に示され
た「音声認識装置」では、ロンバード効果により３００
Ｈｚ〜１５００Ｈｚ内のホルマントが大きく変動するこ
とについて、入力音声に対するホルマント周波数分析
と、環境騒音レベルもしくは入力音声のレベルによって
規定される周波数変動量により、ケプストラムパラメー
タ上で補正する手法が提案されている。特開平４−２５
７８９８号公報に示された「ロンバード音声認識方法」
においても前述の帯域におけるホルマント周波数の変動
に着目して、標準パタンのスペクトルと入力パタンのス
ペクトルのマッチングの際に、１．５ｋＨｚ以下のズレ
をＤＰマッチングで補正する方法を提案している。しか
しながらこれらの手法は、ロンバード効果によるスペク
トル変形の個人性や音韻依存性を考慮しておらず、また
前記帯域以外の変動については、具体的補正手法を示す
に至っていない。そのため、語彙数の多い認識では十分
な認識率が得られないという欠点があった。

【０００４】また、ロンバード効果による発話時間の伸
長は、音素や音素片、音節など様々な音声単位における
継続時間の情報を認識評価尺度として利用する継続時間
制御付き認識手法において、その性能劣化の原因とな
る。

【０００５】これに対し、スペクトル変形の様態を表現
する発声変形モデルを定義し、このモデルのパラメータ
を大量の発声変形音声データを用いて音韻毎に学習、認
識に用いる手法が、文献“高騒音下音声認識における発
声変形対処法の検討”（鈴木、中島、日本音響学会平成
５年度秋季研究発表会講演論文集 平成５年１０月５日
発行 ｐｐ．１４７−１４８）において提案されてい
る。

【０００６】また、文献“高騒音下における発声変形音
声の認識”（鈴木、中島、阿部、日本音響学会平成６年
度春季研究発表会講演論文集 平成６年３月２３日発行
ｐｐ．１３−１４）において、ロンバード効果による
音素片継続時間の平均と標準偏差の変動量について、予
め複数話者の平均値を求めておき、これを用いて補正を
加える手法が提案されている。

【０００７】図１８は、これらの手法に基づく発声変形
音声認識装置の構成図の一例である。図において、２は
入力端１より入力された発声変形音声信号に対し音響分
析を行い、発声変形音声特徴ベクトル時系列３を出力す
る音響分析手段、４は発声変形モデル学習時と発声変形
音声認識時とで前記発声変形音声特徴ベクトル時系列３
の出力先を変更するスイッチ、５は発声変形なし音声標
準モデルメモリ６に格納されている音声標準モデル７と
前記発声変形音声特徴ベクトル時系列３を用いて発声変
形モデルの学習を行う発声変形モデル学習手段、９は前
記発声変形モデル学習手段５の出力であるところの発声
変形モデル８を記憶する発声変形モデルメモリである。

【０００８】１０は音素や音素片などの音声を構成する
要素の継続時間における平均と標準偏差の発声変形によ
る平均変動量を記憶する継続時間変動量メモリ、１１は
前記継続時間変動量メモリ１０に格納されている継続時
間変動量データを用いて、前記発声変形なし音声標準モ
デルメモリ６上の音声標準モデル７における継続時間パ
ラメータを変更する継続時間パラメータ変更手段、１２
は前記発声変形モデルメモリ９上の発声変形モデルと前
記継続時間パラメータ変更手段により継続時間パラメー
タを変更された変形なし音声標準パタンとを用いて、前
記発声変形音声特徴ベクトル時系列に対する音声認識処
理を実行する発声変形音声認識手段である。１３は発声
変形音声認識手段からの音声認識処理の認識結果であ
る。

【０００９】また、図１９は、発声変形モデル学習手段
５の構成図の一例である。１４は初期状態においては前
記発声変形なし音声標準モデルメモリ６上の音声標準モ
デル７を読み込み保持する音声標準モデルバッファ、１
５は前記音声標準モデルバッファ１４上の音声標準モデ
ルを用いて、入力される発声変形音声特徴ベクトル時系
列３における音声標準モデルのセグメントデータを求め
るセグメントデータ作成手段、１６はこのセグメントデ
ータと前記音声標準モデルバッファ１４上の音声標準モ
デルと前記発声変形なし音声標準モデルメモリ６上の音
声標準モデル７とを用いて発声変形モデルの各パラメー
タを求めるパラメータ演算手段、１７は前記パラメータ
演算手段１６の出力であるところの発声変形モデルを記
憶する発声変形モデルバッファ、１８ａは前記発声変形
モデルバッファ１７上の発声変形モデルを用いて、前記
音声標準モデルに対するスペクトル変形処理を施し、前
記音声標準モデルバッファ１４上に書き込むスペクトル
変形手段である。

【００１０】また、図２０は、発声変形音声認識手段１
２の構成図の一例である。１８ｂは前記発声変形モデル
メモリ９に格納されている発声変形モデルを用いて、継
続時間パラメータ変更手段１１を介して入力される発声
変形なし音声標準モデルメモリ６に格納されている音声
標準モデルに対し、音韻スペクトルの変形処理を施すス
ペクトル変形手段である。

【００１１】１９はこのスペクトル変形手段１８ｂの出
力であるところの変形音声標準モデルと継続時間パラメ
ータ変更手段１１を介して入力される前記音声標準モデ
ルとを合成し、混合型音声標準モデルを生成する音声モ
デル合成手段、２０はこの音声モデル合成手段１９の出
力であるところの混合型音声標準モデルを用いて、入力
されてくる発声変形音声特徴ベクトル時系列３に対する
尤度データを演算する尤度演算手段、２１はこの尤度演
算手段２０の出力であるところの尤度データを用いて、
照合処理を行い認識結果１３を出力する照合手段であ
る。すなわち、本実施例では、スペクトル変形手段１８
ｂの出力する変形音声標準モデルと、継続時間パラメー
タ変更手段１１を介して入力される前記音声標準モデル
とから、前記発声変形音声特徴ベクトル時系列３に対す
る尤度を計算し、この尤度に基づく認識結果を出力する
発声変形音声照合手段が、前記尤度演算手段２０、照合
手段２１により構成されている。

【００１２】次に動作について、連続分布型音素片ＨＭ
Ｍによる離散単語認識の場合を例に取り説明を行う。発
声変形なし音声標準モデルメモリ６には、音声標準モデ
ルとして、発声変形のない音声データを用いて学習した
音素片ＨＭＭと、その継続時間パラメータであるところ
の音素片継続時間の平均と分散とが格納されている。認
識対象語彙であるところの単語を表すモデルは、音素片
ＨＭＭの連鎖により表現されている。連鎖は、発声変形
なし音声標準モデルメモリ６に記憶されている。連鎖
は、発声変形なし音声標準モデルメモリ６から尤度計算
手段２０を経て照合手段２１に入力されて用いられる。

【００１３】また、継続時間変動量メモリ１０には、予
備学習によって得られているところの各音素片の平均継
続時間と、継続時間の分布における標準偏差についての
変形なし音声と発声変形音声との比を、複数話者につい
ての平均した値が継続時間変動量データとして格納され
ている。

【００１４】まず、発声変形モデルの学習動作について
説明する。入力端１より入力された発声変形モデル学習
用であるところのカテゴリ既知の発声変形音声信号は、
音響分析手段２により音響分析され、発声変形音声特徴
ベクトル時系列３に変換される。発声変形モデル学習時
には、スイッチ４はａ側に入れられており、該発声変形
音声特徴ベクトル時系列３は発声変形モデル学習手段５
に入力される。発声変形モデル学習手段５における動作
を図２１の動作フロー図に沿って説明する。

【００１５】発声変形モデル学習手段５では、まず初期
化処理として、学習における繰り返し処理の回数をカウ
ントするループカウンタをステップＳ１において０にク
リアし、ついでステップＳ２において前記発声変形なし
音声標準モデルメモリ６上の音声標準モデル７を音声標
準モデルバッファ１４に読み込む。

【００１６】セグメントデータ作成手段１５は、ステッ
プＳ３において、前記音声標準モデルバッファ１４上の
音声標準モデルを用いて、カテゴリ既知の前記発声変形
音声特徴ベクトル時系列３に対する各音素片のセグメン
トデータを、当該カテゴリの単語音声モデルとのビタビ
パスから求める。パラメータ演算手段１６は、ステップ
Ｓ４において、該セグメントデータから得られる、音声
標準モデル７の各音素片ＨＭＭと発声変形音声特徴ベク
トル時系列３の各特徴ベクトルとの対応づけに従い、音
素片ＨＭＭの平均ベクトルを表すスペクトル包絡７０、
発声変形音声特徴ベクトルを表すスペクトル包絡３０及
び音声標準モデルバッファ上の音素片ＨＭＭの平均ベク
トルを表すスペクトル包絡７０ａを用いて、発声変形モ
デルの各パラメータを計算する。ループカウンタの値が
０の場合には、音声標準モデル７から出力される音素片
ＨＭＭの平均ベクトルを表すスペクトル包絡７０と、音
声標準モデルバッファ上の音素片ＨＭＭの平均ベクトル
を表すスペクトル包絡７０ａは同じものである。得られ
たパラメータは、発声変形モデルバッファ１７に書き込
まれる。図２２に示すように、発声変形音声特徴ベクト
ルのスペクトル包絡３０と発声変形なし音声標準モデル
のスペクトル包絡７０は差があり、この差をパラメータ
演算手段１６が以下に述べる３つのパラメータを用い
て、発声変形モデルとして演算し記憶する。図２３にパ
ラメータ演算手段が出力するパラメータを図示する。パ
ラメータ演算手段１６は、発声変形音声特徴ベクトルを
表すスペクトル包絡３０及び音声標準モデルバッファ上
の音素片ＨＭＭの平均ベクトルを表すスペクトル包絡７
０ａ（ループカウンタが０の場合には、スペクトル包絡
７０と同じもの）をＤＰマッチングのアルゴリズムを用
いてマッチングさせ、非線形伸縮関数（フリーケンシー
ワーピングファンクション）を検出する。この非線形伸
縮関数は、ホルマントの移動を示すパラメータである。
次に、パラメータ演算手段は、非線形伸縮関数を用いて
スペクトル包絡７０に対してスペクトル変形をかけ、ス
ペクトル包絡３０との差分を取り、平均差分スペクトル
を求める。更に、平均差分スペクトルから全体傾斜の変
化及びバンド幅の変化を求める。このようにして、パラ
メータ演算手段は、（１）ホルマントの移動を示す非線
形伸縮関数（以下、パラメータＨという）、（２）全体
傾斜の変化（以下、パラメータＴという）、（３）バン
ド幅の変化（以下、パラメータＱという）という３つの
パラメータを算出し、この３つのパラメータを発声変形
モデル８として記憶する。

【００１７】ステップＳ５でループカウンタに１を加
え、ステップＳ６において、ループカウンタ値が予め与
えられている所定のループ数最大値との大小比較を行
う。所定の値に達していれば、発声変形モデルバッファ
上の発声変形モデルを前記発声変形モデルメモリ９に書
き出して学習動作を終了する。

【００１８】所定の値に達しない場合は、ステップＳ７
としてスペクトル変形手段１８ａが、前記発声変形モデ
ルバッファ１７上に保持されている発声変形モデルを用
いて、前記音声標準モデルの平均ベクトルに対し変形処
理を施し、変形された音声標準モデルとして前記音声標
準モデルバッファ１４上に上書きする。スペクトル変形
手段１８ａが行う変形処理は、図２４，図２５，図２６
に示すように、パラメータ演算手段１６が求めた３つの
パラメータを用いて、音声標準モデルのスペクトル包絡
７０に対して変形処理を行うものである。図２４は、ス
ペクトル包絡７０に対して、非線形伸縮関数Ｈを用いて
ホルマントの移動を施す変形処理を示している。図２５
は、スペクトル包絡７０に対して、全体傾斜の変化を示
すパラメータＴを用いてスペクトル包絡の傾斜を修正す
る処理を示している。図２６は、スペクトル包絡７０に
対して、バンド幅の変化を示すパラメータＨを用いて修
正処理を施す場合を示している。このようにして、変形
処理をされたスペクトル包絡は、変形された音声標準モ
デルを表すスペクトル包絡７０ａとして、音声標準モデ
ルバッファ１４に書き込まれる。ついで、ステップＳ３
の処理に戻る。スペクトル変形手段１８ａは、繰り返し
発声変形モデルを作成し、パラメータ演算手段が入力さ
れた発声変形音声特徴ベクトルとのマッチングを繰り返
し行うことにより、次第に学習効果が高まっていく。以
上の動作により発声変形モデルが学習され、発声変形モ
デルメモリ９上に格納される。

【００１９】次に、認識時の動作について説明する。入
力端１より入力されたカテゴリ未知の発声変形音声信号
は、音響分析手段２により音響分析され、発声変形音声
特徴ベクトル時系列３に変換される。未知入力発声変形
音声を認識する際には、スイッチ４はｂ側に入れられ、
該発声変形音声特徴ベクトル時系列３は、発声変形音声
認識手段１２に入力される。

【００２０】継続時間パラメータ変更手段１１は、前記
発声変形なし音声標準モデルメモリ６上の音素片ＨＭＭ
の継続時間パラメータを、継続時間変動量メモリ１０上
に保持されている各音素片の継続時間変動量データに従
って変更する。発声変形音声認識手段１２において、ス
ペクトル変形手段１８ｂは、継続時間パラメータ変更手
段１１を介して入力される前記発声変形なし音声標準モ
デルメモリ６上の音声標準モデル７を構成する各音素片
ＨＭＭの平均ベクトルに対し、前記発声変形モデルメモ
リ９に格納されている発声変形モデルを用いてスペクト
ル変形処理を施す。このスペクトル変形手段１８ｂの動
作は、前述したスペクトル変形手段１８ａと同じであ
る。即ち、スペクトル変形手段１８ｂは、図２４，図２
５，図２６に示した３つのパラメータを発声変形モデル
メモリ９から入力する。そして、継続時間パラメータ変
更手段１１から入力した音声標準モデル７のスペクトル
包絡に対して、図２４，図２５，図２６に示した３つの
変形処理を行い、発声変形音声モデルに基づくスペクト
ル包絡を音声モデル合成手段１９へ出力する。スペクト
ル変形手段１８ｂは、発声変形モデルメモリ９に記憶さ
れた既に学習された音素片に対してはスペクトル変形を
行えるが、発声変形モデルメモリ９に記憶されていない
未学習の音素片に対してはスペクトル変形を行わない
（行えない）。

【００２１】音声モデル合成手段１９は、継続時間パラ
メータ変更手段１１を介して入力される前記発声変形な
し音声標準メモリ６に格納されている音声標準モデル７
を構成する音素片ＨＭＭと、これに対しスペクトル変形
手段１８ｂでスペクトル変形処理を施されて得られた発
声変形音声標準モデルであるところの発声変形音素片Ｈ
ＭＭとを用い、等しい分岐確率を持つ２混合の連続分布
型音素片ＨＭＭを生成する。

【００２２】尤度演算手段２０は、前記発声変形音声特
徴ベクトル時系列３の各特徴ベクトルと、前記音声モデ
ル合成手段１９の出力であるところの混合連続分布型音
素片ＨＭＭとの尤度演算を行い、得られた尤度データを
出力する。照合手段２１は、該尤度データを用いて認識
語彙の単語音声を表す音素片の連鎖に従い、各単語に対
する単語尤度をビタビ演算もしくはトレリス演算により
求め、この単語尤度が最大になる単語のカテゴリを認識
結果１３として出力する。以上の動作により、カテゴリ
未知の発声変形音声の認識が実行され、その認識結果が
得られる。

【００２３】

【発明が解決しようとする課題】従来の装置は以上のよ
うに構成されているため、発声変形モデル学習用の発声
変形音声データの中に含まれない音素片に対応する発声
変形モデルは学習することができず、すべての発声変形
モデルを生成するためには、大量の学習用発声変形音声
データを必要とするという問題があった。

【００２４】また、学習用発声変形音声データの中にあ
る音素片であっても、発声変形モデル学習用の発声変形
音声データが少ない場合、偏倚した発声変形モデルが生
成されてしまい、認識性能の劣化要因になっていた。

【００２５】また、音素片の継続時間変動量データを求
めるためには、すべての音素片を含む発声変形音声デー
タを複数の話者について収集しなくてはならず、莫大な
コストが必要となるという問題があった。加えて、継続
時間変動量の話者依存性が無視されているため、十分な
認識性能が得られない場合もあった。

【００２６】本発明は上記の問題を解決するためになさ
れたもので、音声標準モデルに対するスペクトル変形処
理において、学習がなされた発声変形モデルを１個以上
用いるようにする事で、少ない学習用発声変形音声デー
タでもすべての音声標準モデルに対する変形処理を可能
にすることを目的としている。また、発声変形モデルの
学習処理においても同様に、学習がなされた発声変形モ
デルを１個以上用いるようにすることで、少ない学習用
発声変形音声データでも偏倚の小さい発声変形モデルの
生成を可能にすることを目的としている。

【００２７】加えて、発声変形モデルの学習時に継続時
間データを抽出し、これを用いて継続時間変動量を学習
する機能を持たせることで、継続時間変動量データの作
成にかかるコストを減らし、同時に、継続時間変動量の
話者依存性による認識精度劣化に対処することを目的と
している。

【００２８】

【課題を解決するための手段】この発明に係る発声変形
音声認識装置は、入力音声信号に対し音響分析を行い発
声変形音声特徴ベクトル時系列を出力する音響分析手段
と、発声変形のない音声データで学習した音声標準モデ
ルを記憶する発声変形なし音声標準モデルメモリと、発
声変形された音声に生じる音韻スペクトルの変形を表現
する発声変形モデルを記憶する発声変形モデルメモリ
と、前記発声変形モデルメモリに格納されている１以上
の発声変形モデルを用いて、前記発声変形なし音声標準
モデルメモリに格納されている音声標準モデルに対し、
変形音声標準モデルを作成して前記音響分析手段から出
力される発声変形音声特徴ベクトル時系列に対する音声
認識結果を出力する音声認識手段とを備えたことを特徴
とする。

【００２９】上記音声認識手段は、発声変形モデルメモ
リに記憶された複数の発声変形モデルを用いて、前記発
声変形なし音声標準モデルメモリに格納されている音声
標準モデルに対し、スペクトルの変形処理を施し変形音
声標準モデルとして出力するスペクトル変形手段と、こ
のスペクトル変形手段の出力する変形音声標準モデルと
前記発声変形なし音声標準モデルメモリに記憶された音
声標準モデルとの合成を行う音声モデル合成手段と、こ
の音声モデル合成手段の出力する合成モデルを用いて、
前記音響分析手段から出力される発声変形音声特徴ベク
トル時系列に対する尤度を計算し、この尤度に基づく認
識結果を出力する発声変形音声照合手段とを備えたこと
を特徴とする。

【００３０】上記発声変形音声認識装置は、更に、この
発声変形なし音声標準モデルメモリに記憶された音声標
準モデルと、発声変形された音声信号が前記音響分析手
段に入力された場合に出力される発声変形音声特徴ベク
トル時系列とから、発声変形された音声に生じる音韻ス
ペクトルの変形を表現する発声変形モデルと学習して、
発声変形モデルメモリに出力する発声変形モデル学習手
段とを備えたことを特徴とする。

【００３１】この発明に係る発声変形音声認識装置は、
入力音声信号に対し音響分析を行い発声変形音声特徴ベ
クトル時系列を出力する音響分析手段と、発声変形のな
い音声データで学習した音声標準モデルを記憶する発声
変形なし音声標準モデルメモリと、この発声変形なし音
声標準モデルメモリに記憶された音声標準モデルと、発
声変形された音声信号が前記音響分析手段に入力された
場合に出力される発声変形音声特徴ベクトル時系列とか
ら、発声変形された音声に生じる音韻スペクトルの変形
を表現する発声変形モデルを１以上の発声変形モデルに
基づいて学習する発声変形モデル学習手段と、この発声
変形モデル学習手段により学習された発声変形モデルを
記憶する発声変形モデルメモリとを備えたことを特徴と
する。

【００３２】前記発声変形モデル学習手段は、前記発声
変形なし音声標準モデルメモリに記憶されている音声標
準モデルを一時的に保持する音声標準モデルバッファ
と、この音声標準モデルバッファに保持された音声標準
モデルを用いて、前記音響分析手段からの発声変形音声
特徴ベクトル時系列における各音声標準モデルのセグメ
ントデータを求めるセグメントデータ作成手段と、この
セグメントデータ作成手段からのセグメントデータと、
前記音声標準モデルバッファに保持された音声標準モデ
ルと、前記発声変形なし音声標準モデルメモリに記憶さ
れた音声標準モデルとを用いて、発声変形モデルのパラ
メータを求めるパラメータ演算手段と、このパラメータ
演算手段の出力する発声変形モデルのパラメータを保持
する発声変形モデルバッファと、この発声変形モデルバ
ッファに保持された複数の発声変形モデルのパラメータ
を用いて、前記発声変形なし音声標準モデルメモリの音
声標準モデルに対しスペクトル変形処理を施し、前記音
声標準モデルバッファに書き込むスペクトル変形手段と
により構成されたことを特徴とする。

【００３３】上記発声変形音声認識装置は、更に、この
発声変形モデルメモリに記憶された発声変形モデルと、
前記発声変形なし音声標準モデルメモリに格納されてい
る音声標準モデルとを用いて、前記音響分析手段から出
力される発声変形音声特徴ベクトル時系列に対する音声
認識結果を出力する音声認識手段とを備えたことを特徴
とする。

【００３４】上記発生変形音声認識装置は、更に、音声
標準モデル間のスペクトルの近似を示す重みを算出して
算出した重みを記憶する重み記憶手段を備え、上記スペ
クトル変形手段は、上記重み記憶手段が記憶した重みの
大きい順に学習済みの複数の発声変形モデルを選択して
スペクトルの変形処理を行うことを特徴とする。

【００３５】上記重み記憶手段は、自己の音声標準モデ
ルに対して最大の重みを付すことを特徴とする。

【００３６】上記スペクトル変形手段は、選択した複数
の発声変形モデルの各々を用いてスペクトル変形処理を
行い、その平均値を算出し、変形音声標準モデルとする
平均値算出手段を備えたことを特徴とする。

【００３７】上記平均値算出手段は、上記重みを用いて
平均値を算出することを特徴とする。

【００３８】上記スペクトル変形手段は、既に学習がな
された発声変形モデルに対応する音声標準モデルに対し
て、既に学習がなされた発声変形モデルとその他の発声
変形モデルを用いてスペクトル変形処理をすることを特
徴とする。

【００３９】上記スペクトル変形手段は、未学習の発声
変形モデルに対応する音声標準モデルに対して、既に学
習がなされた発声変形モデルを複数用いてスペクトル変
形処理をすることを特徴とする。

【００４０】この発明に係る発声変形音声認識装置は、
入力音声信号に対し音響分析を行い発声変形音声特徴ベ
クトル時系列を出力する音響分析手段と、発声変形のな
い音声データで学習した音声標準モデルを記憶する発声
変形なし音声標準モデルメモリと、この発声変形なし音
声標準モデルメモリに記憶された音声標準モデルと、発
声変形された音声信号が前記音響分析手段に入力された
場合に出力される発声変形音声特徴ベクトル時系列とか
ら、発声変形された音声に生じる音韻スペクトルの変形
を表現する発声変形モデルを学習する発声変形モデル学
習手段と、音声を構成する要素の継続時間変動量を記憶
する継続時間変動量メモリと、前記発声変形モデル学習
手段から出力される発声変形モデルと前記発声変形なし
音声標準モデルメモリに記憶された音声標準モデルとか
ら、音声標準モデルにおける音声を構成する要素の継続
時間の変動量を求め、前記継続時間変動量メモリに記憶
させる継続時間変動量学習手段とを備えたことを特徴と
する。

【００４１】上記発生変形音声認識装置は、更に、発声
変形モデル学習手段により学習された発声変形モデルを
記憶する発声変形モデルメモリと、継続時間変動量メモ
リに記憶された継続時間変動量に基づき前記発声変形な
し音声標準モデルメモリ上に格納されている音声標準モ
デルの継続時間パラメータの補正を行う継続時間パラメ
ータ変更手段と、継続時間パラメータ変更手段により継
続時間パラメータが補正された前記音声標準モデルと前
記発声変形モデルメモリに記憶された発声変形モデルと
を用いて、前記音響分析手段から出力される発声変形音
声特徴ベクトル時系列に対する音声認識結果を出力する
音声認識手段とを備えたことを特徴とする。

【００４２】この発明に係る発声変形音声認識装置は、
継続時間変動量学習手段において、求める継続時間の変
動量を母音部について求めるようにしたことを特徴とす
る。

【００４３】この発明に係る発声変形音声認識装置は、
継続時間変動量学習手段において、「あ」「い」「う」
「え」「お」の５母音について平均した継続時間変動量
を求めるようにしたことを特徴とする。

【００４４】この発明に係る音声認識方法は、以下の工
程を備えたことを特徴とする。 （ａ）複数の音声標準モデルと上記音声標準モデルの一
部に対する発声変形モデルと音声標準モデル間の近似を
示す重みとを予め記憶する工程、（ｂ）上記複数の音声
標準モデルの中の１つの音声標準モデルに対して、上記
重みの大きい順に１つ以上の発声変形モデルを選択し、
選択した発声変形モデルを用いてスペクトル変形を行う
工程、（ｃ）上記複数の発声変形モデルによるスペクト
ル変形の結果の平均値を上記音声標準モデルの変形音声
標準モデルとして出力する工程、（ｄ）発声変形のある
音声データと、上記変形音声標準モデルを入力し、音声
データと変形音声標準モデルとを比較して比較結果を出
力する照合工程。

【００４５】上記音声認識方法は、更に、上記照合工程
の比較結果を入力して、音声を認識する工程を備えたこ
とを特徴とする。

【００４６】上記音声認識方法は、更に、上記照合工程
の比較結果を入力して、発声変形モデルを学習する学習
工程を備えたことを特徴とする。

【００４７】この発明に係る音声認識方法は、以下の工
程を備えたことを特徴とする。 （ａ）入力音声信号に対し音響分析を行い発声変形音声
特徴ベクトル時系列を出力する工程、（ｂ）発声変形の
ない音声データで学習した音声標準モデルを記憶する工
程、（ｃ）この記憶された音声標準モデルと、発声変形
音声特徴ベクトル時系列とから、発声変形された音声に
生じる音韻スペクトルの変形を表現する発声変形モデル
を学習する工程、（ｄ）前記発声変形モデルと前記音声
標準モデルとから、音声標準モデルにおける音声を構成
する要素の継続時間の変動量を求め、前記継続時間変動
量として記憶させる工程、（ｅ）この継続時間変動量に
基づき前記音声標準モデルの継続時間パラメータの補正
を行う工程、（ｆ）この継続時間パラメータが補正され
た前記音声標準モデルと前記発声変形モデルとを用い
て、前記発声変形音声特徴ベクトル時系列に対する音声
認識結果を出力する工程。

【００４８】

【発明の実施の形態】

実施の形態１．図１は、この発明に係る音声認識システ
ムの構成図である。発声変形音声認識システム６０は、
ディスプレイユニット６１、キーボード６２、マウス６
３、マウスパット６４、システムユニット６５、マイク
６６、音声認識装置１００を備えている。この発明の音
声認識システムは、例えば、図１に示すように、マイク
６６から入力した音声を音声認識装置１００で認識し、
認識した音声をシステムユニット６５に転送し、ディス
プレイユニット６１に文字として表示するものである。
しかし、この発明に係る音声認識システムは、このよう
にパーソナルコンピューターやワークステーションと一
緒に用いられる必要はなく、以下に述べる音声認識装置
１００が用いられるシステムであれば、どのような形式
のものであっても良い。例えば、マイク６６の替わりに
テープレコーダを入力装置にしても構わないし、ネット
ワークからの音声データを入力するようにしても構わな
い。また、入力するデータはアナログデータであっても
構わないし、デジタルデータであっても構わない。ま
た、音声認識装置１００は独立した筐体で存在しても構
わないが、システムユニット６５の内部に納められてい
るものでも構わないし、その他の測定機や計算機のシス
テムボードの一部分として存在している場合であっても
構わない。また、認識結果を文字として表示する場合に
限らず、認識結果に基づいてデータ検索や加工作業や測
定作業を行わせるようにしても良い。

【００４９】図２は、図１に示した音声認識装置１００
の構成を示すブロック図である。図２において、従来の
音声認識装置と異なる点は、改良された発声変形音声認
識手段１２０が備えられている点である。図３は、この
発明に関わる発声変形音声認識装置に使われる発声変形
音声認識手段１２０の一実施の形態の構成を表すブロッ
ク図である。図において、６は発声変形のない音声標準
モデルを格納する発声変形なし音声標準モデルメモリ、
９は発声変形モデル学習により得られた発声変形モデル
を格納する発声変形モデルメモリ、２２ａは前記発声変
形なし音声標準モデルメモリ６に格納されている音声標
準モデルに対し、前記発声変形モデルメモリ９に格納さ
れている発声変形モデルを用いて、音韻スペクトルの変
形処理を施す平滑型スペクトル変形手段である。

【００５０】１９は前記平滑型スペクトル変形手段２２
ａの出力であるところの変形音声標準モデルと、前記音
声標準モデルとを合成し、混合型音声標準モデルを生成
する音声モデル合成手段、２０はこの音声モデル合成手
段１９の出力であるところの混合型音声標準モデルを用
いて、入力された発声変形音声特徴ベクトル時系列に対
する尤度を演算する尤度演算手段、２１はこの尤度演算
手段２０の出力であるところの尤度データを用いて、照
合処理を行い認識結果を出力する照合手段である。

【００５１】次に、動作について説明する。従来例と同
じく連続分布型音素片ＨＭＭによる離散単語認識の場合
を例に取り説明を行う。発声変形なし音声標準モデルメ
モリ６には、発声変形のない音声データを用いて学習し
た音素片ＨＭＭが音声標準モデルとして格納されてい
る。認識対象語彙であるところの単語を表すモデルは音
素片ＨＭＭの連鎖により表現されている。従来例と重複
する部分は説明を省略する。

【００５２】この実施の形態の平滑型スペクトル変形手
段２２ａは、前記発声変形モデルメモリ９に格納されて
いる学習がなされた発声変形モデルを１個以上用いて、
前記発声変形なし音声標準モデルメモリ６に格納されて
いる音声標準モデルを構成するすべての音素片ＨＭＭに
ついて、該音素片ＨＭＭの平均ベクトルに対し、ロンバ
ード効果によるスペクトルの変形処理を施すことができ
るようになっている。この平滑型スペクトル変形手段２
２ａにおけるスペクトル変形処理は、下式（１）のよう
に表される。

【００５３】

【数１】

【００５４】但し、音声標準モデルにおける第ｉ音素片
の平均ベクトルをＸｉ、該平滑型スペクトル変形手段２
２ａにより変形処理された後の同第ｉ音素片の平均ベク
トルをＹｉ、発声変形モデルの学習がなされた第ｊ音素
片に対応する該発声変形モデルによる第ｉ音素片の平均
ベクトルに対するスペクトル変形処理をＭｊ（Ｘｉ）と
する。ｊについての総和は、重み係数Ｗ（ｉ，ｊ）が大
きいものからｎ個分（ｎ≧１）行い、発声変形モデルの
学習ができた音素片の総数に対し、一定の割合に達した
ところで打ち切る。この割合を制御することで、第ｉ音
素片に対するスペクトル変形処理に用いる学習済み発声
変形モデルの数を変えることができる。

【００５５】重み係数Ｗ（ｉ，ｊ）は、第ｉ音素片の平
均ベクトルＸｉと第ｊ音素片の平均ベクトルＸｊとの間
で定義される距離ｄ（Ｘｉ，Ｘｊ）に逆比例するように
定義される。即ち、重み係数が大きいと、スペクトル包
絡が近似していることを示している。重み係数の一例を
下式（２）に示す。

【００５６】

【数２】

【００５７】ここで、ｐとｑは、距離ｄ（Ｘｉ，Ｘｊ）
に対する重み係数Ｗ（ｉ，ｊ）を制御するパラメータで
ともに正の値を取る。また、距離ｄ（Ｘｉ，Ｘｊ）は、
第ｉ音素片の平均ベクトルと第ｊ音素片の平均ベクトル
との間で定義される適当な距離尺度で、例えば、ケプス
トラムのユークリッド距離やＷＬＲ距離尺度などがあ
る。

【００５８】次に、この実施例の具体例について図４か
ら図７を用いて説明する。図４は、音声標準モデルの平
均ベクトルＸｉを示す図である。ここでは、音素片の種
類が全部で３００種類ある場合を示している。音声標準
モデルは、全ての音素片に対して平均ベクトルＸ１から
Ｘ３００を予め登録してある。図５は、学習の結果、発
声変形モデルとして記憶された音素片のパラメータＨ，
Ｔ，Ｑを示す図である。３００種類ある音素片の中で、
学習できたものと学習できないものが存在している。例
えば、第３音素片及び第２９９音素片は、未だ学習され
ていない状態を示している。図６は重み係数を示す図で
ある。重み係数は、図７に示すように、第ｉ音素片の平
均ベクトルＸｉと第ｊ音素片の平均ベクトルＸｊとの距
離に基づいて求めたものである。図７においては、平均
ベクトルＸｉとＸｊの差分の平方を距離としている。こ
の距離を用いて、前述した式（２）から重み係数を計算
した場合の一例を図６に示す。ｐ＝１及びｑ＝１とした
場合には、第ｉ音素片同士の距離ｄ（Ｘｉ，Ｘｉ）は０
になり、第ｉ音素片の重み係数Ｗ（Ｘｉ，Ｘｉ）＝（０
＋１）^-1＝１^-1＝１となる。ここで、式（１）を用いて
未学習の第２音素片の平均ベクトルＹ２を求める場合を
考える。ここで、式（１）におけるｊについての総和の
個数ｎを２（ｎ＝２）とする。また、図６において、第
２音素片の中で重み係数の大きい上位２つの音素片を第
１と第３の音素片であるものとする。ここで、第２の音
素片の重み係数は１．０であり、重み係数が最大値を示
しているが、自分自身の発声変形モデルが存在していな
い。従って、自分自身の発声変形モデルを計算する際に
は、自分自身を用いることはできない。そこで、重み係
数が自分自身を除くものの中で、最大値及び次に大きな
値を示す２つの音素片を用いることになる。従って、図
４に示す音声標準モデルの第２音素片の平均ベクトルＸ
２に対して、図５に示す発声変形モデルの第１音素片の
パラメータＨ１，Ｔ１，Ｑ１を用いて、スペクトル変形
処理を行い、Ｍ１（Ｘ２）を求める。同様にして、平均
ベクトルＸ２に対して、第３音素片のパラメータＨ３，
Ｔ３，Ｑ３を用いてスペクトル変形処理を行い、Ｍ３
（Ｘ２）を求める。このようにして、第２音素片の発声
変形後の平均ベクトルＹ２を以下の式で求めることがで
きる。 Ｙ２＝｛０．９Ｍ１（Ｘ２）＋０．８Ｍ３（Ｘ２）｝／
（０．９＋０．８）

【００５９】前述した例においては、発声変形モデルが
未学習である場合について説明したが、発声変形モデル
が既に学習済みのものに対しても、前述したアルゴリズ
ムを適用することが望ましい。例えば、図５において、
第１音素片のパラメータは、既に学習済みとなっている
が、平滑形スペクトル変形手段２２ａは、例えば、ｊに
ついての総和の個数ｎ＝２の場合は、図６に示すように
第１音素片の中で重み係数の最大値と次の音素片のパラ
メータを用いて、変形処理がされた第１音素片の平均ベ
クトルＹ１を生成する。この図６に示す例では、第１音
素片は、自分自身であるため、重み係数が最大値である
１．０を示している。また、２番目に大きい重み係数を
第２音素片の０．９であるとすると、平滑型スペクトル
変形手段２２ａは、第１音素片のパラメータＨ１，Ｔ
１，Ｑ１と第２音素片のパラメータＨ２，Ｔ２，Ｑ２を
用いて、第１音素片の平均ベクトルに対するスペクトル
変形処理をそれぞれ行い、式（１）を用いて第１音素片
の変形処理された後の平均ベクトルＹ１を出力する。こ
のように、この実施の形態においては、既に発声変形モ
デルの学習がされた音素片のスペクトル変形を行う場合
にも、重み係数によりスペクトルが近似している音素片
の発声変形モデルのパラメータも加味して、スペクトル
変形を行う点がこの実施例の大きな特徴である。このよ
うに、他の音素片の変形様態を考慮することにより、偏
りのないスペクトル変形処理を行える。

【００６０】図８は、前述した平滑型スペクトル変形手
段２２ａのスペクトル変形手順を示すフローチャート図
である。ステップＳ１１において、スペクトル変形を行
う第ｉ音素片を音声標準モデルから取得する。ステップ
Ｓ１２において、第ｉ音素片と似通った音素片を探すた
め重み変数を参照し、第ｊ音素片を検出する。ステップ
Ｓ１３において、検出した第ｊ音素片が音声変形モデル
に既に学習済みとしてパラメータが登録されているかど
うかをチェックする。パラメータが登録されていない場
合には、再びステップＳ１２に戻り、次に値の大きい重
み変数に基づき別な音素片を検出する。ステップＳ１３
において、第ｊ音素片が学習済みである場合は、第ｊ音
素片のパラメータＨｊ，Ｔｊ，Ｑｊを用いて、第ｉ音素
片のスペクトル変形処理を行う。ステップＳ１５におい
ては、前述した式（１）の分子と分母をそれぞれ計算す
る。ステップＳ１６においては、前述したステップＳ１
２からステップＳ１５の処理をｎ回繰り返す判断を行
う。ステップＳ１６において、ｎ回処理が済んだと判断
された場合には、ステップＳ１７において式（１）から
Ｙｉを計算する。

【００６１】図８に示したフローチャート図によれば、
ステップＳ１１で取得した第ｉ音素片は、既に学習済み
であるかどうかを問わず、以下のステップＳ１２からス
テップＳ１７の処理を行うようになっている。従って、
ｎ≧２であれば、学習済みの音素片に対しても、他の音
素片の学習済みのパラメータが反映されることになる。
また、既に第ｉ音素片が学習済みの場合であって、ｎ≧
２の場合は、ステップＳ１２において、最初に選択され
る第ｊ音素片は常に第ｉ音素片自身であり、ステップＳ
１３において、第ｉ音素片が学習済みであると判断され
ることから、ステップＳ１４とステップＳ１５の処理
は、第ｉ音素片のパラメータを用いて、第ｉ音素片のス
ペクトル変形処理を行うことになる。ステップＳ１６に
よって生ずる２回目からｎ回目までのループ処理では、
ステップＳ１４において、第ｉ音素片に対して第ｉ音素
片以外の第ｊ音素片の学習済みパラメータを用いて第ｉ
音素片に対するスペクトル変形処理が行われ、ステップ
Ｓ１５において、第ｊ音素片に基づく変形が加算され
る。もし、既に第ｉ音素片が学習済みの場合であって、
かつ、ｎ＝１の場合は、第ｉ音素片の学習済みパラメー
タのみが第ｉ音素片に対するスペクトル変形処理に用い
られる。もし、第ｉ音素片が未学習の場合であって、か
つ、ｎ＝１の場合は、第ｉ音素片以外の第ｊ音素片の学
習済みパラメータを用いて第ｉ音素片に対するスペクト
ル変形処理が行われる。

【００６２】上記のような処理を行うことで、スペクト
ル距離の近い音素片におけるスペクトル変形の様態を考
慮したスペクトル変形処理が施される。これにより、発
声変形モデルの学習がなされなかった音素片についても
スペクトル変形が可能になる。また、発声変形モデルの
学習がなされた音素片もスペクトル距離が近い音素片の
変形様態を考慮するので、発声変形モデルにおける偏倚
の影響を受けにくいスペクトル変形処理が実現できる。

【００６３】以上のように、発声変形音声認識手段にお
いて平滑型スペクトル変形手段は、発声変形モデルメモ
リに格納されている学習がなされた発声変形モデルを１
個以上用いて、発声変形なし音声標準モデルメモリに格
納されている音声標準モデルを構成するすべての音素片
ＨＭＭについて、該音素片ＨＭＭの平均ベクトルに対
し、ロンバード効果によるスペクトルの変形処理を施す
ようにしたので、発声変形モデルの学習がなされなかっ
た音素片についてもスペクトル変形がなされ、変形が可
能になる。

【００６４】加えて、発声変形モデルの学習がなされた
音素片のスペクトル変形においても、発声変形モデルの
学習がなされた音素片を除く他の音素片の変形様態を考
慮するので、発声変形モデルにおける偏倚の影響を受け
にくいスペクトル変形処理が実現できる。この結果、高
精度認識が実現できる。

【００６５】実施の形態２．図９は、音声認識装置１０
０ａのブロック図である。実施の形態１の音声認識装置
１００と異なる点は、改良された発声変形モデル学習手
段５０を備えている点である。図１０は、この発明に関
わる発声変形音声認識装置に使われる発声変形モデル学
習手段５０の一実施の形態の構成を表すブロック図であ
る。図において、１４は初期状態においては、発声変形
なし音声標準モデルメモリ６に格納されている音声標準
モデル７を読み込み保持する音声標準モデルバッファ、
１５はこの音声標準モデルバッファ１４上の音声標準モ
デルを用いて、入力される発声変形音声特徴ベクトル時
系列３における音声標準モデルのセグメントデータを求
めるセグメントデータ作成手段、１６はこのセグメント
データと前記音声標準モデルバッファ１４上の音声標準
モデルと前記発声変形なし音声標準モデルメモリ６上の
音声標準モデル７とを用いて発声変形モデルの各パラメ
ータを求めるパラメータ演算手段、１７はこのパラメー
タ演算手段１６の出力であるところの発声変形モデルを
記憶する発声変形モデルバッファ、２２ｂはこの発声変
形モデルバッファ１７上の発声変形モデルを用いて、前
記発声変形なし音声標準モデルメモリ６に格納されてい
る音声標準モデル７すべてに対しスペクトル変形処理を
施し、前記音声標準モデルバッファ１４に書き込む平滑
型スペクトル変形手段である。

【００６６】次に、動作について説明する。従来例と同
じく連続分布型音素片ＨＭＭによる離散単語認識の場合
を例に取り説明を行う。発声変形なし音声標準モデルメ
モリには、発声変形のない音声データを用いて学習した
音素片ＨＭＭが音声標準モデルとして格納されている。
認識対象語彙であるところの単語を表すモデルは、音素
片ＨＭＭの連鎖により表現されている。従来例と重複す
る部分は、説明を省略する。

【００６７】発声変形モデル学習手段５０における平滑
型スペクトル変形手段２２ｂは、前記発声変形モデルバ
ッファ１７に書き込まれた発声変形モデルを１個以上用
いて、前記発声変形なし音声標準モデルメモリ６に格納
されている音声標準モデル７を構成するすべての音素片
ＨＭＭについて、該音素片ＨＭＭの平均ベクトルに対
し、ロンバード効果によるスペクトルの変形処理を施
す。

【００６８】この平滑型スペクトル変形手段２２ｂにお
けるスペクトル変形処理は、前記実施の形態１における
発声変形音声認識手段１２０における平滑型スペクトル
変形手段２２ａと同じである。平滑型スペクトル変形手
段２２ｂは、発声変形モデル内に未学習の音素片がある
場合には、重み係数の大きい音素片、即ち未学習である
音素片とより似たスペクトルを持つ他の音素片のパラメ
ータを用いてスペクトル変形を行う。また、音声標準モ
デルの中に、既に学習済みであると登録されている音素
片に対しても自分自身と、自分自身及び自分自身に似た
スペクトルを持つ音素片のパラメータを用いて、スペク
トル変形を行うものである。発声変形モデル学習手段５
０は、スペクトルの変形処理を複数回繰り返して行い、
最終的に発声変形モデルのパラメータＨ，Ｔ，Ｑを出力
する。

【００６９】発声変形モデル学習手段５０において、平
滑型スペクトル変形手段２２ｂを用いることで、図２１
に示した発声変形モデル学習手段５の動作フロー中のス
テップＳ３におけるセグメントデータ作成において、発
声変形モデルの偏倚によるセグメントデータの精度が向
上し、発声変形モデルの高精度化とそれによる認識性能
の向上が図れる。

【００７０】以上のように、発声変形モデル学習手段に
おいて、平滑型スペクトル変形手段は、発声変形モデル
バッファに書き込まれた発声変形モデルを１個以上用い
て、発声変形なし音声標準モデルメモリに格納されてい
る音声標準モデルを構成するすべての音素片ＨＭＭにつ
いて、該音素片ＨＭＭの平均ベクトルに対し、ロンバー
ド効果によるスペクトルの変形処理を施すようにしたの
で、発声変形モデルの学習がなされた音素片のスペクト
ル変形においても、これを除く他の音素片の変形様態を
考慮するので、発声変形モデルにおける偏倚の影響を受
けにくいスペクトル変形処理が実現できる。この結果、
発声変形モデル学習用の発声変形音声データに対するセ
グメントデータの精度が向上し、発声変形モデルの高精
度化が実現され、認識性能の向上が図れる。

【００７１】実施の形態３．図１１は、実施の形態２に
示した音声認識装置１００ａからスイッチ４と発声変形
モデル学習手段５０を削除した音声認識装置１００ｂを
示す図である。図１１に示した音声認識装置１００ｂ
は、学習機能がなく予め学習した発声変形モデルを発声
変形モデルメモリ９に備えているものである。この発声
変形モデルは、フロッピーディスクからロードされた
り、オンラインにより遠隔地から伝送されてきて発声変
形モデルメモリに格納される。この装置は、音声を学習
する手段を持たず、単に音声を認識する動作だけを行
う。

【００７２】図１２に示す音声認識装置１００ｃは、音
声認識装置１００ａからスイッチ４と発声変形音声認識
手段１２０と継続時間変動量メモリ１０と継続時間パラ
メータ変更手段１１を削除したものである。図１２に示
す装置は、発声変形モデルを作成するための音声学習装
置として用いることができる。この装置により、発声変
形モデルを作成し、前述した図１１の音声認識装置に対
してフロッピーディスクや通信回線を用いて、発声変形
モデルを供給することができる。

【００７３】実施の形態４．図１３は、この発明に関わ
る発声変形音声認識装置の一実施の形態の構成を示すブ
ロック図である。図において、２４は発声変形モデル学
習手段５０ａにおいて得られる発声変形モデル学習用音
声に対する音声標準モデルのセグメントデータ２３と、
発声変形なし音声標準モデルメモリ６に格納されている
音声標準モデルとを用いて、各音声標準モデルについて
ロンバード効果による継続時間パラメータの変動量を求
め、継続時間変動量メモリ１０に出力する継続時間変動
量学習手段である。その他の構成要素は、前述の従来例
と同一である。図１４は、発声変形モデル学習手段５０
ａを示すブロック図である。発声変形モデル学習手段５
０ａは、セグメントデータ２３を図１３に示す継続時間
変動量学習手段２４へ出力する。

【００７４】次に、動作について説明する。従来例と同
じく連続分布型音素片ＨＭＭによる離散単語認識の場合
を例に取り説明を行う。また、音素片継続時間による継
続時間制御を例に取る。発声変形なし音声標準モデルメ
モリ６には音声標準モデルとして、図１５に示すよう
に、発声変形のない音声データを用いて学習した音素片
ＨＭＭ，Ｘ１，Ｘ２，Ｘ３，・・・と、その継続時間パ
ラメータである平均Ｎ１，Ｎ２，Ｎ３，・・・と分散σ
１，σ２，σ３，・・・が格納されている。認識対象語
彙であるところの単語を表すモデルは、音素片ＨＭＭの
連鎖により表現されている。従来例と重複する部分は、
説明を省略する。

【００７５】継続時間変動量学習手段２４は、発声変形
モデル学習手段５が発声変形モデルメモリ９に書き込む
発声変形モデルの学習に用いた発声変形モデル学習用の
発声変形音声データに対する音素片ＨＭＭのセグメント
データ２３を入力として、発声変形音声における音素片
継続時間パラメータを演算し、発声変形なし音声標準モ
デルメモリ６に格納されている音声標準モデルの音素片
ＨＭＭの継続時間パラメータとの比較を行い、図１６に
示すような継続時間変動量データΔＮ１，ΔＮ２，・・
・及びΔσ１，Δσ２，・・・を求め、継続時間変動量
メモリ１０に書き込む。

【００７６】継続時間変動量データΔＮ１，ΔＮ２，・
・・及びΔσ１，Δσ２，・・・は、継続時間パラメー
タであるところの音素片継続時間の平均と分散につい
て、発声変形音声と変形のない音声との差異を表現する
もので、音素片継続時間の平均については、例えば、発
声変形による伸縮倍率で表しても、伸縮時間で表現して
もかまわず、また、その他の同様な効果を生むパラメー
タでもかまわない。同様に、音素片継続時間の分散につ
いても、例えば、分散もしくは標準偏差の変動倍率で表
現しても、変動量で表現してもかまわない。

【００７７】これにより、継続時間変動量メモリ１０に
格納される継続時間変動量データは、発声変形モデル学
習用の発声変形音声における継続時間の変動を表現する
ものとなり、継続時間変動の話者依存性による認識精度
の劣化を抑えることが可能になる。

【００７８】以上のように、継続時間変動量学習手段
は、発声変形モデル学習手段が発声変形モデルメモリに
書き込む発声変形モデルの学習に用いた発声変形モデル
学習用の発声変形音声データに対する音素片ＨＭＭのセ
グメントデータを入力として、発声変形音声における音
素片継続時間パラメータを演算し、発声変形なし音声標
準モデルメモリ６に格納されている音声標準モデルの音
素片ＨＭＭの継続時間パラメータとの比較を行い、継続
時間変動量データを求め継続時間変動量メモリ１０に書
き込むようにしたので、継続時間変動量メモリ１０に格
納される継続時間変動量データは、発声変形モデル学習
用の発声変形音声における継続時間の変動を表現するも
のとなり、継続時間変動の話者依存性による認識精度の
劣化を抑えることが可能になる。

【００７９】また、継続時間変動量学習手段２４におけ
る継続時間変動量データを求める処理を、すべての音素
片について行うのではなく、ロンバード効果による継続
時間変動が顕著に現れる５母音の定常部ならびに各母音
から語尾への過渡部にのみ限定することで、認識精度を
落とすことなく、演算量の削減が図れる。図１７は、音
素について、５母音の継続時間変動量データを示してい
る。

【００８０】加えて、５母音の定常部及び各母音から語
尾への過渡部の継続時間変動量データをそれぞれ５母音
で平均し、母音定常部に共通の継続時間変動量データ及
び母音から語尾への過渡部に共通の継続時間変動量デー
タとすることで、発声変形モデル学習用の発声変形音声
データが少量の場合においても、認識精度の低下を防ぐ
ことができる。５母音の継続時間変動量データの平均
は、以下の式で求めることができる。 ΔＮ＝（ΔＮ１＋ΔＮ２＋ΔＮ３＋ΔＮ４＋ΔＮ５）／
５ Δσ＝（Δσ１＋Δσ２＋Δσ３＋Δσ４＋Δσ５）／
５

【００８１】以上述べた全ての実施の形態において、そ
の認識方式は連続分布型音素片ＨＭＭに制限されるもの
ではなく、認識対象も単語に限らず、連続音声であって
もかまわない。

【００８２】また、継続時間制御における音声の構成要
素の単位も音素片に限らず、音素、半音節、音節、単語
などどのような単位もとりうる。加えて、発声変形モデ
ルは、音素片ＨＭＭ毎に設定しているが、他の音声単位
毎であっても、ＨＭＭの各状態毎もしくは複数の状態毎
に設定してもかまわない。実現手法も専用ハードウェア
に限らず、ソフトウェアであってもかまわない。

【００８３】以上のように、この発明に係る発声変形音
声認識装置は、発声変形モデルメモリに格納されている
発声変形モデルを用いて、発声変形なし音声標準モデル
メモリに格納されているすべての音声標準モデルに対
し、スペクトルの変形処理を施し変形音声標準モデルと
して出力する平滑型スペクトル変形手段を備え、学習が
なされた発声変形モデルに対応する音声標準モデルにつ
いて、その発声変形モデルを含む学習済み発声変形モデ
ルを用い、また発声変形モデル学習時に未学習となった
発声変形モデルに対応する音声標準モデルについても、
学習済み発声変形モデルを用いて、スペクトル変形処理
が行われるようにしたものである。この発明では、平滑
型スペクトル変形手段は、発声変形モデルメモリに格納
されている学習がなされた発声変形モデルを用いて、発
声変形なし音声標準モデルメモリに格納されているすべ
ての音声標準モデルに対して、スペクトルの変形処理を
施すので、発声変形モデルの学習がなされなかった音素
片についてもスペクトル変形がなされる。加えて、発声
変形モデルの学習がなされた音素片のスペクトル変形に
おいても、これを除く他の音素片の変形様態を考慮する
ので、発声変形モデルにおける偏倚の影響を受けにくい
スペクトル変形処理が実現できる。この結果、高精度認
識が実現できる。

【００８４】また、この発明における発声変形音声認識
装置は、発声変形モデル学習手段を、発声変形なし音声
標準モデルメモリに記憶されている音声標準モデルを一
時的に保持する音声標準モデルバッファと、この音声標
準モデルバッファに保持された音声標準モデルを用い
て、前記音響分析手段からの発声変形音声特徴ベクトル
時系列における各音声標準モデルのセグメントデータを
求めるセグメントデータ作成手段と、このセグメントデ
ータ作成手段からのセグメントデータと、前記音声標準
モデルバッファに保持された音声標準モデルと、前記発
声変形なし音声標準モデルメモリに記憶された音声標準
モデルとを用いて、発声変形モデルのパラメータを求め
るパラメータ演算手段と、このパラメータ演算手段の出
力する発声変形モデルのパラメータを保持する発声変形
モデルバッファと、この発声変形モデルバッファに保持
された発声変形モデルのパラメータを用いて、前記発声
変形なし音声標準モデルメモリに記憶された音声標準モ
デルに対しスペクトル変形処理を施し、前記音声標準モ
デルバッファに書き込む平滑型スペクトル変形手段とで
構成し、学習できた発声変形モデルに対応する音声標準
モデルについてその発声変形モデルを含む学習済み発声
変形モデルを用い、未学習の発声変形モデルに対応する
音声標準モデルについても、学習できた発声変形モデル
を用いて、スペクトル変形処理が行われるようにしたも
のである。また、この発明では、発声変形モデル学習手
段において、平滑型スペクトル変形手段は、発声変形モ
デルバッファに書き込まれた発声変形モデルを用いて、
発声変形なし音声標準モデルメモリに格納されているす
べての音声標準モデルについてスペクトルの変形処理を
施すので、発声変形モデルの学習がなされた音素片のス
ペクトル変形においても、これを除く他の音素片の変形
様態を考慮するので、発声変形モデルにおける偏倚の影
響を受けにくいスペクトル変形処理が実現できる。この
結果、発声変形モデル学習用の発声変形音声データに対
するセグメントデータの精度が向上し、発声変形モデル
の高精度化が実現され、認識性能の向上が図れる。

【００８５】また、この発明における発声変形音声認識
装置は、発声変形モデル学習手段から出力されるセグメ
ントデータと、前記発声変形なし音声標準モデルメモリ
上の音声標準モデルとを用いて、音声標準モデルにおけ
る継続時間の変動量を求める継続時間変動量学習手段を
備え、継続時間変動量学習手段の出力する継続時間変動
量データを継続時間変動量メモリに記憶し、継続時間パ
ラメータ変更手段が、前記発声変形なし音声標準モデル
メモリ上に格納されている音声標準モデルに対し、前記
継続時間変動量メモリ上の継続時間変動量データを用い
て、継続時間についてのパラメータを変更するようにし
たものである。この発明では、継続時間変動量学習手段
は、発声変形モデル学習手段が発声変形モデルメモリに
書き込む発声変形モデルを入力として、発声変形音声に
おける音声構成要素の継続時間を演算し、発声変形なし
音声標準モデルメモリに格納されている音声標準モデル
の継続時間の変動量を求め、継続時間変動量メモリに書
き込むので、継続時間変動量メモリに格納される継続時
間変動量は、発声変形モデル学習用の発声変形音声にお
ける継続時間の変動を表現するものとなり、継続時間変
動の話者依存性による認識精度の劣化を抑えることが可
能になる。

【００８６】また、この発明における発声変形音声認識
装置は、継続時間変動量学習手段において求める継続時
間の変動量を母音部についてのみ求めるようにしたもの
である。この発明では、継続時間変動量学習手段におけ
る継続時間変動量を求める処理を、すべての音素片につ
いて行うのではなく、ロンバード効果による継続時間変
動が顕著に現れる５母音の定常部ならびに各母音から語
尾への過渡部にのみ限定することで、認識精度を落とす
ことなく演算量の削減が図れる。

【００８７】また、この発明における発声変形音声認識
装置は、継続時間変動量学習手段において、５母音につ
いて平均した継続時間変動量を求めるようにしたもので
ある。この発明では、継続時間変動量学習手段における
継続時間変動量を求める処理を、ロンバード効果による
継続時間変動が顕著に現れる５母音の定常部ならびに各
母音から語尾への過渡部にのみ限定し、かつ、５母音の
定常部および各母音から語尾への過渡部の継続時間変動
量をそれぞれ５母音で平均し、母音定常部に共通の継続
時間変動量および母音から語尾への過渡部に共通の継続
時間変動量とすることで、発声変形モデル学習用の発声
変形音声データが少量の場合においても、認識精度の低
下を防ぐことができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１における音声認識シ
ステムの構成を示す図である。

【図２】 この発明の実施の形態１における音声認識シ
ステムを示すブロック図である。

【図３】 この発明の実施の形態１における発声変形音
声認識手段を示すブロック図である。

【図４】 この発明の音声標準モデルの一例を示す図で
ある。

【図５】 この発明の発声変形モデルの一例を示す図で
ある。

【図６】 この発明の重み係数の一例を示す図である。

【図７】 この発明の平均ベクトルの距離を求める一例
を示す図である。

【図８】 この発明のスペクトル変形手順を示すフロー
チャート図である。

【図９】 この発明の実施の形態２における音声認識装
置を示すブロック図である。

【図１０】 この発明の実施の形態２における発声変形
モデル学習手段を示すブロック図である。

【図１１】 この発明の音声認識装置の他の例を示すブ
ロック図である。

【図１２】 この発明の音声認識装置の他の例を示すブ
ロック図である。

【図１３】 この発明の実施の形態３における発声変形
音声認識装置を示すブロック図である。

【図１４】 この発明の発声変形モデル学習手段の他の
例を示すブロック図である。

【図１５】 この発明の発声標準モデルにおける継続時
間パラメータを示す図である。

【図１６】 この発明の継続時間変動量データを示す図
である。

【図１７】 この発明の母音の継続時間変動量データを
示す図である。

【図１８】 従来の発声変形音声認識装置の全体構成を
示すブロック図である。

【図１９】 従来の発声変形音声認識装置における発声
変形モデル学習手段の構成を示すブロック図である。

【図２０】 従来の発声変形音声認識装置における発声
変形音声認識手段の構成を示すブロック図である。

【図２１】 発声変形音声認識装置における発声変形モ
デル学習手段の動作を示すフロー図である。

【図２２】 発声変形がある場合とない場合のスペクト
ル包絡を示す図である。

【図２３】 発声変形モデルの学習動作を示す図であ
る。

【図２４】 ホルマントの移動を示すパラメータによる
スペクトル変形を示す図である。

【図２５】 全体傾斜の変化を示すパラメータによるス
ペクトル包絡の変形を示す図である。

【図２６】 バンド幅の変化を示すパラメータによるス
ペクトル包絡の変形を示す図である。

【符号の説明】

１ 入力端、２ 音響分析手段、３ 発声変形音声特徴
ベクトル時系列、４スイッチ、５，５０，５０ａ 発声
変形モデル学習手段、６ 発声変形なし音声標準モデル
メモリ、７ 音声標準モデル、８ 発声変形モデル、９
発声変形モデルメモリ、１０ 継続時間変動量メモ
リ、１１ 継続時間パラメータ変更手段、１２ 発声変
形音声認識手段、１３ 認識結果、１４ 音声標準モデ
ルバッファ、１５ セグメントデータ作成手段、１６
パラメータ演算手段、１７ 発声変形モデルバッファ、
１９ 音声モデル合成手段、２０ 尤度演算手段、２１
照合手段、２２ａ，２２ｂ 平滑型スペクトル変形手
段、２３ セグメントデータ、２４ 継続時間変動量学
習手段、１２０ 発声変形音声認識手段。

Claims (20)

【特許請求の範囲】
1. 【請求項１】 入力音声信号に対し音響分析を行い発声
   変形音声特徴ベクトル時系列を出力する音響分析手段
   と、 発声変形のない音声データで学習した音声標準モデルを
   記憶する発声変形なし音声標準モデルメモリと、 発声変形された音声に生じる音韻スペクトルの変形を表
   現する発声変形モデルを記憶する発声変形モデルメモリ
   と、 前記発声変形モデルメモリに格納されている１以上の発
   声変形モデルを用いて、前記発声変形なし音声標準モデ
   ルメモリに格納されている音声標準モデルに対し、変形
   音声標準モデルを作成して前記音響分析手段から出力さ
   れる発声変形音声特徴ベクトル時系列に対する音声認識
   結果を出力する音声認識手段とを備えたことを特徴とす
   る発声変形音声認識装置。
2. 【請求項２】 上記音声認識手段は、発声変形モデルメ
   モリに記憶された複数の発声変形モデルを用いて、前記
   発声変形なし音声標準モデルメモリに格納されている音
   声標準モデルに対し、スペクトルの変形処理を施し変形
   音声標準モデルとして出力するスペクトル変形手段と、 このスペクトル変形手段の出力する変形音声標準モデル
   と前記発声変形なし音声標準モデルメモリに記憶された
   音声標準モデルとの合成を行う音声モデル合成手段と、 この音声モデル合成手段の出力する合成モデルを用い
   て、前記音響分析手段から出力される発声変形音声特徴
   ベクトル時系列に対する尤度を計算し、この尤度に基づ
   く認識結果を出力する発声変形音声照合手段とを備えた
   ことを特徴とする請求項１記載の発声変形音声認識装
   置。
3. 【請求項３】 上記発声変形音声認識装置は、更に、こ
   の発声変形なし音声標準モデルメモリに記憶された音声
   標準モデルと、発声変形された音声信号が前記音響分析
   手段に入力された場合に出力される発声変形音声特徴ベ
   クトル時系列とから、発声変形された音声に生じる音韻
   スペクトルの変形を表現する発声変形モデルと学習し
   て、発声変形モデルメモリに出力する発声変形モデル学
   習手段とを備えたことを特徴とする請求項２記載の発声
   変形音声認識装置。
4. 【請求項４】 入力音声信号に対し音響分析を行い発声
   変形音声特徴ベクトル時系列を出力する音響分析手段
   と、 発声変形のない音声データで学習した音声標準モデルを
   記憶する発声変形なし音声標準モデルメモリと、 この発声変形なし音声標準モデルメモリに記憶された音
   声標準モデルと、発声変形された音声信号が前記音響分
   析手段に入力された場合に出力される発声変形音声特徴
   ベクトル時系列とから、発声変形された音声に生じる音
   韻スペクトルの変形を表現する発声変形モデルを１以上
   の発声変形モデルに基づいて学習する発声変形モデル学
   習手段と、 この発声変形モデル学習手段により学習された発声変形
   モデルを記憶する発声変形モデルメモリとを備えたこと
   を特徴とする発声変形音声認識装置。
5. 【請求項５】 前記発声変形モデル学習手段は、 前記発声変形なし音声標準モデルメモリに記憶されてい
   る音声標準モデルを一時的に保持する音声標準モデルバ
   ッファと、 この音声標準モデルバッファに保持された音声標準モデ
   ルを用いて、前記音響分析手段からの発声変形音声特徴
   ベクトル時系列における各音声標準モデルのセグメント
   データを求めるセグメントデータ作成手段と、 このセグメントデータ作成手段からのセグメントデータ
   と、前記音声標準モデルバッファに保持された音声標準
   モデルと、前記発声変形なし音声標準モデルメモリに記
   憶された音声標準モデルとを用いて、発声変形モデルの
   パラメータを求めるパラメータ演算手段と、 このパラメータ演算手段の出力する発声変形モデルのパ
   ラメータを保持する発声変形モデルバッファと、 この発声変形モデルバッファに保持された複数の発声変
   形モデルのパラメータを用いて、前記発声変形なし音声
   標準モデルメモリの音声標準モデルに対しスペクトル変
   形処理を施し、前記音声標準モデルバッファに書き込む
   スペクトル変形手段とにより構成されたことを特徴とす
   る請求項４記載の発声変形音声認識装置。
6. 【請求項６】 上記発声変形音声認識装置は、更に、こ
   の発声変形モデルメモリに記憶された発声変形モデル
   と、前記発声変形なし音声標準モデルメモリに格納され
   ている音声標準モデルとを用いて、前記音響分析手段か
   ら出力される発声変形音声特徴ベクトル時系列に対する
   音声認識結果を出力する音声認識手段とを備えたことを
   特徴とする請求項５記載の発声変形音声認識装置。
7. 【請求項７】 上記発生変形音声認識装置は、更に、音
   声標準モデル間のスペクトルの近似を示す重みを算出し
   て算出した重みを記憶する重み記憶手段を備え、上記ス
   ペクトル変形手段は、上記重み記憶手段が記憶した重み
   の大きい順に学習済みの複数の発声変形モデルを選択し
   てスペクトルの変形処理を行うことを特徴とする請求項
   ２又は５記載の発声変形音声認識装置。
8. 【請求項８】 上記重み記憶手段は、自己の音声標準モ
   デルに対して最大の重みを付すことを特徴とする請求項
   ７記載の発声変形音声認識装置。
9. 【請求項９】 上記スペクトル変形手段は、選択した複
   数の発声変形モデルの各々を用いてスペクトル変形処理
   を行い、その平均値を算出し、変形音声標準モデルとす
   る平均値算出手段を備えたことを特徴とする請求項８記
   載の発声変形音声認識装置。
10. 【請求項１０】 上記平均値算出手段は、上記重みを用
    いて平均値を算出することを特徴とする請求項９記載の
    発声変形音声認識装置。
11. 【請求項１１】 上記スペクトル変形手段は、既に学習
    がなされた発声変形モデルに対応する音声標準モデルに
    対して、既に学習がなされた発声変形モデルとその他の
    発声変形モデルを用いてスペクトル変形処理をすること
    を特徴とする請求項２又は５記載の発声変形音声認識装
    置。
12. 【請求項１２】 上記スペクトル変形手段は、未学習の
    発声変形モデルに対応する音声標準モデルに対して、既
    に学習がなされた発声変形モデルを複数用いてスペクト
    ル変形処理をすることを特徴とする請求項２又は５記載
    の発声変形音声認識装置。
13. 【請求項１３】 入力音声信号に対し音響分析を行い発
    声変形音声特徴ベクトル時系列を出力する音響分析手段
    と、 発声変形のない音声データで学習した音声標準モデルを
    記憶する発声変形なし音声標準モデルメモリと、 この発声変形なし音声標準モデルメモリに記憶された音
    声標準モデルと、発声変形された音声信号が前記音響分
    析手段に入力された場合に出力される発声変形音声特徴
    ベクトル時系列とから、発声変形された音声に生じる音
    韻スペクトルの変形を表現する発声変形モデルを学習す
    る発声変形モデル学習手段と、 音声を構成する要素の継続時間変動量を記憶する継続時
    間変動量メモリと、 前記発声変形モデル学習手段から出力される発声変形モ
    デルと前記発声変形なし音声標準モデルメモリに記憶さ
    れた音声標準モデルとから、音声標準モデルにおける音
    声を構成する要素の継続時間の変動量を求め、前記継続
    時間変動量メモリに記憶させる継続時間変動量学習手段
    とを備えたことを特徴とする発声変形音声認識装置。
14. 【請求項１４】 上記発生変形音声認識装置は、更に、
    発声変形モデル学習手段により学習された発声変形モデ
    ルを記憶する発声変形モデルメモリと、 継続時間変動量メモリに記憶された継続時間変動量に基
    づき前記発声変形なし音声標準モデルメモリ上に格納さ
    れている音声標準モデルの継続時間パラメータの補正を
    行う継続時間パラメータ変更手段と、 継続時間パラメータ変更手段により継続時間パラメータ
    が補正された前記音声標準モデルと前記発声変形モデル
    メモリに記憶された発声変形モデルとを用いて、前記音
    響分析手段から出力される発声変形音声特徴ベクトル時
    系列に対する音声認識結果を出力する音声認識手段とを
    備えたことを特徴とする請求項１３記載の発声変形音声
    認識装置。
15. 【請求項１５】 継続時間変動量学習手段において、求
    める継続時間の変動量を母音部について求めるようにし
    たことを特徴とする請求項１３記載の発声変形音声認識
    装置。
16. 【請求項１６】 継続時間変動量学習手段において、
    「あ」「い」「う」「え」「お」の５母音について平均
    した継続時間変動量を求めるようにしたことを特徴とす
    る請求項１３記載の発声変形音声認識装置。
17. 【請求項１７】 以下の工程を備えた音声認識方法 （ａ）複数の音声標準モデルと上記音声標準モデルの一
    部に対する発声変形モデルと音声標準モデル間の近似を
    示す重みとを予め記憶する工程、（ｂ）上記複数の音声
    標準モデルの中の１つの音声標準モデルに対して、上記
    重みの大きい順に１つ以上の発声変形モデルを選択し、
    選択した発声変形モデルを用いてスペクトル変形を行う
    工程、（ｃ）上記複数の発声変形モデルによるスペクト
    ル変形の結果の平均値を上記音声標準モデルの変形音声
    標準モデルとして出力する工程、（ｄ）発声変形のある
    音声データと、上記変形音声標準モデルを入力し、音声
    データと変形音声標準モデルとを比較して比較結果を出
    力する照合工程。
18. 【請求項１８】 上記音声認識方法は、更に、上記照合
    工程の比較結果を入力して、音声を認識する工程を備え
    たことを特徴とする請求項１７記載の音声認識方法。
19. 【請求項１９】 上記音声認識方法は、更に、上記照合
    工程の比較結果を入力して、発声変形モデルを学習する
    学習工程を備えたことを特徴とする請求項１７記載の音
    声認識方法。
20. 【請求項２０】 以下の工程を備えた音声認識方法 （ａ）入力音声信号に対し音響分析を行い発声変形音声
    特徴ベクトル時系列を出力する工程、（ｂ）発声変形の
    ない音声データで学習した音声標準モデルを記憶する工
    程、（ｃ）この記憶された音声標準モデルと、発声変形
    音声特徴ベクトル時系列とから、発声変形された音声に
    生じる音韻スペクトルの変形を表現する発声変形モデル
    を学習する工程、（ｄ）前記発声変形モデルと前記音声
    標準モデルとから、音声標準モデルにおける音声を構成
    する要素の継続時間の変動量を求め、前記継続時間変動
    量として記憶させる工程、（ｅ）この継続時間変動量に
    基づき前記音声標準モデルの継続時間パラメータの補正
    を行う工程、（ｆ）この継続時間パラメータが補正され
    た前記音声標準モデルと前記発声変形モデルとを用い
    て、前記発声変形音声特徴ベクトル時系列に対する音声
    認識結果を出力する工程。