JPH09258766A - 音声認識のための単語モデル生成装置及び音声認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 音響的特徴量に基づくセグメント単位（ＡＳ
Ｕ）を用いて単語モデルを生成することができ、音声認
識率を改善する音声認識用単語モデル生成装置及び音声
認識装置を提供する。 【解決手段】 ＡＳＵの最尤セグメントコード系列と音
素データベースを比較して得られた、処理音素の前後の
コンテキスト環境が一致する複数セグメントコードのサ
ンプルのうちの最大尤度を有する代表のセグメントコー
ドのサンプルと、他の各サンプルを混合して音素モデル
を生成し、音素データベースにおける音響的特徴量から
最大尤度を有する代表のセグメントコードと、複数のセ
グメントコードのサンプルとを混合して第１の単語モデ
ルを生成する。学習用テキストデータから各単語を読み
出し音素データベース中の同一単語の音素モデルを組み
合わせて第２の単語モデルを生成し、第１と第２の単語
モデルとを混合して音声認識用単語モデルを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音響的特徴量に基
づくセグメント単位（Ａｃｏｕｓｔｉｃａｌｌｙｄｅｒ
ｉｖｅｄ Ｓｅｇｍｅｎｔ Ｕｎｉｔｓ：ＡＳＵｓ）を
用いた音声認識のための単語モデル生成装置及び音声認
識装置に関する。

【０００２】

【従来の技術】音声認識に用いられる音響モデルは、実
際の発声される音響的特徴とは独立に先見的に決められ
た音響単位が広く用いられており、特に、多くは音素の
単位が用いられている。この先見的な音声単位の決定
は、とりわけ調音結合の激しい自然発話又は自由発話音
声認識を行う際に、入力音声の特徴と音響モデルの間に
不整合を生じ、結果として音声認識率の低下を引き起こ
すと考えられる。

【０００３】音響的音声単位に基づく音声認識では、認
識対象語に対する音響的系列をいかに生成するかが重要
な課題である。これを解決するために、認識対象単語の
データベースを大量に用意して単語モデルを生成する方
法（以下、第１の従来例という。）が、例えば、文献１
「Ｋ．Ｐａｌｉｗａｌ，“Ｌｅｘｉｃｏｎ−ｂｕｉｌｄ
ｉｎｇ ｍｅｔｈｏｄｓ ｆｏｒ ａｎ ａｃｏｕｓｔ
ｉｃ ｓｕｂ−ｗｏｒｄ ｂａｓｅｄ ｓｐｅｅｃｈ
ｒｅｃｏｇｎｉｚｅｒ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏ
ｆ ＩＣＡＳＳＰ−９０，ｐｐ．７２９−７３２，１９
９０年」において開示されている。

【０００４】また、音素隠れマルコフモデル（以下、隠
れマルコフモデルをＨＭＭという。）を学習し、これを
接続することにより、単語ＨＭＭモデルを生成する方法
（以下、第２の従来例という。）が、例えば、文献２
「鷹見淳一ほか，“逐次状態分割法による隠れマルコフ
モデル網の自動生成”，電子情報通信学会論文誌，Ｄ−
ＩＩ，Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．
２１５５−２１６４，１９９３年１０月」において開示
されている。

【０００５】

【発明が解決しようとする課題】しかしながら、第１の
従来例においては、単語モデルの学習のために、同一の
単語の大量の音声データベースを必要とするという問題
点がある。また、第２の従来例においては、状態を分割
するという方法をとっているために、長いコンテキスト
を考慮することが困難であり、また、音声認識率はいま
だ比較的低いという問題点があった。

【０００６】本発明の目的は以上の問題点を解決し、大
量の音声データベースを必要とせず、音響的特徴量に基
づくセグメント単位（ＡＳＵ）を用いて単語モデルを自
動的に生成することができ、しかも従来例に比較して音
声認識率を改善することができる音声認識のための単語
モデル生成装置及び音声認識装置を提供することにあ
る。

【０００７】

【課題を解決するための手段】本発明に係る請求項１記
載の音声認識のための単語モデル生成装置は、予め生成
された音響的特徴量に基づくセグメント単位の最尤セグ
メントコード系列と、単語毎の各音素の時間を含む音素
データベースとを比較することにより、処理音素の前後
のコンテキスト環境が一致する複数Ｍ個のセグメントコ
ードのサンプルを検出し、検出された複数Ｍ個のセグメ
ントコードのサンプルの中から最大尤度を有する代表の
セグメントコードのサンプルを検出し、上記代表のセグ
メントコードのサンプルと、上記複数Ｍ個のセグメント
コードのサンプルとの間の時間的な対応付けを動的時間
整合法により行って時間的に正規化を行い、時間的に正
規化された代表のセグメントコードのサンプルと、上記
複数Ｍ個のセグメントコードのサンプルとを各単語毎に
混合することにより、処理音素の前後のコンテキスト環
境が一致する音素列毎に音響的特徴量を含む各単語の音
素モデルを生成する第１の生成手段と、上記音素データ
ベースにおける同一の単語である複数Ｎ個の単語の音響
的特徴量から最大尤度を有する当該単語の代表のセグメ
ントコードのサンプルを検出し、検出された代表のセグ
メントのサンプルと、複数Ｎ個の単語のセグメントコー
ドのサンプルとの時間的な対応付けを動的時間整合法に
より行って時間的に正規化を行い、時間的に正規化され
た代表のセグメントコードのサンプルと、上記複数Ｎ個
のセグメントコードのサンプルとを各単語毎に混合する
ことにより、単語毎に音響的特徴量を含む第１の単語モ
デルを生成する第２の生成手段と、複数の単語の学習用
テキストデータから各単語を読み出して、上記音素デー
タベース中の各同一単語の複数の音素モデルを組み合わ
せることにより、各単語毎に音響的特徴量を含む第２の
単語モデルを生成する第３の生成手段と、上記第１の単
語モデルと上記第２の単語モデルとを、当該モデルの音
響的特徴量を用いて時間的な対応付けを動的時間整合法
により行って時間的に正規化を行い、時間的に正規化さ
れた第１と第２の単語モデルを混合することにより、単
語毎に音響的特徴量を含む第３の単語モデルを生成する
第４の生成手段とを備えたことを特徴とする。

【０００８】また、請求項２記載の音声認識のための単
語モデル生成装置は、請求項１記載の音声認識のための
単語モデル生成装置において、上記第１の生成手段は、
処理音素の前後のコンテキスト環境が一致する度合いに
応じた混合比率を用いて、時間的に正規化された代表の
セグメントコードのサンプルと、上記複数Ｍ個のセグメ
ントコードのサンプルとを各単語毎に混合することを特
徴とする。

【０００９】さらに、請求項３記載の音声認識のための
単語モデル生成装置は、請求項１又は２記載の音声認識
のための単語モデル生成装置において、上記第４の生成
手段は、学習用テキストデータ中に存在する生成すべき
単語モデルの単語のデータ量に応じた混合比率を用い
て、時間的に正規化された第１と第２の単語モデルを混
合することを特徴とする。

【００１０】本発明に係る請求項４記載の音声認識装置
は、請求項１乃至３のうちの１つに記載の単語モデル生
成装置と、上記単語モデル生成装置によって作成された
第３の単語モデルを用いて、入力された文字列からなる
発声音声文の音声信号を音声認識する音声認識手段とを
備えたことを特徴とする。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。上述のように、先見的な
音声単位の決定は、とりわけ調音結合の激しい自然発話
又は自由発話音声認識を行う際に、入力音声の特徴と音
響モデルの間に不整合を生じ、結果として音声認識率の
低下を引き起こすが、本発明に係る単語モデル生成部１
０は、この不整合を緩和するために、本発明者は、音響
的特徴量又は音響的特徴パラメータに基づくセグメント
単位（以下、ＡＳＵという。）を用いた単語モデルを自
動的生成する装置である。ここで、ＡＳＵを用いたモデ
ル（以下、ＡＳＵモデルという。）は、例えば、文献３
「Ｙ．Ｓｈｉｒａｋｉ ｅｔ ａｌ．，“ＬＰＣｓｐｅ
ｅｃｈ ｃｏｄｉｎｇ ｂａｓｅｄ ｏｎ ｖａｒｉａ
ｂｌｅ−ｌｅｎｇｔｈ ｓｅｇｍｅｎｔ ｑｕａｎｔｉ
ｚａｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓａｔｉｏｎ ｏ
ｎ Ａｃｏｕｓｔｉｃ Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇ
ｎａｌＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．３６，Ｎｏ．
９，ｐｐ．１４３７−１４４４，１９８８年」及び文献
４「Ｈ．Ｇｉｓｈ ｅｔ ａｌ．，“Ａ ｓｅｇｍｅｎ
ｔａｌ ｓｐｅｅｃｈ ｍｏｄｅｌ ｗｉｔｈ ａｐｐ
ｌｉｃａｔｉｏｎ ｔｏｗｏｒｄ ｓｐｏｔｔｉｎ
ｇ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＡＳＳＰ−
９３，ｐｐ．ＩＩ−４７７−ＩＩ−４５０，１９９３
年」において開示され、音響的特徴量の平均値、音響的
特徴量の分散、当該ＡＳＵの継続時間とを含む時系列パ
ラメータからなり、複数の状態が縦続に連結されてなる
公知の確率的セグメントモデルであり、各ＡＳＵ内の平
均値の時間変化は任意の多項式の軌跡として表される。
本実施形態では、音響的特徴量は、具体的には、ケプス
トラム係数を人間の聴覚に合わせて補正した１０次元の
メル・ケプストラム係数（以下、ＭＦＣＣという。）と
パワー（又はエネルギー）とを含む１１個の特徴パラメ
ータである。以下では、まず音響的音声単位の生成法を
説明し、この単位を用いた認識対象語に対する単語モデ
ルの作成方法について述べる。

【００１２】まず、ＡＳＵモデルの自動作成について以
下説明する。本実施形態において、この自動生成の処理
は、ＡＳＵモデル生成部２０とビタビセグメンテーショ
ン処理部２１とによって予め実行される公知の処理であ
って以下の手順を含む。 ＜ステップＳＳ１＞１１個の特徴パラメータの平均値、
１１個の特徴パラメータの分散及び継続時間とを含む２
３個のパラメータを単語毎に含む単語音声データベース
のメモリ３０に基づいて、特徴パラメータの時系列を音
響的セグメンテーション処理を実行することにより、単
語毎の初期音声セグメントの時系列モデルを求める。 ＜ステップＳＳ２＞次いで、上記単語毎の初期音声セグ
メントの時系列モデルである音響的セグメントをクラス
タリングすることにより、単語毎の音声セグメントの時
系列を含むＡＳＵモデルを求め、ＡＳＵモデルパラメー
タメモリ３２に書き込む。以上が、ＡＳＵモデル生成部
２０による処理である。 ＜ステップＳＳ３＞さらに、ＡＳＵモデルパラメータメ
モリ３２に記憶された単語毎の音声セグメントの時系列
に基づいて、ビタビセグメンテーション処理を実行する
ことにより、セグメント処理された、すなわち所定の時
間で区分された単語毎の音声セグメントの時系列を求め
る。 ＜ステップＳＳ４＞上記ビタビセグメンテーション処理
の処理結果である単語毎の音声セグメントの時系列に基
づいて、再度のクラスタリング処理によりＡＳＵモデル
を再計算して更新する。 ＜ステップＳＳ５＞必要ならば上記ステップＳＳ３及び
ＳＳ４を繰り返して、最適に時間方向に区分された単語
毎の音声セグメントの時系列を含むＡＳＵモデルを求
め、その最尤セグメントコード系列を最尤セグメントコ
ード系列メモリ３２に書き込む。以上が、ビタビセグメ
ンテーション処理部２１による処理である。以下にこれ
らの各手順の詳細を示す。

【００１３】ＡＳＵモデル生成部２０によって実行され
る音響的セグメンテーション処理は、ダイナミックプロ
グラミング法（ＤＴＷ法）により、次式で定義されるフ
レーム時刻ｉとｊとの間のセグメント内距離Ｄ（ｉ，
ｊ）の総和のフレーム平均が予め定められた歪みより小
さくなる最小のセグメント数となるように時間的に正規
化することにより、音響的に区分された単語毎の音声セ
グメントの時系列を求める。

【００１４】

【数１】

【００１５】ここで、ｘ_mは特徴ベクトルであり、ｘｈ_m
はフレーム時刻ｍがｉからｊまでの間の平均軌跡ベクト
ルであり、Σは単語音声データベースメモリ３０に記憶
された学習データ全体から求められた対角共分散行列で
ある。また、Ｔは転置行列を示す。ここで、各特徴パラ
メータは例えば１０ｍｓのフレーム毎に計算される。次
いで、上記音響的セグメンテーション処理の方法により
得られた音声セグメントの時系列を、次式の尤度最大化
基準によるＬＢＧ（Ｌｉｎｄｅ Ｂｕｚｏ Ｇｒａｙ；
例えば、文献５「Ｌｉｎｄｅ ｅｔ ａｌ．，“Ａｎ
Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｖｅｃｔｏｒ Ｑｕａｎ
ｔｉｚｅｒ Ｄｅｓｉｇｎ”，ＩＥＥＥＴｒａｎｓａｔ
ｉｏｎ，ＣＯＭ−２８，Ｎｏ．１，ｐｐ．８４−９５，
１９８０年」参照。）法のアルゴリズムでクラスタリン
グし、初期ＡＳＵモデルを求める。当該ＡＳＵモデル
は、各単語毎に、詳細後述するように、１１個の音響的
特徴量の平均値と、１１個の音響的特徴量の分散と、継
続時間とを含む。

【００１６】

【数２】

【００１７】ここで、Ｎはフレーム数で表されたセグメ
ント長であり、Ｍは特徴ベクトルの次元数であり、μｈ
_mはクラスタの中心値であり、Σｃはクラスタの中心値
の分散の広がりを表わすクラスタの共分散行列である。
次いで、繰り返しによるＡＳＵモデルの再推定処理（す
なわち、ビタビセグメンテーション処理）においては、
第３の従来例と同様の方法により、ＡＳＵモデルの再推
定処理を繰り返しにより行う。ここでは歪み最小基準で
はなく、尤度最大基準を用いている点が異なる。まず、
ＡＳＵを用いたビタビセグメンテーション処理を行ない
最尤セグメントコード系列を求める。これにより、セグ
メント位置が変化するため、各ＡＳＵの統計情報を再度
計算しＡＳＵモデルを更新する。尤度の増加分が予め設
定した所定のしきい値以下になるか、又は、最大繰り返
し数に達するまでこの処理を繰り返す。

【００１８】図７は、図１のＡＳＵモデル生成部２０及
びビタビセグメンテーション処理部２１によって実行さ
れるビタビセグメンテーション処理の各処理過程の音声
信号波形を示す信号波形図であり、（ａ）は音素コード
がラベル付けされた単語データベースメモリ内の単語
「あくまで」の音声信号波形図であり、（ｂ）は音響的
セグメンテーション処理後の音声信号波形図であり、
（ｃ）は１回のビタビセグメンテーション処理後の音声
信号波形図であり、（ｄ）は１回のビタビセグメンテー
ション処理後の音声信号波形図である。上記図７（ａ）
の下側は各音素を示しており、図７（ｃ）及び（ｄ）の
下側はビタビセグメンテーション処理後の、音素を区分
した最尤セグメントコード系列を示す。上記繰り返しア
ルゴリズムにより、ＡＳＵモデルの尤度が単調に増加す
ること、従来の音素より高い尤度が得られることが実験
的に確かめられている。従って、ＡＳＵモデル生成部２
０によって単語毎の音響セグメンテーション処理後の
（例えば図７（ｂ）の）ＡＳＵモデルパラメータがＡＳ
Ｕモデルパラメータメモリ３１に記憶される一方、ビタ
ビセグメンテーション処理後の（例えば図７（ｄ）の）
最尤セグメントコードが最尤セグメントコード系列メモ
リ３２に記憶される。

【００１９】次いで、ＡＳＵモデルの混合による単語モ
デルの作成について述べる。上記ビタビセグメンテーシ
ョン処理により得られたＡＳＵを用いた学習データであ
る最尤セグメントコード系列と、音素データベースメモ
リ３３に予め記憶された単語毎の音素データベースの音
素ラベル情報を用いて、以下の手順で単語モデルを作成
する。

【００２０】＜ステップＳＳ１１＞混合のための代表サ
ンプルＯｈを、当該処理音素が一致するとともに、当該
処理音素の前の３つの音素と、当該処理音素の後の３つ
の音素との合計７音素のコンテキストが一致するように
当該処理音素の前後のコンテキスト環境が一致する（以
下、「処理音素の前後のコンテキスト環境が一致する」
という。）ＡＳＵモデルの時系列で表されたＭ個のサン
プルＯ（ｉ），（ｉ＝１，２，…，Ｍ）の中から見つけ
る。ここで、サンプルとは、ＡＳＵモデルの時系列で表
され、パワー、詳細後述する１１個の音響的特徴量の平
均値、１１個の音響的特徴量の分散、及び継続時間のサ
ンプル情報を含む。

【００２１】

【数３】

【００２２】ここで、Ｐ（・）は２つのサンプルＯ
（ｍ），Ｏ（ｉ）間の類似性を示す対数尤度を表す。 ＜ステップＳＳ１２＞代表サンプルＯｈと、Ｍ個のサン
プルＯ（ｉ），（ｉ＝１，２，…，Ｍ）とのセグメント
間の時間的対応付けをＡＳＵ内の音響的特徴量の平均値
を動的時間整合法（ＤＴＷ法）により時間的に正規化し
て行う。

【００２３】＜ステップＳＳ１３＞対応付けられた各セ
グメント間で、ＡＳＵ内の音響的特徴量の平均値と分散
を用いて混合する。ここで、単語を構成する音素コンテ
キストとの一致度による重み付け（ｗ_context）を行
う。本実施形態では、左環境３音素，右環境３音素の合
計６音素のコンテキストを考慮している。図８に、上記
ステップＳＳ１１乃至ＳＳ１３に対応し、詳細後述する
図３のステップＳ１１乃至Ｓ１３の処理を示し、３個の
サンプル（音素／ａ／：Ｏ（１），Ｏ（２），Ｏ
（３））を１つの音素モデルとして混合する一例を示
す。このようにして得られた音素モデルを連結すること
により、音素に基づく単語モデルが作成できる。

【００２４】次いで、上記処理における「音素」を「単
語」へ拡張し、単語モデルを作成することを考える。す
なわち、上記ステップＳＳ１１において、対数尤度の総
和を最大とする単語の代表サンプルＯ_wordをＭ個の単語
データから見つけ、上記ステップＳＳ１２及びＳＳ１３
処理と同様に単語モデルを作成する。ここでは音素コン
テキストによる重み付けは行なわない。次に、この単語
モデルと、音素レベルで作成された単語モデルとを、モ
デルの平均値を用いて時間的対応付けし、学習データ中
に存在する認識対象単語のデータ量ｎに応じた重み付け
ｗ_nを行ない混合する。これにより、学習データに認識
対象単語が多く存在する場合は、これらのデータを中心
に学習した精密な単語モデルとなり、全く存在しない場
合には、音素に基づく頑強な単語モデルが得られると考
えられる。

【００２５】図２は、単語モデル生成部１０によって実
行される単語モデル生成処理のフローチャートである。
当該処理では、まず、ステップＳ１において、各単語の
音素モデル生成処理を実行し、次いで、ステップＳ２に
おいて、尤度最大の第１の単語モデル生成処理を実行
し、さらに、ステップＳ３において、音素モデルの組み
合わせによる第２の単語モデル生成処理を実行し、最後
に、ステップＳ４において、第１の単語モデルと第２の
単語モデルとの混合による単語モデル生成処理を実行し
て、当該単語モデル生成処理を終了する。

【００２６】次いで、図１の単語モデル生成部１０に接
続される各メモリ３１乃至３４及び４１乃至４３に記憶
されるデータの書式の一例を表１乃至表７に示す。

【００２７】

【表１】 ＡＳＵモデルパラメータメモリ３１内のＡＳＵモデルパラメータ ─────────────────────────────────── ＡＳＵラベル モデルパラメータのデータ（２３個） ─────────────────────────────────── Ａ１ ４．１３，０．４１，０．２７，−０．０３，…，…，…… Ａ２ ３．１５，０．８７，０．１１，０．０４，…，…，…… Ａ３ …… Ａ４ …… …… …… …… …… ───────────────────────────────────

【００２８】表１から明らかなように、ＡＳＵモデルパ
ラメータメモリ３１内のＡＳＵモデルパラメータは、Ａ
ＳＵラベルと、２３個のモデルパラメータのデータとを
含む。ここで、ＡＳＵラベルはクラスタリングの数（例
えば１２０）だけあり、モデルパラメータのデータはＡ
ＳＵラベルに対応する特徴量の平均値、分散、継続時間
を表わすものである。

【００２９】

【表２】 最尤セグメントコード系列メモリ３２内の最尤セグメントコード系列 ─────────────────────────── 単語 最尤セク゛メントコート゛ 開始フレーム番号 終了フレーム番号 ─────────────────────────── あくまで Ａ１ ０ ３ Ａ５ ４ ７ Ａ４ ８ １２ Ａ８ １３ １６ Ａ１２ １７ ２１ ─────────────────────────── ……… ───────────────────────────

【００３０】表２から明らかなように、最尤セグメント
コード系列メモリ３２内の最尤セグメントコード系列
は、単語毎に、最尤セグメントコードと、開始フレーム
番号と、終了フレーム番号とを含む。ここで、最尤セグ
メントコード系列は、ビタビセグメンテーション処理部
２１によって得られたものであり、単語をＡＳＵ系列と
して表した場合の時間情報をもったラベル系列を示す。

【００３１】

【表３】 音素データベースメモリ３３内の音素データベース ─────────────────────────── 単語 音素ラベル 開始フレーム番号 終了フレーム番号 ─────────────────────────── あくまで ａ ０ ３ ｋ ４ ６ ｕ ７ ９ ｍ １０ １２ ａ １３ １７ ｄ １８ １９ ｅ ２０ ２１ ─────────────────────────── ……… ───────────────────────────

【００３２】表３から明らかなように、音素データベー
スメモリ３３内の音素データベースは、単語毎に、音素
ラベルと、開始フレーム番号と、終了フレーム番号とを
含む。

【００３３】

【表４】 学習用テキストデータメモリ３４内の学習用テキストデータ ─────────────────────────── あくまで，うけたまわる，よやく，…，…，…………… ───────────────────────────

【００３４】表４から明らかなように、学習用テキスト
データメモリ３４内の学習用テキストデータは、複数の
単語のテキストデータを含む。

【００３５】

【表５】 音素モデルメモリ４１内の音素モデル ──────────────────────────── 最大７個の音素 記憶データ からなる音素列 ──────────────────────────── ａｋｕ／ｍ／ａｄｅ 縦続に連結された複数の状態毎の １１個の音響的特徴量の平均値、 １１個の音響的特徴量の分散、及び 継続時間 ──────────────────────────── ………… ────────────────────────────

【００３６】表５から明らかなように、音素モデルメモ
リ４１内の音素モデルは、ステップＳ１１における処理
音素の前後のコンテキスト環境が一致最大７個の音素か
らなる音素列毎に、縦続に連結された複数の状態毎の１
１個の音響的特徴量の平均値、１１個の音響的特徴量の
分散、及び継続時間を含む。

【００３７】

【表６】 第１の単語モデルメモリ４２内の第１の単語モデル ──────────────────────────── 単語 記憶データ ──────────────────────────── ａｋｕｍａｄｅ 縦続に連結された複数の状態毎の １１個の音響的特徴量の平均値、 １１個の音響的特徴量の分散、及び 継続時間 ──────────────────────────── ……… ────────────────────────────

【００３８】表６から明らかなように、第１の単語モデ
ルメモリ４２内の第１の単語モデルは、単語毎に、縦続
に連結された複数の状態毎の１１個の音響的特徴量の平
均値、１１個の音響的特徴量の分散、及び継続時間を含
む。

【００３９】

【表７】 第２の単語モデルメモリ４３内の第２の単語モデル ──────────────────────────── 単語 記憶データ ──────────────────────────── ａｋｕｍａｄｅ 縦続に連結された複数の状態毎の １１個の音響的特徴量の平均値、 １１個の音響的特徴量の分散、及び 継続時間 ──────────────────────────── ……… ────────────────────────────

【００４０】表７から明らかなように、第２の単語モデ
ルメモリ４３内の第２の単語モデルは、単語毎に、縦続
に連結された複数の状態毎の１１個の音響的特徴量の平
均値、１１個の音響的特徴量の分散、及び継続時間を含
む。

【００４１】

【表８】 単語モデルメモリ７内の第３の単語モデル ──────────────────────────── 単語 記憶データ ──────────────────────────── ａｋｕｍａｄｅ 縦続に連結された複数の状態毎の １１個の音響的特徴量の平均値、 １１個の音響的特徴量の分散、及び 継続時間 ──────────────────────────── ……… ────────────────────────────

【００４２】表８から明らかなように、単語モデルメモ
リ７内の第３の単語モデルは、単語毎に、縦続に連結さ
れた複数の状態毎の１１個の音響的特徴量の平均値、１
１個の音響的特徴量の分散、及び継続時間を含む。

【００４３】図３は、図２のサブルーチンである各単語
の音素モデル生成処理のフローチャートである。当該音
素モデル生成処理においては、上記ステップＳＳ１１乃
至ＳＳ１３に対応するステップＳ１乃至Ｓ３を実行す
る。すなわち、図３に示すように、まず、ステップＳ１
１において、メモリ２２内の最尤セグメントコード系列
とメモリ３３内の音素データベースとを比較することに
より、処理音素の前後のコンテキスト環境が一致するＭ
個のサンプルの中から、上記数３で示す最大尤度を有す
る代表サンプルＯｍａｘを見つける。次いで、ステップ
Ｓ１２では、代表サンプルＯｍａｘとＭ個のサンプルＯ
（ｉ）との時間的対応付けを動的時間整合法を用いて時
間的に正規化することにより行う。本実施形態におい
て、時間的対応付けとは、２つのサンプルの時間長を合
わせるように時間的な対応付けを行うことである。さら
に、ステップＳ１３では、時間的に正規化された代表サ
ンプルＯｍａｘと各サンプルＯ（ｉ），（ｉ＝１，２，
…，Ｍ）とを、１つの単語を構成する音素コンテキスト
の一致度による重み付けを行って混合することにより、
各単語の音素モデルを生成して、音素モデルメモリ４１
に書き込む。すなわち、時間的に対応付けされた各セグ
メント間で次の数４によりＡＳＵの音響的特徴量の平均
値ｘ_ph（ｍ）と分散σ_phとを用いて混合し、混合後のＡ
ＳＵの音響的特徴量の平均値ｘｈ_phと分散σｈ_phとを計
算する。

【００４４】

【数４】

【数５】

【００４５】ここで、重み係数ｗ_context（ｍ）の一例
としては、前環境の音素の一致数をｉとし、後環境の音
素の一致数をｊとしたとき、重み係数ｗ_context（ｍ）
は、例えば次の数６で与えられる。

【００４６】

【数６】ｗ_context(ｍ)＝ｉ＋ｊ＋ｋ

【００４７】ここで、ｉ及びｊはそれぞれ０以上の自然
数であって、ｉとｊがともに１以上であるとき、例え
ば、ｋ＝２０とし、一方、ｉとｊの少なくとも一方が０
であるときはｋ＝０とおく。

【００４８】従って、図３の各単語の音素モデル生成処
理は、予め生成された音響的特徴量に基づくセグメント
単位の最尤セグメントコード系列と、単語毎の各音素の
時間を含む音素データベースとを比較することにより、
処理音素の前後のコンテキスト環境が一致する複数Ｍ個
のセグメントコードのサンプルを検出し、検出された複
数Ｍ個のセグメントコードのサンプルの中から最大尤度
を有する代表のセグメントコードのサンプルを検出し、
上記代表のセグメントコードのサンプルと、上記複数Ｍ
個のセグメントコードのサンプルとの間の時間的な対応
付けを動的時間整合法により行って時間的に正規化を行
い、時間的に正規化された代表のセグメントコードのサ
ンプルと、上記複数Ｍ個のセグメントコードのサンプル
とを各単語毎に混合することにより、処理音素の前後の
コンテキスト環境が一致する音素列毎に音響的特徴量を
含む各単語の音素モデルを生成する処理である。

【００４９】図４は、図２のサブルーチンである尤度最
大の第１の単語モデル生成処理のフローチャートであ
る。図４に示すように、まず、ステップＳ２１におい
て、メモリ３３内の音素データベースにおける同一の単
語であるＮ個の音響的特徴量から最大尤度を有する当該
単語の代表サンプルＯｗｍａｘを検出する。次いで、ス
テップＳ２２において、代表サンプルＯｗｍａｘとＮ個
の単語のサンプルＯ（ｎ）との時間的対応付けを動的時
間整合法を用いて時間的正規化することにより行う。さ
らに、ステップＳ２３において、時間的正規化された代
表サンプルＯｗｍａｘと各サンプルＯ（ｎ）とを混合す
ることにより、各単語の第１の単語モデルを生成して、
第１の単語モデルメモリ４２に書き込む。すなわち、尤
度の総和を最大とする単語の代表サンプルＯｈ_wordをＮ
個の単語データから見つけ、認識対象語彙依存音素モデ
ルの生成処理のステップＳ１２及びＳ１３と同様に、対
応づけられた各セグメント間で次の数７を用いて、ＡＳ
Ｕの音響的特徴量の平均値ｘ_wd（ｎ）と分散σ_wd（ｎ）
とを用いて混合し、混合後のＡＳＵの音響的特徴量の平
均値ｘｈ_wdと分散σｈ_wdとを計算する。

【００５０】

【数７】

【数８】

【００５１】従って、図４の尤度最大の第１の単語モデ
ル生成処理は、上記音素データベースにおける同一の単
語である複数Ｎ個の単語の音響的特徴量から最大尤度を
有する当該単語の代表のセグメントコードのサンプルを
検出し、検出された代表のセグメントのサンプルと、複
数Ｎ個の単語のセグメントコードのサンプルとの時間的
な対応付けを動的時間整合法により行って時間的に正規
化を行い、時間的に正規化された代表のセグメントコー
ドのサンプルと、上記複数Ｎ個のセグメントコードのサ
ンプルとを各単語毎に混合することにより、単語毎に音
響的特徴量を含む第１の単語モデルを生成する処理であ
る。

【００５２】図５は、図２のサブルーチンである第２の
単語モデル生成処理のフローチャートである。図５に示
すように、まず、ステップＳ３１において、メモリ３４
内の学習用テキストデータから各単語を読み出して、メ
モリ３３内の音素データベース中の各同一単語の複数の
音素モデルを用いてそれらの音響的特徴量を組み合わせ
て混合することにより第２の単語モデルを生成して、第
２の単語モデルメモリ４３に書き込む。

【００５３】図６は、図２のサブルーチンである混合に
よる単語モデル生成処理のフローチャートである。図６
に示すように、ステップＳ４１において、メモリ４２内
の第１の単語モデルと、メモリ４３内の第２の単語モデ
ルとをモデルの音響的特徴量の平均値を用いて時間的に
対応付けを動的時間整合法を用いて時間的に正規化する
ことにより行う。次いで、ステップＳ４２において、時
間的に正規化された第１と第２の単語モデルを、学習用
テキストデータ中に存在する単語のデータ量に応じた重
み付けを行って混合することにより各単語の第３の単語
モデルを生成して単語モデルメモリ７に書き込む。すな
わち、上記の認識対象語彙依存音素モデルと単語モデル
とを、モデルの平均値を用いて時間的に対応づけし、学
習データ中に存在する認識対象単語のデータ量Ｎに応じ
た重み付け係数ｗ_Ｎを用いる重み付けを行い、次の数９
及び数１０により最終的に計算したい認識対象語彙依存
単語モデルの平均値ｘｈ_wordと分散σｈ_wordを計算す
る。

【００５４】

【数９】 ｘｈ_word＝(ｘｈ_ph＋ｗ_N・ｘｈ_wd)／(１＋ｗ_N)

【数１０】σｈ_word＝(σｈ_ph＋ｗ_N・σｈ_wd)／(１＋ｗ
_N)＋{(ｘｈ_ph−ｘｈ_word)²＋ｗ_N(ｘｈ_wd−ｘｈ_word)²}
／(１＋ｗ_N)

【００５５】重み付け係数ｗ_Nの一例としては、例え
ば、学習用テキストデータの単語数（データ量）に０．
１を乗算した係数を用いる。従って、図６の混合による
単語モデル生成処理は、上記第１の単語モデルと上記第
２の単語モデルとを、当該モデルの音響的特徴量を用い
て時間的な対応付けを動的時間整合法により行って時間
的に正規化を行い、時間的に正規化された第１と第２の
単語モデルを混合することにより、単語毎に音響的特徴
量を含む第３の単語モデルを生成する処理である。

【００５６】次いで、図１に示す自由発話音声認識装置
の構成及び動作について説明する。図１において、文字
列からなる発声音声文である話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、Ａ／Ｄ変
換部２に入力される。Ａ／Ｄ変換部２は、入力された音
声信号を所定のサンプリング周波数でＡ／Ｄ変換した
後、変換後のデジタルデータを特徴抽出部３に出力す
る。次いで、特徴抽出部３は、入力される音声信号のデ
ジタルデータに対して、例えばＬＰＣ分析を実行し、１
０次元のＭＦＣＣとパワーとを含む１１次元の特徴パラ
メータを抽出する。抽出された特徴パラメータの時系列
はバッファメモリ４を介して単語レベル照合部５に入力
される。

【００５７】単語レベル照合部５に接続される単語モデ
ルメモリ７内の単語モデルは、前後の音素環境を連結す
る環境依存型音素モデルが縦続に連結されてなり、かつ
縦続に連結された複数の状態を含んで構成され、各状態
はそれぞれ以下の情報を有する。 （ａ）状態番号、（ｂ）１１次元の音響的特徴量の平均
値、（ｃ）１１次元の音響的特徴量の分散、（ｄ）継続
時間、及び、（ｅ）音素ラベルに対応するセグメントコ
ード。

【００５８】単語レベル照合部５と文レベル照合部６と
は音声認識回路部を構成し、文レベル照合部６には、品
詞や単語の出力確率及び品詞間や単語間の遷移確率など
を含み文法規則メモリ８に記憶された文法規則と、シソ
ーラスの出力確率や対話管理規則を含み意味的規則メモ
リ９に記憶された意味的規則とが連結される。単語レベ
ル照合部５は、入力された音響的特徴量の時系列を上記
メモリ７内の単語モデルと照合して少なくとも１つの音
声認識候補単語を検出し、検出された候補単語に対して
尤度を計算し、最大の尤度を有する候補単語を認識結果
の単語として文レベル照合器６に出力する。さらに、文
レベル照合器６は入力された認識結果の単語に基づい
て、上記文法規則と意味的規則とを含む言語モデルを参
照して文レベルの照合処理を実行することにより、最終
的な音声認識結果の文を出力する。もし、言語モデルで
適合受理されない単語があれば、その情報を単語レベル
照合器５に帰還して再度単語レベルの照合を実行する。
単語レベル照合部５と文レベル照合部６は、複数の音素
からなる単語を順次連接していくことにより、自由発話
の連続音声の認識を行い、その音声認識結果データを出
力する。

【００５９】以上のように構成された自由発話音声認識
装置において、Ａ／Ｄ変換部２と、特徴抽出部３と、単
語レベル照合部５と、文レベル照合部６と、単語モデル
生成部１０と、ＡＳＵモデル生成部２０と、ビダビセグ
メンテーション処理部２１とはそれぞれ、例えば、デジ
タル計算機によって構成される。また、バッファメモリ
４と、文法規則メモリ８と、意味的規則メモリ９と、単
語音声データベース３０と、ＡＳＵモデルパラメータメ
モリ３１と、最尤セグメントコード系列メモリ３２と、
音素データベース３３と、学習用テキストデータ３４
と、音素モデルメモリ４１と、第１の単語モデルメモリ
４２と、第２の単語モデルメモリ４３とはそれぞれ、例
えば、ハードディスクメモリによって構成される。

【００６０】以上の実施形態のステップＳＳ１１又はＳ
１１においては、混合のための代表サンプルＯを、当該
処理音素が一致するとともに、当該処理音素の前の３つ
の音素と、当該処理音素の後の３つの音素との合計７音
素のコンテキストが一致するＡＳＵモデルの時系列で表
されたＭ個のサンプルＯ（ｉ），（ｉ＝１，２，…，
Ｍ）の中から見つけているが、本発明はこれに限らず、
当該処理音素の前の少なくとも１つの音素と、当該処理
音素の後の少なくとも１つの音素とのコンテキストが一
致するＡＳＵモデルの時系列で表されたＭ個のサンプル
Ｏ（ｉ），（ｉ＝１，２，…，Ｍ）の中から見つけても
よい。

【００６１】

【実施例】さらに、本発明者による、図１の自由発話音
声認識装置を用いて実験を行った結果について述べる。
上述の方法で作成される単語モデルを評価するために、
本出願人が所有する「旅行の申し込みのためのコーパ
ス」（例えば、文献６「Ｍｏｒｉｍｏｔｏ ｅｔ ａ
ｌ．，“Ａ ｓｐｅｅｃｈ ａｎｄ ｌａｎｇｕａｇｅ
ｄａｔａｂａｓｅ ｆｏｒ ｓｐｅｅｃｈ ｔｒａｎｓ
ｌａｔｉｏｎ ｒｅｓｅａｒｃｈ”，Ｐｒｏｃｅｅｄｉ
ｎｇｓ ｏｆ ＩＣＳＬＰ’９４，ｐｐ．１７９１−１
７９４，１９９４年」参照。）のデータベースにおいて
含まれる２００単語について特定話者の単語認識実験を
行なった。特徴パラメータの分析条件を表９に示し、Ａ
ＳＵの作成条件を表１０に示す。

【００６２】

【表９】 分析条件 ─────────────────────── 標本化周波数：１６ｋＨｚ プリエンファシス：０．９８ 分析窓：ハミング窓 ２５．６ミリ秒 特徴パラメータ：ＭＦＣＣ１０次元＋エネルギー フレーム周期：１０ミリ秒 ───────────────────────

【００６３】

【表１０】 ＡＳＵ作成条件 ───────────────── 音響的セグメンテーション処理： （ａ）歪みしきい値：１．０ （ｂ）モデル次数：０ （ｃ）歪み尺度：マハラノビス ───────────────── クラスタリング： （ａ）コードブックサイズ：１２０ （ｂ）歪み尺度：最尤 （ｃ）共分散行列：対角 ─────────────────

【００６４】本実験において、比較のために、例えば文
献２において開示されている逐次状態分割法による隠れ
マルコフ網の自動生成方法によって作成した環境依存モ
デルを用いた。ここで、総状態数は４００であり、１状
態あたりの混合数は１である。この結果、逐次状態分割
法による認識率が８０．０％に対して、本発明の方法が
８２．０％（単語データを利用しない場合は８０．５
％）となり、本発明の方法の有効性が確かめられた。

【００６５】以上説明したように、音響的特徴量を用い
て音声単位を自動的に決定し、この単位を利用した新し
い音声認識装置を開示している。本発明の装置において
は、従来の音声単位として広く用いられている音素とい
う枠にとらわれることなく、かつ物理的な基準により一
貫性のある音声単位が得られるという特徴を有する。従
って、大量の音声データベースを必要とせず、しかも音
響的特徴量に基づくセグメント単位（ＡＳＵ）を用いて
単語モデルを自動的に生成することができ、これによ
り、従来例に比較してより長い音素環境を考慮すること
ができるので、音声認識率を改善することができる音声
認識のための単語モデル生成装置及び音声認識装置を提
供することができる。

【００６６】

【発明の効果】以上詳述したように本発明に係る請求項
１記載の音声認識のための単語モデル生成装置によれ
ば、予め生成された音響的特徴量に基づくセグメント単
位の最尤セグメントコード系列と、単語毎の各音素の時
間を含む音素データベースとを比較することにより、処
理音素の前後のコンテキスト環境が一致する複数Ｍ個の
セグメントコードのサンプルを検出し、検出された複数
Ｍ個のセグメントコードのサンプルの中から最大尤度を
有する代表のセグメントコードのサンプルを検出し、上
記代表のセグメントコードのサンプルと、上記複数Ｍ個
のセグメントコードのサンプルとの間の時間的な対応付
けを動的時間整合法により行って時間的に正規化を行
い、時間的に正規化された代表のセグメントコードのサ
ンプルと、上記複数Ｍ個のセグメントコードのサンプル
とを各単語毎に混合することにより、処理音素の前後の
コンテキスト環境が一致する音素列毎に音響的特徴量を
含む各単語の音素モデルを生成する第１の生成手段と、
上記音素データベースにおける同一の単語である複数Ｎ
個の単語の音響的特徴量から最大尤度を有する当該単語
の代表のセグメントコードのサンプルを検出し、検出さ
れた代表のセグメントのサンプルと、複数Ｎ個の単語の
セグメントコードのサンプルとの時間的な対応付けを動
的時間整合法により行って時間的に正規化を行い、時間
的に正規化された代表のセグメントコードのサンプル
と、上記複数Ｎ個のセグメントコードのサンプルとを各
単語毎に混合することにより、単語毎に音響的特徴量を
含む第１の単語モデルを生成する第２の生成手段と、複
数の単語の学習用テキストデータから各単語を読み出し
て、上記音素データベース中の各同一単語の複数の音素
モデルを組み合わせることにより、各単語毎に音響的特
徴量を含む第２の単語モデルを生成する第３の生成手段
と、上記第１の単語モデルと上記第２の単語モデルと
を、当該モデルの音響的特徴量を用いて時間的な対応付
けを動的時間整合法により行って時間的に正規化を行
い、時間的に正規化された第１と第２の単語モデルを混
合することにより、単語毎に音響的特徴量を含む第３の
単語モデルを生成する第４の生成手段とを備える。

【００６７】従って、大量の音声データベースを必要と
せず、しかも音響的特徴量に基づくセグメント単位（Ａ
ＳＵ）を用いて単語モデルを自動的に生成することがで
き、これにより、従来例に比較してより長い音素環境を
考慮することができるので、音声認識率を改善すること
ができる音声認識のための単語モデル生成装置を提供す
ることができる。

【００６８】また、本発明に係る請求項４記載の音声認
識装置は、請求項１乃至３のうちの１つに記載の単語モ
デル生成装置と、上記単語モデル生成装置によって作成
された第３の単語モデルを用いて、入力された文字列か
らなる発声音声文の音声信号を音声認識する音声認識手
段とを備える。

【００６９】従って、大量の音声データベースを必要と
せず、しかも音響的特徴量に基づくセグメント単位（Ａ
ＳＵ）を用いて単語モデルを自動的に生成することがで
き、これにより、従来例に比較してより長い音素環境を
考慮することができるので、音声認識率を改善すること
ができる音声認識装置を提供することができる。

【図面の簡単な説明】

【図１】 本発明に係る一実施形態である自由発話音声
認識装置のブロック図である。

【図２】 単語モデル生成部１０によって実行される単
語モデル生成処理のフローチャートである。

【図３】 図２のサブルーチンである各単語の音素モデ
ル生成処理のフローチャートである。

【図４】 図２のサブルーチンである尤度最大の第１の
単語モデル生成処理のフローチャートである。

【図５】 図２のサブルーチンである第２の単語モデル
生成処理のフローチャートである。

【図６】 図２のサブルーチンである混合による単語モ
デル生成処理のフローチャートである。

【図７】 図１のＡＳＵモデル生成部及びビタビセグメ
ンテーション処理部によって実行されるビタビセグメン
テーション処理の各処理過程の音声信号波形を示す信号
波形図であり、（ａ）は音素コードがラベル付けされた
単語データベースメモリ内の単語「あくまで」の音声信
号波形図であり、（ｂ）は音響的セグメンテーション処
理後の音声信号波形図であり、（ｃ）は１回のビタビセ
グメンテーション処理後の音声信号波形図であり、
（ｄ）は１回のビタビセグメンテーション処理後の音声
信号波形図である。

【図８】 図４のステップＳ１１からステップＳ１３ま
での処理を示すＡＳＵのセグメント列の模式図であり、
（ａ）は元のセグメント列であり、（ｂ）はステップＳ
１１の処理後の代表のセグメント列であり、（ｃ）はス
テップＳ１２の処理を示す代表のセグメント列と複数の
他のセグメント列であり、（ｄ）はステップＳ１３の処
理後のセグメント列である。

【符号の説明】

１…マイクロホン、 ２…Ａ／Ｄ変換部、 ３…特徴抽出部、 ４…バッファメモリ、 ５…単語レベル照合部、 ６…文レベル照合部、 ７…単語モデルメモリ、 ８…文法規則、 ９…意味的規則、 １０…単語モデル生成部、 ２０…ＡＳＵ生成部、 ２１…ビタビセグメンテーション、 ３０…単語音声データベースメモリ、 ３１…ＡＳＵモデルパラメータメモリ、 ３２…最尤セグメントコード系列メモリ、 ３３…音素データベースメモリ、 ３４…学習用テキストデータメモリ、 ４１…音素モデルメモリ、 ４２…第１の単語モデルメモリ、 ４３…第２の単語モデルメモリ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 予め生成された音響的特徴量に基づくセ
   グメント単位の最尤セグメントコード系列と、単語毎の
   各音素の時間を含む音素データベースとを比較すること
   により、処理音素の前後のコンテキスト環境が一致する
   複数Ｍ個のセグメントコードのサンプルを検出し、検出
   された複数Ｍ個のセグメントコードのサンプルの中から
   最大尤度を有する代表のセグメントコードのサンプルを
   検出し、上記代表のセグメントコードのサンプルと、上
   記複数Ｍ個のセグメントコードのサンプルとの間の時間
   的な対応付けを動的時間整合法により行って時間的に正
   規化を行い、時間的に正規化された代表のセグメントコ
   ードのサンプルと、上記複数Ｍ個のセグメントコードの
   サンプルとを各単語毎に混合することにより、処理音素
   の前後のコンテキスト環境が一致する音素列毎に音響的
   特徴量を含む各単語の音素モデルを生成する第１の生成
   手段と、 上記音素データベースにおける同一の単語である複数Ｎ
   個の単語の音響的特徴量から最大尤度を有する当該単語
   の代表のセグメントコードのサンプルを検出し、検出さ
   れた代表のセグメントのサンプルと、複数Ｎ個の単語の
   セグメントコードのサンプルとの時間的な対応付けを動
   的時間整合法により行って時間的に正規化を行い、時間
   的に正規化された代表のセグメントコードのサンプル
   と、上記複数Ｎ個のセグメントコードのサンプルとを各
   単語毎に混合することにより、単語毎に音響的特徴量を
   含む第１の単語モデルを生成する第２の生成手段と、 複数の単語の学習用テキストデータから各単語を読み出
   して、上記音素データベース中の各同一単語の複数の音
   素モデルを組み合わせることにより、各単語毎に音響的
   特徴量を含む第２の単語モデルを生成する第３の生成手
   段と、 上記第１の単語モデルと上記第２の単語モデルとを、当
   該モデルの音響的特徴量を用いて時間的な対応付けを動
   的時間整合法により行って時間的に正規化を行い、時間
   的に正規化された第１と第２の単語モデルを混合するこ
   とにより、単語毎に音響的特徴量を含む第３の単語モデ
   ルを生成する第４の生成手段とを備えたことを特徴とす
   る音声認識のための単語モデル生成装置。
2. 【請求項２】 上記第１の生成手段は、処理音素の前後
   のコンテキスト環境が一致する度合いに応じた混合比率
   を用いて、時間的に正規化された代表のセグメントコー
   ドのサンプルと、上記複数Ｍ個のセグメントコードのサ
   ンプルとを各単語毎に混合することを特徴とする請求項
   １記載の音声認識のための単語モデル生成装置。
3. 【請求項３】 上記第４の生成手段は、学習用テキスト
   データ中に存在する生成すべき単語モデルの単語のデー
   タ量に応じた混合比率を用いて、時間的に正規化された
   第１と第２の単語モデルを混合することを特徴とする請
   求項１又は２記載の音声認識のための単語モデル生成装
   置。
4. 【請求項４】 請求項１乃至３のうちの１つに記載の単
   語モデル生成装置と、 上記単語モデル生成装置によって作成された第３の単語
   モデルを用いて、入力された文字列からなる発声音声文
   の音声信号を音声認識する音声認識手段とを備えたこと
   を特徴とする音声認識装置。