JPH117293A - 音声認識方法及び音声認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 処理量を増加させることなく、リジェクト精
度を向上させる。 【解決手段】 ＨＭＭネットワークでなる音響モデルを
利用して音声認識を行う音声認識方法及び装置に関す
る。ＨＭＭネットワークの任意の状態間の状態遷移の起
こりやすさを表す状態遷移制約情報をあらかじめ作成し
て格納しておく。認識処理により得られた局所ゆう度と
格納されている状態遷移制約情報とに基づいて、入力音
声データの各フレーム毎に、上記局所ゆう度と上記状態
遷移制約情報の加重和を最大化するＨＭＭネットワーク
の状態を求め、この状態に対する局所ゆう度あるいは加
重和を全フレームにわたって累積加算することによっ
て、参照ゆう度を算出する。認識処理により得られた認
識ゆう度と、上記参照ゆう度の比較により、入力音声デ
ータの棄却判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識方法及び
音声認識装置に関し、特に、ＨＭＭ（隠れマルコフモデ
ル；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）ネット
ワークを音声認識に利用しているものに適用して好適な
ものである。

【０００２】

【従来の技術】

文献１：渡辺他，”音節認識を用いたゆう度補正による
未知発話のリジェクション”，電子情報通信学会論文
誌，Ｖｏ１．Ｊ７５−Ｄ−II，Ｎｏ．１２（１９９２） 文献２：大河内，”Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏ
ｄｅ１に基づいた音声認識”，日本音響学会誌４２巻１
２号（１９８６） 音声認識装置では高い認識精度とリアルタイム処理を実
現するため、あらかじめ装置が受理できる単語や文法規
則等を規定することによって、認識対象を制約して認識
処理を行う。しかし、利用者が実際に装置を使用する場
合は、認識対象外の発話や言い誤り、言い直しといった
ことは避けられない。そこで、ある発話に対する認識結
果の信頼性が低い場合に発話を棄却するリジェクト機能
が必要になる。リジェクト機能を付加するための方法と
して、従来、上記文献１に開示される方法がある。

【０００３】この方法では、音声を表現するモデル（一
般に、音響モデルとよばれる）として、音素や音節など
のサブワード単位のＨＭＭを用いることを前提としてい
る。ＨＭＭを用いた音声認識方法の詳細については、上
記文献２に開示されている。サブワードモデルを連結す
ることによって、認識対象として規定された単語や文な
どの発話内容の仮説に対するモデルを構成し、各仮説に
対するモデルが入力音声データを生成する確率（ゆう
度）を計算する。最大ゆう度を与えるモデルに対応する
仮説を認識結果とする。

【０００４】これにリジェクト機能を付加するために
は、以上のような認識対象を制約して行うゆう度計算
（認識処理）の他に、入力音声を任意の音素列あるいは
音節列として認識するためのゆう度計算を行う。それぞ
れのゆう度計算の結果得られた最大ゆう度の差を求め、
閾値判定により入力発話のリジェクト判定を行う。

【０００５】

【発明が解決しようとする課題】しかしながら、以上述
べた従来の音声認識方法及び装置におけるリジェクト方
法は、以下の問題がある。

【０００６】（ａ）トライフォンモデル等のコンテキス
ト依存音素モデルは、音素コンテキストに依存した異音
を表現でき、比較的高い認識精度が得られるため音響モ
デルとしてよく用いられる。しかし、音響モデルとし
て、トライフォンモデル等のコンテキスト依存音素（あ
るいは音節）モデルを用いる場合は、リジェクト機能を
付加すると、処理量が大幅に増加し、音声認識装置に求
められているリアルタイム処理が困難になる恐れがあ
る。

【０００７】（ｂ）音響モデルとして、音素や音節など
のサブワード単位のモデルを用いない場合（例えば、単
語や文節などの単位を用いる場合）、上述した従来のリ
ジェクト方法は適用できない。

【０００８】（ｃ）入力音声を任意の音素列あるいは音
節列として認識するので、非言語音や環境音に対して、
十分なリジェクト精度を期待することができない。すな
わち、認識対象外発話のリジェクト精度は、まだ十分と
いえるレベルではない。

【０００９】

【課題を解決するための手段】かかる課題を解決するた
め、第１の本発明は、隠れマルコフモデルネットワーク
でなる音響モデルを利用して音声認識を行う音声認識方
法において、（１）音響モデルを構成する隠れマルコフ
モデルネットワークの任意の状態間の状態遷移の起こり
やすさを表す状態遷移制約情報をあらかじめ作成して、
格納しておき、（２）認識処理により得られた局所ゆう
度と格納されている状態遷移制約情報とに基づいて、入
力音声データの各フレーム毎に、上記局所ゆう度と上記
状態遷移制約情報の加重和を最大化する隠れマルコフモ
デルネットワークの状態を求め、この状態に対する局所
ゆう度あるいは上記加重和を全フレームにわたって累積
加算することによって、参照ゆう度を算出し、（３）認
識処理により得られた認識ゆう度と、上記参照ゆう度の
比較により、入力音声データの棄却判定を行うことを特
徴とする。

【００１０】また、第２の本発明は、隠れマルコフモデ
ルネットワークでなる音響モデルを利用して音声認識を
行う音声認識装置において、（１）あらかじめ作成され
た、音響モデルを構成する隠れマルコフモデルネットワ
ークの任意の状態間の状態遷移の起こりやすさを表す状
態遷移制約情報を格納している状態遷移制約情報格納手
段と、（２）入力音声データに対する認識結果を算出す
る認識処理手段と、（３）認識処理により得られた局所
ゆう度と格納されている状態遷移制約情報とに基づい
て、入力音声データの各フレーム毎に、上記局所ゆう度
と上記状態遷移制約情報の加重和を最大化する隠れマル
コフモデルネットワークの状態を求め、この状態に対す
る局所ゆう度あるいは上記加重和を全フレームにわたっ
て累積加算することによって、参照ゆう度を算出する参
照ゆう度算出手段と、（４）認識処理により得られた認
識ゆう度と、上記参照ゆう度の比較により、入力音声デ
ータの棄却判定を行うリジェクト判定手段とを有するこ
とを特徴とする。

【００１１】

【発明の実施の形態】

（Ａ）第１の実施形態 以下、本発明による音声認識方法及び装置の第１の実施
形態を図面を参照しながら詳述する。

【００１２】ここで、図１は、この第１の実施形態の音
声認識装置の全体構成を示すブロック図である。

【００１３】まず、この第１の実施形態の音声認識装置
の全体構成をその概略動作と共に説明する。

【００１４】図１において、第１の実施形態の音声認識
装置は、音声分析部１０、音響モデル（格納部）１１、
言語モデル（格納部）１２、認識処理部１３、参照ゆう
度算出部１４、参照テーブル１５及びリジェクト判定部
１６からなっている。

【００１５】入力音声データＤ１０は、マイクロフォン
などから入力された音声信号（アナログ信号）をディジ
タル信号に変換した信号である。音声分析部１０におい
て、入力音声データＤ１０は音響特徴パラメータ時系列
Ｄ１１に変換され、認識処理部１３に入力される。認識
処理部１３では、音響モデル１１及び言語モデル１２を
用いて、入力音声データＤ１０に対する認識結果候補Ｄ
１２及び認識ゆう度Ｄ１３を求め、リジェクト判定部１
６に出力する。また、参照ゆう度算出部１４では、認識
処理部１３で算出された局所ゆう度Ｄ１４と、参照テー
ブル１５に格納されている状態遷移制約情報Ｄ１５とを
用いて、参照ゆう度Ｄ１６を算出する。リジェクト判定
部１６では、認識ゆう度Ｄ１３と参照ゆう度Ｄ１６を用
いてリジェクト判定を行い、認識結果（場合によっては
リジェクトという認識結果）Ｄ１７を出力する。

【００１６】次に、図１に示した音声認識装置を構成し
ている各部の機能及び動作について、詳細に説明する。

【００１７】（Ａ−１）音声分析部１０ 音声分析部１０は、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉ
ｃｔｉｖｅ Ｃｏｄｉｎｇ）分析等の分析手法を用い
て、入力音声データＤ１０を数ｍｓ〜数十ｍｓ程度の短
時間周期（以後、フレームと呼ぶ）毎に音響特徴パラメ
ータに変換する。ここで、音響特徴パラメータとは、音
声データのスペクトル包絡情報を表現するパラメータで
あり、例えば、ケプストラム（対数スペクトルを逆フー
リエ変換した量）やその時間変化量などである。フレー
ム単位に得られる音響特徴パラメータを音響特徴パラメ
ータ時系列Ｄ１１とする。

【００１８】（Ａ−２）音響モデル１１ 音響モデル１１は、音声を表現するＨＭＭの集合であ
る。この第１の実施形態では、音響モデル１１の言語的
な単位として、音声の任意の構成要素（音素、音節、単
語、文節など）を採用することが可能である。また、音
素や音節などのサブワードを単語として採用した場合、
コンテキスト独立／依存のどちらのモデルでも使用する
ことができる。つまり、リジェクト機能を付加するため
に使用する音響モデルが制限されることはない。

【００１９】以下の第１の実施形態の説明においては、
例として、トライフォンモデルを使用する場合について
説明する。トライフォンモデルは、コンテキスト依存音
素モデルで、各々の音素に対して、前後の音素コンテス
ト別に異なるモデルを用意するものである。

【００２０】（Ａ−３）言語モデル１２ 言語モデル１２は、音声認識装置が受理可能な単語や文
法規則（構成）等を規定して、認識対象を制約するモデ
ルである。例えば、図２に示すように、有限状態オート
マトンを用いて、受理可能な単語系列を構文ネットワー
クの形で記述したものである。

【００２１】（Ａ−４）認識処理部１３ 認識処理部１３は、音声が音声認識装置に入力される
（認識処理を開始する）以前に、音響モデル１１及び言
語モデル１２を用いて受理可能な発話内容の仮説を表現
するＨＭＭネットワークをあらかじめ構成しておく。

【００２２】ここで、ＨＭＭネットワークとは、単語の
音素表記や文法規則等の制約に従ってトライフォンモデ
ルを連結して作成する文字通りＨＭＭのネットワークで
ある。例えば、図２に示したような構文ネットワークに
おいて、単語の部分を、トライフォンモデルの連結によ
って作成した単語モデル（ＨＭＭ）に置き換えたもので
ある。このようなネットワークを構成することによって
認識処理を効率化することができる。各々の発話内容に
仮説に対応するモデルは、ＨＭＭネットワークの一部と
して表現される。

【００２３】認識処理部１３は、装置に発話が入力され
ると、ＨＭＭネットワークを用いて対応するモデルが音
響特徴パラメータ時系列Ｄ１１を生成する確率（ゆう
度）を計算する。認識処理部１３は、ＨＭＭネットワー
ク中で最大ゆう度を与える仮説を探索し、その仮説を認
識結果候補Ｄ１２とし、また、このときの最大ゆう度を
対数化した最大対数ゆう度を、認識ゆう度Ｄ１３とす
る。

【００２４】ここで、認識処理部１３は、各仮説に対す
るゆう度計算は、音響特徴パラメータ時系列Ｄ１１のフ
レームに同期して並列に行う。認識処理部１３は、各フ
レームについては、ＨＭＭネットワークの各状態に対す
る出力確率分布計算（当該フレームの音響特徴パラメー
タを出力する確率の計算）を行い、これを対数化して局
所ゆう度１４とする。

【００２５】認識処理部１３は、認識ゆう度Ｄ１３を、
局所ゆう度Ｄ１４とＨＭＭネットワークの状態遷移確率
を用いて、前述した文献２に開示されるビタビ（Ｖｉｔ
ｅｒｂｉ）アルゴリズム等の手段により算出する。

【００２６】（Ａ−５）参照テーブル１５ 参照テーブル１５は、参照ゆう度算出部１４で用いる状
態遷移制約情報Ｄ１５を格納しているテーブルである。
状態遷移制約情報Ｄ１５は、あらかじめ音響モデル１１
を用いて作成される。図示しない参照テーブル作成部が
行う状態遷移制約情報Ｄ１５の作成方法は、以下の通り
である。

【００２７】［ｓｔｅｐ１］参照テーブル作成部は、ま
ず、音響モデル１１を構成する全てのトライフォンモデ
ルを用いて、ＨＭＭネットワークの状態に対するクラス
タリングを行う。

【００２８】クラスタリングにより生成される各クラス
タを、以後、状態クラスタと呼ぶ。クラスタリングにお
ける距離尺度は、各状態を表現するパラメータを用いて
定義する。例えば、各状態の出力確率分布が多次元正規
分布で表されている場合には、多次元正規分布の平均ベ
クトル（あるいは、さらに分散ベクトルを付加したベク
トル）を用いて、例えば、以下のように定義すればよ
い。

【００２９】２つの平均ベクトル（あるいは、さらに分
散ベクトルを付加したベクトル） ｘ＝［ａ１，ａ２，…，ａｎ］ ｙ＝［ｂ１，ｂ２，…，ｂｎ］ に対する、距離尺度Ｄを、 Ｄ＝（ａ１−ｂ１）² ＋（ａ２−ｂ２）² ＋…＋（ａｎ
−ｂｎ）² で定義する。

【００３０】クラスタリング方法には、ＬＢＧアルゴリ
ズム等の一般的なクラスタリングアルゴリズムを用いる
ことができるが、ここでは、より簡易な方法を、一例と
して以下に示す。

【００３１】Ｍ個のサンプル集合Ｘ＝｛ｘ１，ｘ２，・
・・，ｘＭ｝をクラスタリングする場合を考える。ま
た、閾値Ｔｈが与えられているとする。

【００３２】まず、任意に１個のサンプル、例えばｘ１
を取り出し、これをクラスタ中心ｚ１（＝ｘ１）とす
る。

【００３３】次に、他のサンプルｘｋ（ｋ＝２，…，
Ｍ）を取り出し、既に定められたクラスタ中心ｚ１と今
回取り出したサンプルｘｋとの距離Ｄ１ｋを計算する。
そして、Ｄ１ｋ≦Ｔｈであれば、サンプルｘｋはクラス
タ中心ｚ１を中心とするクラスタに属すると判定する。
一方、Ｄ１ｋ＞Ｔｈであれば、サンプルｘｋを新たなク
ラスタ中心ｚ２とする。

【００３４】また次に、残りのサンプルｘｋの１個を取
り出し、既に定められたクラスタ中心ｚ１，ｚ２との距
離Ｄ１ｋ，Ｄ２ｋを計算して、距離Ｄ１ｋ，Ｄ２ｋのい
ずれかが閾値Ｔｈより小さければ、今回取り出したサン
プルｘｋはそのクラスタに属するものとし、そうでなけ
れば、今回取り出したサンプルｘｋを新たなクラスタ中
心ｚ３とする。

【００３５】以上の操作を全てのサンプル｛ｘ１，ｘ
２，・・・，ｘＭ｝に対して行うことによって、クラス
タリングを終了する。ここで、閾値Ｔｈの値は、例えば
実験的に決定する。

【００３６】［ｓｔｅｐ２］図示しない参照テーブル作
成部は、次に、状態クラスタ間の遷移確率を算出する。
状態クラスタ間の遷移確率の算出は、例えば、以下のよ
うに行う。

【００３７】まず、状態クラスタ間の遷移確率を定義す
る。それぞれの状態クラスタに属する各状態は、トライ
フォンモデル上では他の状態に接続させている。例え
ば、図３に示すように、状態Ｓ₁ は状態Ｓ₂ に、状態Ｓ
₂ は状態Ｓ₃ にそれぞれ接続されている。また、トライ
フォンモデルの終端状態Ｓ₃ は、次に続き得るトランフ
ォンモデルの始端状態Ｓ₄ ，Ｓ₅ ，Ｓ₆ に接続されてい
る。一般に、あるトライフォンモデルに対して、次に続
き得るトランフォンモデルは複数存在するので、トライ
フォンモデルの終端状態は複数に接続されている。状態
の接続関係には向き（図３では矢印）はあり、向きは一
方の状態から他方の状態への遷移方向を表している。こ
のときの遷移の起こりやすさとして、状態遷移確率が付
与されている。また、各状態には自己ループ遷移を表す
接続も存在する。このようなトランフォンモデル上での
状態の遷移接続を、状態クラスタに属する各状態に対し
て適用する。そうすると、任意の状態クラスタ間に、構
成要素の状態が作る遷移接続の束ができる。図４はこの
様子を示した例である。図４において、状態クラスタ１
に属する状態Ｓ₁ は、状態クラスタ₂ に属する状態Ｓ２
に接続されており、トランフォンモデルにおいて、状態
Ｓ₁ から状態Ｓ₂ への遷移接続（状態遷移確率ａ₁₂）が
存在することを意味する。図４では状態クラスタ１に属
する状態から、他の状態クラスタに属する状態への遷移
接続だけを示した（一部、状態クラスタ１の内部におけ
る遷移接続も示した）。状態クラスタ間で同一の遷移方
向を持つ遷移接続を束ねたものが”遷移接続の束”であ
る。

【００３８】この遷移接続の束を用いて状態クラスタ間
の遷移確率を、次の（１）式〜（３）式により定義す
る。

【００３９】

【数１】 Ｐ_ij：状態クラスタｈから状態クラスタｉへの遷移確率 Ｎ：状態クラスタの総数 Ｍ：状態の総数 ａ_uv：状態Ｓ_u から状態Ｓ_v への状態遷移確率 ａ_uu：状態Ｓ_u の自己ループ遷移確率 ｒ_i ：ともに状態クラスタｉに属する異なる状態間にお
ける遷移接続の個数（自己ループ遷移接続は対象外） ｚ_i ：状態クラスタｉから他の状態クラスタへの”遷移
接続の束”の個数 ｑ_u ：ある状態クラスタに属する状態Ｓ_u から他の状態
クラスタに属する状態への遷移接続の個数 上式において、ｆ_ij（ｉ≠ｊ）は、状態クラスタｉから
状態クラスタｊへの遷移接続の束に対する状態遷移確率
の総和を表している。ただし、遷移接続が存在しない状
態クラスタ間においてはｆ_ij＝０である。また、ｆ
_iiは、状態クラスタｉの内部における遷移接続に対する
状態遷移確率の総和を、状態クラスタｉから他の状態ク
ラスタへの”遷移接続の束”の個数で割った値を表して
いる。

【００４０】以上、説明した定義式を用いて状態クラス
タ間の遷移確率Ｐ_ijを算出する。算出した状態クラスタ
間の遷移確率Ｐｉｊは、対数化して重み係数（定数）Ｗ
を乗じる。重み係数Ｗについては、後述する参照ゆう度
算出部１４の説明において説明する。このようにして得
られた値Ｗ・ｌｏｇ Ｐ_ijに、トランフォンモデルの各
状態がどの状態クラスタに属するかを示すヘッダ情報を
付加して状態遷移制約情報Ｄ１５とする。

【００４１】（Ａ−６）参照ゆう度算出部１４ 参照ゆう度算出部１４では、下記の（４）式、（５）式
に従って参照ゆう度Ｄ１６（＝Ｌ_G ）を算出する。

【００４２】

【数２】 Ｌ_G ：参照ゆう度Ｄ１６ Ｔ：フレーム総数 Ｗ：状態遷移制約情報に対する重み係数 ｖ：任意の状態番号 Ｐ_ij：状態クラスタｈから状態クラスタｉへの遷移確率 ｉ，ｊ：任意の状態クラスタ番号 Ｖ_t ：認識処理部１３において、フレーム番号ｔに出力
確率分布計算を行う状態全体の集合 ｂ_v （Ｘ_t ）：状態ｖにおける音響特徴パラメータＸ_t
の出力確率（密度） Ｘ_t ：フレーム番号ｔにおける音響特徴パラメータ ＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下
限値 この参照ゆう度Ｄ１６（＝Ｌ_G ）の計算に必要なｌｏｇ
ｂ_v （Ｘ_t ）は認識処理部１３から参照ゆう度算出部
１３に局所ゆう度Ｄ１４として与えられ、また、Ｗ・ｌ
ｏｇ ｃ（ｓ（ｔ−１），ｖ）は参照テーブル１５から
参照ゆう度算出部１３に状態遷移制約情報Ｄ１５として
与えられる。このような情報が与えられているため、参
照ゆう度算出部１４で行う演算は、（４）式及び（５）
式から明らかなように、加算と大小比較（（５）式にお
ける最大値探索の場合には大小比較を行う）のみであ
る。

【００４３】（４）式で求まる参照ゆう度Ｌ_G は、任意
の発話を表現するモデルに対する累積対数ゆう度を表し
ている。また、参照ゆう度Ｌ_G を決定する各要素Ｌ
_g （ｔ）は、任意の発話内容を表現するモデルに対する
各フレームにおける局所的な対数ゆう度を表している。

【００４４】次に、Ｌ_g （ｔ）を定義する（５）式にお
けるｌｏｇ ｃ（ｓ（ｔ−１），ｖ）の働きについて説
明する。ｓ（ｔ−１）は、フレーム番号（ｔ−１）にお
いて、（５）式における最大値を与える状態番号であ
る。ｌｏｇ ｃ（ｓ（ｔ−１），ｖ）は、状態番号ｓ
（ｔ−１）が何であるのかによって、次フレーム番号ｔ
において、（５）式における最大値を与える状態番号ｓ
（ｔ）の候補を制約する。すなわち、状態番号ｓ（ｔ−
１）の状態から状態番号ｖの状態への遷移の起こりやす
さを、制約として用いている。この状態遷移制約によっ
て、トランフォンモデルが有する音声の時間構造を考慮
した参照ゆう度の算出を可能にしている。

【００４５】また、（５）式において状態遷移制約情報
に対する重み係数Ｗは、ｌｏｇ ｃ（ｓ（ｔ−１），
ｖ）とｌｏｇ ｂ_v （Ｘ_t ）のＬ_g （ｔ）に寄与する割
合を調節するためのパラメータ（定数）であり、ｃ（ｓ
（ｔ−１），ｖ）が０のときに、その対数値として置き
換えられる定数ＩＮＨは、状態クラスタ間の遷移確率を
対数化した値の下限値を設定するためのパラメータ（定
数）である。これらの値はともに、例えば、実験的に決
定される。定数ＩＮＨは、状態クラスタ別に異なる値を
設定することも可能である。

【００４６】（Ａ−７）リジェクト判定部１６ リジェクト判定部１６は、次の（６）式により、認識ゆ
う度Ｌ_R と参照ゆう度Ｌ_G との差をフレーム総数で正規
化した値Ｌ_M を求め、この値Ｌ_M を閾値θと比較して入
力音声データＤ１０のリジェクト判定を行う。なお、
（６）式における認識ゆう度Ｌ_R （＝Ｄ１３）は、認識
処理部１３から与えられ、参照ゆう度Ｌ_G（＝Ｄ１６）
は、参照ゆう度算出部１４から与えられる。

【００４７】

【数３】 Ｌ_R ：認識ゆう度Ｄ１３ Ｌ_G ：参照ゆう度Ｄ１６ Ｔ：フレーム総数 θ：リジェクト判定の閾値 （６）式において、リジェクト判定の閾値θは、例えば
実験的に決定される。閾値θの値によって、入力が認識
対象である場合の認識率と、認識対象外である場合のリ
ジェクト率が変化する。一般に、両者にはトレードオフ
の関係にあるので、所望の性能に合わせて閾値θの値を
決定する。

【００４８】リジェクト判定部１６は、値Ｌ_M が閾値θ
より大きければ、入力がリジェクトされたことを表す情
報を認識結果Ｄ１７として出力し、一方、値Ｌ_M が閾値
θ以下であれば、認識処理部１３から与えられた認識結
果候補Ｄ１２を認識結果Ｄ１７として出力する。

【００４９】以上のように、第１の実施形態の音声認識
方法及び装置によれば、入力発話のジェクト判定に用い
る参照ゆう度Ｄ１６を、認識ゆう度Ｄ１３の算出過程で
得られる局所ゆう度Ｄ１４と、あらかじめ作成した状態
遷移制約情報Ｄ１５とに基づいて算出しているので、参
照ゆう度Ｄ１６の算出に要する演算は加算と大小比較だ
けになり、リジェクト機能の付加による処理量の増加を
きわめて小さくすることができる。

【００５０】また、第１の実施形態の音声認識方法及び
装置によれば、参照ゆう度Ｄ１６を、音響モデル１１が
有する音声の時間構造を考慮しつつ、種々の音響的事象
に対処可能な定式化を行って算出しているため、音素あ
るいは音節認識を用いる方法（従来法）と同等のリジェ
クト精度を得ることができる。

【００５１】すなわち、認識対象外の発話（認識対象語
以外の語、あるいは文法外の発話）が装置に入力された
場合に、認識のための処理量をほとんど増加されること
なく、効果的に入力を棄却することが可能になる。ま
た、せき、くしゃみなどの非言語音、あるいはベルなど
の環境音が入力された場合には、音素あるいは音節認識
を用いる方法よりも高いリジェクト精度を期待すること
ができる。

【００５２】上述した効果の特徴を整理すると、以下の
通りである。

【００５３】（ａ）音響モデルとして、音素や音節など
のサブワードに対するコンテキスト依存モデルを用いて
も、リジェクト機能の付加による処理量の増加はほどん
どない。

【００５４】（ｂ）音響モデルとして、いかなる言語的
単位（音素、音節、単語、文節など）のモデルを用いて
も、リジェクト機能を付加することが可能である。

【００５５】（ｃ）認識対象外発話の入力に対して音素
あるいは音節認識を用いる方法（従来法）と同等のリジ
ェクト精度を得ることができる。また、非言語音や環境
音の入力に対しては従来法より高いリジェクト精度を得
ることができる。

【００５６】（Ｂ）第２の実施形態 次に、本発明による音声認識方法及び装置の第２の実施
形態を図面を参照しながら詳述する。

【００５７】ここで、この第２の実施形態の音声認識装
置の全体構成をブロック図で示すと、第１の実施形態と
同様に図１で表され、以下の説明においては、図１での
符号を用いて行う。また、全体としての概略動作も、第
１の実施形態と同様である。すなわち、音声分析部１０
において、入力音声データＤ１０は音響特徴パラメータ
時系列Ｄ１１に変換され、認識処理部１３に入力され、
認識処理部１３において、音響モデル１１及び言語モデ
ル１２を用いて、入力音声データＤ１０に対する認識結
果候補Ｄ１２及び認識ゆう度Ｄ１３が求められ、リジェ
クト判定部１６に出力される。一方、参照ゆう度算出部
１４において、認識処理部１３で算出された局所ゆう度
Ｄ１４と、参照テーブル１５に格納されている状態遷移
制約情報Ｄ１５とを用いて、参照ゆう度Ｄ１６が算出さ
れてリジェクト判定部１６に与えられ、リジェクト判定
部１６において、認識ゆう度Ｄ１３と参照ゆう度Ｄ１６
を用いてリジェクト判定を行い、認識結果（場合によっ
てはリジェクトという認識結果）Ｄ１７が出力される。

【００５８】しかしながら、第２の実施形態において
は、参照テーブル１５に格納されている状態遷移制約情
報Ｄ１５が、第１の実施形態のものと異なっている。こ
れに関連して、参照ゆう度算出部１４における参照ゆう
度Ｄ１６の算出方法が、第１の実施形態とは異なってい
る。

【００５９】そこで、第２の実施形態については、参照
テーブル１５及び参照ゆう度算出部１４についてのみ、
詳細な機能、動作説明を行い、第１の実施形態と同様な
機能、動作を行う音声分析部１０、音響モデル（格納
部）１１、言語モデル（格納部）１２、認識処理部１３
及びリジェクト判定部１６については、詳細な機能、動
作説明は省略する。

【００６０】（Ｂ−１）参照テーブル１５ 参照テーブル１５は、参照ゆう度算出部１４で用いる状
態遷移制約情報Ｄ１５を格納しているテーブルであり、
図示しない参照テーブル作成部が、あらかじめ音響モデ
ル１１を用いて作成した状態遷移制約情報Ｄ１５を格納
している点は、第１の実施形態と同様である。

【００６１】しかし、図示しない参照テーブル作成部が
行う状態遷移制約情報Ｄ１５の作成方法が、第１の実施
形態と異なっており、以下、第２の実施形態における作
成方法を説明する。

【００６２】［ｓｔｅｐ１］音響モデル１１を構成する
すべてのトライフォンモデルを用いて、ＨＭＭの状態に
対するクラスタリングを行う。このｓｔｅｐ１の処理
は、第１の実施形態と同様である。

【００６３】［ｓｔｅｐ２］ＨＭＭネットワークの状態
に対するクラスタリングが終了すると、状態クラスタ間
の遷移確率を、以下のようにして算出する。クラスタリ
ングによって得られた状態クラスタ間の遷移接続の様子
は、上述した第１の実施形態の説明で用いた図４で表す
ことができる。しかし、後述する処理のイメージが理解
しやすいように、ここでは、図５も併せて示しておく。

【００６４】この第２の実施形態においては、図５及び
図４に示すような状態クラスタ間の遷移接続に基づい
て、次の（７）式〜（９）式に示す定義式に従い、状態
クラスタ間の遷移確率を定義する。

【００６５】

【数４】 Ｐ（ｉ，ｊ｜ｈ）：状態クラスタｈから状態クラスタｉ
への遷移が起こったという条件の下で、状態クラスタｉ
から状態クラスタｊへの遷移が起こる条件付き確率 Ａ（ｈ）：状態クラスタｈに属する状態に対する遷移接
続先の状態全体の集合 ａ（ｕ，ｖ）：状態Ｓ_u から状態Ｓ_v への状態遷移確率 ａ（ｕ，ｕ）：状態Ｓ_u の自己ループ遷移確率 ｑ（ｕ）：ある状態クラスタに属する状態Ｓ_u から、他
の状態クラスタに属する状態への遷移接続の個数 ｅ（ｕ）：ある状態クラスタに属する状態Ｓ_u から、同
一の状態クラスタに属する他の状態への遷移接続の個数 ｚ（ｉ）：状態クラスタｉに属する状態に対する遷移接
続先の状態を要素とする状態クラスタの個数 Ｎ：状態クラスタの総数 Ｍ：状態の総数 ただし、ｉ≠ｈを満足する状態クラスタ番号ｈが存在し
ない場合には、（７）式における条件付き確率Ｐ（ｉ，
ｊ｜ｈ）として、状態クラスタ間の遷移確率Ｐ（ｉ，
ｊ）そのものを適用する。状態クラスタ間の遷移確率Ｐ
（ｉ，ｊ）については、（１０）式〜（１２）式で定義
する。

【００６６】

【数５】 状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）
は、例えば、図５に示すように、状態クラスタｈから状
態クラスタｉへの遷移が起こったという条件の下で、そ
の後、状態クラスタｉから状態クラスタｊへの遷移が起
こる条件付き確率を表している。ただし、状態クラスタ
ｈから状態クラスタｉへの遷移と、状態クラスタｉから
状態クラスタｊへの遷移は、必ずしも隣接するフレーム
で起こらなくてもよいものとして定式化している。

【００６７】上式において、ｆ（ｉ、ｊ｜ｈ）（ｉ≠
ｊ）は、状態クラスタｉから状態クラスタｊへの個々の
遷移接続に対する状態遷移確率に、状態クラスタｈから
状態クラスタｉへの遷移接続を考慮するための係数ｗ
（ｕ）を乗じたものの総和を表している。係数ｗ（ｕ）
の定数パラメータβは、Ｐ（ｉ，ｊ｜ｈ）に対する状態
クラスタｈから状態クラスタｉへの遷移接続が与える影
響を制御するためパラメータであり、値は例えば実験的
に決定される。また、ｆ（ｉ，ｉ｜ｈ）は、状態クラス
タｉの内部における遷移接続に対する状態遷移確率に係
数ｗ（ｕ）を乗じたものの総和を、状態クラスタｉから
他の状態クラスタへの”遷移接続の束”の個数で割った
値を表している。ｆ（ｉ，ｋ｜ｈ）のｋについての総和
に対するｆ（ｉ，ｊ｜ｈ）の割合として、状態クラスタ
間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義してい
る。

【００６８】以上、説明した定義式を用いて状態クラス
タ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を算出する。
算出した状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ
｜ｈ）は、対数化して重み係数（定数）Ｗを乗じる。重
み係数Ｗについては後述する参照ゆう度算出部１４の説
明で説明する。

【００６９】このようにして得られたＷ・ｌｏｇＰ
（ｉ，ｊ｜ｈ）に、トランフォンモデルの各状態がどの
状態クラスタに属するかを示すヘッダ情報を付加して状
態遷移制約情報Ｄ１５として参照ゆう度算出部１４に与
える。

【００７０】（Ｂ−２）参照ゆう度算出部１４ 参照ゆう度算出部１４では、次の（１３）式、（１４）
式に従って、参照ゆう度Ｄ１６を算出する。上述したよ
うに、参照ゆう度Ｄ１６（＝Ｌ_G ）の算出に必要なｌｏ
ｇ ｂ_V （Ｘ_t ）は認識処理部１３より局所ゆう度Ｄ１
４として与えられ、また、Ｗ・ｌｏｇ ｃ（ｕ，ｖ）は
参照テーブル１５より状態遷移制約情報Ｄ１５として与
えられる。

【００７１】

【数６】 Ｌ_G ：参照ゆう度Ｄ１６ Ｔ：フレーム総数 Ｗ：状態遷移制約情報に対する重み係数 ｕ：フレーム番号（ｔ−１）において、（１４）式の右
辺の最大値を与える状態番号 ｖ：任意の状態番号 Ｖ_t ：認識処理部１３において、フレーム番号ｔに出力
確率分布計算を行う状態全体の集合 ｈ：以下の条件（１）〜（３）を満足する状態クラスタ
番号 条件（１）；フレーム番号ｔ^* ＜（ｔ−２）において、
（１４）式の右辺の最大値を与える状態が属する状態ク
ラスタである 条件（２）；状態番号ｕの状態が属する状態クラスタｉ
以外である 条件（３）；上記条件（１）及び（２）を満足する状態
クラスタの内、最大のフレーム番号ｔ^* に対する状態ク
ラスタである Ｐ（ｉ，ｊ｜ｈ）：状態クラスタｈから状態クラスタｉ
への遷移が起こったという条件の下で、状態クラスタｉ
から状態クラスタｊへの遷移が起こる条件付き遷移確率 ｉ，ｊ：任意の状態クラスタ番号 ｂ_v （Ｘ_T ）：状態ｖにおける音響特徴パラメータＸ_t
の出力確率（密度） Ｘ_t ：フレーム番号ｔにおける音響特徴パラメータ ＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下
限値 （１３）式及び（１４）式から明らかなように、参照ゆ
う度算出部１４で行う参照ゆう度Ｄ１６の算出演算は、
加算と大小比較のみである。また、この第２の実施形態
においても、（１４）式において、状態遷移制約情報に
対する重み係数Ｗは、ｌｏｇ ｃ（ｕ，ｖ）とｌｏｇ
ｂ_v （Ｘ_t ）のＬ_g （ｔ）に寄与する割合を調節するた
めのパラメータ（定数）であり、定数ＩＮＨは状態クラ
スタ間の遷移確率を対数化した値の下限値を設定するた
めのパラメータ（定数）であり、ともに、その値は例え
ば実験的に決定される。定数ＩＮＨは状態クラスタ別に
異なる値を設定することも可能である。

【００７２】また、この第２の実施形態においても、参
照ゆう度Ｌ_G は、任意の発話を表現するモデルに対する
累積対数ゆう度を表し、この構成要素である参照局所ゆ
う度Ｌ_g （ｔ）は、任意の発話内容を表現するモデルに
対する各フレームにおける局所的な対数ゆう度を表す。

【００７３】さらに、参照局所ゆう度Ｌ_g （ｔ）を定義
する（１４）式におけるｌｏｇ ｃ（ｕ，ｖ）の基本的
な働きも、第１の実施形態とほぼ同様であるが、状態ク
ラスタ間の遷移確率の定義式が異なるため、音声の時間
構造をより精緻に考慮することを可能にしている。すな
わち、フレーム番号（ｔ−１）において、（１４）式の
右辺の最大値を与える状態番号をｕとすると、ｌｏｇ
ｃ（ｕ，ｖ）は状態番号ｕが何であるのかによって、さ
らに、フレーム番号（ｔ−１）以前に、（１４）式の右
辺の最大値を与える状態番号の履歴によって、次フレー
ム番号ｔにおいて（１４）式の右辺の最大値を与えた状
態番号の候補を制約する。状態番号ｕの状態から状態番
号ｖの遷移の起こりやすさが、それ以前の履歴によって
変化し、これが最大値選択における制約として働く。こ
のような状態遷移制約によって、トランフォンモデルが
有する音声の時間構造を、数フレーム間にわたる確率的
構造として考慮した参照ゆう度Ｌ_G （Ｄ１６）の算出を
可能にしている。

【００７４】以上のように、参照ゆう度Ｌ_G （Ｄ１６）
の算出方法は、第１の実施形態と僅かに異なっている
が、この参照ゆう度Ｄ１６を用いたリジェクト判定の方
法は、第１の実施形態と同様である。

【００７５】この第２の実施形態によっても、入力発話
のリジェクト判定に用いる参照ゆう度Ｄ１６を、認識ゆ
う度Ｄ１３の算出過程で得られる局所ゆう度Ｄ１４と、
あらかじめ作成した状態遷移制約情報Ｄ１５に基づいて
算出してリジェクト判定を行っているので、第１の実施
形態とほぼ同様な効果を奏することができ、詳細には、
以下の点が効果上異なっている。

【００７６】ここで、第２の実施形態によれば、音響モ
デル１１が有する音声の時間構造を、数フレーム間にわ
たる確率的構造（過去の履歴に対する条件付き確率）と
して考慮しつつ、種々の音響的事象に対処可能な定式化
を行って参照ゆう度Ｄ１６を算出しているため、認識対
象外の発話に対して、より高いリジェクト精度を期待す
ることができ、音素あるいは音節認識を用いる方法（従
来法）と同等あるいはそれを越えるリジェクト精度を得
ることができる。

【００７７】（Ｃ）他の実施形態 上記各実施形態においては、リジェクト判定部１６から
リジェクト判定の場合には、その旨の情報だけを認識結
果として出力するものを示したが、認識処理部１３から
の認識結果候補Ｄ１２も併せて出力するようなものであ
っても良い。また、リジェクト判定に用いる閾値も複数
段階にし、リジェクト判定結果も複数の段階で特定する
ようにしても良い。さらに、リジェクト判定に用いる値
に、認識ゆう度と参照ゆう度との比を適用するようにし
ても良い。

【００７８】また、参照テーブル１５に格納する参照テ
ーブル作成部は、同一の装置内に設けられていても良
く、また、外部装置上に構成されているものであっても
良い。なお、音響モデル１１を更新、変更できる音声認
識装置であれば、参照テーブル作成部を内蔵することを
要する。

【００７９】

【発明の効果】以上のように、本発明の音声認識方法及
び装置によれば、入力発話のリジェクト判定に用いる参
照ゆう度を、認識ゆう度の算出過程で得られる局所ゆう
度と、あらかじめ作成した状態遷移制約情報とに基づい
て算出しているので、参照ゆう度の算出に要する演算は
加算と大小比較だけになり、リジェクト機能の付加によ
る処理量の増加をきわめて小さくすることができる。

【００８０】また、本発明の音声認識方法及び装置によ
れば、参照ゆう度を、音響モデルが有する音声の時間構
造を考慮しつつ、種々の音響的事象に対処可能な定式化
を行って算出しているため、音素あるいは音節認識を用
いる方法（従来法）と同等あるいはそれを越えるのリジ
ェクト精度を得ることができる。

【図面の簡単な説明】

【図１】第１の実施形態の全体構成を示すブロック図で
ある。

【図２】第１の実施形態の言語モデルの構成例を示す説
明図である。

【図３】第１の実施形態の音響モデル（トライフォンモ
デル）の構成例を示す説明図である。

【図４】第１の実施形態の状態遷移制約情報の作成方法
の説明に用いた状態クラスタ間の遷移接続を示す図面で
ある。

【図５】第２の実施形態の状態遷移制約情報の作成方法
の説明に用いた状態クラスタ間の遷移接続を示す図面で
ある。

【符号の説明】

１０…音声分析部、１１…音響モデル、１２…言語モデ
ル、１３…認識処理部、１４…参照ゆう度算出部、１５
…参照テーブル（状態遷移制約情報格納手段）、リジェ
クト判定部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 隠れマルコフモデルネットワークでなる
   音響モデルを利用して音声認識を行う音声認識方法にお
   いて、 音響モデルを構成する隠れマルコフモデルネットワーク
   の任意の状態間の状態遷移の起こりやすさを表す状態遷
   移制約情報をあらかじめ作成して、格納しておき、 認識処理により得られた局所ゆう度と格納されている状
   態遷移制約情報とに基づいて、入力音声データの各フレ
   ーム毎に、上記局所ゆう度と上記状態遷移制約情報の加
   重和を最大化する隠れマルコフモデルネットワークの状
   態を求め、この状態に対する局所ゆう度あるいは上記加
   重和を全フレームにわたって累積加算することによっ
   て、参照ゆう度を算出し、 認識処理により得られた認識ゆう度と、上記参照ゆう度
   の比較により、入力音声データの棄却判定を行うことを
   特徴とする音声認識方法。
2. 【請求項２】 請求項１に記載の音声認識方法におい
   て、 音響モデルを構成する隠れマルコフモデルネットワーク
   の状態に対するクラスタリングを行い、 状態クラスタｉから状態クラスタｊへの個々の遷移接続
   に対する状態遷移確率の総和ｆ_ij（ｉ≠ｊ）と、状態ク
   ラスタｉの内部における遷移接続に対する状態遷移確率
   の総和を、状態クラスタｉから他の状態クラスタへの遷
   移接続の束の個数を割った値を表すｆ_ijとを用いて、ｆ
   _ikのｋについての総和に対するｆ_ijの割合として、状態
   クラスタ間の遷移確率Ｐ_ijを定義し、 この状態クラスタ間の遷移確率Ｐ_ijに基づいた値と、音
   響モデルを構成する隠れマルコフモデルネットワークの
   各状態が属する状態クラスタの情報とを、上記状態遷移
   制約情報としていることを特徴とする音声認識方法。
3. 【請求項３】 請求項１に記載の音声認識方法におい
   て、 音響モデルを構成する隠れマルコフモデルネットワーク
   の状態に対するクラスタリングを行い、 状態クラスタｉから状態クラスタｊへの個々の遷移接続
   に対する状態遷移確率に、状態クラスタｈから状態クラ
   スタｉへの遷移接続を考慮するための係数を乗じたもの
   の総和ｆ（ｉ，ｊ｜ｈ）（ｉ≠ｊ）と、状態クラスタｉ
   の内部における遷移接続に対する状態遷移確率に上記係
   数を乗じたものの総和を、状態クラスタｉから他の状態
   クラスタへの遷移接続の束の個数を割った値を表すｆ
   （ｉ，ｉ｜ｈ）とを用いて、ｆ（ｉ，ｋ｜ｈ）のｋにつ
   いての総和に対するｆ（ｉ，ｊ｜ｈ）の割合として、状
   態クラスタ間の遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義し、 この状態クラスタ間の遷移確率Ｐ_ijに基づいた値と、音
   響モデルを構成する隠れマルコフモデルネットワークの
   各状態が属する状態クラスタの情報とを、上記状態遷移
   制約情報としていることを特徴とする音声認識方法。
4. 【請求項４】 隠れマルコフモデルネットワークでなる
   音響モデルを利用して音声認識を行う音声認識装置にお
   いて、 あらかじめ作成された、音響モデルを構成する隠れマル
   コフモデルネットワークの任意の状態間の状態遷移の起
   こりやすさを表す状態遷移制約情報を格納している状態
   遷移制約情報格納手段と、 入力音声データに対する認識結果を算出する認識処理手
   段と、 認識処理により得られた局所ゆう度と格納されている状
   態遷移制約情報とに基づいて、入力音声データの各フレ
   ーム毎に、上記局所ゆう度と上記状態遷移制約情報の加
   重和を最大化する隠れマルコフモデルネットワークの状
   態を求め、この状態に対する局所ゆう度あるいは上記加
   重和を全フレームにわたって累積加算することによっ
   て、参照ゆう度を算出する参照ゆう度算出手段と、 認識処理により得られた認識ゆう度と、上記参照ゆう度
   の比較により、入力音声データの棄却判定を行うリジェ
   クト判定手段とを有することを特徴とする音声認識装
   置。
5. 【請求項５】 請求項４に記載の音声認識装置におい
   て、 音響モデルを構成する隠れマルコフモデルネットワーク
   の状態に対するクラスタリングを行い、 状態クラスタｉから状態クラスタｊへの個々の遷移接続
   に対する状態遷移確率の総和ｆ_ij（ｉ≠ｊ）と、状態ク
   ラスタｉの内部における遷移接続に対する状態遷移確率
   の総和を、状態クラスタｉから他の状態クラスタへの遷
   移接続の束の個数を割った値を表すｆ_iiとを用いて、ｆ
   _ikのｋについての総和に対するｆ_ijの割合として、状態
   クラスタ間の遷移確率Ｐ_ijを定義し、 この状態クラスタ間の遷移確率Ｐ_ijに基づいた値と、音
   響モデルを構成する隠れマルコフモデルネットワークの
   各状態が属する状態クラスタの情報とを、上記状態遷移
   制約情報とし、 上記状態遷移制約情報格納手段が、このようにして作成
   された上記状態遷移制約情報を格納していることを特徴
   とする音声認識装置。
6. 【請求項６】 請求項４に記載の音声認識装置におい
   て、 音響モデルを構成する隠れマルコフモデルネットワーク
   の状態に対するクラスタリングを行い、 状態クラスタｉから状態クラスタｊへの個々の遷移接続
   に対する状態遷移確率に、状態クラスタｈから状態クラ
   スタｉへの遷移接続を考慮するための係数を乗じたもの
   の総和ｆ（ｉ，ｊ｜ｈ）（ｉ≠ｊ）と、状態クラスタｉ
   の内部における遷移接続に対する状態遷移確率に上記係
   数を乗じたものの総和を、状態クラスタｉから他の状態
   クラスタへの遷移接続の束の個数を割った値を表すｆ
   （ｉ，ｉ｜ｈ）とを用いて、ｆ（ｉ，ｋ｜ｈ）のｋにつ
   いての総和に対するｆ（ｉ，ｊ｜ｈ）の割合として、状
   態クラスタ間の遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義し、 この状態クラスタ間の遷移確率Ｐ_ijに基づいた値と、音
   響モデルを構成する隠れマルコフモデルネットワークの
   各状態が属する状態クラスタの情報とを、上記状態遷移
   制約情報とし、 上記状態遷移制約情報格納手段が、このようにして作成
   された上記状態遷移制約情報を格納していることを特徴
   とする音声認識装置。