JP2924555B2

JP2924555B2 - 音声認識の境界推定方法及び音声認識装置

Info

Publication number: JP2924555B2
Application number: JP5099402A
Authority: JP
Inventors: 芳春阿部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1992-10-02
Filing date: 1993-04-26
Publication date: 1999-07-26
Anticipated expiration: 2014-07-26
Also published as: GB2271210A; JPH06167993A; GB9320285D0; GB2271210B; US5940794A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は音声認識装置の性能向
上のため用いる音声中の境界の推定方法と、連続音声を
認識して音韻系列に変換する音声認識装置に関するもの
である。

【０００２】

【従来の技術】大語彙の音声認識を行うための音声認識
の方法として、予め入力音声を音素に分割（セグメンテ
ーション）した後、各音素毎に尤度を計算して可能な音
素の連結について全体の音声の尤度を求めることで入力
音声を認識する方法と、セグメンテーションは行わず可
能な音素の連結モデルと全体の音声の尤度を計算して入
力音声を認識する方法とがある。一般的に、前者は、セ
グメンテーションの誤りが致命的になるため認識精度が
低下するが、計算量は少なくなる。後者は、結局ほとん
どすべてのセグメンテーションの可能性を調べることに
なるので、計算量が膨大となるが認識精度は高くなると
考えられている。

【０００３】これら前者あるいは後者の方法において、
確定的ではなく、あいまいさを許して確率的に音声中の
音声の境界を推定する必要が生じることがある。既に、
音声中の音素あるいは音節、単語などの音声の境界を推
定し音声をセグメンテーションする多くの方法が以下の
ような文献において発表されている。ａ．「ニューラルネットを用いた音韻セグメンテーシ
ョン」（日本音響学会講演論文集２−Ｐ−７昭和６３年
１０月）ｂ．「スペクトログラムリーディング知識を用いた音
韻セグメンテーションエキスパートシステム」（電子情
報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ７３−Ｄ−ＩＩ
Ｎｏ．１，ｐｐ．１−９１９９０年１月）ｃ．「ＨＭＭ法とベイズ確率を用いた連続音声のセグ
メンテーション」（電子情報通信学会論文誌Ｄ−ＩＩ
Ｖｏｌ．Ｊ７２−Ｄ−ＩＩＮｏ．１，ｐｐ．１−１０
１９８９年１月）ｄ．「多様な音韻環境における音素的単位のセグメン
テーション」（電子情報通信学会論文誌Ｄ−ＩＩＶｏ
ｌ．Ｊ７２−Ｄ−ＩＩＮｏ．８，ｐｐ．１２２１−１
２２７１９８９年８月）ｅ．「ＯＮ型聴覚ニューロンモデルに基づく音素セグ
メンテーションパラメータ」（電子情報通信学会論文誌
ＡＶｏｌ．Ｊ７１−ＡＮｏ．３，ｐｐ．５９２−６
００１９８８年３月）ｆ．「ＡＳｅｇｍｅｎｔａｔｉｏｎＡｌｇｏｒｉ
ｔｈｍｆｏｒＣｏｎｎｅｃｔｅｄＷｏｒｄＲｅ
ｃｏｇｎｉｔｉｏｎＢａｓｅｄｏｎＥｓｔｉｍａ
ｔｉｏｎＰｒｉｎｃｉｐｌｅｓ」（ＩＥＥＥＴｒａ
ｎｓａｃｔｉｏｎｓｏｎＡｃｏｕｓｔｉｃｓ，Ｓ
ｐｅｅｃｈ，ａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉ
ｎｇ，Ｖｏｌ．ＡＳＳＰ−３１，Ｎｏ．４，Ａｕｇｕｓ
ｔ１９８３）

【０００４】図３６はこのうち上記文献ａ．で開示され
たニューラルネットに基づく方法に従って構成された従
来の音声中の境界の推定方法を示す構成図である。音声
分析部１０は入力音声を入力してフレーム長２０ｍｓの
周波数分析によってフレーム周期５ｍｓ毎に入力音声の
パワースペクトルを計算する。セグメンテーションパラ
メータ計算部１２は音声分析部１０の出力の各パワース
ペクトルからそれぞれセグメンテーションパラメータ５
個を計算する。

【０００５】時間窓部２は時間幅Ｔ（時間換算で３０ｍ
ｓ〜１５０ｍｓ）の範囲のセグメンテーションパラメー
タを一括してニューラルネット１００１の入力層に加え
る。ニューラルネット１００１は、入力層、中間層、出
力層の３層からなり、各層の素子数は、それぞれ、Ｔ×
５、５０、１となっている。モード選択部３が「学習」
を選択しているとき、教師信号部１００３は音韻境界で
信号１を、音韻境界以外では信号０を発生する。重み係
数修正部１００２は教師信号１００３が発生する教師信
号とニューラルネット１００１の出力層の素子に得られ
る出力信号との間の誤差が小さくなるようにパックプロ
パゲーション法に基づき各層間に張られたリンクの重み
係数を順次修正する。

【０００６】一方、モード選択部３が「推定」を選択し
ているとき、ニューラルネット１００１の出力信号が音
声中に音声の境界が存在する度合いとしての尤度時系列
として出力される。以上説明した従来の方法は、原理的
に、従来経験に基づいて各種音韻環境に依存して設定し
ていた複雑なセグメンテーションパラメータとセグメン
テーションのための手続きが自動的にニューラルネット
上に作成されるため、これら従来の経験に基づく例外処
理や複雑な判定ルールの作成をこのニューラルネットで
代行するというものである。

【０００７】また一方、音声認識装置としては以下のも
のがある。図３７は音韻モデル系列として隠れマルコフ
モデル（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ，略
してＨＭＭ）を用いた従来のこの種の音声認識装置の構
成図である。音声区間検出手段１１は入力音声中の音声
区間を検出し、音声信号Ｒ１を出力する。特徴抽出手段
１は、音声信号Ｒ１から短時間毎に特徴パラメータを抽
出し、特徴パラメータの時系列Ｒ２を出力する（以後、
特徴パラメータの時系列をｘ₁ ，ｘ₂ ，・・・，ｘ_T と
記す。ここで、ｘ_t は時刻ｔの特徴パラメータ、また、
Ｔは音声区間の長さを表す。）。

【０００８】ＨＭＭパラメータ記憶手段１４は音韻系列
モデルとしてのＨＭＭのパラメータＲ１４を記憶してい
る。ＨＭＭはｎ個の状態からなり、ＨＭＭパラメータＲ
１４は状態ｉから状態ｊへの遷移確率ａ_ij、状態ｊの出
力確率の計算に用いる混合分布の第ｍ番目の要素ガウス
分布を表すパラメータとしての平均ベクトルμ_mj、共分
散行列Σ_mj、及び、分岐確率λ_mjからなる。モデル演算
手段としてのＨＭＭ演算手段１３は、特徴パラメータ時
系列ｘ₁ ，ｘ₂ ，・・・，ｘ_t に対して音韻モデル系列
としてのＨＭＭを当てはめるＨＭＭ演算を、ＨＭＭパラ
メータＲ１４を参照して、実行し、ＨＭＭ演算結果Ｒ１
３を出力する。ＨＭＭ演算は、確率の和を確率の最大化
演算で置き換えたビタビ（Ｖｉｔｅｒｂｉ）のアルゴリ
ズムに基づく漸化式の式（１）と式（２）から次の初期
条件で演算できる。

【０００９】

【数１】

【００１０】ここで、α（ｊ，ｔ）は、時刻ｔにおい
て、状態ｊに留まる確率（前向き確率）を表し、β
（ｊ，ｔ）は時刻ｔに状態ｊに至る一つ前の最適な状態
番号を表すバックポインタである。また、ｂ_j （ｘ_t ）
は状態ｊの出力確率で、ガウス分布の確率密度関数Ｎを
用いて、次の式（３）で示すようにＭ個の要素ガウス分
布の混合分布として求められる。

【００１１】

【数２】

【００１２】音韻系列変換手段としての最適状態系列検
出手段５は、ＨＭＭ演算結果Ｒ３として得られる変数α
（ｊ，ｔ）及びβ（ｊ，ｔ）の値から、最適状態系列Ｒ
５（以後、βハット（１），βハット（２），・・・，
βハット（Ｔ）と記す）を出力する。最適状態系列Ｒ５
は漸化式の式（４）を次の初期条件で計算して得られ
る。ここでβハットとは式（４）に示すように＾を意味
する。式（１）を漸化式とする上記の基本的なＨＭＭで
は、状態ｊ内の遷移をτ回繰り返して継続時間τだけ状
態ｊに留まる確率は、出力確率を無視すると式（５）の
ごとく与えられる。

【００１３】

【数３】

【００１４】式（５）は、ａ_jj＜１のとき、継続時間τ
の増加と共に指数的に減少する関数となるため、現実の
状態継続時間の分布の近似として適切でないという問題
点が指摘された。このような上記ＨＭＭの欠点を解消す
るため、状態継続時間を現実の分布に近い確率分布とし
て表現し、この確率表現に基づいて、状態継続時間を陽
に制限するＨＭＭが幾つか提案されている。以下、この
継続時間制御型のＨＭＭを音韻系列モデルとする従来の
技術について説明する。

【００１５】図３８はＬｊｏｌｊｅらの文献（”Ｄｅｖ
ｅｌｏｐｍｅｎｔｏｆａｎＡｃｏｕｓｔｉｃ−Ｐ
ｈｏｎｅｔｉｃＨｉｄｄｅｎＭａｒｋｏｖＭｏｄ
ｅｌｆｏｒＣｏｎｔｉｎｕｏｕｓＳｐｅｅｃｈＲ
ｅｃｏｇｎｉｔｉｏｎ”，ＩＥＥＥＴｒａｎｓａｃｔ
ｉｏｎｏｎＳｉｇａｎａｌＰｒｏｃｅｓｓｉｎ
ｇ，３９巻，１号，２９〜３９頁，１９９１年１月発
行）に示された継続時間制御型ＨＭＭを用いた音声認識
装置の構成図である。また、図３９はＨＭＭの状態遷移
の構造を示す。ＨＭＭはｎ個（ｎ＝４３）の状態からな
り、各状態は英語の１つの音韻に対応している。状態ｉ
と状態ｊの間は遷移確率ａ_ijで結ばれているが、同一状
態内での遷移確率ａ_iiは０としてある。また、各状態に
おける出力確率はｂ_j （ｘ_t ）で表されている。一方、
継続時間制御パラメータ記憶手段６には、継続時間制御
パラメータＲ６として、各状態ｊ（ｊ＝１，２，・・
・，ｎ）について継続時間の分布を近似するガンマ分布
のパラメータν_j とη_j が記憶されている。ＨＭＭ演算
手段１３におけるＨＭＭ演算は、ビタビ（Ｖｉｔｅｒｂ
ｉ）のアルゴリズムに基づく漸化式の式（６），式
（７）を次の初期条件で計算し実行される。

【００１６】

【数４】

【００１７】ここで、ｄ_j （τ）は状態の継続時間がτ
である確率で、状態ｊについて二つのパラメータν_j と
η_j を含む式（８）のガンマ分布で与えられる。ここで
Γ（ν_j ）はガンマ関数である。また、状態ｊについて
継続時間の平均はν_j ／η_j となり、分散はν_j ／η_j ²
となる。この従来の装置は、各状態に留まる継続時間を
現実の分布を近似する分布を当てはめて適切に制御する
ため式（１）の基本的なＨＭＭに比べ認識性能の改善が
図られている。

【００１８】

【発明が解決しようとする課題】しかしながら、上述の
従来の音声中の境界の推定方法は教師信号との誤差を最
小化するものであるため、出力される尤度時系列は、確
率と直接関係がなく、確率モデルに基づく音声認識に用
いる場合、推定された尤度を一旦確率値へ変換する必要
がある。また、ニューラルネットの中間層のユニット
数、中間層の層数などの与え方には、任意性があり、こ
の中間層数・ユニット数を大きくすれば有効な特性を得
やすいが、学習の収束が遅くなり、収束の局所的な谷に
陥りやすくなるなどのため学習が容易でないという課題
がある。

【００１９】また、従来の音声認識装置として、継続時
間制御型ＨＭＭを音韻モデル系列として用いる方法は、
式（６）と式（７）のごとく、その漸化式にｍａｘ及び
ａｒｇｍａｘで示される変数ｉに関する最大化演算の内
側にさらに変数τに関する最大化演算が含まれる。しか
も、漸化式の再内側の演算が式（１）と比べ複雑となる
ため、式（１）に示された基本的なＨＭＭ演算に比べて
演算量がかなり大きくなるという課題がある。また、継
続時間の分布は、特定の発声の学習サンプルから求めた
ものである場合、学習音声と異なった発声速度の音声に
対しては、継続時間の分布が適切でなくなると言う課題
もある。

【００２０】この発明はこのような問題点を解消するた
めになされたもので、確率に対応する推定量が直接得ら
れ、しかも学習が容易な境界の推定方法を得ることを目
的とする。また、音声認識装置としてモデル演算手段と
してのＨＭＭ演算手段における演算が簡単でありなが
ら、認識精度の高い音声認識装置を得ることを目的とす
る。

【００２１】

【課題を解決するための手段】この発明に係わる音声認
識の境界推定方法は、入力音声を分析して得られる時系
列で展開されるパラメータ群が所定の時間幅の窓の中で
示す値をサンプルとして抽出し、この窓の中心に音声の
境界が存在する度合いを算出する場合に、この窓の中心
に音声の境界が存在する第１の確率密度と、窓の中心に
音声の境界が存在しない第２の確率密度とを計算し、こ
れら第１の確率密度及び第２の確率密度を含む計算に基
づいて窓の中心に音声の境界が存在する度合いを算出し
て類似度を定めるようにした。

【００２２】またこの発明に係わる音声認識装置は、入
力音声を分析して時系列の特徴パラメータに変換する特
徴抽出手段と、この時系列の特徴パラメータから入力音
声中の音韻境界または音韻境界付近の領域を検出する境
界検出手段と、前記特徴パラメータに対応する複数の音
韻モデル系列を用意し、該モデル系列を用意する際、前
記音韻モデル系列の境界が生成される時刻を境界検出手
段が検出した音韻境界またはその付近の領域内に限定し
たモデル系列とするモデル演算手段と、このモデル演算
手段の結果から入力音声に対応する適切な音韻モデル系
列を選択する音韻系列変換手段とを備えた。また請求項
３の発明は、請求項２の発明の音声認識装置のモデル演
算装置に変えて、モデル演算手段として、特徴パラメー
タに対応する複数の音韻モデル系列を用意し、該モデル
系列を用意する際、境界検出手段が検出した音韻境界ま
たは音韻境界付近の領域内に前記音韻モデル系列の遷移
が起こるのを助長するようにした。更に請求項４の発明
は、請求項３の発明の音声認識装置で、境界検出手段で
音韻境界の尤度を同時に求めるようにし、モデル演算手
段で、境界検出手段が検出した音韻境界または音韻境界
付近の領域内に音韻モデル系列の遷移が起こるのを助長
し、その助長の割合を前記音韻境界の尤度に比例するよ
うにした。

【００２３】更に請求項５の発明の音声認識装置は、入
力音声を分析して時系列の特徴パラメータに変換する特
徴抽出手段と、この時系列の特徴パラメータから入力音
声中の音韻境界または音韻境界付近の領域を検出する境
界検出手段と、前記特徴パラメータに対応する複数の音
韻モデル系列を用意し、このモデル系列は音韻モデル系
列の境界が生成される時刻を境界検出手段が検出した音
韻境界またはその付近内に限定したモデル系列を用意
し、また境界検出手段が検出した音韻境界またはその付
近の領域内に前記音韻モデル系列の遷移が起こるのを助
長するようにしたモデル演算手段と、このモデル演算手
段の結果から入力音声に対応する適切な音韻モデル系列
を選択する音韻系列変換手段とを備えた。また請求項６
の発明の音声認識装置は、請求項２ないし請求項５の音
声認識装置で、境界検出手段として請求項１記載の音声
認識の境界推定方法を用いるようにした。

【００２４】

【作用】この発明の音声認識の境界推定方法では、時系
列変化をするパラメータ群が所定の時間幅の窓の中で示
す値がサンプルとして抽出され、それが時間窓の中心に
境界が存在するサンプルである確率が高い第１の確率密
度と、時間窓の中心に境界が存在しない確率が高い第２
の確率密度とが計算され、次にこの両者を含む計算から
音声境界の類似度が求められる。この発明の音声認識装
置は、入力音声の音韻境界または音韻境界付近の領域が
推定され、特徴パラメータに対応する音韻モデル系列の
遷移が生じる時刻が前記音韻境界またはその付近の領域
に限定された音韻モデル系列が準備され、その中から最
適音韻モデル系列が選ばれる。または、入力音声の音韻
境界または音韻境界付近の領域が推定され、音韻境界ま
たはその付近の領域内で音韻モデル系列の遷移が生じる
ようにした音韻モデル系列が準備され、その中から最適
音韻モデル系列が選ばれる。

【００２５】請求項４の音声認識装置は、音韻境界の推
定時に同時に尤度が求められ、音韻モデル系列の遷移を
助長する際にこの尤度に比例した結果の音韻モデル系列
が準備され、その中から最適音韻モデル系列が選ばれ
る。また更に、所定の時間幅の窓の中でパラメータ群が
示す値が抽出され、それが時間窓の中心に境界が存在す
る確率が高い第１の確率密度とそうでない確率が高い第
２の確率密度とが計算され、次にこの両者を含む計算か
ら音韻境界が推定され、これにより音韻モデルが準備さ
れる。

【００２６】

【実施例】実施例１．以下この発明の実施例を説明する。この実施例において
は、入力音声を分析し得られるパラメータの時系列中の
所定の時間幅の窓の中にあるパラメータを一つのサンプ
ルとして抽出し、前記窓の中心に音声中の境界が存在す
る度合いを算出するにあたり、以下のような処理が行な
われる。

【００２７】すなわち、学習モードで、音声中のサンプ
ルを少なくとも境界及び非境界のサンプルに分類し、分
類されたサンプルのそれぞれに対して、確率分布のモデ
ルを当て嵌めて分布のモデルのパラメータを推定する。
一方、推定モードでは、前記学習モードで推定されたそ
れぞれの分布のモデルのパラメータに基づき、前記窓の
中心に前記境界の存在する第１の確率密度と、前記窓の
中心に前記境界の存在しない第２の確率密度とを計算
し、前記第１の確率密度を含む確率密度と前記第２の確
率密度を含む確率密度とに基づいて前記窓の中心に前記
音声中の境界が存在する度合いを算出するものである。

【００２８】図１は、この発明の一実施例の構成図であ
る。特徴抽出部１は、入力音声から、フレーム長２５．
６ｍｓの線形予測メルケプストラム分析によってフレー
ム周期１０ｍｓ毎にメルケプストラム係数Ｎ個を得る。
時間窓部２は、時間幅Ｔフレームの範囲のメルケプスト
ラム係数ＴＮ個をまとめて１つのサンプルとする。各サ
ンプルは、以下のようなＴＮ次元のベクトルで表現され
る。

【００２９】時刻ｔのサンプルをＢ_t 、また、音声分析
部１の出力の時刻ｔのメルケプストラム係数からなるベ
クトルをｘｔと記せば、サンプルＢ_t は、時刻ｔが時間
窓の中心となるようにメルケプストラム係数のベクトル
を連結して、以下の式（９）で与えられる（但し、Ｔが
偶数の場合）。

【００３０】

【数５】

【００３１】モード選択部３は「学習」か「推定」のい
ずれかのモードが設定される。まず、モード選択部３が
学習モードに設定されたときの動作を説明する。分類部
４０は、時間窓部２の出力のサンプルの中で、中心に音
声中の定常部である非境界に該当するサンプルを分類番
号１のサンプル５００１に分類する。また、時間窓２の
出力のサンプルの中で、中心に音声中の境界を有するサ
ンプルは分類番号２のサンプル５００２に分類する。

【００３２】すべての学習データに対して、分類が終了
してから、推定部６００１は、分類番号１のサンプル５
００１に対して確率分布の一つである混合多次元正規分
布を当て嵌めて該分布のパラメータを推定し、パラメー
タ部７００１に記憶する。混合多次元正規分布は、ある
サンプルＢ_t に対して、その確率密度を以下の式（１
０）によって計算するものであり、この式中、λ^(m) 、
μ^(m) 、およびΣ^(m) がこの分布のパラメータとして記
憶される。ここで、Ｍは混合多次元正規分布モデルを構
成する要素の多次元正規分布の数、Ｎは多次元正規分布
を表す確率密度関数、また、λ^(m) 、μ^(m) 、およびΣ
^(m) は、それぞれｍ番目の要素の多次元正規分布に対す
る分岐確率、平均ベクトル、及び、共分散行列を表す。

【００３３】

【数６】

【００３４】推定部６００２も、推定部６００１と同様
に、分類番号２のサンプル５００２に対して確率分布と
して混合多次元正規分布を当て嵌めて該分布のパラメー
タを推定し、パラメータ部７００２に記憶する。一方、
モード選択部が「推定」に設定されたとき、確率密度計
算部８００１はパラメータ７００１を用いて、時間窓部
２の出力のサンプル例えばＢ_t の確率密度（以下Ｐｒ
（Ｂ_t ｜１））を以下の式（１１）によって計算する。

【００３５】

【数７】

【００３６】確率密度計算部８００２も、確率密度計算
部８００１と同様に、パラメータ７００２を用いて、時
間窓２が出力する時刻ｔのサンプルベクトル（Ｂ_t と記
す）の確率密度（以下Ｐｒ（Ｂ_t ｜２））を以下の式
（１２）によって計算する。

【００３７】

【数８】

【００３８】尤度計算部９００１は、確率密度計算部８
００１及び確率密度計算部８００２が算出した確率密度
Ｐｒ（Ｂ_t ｜１）及びＰｒ（Ｂ_t ｜２）を用いて、時刻
ｔのサンプルデータが境界に対応する尤度（ｒ（Ｂ
_t ））を以下の式（１３）に基いて算出する。

【００３９】

【数９】

【００４０】この式によって、サンプルデータＢ_t が境
界を中心とする時間窓によって切り出された場合、分子
の表す確率密度Ｐｒ（Ｂ_t ｜２）は分母の表す確率密度
Ｐｒ（Ｂ_t ｜１）より大きくなり、この式全体は、１よ
り大きな値をとることが期待され、逆に、サンプルデー
タＢ_t が音韻の定常部を中心とする時間窓によって切り
出された場合、分子の表す確率密度Ｐｒ（Ｂ_t ｜２）は
分母の表す確率密度Ｐｒ（Ｂ_t ｜１）より小さくなり、
この式全体は１より小さな値をとることが期待される。
従って、尤度計算部９００１の出力によって、各時刻に
おいて、音声中の境界に対応する推定量が得られる。

【００４１】次に上記実施例に関する評価実験について
説明する。図２は実験方法の概要を示す。学習に用いる
境界のサンプル及び非境界サンプルを切り出すための学
習データは、女性話者１名の発声した音韻バランス５０
３文の一部または全部とする。この内最初の５０文を学
習データに対する評価に、また、単語単位で発声した国
際会議問合せ１１５文の最初の５０文を未学習データに
対する評価に用いた。音韻は／ａ，ｉ，ｕ，ｅ，ｏ，
ｙ，ｗ，ｊ，ｃｌ，ｐ，ｔ，ｋ，ｃｈ，ｔｓ，ｓ，ｓ
ｈ，ｈ，ｆ，^* ｃｌ，ｂ，ｄ，ｇ，ｚ，ｄｊ，ｍ，ｎ，
ｒ，Ｎ，＃／の２９種類である。

【００４２】図３に学習に用いた上記音韻バランス５０
３文の最初の一文「あらゆる現実をすべて自分の方へね
じ曲げたのだ」の中の音韻及びそれらの音韻境界をフレ
ーム番号で示す。音韻の境界は自動ラベリングの結果を
視察で修正したもので予め学習データの一部として格納
されている。

【００４３】図４はサンプルの切出し方を説明するため
の図であり、境界サンプルは、図中＃．ａ、ａ．ｒ及び
ｒ．ａ等で示されるように音韻境界を中心に切り出し
た。また、非境界サンプルは、図中ａ．ａ、ｒ．ｒ、
ａ．ａ等で示されるように、２フレーム以上継続する音
韻区間の中央を中心に切り出した。図５は、学習に用い
た文章数と学習に用いた境界サンプル及び非境界サンプ
ルの数の関係を示す。

【００４４】図６は、学習モードにおいて、学習文章数
が２００で、音声分析部１出力のメルケプストラム係数
の数（以後次元数と呼び、記号Ｎで表す）が８、時間窓
部２においてまとめるメルケプストラム係数のフレーム
数である窓の幅（Ｔ）が１０、及び、推定部６００１〜
６００２で当て嵌める混合多次元正規分布の要素の多次
元正規分布の数（Ｍ）が４として、学習を行ったあと、
推定モードにおいて、入力音声として、図３で示した学
習データを入力したとき、確率密度計算部８００１の出
力の対数値（図中ｌｏｇ（Ｂ_t ｜１）で示す）、確率密
度計算部８００２の出力の対数値（図中ｌｏｇ（Ｂ_t ｜
２）で示す）、ならびに、尤度計算部９００１で得られ
た出力の対数値（図中ｌｏｇｒ（Ｂ_t で示す）の時間
変化を示す。

【００４５】なお、図中Ｃ₀ 及び△Ｃ₀ はそれぞれメル
ケプストラム係数の０次の項及びその時間変化率を示し
ている。また、図中○印は以下の評価において検出され
た音韻境界の検出位置を示している。図中Ｅｒｒｏｒｓ
で示されるＩ及びＤはこの場合の検出誤りを示している
（Ｉは付加、Ｄは脱落を示す）。音韻境界の検出位置は
対数尤度比関数ｌｏｇｒ（Ｂ_t ）が正となる区間で最
大となる点とした。

【００４６】評価は、脱落率と付加率で行う。脱落率
は、正解の境界に対して前後３フレーム以内に境界が検
出されなかった割合を百分率で表示したものであり、付
加率は、正解の境界に対応付けられずに残った余分な境
界の生じる割合を百分率で表示したものである。実験結
果を図７〜図１０に示す。

【００４７】図７は学習文章数が２００、窓幅が１０、
次元数が８のとき、混合数（Ｍ）を変化させたときの結
果である。この図から、混合数Ｍが４のとき、未学習デ
ータに対して、脱落が最も小さくなることが分かる。図
８は学習文章数が２００、次元数が８、混合数が４のと
き、窓幅を６〜１６の範囲で変化させたときの結果であ
る。この図から、窓幅Ｔが１０のとき、未学習データに
対して、脱落が最も小さくなることが分かる。

【００４８】図９は学習文章数が２００、窓幅が１０、
混合数が４のとき、次元数を変化させたときの結果であ
る。この図から、次元数Ｎが８のとき、未学習データに
対して、脱落が最も小さくなることが分かる。図１０は
窓幅が１０、次元数が８、混合数が４のとき、学習文章
数を１００〜５０３文章の間で変化させたときの結果で
ある。この図から、学習文章数が２００のとき、未学習
データに対して、脱落が最も小さくなるが、合計の誤り
は、学習文章数が５０３のときが最も小さいことが分か
る。

【００４９】以上の結果から、窓幅は脱落を低く押える
ためには１０フレーム程度が良いこと、学習データを増
加すると脱落は増加するが、付加が減少し、合計の誤り
は減少すること、次元数は８程度が良いこと等が分か
る。

【００５０】実施例２．本実施例は前記実施例１では推定の困難な継続時間の短
い事象（例えば、日本語の「ら行音」を構成する音素／
ｒ／）に対する境界の推定精度を上げるため、例えば、
音素／ｒ／への入り渡りと出渡りの境界をそれぞれ異な
る確率分布のモデルを用いて、分離して推定しようとす
るものである。図１１は本実施例の構成図である。

【００５１】図において、特徴抽出部１、時間窓部２、
モード選択部３は実施例１と同様な動作をするので説明
を省略する。モード選択部３が「学習」モードに設定さ
れたとき、分類部４０は、テーブル４１を参照し、時間
窓部２の出力のサンプルを分類し、分類番号１〜２８の
いずれかのサンプルに分類する。図１２にテーブル４１
の内容を示す。テーブル４１の「音韻」の欄には、境界
のサンプルにあっては、境界の左側（境界に先立つ）の
音韻名が、また、非境界サンプルにあっては、その音韻
名が、それぞれ書かれ、また、「分類番号」の欄中の
「境界サンプル」の欄には、境界サンプルに割り当てら
れる分類番号が、同様に「非境界サンプル」の欄には、
非境界サンプルに割り当てられる分類番号が、それぞ
れ、書かれている。

【００５２】例えば、「あらゆる」と発声された単語音
声は音韻の系列として、例えば、［ａｒａｙｕｒｕ］と
分析されるが、この音韻系列中の音韻［ｒ］と音韻
［ａ］の境界に対応する境界サンプルは、境界の左側の
音韻が［ａ］であるので、テーブル４１より「境界サン
プル」の分類番号２が検索されサンプル５００２に分類
される。また、音韻［ｙ］の定常部分から得られる非境
界サンプルに対しては、「音韻」欄のｙ，ｗ，ｊに該当
するので、テーブル４１より非境界サンプルの分類番号
１１が検索されサンプル５０１１に分類される。学習デ
ータ全体に対して、サンプルの分類が終了してから、推
定部６００１〜６０２８は、それぞれ、分類番号１〜２
８のサンプルに対して、確率分布モデルとしての混合多
次元正規分布を当て嵌めて該分布のパラメータを推定
し、パラメータ７００１〜７０２８とする。

【００５３】一方、モード選択部３が「推定」モードに
設定されたとき、確率密度計算部８００１〜８０２８
は、それぞれ、パラメータ７００１〜７０２８を用い
て、時間窓２の出力のサンプルベクトルＢ_t の確率密度
Ｐｒ（Ｂ_t ｜１）〜Ｐｒ（Ｂ_t ｜２８）を計算する。尤
度計算部９００２、９００４…９０２８（合計１４個）
は、それぞれ、確率密度計算部８００１〜８０２８（合
計２８個）の出力の確率密度Ｐｒ（Ｂ_t ｜１）〜Ｐｒ
（Ｂ_t ｜２８）を用いて、サンプルＢ_t がそれぞれの分
類の境界である度合いとしての尤度（ｒ（Ｂ_t ｜２）、
ｒ（Ｂ_t ｜４）、…、ｒ（Ｂ_t ｜２８））を以下の式
（１４）で算出する。

【００５４】

【数１０】

【００５５】この式の分子は、ｋ番目の分類の音韻境界
である確率密度を表し、分母は、ｋ番目以外の分類の音
韻境界または非音韻境界である確率密度の平均値を表す
ため、この式によって、例えば、サンプルＢ_t が音韻ａ
からｒへの境界を中心に時間窓で切り出された場合、境
界の先行音韻がａなので、図１２より、この境界は分類
番号２に分類されｋ＝２に対応する尤度計算部９００２
の出力が１より大きくなり、その他の分類ｋ＝４，６，
…，２８に対応する尤度計算部の出力は１より小さくな
ると期待される。

【００５６】このように本実施例によれば、境界の種類
に応じて、音声中の境界を分離して推定することがで
き、音声中の継続時間の短い事象について入り渡りと出
渡りの境界を分離して検出できる。

【００５７】次に、本実施例の評価実験について述べ
る。実験の方法は、前記実施例１について述べた通りで
ある。本実施例では、全音韻を１４に分類し、音韻境界
サンプル及び非音韻境界サンプルを、それぞれ、先行音
韻の属する分類によって分け、合計２８の混合分布によ
る境界検出実験を行った。学習サンプル数を図１３に、
結果を図１４に示す。図１４の第１行は、尤度計算部９
００２の出力を用いた境界検出結果を、また、第１４行
は、尤度計算部９０２８の出力を用いた境界検出結果を
示している。未学習データに対して脱落率４．７％とい
う結果が得られている。

【００５８】なお、以上の実施例は、音声分析部とし
て、メルケプストラム係数を用いたが、他の音声パラメ
ータでも構わない。また、音声中の音韻の境界の検出に
ついて説明したが、例えば、音節の境界の検出に用いる
ことができる。

【００５９】なお、上述したように、大語彙の音声認識
を行うための方法として、予め入力音声を音素に分割
（セグメンテーション）した後、各音素毎に尤度を計算
して可能な音素の連結について全体の音声の尤度を求め
ることで入力音声を認識する方法と、セグメンテーショ
ンは行わず可能な音素の連結モデルと全体の音声の尤度
を計算して入力音声を認識する方法とがあるが、さら
に、この後者の枠組における確率モデルに前者のセグメ
ンテーション情報を組み込むことによって、音声認識の
性能の向上を試みる方法が考えれる。即ち、後者の方法
においてセグメンテーションを確率的に取り扱うことに
よって、前者の手法における、セグメンテーションの誤
りが致命的であるという欠点を解消しながら、前者の手
法の持つ演算量が少ないと言う長所を取り入れ、演算量
の減少によって、余った演算能力を探索空間の拡大に用
いて、認識精度を向上することが考えられる。このため
には、確定的ではなく、あいまいさを許して確率的に音
声中の音声の境界を推定する必要があるが、この場合に
この発明を適用することができる。

【００６０】実施例３．次に音声認識装置としての実施例を述べる。図１５は、
本発明による音声認識装置の一実施例の構成図である。
本実施例では、音韻モデル系列として、１状態に１音韻
を割り当てるＨＭＭを用いている。また、モデル演算手
段として、ビタビのアルゴリズムに基づくＨＭＭ演算手
段を用いている。また、音韻モデル系列の境界の生成
は、音韻モデル系列としてのＨＭＭの状態間遷移として
現れる。更にモデル演算手段で複数個用意された音韻モ
デル系列に対し、音韻系列変換手段が最適状態系列を検
出してモデル系列を選択する。

【００６１】図に基づいて動作を説明する。まず、音声
区間検出手段１１は、入力音声のパワー計算により音声
区間を検出し、この音声区間内の音声信号Ｒ１を切り出
して特徴抽出手段１に送る。特徴抽出手段１は、音声区
間内の音声信号Ｒ１中から、長さ２５．６ｍｓの時間窓
を用いた１５次線形予測メルケプストラム分析によって
１０ｍｓ毎に０〜１０次のメルケプストラム係数からな
る特徴パラメータ時系列Ｒ２を抽出し音韻モデル演算手
段としてのＨＭＭ演算手段１３及び境界抽出部７に送
る。

【００６２】図１６は本実施例における音韻モデル系列
としてのＨＭＭの構造を模式的に示したものである。本
ＨＭＭはｎ状態（ｎ＝２９）からなり、各状態は、図１
７で示されるように、２９種の音韻に対応づけれてい
る。状態ｉから状態ｊへの遷移確率は、ａ_ijで、また、
時刻ｔの特徴パラメータｘ_t の状態ｊにおける出力確率
は、ｂ_j （ｘ_t ）で示されている。出力確率ｂ_j （ｘ
_t ）は、８個の要素ガウス分布からなる混合分布で表さ
れており、第ｍ番目の要素ガウス分布についての平均ベ
クトルμ_mj及び共分散行列Σ_mj、分岐確率λ_mjをパラメ
ータとして、式（１５）に基づいて計算される（但しＭ
＝８）。

【００６３】

【数１１】

【００６４】これら遷移確率ａ_ij及び出力確率計算用の
パラメータ（μ_mj、Σ_mj、λ_mj、ｊ＝１，２，…，ｎ，
ｍ＝１，２，…，Ｍ）は、図１８のごとくＨＭＭ学習手
段２０によって、既に、学習データ１９から求められＨ
ＭＭパラメータ記憶手段１４に記憶されている。以上の
ように本ＨＭＭの構成は、従来のＨＭＭとほぼ同じであ
るが、本ＨＭＭは、従来のＨＭＭとは異なり、時刻ｔで
状態ｉから状態ｊへの状態間遷移に際して、変数Ｃ
_ij（ｔ）を参照して、Ｃ_ij（ｔ）＞０である時だけ、遷
移を許すように音韻モデル系列の境界の生成としての状
態間の遷移を制限している。ここで、変数Ｃ_ij（ｔ）
は、後述するようにＨＭＭ演算の前に、境界検出部７に
よって検出された状態ｉから状態ｊへの遷移に対応する
音韻境界あるいは音韻境界付近の領域でＣ_ij（ｔ）＞０
となるように設定される。以下、境界検出部７及びＨＭ
Ｍ演算手段１３について順を追って説明する。

【００６５】境界検出部７は、この実施例では、実施例
１または実施例２において述べた方法に基づき音韻境界
のカテゴリに対応して音声中の音韻境界あるいは音韻境
界付近の領域を検出するもので、図１９のごとく構成さ
れている。但し、境界時刻推定部が付加されている。こ
こで、音韻境界のカテゴリと音韻境界の種別との対応関
係を図２０に示す。なお、音韻境界の検出の原理を簡単
に説明すれば次のようになる。すなわち、入力の特徴パ
ラメータ時系列より抽出された固定長セグメントを、そ
の中心にカテゴリｋの音韻境界を有するクラス（ｃ＝１
で表す）と、その中心にカテゴリｋの音韻境界を有しな
いクラス（ｃ＝０で表す）とに属する度合いを統計的な
確率として求め、この固定長セグメントがこれら両クラ
ス（ｃ＝０又はｃ＝１）に属する確率の比の対数をとっ
て固定長セグメントの中心に境界が存在する尤度（境界
尤度）を計算し、この境界尤度の時系列の形状から境界
検出を行う。

【００６６】図１９において、時間窓（固定長セグメン
ト抽出手段）２は、特徴パラメータ時系列Ｒ２より時刻
ｔ＝１，２，…，Ｔにおいて、時刻ｔを中心に時間幅１
０フレームの範囲の０〜７次のメルケプストラム係数合
計８０（＝１０フレーム×８次元）個を１つのベクトル
（以後、固定長セグメントと呼ぶ）をサンプルとして抽
出する。そしてこれら固定長セグメントの時系列Ｒ７０
１を出力する。（以下、中心時刻ｔの固定長セグメント
をＢ_t と記す。）境界検出パラメータ記憶手段８には、
すでに、図１８に示されるごとく学習データ１９から境
界検出パラメータ学習手段２１によって学習された境界
検出パラメータＲ₈ が記憶されている。境界検出パラメ
ータＲ₈ は、カテゴリｋ（ｋ＝１，２，…，Ｋ）のクラ
スｃ（ｃ＝０，１）の固定長セグメントの分布（これは
混合分布によって表されている）を構成する第ｍ番目
（ｍ＝１，２，…，Ｍ）の要素ガウス分布のパラメータ
としての平均ベクトルμ_mck 、共分散行列Σ_mck 及び分
岐確率λ_mck からなる。なお、各カテゴリの各クラスの
混合分布を構成する要素分布の数ＭはＭ＝４であり、音
韻境界のカテゴリの数ＫはＫ＝１４である。

【００６７】境界尤度計算手段７０２０１〜７０２１４
（図１１の確率密度計算部と尤度計算部を併せたものに
対応する）は、それぞれ、音韻境界のカテゴリに対応し
て、固定長セグメントの時系列Ｒ７０１を入力として、
境界検出パラメータＲ８を参照して、各固定長セグメン
トの中心に音声中の音韻境界が存在する尤度（境界尤
度）を計算し、境界尤度時系列Ｒ７０２０１〜Ｒ７０２
１４として出力する。各境界尤度検出手段は同様の構成
をもつので、以下、境界尤度検出手段７０２０１の構成
について説明し、他の境界検出手段の説明を省略する。
図２１は境界検出手段７０２０１の構成を別の形で表現
した構成図である。図において、境界確率計算手段７０
２０１Ｘは、固定長セグメントが中心にカテゴリｋの音
韻境界を有するクラス（ｃ＝１）に属する確率Ｐｒ（Ｂ
_t ｜ｋ，１）を式（１６）に基づいて計算する。また、
非境界確率計算手段７０２０１Ｙは、固定長セグメント
が中心にカテゴリｋの音韻境界を有しないクラス（ｃ＝
０）に属する確率Ｐｒ（Ｂ_t ｜ｋ，０）を式（１７）に
基づいて計算する。更に、対数尤度比計算手段７０２０
１Ｚは、境界確率計算手段７０２０１Ｘの計算結果Ｐｒ
（Ｂ_t ｜ｋ，１）及び非境界確率計算手段７０２０１Ｙ
の計算結果Ｐｒ（Ｂ_t ｜ｋ，０）からこれらの対数尤度
比として境界尤度を式（１８）に基づいて計算する。

【００６８】

【数１２】

【００６９】図２２は本実施例において、「あらゆる」
（音韻記号では／ａｒａｙｕｒｕ／）と発声された音声
を入力した場合について、入力音声の０次のケプストラ
ム係数（音の強さにほぼ対応する）の時間変化と、カテ
ゴリ１の音韻境界に対応する境界尤度時系列Ｒ７０２０
１（γ（Ｂ_t ｜１））及びカテゴリ１３の音韻境界に対
応する境界尤度時系列Ｒ７０２１３（γ（Ｂ_t ｜１
３））を示したものである。これから判るように、境界
尤度は一般に、音韻の境界付近（音韻境界は図中点線で
示されている）で正の値となり、極大値をもつ傾向が見
られる。

【００７０】係る傾向を利用して、境界時刻推定手段７
０３０１から７０３１４は、それぞれ、カテゴリｋの音
韻境界について、境界の尤度時系列Ｒ７０２０１〜Ｒ７
０２１４が正の値となる区間で最大となる時刻をもっ
て、音韻境界の推定時刻とし、さらに、これらの境界時
刻推定結果に基づいて、変数Ｃ_k （ｔ）を式（１９）と
設定する。（音韻境界の推定の様子を図２２の例の○印
の箇所で示す。）ここで、変数Ｃ_k （ｔ）はＨＭＭ演算
で用いる変数Ｃ_ij（ｔ）とは式（２０）の関係をもつ。
また、ｋ（ｉ，ｊ）は状態遷移から音韻境界のカテゴリ
番号を求める関数であり、図２３に示すテーブルの検索
により実現される。

【００７１】

【数１３】

【００７２】ＨＭＭ演算手段１３は基本的に式（１）に
示された従来の基本的ＨＭＭの漸化式と類似のビタビの
アルゴリズムを実行する。但し、状態ｉから状態ｊ（ｉ
≠ｊ）への遷移においてＣ_ij（ｔ）＞０なる状態ｊにつ
いてのみ、式（１）のｍａｘで示される状態ｉに関する
最大化演算を行う点が異なり、漸化式は式（２１）及び
式（２２）で与えられる。

【００７３】

【数１４】

【００７４】この動作を図２４の流れ図に沿って説明す
る。ステップＳ３０１は、変数を初期化する。ステップ
Ｓ３０２は、１〜Ｔの各時刻ｔについて、ステップＳ３
０３を実行する。ステップＳ３０３は、１〜ｎの各状態
ｊについて、ステップ３０４〜Ｓ３１１を実行する。ス
テップＳ３０４は、出力確率ｂ_j （ｘ_t ）の計算部であ
る。ステップＳ３０５は、式（２１）の最大化演算のた
めの変数の初期設定を行う。ステップＳ３０６は、式
（２１）の最大化演算内部を実行する部分で、１〜ｎの
各状態ｉについてステップＳ３０７〜ステップＳ３１０
の幾つかの条件判断に従って実行する。ステップＳ３０
７は、変数ｉと変数ｊが等しい時、同一状態内の遷移で
あると判定し、ステップＳ３０９〜Ｓ３１０を実行す
る。また、変数ｉと変数ｊが異なる時、状態間の遷移で
あると判定し、まず、ステップＳ３０８において、変数
Ｃ_ij（ｔ）の符号を調べ、正の時、ステップＳ３０９〜
Ｓ３１０を実行する（θ＝０とする）。ステップＳ３０
９は、変数ｉ，ｊ，ｔについて、式（２１）の最大化演
算の内側を実行し、ステップＳ３１０において、最適値
を条件にしたがって、入れ換える。以上漸化式の内側の
演算が終了後、ステップＳ３１１において、変数ｊ，ｔ
についての最適値を保存する。

【００７５】以上の動作によって、ＨＭＭ演算手段１３
はＣ_ij（ｔ）（＝Ｃ_k(i,j)（ｔ））が正である時刻、即
ち、境界検出部７によって状態遷移のカテゴリ毎に検出
された音韻境界の推定時刻においてのみ、状態遷移の計
算を行うことになる。従って、境界検出部７で推定され
た音韻境界時刻でのみ状態遷移が起こることとなり、継
続時間制御がなくても、継続時間制御と同様の効果が得
られる。しかも、従来の継続時間制御を用いる方法（式
（６））に比べ、最大化演算は１重で済み、演算回数を
大きく左右する再内側の演算も簡単であるため、ＨＭＭ
演算における演算回数を大幅に減少できる。

【００７６】音韻系列変換手段としての最適状態系列検
出部１５は、ＨＭＭ演算手段１３での演算の結果得られ
る変数α（ｊ，ｔ）及び変数β（ｊ，ｔ）に保存された
値をもとに最適状態系列をトレースする。最適状態系列
βハット（１），βハット（２），・・・，βハット
（Ｔ）は従来技術と同様に漸化式の式（２３）を計算し
て得られる。

【００７７】

【数１５】

【００７８】図２５にこの処理の流れを示す。図におい
て、ステップＳ５０１は初期設定を行う。ステップＳ５
０２はＳ５０３及びＳ５０４の実行により、時刻Ｔにお
けるｊについてのα（ｊ，Ｔ）の最適値ｍａｘ_j α
（ｊ，Ｔ）を求め、変数αハットに代入する。また、こ
れに対応する最適状態ａｒｇｍａｘ_j α（ｊ，Ｔ）を変
数βハットに設定する。ステップＳ５０５は音声区間の
終端Ｔから始端にかけて、時刻ｔをＴ〜１と変化させな
がら、ステップＳ５０６の最適状態系列の保存と、ステ
ップＳ５０７の最適状態の更新とを繰り返し行い、その
実行後、変数βハット（ｔ）の値として最適状態系列β
ハット（１），βハット（２），・・・，βハット
（Ｔ）を得る。こうして、音韻系列変換手段は、音韻モ
デル系列から選択して最適状態系列を定める。

【００７９】次に上記実施例の評価結果について説明す
る。まず学習は、図１８において、学習データ１９とし
て、女性話者１名の発声した音韻バランス５０３文を用
いて、ＨＭＭのパラメータＲ２０及び境界検出パラメー
タＲ２１を学習する。状態遷移確率ａ_ijは図２６のテー
ブル中０で示される遷移に対しては、ａ_ij＝０として遷
移を禁止した。一方、図のテーブル中１で示される遷移
に対しては、ａ_ij＝１と設定する場合と、ａ_ij＝１／ｎ
_i （ｎ_i は状態ｉから到達可能な状態の数とする）と設
定する場合とについて、評価を行った。

【００８０】図２７には上記音韻バランス５０３文の最
初の一文「あらゆる現実をすべて自分の方へねじ曲げた
のだ」を認識させた結果を示す。図では結果を分かり易
くするため最適状態系列として得られる状態番号を対応
する音韻名に変換すると共に、同一音韻名が連続する区
間を一つにまとめて、一つの音韻名で代表し、さらに、
その区間の前後の境界時刻ではさんで示してある。入力
の音韻の一部（／＃ａｒａｊｕｒｕ／）が認識結果では
／＃ｃｌｔａｒａｉｕ／となって誤っている以外は正し
く認識されている。

【００８１】図２８は、学習に用いた５０３文の最初の
１０文を評価用のデータとして得られた評価の結果で、
正解の音韻系列に対する認識結果の音韻系列における音
韻の誤り率とその内訳（誤りの形態を置換、挿入、脱落
で分類）が示されている。図において、「基本ＨＭＭ」
とあるのは式（１）で示されるＨＭＭ演算による従来の
技術に基づく結果を示す。また、「ガンマ分布」及び
「ガウス分布」とあるのは、それぞれ、継続時間分布を
ガンマ分布及びガウス分布とした式（６）で示された継
続時間制御型のＨＭＭ演算による従来の技術に基づく結
果を示す。また、「ＶＱ］とあるのは、基本ＨＭＭでａ
_ij＝１とした場合、認識結果は、フレーム毎に最適音韻
を決めるベクトル量子化による結果に相当するからであ
る。図から、遷移確率の設定方法に拘らず、本実施例３
の結果が最小の誤り率７．７％を達成しており、本発明
の方が、ガンマ分布の継続時間制御を行う従来の方法に
比しても、精度的に優位であり、本発明の効果が確認さ
れた。

【００８２】実施例４．前記実施例３では、音韻の境界に対応する状態ｉと状態
ｊの間の遷移に際し、Ｃ_ij（ｔ）＞０なる条件を除け
ば、遷移確率ａ_ijを考慮するだけであり、境界検出手段
から得られる音韻境界において音韻モデル系列の境界の
生成としての状態間遷移を助長する機能はない。本実施
例は、境界検出手段から得られる音韻境界の情報を有効
に用いることを目的に、境界検出手段から得られる音韻
境界において、音韻モデル系列の境界の生成としての状
態間遷移を助長しようとするものである。具体的には、
実施例３の式（２１）で示された漸化式を、状態ｉから
ｊへの遷移でスコアδ_ijを加味した漸化式の式（２４）
（但し、δ_ij＝δ一定値）としたものである。即ち、本
実施例では、実施例１において、図２４のステップＳ３
０６を図２９のステップＳ３０６Ａで置換し、Ｓ３０８
でＣ_ij（ｔ）＞０のとき、ステップＳ３０９の代わり
に、ステップＳ３０９Ａを実行するものである。

【００８３】

【数１６】

【００８４】図３０は本実施例による評価の結果であ
る。明記されていない評価の条件は、実施例３で説明し
た評価と同じである。なお、スコアδが０の時の評価結
果は、実施例３の評価結果と一致する。この図から、ａ
_ij＝１／ｎ_i とした時スコアを加える効果が明確に現
れ、スコアが０の時に８．４％であった誤り率がスコア
が４付近で最小の誤り率７．５％に減少している。この
ように、入力音声の特徴パラメータの時系列中から検出
された音韻境界における音韻モデル系列の境界の生成と
しての状態間の遷移に、スコアを加味して、音韻モデル
系列の境界の生成を助長することの効果は明かである。

【００８５】実施例５．前記実施例３、４において、図１９に示した境界時刻推
定手段７０３０１〜７０３１４は、図２２中の○印で例
示したごとく、音韻境界の推定を境界尤度計算手段７０
２０１〜７０２１４出力の境界尤度時系列Ｒ７０２０１
〜Ｒ７０２１４の正の領域での極大時刻の一点として推
定した。本実施例は、境界推定の曖昧さを考慮して、音
韻境界を一点としてではなく、音韻境界の領域として推
定しようとするものである。具体的には、前記実施例４
における境界時刻推定手段７０３０１〜７０３１４を、
境界尤度計算手段７０２０１〜７０２１４出力である境
界尤度時系列Ｒ７０２０１〜Ｒ７０２１４（ｒ（Ｂ_t ｜
ｋ），ｋ＝１，２，…，Ｋ）の正の領域（一般に、しき
い値θを越える領域）のいずれにも音韻境界が存在する
ものとしてＣ_ij（ｔ）を式（２５）のとおり設定する
（但しθ＝０）。この結果、音韻境界時刻の周辺でも遷
移を許したため、音韻境界時刻の推定設定段階における
推定のずれに対し、強くなることが期待される。

【００８６】

【数１７】

【００８７】本実施例による評価の結果を図３１に示
す。なお、明記されていない実験条件は、実施例３の評
価実験の時と同じである。図において、ａ_ij＝１／ｎ_i
と設定し、スコアを３．０としたとき、最小７．４％の
誤り率が達成されている。この性能は、前記実施例４に
おける最小の誤り率７．５％に比し、ごくわずかである
が改善が見られる。

【００８８】実施例６．前記実施例３，４は、推定された音韻境界あるいは音韻
境界の領域以外での状態遷移を禁止した。本実施例は係
る状態遷移の禁止をしない。そのかわり、推定された音
韻境界あるいは音韻境界の領域で、状態間遷移にスコア
（定数）を与え、音韻モデル系列の境界の生成としての
状態間の遷移を助長するものである。具体的には、前記
実施例３，４において、図２４のステップＳ３０６ない
し図２９のステップＳ３０６Ａを図３２のステップＳ３
０６Ｃで置換し、更にステップＳ３０８において変数Ｃ
_ij（ｔ）≦０の時、すぐに終了していたのを、本実施例
はこの場合でも図３２に示されるごとく、ステップＳ３
０９を実行するようにしたものである。

【００８９】図３３は本実施例による評価結果である。
なお、明記されていない実験条件は、実施例３の評価実
験の時と同じである。残念ながら、図２８に示した基本
ＨＭＭの結果と同じかそれより低い精度となり、本実施
例６の方法では、精度改善効果がないとことが分かっ
た。従って、前記実施例３〜５のごとく、入力音声から
推定された音韻境界あるいは音韻境界の領域でだけ音韻
モデル系列の状態間遷移を許す方法は、本発明における
最も効果的な部分であることが分かる。

【００９０】実施例７．本実施例は、音韻モデル系列の境界の生成としての状態
間遷移を助長することに関して、前記実施例４，５にお
いては音韻境界あるいはその周辺でスコア値を与えたの
に対し、境界検出手段７中の境界尤度計算手段７０２０
１〜７０２１４の出力の境界尤度Ｒ７０２０１〜Ｒ７０
２１４に比例して助長を与えるようにしたものである。
具体的には、境界時刻推定手段７０３０１〜７０３１４
において、変数Ｃ_K （ｔ）を式（２６）（ここで、εは
比例係数）と設定し、図２４のステップＳ３０６あるい
は図３２のステップＳ３０６Ｃを図３４のステップＳ３
０６Ｄに置換したものである。すなわち、ＨＭＭ演算の
漸化式を式（２７）としたものである。

【００９１】

【数１８】

【００９２】図３５は本実施例による評価結果である。
なお、明記されていない実験条件は、実施例３の評価実
験の時と同じである。図において、ａ_ij＝１／ｎ_i 、比
例係数ε＝０．１とした時、最小の誤り率７．２％が得
られている。この値は、実施例３〜６の中で最も良い。
このように、推定された音声中の音韻境界あるいは音韻
境界付近の領域内の状態間の遷移において、境界の推定
の副産物として得られる境界の尤度に比例するスコアを
加え、音韻モデル系列の境界の生成としての状態間の遷
移を助長する方法の効果が確認された。

【００９３】なお、以上の説明では、ＨＭＭ演算にビタ
ビのアルゴリズムを用いた場合について説明したが、本
発明は、ビタビのアルゴリズムにおいて、最大化演算ｍ
ａｘを和Σで置き換えた例えば式（２８）で示される定
式化に基づくＨＭＭに適用できることは言うまでもない
（但し、最適状態系列はビタビアルゴリズムに基づいて
検出する必要がある）。

【００９４】

【数１９】

【００９５】また、以上のすべての説明では、境界検出
手段として、固定長セグメントの確率分布を用いる方法
について説明したが、従来の他の技術、例えば、文献
（「多様な音韻環境における音素的単位のセグメンテー
ション」、電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．
Ｊ７２−Ｄ−ＩＩＮｏ．８，ｐｐ．１２２１−１２２
７１９８９年８月）にあるような音素的単位の音韻境
界を検出する方法を用いても実現できることは言うまで
もない（但し、境界尤度は用いることが出来ない）。さ
らに、以上の説明は、２９種の音韻を音韻モデル系列と
してのＨＭＭの各１つの状態に対応させた場合について
述べたが、音韻の数はこれに限定されるものではなく、
また、各音韻に割り当てる状態数もこれに限定されるも
のではない。またさらに、音韻モデルとして、ＨＭＭを
用いる必要はなく、例えば、文献（平成２年３月発行の
日本音響学会講演論文集、２−Ｐ−２７「時間依存線形
音素文脈モデルを用いた音声認識の検討」）に示された
線形音素文脈依存の音韻モデルを用いても構わない。

【００９６】

【発明の効果】以上のようにこの発明の音声認識の境界
推定方法によれば、音声中の境界に対応する特徴の分布
を設計方法の確立された確率分布のモデルに当て嵌めて
推定するようにしたため、設計が容易で、しかも、確率
に対応する尤度が直接得られる方法が得られる効果があ
る。

【００９７】また、この発明の音声認識装置によれば、
入力音声から時系列特徴パラメータに変換する特徴抽出
手段と、時系列特徴パラメータから入力音声中の音韻境
界相当領域を検出する境界検出手段を設けた上で、第１
に、時系列特徴パラメータに対して音韻モデル系列を当
てはめる際、音韻モデル系列の遷移が起こる時刻を入力
音声中の音韻境界相当内に制限するモデル演算手段とし
たため、または第２に、時系列特徴パラメータに対して
音韻モデル系列を当てはめる際、入力音声中の音韻境界
相当領域内に音韻モデル系列の遷移が起るよう助長する
モデル演算手段としたため、または第３に、これらを組
合せたモデル演算手段としたため、または、第４に、境
界検出手段は、音韻境界の推定の際、該音韻境界の尤度
が同時に得られる境界検出手段とすると共に、音韻境界
相当の領域内に音韻モデル系列の遷移が起るよう音韻境
界の尤度に比例して助長するモデル演算手段としたた
め、継続時間制限を設けずに高精度が得られ、また継続
時間制限を不要にすることで、従来よりもモデル演算を
簡単にできる効果がある。

【図面の簡単な説明】

【図１】この発明の実施例１を示す構成図である。

【図２】実験方法を示す構成図である。

【図３】音声データの音韻の記述を例示する説明図であ
る。

【図４】サンプルの切出し方法の説明図である。

【図５】実施例１の評価用の学習サンプル数を示す説明
図である。

【図６】実施例１の動作の一例を説明する説明図であ
る。

【図７】実施例１の実施結果を示す説明図である。

【図８】実施例１の実験結果を示す説明図である。

【図９】実施例１の実験結果を示す説明図である。

【図１０】実施例１の実験結果を示す説明図である。

【図１１】この発明の実施例２を示す構成図である。

【図１２】この発明の実施例２のテーブルの内容を説明
する説明図である。

【図１３】実施例２の評価用の学習サンプル数を示す説
明図である。

【図１４】実施例２の実験結果を示す説明図である。

【図１５】この発明の実施例３を示す構成図である。

【図１６】実施例３におけるＨＭＭの構造を示す図であ
る。

【図１７】実施例３におけるＨＭＭの状態と音韻との関
係を示す図である。

【図１８】実施例３における学習手段の構成図である。

【図１９】実施例３における境界検出手段の構成図であ
る。

【図２０】実施例３における音韻境界の種類とカテゴリ
番号の関係を示す図である。

【図２１】実施例３における境界尤度計算手段の構成図
である。

【図２２】実施例３における境界時刻の推定法の説明図
である。

【図２３】実施例３における状態遷移と音韻境界カテゴ
リの関係を示す図である。

【図２４】実施例３におけるＨＭＭ演算手段の動作を示
す流れ図である。

【図２５】実施例３における最適状態系列抽出手段の動
作を示す流れ図である。

【図２６】実施例３における可能な状態遷移を示す図で
ある。

【図２７】実施例３における認識結果を示す図である。

【図２８】実施例３と従来の装置の性能評価結果を示す
図である。

【図２９】実施例４におけるＨＨＭ演算手段の処理の一
部を示す図である。

【図３０】実施例４の性能評価結果を示す図である。

【図３１】実施例５の性能評価結果を示す図である。

【図３２】実施例６におけるＨＨＭ演算手段の処理の一
部を示す流れ図である。

【図３３】実施例６の性能評価結果を示す図である。

【図３４】実施例７におけるＨＨＭ演算手段の処理の一
部を示す流れ図である。

【図３５】実施例７の性能評価結果を示す図である。

【図３６】従来の音声中の境界の推定方法を示す構成図
である。

【図３７】従来の第１の音声認識装置の構成図である。

【図３８】従来の第２の音声認識装置の構成図である。

【図３９】従来の第２の音声認識装置におけるＨＭＭの
構造を示す図である。

【符号の説明】

１特徴抽出部２時間窓部３モード選択部７境界検出部８境界検出パラメータ記憶部１１音声区間検出手段１３ＨＭＭ演算手段１４ＨＭＭパラメータ記憶手段１５最適状態系列検出部（音韻系列変換手段）２０ＨＭＭパラメータ学習手段２１境界検出パラメータ学習手段４０分類部４１テーブル５００１、５００２、５０２８サンプル６００１、６００２、６０２８推定部７００１、７００２、７０２８パラメータ８００１、８００２、８０１４、８０２８確率密度計
算部９００２、９００４、９０１４、９０２８尤度計算部７０２ＸＸ境界尤度計算手段７０３０１、７０３０２、７０３１４境界時刻推定手
段７０２０１Ｘ境界確率計算手段７０２０１Ｙ非境界確率計算手段７０２０１Ｚ対数尤度比計算手段

Claims

(57)【特許請求の範囲】

【請求項１】入力音声を分析して得られる時系列で展
開されるパラメータ群が、所定の時間幅の窓の中で示す
値をサンプルとして抽出し、前記窓の中心に音声の境界
が存在する度合いを算出する場合に、前記窓の中心に前記音声の境界が存在する第１の確率密
度と、前記窓の中心に前記音声の境界が存在しない第２
の確率密度とを計算し、前記第１の確率密度及び前記第
２の確率密度を含む計算に基づいて前記窓の中心に音声
の境界が存在する度合いを算出する音声認識の境界推定
方法。
【請求項２】入力音声を分析して時系列の特徴パラメ
ータに変換する特徴抽出手段と、前記時系列の特徴パラメータから、前記入力音声中の音
韻境界または音韻境界付近の領域を検出する境界検出手
段と、前記特徴パラメータに対応する複数の音韻モデル系列を
用意し、該モデル系列を用意する際、前記音韻モデル系
列の境界が生成される時刻を前記境界検出手段が検出し
た音韻境界または音韻境界付近の領域内に限定したモデ
ル演算手段と、前記モデル演算手段の結果から、前記入
力音声に対応する適切な音韻モデル系列を選択する音韻
系列変換手段とを備えた音声認識装置。
【請求項３】入力音声を分析して時系列の特徴パラメ
ータに変換する特徴抽出手段と、前記時系列の特徴パラメータから、前記入力音声中の音
韻境界または音韻境界付近の領域を検出する境界検出手
段と、前記特徴パラメータに対応する複数の音韻モデル系列を
用意し、該モデル系列を用意する際、前記境界検出手段
が検出した音韻境界または音韻境界付近の領域内に前記
音韻モデル系列の遷移が起こるのを助長するようにした
モデル演算手段と、前記モデル演算手段の結果から、前記入力音声に対応す
る適切な音韻モデル系列を選択する音韻系列変換手段と
を備えた音声認識装置。
【請求項４】境界検出手段は、音韻境界の検出の際、
該音韻境界の尤度を同時に求める境界検出手段とし、モデル演算手段は、前記特徴パラメータに対応する複数
の音韻モデル系列を用意する際、前記境界検出手段が検
出した音韻境界または音韻境界付近の領域内に前記音韻
モデル系列の遷移が起こるのを助長し、該助長の割合を
前記境界検出手段で得られる前記音韻境界の尤度に比例
するようにしたことを特徴とする請求項３記載の音声認
識装置。
【請求項５】入力音声を分析して時系列の特徴パラメ
ータに変換する特徴抽出手段と、前記時系列の特徴パラメータから、前記入力音声中の音
韻境界または音韻境界付近の領域を検出する境界検出手
段と、前記特徴パラメータに対応する複数の音韻モデル系列を
用意し、該モデル系列は前記音韻モデル系列の境界が生
成される時刻を前記境界検出手段が検出した音韻境界ま
たは音韻境界付近の領域内に限定したモデル系列を用意
し、また前記境界検出手段が検出した音韻境界または音
韻境界付近の領域内に前記音韻モデル系列の遷移が起こ
るのを助長するようにしたモデル演算手段と、前記モデル演算手段の結果から、前記入力音声に対応す
る適切な音韻モデル系列を選択する音韻系列変換手段と
を備えた音声認識装置。
【請求項６】境界検出手段は、請求項１記載の音声認
識の境界推定方法を用いることを特徴とする請求項２な
いし請求項５記載の音声認識装置。