JPH0554678B2

JPH0554678B2 -

Info

Publication number: JPH0554678B2
Application number: JP59014710A
Authority: JP
Inventors: Sadaichi Watanabe; Teruhiko Ukita
Original assignee: Tokyo Shibaura Electric Co Ltd
Current assignee: Toshiba Corp
Priority date: 1984-01-30
Filing date: 1984-01-30
Publication date: 1993-08-13
Also published as: JPS60159798A

Description

【発明の詳細な説明】〔発明の技術分野〕本発明は連続発声された入力音声を精度良く認
識することの出来る音声認識装置に関する。

（発明の技術的背景とその問題点〕音声の自動認識は、人間から機械への直接的な
情報入力を可能とするインターフエイス技術とし
て非常に重要である。この音声の自動認識は、例
えば音素・音節・単語等の言語的記号の系列を連
続発声してなる入力音声パターンを、離散的な言
語的記号に変換し、これらの各言語的記号をそれ
ぞれ認識する過程として補えることが出来る。

ところで人間の発声器官は、ある質量を持つた
物理的なものであり、従つて、発声された音声パ
ターンが離散的に変化することはない。この為、
連続発声された音声の言語的記号に対する音声パ
ターンがその前後の環境の影響を受けることが否
めない。例えば、言語的記号として音素を考えた
場合、「青い（aoi）」なる単語における「ｏ」の
部分の音声パターン（音声波）を切出して聴取し
ても明瞭な「ｏ」として知覚することは難しい。
これはその前後の「ａ」と「ｉ」により、「ｏ」
のパターンが変形している為である。逆に「ａ」
や「ｉ」が「ｏ」の影響により変形することも良
く知られている。また言語的記号として単語を考
えた場合でも、数字列「83（ハチサン）」のうち
「チ」の部分が無声化されることが多いのに対し
て、数字列「81（ハチイチ）」の場合には「チ」の
部分が無声化されることは殆んどない。つまり同
じ言語的記号であつても、その音響的な表現であ
る音声パターンがその前後の環境によつて異なる
と云う現象（調音結合）が生じる。

このように人間が連続発声する音声の言語的記
号は、その前後の影響を強く受けて大きく変化し
ており、しかもその影響は相互的なものである。
この為、１つの言語的記号を１つの音声パターン
として捕えてその前後の環境とは独立に認識処理
するには本質的な無理がある。そこで従来では、
音声パターンの種々の変形を可能な限り類型化
し、１つの言語的記号に対して複数の音声パター
ンをその標準パターンとして準備することが考え
られている。然し乍ら、音素や音節は前後の環境
種類が多い為、上述したように多くの標準パター
ンを準備するには、その数が非常に膨大となると
云う問題を有していた。しかも複数の標準パター
ンを用意する方法は、その前後関係の問題を本質
的に解決するものではないので、認識性能の点か
らも問題があつた。

このような問題を解決するものとして、本発明
者等は先に特願昭58−85241号に示す装置を提唱
した。この装置は連続発声された入力音声を分析
してその特徴パラメータ系列を離散的な言語的記
号の単位に分離し、各区分単位毎に１つ若しくは
複数の言語的記号候補とこれらの各記号候補の上
記区分単位に対する尤度を求め、これらの各尤度
を時間的に隣接する区分単位間における各記号候
補間の適合係数を関数としてそれぞれ更新し、こ
れらの更新された尤度が所定の閾値を越えたと
き、各区分単位で最大の尤度を持つ記号候補をそ
の単位における認識結果として出力するものであ
る。即ち、第１図に示されるように、音響分析部
１で入力音声のスペクトル構造を表す特徴パラメ
ータ系列を求め、次に分割記号化処理部２におい
て上記特徴パラメータ系列を言語的記号の単位に
分割すると同時に各記号の尤度を第２図に示すよ
うに求め、これを記憶部３に格納する。その後、
制御部４の制御の下で各記号間の予め設定された
適合係数により、上記各記号の尤度やその正しい
確率をそれぞれ繰返し更新する。この尤度の更新
処理を所定の条件が満足されるまで繰返して行な
つた後、これを記号評価部５で評価して前記区分
区間において最大の尤度を得る記号をその区分単
位における認識結果としてそれぞれ求めるもので
ある。

しかし、ここで用いられる適合係数は、隣接す
る時間区分の記号候補の並びの関数として定義さ
れるものであり、言語的記号の並び（連鎖）が正
しく認識される確率、或いは他のパラメータによ
り予め設定されるものである。従つて、適合係数
として用いることの出来る情報は、統計的なもの
等の予め設定できる尺度に限られる。この為、入
力音声の個々の内容に即した情報を前記適合係数
に反映させることが不可能であり、その認識性能
の向上に限界があつた。

〔発明の目的〕

本発明はこのような事情を考慮してなされたも
ので、その目的とするところは、連続する言語的
記号間の前後関係による影響を効果的に除去し
て、連続発声された入力音声を精度よく認識する
ことのできる実用性の高い音声認識装置を提供す
ることにある。

〔発明の概要〕

本発明は入力音声を分析して得られる特徴パラ
メータ系列を離散的な言語的記号の単位区分に分
離し、各区分毎に１つ若しくは複数の言語的記号
候補およびこれらの各記号候補のその区分単位に
おける尤度をそれぞれ求めると共に、上記入力音
声に基いて時間的に隣接する区分単位間における
前記各記号候補間のその入力位置における適合係
数を、例えば音素の区分境界を中心として抽出さ
れる入力音声の部分パターンに対し、予め用意さ
れた言語的記号間の遷移部の標準パターンとマツ
チング処理し、その類似度として求める。そし
て、各記号の尤度を上述した如く求めた適合係数
を関数としてそれぞれ更新し、これらの更新され
た尤度が所定の閾値を越えたとき、或いはその更
新処理を所定回数行つたとき、各区分区間におい
て最大の尤度を持つ言語的記号候補をその区分に
おける認識結果として出力するようにしたもので
ある。

〔発明の効果〕

かくして本発明によれば、離散的な言語的記号
の区分単位に分離された入力音声の各区分単位毎
に求められた言語的記号候補の尤度を、入力音声
に基いて求めた時間的に隣接する区分単位間にお
ける記号間の適合係数を関数としてそれぞれ繰返
し更新するので、処理対象とする区分単位の前後
の区分単位における記号候補が一意に確定してい
なくても、その影響を順次適応的に除去しながら
尤度の高い記号候補を確定することが可能とな
る。つまり、最初に仮定される複数の記号候補に
ついて、入力音声中の仮定された境界位置の前後
関係の内容を適合係数としてその記号候補の尤度
に反映し、その尤度を繰返し更新するので、上記
各区分区間の適合系に反映される区分単位間の影
響を徐々に繰返し除去することができる。この結
果、連続発声された入力音声の個々の言語的記号
をそれぞれ精度良く認識することが可能となる。
従つて、連続発声された入力音声の全体に亙つ
て、互いに影響を及し合つている連続音声の言語
的記号をそれぞれ高精度に認識でき、その効果は
極めて絶大である。

〔発明の実施例〕

以下、図面を参照して本発明の一実施例につき
説明する。

尚、ここでは言語的記号として音素を例にとり
説明するが、音節や単語を言語的記号として取扱
うことも勿論可能である。

第３図は実施例装置の概略構成図である。連続
発声して入力される音声は音響分析部１１に導か
れ、所定の分析時間（フレーム：例えば10ｍsec）
毎に音響分析されて特徴パラメータに変換され
る。この音響分析部１１は、例えばスペクトル分
析の手法として知られている複数の帯域通過フイ
ルタからなるフイルタ・バンクにより構成され、
その各チヤネル出力値のエネルギを計算して、こ
れを前記入力音声の特徴パラメータとして求めて
いる。これらのデータは音響分析部１１内の入力
パターンメモリに記憶される。しかして、分割記
号化処理部１２は、上記音響分析部１１が音響分
析して求めた入力音声の特徴パラメータ時系列を
入力し、これをその離散的な言語的記号の単位で
ある音素に対応する区間に分割して各区分単位毎
に記号化している。この分割記号化処理部１２
は、例えば入力音声のパワーやスペクトル変化等
の特徴パラメータから音素境界を検出し、前記入
力音声の特徴パラメータ時系列を音素を単位とし
て分割した後、各区分単位の特徴パラメータ系列
と標準パターンとのマツチング処理を行つて各単
位毎に１つ若しくは複数の音素候補、つまり言語
的記号候補を求めている。

この分割記号化処理部１２は例えば第４図に示
す如く構成される。即ち、補助特徴抽出部２１は
前記音響分析部１１の入力パターンメモリに記憶
されている特徴パラメータの時系列から、音声パ
ワーとスペクトル変化を補助特徴として抽出し、
これを保持している。この補助特徴に対して音素
境界検出部２２では、例えば音声パワーの極小値
またはスペクトル変化の極大値を与えるフレーム
を音素の境界として検出している。この境界情報
は音素区間の開始・終了位置として前記第３図に
示される記憶部１３に転送されると共に、該処理
部１２における音素パターン発生部２３に与えて
いる。この音素パターン発声部で２３では前記音
素境界のフレームをそれぞれ開始フレームと終了
フレームとして前記特徴パラメータ時系列を切出
し、後述する類似度演算の為にその区分単位にお
ける音声パターンを作成している。そしてこの音
素パターンを、音素標準パターン記憶部２４に予
め準備された全ての音素の標準パターンとの類似
度演算を行なうべく、これを音素類似度演算部２
５に出力している。この音素類似度演算部２５に
て前記区分単位の音声パターンと音素標準パター
ンとの類似度がそれぞれ計算される。候補判定部
２６は、このようにして計算される前後各音素標
準パターンに対する類似度の値を相互に比較して
その区分単位における音素候補を１つまたは複数
選択している。そしてこれらの音素候補は前記記
憶部１３に転送される。

尚、上記音素の類似度計算手段としては、例え
ばパターン変形の吸収能力の高い複合類似度法を
用いることが好ましい。この複合類似度法によれ
ば各音素のクラス毎に互いに直交した数種のベク
トルを標準パターとして持つ必要があるが、音素
の種類は高々30種程度であるので、メモリや処理
時間の点での問題を招くことは殆んど無い。また
候補判定部２６で類似度値がある閾値より大きい
上位Ｎ個の音素をその候補として出力するもので
あればよい。その結果として、音素区間の情報が
例えば第５図に示すように前記記憶部１３のＰテ
ーブル１３ａに、また音素候補名とその類似度が
尤度としてＬレジスタ１３ｂに保存される。即
ち、Ｐテーブル１３ａには前記各区分単位の開始
フレームと終了フレーム、及び音素候補の個数と
Ｌレジスタ１３ｂに対するポインタが記憶され、
またＬレジスタ１３ｂには前記各区分単位におけ
る音素候補とその尤度（確率）それぞれが保持さ
れる。そしてこれらのテーブル１３ａ，１３ｂは
上記ポインタによつて相互に関連付けられる。

尚、分割記号化処理部１２の構成は上述した例
に限られるものではない。例えば、入力音声の特
徴パラメータのチヤネル数を少なくし、これを再
分割して求められる概略特徴パラメータに対して
音素の標準パターンをマツチング処理して音素の
境界を検出し、しかる後に詳細な特徴パラメータ
に対して別の用意された詳細な音素標準パターン
をを用いて再度マツチング処理してその音素候補
を得るようにしてもよい。特にこのような手法と
採用すれば、音節や単語を言語的記号とする場合
であつても、上述した音素の場合と全く同様に記
号候補への分割を行なうことが出来る。この際、
各言語的候補について、その距離や類似度等によ
つて示される尤度も同時に求めるようにすればよ
い。このようにして求められる尤度は、その音素
候補が対象区分の特徴パラメータと比較したとき
の所謂確からしさを示すものと云える。

しかして前記分割記号化処理部１２により求め
られた各区分単位の位置とその音素候補は適合係
数設定部１４に送られ、前記各区分単位間におけ
る音素候補間のその位置における適合係数が算出
される。

即ち、適合係数設定部１４は、前記音素候補と
その位置に基いて、入力音声の特徴パラメータの
その境界位置に対して、予め用意される音素の連
鎖の標準パターンとのマツチング処理を行なつて
適合係数を設定している。例えば第２図に示す例
では、その第２区分単位において“ｍ”と“Ｎ”
とが候補として求められる。今、この候補“ｍ”
について考えると、その左側の区分（第１区分単
位）の候補“ｏ”と上記候補“ｍ”との適合係数
は、予め用意された“ｏ−ｍ”の遷移部の標準パ
ターンと、この入力データの第１区分と第２区分
の境界における部分音声パターンとマツチングす
ることにより求められる。このマツチング処理の
結果として得られる類似度を変換して、前記音素
候補間“ｏ−ｍ”のその位置における適合係数と
する。尚、このような手法を採用する場合、音素
の並びの全てに対して標準パターンをそれぞれ用
意する必要がある。然し乍ら、日本語の場合には
音素の並びの基本が、一母音−子音−母音−子音
−……と云う構造であるので、その種類は高々５（＝母音）×25（＝子音）×２であり、結局250種の標準パターンを準備するだ
けでよい。またマツチング処理の回数は、最初に
得られる各候補の組合せについて、それぞれの位
置で１度マツチングすれば良い。

しかしてマツチング処理の方法としては、公知
の動的計画法や複合類似度法、或いはパターン認
識で良く知られている統計的な距離を用いて行な
うことができる。例えば複合類似度法により前記
適合係数を求める場合には、適合係数設定部１４
を第６図に示すように構成すればよい。即ち、適
合係数設定部１４では、先ずパターン生成部３１
にて前記分割記号化部１２から与えられた音素境
界の位置データに基いて、その場所における環境
部の入力パターンを生成する。具体的には、例え
ば境界のフレームを中心として前後数十ｍsecの
所定次元の入力パターン（特徴パラメータの時系
列）を取出して行われる。次に音素境界標準パタ
ーン記憶部３２に予め登録された互いに直交する
数種のベクトルからなる音素の境界標準パターン
と前記境界部の入力パターンとの類似度計算を類
似度計算部３３にて行なう。この類似度計算は、
対象境界フレームの両側に現れる音素候補によつ
て指示される全ての音素境界パターンについて実
行される。変換部３４でこのようにして求められ
た類似度を用いて、例えば０〜100の範囲で与え
られる類似度を0.0〜1.0の範囲の値を持つ適合係
数として変換生成する。この適合係数の算出に用
いる写像関数は線形でもよいし、或いは非線形な
関数であつてもよい。適合係数設定部１４ではこ
のようにして得られた適合係数をメモリ（Ｂテー
ブル３５ａとＲレジスタ３５ｂ）３５に記憶す
る。例えば第７図に示すように境界フレーム番号
とそこにおける音素の連鎖の個数、及びＲレジス
タ３５ｂへのポインタをＢテーブル３５ａに格納
し、音素連鎖を表す２つの音素名とそれに対応す
る適合係数をＲレジスタ３５ｂに格納している。

このようにして適合係数設定部１４に求められ
た適合係数の情報に基いて、前記記憶部１４に格
納された情報（音素候補）が、記号評価部１５に
より評価処理される。

次にこの記号評価部１５における評価処理につ
いて説明する。区分単位にそれぞれ分離された各
区分の音素は、その前後の音素の影響を受けてい
ることは、前述した通りである。従つてある単位
の音素に対して求められて音素候補が正しいか否
かを判定するには、その単位について求められた
尤度だけでは不十分である。そこで今、第ｉ番目
の区間の音素に対して求められた音素候補ｘの尤
度（類似度）をLi(x)として定義する。そして各区
分毎に先ず P^o _i(x)＝Li(x)／〓^y Li(y) ……(1) により、各区分における各音素候補が正しい確立
P^O _i(x)を求める。このP^O _i(x)はその区分における相
対的なもつともらしさ、即ち尤度を表している。
そこで、その前後の区分（ｉ−１）、（ｉ＋１）に
おいて求められた音素候補を各々Ａ、Ｂとする。
今、ｋ回（ｋ＝１、２、……）の更新処理が成さ
れたときの確立をP^k _i(x)とすると、その更新処理
は、次の漸化式に従つた演算を施す事によつて行
われる。

S^k _i(x)＝P^k-1 _i(x)×｛１＋〓^A P^K _i-1(A)・ｒ（Ａ、ｘ；ｆ）＋〓^B Pⁱ⁺¹ _i+1(B)・ｒ（ｘ、Ｂ；ｆ）｝ ……(2) （ｆ；境界フレーム番号） P^k _i(x)＝S^K _i(x)／〓〓Ｓ（α） ……(3) 但し、 P^k _p(x)＝P^K _I+1(x)＝０である。即ち、上記第(2)式においては、隣接区分
間における各音素候補間の相互影響を取除くべ
く、前記した適合係数を関数とした処理が行われ
る。しかる後、この処理によつて求められたS^k _i(x)
を前記第(3)式を用いて、その区分における尤度の
和が一定になるように正規化を行つている。以
下、この処理が入力音声の全区間に亘つてｋ回繰
返し実行され、前記各区分単位毎に求められた各
音素候補の尤度がそれぞれ更新される。

この第(1)〜(3)式に示される演算処理は前記記号
評価部１５にて行われる。即ち、記憶部１３のＰ
テーブル１３ａとＬレジスタ１３ｂに格納された
データを基本として、そのＰテーブル１３ａに保
持される音素の区分毎にＬレジスタ１３ｂ中の各
音素候補名ｘと、その正しい確立P^o _i(x)を計算す
る。その後、各区分単位の開始フレーム番号ｆを
引数として、前記Ｌレジスタ１３ｂから左隣接区
分の音素候補名Ａとその確率P^k _i-1(A)、および適合
係数設定部１４のＲレジスタ１４ｂから音素列
“Ａ−ｘ”に対する適合係数ｒ（Ａ、ｘ；ｆ）を読
出し、P^k _i-1(A)ｒ（Ａ、ｘ；ｆ）を計算する。この
演算を左隣接区分の全ての音素候補について行
い、〓^A P^k _i-1(A)ｒ（Ａ、ｘ；ｆ）を計算する。次に
右隣接区分についても同様の計算を行なつた後
に、前記第(2)式に従つてS^k _i(x)を求める。そしてそ
の区分の全ての音素候補について上述した演算を
施した後、前記第(3)式に従つて各P^k _i(x)を計算し、
記憶部１３中のＬレジスタ１３ｂの内容を更新す
る。

このような処理を、全ての区分単位における第
１位の尤度（確率）が所定の閾値を越えるか、或
いはその更新処理が所定の繰返し回数だけ終了す
るまで実行する。そして、そのときに前記記憶部
１３に得られた内容（音素候補）を各区分単位の
認識結果としてそれぞれ出力する。

このように本装置によれば、連続発声された音
声の言語的記号間の相互作用を高度に、且つ効果
的に除去して、その記号列を正しく認識すること
が出来る。故にその実用的利点が極めて高く、絶
大なる効果を奏することが出来る。

尚、本発明は上記実施例に限定されるものでは
ない。例えば、ここでは言語的記号を音素として
説明したが、音節や単語を言語的記号の単位とし
ても同様に装置を構成することができ、また同様
な効果が得られる。また分割記号化部１２の記号
化の単位として、Ｖ−Ｃ−Ｖ（母音−子音−母音）
の音韻連鎖をを単位として入力音声パターンを記
号化した後、適合係数設定部１４では、逆にＣ−
Ｖ−ＣやＶ単独の標準パターンを用いてその適合
係数を設定するようにしてもよい。要するに本発
明はその要旨を逸脱しない範囲で種々変形して実
施することができる。

【図面の簡単な説明】

第１図は従来装置の一例を示す概略構成図、第
２図は入力音声とその音素候補との関係を示す
図、第３図は本発明の一実施例装置の概略構成
図、第４図は分割記号化処理部の構成例を示す
図、第５図はＰテーブルとＬレジスタの構成を示
す図、第６図は適合係数設定部の構成例を示す
図、第７図はＢテーブルとＲレジスタの構成を示
す図。１……音響分析部、２……分割記号化部、３…
…記憶部、４……制御部、５……記号評価部、１
１……音響分析部、１２……分割記号化部、１３
……記憶部、１４……適合係数設定部、１５……
記号評価部、２１……補助特徴抽出部、２２……
音素境界検出部、２３……音素パターン発生部、
２４……音素標準パターン記憶部、２５……音素
類似度演算部、２６……候補判定部、３１……境
界パターン生成部、３２……音素境界標準パター
ン記憶部、３３……類似度計算部、３４……変換
部、３５……メモリ（Ｂテーブル、Ｒレジスタ）。

Claims

【特許請求の範囲】１入力音声を分析して求めた上記入力音声の特
徴パラメータ系列を離散的な言語的記号の区分単
位に分離する手段と、この手段により分離された区分単位毎に１つま
たは複数の言語的記号候補とその言語的記号候補
の前記区分単位に対する尤度を求める手段と、予め用意された言語的記号の並びの標準パター
ンと入力音声の前記言語的記号の並びに対応する
特徴パラメータ系列とをマツチング処理して時間
的に隣接する区分単位間における前記各言語的記
号候補間の適合係数を求める手段と、これらの適合係数を関数として前記各言語的記
号候補の尤度をそれぞれ更新する手段と、これらの更新処理された尤度が所定の閾値を越
えるとき、或いは上記更新処理が所定回数なされ
たときに前記各区分単位で最大の尤度を持つ言語
的記号候補をその単位における認識結果としてそ
れぞれ出力する手段とを具備したことを特徴とす
る音声認識装置。