JPH0363080B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は連続音声認識装置に関し、特に文法に
従がつて入力される入力される文や句を矛盾なく
効率良く認識する装置の改良に関する。

連続的に発声入力される文章や句（以下連続音
声と総称する。）を認識する連続音声認識装置は
計算機に対する演算命令や、ロボツトに対する行
動指令に有用であると考えられる。一般に、この
ような演算命令や行動指令は人工的な文法に基づ
いて発せられる。新美康永著、昭和54年10月共立
出版社発行の「音声認識」（以下文献(1)と称す
る。）の第164ページに記載される如く、多くの人
工的文法は正規文法で記述することができる。こ
こに正規文法とは、有限状態オートマトンの制御
によつて生成あるいは受理されるような言語の規
則である。したがつて、正規文法に基づく連続音
声を矛盾なく認識できる音声認識装置は、極めて
実用性が高いと考えられる。

特願昭54−104669号明細書（以下文献(2)と称す
る。）には、正に、正規文法に基づく連続音声を
矛盾なく認識処理する連続音声認識装置が記述さ
れている。その記載の要旨を本明細書の第１図に
基づいて説明する。第１図ａは算盤読み式（例え
ば3095円をサンゼン キユウジユウゴエンと読
む。）の数字音声の発生規則を正規文法に対応す
るオートマトンで示したものである。状態０〜５
の間の遷移図であつて遷移線に付した文字は、次
のような意味を持つ。

“４”＝｛1000，2000，……9000｝ “３”＝｛100，200，……900｝ “２”＝｛10，20，……90｝ “１”＝｛１，２，……９｝ “５”＝｛円｝ (1) すなわち、例えば“２”の所には10，20，…
…，90なる単語群が対応する。第１図ａのオート
マトンに数字“2053円”が入力された場合には状
態を０→３→４→５の如く遷移して受理される。

音声パタンは特徴ベクトルa_iの時系列として Ａ＝a₁a₂……a_i……a_I (2) なる如く表現される。また、認識対象となる単語
をｎ＝１，２……Ｎなる番号で示す時、単語ｎの
標準パタンは、 Bⁿ＝bⁿ ₁bⁿ ₂……bⁿ _j……bⁿ _jo (3) なる如く示される。第２図に示すように入力パタ
ンＡの部分パタンが、 Ａ（ｌ，ｍ）＝a_l+1a_l+2……a_n (4) と定義される。標準パタンＢと入力パタンＡ（ｌ，
ｍ）との間の個別距離がＤ（ｌ，ｍ，ｎ）と定義
される。

単語ｎの機能を示すコードをFⁿで示す。いま、
前に述べた算盤読み数字の場合を例にとると、こ
のFⁿは第３図に示すようなテーブルとして表現
される。また、第１図のオートマトンは第４図に
示すような状態遷移テーブルとして表現される。
この状態遷移テーブルは、機能コードFⁿを持つ
単語ｎが入力された時に、状態ｐから状態ｑへの
遷移が許される事を意味する。例えば、Fⁿ＝２
によつて０→３，１→３，２−３なる状態遷移が
生起し得る。

前記文献(2)によると、第１図ｂに示すように状
態ｐ（あるいはｑ）と時刻ｍとによつて番地指定
されるメモリーを用意する。そして、このメモリ
ー上で次のような動的計画法の漸化式が計算され
る。

T_q＝(m) min^p.l.n 〔T_p(l)＋Ｄ(l,m,n)〕 (6) ここにＤ（ｌ，ｍ，ｎ）は、前に述べたように
部分パタンＡ（ｌ，ｍ）と標準パタンBⁿとの個別
距離である。また、minで示される最小値検出は
状態ｐ，時刻ｌ、単語ｎに関して｛ ｝内の値を
最小化することを意味する。特にｑ，ｐ，ｎの間
には、機能コードFⁿによつて状態ｐから状態ｑ
への遷移が状態遷移テーブルに存在するという関
係が要請される。

(6)式の計算は第１図ｂに示した漸化式値テーブ
ルのｐ（＝１，２，……５），ｍ（１，２，……Ｉ）
の組み合せを総べて埋めるように計算される。な
お、初期条件として T_p（ｏ）＝０ T_p（ｍ）＝∞ ｍ＞０ T_p（ｏ）＝∞ ｐ≠０ (7) が与えられる。これらは第１図ａに示すオートマ
トンの状態遷移が、必らず初期状態０より発する
ことを保証するためである。

上記文献(2)に記載された方法によつて前記の漸
化式(6)を計算するためには、各時刻ｍにおいて個
別距離Ｄ（ｌ，ｍ，ｎ）のすべて（すなわち、ｎ
＝１，２，……，Ｎ）を計算する必要があつた。
これは各時刻ｍにおけるオートマトンの状態遷移
に総ての可能性を許していたためである。その結
果として常にＮ個の単語の総てが入力される可能
性があるものと見なして、Ｎ個の標準パタンとの
間で個別距離を計算する必要があつた。一般に時
刻ｉ（すなわち、ｌ，ｍも同じ）の標本化周期は
10ms前後に選定されるのが普通である。また、
音声パタン間の距離の計算には特開昭52−55413
号公報に記述されるが如き、動的計画法に基づく
手法が多用されているが、現在の回路技術では一
回の個別距離の計算に400μs程度を必要とする。
このため第３図に示すようにＮ＝37個の標準パタ
ンが有る時には、37×400μs＞100msとなつてし
まい、前記文献(2)の方法を実時間で実行するのは
不可能になる。すなわち、従来技術によつて多数
語藁の連続音声を実時間認識する事は困難であ
り、しいて実時間処理を行なうためには並列処理
方式等を採用する必要があり、高価かつ大型の装
置構成が必要とされた。

本発明は、従来装置の有する計算量が多いと言
う上記欠点を改良し、所要計算量を低減する事に
よつて低価格かつ小型の実用的な連続音声認識装
置を実現提供する事を目的としたものである。

本発明による連続音声認識装置は、単語ｎ＝
１，２，……Ｎのそれぞれに対して標準パタン
Bⁿ＝bⁿ ₁bⁿ ₂，……bⁿ _Joを記憶するための標準パタ
ン記憶部と、単語ｎに付随する機能コードFⁿと
状態ｐ及びｑの組を配列して構成される状態遷移
テーブルを記憶してなるオートマトン制御部と、
入力パタンＡ＝a₁a₂……a_i……a_Iの各時刻ｌを始
端とし、時刻ｉ＝ｍを始端とする部分パタンＡ
（lm）＝a_l+1a_l+2……a_nと前記標準パタンRⁿとの間
の個別距離Ｄ（ｌ，ｍ，ｎ）を算出するための手
段である第１マツチング部と時刻ｌ（あるいはｍ）
と、状態ｐ（あるいはｑ）とに対応して番地指定
される漸化式値テーブルT_p(l)、ＬテーブルL_p(l)、
ＰテーブルP_p(l)およびＮテーブルN_p(l)と、順次
進行される各時刻ｌにおいて漸化式値テーブルに
記憶される値T_p(l)の小となるｐの部分組を決定
する手段である状態選択部と、これにより選択さ
れる状態ｐの各々に対して、その状態で受理し得
る単語の組の和集合として時刻ｌにおいて受理し
得る単語組を決定してこの単語組みに含まれるす
べての単語ｎに対して個別距離Ｄ（ｌ，ｍ，ｎ）
を計算すべく前記第１マツチング部に指令する手
段たる単語指定部と、該単語ｎに対して状態遷移
が前記オートマトン制御部に定義される状態対
（ｐ，ｑ）のすべてに対してｌ＜ｍなる時刻ｍの
漸化式値T_q（ｍ）と、現時刻ｌにおける漸化式値
T_p(l)と前記個別距離Ｄ（ｌ，ｍ，ｎ）との和を比
較して後者が小なる時にかぎり、この後者の値を
T_q（ｍ）として記憶し状態ｐをＰテーブルP_q（ｍ）
に、現時刻ｌをＬテーブルL_q（ｍ）に単語名ｎを
ＮテーブルN_q（ｍ）にそれぞれ記入するという漸
化式計算を所要の時刻ｍに対して実行する手段で
ある第２マツチング部と、上記のＰテーブル、Ｌ
テーブル、およびＮテーブルを最終状態ｐ＝ｆ、
最終時刻ｌ＝Ｉよりさかのぼつて参照し、認識結
果を定める判定部とから構成される。

文献(2)の方法に比較して、各時刻においてオー
トマトンが受理し得る単語群を予測する機能が付
加されている。これによつて個別距離の計算は予
測された単語群の標準パタンに対してだけ行なえ
ば良いので、所要計算量が大幅に低減できる。す
なわち、結果として低価格な連続音声認識装置が
実現できるという効果が得られた。

本発明の原理による単語予測を第５図を用いて
説明する。3095円という入力音声に対する処理の
例であつて、時刻ｌにおいて漸化式値テーブルの
値T_p(l)が、それぞれT₁(l)＝6030，T₂(l)＝5020T₃
(l)＝2821、T₄(l)＝3529、T₅(l)＝4592であつたと
する。(6)式の意味する所により、これらの値は、
この時刻ｌまでの個別距離の積分値となつてい
る。したがつて、この値が小さい状態ｐはオート
マトンの現在状態としての可能性が強く、逆にこ
の値が大きい状態ｐは、この時刻ｌでの現在状態
である可能性は低い。故に、漸化式値の小さい数
個の状態、例えば第５図の例ではｐ＝３とｐ＝４
を選択して残し、他は無視しても良い。

第４図の状態遷移テーブルによるとｐ＝３の続
きには一の位の数１〜９（Fⁿ＝２）および“円”
（Fⁿ＝５）が許され、ｐ＝４の続きには、“円”
（Fⁿ＝５）だけが許される。結局第５図の時刻ｌ
の続きとしてこれらの和集合である。一の位の数
字及び“円”の合計10語だけが許容されるとして
個別距離の計算を行なえば良い事になる。

上記のような単語予測を行なわない文献(2)の従
来技術では、どの時刻ｌにおいても常に総ての標
準パタン、すなわち37個の標準パタンに対して個
別距離を計算する必要があつた。したがつて、こ
の時刻ｌにおいては、上記の単語予測によつて0/
３７の計算量圧縮が実現された事になる。

この単語予測を効率良く実行するため、本発明
においては(6)式の漸化式を次のように分解して前
向きに実行する。

T_q(m)＝minT_q（ｍ） T_p(l)＋Ｄ(l,m,n) (8) ただし、初期条件 T_q（ｍ）＝∞ …(9) (8)式と前記(6)式との関係は第６図によつて説明
される。図には簡単のため状態ｐからｑへの状態
遷移だけが存在する場合を示している。図中ａに
示す従来技術の場合には参照数字１で示す過去の
時刻帯におけるT_p(l)が、すでに算出されており、
これを基にして(6)式の漸化式を計算し、現在の時
刻ｍ（参照数字２）におけるT_q（ｍ）を算出する。
これに対して本発明においてはｂの如く、現在の
時刻ｌにおいて確定している漸化式値T_p(l)をも
とにして(8)式を計算し、未来の時刻ｍ（参照数字
４）における漸化式値テーブルに記入する。した
がつて、時刻ｌにおいて(8)式を計算しただけでは
(6)式を計算した事にはならないが、時刻ｌが進行
し参照数字３で示す部分を通過した時点では(6)式
を計算したのと等価になる事は、明らかである。

このような(8)式を採用したのは、次の理由によ
る。図中ａの従来技術では、過去の時刻帯１で選
択されたすべての状態群に続き得る単語の総べて
に対して個別距離Ｄ（ｌ，ｍ，ｎ）を算出しなけ
ればならないので、単語予測の効率が悪い。これ
に対して図中ｂに示す本発明の方法では、現在時
刻ｌにおいて選択された状態に続き得る単語のみ
を選んで個別距離の計算を行なえば良いので予測
効果が高い。

(8)式の計算と並行して(8)式の｛ ｝中の下式が
上式より小であつた時には、次の処理が実行され
る。

Ｌテーブル L_q（ｍ）＝ｌ Ｐテーブル P_q（ｍ）＝ｐ Ｎテーブル N_q（ｍ）＝ｎ (10) これらは文献(2)において、本明細書(6)式の最適
パラメータｌ，ｐ，ｎをテーブルに記憶していた
事に対応する。

時刻ｌが進行して(8)式の計算が、すべて終了し
た時点で次の様な処定処理がなされるのは、文献
(2)の場合と同様である。

いま、最終状態が、一般的にｐ＝ｆであるとす
る（第１図の例ではｐ＝５）。

(1) 初期条件 ｐ＝ｆ，ｍ＝Ｉ。

(2) N_p（ｍ）を認識結果n^として出力する。

(3) ｐ＝P_p（ｍ），ｍ＝L_p（ｍ）とする。

(4) ｐ＝０（初期状態）ならば終了する。ｐ≠０ ならば(2)以下を繰り返す。 (11) この手続きによつて認識結果は、最後尾単語か
ら逆順に求まる。

次に図面を参照して本発明の原理構成を詳細に
説明する。第７図は本発明の一実施例を示すブロ
ツク図であり、第８図はその動作を説明するため
のタイムチヤートである。第７図においてオート
マトン制御部１３０には、第３図の機能コード
Fⁿをｎに対応づけて記憶する機能コードテーブ
ルと第４図に示した状態遷移テーブルとが内蔵さ
れている。単語指定部１００には、単語選択部１
２０が付属している。この単語選択部１２０には
第９図に示すごとく各状態ｐに対して、これに続
けて入力され得る単語ｎに対しては１、入力が許
されない単語ｎに対しては０なるフラグが記入さ
れた予測テーブルが内蔵されている。状態ｐ＝０
の次には“円”以外のすべての単語が入力される
ので、ｎ＝37で０となつている以外は、すべて１
なるフラグが記入されている。また、状態ｐ＝３
の次には、一の位の数字と“円”が入力されるの
で、ｎ＝１〜９およびｎ＝37で１、他はすべて０
となつている。最終状態ｐ＝５の次には如何なる
入力も許容されないので、すべて０となつてい
る。

次に実際の動作を説明する。分析部２０は「特
開昭52−144205号公報」の第３図に示された如く
構成され、入力音声波形ｐを分析して時間標本化
を行ない、(2)式に示されるような入力パタンＡに
変換して入力パタンバツフア４０に記憶せしめ
る。他方、制御部１０からは認識に先だつてクリ
アー信号Clが発生され、これによつて第１図ｂに
示される如く構成される漸化式値テーブル８０に
は(7)式と(9)式の初期設定がなされる。

以後、時刻信号l₁が１から順次増加され、これ
に同期して(8)式と(10)式の計算が実行される。

一般に時刻信号がl₁＝ｌであるサイクルにおい
て第８図に示すごとく、予測処理に続けてマツチ
ング処理が実行される。

予測処理は状態選択部９０と単語選択部１２０
とによつてなされる。すなわち、時刻信号l₁の番
地指定によつて漸化式値T_p(l)（ｐ＝０，１，…
５）が前記漸化式値テーブル８０から出力され状
態選択部９０に入力される。ここでは漸化式値
T_p(l)が、あらかじめ定められる閾値Θ×ｌと比
較され、T_p(l)＜Θとなるｐを選択し、信号p^とし
て出力される。閾値をｌに比例させているのは、
漸化式値T_p(l)は(6)式から明らかなように個別距
離Ｄ（ｌ，ｍ，ｎ）の積分値となつているので、
ｌに比例して大きくなる傾向があるのに対応する
ためである。

かくの如き選択によつてp^＝２だけが選択され
たとする。

単語選択部は、この信号p^を受けると、第９図
予測テーブルのp^行の内容を単語ｎごとにフラグ
の論理和を計算する。今の場合p^は１個だけしか
与えられないので、第９図予測テーブルのｐ＝２
の行が、そのまま予測信号として単語指定部１
００に送られる。これによつて予測処理が終了す
る。

予測処理に後続してマツチング処理が行なわれ
る。単語指定部１００からは予測信号を参照し
フラグが１となつている単語の番号を、単語指定
信号n₁として出力する。今の例では第９図予測テ
ーブルのｐ＝２の行から明らかなようにｎ＝１，
２，……，18及び37が単語指定信号n₁として出力
される。

この単語指定信号n₁の各サイクルで実行される
処理をn₁＝17の場合を例にとつて示す。

n₁＝17のサイクルの最初に第１マツチング部５
０が動作し、個別距離Ｄ（ｌ，ｍ，17）が計算さ
れる。この計算は、「特願昭50−29891号明細書」
（以下文献(3)と称す）の第６図に示される如き回
路によつて実行される。この時、入力パタンＡは
前記入力パタンバツフア４０より、標準パタン
B¹⁷は標準パタン記憶部３０より前記の単語指定
信号n₁＝17の指定によつて、それぞれ供給され
る。

上記文献(3)の第３図によると、一般にn₁＝ｎの
とき、 ｌ＋Jⁿ−ｒ≦ｍ≦ｌ＋Jⁿ＋ｒ (12) なる範囲の個別距離Ｄ（ｌ，ｍ，ｎ）が、一度に
算出される。ここにｒは正整数であつて整合窓幅
と呼ばれている。よつて、n₁＝17の場合には、 ｌ＋J¹⁷−ｒ≦ｍ≦ｌ＋J¹⁷＋ｒ (13) の範囲のｍに対して個別距離Ｄ（ｌ，ｍ，17）が
算出される。

第１マツチング処理に続いて第２マツチング処
理が実行される。

オートマトン制御部１３０に内蔵される機能コ
ードテーブルからは、単語指定信号n₁＝ｎの指定
によつて機能コードFⁿが出力される。ｎ＝17に
対応してはF¹⁷＝２が出力される。これによつて、
同じくオートマトン制御部１３０に内蔵される第
４図の状態遷移テーブルが参照され、F¹⁷＝２に
対応して（pq）＝（０，３），（１，３），（２，３）
なる状態対が読み出される。他方、前記の状態選
択部９０からは信号ｐ＾としてｐ＝２だけが現在状
態として指定されている。それ故、上記３個の状
態対（ｐ，ｑ）のうち（２，３）だけが有効であ
ると判定され、信号p₁，q₁として出力される。

第２マツチング部６０に、この信号対（２，
３）が与えられると、漸化式値テーブル８０、と
LPNテーブル７０に内蔵されるＬテーブル、Ｐ
テーブルＮテーブルと共同して(8)式と(10)式の計算
が実行される。このための時刻信号ｌは、信号線
l₁よりアドレス信号ｍは、信号線m₁より与えられ
る。アドレス信号ｍは（13）式（一般には(12)式の
範囲で変化され、この間各ｍの値ごとに前記第１
マツチング部５０から個別距離Ｄ（ｌ，ｍ，ｎ）
が入力され(8)式と(10)式が計算される。前記オート
マトン制御部１３０から状態対（ｐ，ｑ）が一個
以上与えられる場合には、それぞれに関してアド
レス信号m₁が（13）式の範囲で変化され、(8)式
と(10)式の計算が繰り返される。

かくして、第１マツチングと第２マツチングが
終了するごとに単語指定信号n₁が変化される。単
語指定信号n₁が37まで変化され終ると、この時刻
l₁＝ｌにおける処理が終了する。次には時刻信号
が１だけ増加され、上記と同様な処理が繰り返さ
れる。

時刻信号l₁＝Ｉにおける処理が終了すると判定
部１１０が動作し、(11)式に示した(1)から(4)までの
手続きが実行され、判定結果が信号ｐ＾として出力
される。この判定部は文献(2)の判定処理部９０と
同様にマイクロプロセツサで構成され、同一の動
作を行なうものである。

以上、本発明の原理を実施例にもとづいて説明
したが、これらの記載は、本発明の範囲を限定す
るものではない。特に状態選定の方法として以上
の例では閾値との比較によつて行なつたが、漸化
式値T_p(l)の小な一定個数のｐを選択するという
方法も考えられる。また、文献(2)と同様に本明細
書で距離をパタン間の比較尺度としたのとは逆に
類似度を用いる場合も本発明の範囲に含まれるも
のである。その場合には、本明細書中の大小比較
は総て逆に行なわれる。

【図面の簡単な説明】

第１図，第２図，第３図，第４図，第５図及び
第６図は本発明の原理を説明するための図、第７
図は本発明の一実施例を示すブロツク図、第８図
はタイムチヤート、第９図は単語選択部１２０内
蔵の予測テーブルの一構成例を示す図である。 図において、１０…制御部、２０…分析部、３
０…標準パタン記憶部、４０…入力パタンバツフ
ア、５０…第１マツチング部、６０…第２マツチ
ング部、７０…LPNテーブル、８０…漸化式値
テーブル、９０…状態選定部、１００…単語指定
部、１１０…判定部、１２０…予測テーブル、１
３０…オートマトン制御部をそれぞれ示す。

Claims (1)

【特許請求の範囲】
1. １ 単語ｎ＝１，２……Ｎのそれぞれに対して標
   準パタンＢ＝bⁿ ₁bⁿ ₂……bⁿ _j……bⁿ _Joを記憶してな
   る標準パタン記憶部と単語ｎに付随する機能コー
   ドFⁿと状態ｐ及びｑの組を配列して構成される
   状態遷移テーブルを記憶してなるオートマトン制
   御部と、入力パタンＡ＝a₁a₂……a_i……a_Iの時刻
   ｌを始端とし、時刻ｉ＝ｍを終端とする部分パタ
   ンＡ（ｌ，ｍ）＝a_l+1a_l+2……a_nと前記標準パタン
   Bⁿとの間の個別距離Ｄ（ｌ，ｍ，ｎ）を算出する
   ための手段である第１マツチング部と、時刻ｌと
   状態ｐとに対応して番地指定される漸化式値テー
   ブルT_p(l)と、それと同様に構成される、時刻ｌ
   を記憶するＬテーブルL_p(l)、状態Ｐを記憶する
   ＰテーブルP_p(l)および単語名ｎを記憶するＮテ
   ーブルN_p(l)と、順次進行される各時刻において
   漸化式値テーブルに記憶される値T_p(l)の小な一
   定個数のｐの部分組又は該T_p(l)が一定値より小
   さいときのｐの部分組を決定する手段である状態
   選択部と、これにより選択される状態Ｐの各々に
   対して、その状態で受理し得る単語組の和集合を
   決定し、この和集合に含まれるすべての単語組ｎ
   に対して個別距離Ｄ（ｌ，ｍ，ｎ）を計算すべく
   前記第１マツチング部に指令する単語指定部と、
   該単語ｎに対して状態遷移が、前記オートマトン
   制御部中の状態遷移テーブルに定義される状態対
   （ｐ，ｑ）のすべてに対して１＜ｍなる時刻ｍの
   漸化式値T_q（ｍ）と、現時刻ｌにおける漸化式値
   T_p(l)と前記個別距離Ｄ（ｌ，ｍ，ｎ）との和すな
   わちT_p(l)＋Ｄ（ｌ，ｍ，ｎ）とを比較して後者が
   小なる時にかぎり、この後者の値をT_q（ｍ）とし
   て漸化式値テーブルに記入し、同時に状態ｐをＰ
   テーブルにP_q（ｍ）として、時刻ｌをＬテーブル
   にL_q（ｍ）として単語名ｎをＮテーブルにN_q（ｍ）
   としてそれぞれ記入するという漸化式を計算する
   手段である第２マツチング部と、上記のＰテーブ
   ル、Ｌテーブル及びＮテーブルを最終状態ｐ＝
   ｆ、最終時刻ｌ＝Ｉよりさかのぼつて参照し、認
   識結果を定め出力する判定部とより構成されるこ
   とを特徴とする連続音声認識装置。