JPH04232998A

JPH04232998A - 音声認識装置

Info

Publication number: JPH04232998A
Application number: JP2418881A
Authority: JP
Inventors: Kazunaga Yoshida; 吉田　和永
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1990-12-27
Filing date: 1990-12-27
Publication date: 1992-08-21

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声認識処理を高速に
実行するための処理装置に関するものである。

【０００２】

【従来の技術】従来、連続して発声された音声を認識す
る方式として、たとえば、電子情報通信学会論文誌Ｄ　
　Ｖｏｌ．Ｊ７１−Ｄ　　Ｎｏ．９，（１９８８年９月
）の１６５０頁から１６５９頁に「フレーム同期化、ビ
ームサーチ、ベクトル量子化の統合によるＤＰマッチン
グの高速化」と題して発表されている論文（以下引用文
献１と称す）には、フレーム同期化ＤＰマッチングを用
いた方式が示されている。この方式によって連続単語を
文法に従って認識する方法について以下に説明する。以
下認識単位として単語を単位とした場合を基に説明する
。

【０００３】入力された音声は分析され、特徴ベクトル
の時系列である入力パターンＡに変換される。

【０００４】　　Ａ＝ａ１，ａ２，…，ａｉ，…，ａＩ　　　　　　
　　　　　　　　　　　　　　　　　　　　　　（１）
一方、認識対象となる単語ｎ（１≦ｎ≦Ｎ）の標準パタ
ーンＢｎ、　　Ｂｎ＝ｂｎ１，ｂｎ２，…，ｂｎｊ，…
，ｂｎＪｎ　　　　　　　　　　　　　　　　（２）が
あらかじめ用意されている。ただし、Ｊｎは単語ｎの標
準パターンのフレーム長である。認識される文は、有限
状態オートマトン（ＦＳＡと呼ぶ）により表される。即ち、ＦＳＡは、単語ｎを受理すると状態ｐからｑに遷
移するという状態遷移（ｐ，ｑ，ｎ）の集合Δである。

【０００５】　　Δ＝｛（ｐ，ｑ，ｎ）｝　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　（３）これらを用いて、連続音声の認識が行われ
る。

【０００６】まず、単語レベル処理として、以下の累積
距離ｇおよび経路値ｌに関する漸化式計算が行われる。入力パターンＡのフレームｉと、単語ｎの標準パターン
Ｂｎのフレームｊの間のパターン間距離をｄ（ｎ；ｉ，
ｊ）とする。この距離は尤度の逆数と等価である。［初期値］　　ｇ（ｐ，ｎ；ｉ−１，−１）＝∞　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　（４）　　ｇ（ｐ，ｎ；ｉ−１，０）　＝Ｔ（ｐ；ｉ−１）　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　（５）　　ｌ（ｐ，ｎ；ｉ−１
，０）　＝ｉ−１　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　（６）［漸化式］　　ｇ（ｐ，ｎ；ｉ，ｊ）　＝ｄ（ｎ；ｉ，ｊ）　＋ｍ
ｉｎ　ｇ（ｐ，ｎ；ｉ−１，ｊ）　　　　　［１］　　
　　　　　　（７）　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　ｇ（ｐ，ｎ；ｉ−１
，ｊ−１）　　　［２］　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　ｇ（ｐ，ｎ；ｉ
−１，ｊ−２）　　　［３］　　［１］　　ｌ（ｐ，ｎ
；ｉ，ｊ）　＝ｌ（ｐ，ｎ；ｉ−１，ｊ）　　　　　　
　　　　　　　　　　　　　　　　　　　　　（８）　
　［２］　　　　　　　　　　　　　　＝ｌ（ｐ，ｎ；
ｉ−１，ｊ−１）　　　［３］　　　　　　　　　　　
　　　＝ｌ（ｐ，ｎ；ｉ−１，ｊ−２）　ここで、Ｔは
以下に述べる文レベル処理のための最小累積距離、（８
）式の［ｘ］は、（７）式の［ｘ］が最小値として選択
された場合の処理を示す。

【０００７】続いて、文レベル処理として、（７），（
８）式の漸化式の結果を基に、最小累積距離Ｔ、直前の
時刻Ｌ、単語各Ｎのワークエリアを用いて、ＦＳＡΔに
示されている全ての状態ｑに対し以下の処理を行う。

【０００８】もし、　　Ｔ（ｑ；ｉ）　≧ｇ（ｐ，ｎ；
ｉ，Ｊｎ）　　ならば、　　Ｔ（ｑ；ｉ）　＝ｇ（ｐ，ｎ；ｉ，Ｊｎ）　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　（９）　　Ｎ（ｑ；ｉ）　＝ｎ　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　（１０）
　　Ｐ（ｑ；ｉ）　＝ｐ　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　（１１）　　Ｌ（ｑ；ｉ）　＝ｌ（
ｐ，ｎ；ｉ，Ｊｎ）　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　（１２
）この処理をｉ＝１〜Ｉまで行い、ワークエリアをバッ
クトラックすることにより認識結果が得られる。

【０００９】また、電子情報通信学会刊、中川聖一「確
率モデルによる音声認識」（１９８８年７月）には（以
下引用文献２と称す）、隠れマルコフモデル（ＨＭＭと
呼ぶ）を用いた、連続音声の認識方式が示されている。この方式は確率モデルを用いた方式であるが、特にここ
に示されているビタビアルゴリズムを用いた連続音声認
識の処理法は、基本的に引用文献１に示されている方式
と同じである。よって、以下では引用文献１に述べられ
ている方式を基に説明する。

【００１０】これらの音声認識方式を用いることにより
高い性能を得られることが示されているが、特に多数の
語彙を認識する場合は、多くの計算量が必要となる。こ
のため、音声認識を複数の疎結合プロセッサを用いて行
う様々な方法がこれまでに提案されている。疎結合プロ
セッサは、プロセッサ毎にメモリを有しているので、メ
モリアクセスの競合がおこらず高速な処理が実現できる
。

【００１１】たとえば、ＩＥＥＥ，Ｐｒｏｃｅｅｄｉｎ
ｇｓ　　ｏｆ　　ＩＣＡＳＳＰ８９，Ｓ１５．２，の７
７８頁から７８１頁に”Ｉｎ　　ｃｏｒｐｏｒａｔｉｎ
ｇ　　Ｓｙｎｔａｘ　　Ｉｎｔｏ　　Ｔｈｅ　　Ｌｅｖ
ｅｌ−Ｂｕｉｌｄｉｎｇ　　Ａｌｇｏｒｉｔｈｍ　　ｏ
ｎ　　Ａ　　Ｔｒｅｅ−Ｓｔｒｕｃｔｕｒｅｄ　　Ｐａ
ｒａｌｌｅｌＣｏｍｐｕｔｅｒ”（１９８９年５月）と
題されて発表されている論文（以下引用文献３と称す）
には、ツリー結合された複数のプロセッサ（ツリープロ
セッサと呼ぶ）を用いて、引用文献１に示されているよ
うなフレーム同期化ＤＰマッチング（またはビタビアル
ゴリズム）による認識方式を実現する方法が示されてい
る。図５にツリープロセッサの構成を示す。上位のプロ
セッサは各々２つの下位プロセッサと相互に接続されて
いる。各プロセッサには各々異なる標準パターンＢｎ、
および状態ｑが割り当てられている。

【００１２】最上位のプロセッサに入力パターンＡの特
徴ベクトルａｉが入力されると、順次下位のプロセッサ
に転送される。転送が終了すると、各プロセッサでは、
割り当てられている標準パターンＢｎを用いて、並列的
に（７），（８）式で示されている単語レベル処理が行
われる。単語レベル処理が終了すると、文レベル処理に
必要な単語終端データｇ（ｐ，ｎ；ｉ，Ｊｎ）、ｌ（ｐ
，ｎ；ｉ，Ｊｎ）が上位プロセッサに出力され、順次上
位に送られる。最上位プロセッサに送られたデータは、
再び下位プロセッサに順次送られる。データを受け取っ
たプロセッサは、割り当てられている状態ｑに対する（
９）〜（１２）式に示されているような文レベル処理を
行う。この処理が終了したら、単語始端データＴ（ｐ；
ｉ−１）を上位プロセッサに送る。最上位プロセッサに
全てのデータが集められたら、再び下位プロセッサに送
られ、このデータを（５）式に示されているような初期
値として、次のフレームの入力パターン特徴ベクトルａ
ｉ＋１に対する処理を行う。このように、単語レベル処
理、文レベル処理各々で並列に処理でき、データ転送時
間もツリー状にプロセッサが接続されているため比較的
少なくできる。

【００１３】また、ＩＥＥＥ，Ｐｒｏｃｅｅｄｉｎｇｓ
　　ｏｆ　　ＩＣＡＳＳｐ８９，Ｓ１５．５，の７８９
頁から７９２頁に”Ａ　　Ｌａｒｇｅ−Ｖｏｃａｂｕｌ
ａｒｙ　　Ｒｅａｌ−Ｔｉｍｅ　　Ｃｏｎｔｉｎｕｏｕ
ｓ−Ｓｐｅｅｃｈ　　Ｒｅｃｏｇｎｉｔｉｏｎ　　Ｓｙ
ｓｔｅｍ”（１９８９年５月）と題されて発表されてい
る論文（以下引用文献４と称す）には、１つの単語レベ
ル処理を行うプロセッサ（単語プロセッサと呼ぶ）と、
複数の文レベル処理を行うプロセッサ（文プロセッサと
呼ぶ）を用いて文献１に述べられいるような認識方式を
実現する方法が示されている。図６にその構成を示す。各文プロセッサは、ファーストイン・ファーストアウト
メモリ（以下ＦＩＦＯと呼ぶ）を介して、単語プロセッ
サからの単語終端データｇ（ｐ，ｎ；ｉ，Ｊｎ）、ｌ（
ｐ，ｎ；ｉ，Ｊｎ）を順次受け取り、文レベル処理を行
う。これにより、単語レベル処理と文レベル処理が並列
に処理できる。

【００１４】

【発明が解決しようとする課題】従来の音声認識を複数
のプロセッサを用いる方式では、単語レベル処理、文レ
ベル処理、およびデータ転送の各処理を、各々複数のプ
ロセッサを並列的に用いて実行することはできなかった
。

【００１５】たとえば、文献３に示されているようなツ
リープロセッサを用いる場合、単語レベル処理の中、お
よび文レベル処理の中では並列化可能であるが、それぞ
れの処理およびデータ転送の３種の処理は順次行う必要
がある。このため、データ転送時間がオーバヘッドとし
てかかること、単語レベル処理と文レベル処理の並列化
ができないため、それぞれの単位処理の時間は最低限必
要であるという欠点を有する。

【００１６】また、文献４に示されているような構成で
は、単語レベルの処理を複数のプロセッサで実行するこ
とができないため、単語レベルの処理時間は１台のプロ
セッサの処理量で限定されるという欠点がある。

【００１７】本発明の目的は、複数のプロセッサを用い
る音声認識において、単語レベル処理、文レベル処理の
各々複数のプロセッサによる並列処理を可能にし、かつ
データ転送も並列に行うことを可能にすることにより、
高速な音声認識処理を実現できる音声認識装置を提供す
ることにある。

【００１８】

【課題を解決するための手段】第１の発明による音声認
識装置は、入力された音声を分析してフレーム毎の特徴
の時系列パターンを求める分析部と、前記フレーム毎の
特徴と、複数の認識単位に対する標準パターンとの尤度
を計算する１個以上の認識単位尤度計算部と、求められ
た認識単位尤度を一時保持する前記認識単位尤度計算部
毎に用意された第１のファーストイン・ファーストアウ
トメモリと、１個以上の前記第１のファーストイン・フ
ァーストアウトメモリから読み出された認識単位尤度を
書き込み保持する相互にバスで結合された１個以上の第
２のファーストイン・ファーストアウトメモリと、前記
第１のファーストイン・ファーストアウトメモリの中の
１つから認識単位尤度を読みだし、１個以上の前記第２
のファーストイン・ファーストアウトメモリへデータを
書き込むデータ転送部と、前記第２のファーストイン・
ファーストアウトメモリ中から読み出した認識単位尤度
を用いて文尤度を計算する１個以上の文尤度計算部とを
有する。

【００１９】第２の発明による音声認識装置は、第１の
発明の構成に加え、前記第１のファーストイン・ファー
ストアウトメモリの状態を順次検査し、転送すべき認識
単位尤度が存在する場合前記データ転送部へデータ転送
要求を出力する転送指示部を有する。

【００２０】第３の発明による音声認識装置は、第１，
２の発明の構成に加え、前記第１のファーストイン・フ
ァーストアウトメモリに転送すべき認識単位尤度が存在
する場合、あらかじめ定められた優先順位で１個の第１
のファーストイン・ファーストアウトメモリを選択し前
記データ転送部へデータ転送要求を出力する転送指示部
を有する。

【００２１】第４の発明による音声認識装置は、第３の
発明の構成に加え、前記優先順位を順次変更する優先順
位変更部を有する。

【００２２】第５の発明による音声認識装置は、第１，
２，３，４の発明の構成に加え、複数の前記認識単位に
対し共通な、前記認識単位を細分化した基本単位に対す
る前記フレーム毎の特徴の共通尤度を求める１個以上の
基本尤度計算部と、求められた共通尤度を１個以上の認
識単位尤度計算部に送る尤度転送部と、前記求められた
共通尤度を用いて認識単位に対する標準パターンとの尤
度を計算する１個以上の認識単位尤度計算部とを有する
。

【００２３】第６の発明による音声認識装置は、第１，
２，３，４，５の発明の構成に加え、前記第２のファー
ストイン・ファーストアウトメモリから読み出された認
識単位尤度を書き込み保持する相互にバスで結合された
１個以上の第３のファーストイン・ファーストアウトメ
モリと、前記第２のファーストイン・ファーストアウト
メモリから前記認識単位尤度を読み出し前記第３のファ
ーストイン・ファーストアウトメモリへ書き込む第２の
データ転送部と、前記第３のファーストイン・ファース
トアウトメモリの中の認識単位尤度を用いて文尤度を計
算する１個以上の第２の文尤度計算部とを有する。

【００２４】第７の発明による音声認識装置は、第１，
２，３，４，５，６の発明の構成に加え、前記認識単位
尤度計算部で求められた認識単位尤度が定められた基準
に満たない場合、前記第１のファーストイン・ファース
トアウトメモリへの書き込みを禁止する書き込み制御部
を有する。

【００２５】第８の発明による音声認識装置は、第１，
２，３，４，５，６，７の発明の構成に加え、前記第２
のファーストイン・ファーストアウトメモリから読み出
された認識単位尤度の最大値を求める単位尤度最大計算
部と、前記単位尤度の最大値を基準として、前記認識単
位尤度計算部で求められた認識単位尤度の前記第１のフ
ァーストイン・ファーストアウトメモリへの書き込みを
禁止する書き込み制御部を有する。

【００２６】第９の発明による音声認識装置は、第１，
２，３，４，５，６，７，８の発明の構成に加え、前記
認識単位尤度計算部の処理における最大尤度を求める最
大尤度計算部と、前記最大尤度の中で全前記認識単位尤
度計算部における最大値を求める最大値計算部と、前記
最大値を基に前記認識単位尤度計算部における計算の省
略を指示する計算制御部とを有する。

【００２７】第１０の発明による音声認識装置は、第１
，２，３，４，５，６，７，８，９の発明の構成に加え
、前記各認識単位尤度計算部の負荷を求める負荷計算部
と、前記各認識単位尤度計算部を相互に結合する第２の
バスと、前記負荷計算部の結果に従って、前記第２のバ
スを介して認識途中結果を転送する転送制御部とを有す
る。

【００２８】

【作用】本発明による音声認識装置は、ＦＩＦＯを介し
てバスに結合された複数の単語レベル処理を実行するプ
ロセッサと、ＦＩＦＯを介して同じバスに結合された複
数の文レベル処理を実行するプロセッサと、ＦＩＦＯ間
のデータ転送を行う機構を用いることにより高い並列性
と拡張性を実現するものである。

【００２９】図１に本発明による音声認識装置の構成を
示す。入力された音声は分析部１で分析され（１）式に
示されているような入力パターンＡに変換される。特徴
ベクトルａｉは、１フレーム毎に複数の単語レベルプロ
セッサに入力される。

【００３０】単語レベルプロセッサ２は、中央処理ユニ
ット（ＣＰＵと呼ぶ）、メモリ等を有するプロセッサで
、マイクロプロセッサ、または、日本電気株式会社製μ
ＰＤ７７２３０のようなディジタル信号処理プロセッサ
を用いることができる。また、文献４に示されているよ
うな専用プロセッサを用いてもよい。この単語レベルプ
ロセッサは１個以上いくつでもよいが、ここでは２−１
〜２−３の３個用いる場合を示す。

【００３１】各単語レベルプロセッサ中のメモリには、
（２）式に示されているような標準パターンＢｎがあら
かじめ保持されている。たとえば、認識対象となる単語
数Ｎ＝１０の時、単語レベルプロセッサ２−１には単語
ｎ＝１〜３、単語レベルプロセッサ２−２には単語ｎ＝
４〜６、単語レベルプロセッサ２−３には単語ｎ＝７〜
１０のごとく各々のプロセッサに割り当てられている。

【００３２】単語レベルプロセッサ２−１〜２−３に特
徴ベクトルａｉが入力されると、各々のプロセッサでは
保持されている標準パターンＢｎを用いて（７），（８
）式に示されている漸化式の計算を行う。１単語分の漸
化式計算が終わると、単語終端データがＦＩＦＯ３−１
〜３−３に出力される。単語終端データは、たとえば、
単語名ｎ，遷移先状態ｑ，累積距離ｇ（ｐ，ｎ；ｉ，Ｊ
ｎ），経路値ｌ（ｐ，ｎ，ｉ，Ｊｎ）の４つのデータか
らなる。ここで、遷移先状態ｑはＦＳＡΔ＝（ｐ，ｑ，
ｎ）のデータを用いて、単語名ｎ、遷移元状態ｐから求
めることができる。ＦＩＦＯ３−１〜３−３はバス４に
接続されている。

【００３３】文レベルプロセッサ６は、単語レベルプロ
セッサ２と同様、ＣＰＵ、メモリ等を有するプロセッサ
で、１個以上複数個用いることができる。ここでは６−
１，６−２の２個用いる場合を示す。文レベルプロセッ
サには処理すべき状態ｑが割り当てられている。たとえ
ば、全状態数６とし、状態ｑ＝１〜３は文レベルプロセ
ッサ６−１、状態ｑ＝４〜６は文レベルプロセッサ６−
１に割り当てられているとする。文レベルプロセッサ６
−１，６−２はＦＩＦＯ５−１，５−２を介してバスに
結合されている。

【００３４】ＦＩＦＯ３−１〜３−３に書き込まれた単
語終端データは、データ転送部４によりＦＩＦＯ５−１
〜５−２に転送される。すなわちＦＩＦＯ３−１〜３−
３内の単語終端データを４つのデータを組にして、任意
の順序でバスに出力し、ＦＩＦＯ５−１，５−２に書き
込む。文レベルプロセッサ６−１，６−２ではＦＩＦＯ
５−１から単語終端データを読み込み、（９）〜（１２
）式に従って文レベル処理を行う。

【００３５】以上の処理、すなわち、単語レベルプロセ
ッサ２−１〜２−３、文レベルプロセッサ６−１，６−
２、および、データ転送部４によるデータ転送の各処理
は全て並列的に行うことができる。それぞれの処理にお
けるデータの入出力は、ＦＩＦＯを介して行われるので
、実行の同期をとる必要はない。ただし、文レベル処理
を行うためには、単語終端データが得られている必要が
ある。そのため、単語終端点ｊ＝Ｊｎに対する（７），
（８）式の漸化式計算を先に行うと良い。単語レベル処
理が１単語分でも先行していれば文レベル処理を並列的
に行うことができる。

【００３６】文レベルプロセッサ６−１，６−２におい
て、１フレーム分の全ての単語終端データを受け取って
文レベル処理が終了すると、始端データＴ（ｐ；ｉ）が
順次出力され、単語レベルプロセッサ２−１〜２−３に
転送される。単語レベルプロセッサ２−１〜２−３では
、これを（５）式に示すように初期値として次のフレー
ムｉ＋１の処理を行う。以上の動作をフレームｉ＝１〜
Ｉまで繰り返すことにより認識処理を行うことができる
。

【００３７】データ転送部４は、ＦＩＦＯ３に常にデー
タが存在するならば順次転送を行えば良い。しかし、単
語長が単語毎に異なる場合、単語終端データの存在しな
いＦＩＦＯ３ができる可能性がある。そのような時はデ
ータの転送がデータができるまで止まってしまうおそれ
がある。そこで、第２の発明では、ＦＩＦＯ３中のデー
タの有無を順次検索し、データが存在する場合、データ
転送部４にデータ転送を指示する転送指示部７を有する
。

【００３８】また、転送の有無を順次検索する場合、特
定のＦＩＦＯにデータが存在しないことがある。このよ
うな場合にＦＩＦＯ３のデータの有無を順次検索すると
、検索のための時間が多くなるおそれがある。そこで、
第３の発明では、ＦＩＦＯにデータが存在する場合、Ｆ
ＩＦＯは転送指示部７にデータ転送要求を出力する。転
送指示部７では、要求があったＦＩＦＯ３への転送要求
をデータ転送部４に出力する。もし複数のＦＩＦＯ３か
らデータ転送要求があった場合は、転送指示部７中にあ
らかじめ定められた優先順位に従って、１つずつデータ
転送要求をデータ転送部４に出力する。これにより、デ
ータの有無を検索する時間を省くことができる。

【００３９】単語レベルプロセッサ２から出力される単
語間データが多い場合、転送指示部７で参照する優先順
位が固定であると、優先順位の高いＦＩＦＯのデータの
みが転送されて他のＦＩＦＯのデータは転送されずにＦ
ＩＦＯ中に溜まることがある。そこで、第４の発明では
、この優先順位を順次変化させる優先順位変更部８を有
する。

【００４０】文献１に述べられているようなベクトル量
子化を用いる場合、パターン間距離ｄ（ｎ；ｉ，ｊ）を
求める時に、コードブックＣ中の各コードベクトルｃ（
ｍ）と入力パターンＡの特徴ベクトルａｉの間の距離δ
（ｍ）が求められる。この距離計算は、全ての単語レベ
ルプロセッサで同じ処理が行われるので効率が悪い。そこで、第５の発明では、このコードベクトルとの距離
を独立した距離計算プロセッサにおいて、他の処理と並
列的に行う。図２に第５の発明による音声認識装置の構
成の一部を示す。距離計算プロセッサ９は、他のプロセ
ッサと同様、ＣＰＵ、メモリ等を有するプロセッサで、
１個以上複数個用いることができる。距離計算プロセッ
サ９のメモリ中にはコードベクトルｃ（ｍ）が割り当て
られ保持されている。

【００４１】分析部１から出力された特徴ベクトルａｉ
は１フレーム毎に距離計算プロセッサ９に出力される。距離計算プロセッサではコードベクトルｃ（ｍ）と特徴
ベクトルａｉとの距離が計算され、距離δ（ｍ）として
単語レベルプロセッサ２−１〜２−３に出力される。単
語レベルプロセッサ２では、標準パターンはコードベク
トルの番号ｍｊの列で表されている。このコードベクト
ルの番号と対応する距離δ（ｍｊ）をパターン距離ｄ（
ｎ；ｉ，ｊ）として用い、（７），（８）式の漸化式計
算を行い、以下同様の処理を行う。

【００４２】これにより、単語レベルプロセッサ、文レ
ベルプロセッサの処理と並列的に距離計算プロセッサの
処理を行うことができる。ここでは、文献１に述べられ
ているようなベクトル量子化を用いる場合を例に述べた
が、第５の発明は、これ以外にも例えば文献２の１０６
頁以下に述べられているような、音声基本単位を使った
音声認識方式に用いることができる。この場合、距離計
算プロセッサでは、音声基本単位の出現確率（距離と同
等）を距離計算プロセッサで計算する。

【００４３】単語終端データの量は１単語に付き１組で
あるため比較的少ないが、これらのデータは一つのバス
を用いて転送するため、プロセッサ数をきわめて多くし
た場合このデータ転送がネックとなる恐れがある。そこ
で、第６の発明では、以上述べた本発明による音声認識
装置を複数台、ＦＩＦＯを用いて相互にバスを結合して
いる。図３に第６の発明による音声認識装置の構成図を
示す。２組の音声認識装置ＩおよびＩＩのバスがＦＩＦ
Ｏ１０，１１を介して結合されている。各プロセッサに
は、それぞれ異なる認識対象単語および状態が割り当て
られている。

【００４４】分析部１で分析された入力パターンＡの特
徴ベクトルａｉは、単語レベルプロセッサ２−１〜２−
３、および、単語レベルプロセッサ１２−１，１２−２
に入力される。各単語レベルプロセッサでは単語レベル
処理が行われ、単語終端データが各ＦＩＦＯ３−１〜３
−３および１３−１，１３−２に出力される。データ転
送部４は、ＦＩＦＯ３−１〜３−３および１０の中の単
語終端データを、ＦＩＦＯ５−１，５−２および１１に
転送する。この際、ＦＩＦＯ１０のデータはＦＩＦＯ１
１に転送しないようにする。一方、データ転送部１４は
、ＦＩＦＯ１３−１，１３−２および１１の中の単語終
端データをＦＩＦＯ１５およびＦＩＦＯ１０に転送する
。同様にＦＩＦＯ１１のデータはＦＩＦＯ１０に転送し
ないようにする。文レベルプロセッサ６−１，６−２お
よび１６では、（９）〜（１２）式に示されているよう
な文レベル処理を行う。

【００４５】これにより、プロセッサ数を増やした場合
も、バスを分割することにより個々のバスにおけるデー
タ転送量、および電気的な負荷を軽減することができる
。ここでは２組の音声認識装置を組み合わせる場合を示
したが、より多くの音声認識装置も同様に組み合わせる
ことが可能である。

【００４６】第７の発明ではデータ転送量、および、計
算量を削減するため、単語レベルプロセッサにおいて、
求められた単語終端データの累積距離ｇ（ｐ，ｎ；ｉ，
Ｊｎ）が基準にみたない場合はＦＩＦＯに出力しないと
いう書き込み制御部を有している。これにより、ＦＩＦ
Ｏ間のデータ転送量を削減できる。さらに、文レベルプ
ロセッサでの処理は、単語終端データが入力されないか
ぎり実行されないので文レベルプロセッサの処理量を削
減することができる。

【００４７】この場合、書き込み制御部の累積距離評価
の基準としてあらかじめ定められた閾値を用いることが
できる。この閾値として、文献１に述べられているよう
に、各フレームで求めた累積距離ｇ中の最小値ｇｍｉｎ
　に基づく方法が実用性が高い。しかし、単語レベルプ
ロセッサは複数存在するので、各プロセッサでｇの最小
値を求めても全体での最小値とはならないため、十分に
計算量を削減できない。そこで、本発明による第８の発
明では、全単語終端データの累積距離ｇ（ｐ，ｎ；ｉ，
Ｊｎ）の中の最小値を求める。そのため、まず文レベル
プロセッサにおいて読み込んだ単語終端データの累積距
離ｇ（ｐ，ｎ；ｉ，Ｊｎ）の中の最小値Ｔｍｉｎ　が、
最小値計算部で求められる。全文レベルプロセッサから
送られた最小値Ｔｍｉｎ　は、さらに全体最小値計算部
において全体の最小値ＴＡｍｉｎ　が求められる。求め
られた全体の最小値ＴＡｍｉｎ　を基準として、書き込
み制御部の閾値を決定する。たとえば、閾値θ＝ＴＡｍ
ｉｎ　＋λのように決定できる。すなわち、ｇ（ｐ，ｎ
；ｉ，Ｊｎ）〉θの時はＦＩＦＯへの書き込みを禁止す
る。

【００４８】さらに、単語端点だけでなく、文献１に述
べられているビームサーチ法を適用することにより単語
レベルプロセッサにおける計算量を低減することができ
る。このとき、閾値を求める基準として前述の第８の発
明と同様に全単語レベルプロセッサにおける累積距離の
最小値が求められると良い。そこで、第９の発明では、
まず各単語レベルプロセッサにおける累積距離ｇの最小
値ｇｗｍｉｎ　を求める。続いて全単語レベルプロセッ
サで求められた最小値ｇｗｍｉｎ　の中の最小値ｇａｍ
ｉｎ　を求める。求められた最小値は全単語レベルプロ
セッサに送られ、この値を基に文献１で述べられている
ようなビームサーチを用いることにより計算量を低減で
きる。

【００４９】このようなビームサーチによる計算量低減
の効果は各単語レベルプロセッサにより一様でないので
、処理量が多いプロセッサと少ないプロセッサの間で格
差ができる。全体の処理時間は最も遅いプロセッサの処
理時間によって決まるので、このようにプロセッサ間に
格差ができると全体の効率は悪化する。そこで、第１０
の発明では、まず各単語レベルプロセッサの負荷を求め
る。この負荷は、たとえばビーム内に残っている計算す
べき累積距離ｇの数を処理量として、決めることができ
る。処理量最大のプロセッサと最小のプロセッサの間の
処理量の差が一定値を越えた場合、単語の割当を変更す
るようにする。これによりプロセッサ間の処理量のバラ
ンスを保つことができる。このため、処理量最大のプロ
セッサに割り当てられているいくつかの単語の累積距離
、経路値を処理量最小のプロセッサに転送する。この転
送を行うために単語レベルプロセッサ間を結ぶバスを設
ける。これにより始端データ転送時等に同時に処理時間
をかけずに負荷の分散が実現できる。

【００５０】

【実施例】本発明による音声認識装置の実施例について
図面を参照して説明する。図１は第１〜４の発明による
一実施例を示す構成図である。入力された音声は分析部
１で分析され入力パターンＡに変換される。特徴ベクト
ルａｉは、１フレーム毎に複数の単語レベルプロセッサ
２−１〜２−３に入力される。

【００５１】単語レベルプロセッサ２−１〜２−３に特
徴ベクトルａｉが入力されると、各々のプロセッサでは
保持されている標準パターンＢｎを用いて（７），（８
）式に示されている漸化式の計算を行う。１単語分の漸
化式計算が終わると、単語終端データ（ｎ，ｑ，ｇ，ｌ
）がＦＩＦＯ３−１〜３−３に出力される。ＦＩＦＯ３
−１〜３−３はバス４に接続されている。ＦＩＦＯ３−
１〜３−３に書き込まれた単語終端データは、データ転
送部４によりＦＩＦＯ５−１，５−２に転送される。

【００５２】文レベルプロセッサ６−１，６−２ではＦ
ＩＦＯ５−１から単語終端データを読み込み、（９）〜
（１２）式に従って文レベル処理を行う。文レベルプロ
セッサ６−１，６−２において、１フレーム分の全ての
単語終端データを受け取って文レベル処理が終了すると
、始端データＴ（ｐ；ｉ）が順次出力され、単語レベル
プロセッサ２−１〜２−３に転送される。単語レベルプ
ロセッサ２−１〜２−３では、これを（５）式に示すよ
うに初期値として次のフレームｉ＋１の処理を行う。以上の動作をフレームｉ＝１〜Ｉまで繰り返すことによ
り認識処理が終了する。

【００５３】第２の発明による実施例では、第１の発明
の実施例の構成に加え、ＦＩＦＯ３−１〜３−３のデー
タの有無を順次検索し、データが存在する場合、データ
転送部４にデータ転送を指示する転送指示部７を有する
。

【００５４】第３の発明による実施例では、第１の発明
の実施例の構成に加え、ＦＩＦＯ３−１〜３−３にデー
タが存在する場合、各ＦＩＦＯは転送指示部７にデータ
転送要求を出力する。転送指示部７では、要求があった
ＦＩＦＯ３への転送要求をデータ転送部４に出力する。もし複数のＦＩＦＯ３からデータ転送要求があった場合
は、転送指示部７中にあらかじめ定められた優先順位に
従って、１つずつデータ転送要求をデータ転送部４に出
力する。

【００５５】第４の発明による実施例では、第３の発明
の実施例の構成に加え、転送指示部７で参照する優先順
位を順次変化させる優先順位変更部８を有する。

【００５６】図２は、第５の発明による実施例の一部を
示す構成図である。ここでは、第１〜４の発明の構成に
加えて、図に示すごとく１個以上の距離計算プロセッサ
９を有する。

【００５７】分析部１から出力された特徴ベクトルａｉ
は１フレーム毎に距離計算プロセッサ９に出力される。距離計算プロセッサでは基本単位ｍと特徴ベクトルａｉ
との距離が計算され、距離δ（ｍ）として単語レベルプ
ロセッサ２−１〜２−３に出力される。単語レベルプロ
セッサ２では、標準パターンは基本単位の番号ｍｊの列
で表されている。これと対応する距離δ（ｍｊ）をパタ
ーン距離ｄ（ｎ；ｉ，ｊ）として用い、（７），（８）
式の漸化式計算を行い、以下同様の処理を行う。

【００５８】図３は、第６の発明による実施例を示す構
成図である。分析部１で分析された入力パターンＡの特
徴ベクトルａｉは、単語レベルプロセッサ２−１〜２−
３、および、単語レベルプロセッサ１２−１，１２−２
に入力される。各単語レベルプロセッサでは単語レベル
処理が行われ、単語終端データが各ＦＩＦＯ３−１〜３
−３および１３−１，１３−２に出力される。

【００５９】データ転送部４は、ＦＩＦＯ３−１〜３−
３および１０の中の単語終端データを、ＦＩＦＯ５−１
，５−２および１１に転送する。一方、データ転送部１
４は、ＦＩＦＯ１３−１，１３−２および１１の中の単
語終端データをＦＩＦＯ１５およびＦＩＦＯ１０に転送
する。文レベルプロセッサ６−１，６−２および１６で
は、（９）〜（１２）式に示されているような文レベル
処理を行う。

【００６０】図４は、第７〜１０の発明による実施例を
示す構成図である。第７の発明では、第１〜６の発明の
構成に加えて、書き込み制御部２０−１〜２０−３を有
する。

【００６１】単語レベルプロセッサ２−１〜２−３にお
いて、求められた単語終端データの累積距離ｇ（ｐ，ｎ
；ｉ，Ｊｎ）が書き込み制御部２０−１〜２０−３に出
力されると、あらかじめ定められた閾値と比較し、大き
い場合は書き込み制御信号ｗを出力する。単語レベルプ
ロセッサ２−１〜２−３では、この書き込み制御信号ｗ
を受け取ると、単語終端データをＦＩＦＯに出力しない
。

【００６２】第８の発明では、第７の発明に加えて、文
レベルプロセッサから読み込んだ単語終端データの累積
距離ｇ（ｐ，ｎ；ｉ，Ｊｎ）が出力され、その中の最小
値Ｔｍｉｎ　は、さらに全体最小値計算部２２において
全体の最小値Ｔｍｉｎ　が求められる。求められた全体
の最小値Ｔｍｉｎ　は書き込み制御部２０−１〜２０−
３に送られ、これを基にたとえば、閾値をθ＝ＴＡｍｉ
ｎ　＋λのように決定できる。すなわち、ｇ（ｐ，ｎ；
ｉ，Ｊｎ）〉θの時はＦＩＦＯへの書き込みを禁止する
。

【００６３】第９の発明による実施例では、第１〜８の
発明に加え、まず各単語レベルプロセッサにおいて、累
積距離ｇの最小値ｇｗｍｉｎ　が求められる。続いて全
単語レベルプロセッサで求められた最小値ｇｗｍｉｎ　
の中の最小値ｇａｍｉｎ　が単語レベル最小値計算部２
３で計算される。求められた最小値は全単語レベルプロ
セッサに送られ、この値を基に文献１で述べられている
ようなビームサーチが行われる。

【００６４】第１０の発明による実施例では、負荷計算
制御部２４において、まず各単語レベルプロセッサの負
荷を求める。この負荷は、たとえばビーム内に残ってい
る計算すべき累積距離ｇの数を処理量として、決めるこ
とができる。処理量最大のプロセッサと最小のプロセッ
サの間の処理用の差が一定値を越えた場合、処理量最大
のプロセッサに割り当てられているいくつかの単語の累
積距離、経路値を処理量最小のプロセッサに単語レベル
プロセッサ間を結ぶバス２５を通して転送し、単語の割
当を変更する。

【００６５】

【発明の効果】本発明によれば、複数のプロセッサを用
いる音声認識において、単語レベル処理、文レベル処理
の各々複数のプロセッサによる並列処理を可能にし、か
つデータ転送も並列に行うことを可能にすることにより
、高速な音声認識装置を実現することができる。

【図面の簡単な説明】

【図１】第１〜４の発明による一実施例を示す構成図で
ある。

【図２】第５の発明による実施例の一部を示す構成図で
ある。

【図３】第６の発明による実施例を示す構成図である。

【図４】第７〜１０の発明による実施例を示す構成図で
ある。

【図５】従来例を説明するための構成図である。

【図６】従来例を説明するための構成図である。

【符号の説明】

１　　分析部２−１〜２−３　　単語レベルプロセッサ３−１〜３−
３　　ＦＩＦＯ４　　データ転送部５−１，５−２　　ＦＩＦＯ６−１，６−２　　文レベルプロセッサ７　　転送指示
部８　　優先順位変更部９　　距離計算プロセッサ

Claims

【特許請求の範囲】

【請求項１】入力された音声を分析してフレーム毎の特
徴の時系列パターンを求める分析部と、前記フレーム毎
の特徴と、複数の認識単位に対する標準パターンとの尤
度を計算する１個以上の認識単位尤度計算部と、求めら
れた認識単位尤度を一時保持する前記認識単位尤度計算
部毎に用意された第１のファーストイン・ファーストア
ウトメモリと、１個以上の前記第１のファーストイン・
ファーストアウトメモリから読み出された認識単位尤度
を書き込み保持する相互にバスで結合された１個以上の
第２のファーストイン・ファーストアウトメモリと、前
記第１のファーストイン・ファーストアウトメモリの中
の１つから認識単位尤度を読みだし、１個以上の前記第
２のファーストイン・ファーストアウトメモリへデータ
を書き込むデータ転送部と、前記第２のファーストイン
・ファーストアウトメモリ中から読み出した認識単位尤
度を用いて文尤度を計算する１個以上の文尤度計算部と
を有する音声認識装置。
【請求項２】前記第１のファーストイン・ファーストア
ウトメモリの状態を順次検査し、転送すべき認識単位尤
度が存在する場合前記データ転送部へデータ転送要求を
出力する転送指示部を有することを特徴とする請求項１
記載の音声認識装置。
【請求項３】前記第１のファーストイン・ファーストア
ウトメモリに転送すべき認識単位尤度が存在する場合、
あらかじめ定められた優先順位で１個の第１のファース
トイン・ファーストアウトメモリを選択し前記データ転
送部へデータ転送要求を出力する転送指示部を有するこ
とを特徴とする請求項１記載の音声認識装置。
【請求項４】前記優先順位を順次変更する優先順位変更
部を有することを特徴とする請求項３記載の音声認識装
置。
【請求項５】複数の前記認識単位に対し共通な、前記認
識単位を細分化した基本単位に対する前記フレーム毎の
特徴の共通尤度を求める１個以上の基本尤度計算部と、
求められた共通尤度を１個以上の認識単位尤度計算部に
送る尤度転送部と、前記求められた共通尤度を用いて認
識単位に対する標準パターンとの尤度を計算する１個以
上の認識単位尤度計算部とを有することを特徴とする請
求項１，２，３，４のいずれかに記載の音声認識装置。
【請求項６】前記第２のファーストイン・ファーストア
ウトメモリから読み出された認識単位尤度を書き込み保
持する相互にバスで結合された１個以上の第３のファー
ストイン・ファーストアウトメモリと、前記第２のファ
ーストイン・ファーストアウトメモリから前記認識単位
尤度を読み出し前記第３のファーストイン・ファースト
アウトメモリへ書き込む第２のデータ転送部と、前記第
３のファーストイン・ファーストアウトメモリの中の認
識単位尤度を用いて文尤度を計算する１個以上の第２の
文尤度計算部とを有することを特徴とする請求項１，２
，３，４，５のいずれかに記載の音声認識装置。
【請求項７】前記認識単位尤度計算部で求められた認識
単位尤度が定められた基準に満たない場合、前記第１の
ファーストイン・ファーストアウトメモリへの書き込み
を禁止する書き込み制御部を有することを特徴とする請
求項１，２，３，４，５，６のいずれかに記載の音声認
識装置。
【請求項８】前記第２のファーストイン・ファーストア
ウトメモリから読み出された認識単位尤度の最大値を求
める単位尤度最大計算部と、前記単位尤度の最大値を基
準として、前記認識単位尤度計算部で求められた認識単
位尤度の前記第１のファーストイン・ファーストアウト
メモリへの書き込みを禁止する書き込み制御部を有する
ことを特徴とする請求項７記載の音声認識装置。
【請求項９】前記認識単位尤度計算部の処理における最
大尤度を求める最大尤度計算部と、前記最大尤度の中で
全前記認識単位尤度計算部における最大値を求める最大
値計算部と、前記最大値を基に前記認識単位尤度計算部
における計算の省略を指示する計算制御部とを有するこ
とを特徴とする請求項１，２，３，４，５，６，７，８
のいずれかに記載の音声認識装置。
【請求項１０】前記各認識単位尤度計算部の負荷を求め
る負荷計算部と、前記各認識単位尤度計算部を相互に結
合する第２のバスと、前記負荷計算部の結果に従って、
前記第２のバスを介して認識途中結果を転送する転送制
御部とを有することを特徴とする請求項１，２，３，４
，５，６，７のいずれかに記載の音声認識装置。