JPH10198397A - 音声認識処理装置および音声認識処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 音声認識結果が音声終了とほぼ同時に求める
ことができる。 【解決手段】 音声入力装置２１よりの音声データは音
声処理部２２にに取り込まれた後、逐次録音処理部２３
に供給されて録音用バッファメモリに逐次的に録音され
る。録音用バッファメモリは、複数個にメモリが区画さ
れ、一つのメモリへの録音が終了すると、次のメモリへ
の録音が開始されるように構成されるとともに、録音が
終了したバッファメモリの音声データは認識処理部２４
を構成する特徴抽出部２４ａに入力された後、音声デー
タは周波数分析されてスペクトル列を得、このスペクト
ル列がニューラルネットワークから構成される音素認識
部２４ｂに入力されて、出力に音素候補列が得られる。
この候補列はワードスポット２４ｃに入力されて辞書テ
ンプレート２４ｄとＤＴＷによって照合されて最も類似
する単語を結果として出力する。出力結果は累積距離計
算部２５で計算され、バックトレース部２６に供給して
認識された単語列を取り出す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、逐次音声処理方
式による音声認識装置および音声認識処理方法に関す
る。

【０００２】

【従来の技術】音声認識装置として図１２に示す離散単
語音声認識システムがある。このシステムは図１２に示
すように、電話やマイクロフォンなどの音声入力装置１
１から音声データが音声入力部１２に入力される。この
音声入力部１２に入力された音声データは特徴抽出部１
３に供給され、ここで音声データは周波数分析される。
この周波数分析の結果からスペクトル列を得て音素認識
部１４に入力される。音素認識部１４は出力を二重化し
たニューラルネットワークによって構成されている。こ
のニューラルネットワークは入力層、隠れ層、出力層か
らなりなり、入力層に例えば１時刻毎に５フレームのス
ペクトルが入力され、それの中央のスペクトルが、該当
する音素がどれであるかを、出力層のユニットの値によ
って送出する。出力ユニットは二重化されているため、
各音素カテゴリ毎にユニットは２個づつ対応づけられて
いる。それに対して結果は最大の出力値を示すものから
２つのユニットを選び、それが対応する音素を第１位、
第２位音素候補として得る。

【０００３】その認識された音素候補列と、認識させた
い語彙の音素パターンを持たせた辞書中のテンプレート
１５との類似度を、テンプレート中の音素と認識された
音素候補列中の第１位および第２位候補との類似度を局
所スコアとし、その局所スコアをＤＴＷ法によってマッ
チング部１６でマッチングされ、最も類似する単語を累
積することで全体の類似度スコアを求め、認識させたい
全ての語彙の中で、その類似度スコアが最小となる単語
を認識結果としてマッチング部１６から出力する。

【０００４】

【発明が解決しようとする課題】上述した離散単語音声
認識システムでは、入力音声が終了したとみなされた
後、はじめて認識処理を行うようになっている。そのた
め、連続音声認識のような計算時間のかかる認識の場合
には、音声終了から認識結果の出力までにかなりの時間
を要するために、実用にはてきさなくってしまう。ま
た、単語認識のような短い音声の入力に対しても、高速
なワークステーションと比べ、比較的計算処理の遅いパ
ソコンなどを用いた場合には、処理時間が大幅に要し、
パソコンでそのような装置を構築することが困難であっ
た問題がある。

【０００５】この発明は上記の事情に鑑みてなされたも
ので、音声認識結果が音声終了とほぼ同時に求めること
ができる音声認識装置および音声認識処理方法を提供す
ることを課題とする。

【０００６】

【課題を解決するための手段】この発明は、上記の課題
を達成するために、第１発明は、電話等からなる音声入
力装置と、この音声入力装置より入力された音声データ
を音素認識する認識処理部とを有し、認識処理部は、音
声データを周波数分析し、それを出力多重化ニューラル
ネットに入力させて音素認識を行わせて、認識音素第１
位音素候補と第２音素候補を得、その認識された音素候
補列と、認識させたい語彙の音素パターンを持たせた辞
書中のテンプレートとの類似度を、テンプレート中の音
素と認識された音素候補列中の第１位および第２位候補
との類似度を局所スコアとし、その局所スコアをＤＴＷ
法によって累積することで全体の類似度スコアを求め、
認識させたい全ての語彙の中で、その類似度スコアが最
小となる単語を認識結果として出力するように構成され
た音声認識処理装置において、前記音声入力装置から出
力された音声データが入力され、このデータを音声処理
する音声処理部と、この音声処理部で処理された音声デ
ータを複数個に区画されたメモリに逐次録音されるバッ
ファメモリ部と、このメモリ部の一つのメモリへの録音
が終了したかを検出する録音終了検出部と、この検出部
がメモリの録音終了を検出したときに前記バッファメモ
リ部の出力を前記認識処理部へ入力させるとともに、バ
ッファメモリ部の次の録音開始メモリへ切り替えるメモ
リ切換部とを備えたことを特徴とするものである。

【０００７】第２発明は、前記バッファメモリ部への音
声データの録音が終了したなら、前記認識処理部から認
識単語列を取り出すためにバックトレースを行って認識
結果を求めることを特徴とするものである。

【０００８】第３発明は、音声入力装置から出力された
音声データを音声処理部で処理した後、処理した音声を
複数個に区画された録音用バッファメモリに逐次録音さ
せて行き、区画された一つの録音用バッファメモリの録
音が終了したなら次のメモリへの録音を開始させるとと
もに、並行して音素認識処理を行うことを特徴とするも
のである。

【０００９】

【発明の実施の形態】以下この発明の実施の形態を図面
に基づいて説明する。図１はこの発明の実施の形態を示
す概略構成説明図で、図１において、２１は電話やマイ
クロフォンなどからなる音声入力装置で、この音声入力
装置２１よりの音声データは音声処理部２２に入力され
る。この音声処理部（サウンドボード）２２に取り込ま
れた音声データは、逐次録音処理部２３に供給されて録
音用バッファメモリ（後述する）に逐次的に録音され
る。録音用バッファメモリは、複数個にメモリが区画さ
れ、一つのメモリへの録音が終了（メモリがいっぱいに
成る）すると、次のメモリへの録音が開始されるように
構成されるとともに、録音が終了したバッファメモリの
音声データは認識処理部２４を構成する特徴抽出部２４
ａに入力されて、認識処理が並行して行われるように構
成される。

【００１０】特徴抽出部２４ａに入力されたバッファメ
モリからの音声データは周波数分析されてスペクトル列
を得、このスペクトル列がニューラルネットワークから
構成される音素認識部２４ｂに入力されて、出力に音素
候補列が得られる。この候補列はワードスポット２４ｃ
（ワードスポットとは連続音声中の指定されたフレーム
を辞書単語の終端と仮定したときに、最適な始端と、照
合距離を求める計算を言う）に入力されて辞書テンプレ
ート２４ｄとＤＴＷによって照合されて最も類似する単
語を結果として出力する。出力結果は累積距離計算部２
５で計算され、音声入力があるときには、再び逐次録音
処理部２３から処理を行い、音声入力が終了したならバ
ックトレース（認識単語を後から取り出す計算方法）部
２６に供給して認識された単語列を取り出す。

【００１１】図２は上述した逐次録音処理部２３の詳細
を示すブロック構成図で、逐次録音処理部２３は、複数
個にメモリが区画された録音用バッファメモリ部２３ａ
を有し、このメモリ部２３ａには一つのメモリへの音声
録音が終了したことを検出する録音終了検出部２３ｂが
設けられるとともに、メモリ切換部２３ｃが設けられ
る。メモリ切換部２３ｃは、前記録音終了検出部２３ｂ
が検出出力を送出したとき、次のメモリへ録音開始を切
り替えるためのものである。

【００１２】図３はサイクリック式の録音用バッファメ
モリ部２３ａの構造図で、このバッファメモリ部２３ａ
は、複数個に区画されたバッファメモリ１、２…（ｎ−
１）、ｎから構成され、バッファメモリ１、２…ｎには
音声データが並列的に入力されるように構成されている
が、一つのメモリが録音でいっぱいにならないと次のメ
モリには録音されないように制御されている。その制御
は図２に示すように行われる。

【００１３】図４は録音用バックメモリ部２３ａへの録
音動作の概要を述べる説明図で、図４（Ａ）は初期状態
から無音アイドル状態までの動作概要を示し、Ａ１は初
期状態を示し、このときは録音バッファ数は「０」であ
る。Ａ２はバッファメモリ１が録音終了した状態を示
し、順次Ａ３はバッファメモリ１、２が録音終了し、Ａ
４はバッファメモリ１、、２、３が録音終了、すなわち
録音バッファ数が「４」になったことを示したものであ
る。そして、アイドル状態で一番上のバッファメモリは
一旦登録解除した後に再登録される。

【００１４】図４（Ｂ）は音声部検出後の動作を述べる
もので、有声が継続したときには音声バッファを追加す
る。

【００１５】図４（Ｃ）は無音部検出から録音終了まで
の動作を述べるもので、無声が継続したときには録音を
終了する。

【００１６】次に上記のように構成された図１の実施の
形態の処理の流れを図５により述べる。この実施の形態
では認識のための処理として、逐次認識処理と逐次録音
処理を並行して行わせている。図５において、ステップ
Ｓ１で処理開始の命令が出ると、バッファメモリ（以下
バッファとする）への逐次録音処理（Ｓ２）が開始され
る。録音中のバッファの録音終了のイベントが発行され
たかを、ステップＳ３で判断し、（Ｙ）ならそのバッフ
ァの音声チェックをステップＳ４で行う。バッファが音
声部であると判定（Ｙ）されたなら、逐次認識処理を行
わせ（Ｓ５）、ステップＳ２の逐次録音処理に戻る。ス
テップＳ４でバッファが無音部であると認識（Ｎ）され
たなら、終了条件を満たすかをステップＳ６で判定し、
終了条件を満たせば（Ｙ）、認識結果を出力し、録音バ
ッファをリセット（Ｓ７）し、処理を終了する（Ｓ
８）。

【００１７】ここで、上記逐次録音処理について述べ
る。この処理は、バッファがいっぱいになるまで録音を
行い、バッファがいっぱいになったところで次のバッフ
ァに録音するという制御を、音声の入力が終わったと判
断されるまで継続することを言う。この処理は、（１）
録音開始処理、（２）サウンドデバイスドライバでの処
理、（３）録音処理、（４）録音中止処理から構成され
ている。以下それぞれの処理の内容について述べる。

【００１８】（１）録音開始処理 （ａ）サウンドデバイスを録音用にオープンする （ｂ）録音用バッファメモリとして実現した録音用バッ
ファ群を登録する （ｃ）録音開始コマンドを発行する。

【００１９】（２）サウンドデバイスドライバでの処理 （ａ）各録音用バッファに登録した順に連続して音声デ
ータを録音する （ｂ）各録音用バッファへの録音が終了する毎に、録音
データ数を記憶し、録音終了イベントを発行する。

【００２０】（３）録音処理 録音処理は図６に示すアルゴリズムのように処理され
る。図６において、まず、録音終了イベントの原因とな
ったバッファのバッファデータ数は零であるかを判断し
（Ｓ１１）、（Ｎ）ならデータが音声部か無音部かの音
声チェックを行う（Ｓ１２）。そのチェックでデータが
有声であるかを判断し（Ｓ１３）、（Ｙ）なら音声中で
あるかをステップＳ１４で判断する。その判断の結果、
（Ｙ）なら音声バッファを追加して処理を終了し、
（Ｎ）なら音声数をカウントし（Ｓ１５）、音声数が予
め定めたNR BUF START（Ｓ１６）以上音声が継続したな
ら（Ｙ）、音声中のフラグをＯＮして（Ｓ１７）、バッ
ファのアイドル状態を更新する（Ｓ１８）。

【００２１】一方、前記ステップＳ１３で（Ｎ）なら音
声中であるかステップＳ１９で判断する。その判断の結
果、（Ｙ）なら無音数をカウントし（Ｓ２０）、無音数
が予め定めたNR BUF END（Ｓ２１）以上無音が継続した
なら（Ｙ）、無音部とみなして録音中止処理を行って録
音を終了する（Ｓ２２）。なお、ステップＳ１９の判断
で無音中（Ｎ）ならバッファのアイドル状態を更新する
（Ｓ２３）。

【００２２】（４）録音中止処理 （ａ）録音中止コマンドとリセットコマンドを発行し、
録音を中断する （ｂ）録音用バッファの登録解除 （ｃ）サウンドデバイスのクローズを行う。

【００２３】次に上記逐次認識処理について述べる。逐
次認識処理は、録音済みバッファが送られてくる度に、
それまでの計算結果も考慮して認識計算を行うような処
理である。この処理として離散単語認識と連続単語認識
の２つの方式を実施した。どちらも録音済みバッファが
逐次的に入力されてくるのに対応したものになってい
る。また、認識処理部の処理の終了を待たずに、別の処
理を行えるようにし、処理の効率化と高速化を図ってい
る。ここで、上記２方式の例を示す。

【００２４】例１：離散単語認識方式 図７において、認識開始をしてステップＳ３１でinvoic
e flg（音声検出フラグ）＝OFFとbuff count（バッファ
のカウンタ）＝0を確認した後、録音済みバッファの音
声チェックで音声が検出（Ｓ３２）される度に、音声検
出フラグinvoice flgをオンにセット（Ｓ３３）し、そ
うでないときはオフ（Ｓ３４）にセットする。音声検出
フラグinvoice flg（Ｓ３５）がオン（Ｙ）なら、認識
処理部が認識処理中であるか判断し（Ｓ３６）、処理中
なら（Ｙ）録音済みバッファの転送を見送りステップＳ
３２に戻る。ステップＳ３６で処理中でないなら
（Ｎ）、録音済みバッファを認識処理部へ転送して認識
処理を行う（Ｓ３７）とともに、buff countをインクリ
メントし、認識処理部の終了を待たずにステップＳ３２
に戻る。なお、認識処理は、buff countの値により異な
る。

【００２５】buff count＝１のとき、認識処理部は、周
波数分析、音素認識、ＤＴＷを実施する。その後、次の
バッファの計算に必要な、各辞書テンプレートとのＤＴ
Ｗの結果を指定された場所へ格納する。

【００２６】buff count＝２のとき、認識処理部は、格
納されている計算結果を取り出し、ＤＴＷの初期値とす
る。以下上記と同様に、入力されたバッファの周波数分
析、音素認識、ＤＴＷを実施し、各辞書テンプレートの
ＤＴＷの結果を指定された場所へ格納する。

【００２７】前記音声検出フラグinvoice flg（Ｓ３
５）がオンでないなら、すなわちオフ（Ｎ）なら、録音
済みバッファで認識未処理のものがあるかを判断し（Ｓ
３８）、認識未処理のものがある（Ｙ）なら全ての未処
理バッファが認識処理終了するまで認識処理部への転送
と認識を繰り返す（Ｓ３９）。その後、認識結果を求
め、処理を終了する。なお、ステップＳ３８で（Ｎ）な
ら認識処理を終了する。図８は上述した認識処理と録音
のタイミングチャートである。

【００２８】例２：連続単語認識方式 図９において、認識開始をしてステップＳ４１でinvoic
e flg（音声検出フラグ）＝OFFとbuff count（バッファ
のカウンタ）＝0を確認した後、録音済みバッファの音
声チェックで音声が検出（Ｓ４２）される度に、音声検
出フラグinvoice flgをオンにセット（Ｓ４３）し、そ
うでないときはオフ（Ｓ４４）にセットする。音声検出
フラグinvoice flg（Ｓ４５）がオン（Ｙ）なら、認識
処理部が認識処理中であるか判断し（Ｓ４６）、処理中
なら（Ｙ）録音済みバッファの転送を見送りステップＳ
４２に戻る。ステップＳ４６で処理中でないなら
（Ｎ）、録音済みバッファを認識処理部へ転送して認識
処理を行う（Ｓ４７）とともに、buff countをインクリ
メントする。なお、認識処理は、buff countの値により
異なる。この判断はステップＳ４８で行う。

【００２９】ステップＳ４８で（Ｎ）ならbuff count＝
１であるからbuff count＝１のとき、認識処理部は、周
波数分析、音素認識、ワードスポットＤＴＷを実施す
る。その後、次のバッファの計算に必要な、ワードスポ
ットの結果を指定された場所へ格納する。認識処理部の
終了を待たずにステップＳ４２に戻る。

【００３０】前記ステップＳ４８で（Ｙ）なら、buff c
ount＝２であるからbuff count＝２のとき、認識処理部
は、格納されている計算結果を取り出し、ワードスポッ
ト値を初期値とする。以下上記と同様に、入力されたバ
ッファの周波数分析、音素認識、ワードスポットＤＴＷ
を実施し、次の計算に必要な結果を格納する。その後、
認識処理部の処理の終了を待たずに、前のバッファまで
の累積距離の計算をステップＳ４９で行ってからステッ
プＳ４２に戻る。

【００３１】前記音声検出フラグinvoice flg（Ｓ４
５）がオンでないなら、すなわちオフ（Ｎ）なら、録音
済みバッファで認識未処理のものがあるかを判断し（Ｓ
５０）、認識未処理のものがある（Ｙ）なら全ての未処
理バッファが認識処理終了するまで認識処理部への転送
と認識を行う（Ｓ５１）。認識処理後、累積距離計算を
ステップＳ５２で行って、計算した累積距離結果を用い
てバックトレース（Ｓ５３）を行い、認識結果を求め、
処理を終了する。なお、ステップＳ５０で（Ｎ）ならバ
ックトレース（Ｓ５３）を行って認識処理を終了する。
図１０は上述した認識処理と録音のタイミングチャート
である。

【００３２】図１１は上述した実施の形態をパソコンに
て処理する際のシステム構成図で、図１１において、電
話などの音声入力装置２１からの音声を公衆回線網１０
０を介してネットワークコントローラ１０１に入力し、
ネットワークコントローラ１０１からパソコン１０２の
音声処理部２２に音声処理して連続単語認識をパソコン
１０２で行うようにしたものである。１０３は音声合成
装置である。

【００３３】なお、認識処理部２４は並列処理するよう
に構成すれば、処理の高速化を図ることができる。

【００３４】

【発明の効果】以上述べたように、この発明によれば、
認識と録音の処理を一つのバッファへの録音が終了する
度に逐次的に行っていて、また認識処理部とパソコンで
の処理を並行して行わせているので、認識結果が音声終
了とほとんど同時に高速に求められる利点がある。ま
た、パソコンを利用しているので、手軽にシステムを構
成することができる。

【図面の簡単な説明】

【図１】この発明の実施の形態を述べる概略構成説明
図。

【図２】実施の形態の要部の逐次録音処理の構成図。

【図３】サイクリック式録音用バッファメモリの構造
図。

【図４】サイクリック式録音用バッファメモリへの録音
動作概要図

【図５】実施の形態の流れを述べるフローチャート。

【図６】録音処理のアルゴリズムのフローチャート。

【図７】離散単語認識方式の認識処理のフローチャー
ト。

【図８】離散単語認識方式の認識と録音のタイミングチ
ャート。

【図９】連続単語認識方式の認識処理のフローチャー
ト。

【図１０】連続単語認識方式の認識と録音のタイミング
チャート。

【図１１】実施の形態のシステム構成図。

【図１２】音声認識システムの概要図。

【符号の説明】

２１…音声入力装置 ２２…音声処理部 ２３…逐次録音処理部 ２４…認識処理部 ２５…累積距離計算部 ２６…バックトレース部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 電話等からなる音声入力装置と、この音
   声入力装置より入力された音声データを音素認識する認
   識処理部とを有し、 認識処理部は、音声データを周波数分析し、それを出力
   多重化ニューラルネットに入力させて音素認識を行わせ
   て、認識音素第１位音素候補と第２音素候補を得、その
   認識された音素候補列と、認識させたい語彙の音素パタ
   ーンを持たせた辞書中のテンプレートとの類似度を、テ
   ンプレート中の音素と認識された音素候補列中の第１位
   および第２位候補との類似度を局所スコアとし、その局
   所スコアをＤＴＷ法によって累積することで全体の類似
   度スコアを求め、認識させたい全ての語彙の中で、その
   類似度スコアが最小となる単語を認識結果として出力す
   るように構成された音声認識処理装置において、 前記音声入力装置から出力された音声データが入力さ
   れ、このデータを音声処理する音声処理部と、この音声
   処理部で処理された音声データを複数個に区画されたメ
   モリに逐次録音されるバッファメモリ部と、このメモリ
   部の一つのメモリへの録音が終了したかを検出する録音
   終了検出部と、この検出部がメモリの録音終了を検出し
   たときに前記バッファメモリ部の出力を前記認識処理部
   へ入力させるとともに、バッファメモリ部の次の録音開
   始メモリへ切り替えるメモリ切換部とを備えたことを特
   徴とする音声認識処理装置。
2. 【請求項２】 前記請求項１記載の音声認識処理装置に
   おいて、前記バッファメモリ部への音声データの録音が
   終了したなら、前記認識処理部から認識単語列を取り出
   すためにバックトレースを行って認識結果を求めること
   を特徴とする音声認識処理装置。
3. 【請求項３】 音声入力装置から出力された音声データ
   を音声処理部で処理した後、処理した音声を複数個に区
   画された録音用バッファメモリに逐次録音させて行き、
   区画された一つの録音用バッファメモリの録音が終了し
   たなら次のメモリへの録音を開始させるとともに、並行
   して音素認識処理を行うことを特徴とする音素認識処理
   方法。