JP3168779B2 - 音声認識装置及び方法 - Google Patents

音声認識装置及び方法

Info

Publication number
JP3168779B2
JP3168779B2 JP21336393A JP21336393A JP3168779B2 JP 3168779 B2 JP3168779 B2 JP 3168779B2 JP 21336393 A JP21336393 A JP 21336393A JP 21336393 A JP21336393 A JP 21336393A JP 3168779 B2 JP3168779 B2 JP 3168779B2
Authority
JP
Japan
Prior art keywords
speech recognition
data
neural network
input
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21336393A
Other languages
English (en)
Other versions
JPH06102899A (ja
Inventor
満広 稲積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP21336393A priority Critical patent/JP3168779B2/ja
Priority to EP93112661A priority patent/EP0582312B1/en
Priority to US08/102,859 priority patent/US5481644A/en
Publication of JPH06102899A publication Critical patent/JPH06102899A/ja
Application granted granted Critical
Publication of JP3168779B2 publication Critical patent/JP3168779B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クを用いた音声認識装置に関する。
【０００２】
【従来の技術】従来より、ニューラルネットワークを用
いた音声認識装置が知られている。この種の音声認識装
置は、予め認識対象となる音声データを学習しておく。
そして、入力された音声データが認識対象となる音声デ
ータと一致した場合に、音声認識信号を出力するよう構
成されている。
【０００３】このような音声認識装置には、音声データ
を認識するための学習が簡単で、しかも実際に入力され
る音声データに対し、高い認識精度を発揮することが望
まれる。特に、認識対象となる同一の音声データが連続
入力された場合でも、何個の音声データが連続入力され
たかを正確に認識できることが望まれる。
【０００４】しかし、従来の音声認識装置では、このよ
うな要求を全て満足させることはできなかった。
【０００５】従来の音声認識装置に実用的に用いられて
いる手法は大別して、ＤＰマッチング法、隠れマルコフ
モデル（ＨＭＭ）法の２つである。これらの手法は、例
えば、中川聖一著「確率モデルによる音声認識」に詳し
く記述されている。
【０００６】これを要約すれば、ＤＰマッチング法は、
入力された音声データと、標準データとの始端と終端の
対応を仮定し、その内部を様々な時間正規化関数を用い
変形する。そして、その差異が最小となる変形と、その
時のパターン間の距離をその標準パターンの失点とす
る。そして、複数の標準パターンの内、失点が最小とな
るパターンをマッチング結果とするものである。
【０００７】一方、ＨＭＭ法を用いた音声認識手法は、
確率的な方法により音声認識を行おうとするものであ
る。この方法では、ＤＰ法の場合における標準パターン
に相当するＨＭＭモデルが設定される。一つのＨＭＭモ
デルは複数の状態と、複数の遷移とにより構成される。
それぞれの状態には存在確率が、またそれぞれ遷移には
遷移確率と、出力確率が与えられる。これによりある一
つのＨＭＭモデルが、ある時系列パターンを生成する確
率を計算することができる。
【０００８】
【発明が解決しようとする課題】しかし、前記ＤＰマッ
チング法、ＨＭＭ法は、その学習時、音声認識動作時に
入力される音声データの始端、終端を特定する必要があ
るという問題があった。
【０００９】また、見かけ上始端、終端に依存しない音
声認識処理を行うためには、始端、終端を試行錯誤的に
発見する処理を行わなければならず、その為の処理に非
常に時間がかかるという問題があった。例えば、長さＮ
のパターンの中から、ある範疇に属するデータを検出す
る場合を考える。この場合、始端位置としては、Ｎオー
ダーの可能性があり、また終端位置としては、Ｎオーダ
ーの可能性がある。つまり、始端、終端の組み合わせと
しては、Ｎ2 のオーダーの可能性が考えられる。従っ
て、この場合においては、非常に多数の組み合わせの全
てについて、最良の結果を与える始端、終端を試行錯誤
的に発見するという認識処理を行わなければならず、こ
の処理に非常に時間がかかるという問題があった。
【００１０】また、前記従来技術には、始端、終端の組
み合わせの数という量的な問題以前に、始端、終端の存
在という仮定自体に本質的な問題があった。すなわち、
入力データにある範疇のデータが只一つしか含まれてい
ない条件であれば、始端、終端は自明である。しかし、
現実の状況において、そのような条件が成立するのはま
れである。入力データに連続する異なる範疇のデータが
含まれる場合に、その境界は自明ではない。むしろ、音
声などの時系列情報においては、データ間の境界は明確
には存在せず、連続した二つの範疇のデータは、その情
報が重複する遷移領域を経て一方から他方へ変化する。
【００１１】従って、前記従来技術のように、始端、終
端を仮定したデータで標準データを作成したり、あるい
はそのようなデータでＨＭＭ法のパラメータを学習させ
ることは、その正確度において非常に大きな問題があっ
た。
【００１２】また、このような問題を処理するために
は、特定の課題に特化した種々の工夫が必要であり、そ
のような工夫なしにはよい結果を得ることはできない。
しかし、このような工夫は一般的なものではなかった。
【００１３】これ以外の従来技術として、バックプロパ
ゲーション学習法と多層パーセプトロンを用いた方法
（ＭＬＰ法）も知られている。この手法は、例えば、中
川、鹿野、東倉共著「音声、聴覚と神経回路網モデル」
（オーム社）等に記述されている。
【００１４】このＭＬＰ法は、基本的には静的なデータ
を認識するための方法である。このため、これに時系列
データを認識させるためには、この入力データの時間構
造を何らかの形でニューラルネットワークの構造へ反映
させなければならない。この方法として最も多く用いら
れるのは、ある時間範囲のデータを、一つの入力データ
として入力し、等価的に時間情報を処理するという手法
である。この時間範囲は、ＭＬＰの構造上、固定された
ものでなければならない。
【００１５】しかし、実際の時系列データの長さは、そ
の範疇により、また同一範疇においても、大きく変動す
る。例えば、音声における音素を例にとれば、長い音素
である母音等と、短い音素である炸裂音等の平均長さ
は、十倍以上異なる。また、同一音素内においても、音
声中での実際の長さは２倍以上変動する。従って、仮に
データの入力範囲を平均的な長さに設定したとすると、
短い音素を識別する場合には、その入力データの中には
認識対象以外の音声データが多数含まれることになる。
また、長い音素を認識する場合には、その入力データ中
には、認識対象のデータの一部しか含まれないことにな
る。これらはいずれも認識能力を下げる原因である。ま
た、音素毎に異なる入力長さを設定したとしても、その
音素自身の長さが変動するので、問題の解決にはならな
い。
【００１６】このようにＭＬＰ法においては、データ入
力範囲の始端と終端を特定する必要があるため、入力デ
ータ長が変動する実際の音声認識動作では、正確な音声
認識を行うことが難しいという問題があった。
【００１７】これに加えて、前記従来の技術では、入力
データの中に、検出対象となるデータ、例えばＡデータ
が複数個連続して含まれている場合に、入力データ中に
幾つのＡデータが存在するのかを明確に検出することが
できないという問題があった。このような問題は、音声
認識装置が、同一認識対象カテゴリーのデータが連続し
て入力されるような用途を考える場合、非常に大きな問
題となる。
【００１８】本発明は、このような従来の課題に鑑み成
されたものであり、その目的は、入力される音声データ
を正確に認識することができ、特に認識対象となる音声
データが連続入力された場合でも、その入力個数をも正
確に認識することができる音声認識装置を提供すること
を目的とする。
【００１９】
【課題を解決するための手段および作用】前記目的を達
成するために、本発明の音声認識装置は、入力される音
声データをフレーム単位で切出し、特徴ベクトルに変換
して順次出力する特徴抽出手段と、前記特徴抽出手段か
ら特徴ベクトルとして入力される音声データに基づき所
定の音声データを認識するよう予め学習され、入力され
た音声データが認識対象となる音声データと一致した場
合に音声認識信号を出力する音声認識動作を行う音声認
識用ニューラルネットワーク手段と、前記音声認識用ニ
ューラルネットワーク手段から出力される音声認識信号
を検出し、リセット指示信号を出力する認識信号検出手
段と、前記音声認識用ニューラルネットワーク手段の内
部状態量の初期値が予め設定され、前記リセット指示信
号に基づき音声認識用ニューラルネットワーク手段をリ
セットし、その内部状態量を初期値に設定する内部状態
量設定手段と、を含み、連続入力される同一音声データ
を認識するよう形成されたことを特徴とする。
【００２０】以上のような構成とすることにより、音声
認識用ニューラルネットワーク手段は、入力された音声
データが認識対象となる音声データと一致するごとに、
音声認識信号を出力する。
【００２１】認識信号検出手段は、前記音声認識信号が
出力されるごとにリセット指示信号を内部状態量設定手
段へ向け出力する。
【００２２】内部状態量設定手段は、前記リセット指示
信号に基づき、音声認識用ニューラルネットワーク手段
をリセットし、その内部状態量を初期値に設定する。
【００２３】このように、認識対象となる音声データが
連続入力される場合、ニューラルネットワーク手段は音
声認識動作を行うごとにリセットされるため、連続入力
される音声データをその都度正確に認識することができ
る。この結果、連続入力される同一音声データの個数を
も正確に認識することが可能となる。
【００２４】ここにおいて、前記音声認識用ニューラル
ネットワーク手段は、内部状態値Ｘが設定された複数の
ニューロンを相互に結合して構成されており、前記各ニ
ューロンは、その内部状態値Ｘが、当該ニューロンに与
えられる入力データＺj （ｊ＝０〜ｎ：ｎは自然数）お
よび内部状態値Ｘを用いて表された関数Ｘ＝Ｇ（Ｘ，Ｚ
j ）を満足する値に時間変化するダイナミックニューロ
ンとして形成され、前記各ダイナミックニューロンは、
その内部状態値Ｘを、関数Ｆ（Ｘ）を満足する値に変換
して出力されるよう形成され、前記内部状態量設定手段
は、前記音声認識用ニューラルネットワーク手段の安定
状態における各ニューロンの内部状態量が初期値として
設定されるバッファメモリを含み、前記リセット指示信
号に基づき音声認識用ニューラルネットワーク手段の各
ニューロンをリセットし、その内部状態量を前記バッフ
ァメモリに記憶された初期値に設定することが好まし
い。
【００２５】このように、音声認識用ニューラルネット
ワーク手段を、複数のダイナミックニューロンの組み合
わせとして構成することにより、入力データの時間構造
を所定関数を満足させるよう時間変化する内部状態値お
よびニューロンの結合重みの中に表現することができ
る。これにより、かなり大きな時間変化を含む入力デー
タを、簡単な学習で正確に認識することができる。
【００２６】また、前記認識信号検出手段は、音声認識
用ニューラルネットワーク手段から所定時間継続して音
声認識信号が出力されたとき、前記リセット指示信号を
出力するよう形成することができる。
【００２７】ここにおいて、前記関数Ｘ＝Ｇ（Ｘ，Ｚj
）は、
【数５】 として表されるよう形成することができる。
【００２８】また前記関数Ｘ＝Ｇ（Ｘ，Ｚj ）は、ｊ番
目のニューロンの出力をｉ番目のニューロンの入力へ結
合する結合強度Ｗij、外部入力値Ｄi 、バイアス値θi
を用いて、
【数６】 として表すこともできる。
【００２９】また、前記関数Ｘ＝Ｇ（Ｘ，Ｚj ）は、シ
グモイド関数Ｓを用いて、
【数７】 として表すこともできる。
【００３０】また、前記関数Ｘ＝Ｇ（Ｘ，Ｚj ）は、シ
グモイド関数Ｓ、ｊ番目のニューロンの出力をｉ番目の
ニューロンの入力へ結合する結合強度Ｗij、外部入力値
Ｄi、バイアス値θi を用いて、
【数８】 として表すこともできる。
【００３１】前記各音声認識用ニューラルネットワーク
部は、音声データが入力される入力ニューロンと、音声
データの認識結果を出力する認識結果出力ニューロンと
を含むよう形成できる。
【００３２】前記音声認識用ニューラルネットワーク手
段は、前記特徴ベクトルが入力される複数の入力ニュー
ロンと、入力された音声データが認識対象となる音声デ
ータと一致した場合にのみ肯定信号を出力する第１の出
力ニューロンと、入力された音声データが認識対象とな
る音声データと一致しない場合にのみ否定信号を出力す
る第２の出力ニューロンと、を含むようにも形成でき
る。
【００３３】前記関数Ｆ（Ｘ）はｓｉｇｍｏｉｄ関数と
することができる。
【００３４】また前記関数Ｆ（Ｘ）はしきい値関数とす
ることもできる。
【００３５】前記各ダイナミックニューロンは、前記入
力データＺj として、自己のニューロンの出力Ｙに重み
を乗算してフィードバックさせたデータを含むよう形成
できる。
【００３６】また前記各ダイナミックニューロンは、前
記入力データＺj として、他のニューロンの出力に重み
を乗算したデータを含むよう形成できる。
【００３７】また前記各ダイナミックニューロンは、前
記入力データＺj として、外部から与えられた所望のデ
ータを含むよう形成できる。
【００３８】また、本発明の他の音声認識装置は、入力
される音声データをフレーム単位で切出し、特徴ベクト
ルに変換して順次出力する特徴抽出手段と、前記特徴抽
出手段から特徴ベクトルとして入力される音声データに
基づき所定の音声データを認識するよう予め学習され、
入力された音声データが認識対象となる音声データと一
致した場合に音声認識信号を出力する音声認識動作を行
う第１の音声認識用ニューラルネットワーク手段と、前
記第１の音声認識用ニューラルネットワーク手段から出
力される音声認識信号を検出する毎に、動作指示信号を
出力する認識信号検出手段と、前記特徴抽出手段から特
徴ベクトルとして入力される音声データに基づき所定の
音声データを認識するよう予め学習され、前記動作指示
信号が出力される毎に、音声データが認識対象となる音
声データと一致した場合に音声認識信号を出力する音声
認識動作を行う第２の音声認識用ニューラルネットワー
ク手段と、前記第１、第２の音声認識用ニューラルネッ
トワーク手段から出力される音声認識信号を選択し、音
声認識信号として出力する出力合成手段と、を含み、連
続入力される同一音声データを認識するよう形成されて
いる。
【００３９】以上の構成とすることにより、認識対象と
なる同一音声データが連続して入力される場合には、第
１の音声認識用ニューラルネットワーク手段と、第２の
音声認識用ニューラルネットワーク手段とが、交互に動
作し、これを正確に認識することができる。この結果、
連続入力される同一音声データの個数を正確に認識する
ことができる。
【００４０】ここにおいて、前記第２の音声認識用ニュ
ーラルネットワーク手段は、前記音声認識動作を行う毎
にリセットされるよう形成することができる。
【００４１】また、前記第２の音声認識用ニューラルネ
ットワーク手段は、所定時間動作する毎にリセットされ
るよう形成することもできる。
【００４２】また、前記各音声認識用ニューラルネット
ワーク手段は、内部状態値Ｘが設定された複数のニュー
ロンを相互に結合して構成されており、 前記各ニュー
ロンは、その内部状態値Ｘが、当該ニューロンに与えら
れる入力データＺj （ｊ＝０〜ｎ：ｎは自然数）および
内部状態値Ｘを用いて表された関数Ｘ＝Ｇ（Ｘ，Ｚj ）
を満足する値に時間変化するダイナミックニューロンと
して形成され、前記各ダイナミックニューロンは、その
内部状態値Ｘを、関数Ｆ（Ｘ）を満足する値に変換して
出力されるよう形成されたことを特徴とするよう形成す
ることが好ましい。
【００４３】これにより、入力される音声データを簡単
な学習で、しかもより正確に認識することが可能とな
る。
【００４４】ここにおいて、前記関数Ｘ＝Ｇ（Ｘ，Ｚj
）は、
【数９】 として表されるよう形成することができる。
【００４５】また前記関数Ｘ＝Ｇ（Ｘ，Ｚj ）は、ｊ番
目のニューロンの出力をｉ番目のニューロンの入力へ結
合する結合強度Ｗij、外部入力値Ｄi 、バイアス値θi
を用いて、
【数１０】 として表すこともできる。
【００４６】また、前記関数Ｘ＝Ｇ（Ｘ，Ｚj ）は、シ
グモイド関数Ｓを用いて、
【数１１】 として表すこともできる。
【００４７】また、前記関数Ｘ＝Ｇ（Ｘ，Ｚj ）は、シ
グモイド関数Ｓ、ｊ番目のニューロンの出力をｉ番目の
ニューロンの入力へ結合する結合強度Ｗij、外部入力値
Ｄi、バイアス値θi を用いて、
【数１２】 として表すこともできる。
【００４８】前記各音声認識用ニューラルネットワーク
部は、音声データが入力される入力ニューロンと、音声
データの認識結果を出力する認識結果出力ニューロンと
を含むよう形成できる。
【００４９】前記音声認識用ニューラルネットワーク手
段は、前記特徴ベクトルが入力される複数の入力ニュー
ロンと、入力された音声データが認識対象となる音声デ
ータと一致した場合にのみ肯定信号を出力する第１の出
力ニューロンと、入力された音声データが認識対象とな
る音声データと一致しない場合にのみ否定信号を出力す
る第２の出力ニューロンと、を含むようにも形成でき
る。
【００５０】前記関数Ｆ（Ｘ）はｓｉｇｍｏｉｄ関数と
することができる。
【００５１】また前記関数Ｆ（Ｘ）はしきい値関数とす
ることもできる。
【００５２】前記各ダイナミックニューロンは、前記入
力データＺj として、自己のニューロンの出力Ｙに重み
を乗算してフィードバックさせたデータを含むよう形成
できる。
【００５３】また前記各ダイナミックニューロンは、前
記入力データＺj として、他のニューロンの出力に重み
を乗算したデータを含むよう形成できる。
【００５４】また前記各ダイナミックニューロンは、前
記入力データＺj として、外部から与えられた所望のデ
ータを含むよう形成できる。
【００５５】
【実施例】次に、本発明の好適な実施例を図面に基づき
詳細に説明する。
【００５６】第１実施例 図１には、本発明の音声認識装置の好適な実施例が示さ
れている。
【００５７】音声認識装置全体の説明 実施例の音声認識装置は、特徴抽出部１０、音声認識用
ニューラルネットワーク部２０、認識信号検出部３０、
内部状態量設定部４０を含む。
【００５８】前記特徴抽出部１０は、図２に示すよう、
入力されるアナログ音声データ１００をフレーム単位で
切り出し、特徴ベクトル１１０に変換して音声認識用ニ
ューラルネットワーク部２０へ向け出力する。この特徴
ベクトル１１０は、次のようにして求められる。すなわ
ち、図２（Ａ）に示すよう、アナログ音声データ１００
を所定のフレーム１０２の単位で順次切り出す。図２
（Ｂ）に示すよう、フレーム単位で切り出された音声デ
ータ１００は、線形予測分析やフィルタバンク等で特徴
が抽出され、特徴ベクトル１１０の列として音声認識理
用ニューラルネットワーク部２０へ向け、順次出力され
る。
【００５９】前記音声認識用ニューラルネットワーク部
２０は、所定の音声データを認識するよう予めその学習
が行われている。そして、このニューラルネットワーク
部２０は、特徴ベクトル１１０として入力される音声デ
ータが、認識対象となる音声データと一致するか否かの
音声認識動作を行う。一致した場合には、音声認識信号
１２０を出力するよう形成されている。なお、このニュ
ーラルネットワーク部２０の詳細な説明は、後述する。
【００６０】前記認識信号検出部３０は、ニューラルネ
ットワーク部２０から出力される音声認識信号１２０を
検出し、その度にリセット指示信号１３０を内部状態量
設定部４０へ向け出力する。
【００６１】前記内部状態量設定部４０は、前記ニュー
ラルネットワーク部２０の内部状態量の初期値が予め設
定される。そして、前記リセット指示信号１３０が入力
されると、ニューラルネットワーク部２０をリセットし
その内部状態量を初期値に設定するという動作を行う。
【００６２】以上の構成とすることにより、ニューラル
ネットワーク部２０は、入力される音声データが、認識
対象となる音声データと一致するかの判断を行い、音声
認識信号１２０を出力するごとに、次の音声認識動作用
にリセットされ、次の音声認識動作を開始することにな
る。このため、例えば認識対象となる同一の音声データ
「Ａ」が連続して入力される場合でも、これをその都度
正確に認識することができる。この結果、音声データ
「Ａ」の認識を正確に行うことができるばかりでなく、
この音声データ「Ａ」が連続入力された場合には、その
連続入力個数をも正確に検出することができる。
【００６３】実施例において、前記内部状態量設定部４
０は、前記初期値が設定されるバッファメモリ４２を含
み、このバッファメモリ４２内に記憶された初期値を用
い、ニューラルネットワーク部２０の内部状態量の設定
を行うよう構成されている。
【００６４】なお、この内部状態量の設定動作の詳細
は、後述する。
【００６５】本発明に用いられるニューラルネットワー
ク部２０としては、例えば階層型モデルや、マルコフモ
デル等で表される従来の静的なニューラルネットワーク
でもよいが、簡単な構成でより良好な認識動作を行うた
めには、以下に詳述するようなダイナミックなニューラ
ルネットワークを用いることが好ましい。
【００６６】音声認識用ニューラルネットワークの構成 図３には、前記音声認識用ニューラルネットワーク部２
０として用いられるダイナミックなニューラルネットワ
ークの一例を簡略化して表したものが示されている。実
施例のニューラルネットワーク部２０は、神経細胞を構
成する複数のニューロン２１０−１，２１０−２……２
１０−６を相互に接続して構成されている。各ニューロ
ン２１０の結合部には、それぞれ大きさが可変の重みが
備えられている。この重みを学習によって所定の値に変
化させることによって、正確な音声認識処理が行われる
ようになる。学習の詳細は後述する。
【００６７】ここにおいて、音声データ１００の特徴ベ
クトル１１０は、ニューロン２１０−２，２１０−３に
与えられ、音声認識信号１２０はニューロン２１０−
５，２１０−６から出力される。実施例において、前記
音声認識信号１２０として、ニューロン２１０−５から
は否定出力１２０−Ｂ、ニューロン２１０−６からは肯
定出力１２０−Ａがそれぞれ出力されるようになってい
る。
【００６８】ニューロンの構成 図４には、前記ニューロン２１０の構成が模式的に示さ
れている。このニューロン２１０は、所定の内部状態値
Ｘを記憶する内部状態値記憶手段２２０と、前記内部状
態値Ｘ及び以下に説明する外部入力値Ｚj を入力とし
て、内部状態記憶手段２２０の内部状態値Ｘを更新する
内部状態値更新手段２４０と、内部状態値Ｘを外部出力
Ｙへ変換する出力値生成手段２６０とを含む。
【００６９】このように、実施例に用いたニューラルネ
ットワーク部２０では、ニューロン２１０の内部状態値
Ｘの値を、その値Ｘそのものを基にして順次更新してい
く。従って、そのニューロン２１０へ入力されるデータ
の過去の履歴が、その内部状態値Ｘとして変換、保存さ
れる。つまり、内部状態値Ｘとして、入力の時間的な履
歴が保存され、出力Ｙに反映される。この意味で、実施
例のニューロン２１０の動作はダイナミックなものであ
るといえる。したがって、従来の静的なニューロンを用
いたネットワークと異なり、実施例のニューラルネット
ワーク部２０は、ニューラルネットワークの構造等によ
らず、時系列データを処理することができ、全体の回路
規模を小さくできる。
【００７０】図５には、前記ニューロン２１０の具体例
が示されている。前記内部状態記憶手段２２０は、内部
状態値Ｘを記憶するメモリ２２２を含んで構成されてい
る。前記内部状態値更新手段２４０は、入力Ｚj の積算
手段２４２と、次式で示す演算を行い新たな内部状態値
Ｘを求めメモリ２２２の内容を更新する演算部２４４と
を含む。
【数１３】 前記出力値生成手段２６０は、演算部２６２を含む。こ
の演算部２６２は、メモリ２２２に記憶されている内部
状態値Ｘを、値域制限した出力値Ｙへシグモイド（ロジ
スティック）関数等を用いて変換出力するよう形成され
ている。
【００７１】前記内部状態値Ｘ、出力値Ｙのそれぞれの
時間変化において、現在の内部状態値をＸｃｕｒｒ、更
新される内部状態値をＸｎｅｘｔ、またその更新動作時
点での外部入力値をＺj （j は０からｎであり、ｎはそ
のニューロン２１０への外部入力数）とする。このと
き、内部状態更新手段２４０の動作を形式的に関数Ｇで
表すと、 Ｘｎｅｘｔ＝Ｇ（Ｘｃｕｒｒ、Ｚ１、−−−、Ｚｉ、−
−−、Ｚｎ） と表現できる。この表現の具体的な形は様々なものが考
えられるが、例えば１階の微分方程式を用いた前記数１
３で示すことができる。ここでτはある定数である。
【００７２】また、数１３をもう少し変形した形として
は、以下の数１４のような表現も可能である。
【数１４】 この中で、Ｗijはｊ番目のニューロンの出力を、ｉ番目
のニューロンの入力へ結合する結合強度を示す。また、
Ｄi は外部入力値を示す。またθi はバイアス値を示
す。このバイアス値は、固定された値との結合として、
Ｗijの中に含めて考えることも可能である。
【００７３】このようにして決定されたある瞬間のニュ
ーロン２１０の内部状態をＸとし、出力生成手段２６０
の動作を形式的に関数Ｆで表すと、ニューロン２１０の
出力Ｙは、 Ｙ＝Ｆ（Ｘ） と表現できる。Ｆの具体的な形としては、以下の数１５
で示されるような正負対称出力のシグモイド（ロジステ
ィック）関数等が考えられる。
【数１５】 しかし、この関数型は、必須のものではなく、その他に
もより単純な線形変換や、あるいはしきい値関数等も考
えられる。
【００７４】このような演算式を用い、実施例のダイナ
ミックなニューロン２１０の出力Ｙの時系列は、図６に
示したような処理により計算される。図６においては、
簡略のためニューロンを単にノードと記載している。
【００７５】なお、前記ニューロン２１０への入力Ｚj
としては、ある重みが乗算されたそのニューロン自身の
出力、結合重みが乗算された他のニューロンの出力、あ
るいはそのニューラルネットワーク以外からの外部入力
などがある。
【００７６】実施例においては、図３示すよう、ニュー
ロン２１０−２，２１０−３には、重み付けされた自分
自身の出力、重み付けされた他のニューロンからの出
力、及び特徴抽出部１０からの出力１１０が与えられ
る。また、ニューロン２１０−１には、重み付けされた
自分自身の出力、重み付けされた他のニューロンからの
出力が与えられる。さらに、ニューロン２１０−４，２
１０−５，５１０−６には、重み付けされた自分自身の
出力、重み付けされた他のニューロンからの出力が与え
られる。
【００７７】内部状態量の初期値設定 次に、ニューロン２１０の内部状態量の初期値設定につ
いて説明する。
【００７８】実施例の各ニューロン２１０は、前述した
ように内部状態記憶手段２２０内に記憶された内部状態
量Ｘを、内部状態値更新手段２４０を用いて順次更新し
ていくように構成されている。したがって、このような
ニューロン２１０を用いて構成されたニューラルネット
ワーク部２０では、動作に先立って、または認識信号検
出部３０からリセット指示信号１３０が出力されるごと
に、その初期値を設定してやることが必要となる。
【００７９】このため、図１に示す実施例の音声認識装
置において、ニューラルネットワーク部２０が動作する
に先立って、または認識信号検出部３０からリセット指
示信号１３０が出力されるごとに、内部状態量設定部４
０は、ニューラルネットワーク部２０をリセットし、全
てのニューロン２１０に、適当に選択された初期内部状
態値Ｘを初期値としてセットし、それに対応する出力Ｙ
をセットする。このようにして初期値をセットすること
により、ニューラルネットワーク部２０は速やかにかつ
安定して動作することになる。
【００８０】すなわち、前記数５，数６に示すよう、実
施例のニューラルネットワーク部２０を構成するダイナ
ミックなニューロン２１０の動作は、一階の微分方程式
で記述される。従って、その動作を決定するにあたって
は、その初期値が必要となる。
【００８１】図１２は、実施例のニューラルネットワー
ク部２０の各ニューロンに種々の初期値を与え、その
後、無入力とした場合の例である。図は、５通りの初期
値を与えた場合について、適当に選択した４つのニュー
ロンの出力の時間変化を示してある。この図からも明ら
かなように、ニューラルネットワーク部２０は、ある長
さの時間の経過と共に、平衡状態へ持ち込む。この平衡
状態は、ニューラルネットワーク部２０を構成するニュ
ーロンの数により、または学習回数、学習データによ
り、さらにには入力の状態によって、図１２に示したよ
うなリミットサイクルのような状態であったり、単純な
平衡点状態であったりする。
【００８２】このような平衡状態は、ニューラルネット
ワーク部２０の動作を安定させるために重要な要素であ
る。従って、ニューラルネットワーク部２０の動作の初
期値として、無入力時の平衡状態、適当な初期値を与え
た場合の平衡状態、適当な正常入力時における平衡状
態、または実際の音声認識時の背景雑音入力時の平衡状
態のいずれかにおけるニューラルネットワーク部２０の
内部状態量を、内部状態量設定部４０のバッファメモリ
４２へ記憶すればよい。そして、このようにバッファメ
モリ４２に設定された初期値を用い、ニューラルネット
ワーク部２０の内部状態量の初期値設定を行えばよい。
【００８３】本実施例において内部状態量設定部４０の
バッファメモリ４２には、背景雑音が入力される実際の
音声認識動作時の平衡状態におけるニューラルネットワ
ーク部２０の内部状態値が初期値として記憶されるよう
に形成されている。すなわち、内部状態量設定部４０内
には、ニューラルネットワーク部２０が背景雑音入力時
における平衡状態にあるか否かを判定する判定部が内蔵
されている。そして、リセット指示信号１３０が入力さ
れるごとに、内部状態量設定部４０は、ニューラルネッ
トワーク部２０をリセットし、その内部状態量をバッフ
ァメモリ４２から読み出す初期値に設定する。その後、
ニューラルネットワーク部２０が新たな平衡状態に落ち
着くと、所定のタイミングで内部状態量設定部４０はバ
ッファメモリ４２内へ、その時点におけるニューラルネ
ットワーク部２０の内部状態値を新たな初期値として取
り込む。
【００８４】このようにして、実施例の音声認識装置
は、最新の平衡状態における内部状態量を初期値として
用い、ニューラルネットワーク部２０を動作させるた
め、入力される音声データ１００に対する音声認識動作
をより安定して正確に行うことができる。
【００８５】ニューラルネットワークの学習 次に、音声認識を行うためのニューラルネットワーク部
２０の学習方法について説明する。
【００８６】図７には、ニューラルネットワーク部２０
を学習させるための学習装置３００の構成が示されてい
る。
【００８７】この学習装置３００は、学習用の入力音声
データが記憶された入力データ記憶部３１０と、入力音
声データに対応する模範となる出力データが記憶された
出力データ記憶部３１２と、学習させたい入力データを
選択する入力データ選択部３１４と、出力データを選択
する出力データ選択部３１６と、ニューラルネットワー
ク部２０の学習を制御する学習制御部３１８とを含む。
【００８８】そして、この学習装置３００による学習方
法を行う場合には、まず、学習対象となるニューラルネ
ットワーク部２０を構成する全てのニューロン２１０
に、初期状態値Ｘをセットする。次に、学習させたい音
声データが、入力データ選択部３１０により選択され、
学習制御部３１８に入力される。このとき、選択した学
習用入力データに対応する学習用出力データが、出力デ
ータ選択部３１６により選択され、学習制御部３１８に
入力される。選択された学習用の入力音声データは、特
徴抽出部１０に入力され、ここで抽出された特徴ベクト
ル１１０がニューラルネットワーク部２０へ外部入力と
して入力される。全てのニューロン２１０について、そ
れぞれ入力Ｚj の和を求め、その内部状態量Ｘを更新す
る。そして、更新されたＸによりニューロン２１０の出
力Ｙを求める。
【００８９】初期状態では、ニューラルネットワーク部
２０の各ニューロン間の結合強度にはランダムな値が与
えられている。したがって、図３の各ニューロン２１０
−５，２１０−６から出力される認識結果１２０Ｂ，１
２０Ａはでたらめな値である。これらの出力が正しい値
となるように、少しだけ各ニューロン間の重みを変更す
る。
【００９０】学習対象となるニューラルネットワーク部
２０は、認識対象となる音声データが入力された場合
に、図８に示すよう、ニューロン２１０−６から肯定出
力１２０Ａとしてハイレベルの信号が出力され、ニュー
ロン２１０−５から否定出力１２０Ｂとしてローレベル
の信号が出力されるよう学習を行う。このように、肯定
出力と否定出力の２種類の認識結果データ１２０Ａ，１
２０Ｂを出力させるのは、音声認識処理の精度を向上さ
せるためである。
【００９１】そして、認識させたい音声データ１００を
何回も繰返入力し、少しづつ各ニューロン間の重みを変
更する。これにより、次第にニューロン２１０−５，２
１０−６から正しい値が出力されるようになる。入力さ
れる音声データが認識させたくないデータを学習される
場合は、肯定出力１２０Ａがローレベル、否定出力がハ
イレベルとなるように各ニューロン間の重みを変更す
る。
【００９２】このような学習方法の一つとして、例えば
次の数１２により導入される量Ｃを用いた学習則があ
る。
【数１６】 ここで、Ｃは学習評価値であり、Ｅは誤差評価関数であ
る。
【００９３】この誤差評価関数Ｅは実際の出力値をＹ、
所望の出力値をＴとすると、以下の数１７で表わされる
Ｋｕｌｌｂａｃｋ−ｌｅｉｂｌｅｒ距離等で示される。
【数１７】 また、出力値の範囲が−１から１の間である場合、前記
関数Ｅは、数１７の式と実質的に同等であるが、以下の
数１８のようになる。
【数１８】 このように仮定すると、上記の数１６は、以下の数１９
のようにより具体的に書き替えられる。
【数１９】 この結果、前述した種々の外部入力の重み付けの係数の
更新則は次の数２０のように与えられる。
【数２０】 このような手法を用いた学習を、ニューラルネットワー
ク部２０の出力が収束するまでの繰りかえし行う。学習
回数は、数千回程度である。
【００９４】なお、学習方法の応用として、二つの音声
データを続けて入力し、学習させる方法がある。その理
由は、音声データを一つづつ用いた学習では、一度ハイ
レベルになった肯定出力はローレベルに下げることが出
来ず、また一度ローレベルになった否定出力はハイレベ
ルに上げることができないからである。つまり、音声デ
ータを一つづつ用いた学習では、図９（Ａ）に示すよう
に、認識させたい音声データ（以下肯定データという）
を与えて肯定出力をハイレベルに上昇させる学習（この
場合、否定出力はローレベルを保持している）、あるい
は図９（Ｂ）に示すよう、認識させたくないデータ（以
下、否定データという）を与えて否定出力をハイレベル
に上昇させる学習（この場合、肯定出力はローレベルを
保持している）が行われる。この学習では、肯定出力及
び否定出力とも、一旦ハイレベルに上昇した後は、その
出力値がローレベルになることはないという問題が生ず
る。
【００９５】したがって、肯定データと否定データが混
在した複数の音声データが連続して与えられた場合、肯
定データの入力で一度ハイレベルに上がった肯定出力
は、その後、否定データの入力があってもローレベルに
下がることはないという問題がある。これは否定出力に
ついても同様である。
【００９６】そこで、本実施例では、図１０（Ａ）〜
（Ｄ）に示すように、二つの音声データを連続して与
え、出力の上昇と下降の両方の学習を行わせる方法が取
られている。図１０（Ａ）では、否定データＮと肯定デ
ータＡとを連続して入力し、これを繰り返して学習させ
ている。この学習によって、肯定出力の上昇、否定出力
の上昇と降下が学べる。図１０（Ｂ）では、肯定データ
Ａと否定データＮとを連続して入力し、これを繰り返し
て学習させている。この学習によって、肯定出力の上昇
と降下、否定出力の上昇が学べる。図１０（Ｃ）では、
否定データＮを連続して入力し、これを繰り返して学習
させている。この学習は、図１０（Ｂ）に示した学習に
よって、否定データＮの次のデータは肯定データＡであ
るといった誤った認識をニューラルネットワーク部２０
に持たせないためのものである。同様に図１０（Ｄ）で
は、肯定データＡを二つ連続して入力し、これを繰り返
して学習させている。この学習も、図１０（Ａ）に示し
た学習によって、肯定データＡの次のデータは否定デー
タＮであるといった誤った認識をニューラルネットワー
ク部２０に持たせないためのものである。
【００９７】このような学習を、図１に示すニューラル
ネットワーク部２０に対して行う。
【００９８】図１１には、実施例の音声認識装置を用い
て、実際に音声認識動作を行った場合の実験データが示
されている。この実験では、ニューラルネットワーク部
２０を、それぞれ入力ニューロン数が２０、出力ニュー
ロン数が２、その他のニューロン数が３２のニューラル
ネットワークとして構成したものを用いた。そして、特
徴抽出部１０から２０次元のＬＰＣケプストラムをニュ
ーラルネットワーク部２０に与え、このときニューラル
ネットワーク部２０から出力されるデータを実測した。
【００９９】図中１２０Ａ，１２０Ｂは、それぞれニュ
ーラルネットワーク部２０の肯定出力と否定出力とを示
す。
【０１００】この実験では、ニューラルネットワーク部
２０には、それぞれ肯定的な認識対象データとして、
「とりあえず」を与え、否定的な認識対象データとして
「終点」，「腕前」，「拒絶」，「超越」，「分類」，
「ロッカー」，「山脈」，「隠れピューリタン」の８つ
の単語を与えた。なお、ニューラルネットワーク部２０
は、肯定的認識対象データが与えられた場合、その対象
の半分までが認識された時点で肯定出力１２０Ａ、否定
出力１２０Ｂが変化するように学習させてある。同図で
の縦軸は、出力ニューロンの出力値を、横軸は左から右
へ時間の流れを表す。
【０１０１】図１１の実験データに示すよう、このよう
にして学習された音声認識装置に話者の音声データを認
識させると、単語「とりあえず」の入力に対し、その肯
定出力１２０Ａが大きな値に変化している。また、その
否定出力１２０Ｂは小さな値に変化している。このこと
により、ニューラルネットワーク部２０は、単語「とり
あえず」を正しく識別していることがわかる。
【０１０２】ところで、実施例のダイナミックなニュー
ラルネットワーク部２０は、入力される音声データ１０
０の時間構造を、微分方程式で記述される内部状態値Ｘ
と、ニューロン２１０の結合重みの中に表現することが
できる。従って、従来のＭＬＰ法のようにニューラルネ
ットワークの構造により、入力データの時間構造が拘束
されることがなく、かなり大きな時間変化を含む入力デ
ータ１００を正確に取り扱うことができることは前述し
た。
【０１０３】図１３には、図１０に示すような入力デー
タを用い学習を行ったニューラルネットワーク部２０の
学習結果が示されている。横軸は、入力データの長さで
あり、縦軸は肯定出力１２０Ａ、否定出力１２０Ｂの値
を表わす。なお、図中○印は肯定出力１２０Ａ、×印は
否定出力１２０Ｂを示している。
【０１０４】この実験では、データ長１３１の学習デー
タを用い学習されたニューラルネットワーク部２０に対
し、認識対象となるデータの長さを変化させ、音声認識
動作を行わせた。この結果、１３１の長さの学習データ
を用いたにも拘らず、９６〜２２０の非常に広い範囲の
データ長の、データを正確に認識できることが確認され
た。このように、実施例のニューラルネットワーク部２
０では、かなり大きな時間変化を含む入力データ１００
を正確に認識可能であることが確認される。
【０１０５】ところで、このように優れた音声認識動作
を行うことができる実施例のニューラルネットワーク部
２０であっても、図１４に示すよう、認識対象となるデ
ータＡが連続して入力される場合には、入力データの中
に幾つの認識対象データＡが存在したかを正確に検出す
ることはできない。すなわち、認識対象データが連続し
て入力されると、ニューラルネットワーク部２０の肯定
出力１２０Ａは、Ｈレベルのまま変化しない。このた
め、認識対象データＡがいくつあったかを検出すること
はできない。
【０１０６】しかし、この音声認識装置を、同一認識対
象カテゴリーのデータの連続を許すような用途に使用す
る場合には、この認識対象データがいくつあったかを検
出することが非常に重要な問題となる。
【０１０７】このような問題を避けるため、同一認識対
象カテゴリーの連続データを学習データに含ませない方
法も考えられる。この場合は、学習は比較的容易であ
り、また認識能力の柔軟性も損なわれない。しかし、当
然の結果ではあるが、同一認識対象カテゴリーの連続入
力に対する反応は正確ではなくなる。図１５はそのよう
な例である。３つの連続した認識対象データＡの入力に
対し、その２番目のＡデータを検出することはできなく
なる。
【０１０８】このような問題を解決するため、実施例の
音声認識装置は、図１に示すよう、認識信号検出部３０
と、内部状態量設定部４０とを含んで構成されることは
前述した。
【０１０９】前記認識信号検出部３０には、図１６に示
すよう、予め検出閾値Ｖs が設定されている。そして、
ニューラルネットワーク部２０から出力される肯定出力
１２０Ａが検出閾値Ｖs を上回った時間Ｔ0 が一定時間
に達すると、認識信号検出部３は、認識対象データＡの
音声が認識されたと判断し、リセット指示信号１３０を
内部状態量設定部４０へ向け出力する。
【０１１０】そして、内部状態量設定部４０は、このリ
セット指示信号１３０が入力される毎に、ニューラルネ
ットワーク部２０をリセットし、バッファメモリ４２内
に記憶されたデータをニューラルネットワーク部２０の
初期値として設定する。
【０１１１】これにより、ニューラルネットワーク部２
０は、次に連続入力される音声データＡを正確に認識す
ることができる。この結果、ニューラルネットワーク部
２０から出力される音声認識信号１２０に基づき、入力
データ１００内に認識対象となるデータＡが幾つ存在し
たかを正確に検出することができる。
【０１１２】すなわち、ニューラルネットワーク部２０
から、単に図１４に示すような音声認識信号１２０が出
力される場合には、入力データ１００の中に認識対象と
なるデータＡが幾つ存在するかを検出することはできな
い。これに対し、実施例では認識信号検出部３０、内部
状態量設定部４０を用い、ニューラルネットワーク部２
０の肯定出力１２０Ａが検出閾値Ｖs を超えるごとに、
ニューラルネットワーク部２０を初期状態へリセットす
るよう構成した。このため、図１６に示すよう、認識対
象となるデータＡの存在を、同図中に示した検出点にお
いて確実に検出することができる。
【０１１３】図１７には、このように構成された実施例
の音声認識装置を用いて行った、実際のデータに対する
音声認識動作の実験結果が示されている。この実験にお
いて、認識対象となるデータＡは、単語音声「とりあえ
ず」であり、否定データＮは単語音声「終点」である。
同図から明らかなように、実施例の音声認識装置は、連
続した認識対象カテゴリーのデータＡ「とりあえず」を
正確に認識し、かつその個数をも正確に認識できること
が理解されよう。
【０１１４】なお、実施例の認識信号検出部３０は、肯
定出力１２０Ａが検出閾値Ｖs を上回る時間が所定の値
Ｔ0 に達した際、リセット指示信号１３０を出力するよ
うに構成した。この設定時間Ｔ0 は、認識対象となるデ
ータＡの長さに応じて適宜設定するようにする。すなわ
ち、この時間Ｔ0 は短かすぎると、単一のデータＡに対
し、繰り返し肯定出力１２０Ａを出力してしまう。長す
ぎると、連続入力される次のデータＡを認識できなくな
ってしまう。このため、Ｔ0 は、認識対象データＡの長
さに応じて、適切な長さに設定すればよい。
【０１１５】第２実施例 次に、本発明の音声認識装置の好適な第２実施例を詳細
に説明する。なお、前記第１実施例と対応する部材には
同一符号を付し、その説明は省略する。
【０１１６】図１８には、実施例の音声認識装置のブロ
ック図が示されている。本実施例の音声認識装置は、特
徴抽出部１０と、主音声認識用ニューラルネットワーク
部２０Ａと、補助音声認識用ニューラルネットワーク部
２０Ｂと、認識信号検出部３０と、出力合成部５０とを
含む。
【０１１７】前記各音声認識用ニューラルネットワーク
部２０Ａ、２０Ｂは、第１実施例のニューラルネットワ
ーク部２０と同様に構成され、かつ所定の音声データＡ
を認識するよう予め学習されている。
【０１１８】そして、主音声認識用ニューラルネットワ
ーク部２０Ａは、前記第１実施例のニューラルネットワ
ーク部２０と同様に、特徴抽出部１０から出力される特
徴ベクトル１１０に基づき、音声認識動作を行い、その
音声認識信号１２０を認識信号検出部３０および出力合
成部５０へ向け出力する。
【０１１９】図１９（Ａ）には、ニューラルネットワー
ク部２０Ａから音声認識信号１２０−１として出力され
る肯定出力１２０Ａの一例が示されている。
【０１２０】前記認識信号検出部３０は、ニューラルネ
ットワーク部２０Ａから出力される肯定出力１２０Ａ
が、所定の検出閾値Ｖs を一定時間Ｖ0 上回ると、動作
指示信号を補助音声認識用ニューラルネットワーク部２
０Ｂへ向け出力する。
【０１２１】図１９（Ｂ）には、補助音声認識用ニュー
ラルネットワーク部２０Ｂから音声認識信号１２０−２
として出力される肯定出力１２０Ａの一例が示されてい
る。
【０１２２】前記補助音声認識用ニューラルネットワー
ク部２０Ｂは、図９（Ｂ）に示すよう、通常は非動作状
態に制御されている。そして、認識信号検出部３０から
動作指示信号が入力される毎に起動され、特徴抽出部１
０から出力される特徴ベクトル１１０に基づき音声デー
タＡに対する認識動作を所定の基準時間だけ行い、その
音声認識結果１２０−２を出力合成部５０へ向け出力す
る。
【０１２３】出力合成部５０は、このようにして各ニュ
ーラルネットワーク部２０Ａ、２０Ｂから出力される音
声認識信号１２０−１、１２０−２を合成し、音声認識
信号１２０として出力する。これにより、前記第１実施
例と同様に、連続入力される音声データＡを正確に認識
することができ、しかも入力データ中に認識対象データ
Ａが幾つ存在したかをも正確に検出することができる。
【０１２４】図２０は、実施例の音声認識装置を用いて
実際のデータに対する音声認識動作を行った実験結果が
示されている。データＡ、データＮは、前記第１実施例
と同様である。
【０１２５】同図に示すよう、実施例の音声認識装置に
よっても、連続入力されるデータＡを各検出点において
正確に認識できることが確認された。
【０１２６】他の実施例 なお、本発明は前記実施例に限定されるものではなく、
本発明の要旨の範囲内で各種の変型実施が可能である。
【０１２７】例えば、前記各実施例において、認識信号
検出部３０は、ニューラルネットワーク部２０から出力
される肯定出力１２０Ａが所定の閾値Ｖs を超えたかど
うか、また、その超えている時間がある設定値Ｔ0 以上
であるかの判断を行い、音声認識信号１２０の出力を検
出したが、より性能を向上させるためには、音声認識信
号１２０の出力の時間変化を考慮し、前記Ｔ0 を随時調
整可能にするよう形成してもよい。
【０１２８】また、前記実施例では、ニューラルネット
ワーク部２０を構成するニューロン２１０を、図５に示
すようなニューロンとして形成する場合を例にとり説明
したが、本発明はこれ以外にも各種ニューロンを用いる
ことができる。
【０１２９】図２１には、本発明のニューラルネットワ
ーク部２０に用いられる他のダイナミックニューロン２
１０の具体例が示されている。
【０１３０】実施例のダイナミックニューロン２１０に
おいて、内部状態更新手段２４０は、積算部２５０と、
関数変換部２５２と、演算部２５４とを用いて構成さ
れ、次式に基づく演算を行い、メモリ２２２の内部状態
量Ｘを更新するように形成されている。
【数２１】 すなわち、積算部２５０は、入力Ｚj を積算し、関数部
２５２は、この積算した値をシグモイド（ロジスティッ
ク）関数Ｓを用いて変換するように構成されている。そ
して、演算部２５４は、関数変換された値と、メモリ２
２２の内部状態量Ｘとに基づき、前記数２１の演算を行
い、新たな内部状態量Ｘを求め、メモリ２２２の値を更
新するように形成されている。
【０１３１】また、より具体的な演算としては、次式に
示すような演算を実行するようにしてもよい。
【数２２】 この中で、Ｗｉｊはｊ番目のニューロンの出力を、ｉ番
目のニューロンの入力へ結合する結合強度を表す。Ｄｉ
は外部入力値を示す。またθｉはバイアス値を示す。こ
のバイアス値は、固定された値との結合としてＷｉｊの
中に含めて考えることも可能である。また、値域制限関
数Ｓの具体的な形としては、正負対称出力のシグモイド
関数等を用いればよい。
【０１３２】出力生成手段２６０は、内部状態値Ｘを定
数倍した出力値Ｙへ変換する関数演算部２６４として形
成されている。
【０１３３】また、前記各実施例では音声データとして
単語等の認識を行う場合を例にとり説明したが、本発明
はこれに限らず、各種のデータ、例えば各種の音素や音
節等の認識を行うよう形成することも可能である。
【０１３４】
【発明の効果】以上説明したように、本発明によれば、
認識対象となる音声データが連続入力された場合でも、
その音声認識を正確に行うことができ、しかも連続入力
される音声データの個数をも正確に検出することができ
る音声認識装置を得ることができるという効果がある。
【０１３５】特に、請求項２〜３，６〜１７の発明のよ
うに、音声認識用ニューラルネットワーク手段を、複数
のダイナミックなニューロンの組み合わせとして構成す
ることにより、入力データの時間構造を所定関数を満足
させるよう時間変化する内部状態値およびニューロンの
結合重みの中に表現することができる。これにより、ニ
ューラルネットワーク部全体の構成を簡単なものとし、
かなり大きな時間変化を含む入力データを、簡単な学習
で正確に認識することができるという効果を得ることが
できる。
【図面の簡単な説明】
【図１】本発明の音声認識装置の実施例を示すブロック
図である。
【図２】図１に示す特徴抽出部での変換処理を示す説明
図である。
【図３】実施例のニューラルネットワーク部の構成を示
す概念図である。
【図４】実施例のニューラルネットワーク部を構成する
ニューロンの説明図である。
【図５】図４に示すニューロンの具体的な構成を示す説
明図である。
【図６】実施例のニューロンの動作を示すフローチャー
ト図である。
【図７】実施例のニューラルネットワーク部を学習させ
るために用いる学習装置の説明図である。
【図８】学習方法の例を示す説明図である。
【図９】学習方法の例を示す説明図である。
【図１０】学習方法の例を示す説明図である。
【図１１】音声認識処理の出力例を示す説明図である。
【図１２】実施例のニューラルネットワーク部の平衡状
態を示す模式図である。
【図１３】実施例のニューラルネットワーク部の学習後
の認識能力の例を示した説明図である。
【図１４】連続した同一認識対象データの入力時におけ
るニューラルネットワーク部の出力の例を示す説明図で
ある。
【図１５】連続した同一認識対象データ入力時における
ニューラルネットワーク部の出力の例を示す説明図であ
る。
【図１６】実施例の音声認識装置のニューラルネットワ
ーク部から出力される音声認識信号の例を示す説明図で
ある。
【図１７】実施例の音声認識装置に実際のデータを入力
した場合に得られる出力の例の説明の図である。
【図１８】本発明の好適な第２実施例にかかる音声認識
装置のブロック図である。
【図１９】第２実施例の音声認識装置の動作を示す説明
図である。
【図２０】第２実施例の音声認識装置に実データを入力
した場合に得られる出力の説明図である。
【図２１】本実施例の用いられるダイナミックニューロ
ンの他の具体例の説明図である。
【符号の説明】
１０ 特徴抽出部 ２０ 音声認識用ニューラルネットワーク部 ３０ 認識信号検出部 ４０ 内部状態量設定部 １００ 音声データ １１０ 特徴ベクトル １２０ 音声認識データ ２１０ ニューロン ２２０ 内部状態値記憶手段 ２４０ 内部状態値記憶更新手段 ２６０ 出力値生成手段
フロントページの続き (56)参考文献 特開 平４−149661（ＪＰ，Ａ) 特開 平１−138597（ＪＰ，Ａ) 特開 平４−324500（ＪＰ，Ａ) 欧州特許318858（ＥＰ，Ｂ１) 欧州特許510632（ＥＰ，Ｂ１) 欧州特許582312（ＥＰ，Ｂ１) 米国特許5481644（ＵＳ，Ａ) 電子情報通信学会技術研究報告［音声 ］，Ｖｏｌ．92，Ｎｏ．126，ＳＰ92− 25，稲積満広外「リカレントニューラル ネットワークによる連続単語音声認 識」，ｐ．９−16（1992年６月30日発 行) Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ 1993 Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉ ｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎ ｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＩＪＣ ＮＮ’93，Ｖｏｌ．３，Ｈ．Ｈａｓｅｇ ａｗａ ｅｔ ａｌ，”Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｄｙｎ ａｍｉｃ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕ ｒａｌ Ｎｅｔｗｏｒｋｓ”，ｐ．2219 −2222，Ｏｃｔｏｂｅｒ 25−29, 1993，Ｎａｇｏｙａ，Ｊａｐａｎ 電子情報通信学会技術研究報告［音声 ］，Ｖｏｌ．92，Ｎｏ．410，ＳＰ92− 125，稲積満広外「リカレントニューラ ルネットワークによる連続単語音声認 識」，ｐ．17−24（1993年１月19日発 行) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 15/16 G06N 3/00 - 3/04 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ) ＷＰＩ（ＤＩＡＬＯＧ)

Claims (32)

    (57)【特許請求の範囲】
  1. 【請求項１】 入力される音声データをフレーム単位で
    切出し、特徴ベクトルに変換して順次出力する特徴抽出
    手段と、前記 特徴ベクトルとして入力される音声データに基づき
    所定の音声データを認識するよう予め学習され、入力さ
    れた音声データが認識対象となる音声データと一致した
    場合に音声認識信号を出力する音声認識動作を行う音声
    認識用ニューラルネットワーク手段と、 前記音声認識用ニューラルネットワーク手段から音声認
    識信号が出力されるごとに、リセット指示信号を出力す
    る認識信号検出手段と、 前記音声認識用ニューラルネットワーク手段の内部状態
    量の初期値が予め設定され、前記リセット指示信号に基
    づき音声認識用ニューラルネットワーク手段をリセット
    し、その内部状態量を初期値に設定する内部状態量設定
    手段と、 を含み、前記認識信号検出手段は、 音声認識用ニューラルネットワーク手段から所定時間継
    続して音声認識信号が出力されたとき、前記リセット指
    示信号を出力するよう形成され、 連続入力される同一音声データをその都度認識すること
    を特徴とする音声認識装置。
  2. 【請求項２】 請求項１において、 前記音声認識用ニューラルネットワーク手段は、 内部状態値Ｘが設定された複数のニューロンを相互に結
    合して構成されており、 前記各ニューロンは、 その内部状態値Ｘが、当該ニューロンに与えられる入力
    データＺj（ｊ＝０〜ｎ：ｎは自然数）および内部状態
    値Ｘを用いて表された関数Ｘ＝Ｇ（Ｘ，Ｚj）を満足す
    る値に時間変化するダイナミックニューロンとして形成
    され、 前記各ダイナミックニューロンは、 その内部状態値Ｘを、関数Ｆ（Ｘ）を満足する値に変換
    して出力されるよう形成され、 前記内部状態量設定手段は、 前記音声認識用ニューラルネットワーク手段の安定状態
    における各ニューロンの内部状態量が初期値として設定
    されるバッファメモリを含み、前記リセット指示信号に
    基づき音声認識用ニューラルネットワーク手段の各ニュ
    ーロンをリセットし、その内部状態量を前記バッファメ
    モリに記憶された初期値に設定することを特徴とする音
    声認識装置。
  3. 【請求項３】 入力される音声データをフレーム単位で
    切出し、特徴ベクトルに変換して順次出力する特徴抽出
    手段と、 前記特徴抽出手段から特徴ベクトルとして入力される音
    声データに基づき所定の音声データを認識するよう予め
    学習され、入力された音声データが認識対象となる音声
    データと一致した場合に音声認識信号を出力する音声認
    識動作を行う第１の音声認識用ニューラルネットワーク
    手段と、 前記第１の音声認識用ニューラルネットワーク手段から
    音声認識信号が出力される毎に、動作指示信号を出力す
    る認識信号検出手段と、 前記特徴抽出手段から特徴ベクトルとして入力される音
    声データに基づき所定の音声データを認識するよう予め
    学習され、前記動作指示信号が出力される毎に、音声デ
    ータが認識対象となる音声データと一致した場合に音声
    認識信号を出力する音声認識動作を行う第２の音声認識
    用ニューラルネットワーク手段と、 前記第１、第２の音声認識用ニューラルネットワーク手
    段から出力される音声認識信号を選択し、音声認識信号
    として出力する出力合成手段と、 を含み、連続入力される同一音声データをその都度認識
    することを特徴とする音声認識装置。
  4. 【請求項４】 請求項３において、 前記第２の音声認識用ニューラルネットワーク手段は、 所定時間動作する毎にリセットされることを特徴とする
    音声認識装置。
  5. 【請求項５】 請求項３，４のいずれかにおいて、 前記各音声認識用ニューラルネットワーク手段は、 内部状態値Ｘが設定された複数のニューロンを相互に結
    合して構成されており、 前記各ニューロンは、 その内部状態値Ｘが、当該ニューロンに与えられる入力
    データＺj（ｊ＝０〜ｎ：ｎは自然数）および内部状態
    値Ｘを用いて表された関数Ｘ＝Ｇ（Ｘ，Ｚj）を満足す
    る値に時間変化するダイナミックニューロンとして形成
    され、 前記各ダイナミックニューロンは、 その内部状態値Ｘを、関数Ｆ（Ｘ）を満足する値に変換
    して出力されるよう形成されたことを特徴とする音声認
    識装置。
  6. 【請求項６】 請求項２，５のいずれかにおいて、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、 【数１】 として表されるよう形成されたことを特徴とする音声認
    識装置。
  7. 【請求項７】 請求項２，５のいずれかにおいて、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、ｊ番目のニューロンの
    出力をｉ番目のニューロンの入力へ結合する結合強度Ｗ
    ij、外部入力値Ｄi、バイアス値θiを用いて、 【数２】 として表されるよう形成されたことを特徴とする音声認
    識装置。
  8. 【請求項８】 請求項２，５のいずれかにおいて、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、シグモイド関数Ｓを用
    いて、 【数３】 として表されるよう形成されたことを特徴とする音声認
    識装置。
  9. 【請求項９】 請求項２，５のいずれかにおいて、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、シグモイド関数Ｓ、ｊ
    番目のニューロンの出力をｉ番目のニューロンの入力へ
    結合する結合強度Ｗij、外部入力値Ｄi、バイアス値θi
    を用いて、 【数４】 として表されるよう形成されたことを特徴とする音声認
    識装置。
  10. 【請求項１０】 請求項２，５のいずれかにおいて、 前記各ダイナミックニューロンは、 前記関数Ｆ（Ｘ）がｓｉｇｍｏｉｄ関数であることを特
    徴とする音声認識装置。
  11. 【請求項１１】 請求項２，５〜１０のいずれかにおい
    て、 前記各ダイナミックニューロンは、 前記関数Ｆ（Ｘ）がしきい値関数であることを特徴とす
    る音声認識装置。
  12. 【請求項１２】 請求項２，５〜１１のいずれかにおい
    て、 前記各ダイナミックニューロンは、 前記入力データＺjとして、自己のニューロンの出力Ｙ
    に重みを乗算してフィードバックさせたデータを含むこ
    とを特徴とする音声認識装置。
  13. 【請求項１３】 請求項２，５〜１２のいずれかにおい
    て、 前記各ダイナミックニューロンは、 前記入力データＺjとして、他のニューロンの出力に重
    みを乗算したデータを含むことを特徴とする音声認識装
    置。
  14. 【請求項１４】 請求項２，５〜１３のいずれかにおい
    て、 前記各ダイナミックニューロンは、 前記入力データＺjとして、外部から与えられた所望の
    データを含むことを特徴とする音声認識装置。
  15. 【請求項１５】 請求項２，５〜１４のいずれかにおい
    て、 前記音声認識用ニューラルネットワーク手段は、 音声データの特徴ベクトルが入力される入力ニューロン
    と、 音声データの認識結果を出力する認識結果出力ニューロ
    ンと、 を含むことを特徴とする音声認識装置。
  16. 【請求項１６】 請求項２，５〜１４のいずれかにおい
    て、 前記音声認識用ニューラルネットワーク手段は、 前記特徴ベクトルが入力される複数の入力ニューロン
    と、 入力された音声データが認識対象となる音声データと一
    致した場合にのみ肯定信号を出力する第１の出力ニュー
    ロンと、 入力された音声データが認識対象となる音声データと一
    致しない場合にのみ否定信号を出力する第２の出力ニュ
    ーロンと、 を含むことを特徴とする音声認識装置。
  17. 【請求項１７】 入力される音声データをフレーム単位
    で切出し、特徴ベクトルに変換して順次出力する特徴抽
    出手順と、 前記特徴抽出手順から特徴ベクトルとして提供される音
    声データに基づき所定の音声データを認識するよう予め
    学習した音声認識用ニューラルネットワーク手段を用
    い、入力された音声データが認識対象となる音声データ
    と一致した場合に音声認識信号を出力する音声認識動作
    を行う音声認識手順と、 前記音声認識用ニューラルネットワーク手段から音声認
    識信号が出力されるごとに、前音声認識用ニューラルネ
    ットワーク手段をリセットし、その内部状態量をあらか
    じめ設定された前記音声認識用ニューラルネットワーク
    手段の内部状態量の初期値に設定する内部状態量設定手
    順と、 を含み、 前記内部状態量設定手順は、 音声認識用ニューラルネットワーク手段から所定時間継
    続して音声認識信号が出力されたとき、前音声認識用ニ
    ューラルネットワーク手段をリセットすることを特徴と
    する音声認識方法。
  18. 【請求項１８】 請求項１７において、 前記音声認識用ニューラルネットワーク手段は、 内部状態値Ｘが設定された複数のニューロンを相互に結
    合して構成されており、 前記各ニューロンは、 その内部状態値Ｘが、当該ニューロンに与えられる入力
    データＺj（ｊ＝０〜 ｎ：ｎは自然数）および内部状態
    値Ｘを用いて表された関数Ｘ＝Ｇ（Ｘ，Ｚj）を満足す
    る値に時間変化するダイナミックニューロンとして形成
    され、 前記各ダイナミックニューロンは、 その内部状態値Ｘを、関数Ｆ（Ｘ）を満足する値に変換
    して出力されるよう形成され、 前記内部状態量設定手順は、 前記音声認識用ニューラルネットワーク手段の安定状態
    における各ニューロンの内部状態量をバッファメモリに
    初期値として記憶しておき、前音声認識用ニューラルネ
    ットワーク手段をリセットしたとき、その内部状態量を
    前記バッファメモリに記憶された初期値に設定すること
    を特徴とする音声認識方法。
  19. 【請求項１９】 入力される音声データをフレーム単位
    で切出し、特徴ベクトルに変換して順次出力する特徴抽
    出手順と、 前記特徴抽出手順から特徴ベクトルとして提供される音
    声データに基づき所定の音声データを認識するよう予め
    学習された第１の音声認識用ニューラルネットワーク手
    段を用い、入力された音声データが認識対象となる音声
    データと一致した場合に音声認識信号を出力する音声認
    識動作を行う第１の音声認識手順と、 前記第１の音声認識用ニューラルネットワーク手段から
    音声認識信号が出力される毎に、動作指示信号を出力す
    る認識信号検出手順と、 前記特徴抽出手順から特徴ベクトルとして提供される音
    声データに基づき所定の音声データを認識するよう予め
    学習された第２の音声認識用ニューラルネットワーク手
    段を用い、前記動作指示信号が出力される毎に、音声デ
    ータが認識対象となる音声データと一致した場合に音声
    認識信号を出力する音声認識動作を行う第２の音声認識
    手順と、 前記第１、第２の音声認識用ニューラルネットワーク手
    段から出力される音声認識信号を選択し、音声認識信号
    として出力する出力合成手順と、 を含むことを特徴とする音声認識方法。
  20. 【請求項２０】 請求項１９において、 前記第２の音声認識用ニューラルネットワーク手段は、 所定時間動作する毎にリセットされることを特徴とする
    音声認識方法。
  21. 【請求項２１】 請求項１９，２０のいずれかにおい
    て、 前記各音声認識用ニューラルネットワーク手段は、 内部状態値Ｘが設定された複数のニューロンを相互に結
    合して構成されており、 前記各ニューロンは、 その内部状態値Ｘが、当該ニューロンに与えられる入力
    データＺj（ｊ＝０〜ｎ：ｎは自然数）および内部状態
    値Ｘを用いて表された関数Ｘ＝Ｇ（Ｘ，Ｚj）を満足す
    る値に時間変化するダイナミックニューロンとして形成
    され、 前記各ダイナミックニューロンは、 その内部状態値Ｘを、関数Ｆ（Ｘ）を満足する値に変換
    して出力されることを特徴とする音声認識方法。
  22. 【請求項２２】 請求項１８，２１のいずれかにおい
    て、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、 【数１】 として表されることを特徴とする音声認識方法。
  23. 【請求項２３】 請求項１８，２１のいずれかにおい
    て、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、ｊ番目のニューロンの
    出力をｉ番目のニューロンの入力へ結合する結合強度Ｗ
    ij、外部入力値Ｄi、バイアス値θiを用いて、 【数２】 として表されることを特徴とする音声認識方法。
  24. 【請求項２４】 請求項１８，２１のいずれかにおい
    て、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、シグモイド関数Ｓを用
    いて、 【数３】 として表されることを特徴とする音声認識方法。
  25. 【請求項２５】 請求項１８，２１のいずれかにおい
    て、 前記関数Ｘ＝Ｇ（Ｘ，Ｚj）は、シグモイド関数Ｓ、ｊ
    番目のニューロンの出力をｉ番目のニューロンの入力へ
    結合する結合強度Ｗij、外部入力値Ｄi、バイアス値θi
    を用いて、 【数４】 として表されることを特徴とする音声認識方法。
  26. 【請求項２６】 請求項１８，２１のいずれかにおい
    て、 前記各ダイナミックニューロンは、 前記関数Ｆ（Ｘ）がｓｉｇｍｏｉｄ関数であることを特
    徴とする音声認識方法。
  27. 【請求項２７】 請求項１８，２１〜２６のいずれかに
    おいて、 前記各ダイナミックニューロンは、 前記関数Ｆ（Ｘ）がしきい値関数であることを特徴とす
    る音声認識方法。
  28. 【請求項２８】 請求項１８，２１〜２７のいずれかに
    おいて、 前記各ダイナミックニューロンは、 前記入力データＺjとして、自己のニューロンの出力Ｙ
    に重みを乗算してフィードバックさせたデータを含むこ
    とを特徴とする音声認識方法。
  29. 【請求項２９】 請求項１８，２２〜２８のいずれかに
    おいて、 前記各ダイナミックニューロンは、 前記入力データＺjとして、他のニューロンの出力に重
    みを乗算したデータを含むことを特徴とする音声認識方
    法。
  30. 【請求項３０】 請求項１８，２１〜２９のいずれかに
    おいて、 前記各ダイナミックニューロンは、 前記入力データＺjとして、外部から与えられた所望の
    データを含むことを特徴とする音声認識方法。
  31. 【請求項３１】 請求項１８，２１〜３０のいずれかに
    おいて、 前記音声認識用ニューラルネットワーク手段は、 音声データの特徴ベクトルが入力される入力ニューロン
    と、 音声データの認識結果を出力する認識結果出力ニューロ
    ンと、 を含むことを特徴とする音声認識方法。
  32. 【請求項３２】 請求項１８，２１〜３１のいずれかに
    おいて、 前記音声認識用ニューラルネットワーク手段は、 前記特徴ベクトルが入力される複数の入力ニューロン
    と、 入力された音声データが認識対象となる音声データと一
    致した場合にのみ肯定信号を出力する第１の出力ニュー
    ロンと、 入力された音声データが認識対象となる音声データと一
    致しない場合にのみ否定信号を出力する第２の出力ニュ
    ーロンと、 を含むことを特徴とする音声認識方法。
JP21336393A 1992-08-06 1993-08-05 音声認識装置及び方法 Expired - Lifetime JP3168779B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP21336393A JP3168779B2 (ja) 1992-08-06 1993-08-05 音声認識装置及び方法
EP93112661A EP0582312B1 (en) 1992-08-06 1993-08-06 Speech recognition apparatus
US08/102,859 US5481644A (en) 1992-08-06 1993-08-06 Neural network speech recognition apparatus recognizing the frequency of successively input identical speech data sequences

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP21042292 1992-08-06
JP4-210422 1992-08-06
JP21336393A JP3168779B2 (ja) 1992-08-06 1993-08-05 音声認識装置及び方法

Publications (2)

Publication Number Publication Date
JPH06102899A JPH06102899A (ja) 1994-04-15
JP3168779B2 true JP3168779B2 (ja) 2001-05-21

Family

ID=26518048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21336393A Expired - Lifetime JP3168779B2 (ja) 1992-08-06 1993-08-05 音声認識装置及び方法

Country Status (3)

Country Link
US (1) US5481644A (ja)
EP (1) EP0582312B1 (ja)
JP (1) JP3168779B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123462A (ja) * 1994-10-27 1996-05-17 Sony Corp 音声認識装置
JPH08227410A (ja) * 1994-12-22 1996-09-03 Just Syst Corp ニューラルネットワークの学習方法、ニューラルネットワークおよびニューラルネットワークを利用した音声認識装置
JP3254994B2 (ja) * 1995-03-01 2002-02-12 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JP3284832B2 (ja) * 1995-06-22 2002-05-20 セイコーエプソン株式会社 音声認識対話処理方法および音声認識対話装置
JP3968133B2 (ja) * 1995-06-22 2007-08-29 セイコーエプソン株式会社 音声認識対話処理方法および音声認識対話装置
JP3697748B2 (ja) * 1995-08-21 2005-09-21 セイコーエプソン株式会社 端末、音声認識装置
US5657424A (en) * 1995-10-31 1997-08-12 Dictaphone Corporation Isolated word recognition using decision tree classifiers and time-indexed feature vectors
US5794191A (en) * 1996-07-23 1998-08-11 Industrial Technology Research Institute Neural network based speech recognition method utilizing spectrum-dependent and time-dependent coefficients
US7006969B2 (en) * 2000-11-02 2006-02-28 At&T Corp. System and method of pattern recognition in very high-dimensional space
US7369993B1 (en) 2000-11-02 2008-05-06 At&T Corp. System and method of pattern recognition in very high-dimensional space
EP1374486B1 (en) * 2001-03-30 2008-11-05 Nokia Corporation Method for configuring a network by defining clusters
US6845357B2 (en) * 2001-07-24 2005-01-18 Honeywell International Inc. Pattern recognition using an observable operator model
US20030233233A1 (en) * 2002-06-13 2003-12-18 Industrial Technology Research Institute Speech recognition involving a neural network
US8712942B2 (en) * 2003-03-24 2014-04-29 AEMEA Inc. Active element machine computation
KR100908121B1 (ko) 2006-12-15 2009-07-16 삼성전자주식회사 음성 특징 벡터 변환 방법 및 장치
US9026768B2 (en) 2009-09-14 2015-05-05 AEMEA Inc. Executing machine instructions comprising input/output pairs of execution nodes
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9152779B2 (en) 2011-01-16 2015-10-06 Michael Stephen Fiske Protecting codes, keys and user credentials with identity and patterns
US10268843B2 (en) 2011-12-06 2019-04-23 AEMEA Inc. Non-deterministic secure active element machine
US9818409B2 (en) 2015-06-19 2017-11-14 Google Inc. Context-dependent modeling of phonemes
US9652712B2 (en) * 2015-07-27 2017-05-16 Google Inc. Analyzing health events using recurrent neural networks
US10229672B1 (en) 2015-12-31 2019-03-12 Google Llc Training acoustic models using connectionist temporal classification
US10235993B1 (en) * 2016-06-14 2019-03-19 Friday Harbor Llc Classifying signals using correlations of segments
JP6773970B2 (ja) * 2016-09-09 2020-10-21 富士通株式会社 情報処理装置、イジング装置及び情報処理装置の制御方法
US10255909B2 (en) 2017-06-29 2019-04-09 Intel IP Corporation Statistical-analysis-based reset of recurrent neural networks for automatic speech recognition
US10706840B2 (en) 2017-08-18 2020-07-07 Google Llc Encoder-decoder models for sequence to sequence mapping
CN113744722B (zh) * 2021-09-13 2024-08-23 上海交通大学宁波人工智能研究院 一种用于有限句库的离线语音识别匹配装置与方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1988010474A1 (en) * 1987-06-18 1988-12-29 University Of West Virginia State analog neural network and method of implementing same
JPH0673080B2 (ja) * 1987-11-25 1994-09-14 日本電気株式会社 連続音声認識方式
US5285522A (en) * 1987-12-03 1994-02-08 The Trustees Of The University Of Pennsylvania Neural networks for acoustical pattern recognition
US5014219A (en) * 1988-05-06 1991-05-07 White James A Mask controled neural networks
JP2764277B2 (ja) * 1988-09-07 1998-06-11 株式会社日立製作所 音声認識装置
US5046019A (en) * 1989-10-13 1991-09-03 Chip Supply, Inc. Fuzzy data comparator with neural network postprocessor
US5182794A (en) * 1990-07-12 1993-01-26 Allen-Bradley Company, Inc. Recurrent neural networks teaching system
JP2601003B2 (ja) * 1990-09-25 1997-04-16 日産自動車株式会社 車両の走行条件認識装置
DE4100500A1 (de) * 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
JP2979711B2 (ja) * 1991-04-24 1999-11-15 日本電気株式会社 パターン認識方式および標準パターン学習方式

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １９９３ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＩＪＣＮＮ’９３，Ｖｏｌ．３，Ｈ．Ｈａｓｅｇａｗａ ｅｔ ａｌ，"Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ Ｄｙｎａｍｉｃ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"，ｐ．２２１９−２２２２，Ｏｃｔｏｂｅｒ ２５−２９，１９９３，Ｎａｇｏｙａ，Ｊａｐａｎ
電子情報通信学会技術研究報告［音声］，Ｖｏｌ．９２，Ｎｏ．１２６，ＳＰ９２−２５，稲積満広外「リカレントニューラルネットワークによる連続単語音声認識」，ｐ．９−１６（１９９２年６月３０日発行）
電子情報通信学会技術研究報告［音声］，Ｖｏｌ．９２，Ｎｏ．４１０，ＳＰ９２−１２５，稲積満広外「リカレントニューラルネットワークによる連続単語音声認識」，ｐ．１７−２４（１９９３年１月１９日発行）

Also Published As

Publication number Publication date
JPH06102899A (ja) 1994-04-15
EP0582312A1 (en) 1994-02-09
US5481644A (en) 1996-01-02
EP0582312B1 (en) 1998-12-09

Similar Documents

Publication Publication Date Title
JP3168779B2 (ja) 音声認識装置及び方法
EP0574951B1 (en) Speech recognition system
US20120316879A1 (en) System for detecting speech interval and recognizing continous speech in a noisy environment through real-time recognition of call commands
CN111081230B (zh) 语音识别方法和设备
JPH06332497A (ja) ニューラル・ネットワークを使用する話者非依存隔離単語音声認識システム
JP3066920B2 (ja) 音声認識方法及び装置
US10741184B2 (en) Arithmetic operation apparatus, arithmetic operation method, and computer program product
US11935523B2 (en) Detection of correctness of pronunciation
KR100292919B1 (ko) 뉴럴 네트워크를 이용한 음성인식장치 및 그 학습방법
US6151592A (en) Recognition apparatus using neural network, and learning method therefor
CN112669845A (zh) 语音识别结果的校正方法及装置、电子设备、存储介质
US6430532B2 (en) Determining an adequate representative sound using two quality criteria, from sound models chosen from a structure including a set of sound models
EP3267438B1 (en) Speaker authentication with artificial neural networks
JP3467556B2 (ja) 音声認識装置
US5751898A (en) Speech recognition method and apparatus for use therein
JPH064097A (ja) 話者認識方法
EP0726561A2 (en) Voice-recognition device
CN115171878A (zh) 基于BiGRU和BiLSTM的抑郁症检测方法
JPH06119476A (ja) 時系列データ処理装置
JP3521844B2 (ja) ニューラルネットワークを用いた認識装置
JP3009962B2 (ja) 音声認識装置
Ekpenyong et al. A DNN framework for robust speech synthesis systems evaluation
Benıtez et al. Word verification using confidence measures in speech recognition
CN117497001A (zh) 评测方法、评测装置
JPH0455518B2 (ja)

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20001003

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080316

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090316

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090316

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140316

Year of fee payment: 13

EXPY Cancellation because of completion of term