JP3775454B2 - 音声認識用ニューラルネットワークの学習方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声認識用ニューラルネットワークの学習方法に関する。
【０００２】
【背景技術】
音声認識の形態は、孤立単語音声認識と連続音声認識の２通りに分けられる。
【０００３】
また、連続音声認識の方法としては、大きく分けて、ＤＰマッチング（Dynamic Programming Matching）法、ＨＭＭ（Hidden Markov Model）法、ニューラルネットワークによる方法の３通りがある。
【０００４】
ＤＰマッチング法は、音声認識時に、入力音声とその始端および終端を入力し、標準パターンと入力音声の同じ音素同士が対応するように、動的計画法（Dynamic Programming）を用いて時間軸を非線形に伸縮する時間正規化をし、両者の距離が最小となるものを認識結果とする方法である。
【０００５】
また、ＨＭＭ法は、一つの音素、音節、または単語を一つのＨＭＭで表現するもので、ＨＭＭのそれぞれに存在確率が、また、あるＨＭＭから別のＨＭＭへの遷移には遷移確率が学習により与えられている。ＨＭＭ法は、音声認識時に、入力音声とその始端および終端を入力し、始端の状態から終端の状態へ遷移する確率として、その入力音声が各々の範疇に属する確率が計算される。そして、その確率を最大とするＨＭＭモデルに代表される範疇を認識結果とする方法である。
【０００６】
連続音声を認識する場合、連続音声を用いて学習することが望ましい。この場合、音声認識を開始する前に連続音声中の音素等の始端と終端を正確に検出しておく必要がある。しかし、連続音声において、各音素等の始端と終端を機械的に検出することは極めて難しく、ラベリングといった専門家による作業とならざるを得ないため、時間がかかり、正確性の面でも問題があった。
【０００７】
これらの問題に対処するため、ＤＰマッチング法、ＨＭＭ法では、始端終端を入力しなくても音声認識を開始できるように、可能性のある全ての始端終端についての検出処理を繰り返し行い、最良の結果を試行錯誤的に見つけ出すという方法も採られている。
【０００８】
しかし、例えば、音声の長さがＮのとき、始端の可能性としてはＮのオーダーがあり、終端の可能性としてもＮのオーダーがある。このため、始端終端を可能な組合せによって所望の認識結果を得るためには、Ｎの２乗のオーダーがかかることもあり得る。
【０００９】
【発明が解決しようとする課題】
これらの問題を解決するため、新しい型のニューラルネットワークとして、内部状態が微分方程式で記述される神経細胞様素子を用いたリカレントニューラルネットワークが提案されている。
【００１０】
しかし、例えば、「７７７（なななななな）」といった連続音声が入力された場合、入力音声中に「７」がいくつあるか判別することは極めて困難であった。
【００１１】
本発明の目的は、短時間かつ正確に連続音声認識することができる音声認識用ニューラルネットワークの学習方法を提供することである。
【００１２】
【課題を解決するための手段】
前記課題を解決するため、本発明に係る音声認識用ニューラルネットワークの学習方法は、複数のダイナミックニューロンを備え、音声入力される所定の認識対象語を認識する音声認識用ニューラルネットワークの学習方法において、
認識対象語の後半およびこれに連続する認識対象語を連続発話して形成された第１の連結パターン型入力用教師データが入力された場合には、前記連続する認識対象語の認識のみを行い、
認識対象語の後半およびこれに連続する非認識対象語を連続発話して形成された第２の連結パターン型入力用教師データが入力された場合には、認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させることを特徴とする。
【００１３】
本発明によれば、認識対象語の前半で認識を行い、認識対象語の後半では認識を行わない学習ができるため、認識対象語が複数連続する場合でも正確に連続音声認識することができる。
【００１４】
特に、連続発話を用いて学習するため、現実に発話される音声に適した精度の高い音声認識ができる。
【００１５】
また、前記音声認識用ニューラルネットワークの学習方法は、
認識対象語が入力用教師データとして入力された場合には、前記認識対象語の認識を行い、
非認識対象語およびこれに連続する認識対象語を連続発話して形成された第３の連結パターン型入力用教師データが入力された場合には、前記連続する認識対象語の認識を行い、
非認識対象語およびこれに連続する非認識対象語を連続発話して形成された第４の連結パターン型入力用教師データが入力された場合には、認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させてもよい。
【００１６】
本発明によれば、認識対象語を認識し、非認識対象語を認識しない学習ができるため、認識対象語と非認識対象語とが複数連続する場合でも正確に連続音声認識することができる。
【００１７】
また、前記音声認識用ニューラルネットワークの学習方法は、
認識対象語およびこれに連続する認識対象語を連続発話して形成された第１の連結パターン型入力用教師データ並びに認識対象語およびこれに連続する非認識対象語を連続発話して形成された第２の連結パターン型入力用教師データを入力し、音声認識用ニューラルネットワークがこれらを認識する認識タイミングを検出する工程と、
前記第１および第２の連結パターン型入力用教師データから前記認識タイミングより後半のデータを取り出し、前記第１および第２の連結パターン型入力用教師データを生成する工程と、
を含んでもよい。
【００１８】
本発明によれば、１つの認識対象語に対して確実に１度だけ認識することができるため、１つの認識対象語を誤って複数と認識したり、非認識対象語と誤認識することなく、正確に連続音声認識することができる。
【００１９】
また、前記音声認識用ニューラルネットワークの学習方法は、
前記各入力用教師データおよびこれに対応した遷移パターンを表す出力用教師データを含む複数組の入出力用教師データを作成して記憶する工程と、
前記各入力用教師データを入力したときに、前記各入力用教師データに対応した前記出力用教師データを得るように前記複数のダイナミックニューロンを学習させる処理を、前記複数組の入出力用教師データ毎に繰り返し行う工程と、
を含んでもよい。
【００２０】
本発明によれば、各教師データおよびこれに対応した遷移パターンを表す出力用教師データを含む複数組の入出力用教師データを作成して記憶した後、入出力用教師データが入力されたダイナミックニューロンを学習させる処理を、入出力用教師データ毎に繰り返し行うことにより、短時間に学習の効果を高めることができる。
【００２１】
また、前記音声認識用ニューラルネットワークの学習方法において、
認識対象語の後半およびこれに連続する認識対象語が孤立発話して形成された孤立発話型の第１の連結パターン型入力用教師データ並びに前記認識対象語の後半およびこれに連続する孤立発話された非認識対象語が連結された孤立発話型の第２の連結パターン型入力用教師データを用い、前記孤立発話型の第１の連結パターン型入力用教師データが入力された場合には、前記連続する認識対象語の認識のみを行い、
前記孤立発話型の第２の連結パターン型入力用教師データが入力された場合には、認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させる第１の学習工程と、
前記第１の学習工程終了後に、連続発話して形成された前記第１および第２の連結パターン型入力用教師データを用い、請求項１〜５のいずれかの学習方法により、前記複数のダイナミックニューロンを学習させる第２の学習工程と、
を含んでもよい。
これによれば、第１の学習工程においては孤立発話を用いてデータを処理するため、データの入力、記憶等の点で短時間に処理することができ、ある程度の音声認識性能が出るようになった後、第２の学習工程において、さらに精度の高い音声認識を行うことができる。
【００２２】
また、前記音声認識用ニューラルネットワークの学習方法において、
前記第１の学習工程では、
認識対象語が入力用教師データとして入力された場合には、前記認識対象語の認識を行い、
非認識対象語およびこれに連続する認識対象語が孤立発話して形成された孤立発話型の第３の連結パターン型入力用教師データが入力された場合には、前記連続する認識対象語の認識を行い、
非認識対象語およびこれに連続する非認識対象語が孤立発話して形成された孤立発話型の第４の連結パターン型入力用教師データが入力された場合には、認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させてもよい。
【００２３】
本発明によれば、第１の学習工程においても、認識対象語を認識し、非認識対象語を認識しない学習ができるので、第２の学習工程を開始する時点ではさらに高精度の音声認識を行える状態となっているため、さらに短時間に所望の音声認識ができるようになる。
【００２４】
また、前記音声認識用ニューラルネットワークの学習方法は、
複数のダイナミックニューロンを備えるニューラルネットワークの状態空間内に、複数の認識対象語に対応して、アトラクタを異なる位置に複数形成するように、前記複数のダイナミックニューロンを学習させてもよい。
【００２５】
通常は１つの認識対象単位に対して１つの出力用ニューロンを用意する必要があるが、本発明によれば、より少ないニューロンで学習することができるため、処理が軽くなり、より短時間に連続音声認識することができる。
【００２６】
なお、アトラクタとは、出力用ニューロンの出力値の収束状態をいう。
【００２７】
また、上記の各発明は、認識対象語の検出後、その出力値をリセットすることにより、音声データが連続入力された場合でも正確に音声認識することができる。
【００２８】
【発明の実施の形態】
以下、音声認識用ニューラルネットワークの学習方法に本発明を適用した好適な実施の形態について、図面を参照しつつ詳細に説明する。
【００２９】
図１は、本発明による学習方法を実現するための音声認識装置の一実施の形態の構成図を示す。図１に示す音声認識装置は、特徴抽出部１０と、音声認識処理手段であるニューラルネットワーク２００と、アトラクタ判定部４０と、内部状態初期値設定部６０とを有する。
【００３０】
特徴抽出部１０は、図２に示すように、入力されるアナログ音声データ１００をフレーム単位で切り出し、特徴ベクトル１１０に変換して、ニューラルネットワーク２００に出力する。この特徴ベクトル１１０は、図２（Ａ）に示すように、アナログ音声データ１００を所定のフレーム１０２の単位で順次取り出す。図２（Ｂ）に示すように、フレーム単位で切り出された音声データ１００は、線形予測分析やフィルタバンク等で特徴が抽出され、図２（Ｃ）に示す特徴ベクトル１１０の列として、ニューラルネットワーク２００に順次入力される。ニューラルネットワーク２００は、複数のダイナミックニューロンにより構成されている。
【００３１】
ニューラルネットワーク２００内の複数のダイナミックニューロンは、内部状態初期値設定部６０から出力される所定の値によって初期化されている。各ダイナミックニューロンは、詳細には後述するように、所定の複数のデータを認識することができるよう、異なる特徴のパターンで学習されている。特徴抽出部１０から出力される特徴ベクトル１１０は、ニューラルネットワーク２００の複数のダイナミックニューロンにそれぞれ入力される。ニューラルネットワークは、入力データに演算処理を施して認識動作を行う。
【００３２】
この認識動作により判定された結果は、出力結果データ１２０として、アトラク夕判定部４０に入力される。出力結果データ１２０としては、例えば、４つの座標値Ｐ１、Ｐ２、Ｐ３、Ｐ４の値が出力される。アトラク夕判定部４０は、出力結果データ１２０である４つの座標値Ｐ１、Ｐ２、Ｐ３、Ｐ４を用いて、どのアトラクタが選択されたのかを判別し、この判別結果を認識結果１５０として出力する。ここで、認識すべき複数のデータが属するものを範疇、いわゆる力テゴリとし、この力テゴリが複数用意されている。そして、１つのニューラルネットワーク２００内には、前記複数の力テゴリがそれぞれ異なる位置に埋め込まれており、この複数の力テゴリの内のあるカテゴリから他の力テゴリへの軌跡の落ち着く先がアトラクタである。
【００３３】
なお、アトラクタとは、出力用ニューロンの出力値の収束状態をいう。具体的には、ある時刻におけるニューラルネットワーク２００の状態空間では、例えば、Ｎ次元の状態空間の任意の一点として表される。例えば、図３に示すように、４つの座標値Ｐ１、Ｐ２、Ｐ３、Ｐ４における点Ｑ１〜Ｑ４である。そして、このニューラルネットワーク２００の経時変化は、ある点Ｑ１から他の異なる点Ｑ２等への軌跡として表すことができる。この力テゴリが示す座標値は収束状態を示すものである。なお、アトラクタは、最終的には、収束して収束点となる以外に、例えば周期軌道やカオスになったり、発散したりするものである。このような音声認識装置を用いることにより、複数のダイナミックニューロンを含む１つのニューラルネットワーク２００で、音声データ等の複数のデータを認識することが可能である。
【００３４】
図４は、１０個の数字が音声入力された場合のアトラクタの座標値の割り当ての一例である。このように、例えば、状態空間が３次元であれば８つの状態、４次元であれば１６の状態を表すことができる。
【００３５】
次に、この音声認識装置のニューラルネットワーク２００の構成について説明する。図５は、図１に示すニューラルネットワーク２００の構成例を簡略化して表したものである。このニューラルネットワーク２００は、神経細胞を構成する複数のダイナミックニューロン２１０を相互に接続して構成されている。各ニューロン２１０の結合部には、大きさが可変の重み付けがそれぞれなされている。このニューラルネットワーク２００は、特徴ベクトル１１０を入力する入力用ダイナミックニューロン２１０と、この特徴ベクトル１１０の入力により状態が遷移した後の値を出力する出力用ダイナミックニューロン２１０とを別個のものとして示している。具体的には、１０個の入力用ダイナミックニューロン２１０−１〜２１０−１０に１０個の特徴ベクトル１１０がそれぞれ入力され、複数のダイナミックニューロン２１０を介した値はアトラクタを判別するための値として、出力用ダイナミックニューロン２１０−１１〜２１０−１４からそれぞれ出力される。
【００３６】
各ダイナミックニューロン２１０は、その内部状態値Ｘが、当該ダイナミックニューロン２１０に与えられる入力データＺｊ（ｊ＝０〜ｎ：ｎは自然数）および内部状態値Ｘを用いて表された関数Ｘ＝Ｇ（Ｘ，Ｚｊ）を満足する値に時間変化するダイナミックニューロン２１０として形成され、その内部状態値Ｘが、関数Ｆ（Ｘ）を満足する値に変換して出力されるよう形成されている。
【００３７】
ニューラルネットワーク２００では、各ダイナミックニューロン２１０間の重みを学習により変化させることによって、複数の入力データに対応して正確なアトラクタを設定することができる。
【００３８】
図６は、ダイナミックニューロン２１０の構成を模式的に示している。各ダイナミックニューロン２１０は、所定の内部状態値Ｘを記憶する内部状態値記憶手段２２０と、前記内部状態値Ｘおよび以下に説明する入力データＺｊが入力されて、内部状態値記憶手段２２０の内部状態値Ｘを更新する内部状態値更新手段２４０と、内部状態値Ｘを外部出力値Ｙに変換する出力値生成手段２６０とを含む。
【００３９】
各ダイナミックニューロン２１０は、上記の構成をそれぞれ備えることにより、内部状態値Ｘを基にし、この内部状態値Ｘを順次更新していく。これにより、ダイナミックニューロン２１０に入力されるデータの過去の履歴が、内部状態値Ｘとして変換されて保存される。すなわち、内部状態値Ｘとして、入力値の時間的な履歴が保存され、この履歴は外部出力値Ｙに反映される。ダイナミックニューロン２１０は、上記のダイナミックな動作を行う。これにより、静的なニューロンを用いたニューラルネットワークとは異なり、ニューラルネットワークの構造等に依存することなく、時系列データを処理することができ、ニューラルネットワーク２００全体の回路規模を小さくすることができる。これにより、処理が軽くなり、より短時間に高精度の音声認識が可能となる。
【００４０】
図７は、ダイナミックニューロン２１０の構造の一具体例を示す。内部状態記憶手段２２０は、内部状態値Ｘを記憶するメモリ２２２を含んで構成される。また、内部状態値更新手段２４０は、入力データＺｊの積算手段２４２と、演算を行って新たな内部状態値Ｘを求め、メモリ２２２に記憶されている内部状態値Ｘを更新する演算部２４４とを含む。また、出力値生成手段２６０は、演算部２６２を含む、この演算部２６２は、メモリ２２２に記憶されている内部状態値Ｘを、値域制限した外部出力値Ｙにシグモイド（ロジスティック）関数等を用いて変換するように形成されている。
【００４１】
ここで、内部状態値Ｘおよび外部出力値Ｙのそれぞれの時間変化において、現在の内部状態値をＸｃｕｒｒ、更新される内部状態値をＸｎｅｘｔ、この更新動作時点での入力データをＺｊとするときに、内部状態更新手段２４０の動作を形式的に関数Ｇで表すとすると、更新される内部状態値Ｘｎｅｘｔは、Ｘｎｅｘｔ＝Ｇ（Ｘｃｕｒｒ、Ｚ１、・・・ Ｚｊ・・・、Ｚｎ）と表現することができる。
【００４２】
この演算式の表現の具体的な形としては様々なものが考えられるが、例えば１階の微分方程式を用いて、以下に示す数１の演算式で示すことができる。ここで、τは定数である。
【００４３】
【数１】

【００４４】
なお、内部状態値更新手段２４０の動作を示す演算式としては、上記の演算式に限定されることなく、単純な線形変換やしきい値関数等を用いることも可能である。
【００４５】
また、各ダイナミックニューロン２１０への入力データＺｊとしては、ある重みが乗算されることにより重み付けされたダイナミックニューロン２１０自身の出力や、結合重みが乗算されることにより重み付けされた他のダイナミックニューロン２１０の出力等が含まれる。
【００４６】
図７においては、各ダイナミックニューロン２１０には、重み付けされたダイナミックニューロン２１０自身の出力や、重み付けされた他のダイナミックニューロン２１０からの出力が与えられる。特に、１０個のダイナミックニューロン２１０−１〜２１０−１０には、重み付けされたダイナミックニューロン２１０自身の出力や重み付けされた他のダイナミックニューロン２１０からの出力の他に、特徴抽出部１０からの特徴ベクトル１１０が与えられる。
【００４７】
そして、出力用ダイナミックニューロン２１０である４個のダイナミックニューロン２１０−１１〜２１０−１４から外部出力値Ｙが出力される。
【００４８】
次に、ニューラルネットワーク２００の内部状態値Ｘの初期値の設定について説明する。上記のように、各ダイナミックニューロン２１０は、内部状態値記憶手段２２０内に記憶された内部状態値Ｘを、内部状態値更新手段２４０で順次更新していくように構成されている。したがって、ニューラルネットワーク２００内のダイナミックニューロン２１０は、その動作に先立って、予め初期値を設定することが必要である。
【００４９】
このため、図１に示す内部状態初期値設定部６０は、ニューラルネットワーク２００の動作の開始に先立って、予め設定された初期値を、ニューラルネットワーク２００内の全てのダイナミックニューロン２１０に対して出力する。具体的には、ニューラルネットワーク２００の動作の開始に先立って、全てのダイナミックニューロン２１０に対して、適当に選択された内部状態値Ｘの初期値をセットすると共に、この内部状態値Ｘの初期値に対応する外部出力値Ｙをセットする。このように、ニューラルネットワーク２００内の全てのダイナミックニューロン２１０に初期値をセットすることにより、ニューラルネットワーク２００の動作は速やかに開始されることとなる。
【００５０】
次に、図１に示すニューラルネットワーク２００の学習方法について説明する。図８は、ニューラルネットワーク２００に対して所望の認識対象データを学習させるための学習装置３００の構成を示す。この学習装置３００は、発話された音声から作成した入力用教師データを記憶する入力用教師データ記憶部３１０と、この入力用教師データに対応した前記状態空間内の遷移パターンを表す出力用教師データを含む複数組の出力用教師データを記憶する出力用教師データ記憶部３１２と、学習させたい入力用教師データを選択する入力用教師データ選択部３１４と、この入力用教師データ選択部３１４で選択された入力用教師データに対応する出力用教師データを選択する出力用教師データ選択部３１６と、ニューラルネットワーク２００の学習を制御する学習制御部３１８とを含む。
【００５１】
この学習装置３００による学習を行う場合、まず、学習対象となるニューラルネットワーク２００を構成する全てのダイナミックニューロン２１０に、内部状態初期値設定部６０からの内部状態値Ｘの初期値をセットする。
【００５２】
次に、学習させたい入力用教師データが、入力用教師データ選択部３１４で選択され、この選択された入力用教師データは学習制御部３１８に入力される。このとき、選択された入力用教師データに対応する出力用教師データが、出力用教師データ選択部３１６で選択され、この選択された出力用教師データも学習制御部３１８に入力される。
【００５３】
学習制御部３１８においては、入力された連続音声データは、特徴抽出部１０に入力されて特徴ベクトル１１０が抽出される。この抽出された特徴ベクトル１１０は、ニューラルネットワーク２００に入力用教師データＺｊとして入力される。
【００５４】
ニューラルネットワーク２００では、全てのダイナミックニューロン２１０について、それぞれ入力用教師データＺｊの和を求め、その内部状態値Ｘが更新される。そして、更新された内部状態値Ｘによりダイナミックニューロン２１０の外部出力値Ｙを求める。
【００５５】
初期状態では、ニューラルネットワーク２００の各ダイナミックニューロン２１０間の結合強度としては、ランダムな値が与えられている。従って、図５のダイナミックニューロン２１０−１１〜２１０−１４から出力される座標値Ｐ１、Ｐ２、Ｐ３、Ｐ４は、不正確な値であるが、これらの値が正しい値となるように、徐々に各ダイナミックニューロン２１０の重みを変更していく。
【００５６】
このように、この学習装置３００では、入力された音声データから形成された入力用教師データおよびこれに対応した遷移パターンを表す出力用教師データを含む複数組の教師データを予め用意しておき、入力用教師データを入力した場合、この入力用教師データに対応する出力用教師データを得るように各ダイナミックニューロン２１０を学習させる工程を、前記複数組の教師データ毎に繰り返し行う。これにより、短時間に学習の効果を高めることができる。なお、ニューラルネットワーク２００の学習の繰り返し回数は、数千回程度である。
【００５７】
図９は、入力用教師データと出力用教師データとを比較する際に使用するパターンを示す。図９に示すように、このパターンとして、（Ａ）認識対象語のみ、（Ｂ）第１の連結パターン（認識対象語後半と認識対象語）、（Ｃ）第２の連結パターン（認識対象語後半と非認識対象語）、（Ｄ）第３の連結パターン（非認識対象語後半と認識対象語）、（Ｅ）第４の連結パターン（非認識対象語と非認識対象語）という５パターンを使用する。この図では、横軸が時間、縦軸が認識対象語の検出出力となっている。
【００５８】
従来の学習方法では、同一の認識対象語が連続入力された場合、この検出出力が立ち上がったままとなり認識対象語の個数が正確には分からない場合があった。本発明では、認識時に出力値を初期値に戻すリセットを行い、かつ、上記５パターンを用いて学習することにより、このような場合も認識対象語の個数が正確に分かる。
【００５９】
すなわち、パターン（Ｂ）（Ｃ）を用いることにより、認識対象語の前半で認識を行い、認識対象語の後半では認識を行わない学習ができるため、認識対象語が複数連続する場合でも正確に連続音声認識することができる。また、パターン（Ｄ）（Ｅ）を用いることにより、認識対象語を認識し、非認識対象語を認識しない学習ができるため、認識対象語と非認識対象語とが複数連続する場合でも正確に連続音声認識することができる。
【００６０】
また、非認識対象語も学習対象とすることにより、さらに認識対象語と非認識対象語を正確かつ効率的に区別できるようになる。
【００６１】
このような学習方法によって、複数のアトラクタが形成されたニューラルネットワーク２００に対して、アトラクタに対応する複数の音声データを入力した場合には、ニューラルネットワーク２００の状態空間の遷移により、入力された複数の音声データを認識することができる。
【００６２】
ここで、上記の音声認識用ニューラルネットワーク２００を用いた音声認識の学習方法について具体的に説明する。
【００６３】
図１０は、本発明を用いた音声認識の学習方法を示すフローチャートである。学習は、第１の学習工程を行い、第２の学習工程という２段階で行う。
【００６４】
第１の学習工程では、予備学習の準備（ステップ２）および予備学習（ステップ４）を行う。
【００６５】
まず、準備段階として、対象となる話者の孤立発話データをデータ入力手段１０に入力し、変換手段によりアナログ音声データをディジタルデータに変換し、記憶手段に記憶する（ステップ２）。対象となる話者分のデータを記憶した時点で孤立発話データの学習を開始する。
【００６６】
図１１に示すように、予備学習では、以下の手順で処理する（ステップ４）。まず、ある認識対象語に対して、対応する孤立発話データを１つ入力して認識させ、所定点をリセット位置として設定する（ステップ２０）。この際のリセット位置の設定方法を図１３に示す。この例では、リセット位置は、各話者における各認識対象語に対応した出力の遷移パターンの時間軸上の中点Ｔｍである。時間軸上の中点Ｔｍは、機械的に設定できるため、後に行う追加学習の準備が短時間でできる。なお、リセット位置は、時間軸上の中点Ｔｍには限られず、認識対象語の時間軸上であればどこでもよい。
【００６７】
ここで、認識とは、具体的には、ニューラルネットワーク２００への各孤立発話の入力に対して、図１２に示すように、ニューラルネットワーク２００からの出力がある一定の値（しきい値）を超えることを意味する。通常は、あるしきい値を超えたところでリセットし、出力を初期値に戻す。
【００６８】
また、学習させる音声データは、認識対象語だけでもよいが、非認識対象語も学習させることにより、連続の時系列音声データから認識対象語だけ取り出すことができる。
【００６９】
リセット位置設定後、ニューラルネットワーク２００を学習させる。この方法として、各孤立発話をつなぎ合わせて仮の連続発話として記憶部３１０に記憶する。各孤立発話データから図９に示す５パターンの入出力用教師データを作成する（ステップ２２）。
【００７０】
５パターンの内、パターン（Ｂ）（Ｃ）の作成は、認識対象語のリセット位置設定後、リセット位置を区分点として出力の遷移パターンを前後に区分することにより、認識対象語後半というデータを作成できる。
【００７１】
５パターンの入出力用教師データ作成後、これらを用いてニューラルネットワーク２００を学習させる（ステップ２４）。
【００７２】
学習後、望ましい出力が得られているか判断し（ステップ２６）、十分な性能が得られると判断できる場合、学習を終了する。不十分な場合は、同じ教師データを用いて学習および性能評価（ステップ２４、２６）を繰り返し行う。
【００７３】
このようにして、学習させたニューラルネットワーク２００を用いても従来に比べ、高性能な連続発話の認識ができるが、さらに性能を上げるため、このニューラルネットワーク２００を用いて第２の学習工程を行う。第１の学習では、リセット位置を機械的に設定できるため、学習を速く進めることができ、１つの認識対象語に対して１回のみリセットを行うため、１つの認識対象語に対して認識しなかったり、複数回認識したりすることはない。したがって、従来必要だったラベリングという作業は必要無くなる。さらに、このように学習が進んだ段階で第２の学習を行うため、短時間かつ正確な学習を実現することにおいて、より効果的である。
【００７４】
第２の学習工程では、図１０に示すように、以下の処理を行う（ステップ６〜１４）。
【００７５】
各話者毎の連続発話を入力、Ａ／Ｄ変換、記憶し、入力用の連続発話データおよび連続発話を用いた各連結パターンデータを作成する（ステップ６）。入力用の連続発話データを用いてテスト駆動を行う（ステップ８）。
【００７６】
図１４に示すように、テスト駆動の手順は以下のようになる。入力された連続発話データをニューラルネットワーク２００に入力し（ステップ３４）、入力された認識対象語を認識した際の出力の時間軸上でリセットがかかる位置（しきい値を超える座標および時点）を調べ、記憶する（ステップ３６）。この工程をテスト駆動と呼ぶ。
【００７７】
図１２に示すように、テスト駆動で得られた認識対象語のリセット位置を区分点として、図９に示す５パターンの内、パターン（Ｂ）（Ｃ）の連結パターン型教師データを作成する（ステップ１０）。同様に、非認識対象語と認識対象語を連結してパターン（Ｄ）、非認識対象語と非認識対象語を連結してパターン（Ｅ）を作成する。その後、追加学習を行う（ステップ１２）。
【００７８】
図１５に示すように、追加学習の手順は以下のようになる。作成された５パターンの教師データをニューラルネットワーク２００に入力し（ステップ４０）、各ダイナミックニューロン２１０の重みづけを順次更新しながら、ニューラルネットワーク２００を学習させる（ステップ４２）。これら５パターンの学習は、ある１パターンを正確に認識できるようになってから次のパターンの学習を行ってもよいが、ニューラルネットワーク２００を用いて学習するため、５パターン同時に並列的に学習させることもできる。これにより、さらに、学習時間を短縮できる。
【００７９】
図１０に示すように、追加学習後、追加学習により実際に出力された出力と望ましい出力とを比較し、十分な性能が得られるかどうか判断し、十分であれば学習を終了する（ステップ１４）。不十分であれば、テスト駆動から追加学習、性能比較までの手順（ステップ８〜１４）を繰り返し行うことにより、どの話者に対しても最適な音声認識ができるニューラルネットワーク２００を実現することができる。
【００８０】
以上が学習の流れであるが、ここで、例えば、「０」「１」・・・「９」の数字を組合せた連続発話データを学習する方法を具体的に説明する。この場合、表に示す１００パターンの連続発話データに対して十分な音声認識が行えるよう上記の学習の流れに沿って学習する。
【００８１】
図１６は、上記１００パターンを示す。まず、予備学習として、「ぜろ」「いち」・・・「なな」・・・「きゅう」という１０個の孤立発話データをニューラルネットワーク２００に入力する。入力された各孤立発話データに対する出力の遷移パターンの時間軸上の中点を区分点として、各孤立発話データを組合せ「ぜろぜろ」「ぜろいち」・・・「きゅうきゅう」という連続発話に近似した連結パターン型入力用教師データを機械的に作成する。
【００８２】
なお、時系列の音声データの中から認識対象語を取り出すためには、認識対象語だけでなく、非認識対象語も学習させておくことが必要である。また、孤立発話された認識対象語の学習により、図９に示す５パターンの内、パターン（Ａ）について学習できることになる。
【００８３】
単独の孤立発話データおよび連続発話に近似した連結パターン型入力用教師データをニューラルネットワーク２００に入力して学習させ、望ましい出力が得られるようになったニューラルネットワーク２００を用いてテスト駆動を行う。
【００８４】
テスト駆動では、連続発話データから形成された入力用教師データを入力し、認識対象語に対する出力のリセット位置を自動判定させる。このリセット位置を区分点として５パターンの連結パターン型出力用教師データを作成し、追加学習を行う。
【００８５】
予備学習だけでも従来の学習に比べ十分な性能は得られるが、図１６に示す「「ごーぜろ」のように、孤立発話の組合せだけだと「ごぜろ」となってしまい、実際のなめらかな連続発話と異なるため、真に最適な認識を行うため、連続発話を用いた学習を行うことが好ましい。
【００８６】
例えば、「ろく」が認識対象語とすると、５パターンは、図９の（Ａ）は「ろく」（Ｂ）は「ろく」の後半＋「ろく」、（Ｃ）は「ろく」の後半＋「ぜろ」〜「ご」および「ろく」の後半＋「なな」〜「きゅう」（Ｄ）は、「ぜろ」〜「ご」＋「ろく」および「なな」〜「きゅう」＋「ろく」（Ｅ）は「ぜろ」〜「ご」および「なな」〜「きゅう」のそれぞれの数字の組合せとなる。
【００８７】
パターン（Ａ）については、予備学習の段階で孤立発話について学習済みであるため、ここでは改めて学習しない。例えば、パターン（Ｂ）は「ろく」後半＋「ろく」となるが、最初の「ろく」後半については出力を出さないようにし、これに連続する「ろく」を認識すると出力を出す学習を行う。同様にパターン（Ｃ）は「ろく」後半＋「なな」等となるが、最初の「ろく」後半については出力を出さないようにし、これに連続する「なな」等についても誤認識して出力を出すことのないように学習を行う。
【００８８】
パターン（Ｄ）は「ぜろ」＋「ろく」等であるが、非認識対象語「ぜろ」等では誤認識して出力を出すことのないように学習を行い、これに連続する認識対象語「ろく」を認識すると出力を出す学習を行う。同様に、パターン（Ｅ）は「ぜろ」＋「ぜろ」等である。
【００８９】
この２パターンは、認識対象語が「ろく」のとき、パターン（Ｄ）（Ｅ）であるが、認識対象語を「ぜろ」とすると、パターン（Ｂ）（Ｃ）として使用できる。すなわち、学習が進むにつれて徐々に必要な学習量も減らすことができ、効率的な学習ができる。
【００９０】
もちろん、２連続の発話だけでなく、３連続以上の連続発話データに対しても連結パターン型教師データを２連続から３連続、４連続と増やしていくことにより、２連続の場合と同様に学習できる。
【００９１】
以上のように、本発明を用いた学習方法によれば、ラベリングせずに連続発話を学習できるため、短時間かつ正確に連続音声を認識することができる。
【図面の簡単な説明】
【図１】本発明が適用された学習方法を実現するための機能ブロック図である。
【図２】音声データから特徴を抽出する手順を示す概略図である。
【図３】アトラクタの一例を示す図である。
【図４】入力データとアトラクタの座標値との関係を示す図である。
【図５】本発明が適用されたニューラルネットワークの概略図である。
【図６】本発明が適用されたダイナミックニューロンの概略図である。
【図７】本発明が適用されたダイナミックニューロンの詳細図である。
【図８】本発明が適用された学習装置の概略図である。
【図９】本発明で使用する教師パターンを示す図である。
【図１０】本発明が適用された学習方法のフローチャートを示す図である。
【図１１】本発明が適用された学習方法の第１の工程である予備学習の手順を示す図である。
【図１２】ダイナミックニューロンの出力の一例を示す図である。
【図１３】出力を時間軸上の中点で区分することを示す図である。
【図１４】本発明が適用された学習方法の第２の工程であるテスト駆動の手順を示す図である。
【図１５】本発明が適用された学習方法の第２の工程である追加学習の手順を示す図である。
【図１６】学習対象の一例を示す図である。
【符号の説明】
１０ 特徴抽出部
２０ ニューラルネットワーク型パターン認識手段
４０ アトラクタ制御部
６０ 内部状態初期値設定部
１１０ 特徴ベクトル
１２０ 出力結果データ
２００ ニューラルネットワーク
２１０ ダイナミックニューロン
２２０ 内部状態値記憶手段
２４０ 内部状態値更新手段
２６０ 出力値生成手段
３００ 学習装置
３１０ 入力データ記憶部
３１２ 出力データ記憶部
３１４ 入力データ選択部
３１６ 出力データ選択部
３１８ 学習制御部

Claims (6)

1. 複数のダイナミックニューロンを備え、音声入力される所定の認識対象語を認識する音声認識用ニューラルネットワークの学習方法において、
   対象となる話者の連続発話データとして、認識対象語が連続して発話された第１の連続発話データと、前記認識対象語と前記認識対象語以外の所定の単語である非認識対象語が連続して発話された第２の連続発話データを生成し、
   第１および第２の連続発話データにおける最初の前記認識対象語の発話データの時間軸上の所定点を区分点として区分し、
   前記第１の連続発話データのうち、前記区分点より後半の認識対象語の発話データおよびこれに連続する前記認識対象語の発話データの部分である第１の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、当該連続する認識対象語の認識を行い、かつ、当該後半の認識対象語の認識を行わず、
   前記第２の連続発話データのうち、前記区分点より後半の認識対象語の発話データおよびこれに連続する前記非認識対象語の発話データの部分である第２の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、当該後半の認識対象語および当該非認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させることを特徴とする音声認識用ニューラルネットワークの学習方法。
2. 請求項１において、
   前記認識対象語の孤立発話データのみが入力用教師データとして前記音声認識用ニューラルネットワークに入力された場合には、当該認識対象語の認識を行い、
   前記非認識対象語およびこれに連続する前記認識対象語を連続発話して形成された第３の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、当該連続する認識対象語の認識を行い、かつ、当該非認識対象語の認識を行わず、
   前記非認識対象語およびこれに連続する前記非認識対象語を連続発話して形成された第４の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させることを特徴とする音声認識用ニューラルネットワークの学習方法。
3. 請求項２において、
   前記第１〜第４の連結パターン型入力用教師データおよび前記認識対象語の孤立発話データの入力用教師データと、これらの各入力用教師データに対応した遷移パターンを表す出力用教師データとを含む複数組の入出力用教師データを作成して記憶する工程と、
   前記各入力用教師データを前記音声認識用ニューラルネットワークに入力したときに、前記各入力用教師データに対応した前記出力用教師データを得るように前記複数のダイナミックニューロンを学習させる処理を、前記複数組の入出力用教師データ毎に繰り返し行う工程と、
   を含むことを特徴とする音声認識用ニューラルネットワークの学習方法。
4. 請求項１〜３のいずれかに記載の音声認識用ニューラルネットワークの学習方法において、
   対象となる話者の孤立発話データとして、認識対象語の孤立発話データと、前記認識対象語以外の所定の単語である非認識対象語の孤立発話データを生成し、
   前記認識対象語の孤立発話データの時間軸上の所定点を区分点として区分し、
   前記区分点より後半の認識対象語の孤立発話データおよびこれに連続する前記認識対象語の孤立発話データが連結して形成された孤立発話型の第１の連結パターン型入力用教師データ並びに前記区分点より後半の認識対象語の孤立発話データおよびこれに連続する前記非認識対象語の孤立発話データが連結して形成された孤立発話型の第２の連結パターン型入力用教師データを生成し、
   前記孤立発話型の第１の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、当該連続する認識対象語の認識を行い、かつ、当該 後半の認識対象語の認識を行わず、
   前記孤立発話型の第２の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、当該後半の認識対象語および当該非認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させる第１の学習工程と、
   前記第１の学習工程終了後に、連続発話して形成された前記第１および第２の連結パターン型入力用教師データを用い、請求項１〜３のいずれかの学習方法により、前記複数のダイナミックニューロンを学習させる第２の学習工程と、
   を含むことを特徴とする音声認識用ニューラルネットワークの学習方法。
5. 請求項４において、
   前記第１の学習工程では、
   前記認識対象語の孤立発話データのみが入力用教師データとして前記音声認識用ニューラルネットワークに入力された場合には、当該認識対象語の認識を行い、
   前記非認識対象語の孤立発話データおよびこれに連続する前記認識対象語の孤立発話データが連結して形成された孤立発話型の第３の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、前記連続する認識対象語の認識を行い、かつ、当該非認識対象語の認識を行わず、
   前記非認識対象語の孤立発話データおよびこれに連続する前記非認識対象語の孤立発話データが連結して形成された孤立発話型の第４の連結パターン型入力用教師データが前記音声認識用ニューラルネットワークに入力された場合には、これらの認識対象語の認識を行わないように、前記複数のダイナミックニューロンを学習させることを特徴とする音声認識用ニューラルネットワークの学習方法。
6. 請求項１〜５のいずれかにおいて、
   前記音声認識用ニューラルネットワークの状態空間内に、複数の認識対象語に対応して、アトラクタを異なる位置に複数形成するように、前記複数のダイナミックニューロンを学習させることを特徴とする音声認識用ニューラルネットワークの学習方法。

Images