JP6929466B2 - 音声認識システム - Google Patents

Description

本発明は、包括的には、オープン語彙（open−vocabulary：語彙制限のない）エンドツーエンド音声認識のための装置及び方法に関し、より具体的には、文字レベル及び単語レベルの言語モデルに基づくエンドツーエンド自動音声認識のための方法及びシステムに関する。

自動音声認識は、現在では、広く展開されている十分に成熟した１組の技術であり、音声検索等のインターフェースアプリケーションにおいて大きな成功を収めている。しかしながら、高い認識精度を達成する音声認識システムを構築するのは容易ではない。１つの問題は、システムが受け入れる対象言語に関して、深い言語的知識を必要とすることである。例えば、そのようなシステムを構築するのに、１組の音素、語彙及び発音辞書が不可欠である。音素セットは、その言語に通じた人によって注意深く定義される必要がある。発音辞書は、１０万語を超える単語を含む語彙内の各単語に１つ以上の音素系列を割り当てることによって、手作業で作成される必要がある。さらに、言語の中には、語境界を明確に有しないものもあり、それゆえ、テキストコーパスから語彙を作成するために、トークン化を必要とする場合がある。結果として、マイナーな言語の場合に特に、専門家でない人が音声認識システムを開発するのは極めて難しい。他の問題は、音声認識システムが、別々に最適化される音響モデル、辞書モデル及び言語モデルを含む、いくつかのモジュールに分解されることである。各モデルが他のモデルに一致するようにトレーニングされる場合であっても、このアーキテクチャの結果として、局所的な最適条件がもたらされる場合がある。

エンドツーエンド音声認識は、従来のアーキテクチャを簡略化して、深層学習のフレームワーク内の単一のニューラルネットワークアーキテクチャにするという目的を有する。これらの問題に対処するために、又はこれらの問題を解決するために、いくつかの文献において種々の技法が論じられてきた。現行技術水準のエンドツーエンド音声認識システムは、所与の音声入力の文字系列を予測するように設計されている。なぜなら、発音辞書なしに音声から直接単語系列を予測することは、文字系列を予測するよりはるかに難しいからである。一方、文字ベース予測は、長い文字系列にわたって言語的制約をモデル化することが難しいことから、単語ベース予測に比べて一般に性能が劣る。対応するトランスクリプトを有する音声データが更に多く存在する場合、単語系列を予測するより良好なニューラルネットワークをトレーニングすることができる。しかしながら、そのようなトランスクリプト付き音声データを収集し、大きなデータセットを用いてネットワークをトレーニングすることは非常に多くのコストを要する。したがって、エンドツーエンド音声認識に単語レベル予測を組み込んで認識精度を改善することは容易ではない。

本開示のいくつかの実施形態は、エンドツーエンド自動音声認識（ＡＳＲ：automatic speech recognition）アーキテクチャにおける文字レベル言語モデル（ＬＭ：language models）及び単語レベル言語モデルの結合によってラベル系列予測を改善することが可能であるという認識に基づく。ＬＭは、長短期メモリ（ＬＳＴＭ：long short−term memory）ユニットを含む再帰型ニューラルネットワーク（ＲＮＮ：recurrent neural network）とすることができる。

文字レベルＬＭは、エンドツーエンドＡＳＲの注意デコーダネットワークモジュール及びコネクショニスト時系列分類（ＣＴＣ：connectionist temporal classification）モジュールと組み合わされる。文字レベルＬＭは、いくつかの言語において競争相手の現行技術水準のＤＮＮ／ＨＭＭベースＡＳＲシステムに対して認識精度を改善する。文字レベルアーキテクチャは、オープン語彙ＡＳＲの方法を提供することができるが、文字レベルＬＭは、文字の長い系列にわたって言語的制約をモデル化することが困難であることから、スモールアルファベット（small alphabet）を有する英語等の言語については単語レベルＬＭに比べて一般に性能が劣る。

本発明のいくつかの実施形態は、文字レベル及び単語レベルの双方においてＬＭを用いたエンドツーエンドＡＳＲ復号の新規の方法を提供する。本発明の復号プロセスでは、単語境界に遭遇するまで、文字系列仮説が、文字レベルＬＭを用いて最初にスコアリングされる。次に、既知の単語が、単語レベルＬＭを用いて再スコアリングされるとともに、文字レベルＬＭは、語彙外単語のスコアを与える。

この手法は、文字レベルアーキテクチャ及び単語レベルアーキテクチャの双方の利点を活用し、高精度のオープン語彙エンドツーエンドＡＳＲを可能にする。評価結果は、本開示の終わりに、標準的なウォールストリートジャーナル（ＷＳＪ：Wall Street Journal）タスクを用いて議論され、オープン語彙エンドツーエンドＡＳＲによる大幅な改善を示している。

本発明のいくつかの実施形態によれば、音声認識システムは、声音を受け取る入力デバイスと、１つ以上のプロセッサと、パラメータ、及び前記１つ以上のプロセッサによって実行可能な命令を含むプログラムモジュールを記憶する１つ以上の記憶デバイスとを備える。前記１つ以上の記憶デバイスにおいて、前記命令は、実行されると、前記１つ以上のプロセッサに動作を実行させる。前記１つ以上の記憶デバイスにおいて、前記動作は、音響特徴抽出モジュールを用いて、前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、前記隠れベクトル系列を、デコーダネットワークパラメータを有するデコーダネットワークに送り込むことによって、第１の出力ラベル系列確率を予測することと、文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することと、ラベル系列探索モジュールを用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することとを含む。

本発明のいくつかの実施形態によれば、メモリと通信するコンピュータに音声認識プロセスを実行させるプログラムを記憶する非一時的コンピュータ可読記録媒体を開示する。前記非一時的コンピュータ可読記録媒体において、前記音声認識プロセスは、声音を準備することと、音響特徴抽出モジュールを用いて、前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、デコーダネットワークパラメータを有するデコーダネットワークに前記隠れベクトル系列を送り込むことによって、第１の出力ラベル系列確率を予測することと、文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することと、ラベル系列探索モジュールを用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することとを含む。

ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではない。図面は、その代わり、一般的に、ここに開示されている実施形態の原理を強調するように示されている。

関連技術による注意ベースエンドツーエンド音声認識方法を示すブロック図である。 本発明の実施形態によるオープン語彙エンドツーエンド音声認識モジュールを示すブロック図である。 本発明の実施形態によるオープン語彙エンドツーエンド音声認識モジュール内のニューラルネットワークを示す概略図である。 本発明の実施形態によるオープン語彙エンドツーエンド音声認識システムを示すブロック図である。 本発明の実施形態によるオープン語彙エンドツーエンド音声認識を実行することによって得られる評価結果を示す図である。 本発明の実施形態による異なる言語モデルを用いた単語誤り率（ＷＥＲ：：word error rate）を示す図である。 本発明の実施形態によるオープン語彙エンドツーエンド音声認識による、ビーム幅の関数としての単語誤り率を示す評価結果を示す図である。 ２０Ｋ〜６５Ｋの異なる語彙サイズ及びオープン語彙条件を用いたときのＷＥＲの比較を示す評価結果を示す図である。

上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。

以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も、限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。

以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解できる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細によって不明瞭とならないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細を省いて示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。

さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。

本開示において例示されるモジュール及びネットワークは、コンピュータプログラム、ソフトウェア又は命令コードとすることができ、１つ以上のプロセッサを用いて命令を実行することができる。モジュール及びネットワークは１つ以上の記憶デバイスに記憶することができるか、又は別の状況では、例えば、磁気ディスク、光ディスク若しくはテープ等の、記憶媒体、コンピュータ記憶媒体又はデータ記憶デバイス（取外し可能及び／又は非取外し可能）等のコンピュータ可読媒体に記憶することができ、コンピュータ可読媒体は、命令を実行するために１つ以上のプロセッサからアクセス可能である。

コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータ等の情報を記憶するための任意の方法又は技術において実現される揮発性及び不揮発性、取外し可能及び非取外し可能の媒体を含むことができる。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ若しくはフラッシュメモリ、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）若しくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は所望の情報を記憶するために使用することができ、１つ以上のプロセッサを用いて、アプリケーション、モジュール又は両方によってアクセスすることができる任意の他の媒体とすることができる。任意のそのようなコンピュータ記憶媒体は、そのデバイスの一部とすることができるか、そのデバイスからアクセス可能とすることができるか、又はそのデバイスに接続可能とすることができる。本明細書において説明される任意のアプリケーション又はモジュールは、そのようなコンピュータ可読媒体によって記憶できるか、又は別の方法で保持できるコンピュータ可読／実行可能命令を用いて実現することができる。

図１は、関連技術による、注意ベースエンドツーエンド音声認識モジュール１００を示すブロック図である。注意ベースエンドツーエンド音声認識モジュール１００において、エンコーダモジュール１０２は、最初に、エンコーダネットワークパラメータ１０３から読み出されたエンコーダネットワークを用いて、音響特徴系列１０１を隠れベクトル系列に変換する。次に、注意デコーダモジュール１０４は、エンコーダネットワークモジュール１０２から隠れベクトル系列を受信するとともに、ラベル系列探索モジュール１０６から先行するラベルを受信し、デコーダネットワークパラメータ１０５から読み出されたデコーダネットワークを用いて、先行するラベルに関する次のラベルの事後確率分布を計算する。ラベルは、文字、音節、単語又は対象言語を表現する任意の単位とすることができるが、文字が広く使用される。ラベル系列探索モジュール１０６は、注意デコーダモジュール１０４によって与えられた事後確率分布を用いて、最も高い系列確率を有するラベル系列を見つける。ラベル系列の事後確率は、系列におけるラベルの事後確率の積として計算される。

注意ベースエンドツーエンド音声認識システムは、通常、所与の音声入力の文字系列を予測するように設計される。なぜなら、エンコーダネットワークパラメータ１０３及びデコーダネットワークパラメータ１０５を最適化するために使用されるデータ量が、システムが単語系列を予測する場合と比較してはるかに少なくなるからである。一方、十分なトレーニングデータが利用可能である場合、文字ベース予測は、長い文字系列にわたって言語的制約をモデル化することが難しいことから、単語ベース予測に比べて一般に性能が劣る。しかし、対応する手動トランスクリプションを有する大量の音声データを収集することは、非常に多くのコストを要する。したがって、エンドツーエンド音声認識に単語レベル予測を組み込んで認識精度を改善することは容易ではない。

その上、単語レベル予測を行うときは別の問題もあり、これは、語彙外（ＯＯＶ：out−of−vocabulary）問題として知られている。一般に、全ての単語がトレーニングデータに現れるわけではなく、また、新たな単語が人間によって生み出されることが多いので、ＡＳＲシステムの語彙に含まれない多くの単語が存在する。ＯＯＶ問題は、音声信号内のそのようなＯＯＶ単語をＡＳＲシステムによって正しく認識することができないということである。

本発明のいくつかの実施形態は、注意ベース確率を文字レベルＬＭ確率及び単語レベルＬＭ確率と組み合わせることによってラベル系列仮説の精度を改善することが可能であるという認識に基づいている。文字レベルＬＭ及び単語レベルＬＭは、テキストのみのデータを用いてトレーニングすることができる。テキストデータは、トランスクリプト付き音声データより容易に収集することができるので、本発明によって、エンドツーエンドＡＳＲの単語レベル予測を行うことが可能になる。これによって、十分なテキストデータを用いて単語レベルＬＭをトレーニングすることによって音声認識精度が改善される。さらに、本発明は、文字レベルＬＭ及び単語レベルＬＭを組み合わせることによってＯＯＶ問題も緩和する。

図２は、本発明の実施形態によるオープン語彙エンドツーエンド音声認識モジュール２００を示すブロック図である。オープン語彙エンドツーエンド音声認識モジュール２００は、エンコーダネットワークモジュール２０２と、エンコーダネットワークパラメータ２０３と、注意デコーダモジュール２０４と、デコーダネットワークパラメータ２０５と、ラベル系列探索モジュール２０６と、ＣＴＣモジュール２０８と、ＣＴＣネットワークパラメータ２０９と、ＬＭモジュール２１０と、文字ＬＭパラメータ２１１と、単語ＬＭパラメータ２１２とを含む。エンコーダネットワークパラメータ２０３、デコーダネットワークパラメータ２０５、ＣＴＣネットワークパラメータ２０９、ＬＭパラメータは、対応するモジュール２０２、２０４、２０８及び２１０にパラメータを提供する記憶デバイスにそれぞれ記憶される。音響特徴系列２０１は、図４の音響特徴抽出モジュール４３４を用いて、オーディオ波形データ又はスペクトルデータから抽出される。オーディオ波形データ又はスペクトルデータは、記憶デバイスに記憶され、エンコーダネットワークモジュール２０２に与えることができる。オーディオ波形データ又はスペクトルデータは、声音を受信し、オーディオ波形データ又はスペクトルデータに変換するデジタル信号処理モジュール(図示せず）を用いて、図４の入力デバイス４７５を介して取得することができる。さらに、記憶デバイス４３０又はメモリ４４０に記憶されるオーディオ波形データ又はスペクトルデータは、エンコーダネットワークモジュール２０２に与えることができる。声音の信号は、図４のネットワーク４９０を介して与えることができる。入力デバイス４７５は、マイクロフォンデバイスとすることができる。

エンコーダネットワークモジュール２０２はエンコーダネットワークを含み、エンコーダネットワークパラメータ２０３からパラメータを読み出すエンコーダネットワークを用いて、音響特徴系列２０１が隠れベクトル系列に変換される。

注意デコーダネットワークモジュール２０４を使用する注意機構は、以下のように説明される。注意デコーダネットワークモジュール２０４は、デコーダネットワークを含む。注意デコーダネットワークモジュール２０４は、エンコーダネットワークモジュール２０２から隠れベクトル系列を受信するとともに、ラベル系列探索モジュール２０６から先行するラベルを受信し、その後、デコーダネットワークパラメータ２０５からパラメータを読み出すデコーダネットワークを用いて、先行するラベルに関する次のラベルの第１の事後確率分布を計算する。注意デコーダネットワークモジュール２０４は、第１の事後確率分布をラベル系列探索モジュール２０６に与える。ＣＴＣモジュール２０８は、エンコーダネットワークモジュール２０２から隠れベクトル系列を受信するとともに、ラベル系列探索モジュール２０６から先行するラベルを受信し、ＣＴＣネットワークパラメータ２０９及び動的計画法を用いて、次のラベル系列の第２の事後確率分布を計算する。この計算後、ＣＴＣモジュール２０８は、第２の事後確率分布をラベル系列探索モジュール２０６に与える。

ＬＭモジュール２１０は、先行するラベルをラベル系列探索モジュール２０６から受信し、ＬＭパラメータ２１１を用いて次のラベル系列の第３の事後確率分布を計算する。さらに、この計算後、ＬＭモジュール２１０は、第３の事後確率分布をラベル系列探索モジュール２０６に提供する。

ラベル系列探索モジュール２０６は、注意デコーダネットワークモジュール２０４、ＣＴＣモジュール２０８及びＬＭモジュール２１０からそれぞれ与えられる第１の事後確率分布、第２の事後確率分布及び第３の事後確率分布を用いて、最も高い系列確率を有するラベル系列を見つける。注意デコーダネットワークモジュール２０４、ＣＴＣモジュール２０８及びＬＭモジュール２１０によって計算されるラベル系列の第１の事後確率分布、第２の事後確率分布及び第３の事後確率は、１つの確率に結合される。この場合、事後確率の結合の計算は、線形結合に基づいて実行することができる。オープン語彙エンドツーエンド音声認識モジュール２００によれば、ＣＴＣベース確率、注意ベース確率及びＬＭベース確率を考慮に入れて、入力音響特徴系列に対してより良好な仮説を見つけることが可能になる。

本開示の実施形態によれば、ＬＭモジュール２１０を導入することによってエンドツーエンドＡＳＲの認識精度を改善することが可能になる。ＬＭモジュール２１０は、文字レベル再帰型ニューラルネットワーク（ＲＮＮ）及び単語レベルＲＮＮを含むことができる。いくつかの場合において、ＬＭモジュール２１０は、ハイブリッドネットワーク又はハイブリッドネットワークモジュールと呼ばれる場合がある。この場合、ＬＭモジュール２１０は、文字ＬＭパラメータ２１１によって定義された文字レベルＬＭと、単語ＬＭパラメータ２１２によって定義された単語レベルＬＭとを用いてＬＭ確率を計算する。ＬＭモジュールは、オープン語彙音声認識の実行も可能にする。すなわち、ＯＯＶ単語が発話された場合であっても、それらのＯＯＶ単語は、文字レベルＬＭ及び単語レベルＬＭの双方を用いることによって認識される。本発明の復号プロセスでは、単語境界に遭遇するまで、文字系列仮説が、文字レベルＬＭ確率を用いて最初にスコアリングされる。次に、既知の単語が、単語レベルＬＭ確率を用いて再スコアリングされるとともに、文字レベルＬＭは、ＯＯＶ単語のＬＭ確率スコアを与える。

注意ベースエンドツーエンド音声認識
エンドツーエンド音声認識は、入力音響特徴系列Ｘが与えられたときの最確ラベル系列

を見つける問題と一般に定義される。すなわち、

である。ただし、

は１組の所定のラベル

が与えられたときの１組の取り得るラベル系列を表す。ラベルは、文字又は単語とすることができる。

エンドツーエンド音声認識において、発音辞書及び言語モデルを用いることなく、あらかじめトレーニングされたニューラルネットワークによってｐ（Ｙ｜Ｘ）が計算される。関連技術の注意ベースエンドツーエンド音声認識では、ニューラルネットワークは、エンコーダネットワーク及びデコーダネットワークからなる。

エンコーダモジュール１０２は、

として、音響特徴系列Ｘ＝ｘ_１，．．．，ｘ_Ｔを隠れベクトル系列Ｈ＝ｈ_１，．．．，ｈ_Ｔに変換するために使用されるエンコーダネットワークを含む。ただし、関数Ｅｎｃｏｄｅｒ（Ｘ）は、スタックされる、１つ以上の再帰型ニューラルネットワーク（ＲＮＮ）からなることができる。ＲＮＮは長短期メモリ（ＬＳＴＭ）として実現することができ、長短期メモリは、各隠れユニット内に入力ゲート、忘却ゲート、出力ゲート及びメモリセルを有する。別のＲＮＮは双方向ＲＮＮ（ＢＲＮＮ）又は双方向ＬＳＴＭ（ＢＬＳＴＭ）とすることができる。ＢＬＳＴＭは一対のＬＳＴＭ ＲＮＮであり、一方は順方向ＬＳＴＭであり、他方は逆方向ＬＳＴＭである。ＢＬＳＴＭの隠れベクトルは、順方向ＬＳＴＭ及び逆方向ＬＳＴＭの隠れベクトルの連結として取得される。

順方向ＬＳＴＭの場合、順方向の第ｔの隠れベクトル

は以下のように計算される。

ただし、σ（・）は要素ごとのシグモイド関数であり、ｔａｎｈ（・）は要素ごとの双曲線正接関数であり、

、及び

はそれぞれ、ｘ_ｔに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。

はベクトル間の要素ごとの乗算を表す。重み行列

及びバイアスベクトル

はＬＳＴＭのパラメータであり、それらは下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝
によって識別される。例えば、

は隠れ／入力ゲート行列であり、

は入力／出力ゲート行列である。隠れベクトル

は入力ベクトルｘ_ｔ及び先行する隠れベクトル

から再帰的に取得される。ただし、

は零ベクトルであると仮定される。

逆方向ＬＳＴＭによれば、逆方向の第ｔの隠れベクトル

は以下のように計算される。

ただし、

及び

はそれぞれ、ｘ_ｔに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列

及びバイアスベクトル

はＬＳＴＭのパラメータであり、それらは順方向ＬＳＴＭと同様にして下付き文字によって識別される。隠れベクトル

は入力ベクトルｘ_ｔ及び後続の隠れベクトル

から再帰的に取得される。ただし、

は零ベクトルであると仮定される。

ＢＬＳＴＭの隠れベクトルは、以下のように、順方向隠れベクトル及び逆方向隠れベクトルを連結することによって取得される。

ただし、Ｔは、全てのベクトルが列ベクトルであると仮定するときに、ベクトルに関する転置演算を表す。

及び

はＢＬＳＴＭのパラメータと見なされる。

より良好な隠れベクトルを取得するために、第１のＢＬＳＴＭの隠れベクトルを第２のＢＬＳＴＭに送り込み、その後、第２のＢＬＳＴＭの隠れベクトルを第３のＢＬＳＴＭに送り込み、以下同様にすることによって、複数のＢＬＳＴＭをスタックすることができる。ｈ_ｔ’が１つのＢＬＳＴＭによって取得された隠れベクトルである場合には、それを別のＢＬＳＴＭに送り込むときに、ｘ_ｔ＝ｈ_ｔ’であると仮定する。計算を削減するために、１つのＢＬＳＴＭから別のＢＬＳＴＭに１つおきの隠れベクトルのみを送り込むことができる。この場合、出力隠れベクトル系列の長さは、入力音響特徴系列の長さの半分になる。

複数のＢＬＳＴＭの下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ

及び

は、エンコーダネットワークパラメータ２０３に記憶され、隠れベクトル系列Ｈを計算するために使用される。

注意デコーダモジュール１０４は、隠れベクトル系列Ｈを用いて、ラベル系列確率ｐ_ａｔｔ（Ｙ｜Ｘ）を計算するために使用されるデコーダネットワークを含む。ＹがＬ長のラベル系列ｙ_１，ｙ_２，．．．，ｙ_Ｌであると仮定する。ｐ_ａｔｔ（Ｙ｜Ｘ）を効率的に計算するために、その確率は、

として確率連鎖律によって分割することができ、各ラベル確率ｐ_ａｔｔ（ｙ_ｌ｜ｙ_１，．．．，ｙ_ｌ−１，Ｘ）はラベルにわたる確率分布から取得され、その確率分布は、

としてデコーダネットワークを用いて推定される。ただし、ｙはラベルを表す確率変数であり、ｒ_ｌはコンテンツベクトルと呼ばれ、それはＨのコンテンツ情報を有する。ｑ_ｌ−１はデコーダ状態ベクトルであり、それは、先行するラベルｙ_１，．．．，ｙ_ｌ−１及び先行するコンテンツベクトルｒ_０，．．．，ｒ_ｌ−１の文脈情報を含む。したがって、ラベル確率は、文脈を与えられるとすると、ｙ＝ｙ_ｌの確率として取得され、すなわち、

である。

コンテンツベクトルｒ_ｌは一般に、エンコーダネットワークの隠れベクトルの加重和として与えられ、すなわち、

である。ただし、ａ_ｌｔは注意重みと呼ばれ、それはΣ_ｔａ_ｌｔ＝１を満たす。注意重みはｑ_ｌ−１及びＨを用いて、以下のように計算することができる。

ただし、Ｗ、Ｖ、Ｆ及びＵは行列であり、ｗ及びｂはベクトルであり、それらはデコーダネットワークのトレーニング可能なパラメータである。ｅ_ｌｔは第（ｌ−１）の状態ベクトルｑ_ｌ−１と第ｔの隠れベクトルｈ_ｔとの間の照合スコアであり、時間的なアライメント分布ａ_ｌ＝｛ａ_ｌｔ｜ｔ＝１，．．．，Ｔ｝を形成する。ａ_ｌ−１は、先行するラベルｙ_ｌ−１を予測するために使用される先行するアライメント分布｛ａ_{（ｌ−１）ｔ}｜ｔ＝１，．．．，Ｔ｝を表す。ｆ_ｌ＝｛ｆ_ｌｔ｜ｔ＝１，．．．，Ｔ｝は、ａ_ｌ−１に関するＦとの畳み込み結果であり、それは、先行するアライメントを現在のアライメントに反映させるために使用される。「＊」は畳み込み演算を表す。

ラベル確率分布は、

として状態ベクトルｑ_ｌ−１及びコンテンツベクトルｒ_ｌを用いて取得される。ただし、Ｗ_ｑｙ及びＷ_ｒｙは行列であり、ｂ_ｙはベクトルであり、それらはデコーダネットワークのトレーニング可能なパラメータである。ｓｏｆｔｍａｘ（）関数は、Ｋ次元ベクトルｖの場合に、

として計算される。ただし、ｖ［ｉ］は、ｖの第ｉの要素を示す。

その後、デコーダ状態ベクトルｑ_ｌ−１が、以下のように、ＬＳＴＭを用いて、ｑ_ｌに更新される。

ただし、

及び

はそれぞれ、入力ベクトルｘ_ｌに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列

及びバイアスベクトル

はＬＳＴＭのパラメータであり、それは順方向ＬＳＴＭと同様にして下付き文字によって識別される。状態ベクトルｑ_ｌは入力ベクトル

及び先行する状態ベクトルｑ_ｌ−１から再帰的に取得され、ただし、ｑ_０は、ｑ_−１＝０、ｙ_０＝＜ｓｏｓ＞及びａ_０＝１／Ｔを仮定して計算される。デコーダネットワークの場合、入力ベクトル

は、ラベルｙ_ｌ及びコンテンツベクトルｒ_ｌの連結ベクトルとして与えられ、それは

として取得することができ、ただし、Ｅｍｂｅｄ（・）は、ラベルを固定次元ベクトルに変換するラベル埋め込みを表す。例えば、これは、以下の式によって計算することができる。

ただし、ＯｎｅＨｏｔ（ｙ）は、ラベルインデックスをワンホットベクトル表現に変換するラベルｙの１−ｏｆ−Ｎコーディングを表す。

は、行列であり、トレーニング可能なパラメータである。

下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ

及び

と、Ｗ_ｑｙ、Ｗ_ｒｙ、ｂ_ｙ、

は、デコーダネットワークパラメータ２０５に記憶され、ラベル確率分布ｐ_ａｔｔ（ｙ｜ｙ_１，．．．，ｙ_ｌ−１，Ｘ）を計算するために使用される。

関連技術のラベル系列探索モジュール１０６は、式（１）における最確ラベル系列

を見つける。しかしながら、Ｙの全ての取り得るラベル系列を列挙し、ｐ_ａｔｔ（Ｙ｜Ｘ）を計算することは困難である。なぜなら、取り得るラベル系列の数は、系列の長さに対して指数関数的に増加するからである。それゆえ、

を見つけるために、一般にビーム探索技法が使用され、その技法では、短い方のラベル系列仮説が最初に生成され、長い方の仮説を取得するために、他の仮説より高いスコアを有する限られた数の仮説のみが拡張される。最後に、系列の最後に達した完全な仮説において、最良のラベル系列仮説が選択される。

ビーム探索方法によれば、ラベル系列探索モジュール１０６は、以下のように、

を見つける。Ω_ｌを長さｌの１組の部分仮説であるとする。第１のパスのビーム探索の開始時に、Ω_０は、開始記号＜ｓｏｓ＞を有する１つの仮説のみを含む。ｌ＝１〜Ｌ_ｍａｘの場合に、Ω_ｌ−１内の各部分仮説が、取り得る単一のラベルを付加することによって拡張され、新たな仮説がΩ_ｌに記憶される。ただし、Ｌ_ｍａｘは、探索されることになる仮説の最大長である。新たな各仮説のスコアは

として対数領域において計算される。ただし、ｇはΩ_ｌ−１内の部分仮説であり、ｙはｇに付加される単一のラベルであり、ｈは新たな仮説であり、すなわち、ｈ＝ｇ・ｙである。確率ｐ_ａｔｔ（ｙ｜ｇ）は式（１６）によって計算することができる。ただし、Φ_ａｔｔ（＜ｓｏｓ＞）＝０であると仮定する。

ｙが、系列の終了を表す特殊なラベル＜ｅｏｓ＞である場合には、ｈが

に加えられるが、Ω_ｌには加えられない。ただし、

は１組の完全な仮説を表す。最後に、

が、

として取得される。

ビーム探索プロセスにおいて、Ω_ｌは、より高いスコアを有する限られた数の仮説のみを保持することを許され、他の仮説は、探索効率を改善するために切り取られる。

より具体的な手順が以下のように要約される。

この手順において、Ω_ｌ及び

はそれぞれ、長さｌの部分仮説及び完全な仮説を受け入れる待ち行列として実現される。１行目〜２行目において、Ω_０及び

が空の待ち行列として初期化される。３行目において、初期仮説＜ｓｏｓ＞のスコアが０に設定される。４行目〜２３行目において、Ω_ｌ−１内の各部分仮説ｇが、ラベルセットＵ∪｛＜ｅｏｓ＞｝内の各ラベルｙによって拡張される。ただし、演算Ｈｅａｄ（Ω）は待ち行列Ω内の第１の仮説を返し、Ｄｅｑｕｅｕｅ（Ω）は待ち行列から第１の仮説を除去する。

拡張された各仮説ｈは、１１行目において注意デコーダネットワークを用いてスコアリングされる。その後、ｙ＝＜ｅｏｓ＞である場合には、仮説ｈは完全であると仮定され、１３行目において

に記憶される。ただし、

はｈを

に加える演算である。ｙ≠＜ｅｏｓ＞である場合には、１５行目においてｈがΩ_ｌに記憶される。ここで、Ω_ｌ内の仮説の数、すなわち、｜Ω_ｌ｜が１６行目において所定の数ｂｅａｍＷｉｄｔｈと比較される。｜Ω_ｌ｜がｂｅａｍＷｉｄｔｈを超えている場合には、１７行目〜１８行目において、Ω_ｌ内の最少スコアｈ_ｍｉｎを有する仮説がΩ_ｌから除去される。ただし、Ｒｅｍｏｖｅ（Ω_ｌ，ｈ_ｍｉｎ）は、Ω_ｌからｈ_ｍｉｎを除去する演算である。最後に、２４行目において、

が最良の仮説として選択される。

オープン語彙エンドツーエンド音声認識
本発明の実施形態による、オープン語彙エンドツーエンド音声認識モジュール２００を用いたエンドツーエンド音声認識を実行する方法を以下に説明する。

より正確なラベル系列確率を得るために、式（３１）におけるＬＭベースラベル系列確率ｐ_ｌｍ（Ｙ）及び式（５３）におけるＣＴＣベースラベル系列確率ｐ_ｃｔｃ（Ｙ｜Ｘ）が、式（１４）における注意ベースラベル系列確率ｐ_ａｔｔ（Ｙ｜Ｘ）と結合される。ただし、これらの確率は、線形結合によって結合することができる。

マルチレベルＲＮＮ−ＬＭを用いたＬＭ確率
ＬＭ確率は、本発明の実施形態によれば、ＲＮＮ−ＬＭ又はマルチレベルＲＮＮ−ＬＭを用いて、

として計算することができる。

ＬＭモジュール２１０は、文字レベルＲＮＮ−ＬＭ及び単語レベルＲＮＮ−ＬＭを含み、それらのパラメータは、それぞれ文字ＬＭパラメータ２１１及び単語ＬＭパラメータ２１２から読み出される。

ＲＮＮ−ＬＭは、ラベルにわたる確率分布を計算するために使用することができ、この確率分布は、ＲＮＮ−ＬＭを用いて、

として推定される。ただし、

は行列であり、

はベクトルであり、これらはＲＮＮ−ＬＭのトレーニング可能なパラメータである。ｓ_ｌ−１はＬＭ状態ベクトルであり、ＲＮＮ−ＬＭのＬＳＴＭを用いて、

として、ｓ_ｌに更新することができる。ただし、

及び

はそれぞれ、入力ベクトル

に関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列

及びバイアスベクトル

はＲＮＮ−ＬＭに関するＬＳＴＭのパラメータであり、それは順方向ＬＳＴＭと同様にして下付き文字によって識別される。状態ベクトルｓ_ｌは入力ベクトル

及び先行する状態ベクトルｓ_ｌ−１から再帰的に取得され、ただし、ｓ_０は、ｓ_−１＝０及びｙ_０＝＜ｓｏｓ＞を仮定して計算される。デコーダネットワークの場合、入力ベクトル

は、ラベルｙ_ｌのベクトルとして与えられ、それは

として取得することができ、ただし、Ｅｍｂｅｄ（・）は、ラベルを固定次元ベクトルに変換するラベル埋め込みを表す。例えば、これは、以下の式によって計算することができる。

ただし、ＯｎｅＨｏｔ（ｙ）は、ラベルインデックスをワンホットベクトル表現に変換するラベルｙの１−ｏｆ−Ｎコーディングを表す。

は行列であり、ＲＮＮ−ＬＭのトレーニング可能なパラメータである。

ラベル確率は、文脈が与えられると、ｙ＝ｙ_ｌの確率として取得され、すなわち、

である。

注意デコーダネットワークモジュール２０４によって与えられるラベル確率と異なり、ＬＭ確率は音響特徴系列Ｘに依存しない。

以下では、オープン語彙エンドツーエンドＡＳＲの文字レベルＬＭ及び単語レベルＬＭを結合することによって、ラベル確率ｐ_ｌｍ（ｙ_ｌ｜ｙ_１，．．．，ｙ_ｌ−１）を計算する方法を導入する。

２つのＲＮＮ−ＬＭが存在すると仮定する。一方は、１組の文字系列を用いてトレーニングされる文字レベルＲＮＮ−ＬＭであり、他方は、１組の単語系列を用いてトレーニングされる単語レベルＲＮＮ−ＬＭである。

文字系列ｙ_１，．．．，ｙ_ｌ−１、ｙ_ｌに関して文字レベルＲＮＮ−ＬＭによって計算される文字確率をｐ_ｃｌｍ（ｙ_ｌ｜ｙ_１，．．．，ｙ_ｌ−１）と表し、単語系列ｗ_１，．．．，ｗ_ｍ−１、ｗ_ｍに関して単語レベルＲＮＮ−ＬＭによって計算される単語確率をｐ_ｗｌｍ（ｗ_ｍ｜ｗ_１，．．．，ｗ_ｍ−１）と表すことにする。双方の確率は、式（３２）〜（３９）と同じ方法であるが、異なるパラメータセットを用いて計算することができる。

文字ベースエンドツーエンドＡＳＲシステムは、単語内の文字と同様に単語間の空白（space）文字も予測することを考慮に入れる。空白文字は実際の文字コードを有することに留意されたい。空白文字を用いると、任意の文字系列を単語系列に決定論的にマッピングすることが可能であり、例えば、文字系列
ａ，＜ｓｐａｃｅ＞，ｃ，ａ，ｔ，＜ｓｐａｃｅ＞，ｅ，ａ，ｔ，ｓ
は、一意の単語系列
ａ，ｃａｔ，ｅａｔｓ
にマッピングされる。ただし、＜ｓｐａｃｅ＞は、空白文字を形式的に表す。したがって、デコーダが空白文字を仮定するときにのみ、デコーダは、単語レベルＲＮＮ−ＬＭを用いて最後の単語の確率を計算し、この確率を仮説スコアに単に累算する。種々のタイプの同形異音語及び同音異形語（homonym）について特殊な扱いは必要ない。すなわち、同じスペルを有するが異なる発音を有する単語は、単語言語モデルによって文脈に応じた方法で取り扱われる一方、同じ発音を有するが異なるスペルを有する単語は、ビーム探索において異なる単語仮説として自動的に取り扱われる。同様に、多義的な単語分割は、異なる復号仮説として自動的に取り扱われる。

一実施形態による機構は、以下のように文字レベルＬＭ確率を変更することによって実施することができる。

Ｖを、単語レベルＲＮＮ−ＬＭの語彙とし、＜ＵＮＫ＞等のＯＯＶ単語の抽象記号を含むものとする。式（３１）における条件付きラベル確率を、

として計算する。ただし、Ｓは、単語の終了を示す１組のラベルを表す。すなわち、Ｓ＝｛＜ｓｐａｃｅ＞，＜ｅｏｓ＞｝である。ｗ_ｇは、文字系列ｇの最後の単語であり、ψ_ｇは、ｗ_ｇを除くｇに対応する単語系列である単語レベル履歴である。上記例について、ｇ、ｗ_ｇ及びψ_ｇは、

として設定される。

は、ＯＯＶ単語の確率を調整するために使用される倍率である。

式（４０）の右辺における第１の条件は、文字ｃが先行する単語の終了を示すときに使用される。この場合、単語レベル確率ｐ_ｗｌｍ（ｗ_ｇ｜ψ_ｇ）は、単語レベルＲＮＮ−ＬＭを用いて計算される。分母ｐ_ｃｌｍ（ｗ_ｇ｜ψ_ｇ）は、文字レベルＲＮＮ−ＬＭによって取得されるとともに、ｗ_ｇについて累算された文字レベルＬＭ確率をキャンセルするために使用されるｗ_ｇの確率である。この確率は、

として計算することができる。ただし、｜ｗ_ｇ｜は、単語ｗ_ｇの文字数であり、ｗ_ｇ，ｉは、ｗ_ｇの第ｉ文字を示し、

は、ψ_ｇの文字表現であり、例えば、
ψ_ｇ＝ａ，ｃａｔである場合に、

である。

したがって、文字系列ｇに関する累算された文字レベルＬＭ確率は、対応する単語レベルＬＭ確率によってリスコアリングされる。

第２項ｐ_ｗｌｍ（＜ＵＮＫ＞｜ψ_ｇ）は、文字レベルＬＭに対する重みとして機能し、結合された言語モデルが、単語境界及び中間の双方において文字系列にわたって正規化されることを保証する。

ｗ_ｇが、第２の条件におけるようにＯＯＶ単語である場合には、単語レベルＲＮＮ−ＬＭ及び文字レベルＲＮＮ−ＬＭを用いてＯＯＶ単語の単語レベル確率を、

として計算することができると仮定する。文字レベル確率は、

を満たすので、文字レベル確率は、

として近似され、

が取得される。ただし、倍率

であると仮定され、これは調節可能なパラメータとして設定される。式（４０）の第２の条件において、文字ベース確率ｐ_ｃｌｍ（ｗ_ｇ｜ψ_ｇ）は、この仮説について既に累算されているので削除される。この項によって、ＯＯＶ単語及び語彙内単語の予測が可能になり、オープン語彙ＡＳＲが可能になる。

式（４０）の第３の場合は、文字レベルＬＭ確率を単語内の仮説に与える。文字レベルＬＭ確率は、あらゆる既知の単語仮説の終了時にキャンセルされる。そのため、文字レベルＬＭ確率は、ＯＯＶ単語をスコアリングするためにのみ使用されるが、単語レベルＬＭ確率が適用される単語の終了まで、ビーム探索において正しい単語仮説を能動的なものに保つ際に別の重要な役割を果たす。

下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ

及び

と、文字レベルＬＭ及び単語レベルＬＭの

とはそれぞれ、文字ＬＭパラメータ２１１及び単語ＬＭパラメータ２１２に記憶される。

これらのパラメータは、ラベル確率分布ｐ_ｌｍ（ｙ｜ｙ_１，．．．，ｙ_ｌ−１）を計算するために使用される。

ＣＴＣ確率
ＣＴＣモジュール２０８は、隠れベクトル系列Ｈが与えられると、ラベル系列ＹのＣＴＣ順方向確率を計算する。ＣＴＣ定式化は、１組の異なるラベルＵを有するＬ長のラベル系列Ｙ＝｛ｙ_ｌ∈Ｕ｜ｌ＝１，．．．，Ｌ｝を使用することに留意されたい。付加的な「ブランク」ラベルを有するフレームごとのラベル系列を導入することによって、Ｚ＝｛ｚ_ｔ∈Ｕ∪｛ｂ｝｜ｔ＝１，．．．，Ｔ｝となる。ただし、ｂはブランクラベルを表す。確率連鎖律と、条件付き独立仮定とを使用することによって、事後確率ｐ（Ｙ｜Ｘ）は以下のように分解される。

ただし、ｐ（ｚ_ｔ｜ｚ_ｔ−１｜Ｙ）はブランクラベルを含むラベル遷移確率とみなされる。ｐ（ｚ_ｔ｜Ｘ）は、入力系列Ｘを条件とし、双方向長短期メモリ（ＢＬＳＴＭ）を使用することによってモデル化される、フレームごとの事後確率である。

ただし、ｈ_ｔはエンコーダネットワークを用いて得られる。

は行列であり、

はベクトルであり、それらはＣＴＣのトレーニング可能なパラメータであり、ＣＴＣネットワークパラメータ２０９に記憶される。式（４６）は、全ての取り得るＺにわたる総和を取り扱わなければならないが、順方向アルゴリズムを使用することによって効率的に計算される。

ＣＴＣのための順方向アルゴリズムは以下のように実行される。長さ２Ｌ＋１の拡張ラベル系列Ｙ’＝ｙ’_１，ｙ’_２，．．．，ｙ’_２Ｌ＋１＝ｂ，ｙ_１，ｂ，ｙ_２，．．．，ｂ，ｙ_Ｌ，ｂが使用される。ただし、ブランクラベル「ｂ」が各対の隣接するラベル間に挿入される。α_ｔ（ｓ）を順方向確率とする。それは時間フレーム１，．．．，ｔに関するラベル系列ｙ_１，．．．，ｙ_ｌの事後確率を表し、ただし、ｓは、拡張ラベル系列Ｙ’内の位置を示す。

初期化のために、

が設定される。ｔ＝２〜Ｔの場合に、α_ｔ（ｓ）は、

として再帰的に計算される。ただし、

である。最後に、ＣＴＣベースラベル系列確率が

として得られる。

フレームごとのラベル系列Ｚは、入力音響特徴系列Ｘと出力ラベル系列Ｙとの間のアライメントを表す。順方向確率を計算するとき、式（５１）の再帰によって、Ｚが単調になるように強制され、アライメントＺにおいてｓがループ又は大きくジャンプできないようにされる。なぜなら、α_ｔ（ｓ）を得るための再帰は、多くてもα_ｔ−１（ｓ）、α_ｔ−１（ｓ−１）、α_ｔ−１（ｓ−２）しか考慮しないためである。これは、時間フレームが１フレームだけ進むとき、ラベルが先行するラベル又はブランクから変化するか、又は同じラベルを維持することを意味する。この制約は、アライメントが単調になるように強制する遷移確率ｐ（ｚ_ｔ｜ｚ_ｔ−１，Ｙ）の役割を果たす。それゆえ、ｐ_ｃｔｃ（Ｙ｜Ｘ）が、不規則な（非単調の）アライメントに基づいて計算されるときに、０又は非常に小さい値とすることができる。

図３は、本発明の実施形態による結合ニューラルネットワークモジュール３００を示す概略図である。結合ニューラルネットワーク３００は、エンコーダネットワークモジュール２０２と、注意デコーダネットワークモジュール２０４と、ＣＴＣモジュール２０８と、ＬＭモジュール２１０とを含む。各矢印は、変換を伴う、又は伴わないデータ転送を表し、各正方形ノード又は円形ノードは、ベクトル又は予測ラベルを表す。音響特徴系列Ｘ＝ｘ_１，．．．，ｘ_Ｔが、エンコーダネットワークモジュール２０２に送り込まれ、エンコーダネットワークモジュールでは、２つのＢＬＳＴＭがスタックされ、第１のＢＬＳＴＭの１つおきの隠れベクトルが第２のＢＬＳＴＭに送り込まれる。エンコーダモジュール２０２の出力の結果、隠れベクトル系列Ｈ＝ｈ’_１，ｈ’_２，．．．，ｈ’_Ｔ’が生成される。ただし、Ｔ’＝Ｔ／２である。その後、ＨがＣＴＣモジュール２０８及びデコーダネットワークモジュール２０４に送り込まれる。ＣＴＣベース系列確率、注意ベース系列確率及びＬＭベース系列確率がそれぞれ、ＣＴＣモジュール２０８、デコーダネットワークモジュール２０４、及びＬＭモジュール２１０を用いて計算され、ラベル系列確率を取得するために結合される。

オープン語彙エンドツーエンドＡＳＲのためのラベル系列探索
ラベル系列探索モジュール２０６は、結合されたラベル系列確率分布に従って、最確ラベル系列

を

として見つける。ただし、ｐ_ｃｔｃ（Ｙ｜Ｘ）は式（５３）におけるＣＴＣベースラベル系列確率であり、ｐ_ａｔｔ（Ｙ｜Ｘ）は式（１４）における注意ベースラベル系列確率であり、ｐ_ｌｍ（Ｙ）は式（３１）におけるＬＭベースラベル系列確率である。λ及びκは、これらの３つの確率のバランスをとるための倍率である。

本発明のビーム探索プロセスにおいて、各部分仮説ｈのスコアが、

として計算される。ただし、Φ_ａｔｔ（ｈ）は式（２９）によって計算され、Φ_ｌｍ（ｈ）は、

として得られる。

Φ_ｃｔｃ（ｈ，Ｘ）を計算するために、自身のプレフィックスとしてｈを有する全てのラベル系列の累積確率として定義されるＣＴＣプレフィックス確率

が利用され、ＣＴＣスコアは、

と定義される。ただし、ｖは、空のストリングを除く、全ての取り得るラベル系列を表す。ＣＴＣスコアは、式（２９）におけるΦ_ａｔｔ（ｈ）及び式（５６）におけるΦ_ｌｍ（ｈ）として再帰的に得ることはできないが、入力時間フレームにわたって順方向確率を維持することによって、部分仮説ごとに効率的に計算することができる。

本発明の実施形態によれば、ラベル系列探索モジュール２０６は、

を以下の手順に従って見つける。

従来技術の注意ベースエンドツーエンドＡＳＲのためのビーム探索方法との相違がいくつかある。

４行目において、ＬＭスコアが初期化される。１４行目において、ジョイントスコアΦ_{ｊｏｉｎｔ}（ｈ）が、ＣＴＣスコアΦ_ｃｔｃ（ｈ、Ｘ）、注意ベーススコアΦ_ａｔｔ（ｈ）、及びＬＭスコアΦ_ｌｍ（ｈ）を用いて計算される。２０行目において、ジョイントスコアΦ_{ｊｏｉｎｔ}（ｈ）が、ｈ_ｍｉｎを選択するために使用される。２７行目において、ジョイントスコアΦ_{ｊｏｉｎｔ}（ｈ）及び＜ｅｏｓ＞の単語レベルＬＭ確率が結合され、

が決定される。＜ｅｏｓ＞の単語レベルＬＭ確率は、式（４０）において考慮されないので、最終決定において結合する必要がある。

ＣＴＣスコアΦ_ｃｔｃ（ｈ，Ｘ）は、修正順方向アルゴリズムを用いて計算することができる。

及び

を時間フレームｔ＝１，．．．，tにわたる仮説ｈの順方向確率であるとする。ただし、上付き文字（ｎ）及び（ｂ）はそれぞれ、全てのＣＴＣ経路が非ブランクラベル又はブランクラベルで終了する異なる事例を表す。ビーム探索を開始する前に、

及び

が、ｔ＝１，．．．，Ｔに関して、

として初期化される。ただし、

であり、ｂがブランクラベルであると仮定する。エンコーダに関するサブサンプリング技法のため、時間インデックスｔ及び入力長Ｔは入力発話Ｘの時間インデックス及び入力長とは異なる場合があることに留意されたい。ＣＴＣスコア関数は以下のように実施することができる。

この関数において、所与の仮説ｈが、１行目において、最初に、最後のラベルｙ及び残りのラベルｇに分割される。ｙが＜ｅｏｓ＞である場合には、３行目において、ｈが完全な仮説であると仮定して、順方向確率の対数を返す。ｈの順方向確率は、

及び

の定義に従って、

によって与えられる。ｙが＜ｅｏｓ＞でない場合には、ｈが完全な仮説でないと仮定して、順方向確率

及び

並びにプレフィックス確率Ψ＝ｐ_ｃｔｃ（ｈ，．．．｜Ｘ）を計算する。それらの確率に関する初期化ステップ及び再帰ステップが５行目〜１３行目に記述される。この関数において、１０行目〜１２行目において

及びΨを計算するときにはいつでも、ｇがｈのプレフィックスであり、｜ｇ｜＜｜ｈ｜であるので、９行目の確率

及び

がビーム探索プロセスを通して既に取得されていると仮定される。したがって、プレフィックス確率及び順方向確率を効率的に計算することができる。９行目のｌａｓｔ（ｇ）は、ｇの最後のラベルを返す関数であることを留意されたい。

したがって、ビーム探索法は、探索プロセス中にＣＴＣスコアによって不規則なアライメントを伴う部分仮説を除外することができ、リスコアリング法と比べて少ない計算で、望ましくは探索誤りの数を削減する。探索誤りは、ビーム探索によって最確仮説が見逃されることを意味する。この場合、最良の仮説の代わりに、スコアが低い代替の仮説が取得され、代替の仮説は一般に、最良の仮説より多くの認識誤りを含む。

ネットワークトレーニング
ＡＳＲシステムを使用する前に、ネットワークパラメータ２０３、２０５及び２０９が、損失関数

を低減するように同時に最適化される。ただし、Ｘ及びＹは、音響特徴系列及びラベル系列を含むトレーニングデータである。Θは１組のネットワークパラメータを表す。Ｎは、トレーニングサンプルの数であり、Ｘ_ｎ及びＹ_ｎはそれぞれ、トレーニングデータ内の第ｎの音響特徴系列及び対応するラベル系列である。ｐ_ｃｔｃ（Ｙ_ｎ｜Ｘ_ｎ，Θ）は、パラメータセットΘを用いて計算される式（５３）におけるＣＴＣベース系列確率であり、ｐ_ａｔｔ（Ｙ_ｎ｜Ｘ_ｎ，Θ）は、パラメータセットΘを用いて計算される式（１４）における注意ベース系列確率である。ネットワークパラメータは、損失関数を低減するように確率的勾配降下法によって最適化することができる。このトレーニング手順は、エンコーダネットワーク、デコーダネットワーク、及びＣＴＣネットワークを同時に最適化する。

文字ＬＭパラメータ２１１及び単語レベルＬＭパラメータ２１２は、文字系列データＹ^（Ｃ）及び単語系列データＹ^（Ｗ）を用いて独立して最適化される。文字レベルＲＮＮ−ＬＭの損失関数は、

であり、単語レベルＲＮＮ−ＬＭの損失関数は、

である。ただし、Θ_ｃｌｍ及びΘ_ｗｌｍはそれぞれ、１組の文字ＬＭパラメータ及び１組の単語ＬＭパラメータを表す。

及び

は、式（３１）と同様に計算されるＬＭ確率である。Ｎ^（ｃ）は、Ｙ^（ｃ）におけるトレーニングサンプルの数であり、

は、Ｙ^（ｃ）における第ｎの文字系列である。Ｎ^（ｗ）は、Ｙ^（ｗ）におけるトレーニングサンプルの数であり、

は、Ｙ^（ｗ）における第ｎの文字系列である。

ＬＭパラメータは、損失関数を低減するように確率的勾配降下法によって最適化することができる。

オープン語彙エンドツーエンド音声認識装置
図４は、本発明のいくつかの実施形態による、オープン語彙エンドツーエンド音声認識システム（音声認識システム）４００のブロック図を示す。音声認識システム４００は、キーボード４１１及びポインティングデバイス／媒体４１２と接続可能なヒューマンマシンインターフェース（ＨＭＩ）４１０と、１つ以上のプロセッサ４２０と、記憶デバイス４３０と、メモリ４４０と、ローカルエリアネットワーク及びインターネットネットワークを含むネットワーク４９０と接続可能なネットワークインターフェースコントローラー４５０（ＮＩＣ）と、ディスプレイインターフェース４６０と、マイクロフォンデバイス４７５と接続可能なオーディオインターフェース４７０と、印刷デバイス４８５と接続可能なプリンタインターフェース４８０とを含む。メモリ４４０は１つ以上のメモリユニットとすることができる。エンドツーエンド音声認識システム４００は、ＮＩＣ４５０に接続されるネットワーク４９０を介して電気的なオーディオ波形／スペクトルデータ４９５を受信することができる。記憶デバイス４３０は、エンドツーエンド音声認識モジュール２００、注意デコーダネットワークモジュール２０４、エンコーダネットワークモジュール２０２、ＣＴＣモジュール２０８、及び音響特徴抽出モジュール４３４を含む。ラベル系列探索モジュール、エンコーダネットワークパラメータ、デコーダネットワークパラメータ及びＣＴＣネットワークパラメータは図において省略される。ポインティングデバイス／媒体４１２は、コンピュータ可読記録媒体上に記憶されるプログラムを読み出すモジュールを含むことができる。注意デコーダネットワークモジュール２０４、エンコーダネットワークモジュール２０２及びＣＴＣモジュール２０８は、ニューラルネットワークパラメータによって形成することができる。音響特徴抽出モジュール４３４は、音響特徴系列を抽出するために使用されるプログラムである。音響特徴系列は、一次及び二次時間導関数及び／又はピッチ特徴を伴うメルスケールフィルターバンク係数の系列とすることができる。

エンドツーエンド音声認識を実行するために、キーボード４１１、ポインティングデバイス／媒体４１２を用いて、又は他のコンピュータ（図示せず）に接続されるネットワーク４９０を介して、エンドツーエンド音声認識システム４００に命令を送信することができる。システム４００は、ＨＭＩ４１０を介して命令を受信し、記憶デバイス４３０に記憶されるエンドツーエンド音声認識モジュール２００、注意デコーダネットワークモジュール２０４、エンコーダネットワークモジュール２０２、ＣＴＣモジュール２０８及び音響特徴抽出モジュール４３４をロードすることによって、メモリ４４０に関連するプロセッサ４２０を用いてエンドツーエンド音声認識を実行するための命令を実行する。

評価結果
図５は、本発明の実施形態によるオープン語彙エンドツーエンド音声認識を実行することによって得られた評価結果である。

この評価は、よく知られている英語のクリーン音声データベースであるウォールストリートジャーナル（ＷＳＪ）コーパスを用いて行った。トレーニング用にｓｉ２８４データセットを使用し、有効性確認用にｄｅｖ９３データセットを使用し、評価用にｅｖａｌ９２データセットを使用した。これらのデータセットは、図５Ａに要約されている。

入力特徴量として、ＢＬＳＴＭエンコーダのピッチ特徴量並びにそれらのデルタ特徴量及びデルタデルタ特徴量を有する８０個のメルスケールフィルターバンク係数を使用した。ＢＬＳＴＭエンコーダの前には、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）層も追加した。注意モデルには、３２個の異なるラベル、すなわち、２６個の英字トークン、アポストロフィートークン、ピリオドトークン、ダッシュトークン、空白トークン、ノイズトークン、及びｓｏｓ／ｅｏｓトークンのみを使用した。ＣＴＣモデルは、ｓｏｓ／ｅｏｓの代わりにブランクを使用し、本発明者らのＭＴＬモデルは、ｓｏｓ／ｅｏｓ及びブランクの双方を使用した。

さらに、このエンコーダネットワークは、ＣＮＮを用いることによって増強されている。これは、これまでの研究によって動機付けられたものである。ＣＮＮアーキテクチャの初期層に基づく６層アーキテクチャと、それに続くエンコーダネットワークにおける８つのＢＬＳＴＭ層とが使用される。このＣＮＮアーキテクチャにおいて、最初の３つの入力チャネルは、スペクトル特徴量、デルタ特徴量、及びデルタデルタ特徴量から構成される。入力音声特徴量イメージが、２つのマックスプーリング層を通じて時間周波数軸とともに（１／４×１／４）イメージにダウンサンプリングされる。ＢＬＳＴＭ層は、各層及び各方向に３２０個のセルを有し、３２０個のユニットを有する線形射影層の後に、各ＢＬＳＴＭ層が続いている。

ロケーションベース注意機構（location−based attention mechanism）を使用し、幅１００の１０個の中央畳み込みフィルター（centered convolution filter）を用いて、畳み込み特徴量を抽出した。デコーダは、３００個のセルを有する１層単方向ＬＳＴＭであった。

最適化には、勾配クリッピングを有するＡｄａＤｅｌｔａアルゴリズムを使用した。過剰信頼予測（over−confidence prediction）を回避するために、ユニグラムラベル平滑化技法も適用した。ハイブリッド注意／ＣＴＣアーキテクチャでは、トレーニングにはλ＝０．１を使用し、復号にはλ＝０．２及びγ＝１．１を使用した。ビーム幅は、全ての条件下の復号において３０に設定した。マルチレベルＬＭを有するハイブリッド注意／ＣＴＣベースＡＳＲは、Ｃｈａｉｎｅｒ深層学習ツールキットを用いることによって実施した。

文字レベルＲＮＮ−ＬＭ及び単語レベルＲＮＮ−ＬＭは、１．６Ｍの文からの３７Ｍの単語からなるＷＳＪテキストコーパスを用いてトレーニングした。文字レベルＬＭは、８００個のセルを有する単一のＬＳＴＭ層と３２次元ｓｏｆｔｍａｘ層とを有していた一方、単語レベルＬＭは、１０００個のセルを有する単一のＬＳＴＭ層と、ＬＭの語彙サイズに等しい２００００次元ｓｏｆｔｍａｘ層とを有していた。確率的勾配降下法（ＳＧＤ：stochastic gradient descent）を使用してＲＮＮ−ＬＭを最適化した。最初の実験は、言語モデルの寄与度を評価するものである。

図５Ｂは、本発明の実施形態による異なる言語モデルを用いたときの単語誤り率（ＷＥＲ）を示す。文字レベルＬＭは、サイズがＷＳＪテキストコーパスの１．８％しかないｓｉ２８４音声データのトランスクリプションをＬＭトレーニングに使用したときであっても、ＷＥＲを１３．４％から１１．５％に低減している。これは、その個別の言語モデルが予測性能に対して或る補完性効果を有することを意味する。ＷＥＲは、ＷＳＪテキストコーパスからのより多くのデータを用いることによって７．７％に低減される。次に、文字レベルを有しない単語レベルＲＮＮ−ＬＭを組み込む。

ここでは、単語レベルＲＮＮ−ＬＭ確率のみが、空白文字又は文末文字の全ての位置に適用された。この場合、ＷＥＲは１２．６％まで増加した。最後に、提案した方法に従って文字レベルＲＮＮ−ＬＭ及び単語レベルＲＮＮ−ＬＭの双方を使用すると、５．６％のＷＥＲに達する大幅な改善が得られた。

単語レベルＲＮＮ−ＬＭのみを使用したときの高いＷＥＲの理由を詳細に調べるために、５〜４０の範囲を有する異なるビーム幅を用いて追加の実験を行った。

図６は、本発明の実施形態によるオープン語彙エンドツーエンド音声認識による、ビーム幅の関数としての単語誤り率を示す評価結果である。図６は、ビーム幅ごとのＷＥＲを示す。文字ＬＭを有しない場合、すなわち、ＬＭ無し又は単語ＬＭの場合、ＷＥＲは、ビーム幅とはほぼ無関係である。これは、デコーダネットワークが高い信頼度を有するラベルを予測し、より広いビームを用いてもその結果を変更しないことを意味する。その結果、各語尾において単語レベルＬＭ確率を適用することは遅過ぎるため、単語レベル情報を用いてより良好な仮説を回復することができない。本発明者らが提案した方法（単語ＬＭ＋文字ＬＭ）は、ビーム探索においてより良好な単語系列仮説を見つけるためのガイドとして文字レベルＬＭを組み合わせることによって、最も低いＷＥＲを達成する。ネットワークをトレーニングするために用いたラベル平滑化技法は、この過剰信頼問題を或る程度緩和するが、文字レベルＬＭの支援がないと、信頼度の低いラベルを回復することは困難であると考えられる。

２番目の実験は、提案した方法によって与えられるオープン語彙の利点を詳細に調べるものである。

図７は、２０Ｋ〜６５Ｋの種々の語彙サイズ及びオープン語彙条件を用いたときのＷＥＲを比較した評価結果である。ＷＥＲの比較は、制限された語彙を用いて復号中に実行される。

語彙は、全ての仮説を語彙内単語のみからなるように制約するために使用されていたにすぎない。この制約は、復号中に語彙に現れる文字系列のみを許容することによって強制することができる。表に示すように、クローズド語彙（closed vocabulary：未知語を含まない語彙）を使用したとき、ＷＥＲは、オープン語彙条件における最良のＷＥＲに達しない。６５Ｋの語彙による小さなＯＯＶ比率を有する場合であっても、依然として、最良のＷＥＲに対して１．８％のギャップがある。認識結果を調べると、それらの結果にはより多くの削除誤りがあることが分かった。これは、デコーダが、語彙制約に起因して高確率を有するラベル系列を仮定することができないとき、能動的（active）仮説のスコアがより小さくなり、それゆえ、より短い仮説が結果として選択される傾向があるからであると考えられる。標準的なウォールストリートジャーナル（ＷＳＪ）タスクでは、Ｅｖａｌ’９２テストセットについて、ＳＩ２８４トレーニングセット及びＷＳＪテキストデータのみを用いて５．６％のＷＥＲが達成され、これが最良である。

本開示のいくつかの実施形態において、上記のエンドツーエンド音声認識システムがコンピュータシステム内にインストールされるときに、少ない計算能力で音声認識を実効的、かつ正確に実行することができ、それゆえ、本開示のエンドツーエンド音声認識方法又はシステムを使用することにより、中央処理ユニット使用量及び電力消費量を削減することができる。

さらに、本開示による実施形態は、エンドツーエンド音声認識を実行する実効的な方法を提供し、それゆえ、そのエンドツーエンド音声認識モデルを使用する方法及びシステムを使用することによって、中央処理ユニット（ＣＰＵ）使用量、電力消費量及び／又はネットワーク帯域幅使用量を削減することができる。

本開示の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータに設けられるのか又は複数のコンピュータ間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。

また、本明細書において略述された様々な方法又はプロセスは、様々なオペレーティングシステム又はプラットフォームのうちの任意の１つを用いる１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化することができる。加えて、そのようなソフトウェアは、複数の適したプログラミング言語及び／又はプログラミングツール若しくはスクリプティングツールのうちの任意のものを用いて記述することができ、実行可能機械語コード、又はフレームワーク若しくは仮想機械上で実行される中間コードとしてコンパイルすることもできる。通常、プログラムモジュールの機能は、様々な実施形態において所望に応じて組み合わせることもできるし、分散させることもできる。

さらに、本開示の実施形態は、方法として具現化することができ、この方法の一例が提供されている。この方法の一部として実行される動作は、任意の適した方法で順序付けることができる。したがって、例示したものと異なる順序で動作が実行される実施形態を構築することができ、この順序は、いくつかの動作が例示の実施形態では順次的な動作として示されていても、それらの動作を同時に実行することを含むことができる。さらに、請求項の要素を修飾する、特許請求の範囲における第１、第２等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。

Claims (17)

1. １つ以上のプロセッサと、
   パラメータと、前記１つ以上のプロセッサによって実行可能な命令を含むプログラムモジュールとを記憶する１つ以上の記憶デバイスであって、前記命令は、実行されると、前記１つ以上のプロセッサに動作を実行させ、前記動作は、
   オーディオインターフェース又はネットワークインターフェースコントローラによって得られるオーディオ波形データから音響特徴系列を抽出することと、
   エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、
   前記隠れベクトル系列を、デコーダネットワークパラメータを有するデコーダネットワークに送り込むことによって、第１の出力ラベル系列確率を予測することと、
   文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することであって、
   先行する単語の後ろの文字が単語の終わりを示す所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれている場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭおよび前記文字レベルＬＭを使用して得られた確率の除算によって計算され、
   前記先行する単語の前記後ろの文字が前記所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれていない場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭとスケーリング係数を使用して計算され、
   前記先行する単語の前記後ろの文字が前記所定のラベルセットに属していない場合、前記第２の出力ラベル系列確率は、前記文字レベルＬＭを使用して計算されることによって、前記予測することと、
   前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することと、
   を含む、１つ以上の記憶デバイスと、
   を備える、音声認識システム。
2. 前記動作は、コネクショニスト時系列分類（ＣＴＣ）ネットワークパラメータを使用するＣＴＣと、前記エンコーダネットワークからの前記隠れベクトル系列とによって、第３の出力ラベル系列確率を予測することを更に含み、
   前記探索することは、前記デコーダネットワーク、前記ハイブリッドネットワーク及び前記ＣＴＣから与えられた前記第１の出力ラベル系列確率、前記第２の出力ラベル系列確率及び前記第３の出力ラベル系列確率を結合することによって実行される、請求項１に記載の音声認識システム。
3. 前記ハイブリッドネットワークは、文字レベル確率を計算する文字レベル再帰型ニューラルネットワーク（ＲＮＮ）と、単語レベル確率を計算する単語レベルＲＮＮとを備える、請求項１に記載の音声認識システム。
4. 前記デコーダネットワークは、前記第１の出力ラベル系列確率を予測する前に、先行するラベルを受信する、請求項１に記載の音声認識システム。
5. 前記ＣＴＣは、前記第３の出力ラベル系列確率を予測する前に、先行するラベルを受信する、請求項２に記載の音声認識システム。
6. 前記エンコーダネットワークは、スタックされた双方向長短期メモリ（ＢＬＳＴＭ）と、畳み込みニューラルネットワーク（ＣＮＮ）とを含む、請求項１に記載の音声認識システム。
7. 前記デコーダネットワークはスタックされた長短期メモリ（ＬＳＴＭ）を含み、前記隠れベクトル系列に関する注意機構を用いて、前記第１の出力ラベル系列確率をそれぞれ予測する、請求項１に記載の音声認識システム。
8. 前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合するために、対数領域における線形結合が使用される、請求項１に記載の音声認識システム。
9. 前記探索することは、ビーム探索を用いて、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られた最も高い系列確率を有する前記出力ラベル系列を見つける、請求項１に記載の音声認識システム。
10. 前記ビーム探索は、最初に、前記デコーダネットワークから与えられた前記第１の出力ラベル系列確率を用いて１組の完全なラベル系列仮説を見つけ、その後、前記１組の完全なラベル系列仮説の中から、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られた最も高い系列確率を有する前記出力ラベル系列を見つける、請求項９に記載の音声認識システム。
11. 前記ビーム探索は、他の不完全なラベル系列仮説と比べて低い系列確率を有する不完全なラベル系列仮説を剪定し、前記結合された出力ラベル系列確率は、前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって得られる、請求項９に記載の音声認識システム。
12. 前記ＣＴＣは、前記第３の出力ラベル系列確率を予測するために、前記ＣＴＣネットワークパラメータ及び動的計画法を用いて、事後確率分布を計算する、請求項２に記載の音声認識システム。
13. メモリと通信するコンピュータに音声認識プロセスを実行させるプログラムを記憶する非一時的コンピュータ可読記録媒体であって、前記音声認識プロセスは、
    声音を準備することと、
    前記声音から変換されたオーディオ波形データから音響特徴系列を抽出することと、
    エンコーダネットワークパラメータを有するエンコーダネットワークを用いて、前記音響特徴系列を隠れベクトル系列に符号化することと、
    デコーダネットワークパラメータを有するデコーダネットワークに前記隠れベクトル系列を送り込むことによって、第１の出力ラベル系列確率を予測することと、
    文字レベル言語モデル（ＬＭ）及び単語レベルＬＭを使用するハイブリッドネットワークによって第２の出力ラベル系列確率を予測することであって、
    先行する単語の後ろの文字が単語の終わりを示す所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれている場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭおよび前記文字レベルＬＭを使用して得られた確率の除算によって計算され、
    前記先行する単語の前記後ろの文字が前記所定のラベルセットに属し、前記先行する単語が前記単語レベルＬＭの語彙に含まれていない場合、前記第２の出力ラベル系列確率は、前記単語レベルＬＭとスケーリング係数を使用して計算され、
    前記先行する単語の前記後ろの文字が前記所定のラベルセットに属していない場合、前記第２の出力ラベル系列確率は、前記文字レベルＬＭを使用して計算されることによって、前記予測することと、
    前記デコーダネットワーク及び前記ハイブリッドネットワークから与えられた前記第１の出力ラベル系列確率及び前記第２の出力ラベル系列確率を結合することによって、最も高い系列確率を有する出力ラベル系列を探索することと、
    を含む、非一時的コンピュータ可読記録媒体。
14. 前記音声認識プロセスは、コネクショニスト時系列分類（ＣＴＣ）ネットワークパラメータを使用するＣＴＣと、前記エンコーダネットワークからの前記隠れベクトル系列とによって、第３の出力ラベル系列確率を予測することを更に含み、
    前記探索することは、前記デコーダネットワーク、前記ハイブリッドネットワーク及び前記ＣＴＣから与えられた前記第１の出力ラベル系列確率、前記第２の出力ラベル系列確率及び前記第３の出力ラベル系列確率を結合することによって実行される、請求項１３に記載の媒体。
15. 前記ハイブリッドネットワークは、文字レベル確率を計算する文字レベル再帰型ニューラルネットワーク（ＲＮＮ）と、単語レベル確率を計算する単語レベルＲＮＮとを備える、請求項１３に記載の媒体。
16. 前記デコーダネットワークは、前記第１の出力ラベル系列確率を予測する前に、先行するラベルを受け取る、請求項１３に記載の媒体。
17. 前記ＣＴＣは、前記第３の出力ラベル系列確率を予測する前に、先行するラベルを受け取る、請求項１４に記載の媒体。

Images