JP6979028B2 - 雑音の多い未知のチャネル条件における音声認識のためのシステムおよび方法 - Google Patents

Description

関連出願の相互参照

本願は、２０１６年３月２２日に出願された「Unsupervised Adaptation of Deep Nural Networks to Unseen and Noisy Channel Conditions（雑音の多い未知のチャネル条件に対する深層ニューラルネットワークの教師なし適応）」という名称の米国仮特許出願第６２／３１１，７１７号に基づくものであり、それによる優先権の主張し、その全体を本明細書に組み込む。

連邦政府による資金提供を受けた研究開発の記載
本発明は、アメリカ国防高等研究計画局（ＤＡＲＰＡ）によって支援される契約第ＨＲ００１１−１５−Ｃ−００３７号の下でアメリカ合衆国連邦政府の支援を受けて行われたものである。アメリカ合衆国連邦政府は本発明に特定の権利を有する。

本開示は、一般的に、音声認識のために音声データを処理するためのシステムおよび方法に関する。より具体的には、本開示は、雑音の多い未知のチャネル条件における音声認識のための改善されたシステムおよび方法に関する。

変化する背景条件における音声認識は困難な課題である。トレーニングデータと評価データとの間の音響条件の不一致は、認識性能を顕著に低下させ得る。不一致の条件については、典型的には、音響モデルを新たなデータ条件に晒すデータ適応技術が有用であることが見出されている。教師あり適応技術は、通常、かなりの性能改善を提供するが、そのようなゲインは、ラベリングまたは音声表記されたデータを有することを条件としており、そのようなデータは入手できない場合が多い。代替手段としては、教師なし適応があり、典型的には、特徴変換方法およびモデル適応技術が研究される。

本願は、未知のチャネルおよび雑音条件の問題に対処するための、ロバストな特徴、特徴空間最尤線形回帰（ｆＭＬＬＲ）変換、および深層畳み込みネットワークを研究する。更に、本願は、音声信号から抽出された音響特徴を用いることによってトレーニングされた深層オートエンコーダ（ＤＡＥ）ネットワークから抽出されたボトルネック（ＢＮ）特徴を研究する。そのような表現は、ロバストなシステムを生成するだけでなく、教師なしモデル適応のためのデータ選択を行うために用いられ得ることが示される。本願の最後に示されている例で論じられる結果は、本願において呈示される技術が、未知のチャネルおよび雑音条件における音声認識システムの性能を顕著に改善することを示している。

本開示は例として示されるものであり、添付の図面に限定するものではない。図面は、単独でまたは組合せにおいて、本開示の１以上の実施形態を示し得る。図面に示されている要素は必ずしも縮尺通りに描かれていない。図面間で、参照ラベルは、対応するまたは類似の要素を示すために繰り返され得る。
本開示の態様による例示的なシステムの少なくとも１つの実施形態の簡略化されたブロック図を示す 本開示の態様による自動音声認識システムの少なくとも１つの実施形態の簡略化されたブロック図を示す 本開示の態様による特徴抽出モジュールについての動作のステップを説明するフローチャート 本開示の態様による深層ニューラルネットワークの少なくとも１つの実施形態を示す模式図 本開示の態様による深層オートエンコーダの少なくとも１つの実施形態を示す模式図 本開示の態様によるニューラルネットワークシステムの少なくとも１つの実施形態を示す模式図 本開示の態様によるニューラルネットワークシステムの少なくとも１つの実施形態を示す模式図 深層オートエンコーダがソース（即ち既知の）音声信号を受信したときの、深層オートエンコーダのボトルネック層の活性化されたニューロンを示すチャート 深層オートエンコーダが未知の音声信号を受信したときの、深層オートエンコーダのボトルネック層の活性化されたニューロンを示すチャート 本開示の態様による時間周波数畳み込みニューラルネットワークの少なくとも１つの実施形態を示す模式図 本開示の態様による図１の例示的なシステムについての例示的な使用方法のステップを説明するフローチャート

本発明の上記または他の態様および長所は、以下の説明から明らかになる。この説明において、説明の一部をなす添付の図面が参照され、図面には、本発明の好ましい実施形態が例示の目的で示されている。しかし、そのような実施形態は、必ずしも本発明の全範囲を表しておらず、従って、本発明の範囲を解釈するためには、特許請求の範囲および本明細書が参照される。

深層ニューラルネットワーク（ＤＮＮ）隠れマルコフモデル（ＨＭＭ）に基づく自動音声認識（ＡＳＲ）システムは、トレーニング条件と評価条件が似ている限りは、印象的な性能を示す。残念ながら、ＤＮＮ-ＨＭＭシステムは、データが不足していると共にデータの影響を受け易い。ＤＮＮ音響モデルは、音響条件の不一致の影響をかなり受け得るものであり、雑音、残響、および／またはチャネルの歪みに起因する背景音響条件の僅かな変化によって、そのようなモデルの脆弱性が露呈し得る。典型的には、ＤＮＮ音響モデルの脆弱性を補償するために、データ拡張によってサポートされる多条件トレーニングが用いられ、文献では、多様なソースから収集された数千時間の音響データを用いてロバストなＤＮＮ音響モデルをトレーニングできることが報告されている。データ拡張は、顕著な影響を有することも見出されている。そのような全ての条件では、モデルが遭遇する歪みの種類に関するアプリオリな知識があることを想定しており、そうではないケースがしばしばあり得る。現実世界のＡＳＲの適用は、典型的には多様な音響条件に遭遇し、それらは、しばしば独特であり、従って予測困難である。そのような条件の１つは、チャネルのばらつきおよび雑音であり、これは実際上はオープンセット問題である。

ここで図１を参照すると、本開示の態様による例示的なシステム１００のブロック図が示されている。一般的に、システム１００は、入力１０２、プロセッサ１０４、メモリ１０６、および出力１０８を含み得るものであり、本開示の態様による音声認識のために聴覚的サンプルを解析する工程を行うよう構成され得る。

図１に示されるように、システム１００は、入力１０２への有線または無線接続を介して、聴覚システム１１０、ストレージサーバ１１２、またはデータベース１１４のうちの１以上と通信し得る。一般的に、システム１００は、様々なコンピュータ、システム、デバイス、マシン、メインフレーム、ネットワーク、および／またはサーバに対する指示を実行するよう構成された任意のデバイス、装置、またはシステムであり得、様々なコンピュータ、システム、デバイス、マシン、メインフレーム、ネットワーク、および／またはサーバの一部として、またはそれらと協働して動作し得る。

幾つかの態様において、システム１００は、ポータブルまたはモバイル機器（例えば、セルラーまたはスマートフォン、ラップトップ、タブレット等）であり得る。この点に関して、システム１００は、様々なソフトウェアおよびハードウェアの能力および機能性を統合するよう設計されたシステムであり得る、および／または、自律的に動作可能であり得る。更に、聴覚システム１１０とは別々に示されているが、幾つかの態様において、システム１００またはその一部は、聴覚システム１１０の一部であり得るか、または聴覚システム１１０に組み込まれ得る。

入力１０２は、ユーザからの様々な選択および動作の指示を受信するための任意の１以上の異なる入力要素（例えば、マウス、キーボード、タッチパッド、タッチスクリーン、ボタン）等を含み得る。入力１０２は、様々なデータおよび情報を受け取るための様々なドライブおよびレセプタクル（例えば、フラッシュドライブ、ＵＳＢドライブ、ＣＤ／ＤＶＤドライブ、および他のコンピュータ可読媒体のレセプタクル等）も含み得る。この目的で、入力１０２は、これらおよび他の外部コンピュータ、システム、デバイス、マシン、メインフレーム、サーバ、またはネットワークとデータおよび情報を交換するための様々な通信ポートおよびモジュール（例えば、イーサネット、Ｂｌｕｅｔｏｏｔｈ、またはＷｉＦｉ等）も含み得る。

プロセッサ１０４は、システム１００を動作させるための様々な工程を行うよう構成されることに加えて、本明細書に記載される方法による音声認識のために聴覚的サンプルを解析するようプログラムされ得る。具体的には、プロセッサ１０４は、メモリ１０６内の非一過性のコンピュータ可読媒体１１６内に格納されている指示を実行するよう構成され得る。プロセッサ１０４によって実行可能な指示は、様々な自動音声認識（ＡＳＲ）システムに対応し得るものであり、その例については後述する。図１では、非一過性のコンピュータ可読媒体１１６はメモリ１０６に含まれるものとして示されているが、それに加えて、またはその代わりに、プロセッサ１０４によって実行可能な指示は、非一過性のコンピュータ可読媒体を有する別のデータ格納場所に格納されてもよい。

幾つかの態様において、プロセッサ１０４は、音声信号を受信して、様々な情報（文字列、テキストベースのコマンド、仮説の信頼性レベル、および他のデータを含む）を生成するために処理するよう構成され得る。幾つかの態様において、プロセッサ１０４は、入力１０２を用いて、聴覚システム１１０、ストレージサーバ１１２、データベース１１４、または他のデータ格納場所に格納されている、またはそこから発せられる情報およびデータ（音声信号を含む）にアクセスし得る。幾つかの態様において、聴覚システム１１０は、例えば、スピーカー１１８を用いて連続的に記録するためのマイクまたは他の音声記録装置を用いて、音声信号を連続的に取得し得る。

本開示の実施形態は、本技術の実施形態による方法およびシステムのフローチャート、および／または、コンピュータプログラム製品としても実装され得るアルゴリズム、式、もしくは他の計算表現を参照して説明され得る。この点に関して、フローチャートの各ブロックまたはステップ、フローチャートのブロック（および／またはステップ）の組合せ、アルゴリズム、式、または計算表現は、コンピュータ可読プログラムコード論理において具現化される１以上のコンピュータプログラム指示を含む様々な手段（例えば、ハードウェア、ファームウェア、および／またはソフトウェア等）によって実装され得る。なお、任意のそのようなコンピュータプログラム指示が、図１を参照して説明されるようなシステム１００、並びに、汎用コンピュータもしくは専用コンピュータ、または他のプログラム可能処理装置を含むがそれらに限定されない他の任意のコンピュータにロードされて、コンピュータまたは他のプログラム可能処理装置上で実行されるコンピュータプログラム指示が、フローチャートのブロックにおいて指定されている機能を実装するための手段を生成するようなマシンを生成し得る。

従って、フローチャートのブロック、アルゴリズム、式、または計算表現は、指定されている機能を行うための手段の組合せ、指定されている機能を行うためのステップの組合せ、および指定されている機能を行うためのコンピュータプログラム指示（例えば、コンピュータ可読プログラムコード論理手段において具現化される指示等）をサポートする。また、本明細書に記載されるフローチャートの各ブロック、アルゴリズム、式、または計算表現、およびそれらの組合せは、指定されている機能もしくはステップを行う専用ハードウェアに基づくコンピュータシステム、または専用ハードウェアとコンピュータ可読プログラムコード論理手段との組合せによって実装され得ることも理解されよう。

更に、これらのコンピュータプログラム指示（例えば、コンピュータ可読プログラムコード論理手段において具現化される指示等）は、コンピュータまたは他のプログラム可能処理装置に特定の方法で機能するよう指示可能な非一過性のコンピュータ可読媒体の形態のコンピュータ可読メモリに格納され、コンピュータ可読メモリに格納された指示が、フローチャートのブロックにおいて指定されている機能を実装する指示手段を含む製品を生成し得る。また、コンピュータプログラム指示は、コンピュータまたは他のプログラム可能処理装置にロードされて、コンピュータまたは他のプログラム可能処理装置上において一続きの処理ステップを行わせてコンピュータによって実装される処理を生じ、コンピュータまたは他のプログラム可能処理装置上で実行される指示が、フローチャートのブロック、アルゴリズム、式、または計算表現において指定されている機能を実装するためのステップを設けるようになっている。

更に、本明細書において用いられる「プログラミングム」または「プログラムで実行可能」という用語は、本明細書に記載される機能を行うためにプロセッサによって実行可能な１以上の指示を指すものである。指示は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組合せで具現化され得る。指示は、装置に対してローカルに非一過性の媒体に格納され得るか、例えばサーバ等にリモートで格納され得るか、または、指示の全てもしくは一部がローカルにおよびリモートで格納され得る。リモートで格納された指示は、ユーザによる開始によって、または１以上の要因に基づいて自動的に装置にダウンロード（プッシュ）され得る。更に、本明細書において用いられるプロセッサ、コンピュータプロセッサ、中央処理装置（「ＣＰＵ」）、およびコンピュータという用語は、指示を実行すると共に入力／出力インターフェースおよび／または周辺機器と通信する機能がある装置を示すために同義で用いられる。

ここで図２を参照すると、例示的なＡＳＲシステム２００のブロック図が示されており、ＡＳＲシステム２００内で行われる工程はプロセッサ１０４によって実行され得る。例えば、プロセッサ１０４は、入力１０２を介して音声信号または発話２０１を受信し、次に、これが図示されているＡＳＲシステム２００を用いて処理され得る（詳細は後述する）。

なお、以下のＡＳＲシステム２００の説明、および添付の図面は、説明を意図したものであり、限定するものではない。他のＡＳＲシステムは、異なる構成であり得、異なる構成要素またはモジュールを含み得るが、依然として本願に開示される特徴を行うことができる。

図示されるように、ＡＳＲシステム２００は、特徴抽出モジュール２０２、ニューラルネットワークモジュール２０４、音響モデル２０６、辞書２０８、および言語モデル２１０を含み得る。

音声信号または発話２０１の処理において、ＡＳＲシステム２００は、入力１０２から、人間の発話（例えば、話された単語、複数の単語、句、複数の句、文、複数の文、または発話の他のセグメント等）のアナログまたはデジタル表現を含み得る発話２０１を受信し得る。

次に、発話２０１は特徴抽出モジュール２０２に送信され、特徴抽出モジュール２０２は、発話２０１を、特徴ベクトル２０３で表される様々な音響特徴に分割し得る。具体的には、特徴解析モジュール２０２は、時系列の重複するまたは重複しない時間的フレーム内にある発話２０１をサンプリングして定量化し、フレームに対してスペクトル解析を行って、各フレームと関連づけられた特徴ベクトル２０３を導出し得る。

次に、特徴ベクトル２０３は、深層ニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、時間畳み込みニューラルネットワーク（ＴＣＮＮ）、時間周波数ＣＮＮ（ＴＦＣＮＮ）、および融合ＣＮＮ（ｆＣＮＮ）（それぞれについては後述する）のうちのいずれかを含み得るニューラルネットワークモジュール２０４に送信され得る。次に、ニューラルネットワークモジュール２０４を用いて、所与の発話２０１についての仮説２１１が生成され得る。

仮説２１１は、まず、音響モデル２０６、辞書２０８、および言語モデル２１０を用いてニューラルネットワークモジュール２０４をトレーニングすることによって決定され得る。トレーニング中、音響モデル２０６は、辞書２０８および言語モデル２１０によって供給されるガイダンスおよび制約を受けて、特徴ベクトル２０３において表されている観察されたデータをモデリングするために用いられ得る。モデリング処理は、特徴ベクトル２０３の特定のシーケンスが、話された部分語の音の特定のシーケンスから導出される確率を決定する。モデリングは、格納されている基本発話単位のコーパスからの１以上の基本発話単位（例えば、音素、トライフォン、クインフォン等）に対する特徴ベクトル２０３のシーケンスの確率的マッピングも含み得る。

言語モデル２１０は、ＡＳＲシステム２００に入力された発話２０１において、或る音素、トライフォン、クインフォン、または単語のシーケンスが生じている尤度に基づいて、その音素、トライフォン、クインフォン、または単語のシーケンスに確率を割り当て得る。例えば、言語モデル２１０は、その句における以前のｎ−１個の単語のパターンの値を所与として、ｗ_ｎ（発話２０１から音声表記された句におけるｎ番目の単語）の条件付き確率を決定し得る。この条件付き確率は、Ｐ（ｗ_ｎ｜ｗ_１，ｗ_２，…，ｗ_ｎ−１）として表すことができる。

ニューラルネットワークモジュール２０４が仮説２１１を生成したら、次に、プロセッサ１０４は、仮説２１１を用いて、プログラムされている様々なタスク（文字列（必要に応じて、文字列の信頼性レベルを含み得る）をディスプレイに出力することを含む）、テキストベースのコマンド、または他の任意の所定の応答を行い得る。

図３は、特徴抽出モジュール２０２についての様々な動作のステップを詳細に示すフローチャート３００を示す。まず、ステップ３０２において、入力１０２を介して発話２０１が受信され得る。次に、ステップ３０４において、発話２０１は複数のテストセグメントに分割され得る。例えば、各テストセグメントは、周期的に進むスライドする時間窓（即ち解析窓）内において取得され得る。時間窓の各進行は、時間窓の幅の分数単位で測定される増分で行われ得る。例えば、各フレーム（およびスライドする時間窓）の幅は２６ミリ秒（ｍｓ）であり得、各フレーム取得間の時間の増分（即ちフレームレート）は１０ｍｓであり得る。この構成では、各新たな２６ｍｓのフレームが、以前のフレームの最後を過ぎて１０ｍｓだけ進められ、各新たな２６ｍｓのフレームの最初の１６ｍｓが、以前のフレームの最後の１６ｍｓと重複する。従って、連続した２フレーム毎に、１６ｍｓの共通の（例えば、発話の）音声データが含まれる。他の任意の適切なフレームサイズ、窓サイズ、およびフレームレートも用いられ得る。

ステップ３０４において、発話２０１が複数のテストセグメントに分割されたら、ステップ３０６において、各テストセグメントから、１組の特徴ベクトル２０３で表される音響特徴が抽出され得る。特徴ベクトル２０３は、対応するテストセグメントの音響特徴の定量的尺度を表し得る。幾つかの例では、音響特徴は、テストセグメントに対してスペクトル解析を行い、特徴ベクトル２０３を生成することによって抽出され得る。スペクトル解析は、ガンマトーンフィルタバンクエネルギー（ＧＦＢ）、正規化された変調係数（ＮＭＣ）、メルフィルタバンクエネルギー（ＭＦＢ）、メル周波数ケプストラム係数（ＭＦＣＣ）、および／または、音声認識のための他の任意の適切な音響特徴を抽出するために用いられ得る。幾つかの例では、各テストセグメントは、２以上の同一のテストセグメントに複製され得る。テストセグメントを複製することにより、同じまたは同一のテストセグメントから、別個の２以上の組の音響特徴が抽出され得る。これにより、本明細書に記載される様々なタイプのニューラルネットワークのための入力として用いられる、よりロバストな１組の特徴ベクトル２０３が提供され得る。

幾つかの例では、ステップ３０６において、テストセグメントから１組の特徴ベクトル２０３が抽出された後、ステップ３０８において、特徴ベクトル２０３はニューラルネットワークモジュール２０４に直に出力され得る。

しかし、他の幾つかの例では、特徴ベクトル２０３をニューラルネットワークモジュール２０４に出力する前に、ステップ３１０において、特徴ベクトル２０３に対して、特徴空間変換が行われ得る。特徴空間変換は、正規化された形態の特徴ベクトル２０３を生成するために用いられ得る。特徴ベクトル２０３を正規化することによって、発話２０１内にある予期しないまたは望ましくない雑音の様々なソースを除去または低減できる。

様々なタイプの雑音は、例えば、非線形性、周波数シフト、変調された雑音、および断続的なバースト等の多くの独特なアーチファクトのうちのいずれかを含み得る。特徴空間変換は、特徴空間最尤線形回帰（ｆＭＬＬＲ）変換、スペクトルサブトラクション、声道長正規化、制限付き最尤回帰、話者適応トレーニング、クラスタ適応トレーニング、および特徴空間最小音誤差のうちのいずれかであり得る。

更に、テストセグメントが複製される例では、別個の各組の音響特徴に対して特徴空間変換が行われ、それにより、単一のテストセグメントから取得された、特徴空間変換された別個の複数の組の音響特徴が提供され得る。これにより、本明細書に記載される様々なニューラルネットワークのうちのいずれかに、ロバストな１組の正規化されたベクトル２０３を入力できるようになる。

図４は、ニューラルネットワークモジュール２０４として実装され得る例示的な完全に接続された深層ニューラルネットワーク（ＤＮＮ）４００を示す。ＤＮＮ４００は、入力層４０４、複数の隠れた層４０６、および出力層４０８として組織された複数のノード４０２を含む。各層４０４、４０６、４０８は、ノード出力４１０によって接続されている。各層に示されているノード４０２の数は例示を意図したものであり、限定するものではないことが理解されよう。従って、各層におけるノード４０２の数は、１０００〜２０００個のノード４０２の範囲で様々であり得る。同様に、図示されている隠れた層４０６の数は例示を意図したものであり、４〜６個の隠れた層４０６の範囲で様々であり得る。更に、図示されているＤＮＮ４００は、完全に接続されたものとして示されているが、ＤＮＮ４００は他の構成を有してもよい。

ＤＮＮ４００の概観として、特徴ベクトル２０３は入力層４０４のノード４０２に入力され得る。各ノード４０２は、調節可能なパラメータを有する数学的関数に対応し得る。全てのノード４０２は、例えば、異なり得るパラメータ値によってのみ異なる、同じスカラー関数であり得る。或いは、様々なノード４０２は、層の位置、入力パラメータ、または他の判別できる特徴に応じた異なるスカラー関数であってもよい。例として、数学的関数は、シグモイド関数の形態をとり得る。それに加えて、またはその代わりに、他の関数形態が用いられ得ることが理解されよう。各数学的関数は、１または複数の入力を受信して、１または複数の入力からスカラー出力を算出または計算するよう構成され得る。シグモイド関数を例にすると、各ノード４０２は、その入力の重み付き合計値のシグモイド非線形性を計算し得る。

従って、入力層４０４のノード４０２は、特徴ベクトル２０３を取り込んで、ノード出力４１０を生成し、ノード出力４１０は隠れた層４０６を通って順次送出され、入力層４０４のノード出力４１０は第１の隠れた層４０６のノード４０２に向かい、第１の隠れた層４０６のノード出力４１０は第２の隠れた層４０６のノード４０２に向かう（以下同様）。最後に、最後の隠れた層４０６のノード４０２は出力層４０８に送出され、次に、出力層４０８は、解析テストセグメント４１２に含まれている特定の音素についての仮説２１１を出力し得る。

ＤＮＮ４００の実行時使用の前に、ＤＮＮ４００は、ラベリングまたは音声表記された聴覚データを用いてトレーニングされ得る。例えば、トレーニング中に、発話２１１はラベリングされ得るか、または、前もって音声表記され得る。従って、発話２１１は、上述のようにＤＮＮ４００に適用され、各層のノード出力４１０（仮説２１１を含む）は、予期されるまたは「真の」出力値と比較され得る。音響モデル２０６、辞書２０８、および言語モデル２１０と併せて、この比較は、様々なノード出力４１０についての交差エントロピーレベルを生成するために用いられ得る。この交差エントロピーレベルを用いて、確率的勾配降下法を用いてＤＮＮ４００の交差エントロピーを最小化するよう逆伝搬を行うことによって、ノード４０２の数学的関数において用いられる様々なパラメータおよび重みが更新され得る。パラメータおよび重みは、他の任意の適切な方法に従って更新されてもよい。

図示されるように、ＤＮＮ４００は、入力層４０４および隠れた層４０６の各ノード４０２のノード出力４１０が、次の隠れた層４０６または出力層４０８のあらゆるノード４０２の入力に接続されているので、「完全に接続されている」と見なされる。従って、上述のように特徴抽出モジュール２０２から特徴ベクトル２０３を受信する入力層４０４のノード４０２を除き、各ノード４０２は、その前の層４０４、４０６からの入力値を受信する。

幾つかの例では、ノード出力４１０、および最終的には仮説２１１を正確に生成するために、所与のテストセグメントについての文脈的情報が有用であり得る。従って、解析される解析テストセグメント４１２の特徴ベクトル２０３は、複数の先行するテストセグメント４１４および後続のテストセグメント４１６の特徴ベクトル２０３と結合され得る。この結合は、仮説２１１の決定を補助するために、上述のように、言語モデルから取得された発話２０１における各単語または単語の断片についてのｗ_ｎの条件付き確率と併せて用いられ得る。

図５は、更にまたは代わりにニューラルネットワークモジュール２０４として実装され得る完全に接続された深層オートエンコーダ（ＤＡＥ）５００を示す。ＤＮＮ４００と同様に、ＤＡＥ５００は、入力層５０４、複数の隠れた層５０６、および出力層５０８として組織された複数のノード５０２を含む。ここでも、各層５０４、５０６、５０８はノード出力５１０によって接続されている。更に、ここでも、各ノード５０２は、調節可能なパラメータを有する数学的関数に対応し得る。

しかし、ＤＡＥ５００の隠れた層５０６は、ＤＡＥ−ボトルネック（ＤＡＥ−ＢＮ）層５１２を更に含む。図示されているＤＡＥ５００は３つの隠れた層５０６を含む。入力層５０４および出力層５０８はそれぞれ３つのノード５０２を含み、第１および第３の隠れた層５０６はそれぞれ４つのノード５０２を含み、ボトルネック層５１２は真ん中の隠れた層５０６であり、２つのノード５０２を含む。ここでも、図示されているノード５０２および隠れた層５０６の数は、ＤＡＥ５００の相対的なレイアウトの例示を意図したものであり、所望に応じて変更され得る。

ＤＡＥ５００等のオートエンコーダの挙動は、上述のＤＮＮ４００等の深層ニューラルネットワークと類似しているが、ＤＡＥ５００は、仮説を出力する代わりに、ＤＡＥ５００に入力された特徴ベクトル２０３（Ｘで表されている）に対応すべき１組の再現された特徴ベクトル５１３（Ｘ´で表されている）を出力する。幾つかの例では、再現された特徴ベクトル５１３は、ＤＡＥ５００に入力された特徴ベクトル２０３と完全に同じように結合され得る。他の幾つかの例では、再現された特徴ベクトル５１３は、ＤＡＥ５００に入力された特徴ベクトル２０３とは異なるように結合され得る。多くの例において、ＤＡＥ５００は、エンコーダ５１４およびデコーダ５１６を含むものと見なされ得る。エンコーダ５１４は、入力層５０４、少なくとも１つの隠れた層５０６（ボトルネック層５１２を含まない）、およびボトルネック層５１２を含み得る。エンコーダ５１４は、特徴ベクトル２０３（Ｘで表されている）を取り込んで特徴ベクトル２０３を処理し、ボトルネック層５１２のノード出力５１０において、ＤＡＥ−ボトルネック（ＤＡＥ−ＢＮ）特徴５１８（Ｙで表されている）を生成し得る。

デコーダ５１６は、ＤＡＥ−ＢＮ層５１２、少なくとも１つの隠れた層５０６（ボトルネック層５１２を含まない）、および出力層５０８を含み得る。デコーダ５１６は、ＤＡＥ−ＢＮ特徴５１８を取り込んで、１組の再現された特徴ベクトル５１３を出力するよう構成され得る。従って、デコーダ５１６の層で用いられる関数は、本質的に、エンコーダ５１４の層で用いられる関数と逆の関係である。なお、ＤＡＥ−ＢＮ層５１２のノード５０２の数を減らすことにより、ＤＡＥ−ＢＮ層５１２から出力されるＤＡＥ−ＢＮ特徴５１８は、より低い次元の特徴ベクトルで構成され、これは音響特徴の不変表現をより正確に示し得るので、未知のチャネルおよび雑音条件から取得された入力音声信号における音響のばらつきのＤＡＥ−ＢＮ特徴５１８に対する影響が、ＤＡＥ５００に入力された特徴ベクトル２０３と比較して低減される。

ＤＡＥ５００の実行時使用の前に、ＤＡＥは、ラベリングされたまたはラベリングされていない（未知の）データを用いてトレーニングされ得る。例えば、ＤＡＥ５００のトレーニング中に、１組の再現された特徴ベクトル５１３をＤＡＥ５００に入力された特徴ベクトル２０３と比較することによって、誤差信号５２０が計算され得る。次に、誤差信号５２０は、平均二乗誤差（ＭＳＥ）逆伝搬を用いて最小化され得る。それに加えて、またはその代わりに、誤差信号５２０は、他の任意の適切な方法を用いて最小化され得る。

上記で示唆したように、ＤＡＥ５００は、再現された特徴ベクトル５１３を特徴ベクトル２０３と比較することによってトレーニングされるので、ＤＡＥ５００は、例えば上述の完全に接続されたＤＮＮ４００よりも遥かに少ないラベリングされたデータでトレーニングできる。

また、ＤＡＥ５００は入力特徴から雑音を除去するようトレーニングされるのではなく、層毎にトレーニングされるのでもないという意味で、本明細書に記載されるＤＡＥ５００からのＤＡＥ−ＢＮ特徴５１８は、当該技術分野において公知のスタックオートエンコーダからの先に提案されている深層ＢＮ特徴とは異なる。

ここで図６を参照すると、ニューラルネットワーク（ＮＮ）システム６００が示されている。ＮＮシステム６００は、（上述のＤＡＥ５００と同様の）ＤＡＥ６０２および（上述のＤＮＮ４００と同様の）完全に接続されたＤＮＮ６０４の両方を含む。ＮＮシステム６００のトレーニングは、まず、ＤＡＥ６０２をトレーニングし、次に、ＤＡＥ６０２からトレーニングＤＡＥ−ＢＮ特徴６０６を抽出して、ＤＮＮ６０４を再トレーニングすることによって行われる。

具体的には、トレーニングコーパス６０８はトレーニング音声信号または発話６１０を供給し、そこから、上記の説明に従ってトレーニング特徴ベクトル６１２が抽出される。次に、トレーニング特徴ベクトル６１２は、上述のように、ＤＡＥ６０２をトレーニングするためにＤＡＥ６０２に入力される。ＤＡＥ６０２がトレーニングされたら、トレーニングＤＡＥ−ＢＮ特徴６０６は、上述のように、仮説６１４の交差エントロピーおよび様々なノード出力６１６を用いてＤＮＮ６０４をトレーニングするために用いられ得る。トレーニング特徴ベクトル６１２をＤＮＮ６０４に直に入力するのとは異なり、ＤＮＮ６０４をトレーニングするためにトレーニングＤＡＥ−ＢＮ特徴６０６を用いることにより、より低い次元のトレーニングＤＡＥ−ＢＮ特徴６０６が、ばらつきの低減を提供する。

ここで図７を参照すると、トレーニングされたＮＮシステム６００は、まず、上述の方法を用いて、入力１０２を介して未知のチャネルおよび雑音条件から取得されたラベリングされていない音声信号７０４から、未知の特徴ベクトル７０２を抽出することによって、音声認識に用いられ得る。次に、未知の特徴ベクトル７０２はＤＡＥ６０２を通されて、未知のＤＡＥ−ＢＮ特徴７０６が生成され得る。次に、未知のＤＡＥ−ＢＮ特徴７０６は、ＤＮＮ４００を参照して上述したように、仮説７１２を提供するために用いられ得るＤＮＮ６０４に入力され得る。ＤＡＥ−ＢＮ特徴７０６のより低い次元を理由としたばらつきの低減は、ＤＮＮ６０４がより正確な仮説７１２を提供するのを補助する。

更に、未知のＤＡＥ−ＢＮ特徴７０６をＤＮＮ６０４に入力する前に、ＤＡＥ６０２は、ラベリングされていない音声信号７０４を用いて適応され得る。この適応は、単に、上述の方法に従って、実行時使用中に、ラベリングされていない音声信号７０４を用いてＤＡＥ６０２を再トレーニングすることによって達成される。ＤＡＥ６０２を適応させることにより、ＤＡＥ６０２における様々な接続のパラメータおよび重みが、新たな音声信号７０４の様々な未知の雑音条件をより良好に考慮するよう更新される。従って、未知のＤＡＥ−ＢＮ特徴７０６は、ＤＮＮ６０４をトレーニングするために用いられるトレーニングＤＡＥ−ＢＮ特徴６０６により近いはずであり、それによってより正確な仮説７１２が提供されるはずである。

ここで図８Ａおよび図８Ｂを参照すると、チャートは、ＮＮシステム６００のＤＡＥ６０２と類似のＤＡＥについての活性化されたＤＡＥ−ＢＮ層ニューロンを示す。図８Ａのチャートは、ＤＡＥがソース（即ち既知の）音声信号からの特徴ベクトルを受信したときの活性化されたニューロンを示す。図８Ｂのチャートは、ＤＡＥが未知の音声信号を受信したときの活性化されたニューロンを示す。各チャートは、暗色を有する活性化されたニューロン８０２と、活性化されていないニューロン８０４とを含む。未知の条件については、ＤＡＥ−ＢＮ層における幾つかの更なるニューロンが誤ってトリガされていることが明らかであり、従って、この短期間の窓にわたるＤＡＥ−ＢＮ活性化出力の交差エントロピーは、未知の音声信号については、既知の音声信号と比較してより高くなることが予期できる。

例えば、上述のニューラルネットワークのうちのいずれかのような、完全に接続されたニューラルネットワークでは、雑音の多いテストセグメントからの未知の雑音が、ニューラルネットワーク全体にわたって伝搬し、それによってニューラルネットワークの完全な失敗が生じて、正しくない仮説を生じ得る。従って、処理するためにテストセグメントをＤＮＮに入力する前に、高い量の雑音を有するテストセグメントが音声信号から選択的に除去され得るように、このより高い交差エントロピーを用いて、未知の音声信号内の特に雑音の多いテストセグメントを識別するのが有用であり得る。エントロピーレベルが最も高いテストセグメントを識別するために、以下に説明するように、正規化されランク付けされた集約エントロピー尺度（ＮＲＳＥ）が生成され得る。

具体的には、ＤＡＥ−ＢＮ層Ｎが、各ニューロンが所与の瞬間ｔにおける活性化ｘ_ｉ（ここで、ｉ＝１：ｎ）を生じるｎ個のニューロンを有する場合には、ｔを中心とするｍの時間窓にわたるこれらの活性化のエントロピーを推定できる。この場合、Ｘ_ｔ，ｊが、ｔを中心とする時間窓ｍにわたる隠れた層Ｎにおけるニューロンｊの活性化を表すランダムベクトルである場合には、

となる。

Ｘ_ｔ，ｊのエントロピーは、

として定義でき、式中、ｉはｘのあり得る値である。なお、（２）によれば、エントロピーは、ｍの実行窓にわたる各活性化ｊについて取得される。最後に、Ｎ番目の隠れた層におけるｎ個のニューロンの各々から実行時エントロピーが取得されたら、各活性化についての平均エントロピーを推定することによって集約尺度が取得され、ＮＲＳＥを生成するために、その活性化にわたる所定の上位パーセンタイルエントロピー尺度が選択され得る。幾つかの例では、所定の上位パーセンタイルエントロピー尺度は、上位３０パーセンタイルのエントロピー尺度であり得る。

ＮＲＳＥが生成されたら、ＮＲＳＥは、各発話からのテストセグメントをソートするために用いられ得る。次に、ＮＲＳＥでソートされた低い方からＮ個のテストセグメント（即ち、最も低いパーセンタイル累積エントロピーを有するテストセグメント）を用いて、上述のニューラルネットワークのうちのいずれかに入力され得る特徴ベクトルの単一の適応セットを生成し、次に、これが上述の方法に従って用いられ得る。

なお、上述のＮＲＳＥはＤＡＥ−ＢＮ特徴（またはＤＡＥ−ＢＮ出力活性化）を参照しているが、ＮＲＳＥは、本明細書に記載されるニューラルネットワークのうちのいずれかの任意の隠れた層の音響特徴（または出力活性化）を用いて生成され得る。

更に、未知の音声信号における雑音のよくあるソースの１つは残響である。残響は、音響信号におけるスペクトル情報の時間的な不鮮明化を生じる。残響の程度は、室内インパルス応答の特性によって決定される。残響に起因する時間的な不鮮明化は、時間畳み込みを行う畳み込みニューラルネットワーク（ＣＮＮ）を用いて、室内残響の逆フィルタリングを行うことによって最小化され得る。このタイプのニューラルネットワークは、時間畳み込みニューラルネットワーク（ＴＣＮＮ）として参照され得る。しかし、音響特徴空間に対して、（残響に起因する情報の時間的な不鮮明化を軽減するための）時間にわたる畳み込みおよび（雑音の影響を最小化するための）周波数にわたる畳み込みの２つのレベルの畳み込み演算を行う修正された畳み込みネットワークを設けることが有用であり得る。

ここで図９を参照すると、時間周波数畳み込みニューラルネットワーク（ＴＦＣＮＮ）９００が示されている。ＴＦＣＮＮ９００では、時間畳み込み層９０４からの音響特徴９０２および周波数畳み込み層９０８からの音響特徴９０６が、入力特徴マップ９１０から取得される。次に、最大値プーリングを用いて、時間畳み込み層９０４の音響特徴９０２が組み合わされると共に、周波数畳み込み層９０８の音響特徴９０６が組み合わされる。次に、最大値プーリングされた特徴９１２が単一の完全に接続されたＤＮＮ９１４に供給されて、仮説９１６が生成される。

以下において、時間および周波数畳み込み、並びにその次の最大値プーリングが、どのように行われ得るかについて説明する。

入力特徴マップは、特徴ベクトルＶまたはＵで表され得る。
Ｖ＝［Ｖ_１，Ｖ_２，．．．Ｖ_ｆ，．．．．Ｖ_Ｆ］ …（３）
Ｕ＝［Ｕ_１，Ｕ_２，．．．Ｕ_ｔ，．．．．Ｕ_Ｔ］^Ｔ …（４）
式中、Ｖ_ｆは周波数帯域ｆにおける特徴ベクトルを表し、Ｕ_ｔは時間フレームｔにおける特徴ベクトルを表す。なお、簡潔のために、これらの特徴ベクトルはスペクトルエネルギーのみを表し、それらの動的な情報（ΔおよびΔΔ）は用いない。周波数畳み込みについては、周波数畳み込み層は、Ｎ個の活性化を有するＫ個の帯域を有する。非線形活性化関数演算の後の畳み込み層の活性化は、

として表すことができ、式中、σ（ ）は出力活性化関数であり、ＢはＶに対する畳み込み演算の帯域サイズであり、ｗおよびβは畳み込み層の重み項およびバイアス項を表す。時間畳み込みについても同様に、時間畳み込み層は、（時間フレームに対する）Ｌ個の帯域およびＭ個の活性化を有する。この場合には、非線形活性化関数演算の後の畳み込み層の活性化は、

として表すことができ、式中、σ（ ）は出力活性化関数であり、ＣはＵに対する畳み込み演算のフレーム帯域サイズであり、ωおよびγは時間畳み込み層の重み項およびバイアス項を表す。ここで、プーリング層の後の、これらの各層の出力は、

として表すことができ、式中、周波数畳み込み層および時間畳み込み層のそれぞれについて、ｒおよびｓはプーリングサイズであり、ｉおよびｊはサブサンプリング係数であり、ｂおよびｃはプーリング帯域サイズである。出力特徴空間は平坦にされてベクトルにされ、連結されて、完全に接続されたニューラルネットワークに供給され得る。幾つかの例では、ＴＦＣＮＮは、時間畳み込みを行うために７５個のフィルタを用い得ると共に、周波数畳み込みを行うために２００個のフィルタを用い得る。更に、時間および周波数畳み込みについては、８個の帯域が用いられ得る。幾つかの例では、周波数畳み込みについては、３つのサンプルにわたる最大値プーリングが用いられ、時間畳み込みについては、５つのサンプルにわたる最大値プーリングが用いられ得る。

音響モデルが、残響のあるデータに対する逆フィルタリングを学習するのを補助するために、残響のある雑音の多いデータを用いてモデルをトレーニングする必要がある。幾つかの研究は、多条件付きトレーニングを通して、多様性を高めた残響条件を用いると、トレーニングデータとテストデータとの間の音響条件の不一致が低減されることにより、音響モデルのロバスト性が改善されることを示している。トレーニングデータには、（異なるサイズおよび異なる室内インパルス応答を有する）複数の室内条件および異なるＳＮ比（ＳＮＲ）における様々な背景雑音条件を用いて、人工的に残響がつけられ得る。様々な音響条件を用いたデータ拡張は、モデルに、音響歪みを最小化するのを補助する逆フィルタを推定させることにより、音響モデルの性能を改善するのを補助する。本開示を生じた研究では、多条件付きトレーニングを受けたＴＦＣＮＮが用いられ、そのようなモデルは、現実の残響のある雑音の多い音響条件下でロバストに働くことが示された。

なお、ガンマトーンフィルタバンクエネルギー、正規化された変調係数、メルフィルタバンクエネルギー、メル周波数ケプストラム係数、および／または、音声認識のための他の任意の適切な音響特徴を含むがそれらに限定されない上述の音響特徴のうちのいずれかは、必要に応じて、特徴空間最尤線形回帰、スペクトルサブトラクション、声道長正規化、制限付き最尤回帰、話者適応トレーニング、クラスタ適応トレーニング、および特徴空間最小音誤差を含むがそれらに限定されない上述のタイプの特徴空間変換のうちのいずれかを用いて特徴空間変換され得る。次に、これらの特徴空間変換のうちのいずれかを受けたまたは特徴空間変換されていない音響特徴は、深層ニューラルネットワーク、畳み込みニューラルネットワーク、融合畳み込みニューラルネットワーク、時間畳み込みニューラルネットワーク、時間周波数畳み込みニューラルネットワーク、および／または他の任意の適切なニューラルネットワークを含むがそれらに限定されない上述のニューラルネットワークのうちのいずれかに入力され得る。

ここで図１０を参照すると、本明細書に記載される様々な有利なニューラルネットワークの改善を用いた図１のシステム１００についての例示的な使用方法のステップで構成されるフローチャート１０００が示されている。まず、ステップ１００２において、プロセッサ１０４は、入力１０２から音声信号を受信し得る。次に、ステップ１００４において、プロセッサ１０４は、本明細書に記載される方法に従って、音声信号を複数のテストセグメントに分割し得る。次に、ステップ１００６において、プロセッサ１０４は、本明細書に記載される方法のうちのいずれかに従って、各テストセグメントから１組の音響特徴を抽出し得る。

ステップ１００６において、テストセグメントから１組の音響特徴が抽出された後、決定ステップ１００８において、プロセッサ１０４は、用いられている深層ニューラルネットワークの間接的適応および直接的適応のうちの少なくとも一方を選択的に行うよう構成される。適応される深層ニューラルネットワークは、本明細書に記載される深層ニューラルネットワーク（ＤＮＮ、ＣＮＮ、ＴＣＮＮ、およびＴＦＣＮＮを含む）のうちのいずれかであり得るが、明確のために、フローチャート１０００に記載されているステップの以下の説明では、一般的に深層ニューラルネットワーク（ＤＮＮ）として参照される。決定ステップ１００８におけるプロセッサ１０４による選択は、ユーザ入力、入力音声信号の特性、計算時間要件、または実行時使用の前に予め決定され得る他の任意の適用可能な選択基準に基づき得る。

ステップ１０１０において、プロセッサ１０４がＤＮＮの間接的適応を選択的に行う場合、プロセッサ１０４は、ステップ１０１２において、各テストセグメントから少なくとも第２の別個の組の音響特徴を抽出するよう構成され得る。これは、図２に関して上述したように、各テストセグメントを少なくとも１回複製し、元の各テストセグメントおよび同一の複製されたテストセグメントに対してそれぞれ別々のスペクトル解析を行うことによって行われ得る。対応するテストセグメントから、第２（および可能性として第３、第４等）の別個の組の音響特徴が抽出されたら、ステップ１０１４において、（元から抽出された１組の音響特徴および複製されたテストセグメントから抽出された更なる組の音響特徴の両方を含む）これらのテストセグメントから抽出された別個の各組の音響特徴が深層ニューラルネットワークに適用され、それにより、融合ＤＮＮ（ｆＤＮＮ）または融合ＣＮＮ（ｆＣＮＮ）が生成され得る。必要に応じて、ステップ１０１４において別個の組の音響特徴を深層ニューラルネットワークに適用する前に、ステップ１０１６において、別個の各組の音響特徴に対して、特徴空間変換が行われ得る。特徴空間変換は、上述の特徴空間変換のうちのいずれかであり得るが、多くの例では特徴空間最尤線形回帰変換であり得る。上述のように、更なる別個の組の音響特徴は、深層ニューラルネットワークに、よりロバストな１組の音響特徴を提供する。更に、特徴空間変換は、様々な組の音響特徴を正規化するのを補助することにより、受信された音声信号内の望ましくない雑音を除去または低減し得る。これらの方法は、プロセッサ１０４が雑音の多い未知のチャネル条件からの音声信号を処理する際の、ＤＮＮの仮説の精度を改善し得る。

ステップ１０１８において、プロセッサ１０４がＤＮＮの直接的適応を選択的に行う場合には、プロセッサは、ステップ１０２０において、音響特徴を事前トレーニングされた深層ニューラルネットワークに適用して、上述の方法に従って、エントロピーに基づく信頼性の尺度を生成するよう構成され得る。事前トレーニングされた深層ニューラルネットワークも、本明細書に記載される深層ニューラルネットワーク（（後述するような）標準的なＤＮＮ、ＣＮＮ、ＴＣＮＮ、ＴＦＣＮＮ、またはｆＣＮＮを含む）のうちのいずれかであり得る。次に、ステップ１０２０において生成されたエントロピーに基づく信頼性の尺度は、ステップ１０２２において、図８Ａおよび図８Ｂを参照して上述したように、音響特徴の直接的適応セットを設けるために、全体的な累積エントロピーが最も低いテストセグメントを選択するために用いられ得る。ステップ１０２２において、音響特徴の直接的適応セットのためのテストセグメントが選択されたら、ステップ１０１４において、上述の方法に従って、音響特徴の直接的適応セットがＤＮＮに適用され得る。

更に、幾つかの例では、プロセッサ１０４は、ＤＮＮの間接的適応および直接的適応の両方を行うことを決定し得る。この場合には、プロセッサ１０４は、まず、ステップ１０１０においてＤＮＮの間接的適応を行う。これは、ステップ１０１２において、第２の別個の組の音響特徴を抽出し、必要に応じて、ステップ１０１６において、別個の複数の組の音響特徴の特徴空間変換を行うことを含み得る。次に、ステップ１０１８において、特徴空間変換された、または特徴空間変換されていない、ＤＮＮの間接的適応中に抽出された別個の複数の組の音響特徴は、ＤＮＮの直接的適応に用いられ得る。次に、ステップ１０２０において、特徴空間変換された、または特徴空間変換されていない、別個の複数の組の音響特徴は、エントロピーに基づく信頼性の尺度を生成するために、事前トレーニングされたＤＮＮに適用され得る。ここでも、ステップ１０２２において、エントロピーに基づく信頼性の尺度を用いて、音響特徴の直接的適応セットのためにテストセグメントが選択され得る。最後に、特徴空間変換された、または特徴空間変換されていない、更なる複数の組の別個の音響特徴を含む音響特徴の直接的適応セットは、ＤＮＮに適用され、上述の方法およびシステムに従って、仮説が生成され得る。

上記の説明に加えて、本開示による具体的な実験について以下に説明する。これらの実験は、単に例示の目的で提供されるものであり、本発明の範囲を限定することは意図しない。実際、当業者には、上記の説明および以下の例から、本明細書に示され記載されたものに加えて様々な変更が自明であり、それらは添付の特許請求の範囲に含まれる。

実験
ここで、以下の実験を参照し、これらは、上記の説明と共に、本発明を限定せずに示すものである。以下の実験では、特徴空間変換されたおよび特徴空間変換されていない様々な音響特徴を用いて、様々なＤＮＮ、ＣＮＮ、ＴＣＮＮ、ＴＦＣＮＮ、およびｆＣＮＮ音響モデルをトレーニングした。システム性能は単語誤り率（ＷＥＲ）に関して報告される。

音声認識システム
以下の実験で用いた音声データセットは、ＤＡＲＰＡ（アメリカ国防高等研究計画局）のＲＡＴＳプログラムの下でLinguistic Data Consortium（ＬＤＣ）によって収集されたものであり、雑音の多いまたは非常に歪んだチャネルにおけるレバント・アラビア語（ＬＡＲ）およびペルシャ語の２つの言語の音声に焦点を当てたものである。これらのデータは、電話音声（ソースチャネルとして示されている）を、それぞれに或る範囲の歪みが関連づけられた８つの通信チャネル（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、およびＨとして示されている）を介して再送信することによって収集された。ＤＡＲＰＡのＲＡＴＳデータセットは、雑音およびチャネルの劣化が、クリーンな音声信号に対して数学的演算を行うことによって人工的に導入されたものではなく、その代わりに、信号が、チャネル劣化および雑音劣化を有する環境を介して再同報されてから、再記録されたものであるという点で、独特である。その結果、これらのデータは、例えば、非線形性、周波数シフト、変調された雑音、および断続的なバースト等の幾つかの独特なアーチファクトを含んでおり、これらの条件下では、付加雑音の文脈で開発された雑音に対してロバストな従来の手法は良好に働いていない。

この節の最後で参照されている実験は、ＬＡＲデータセットのみに焦点を当てたものである。

ＬＡＲ音響モデル（ＡＭ）トレーニングのために、約２５０時間の再送信された会話音声（ＬＤＣ２０１１Ｅ１１１およびＬＤＣ２０１１Ｅ９３）を用いた。

言語モデル（ＬＭ）トレーニングのために、以下のものを含む様々なソースを用いた。
ＬＤＣのＥＡＲＳ（Effective, Affordable, Reusable Speech-to-Text）データコレクションから１．３Ｍワード（ＬＤＣ２００６Ｓ２９、ＬＤＣ２００６Ｔ０７）、
Levantine Fisherから４３７Ｋワード（ＬＤＣ２０１１Ｅ１１１およびＬＤＣ２０１１Ｅ９３）、
ＲＡＴＳデータコレクションから５３Ｋワード（ＬＤＣ２０１１Ｅ１１１）、
ＧＡＬＥ（Global Autonomous Language Exploitation）のレバント語放送番組から３４２Ｋワード（ＬＤＣ２０１２Ｅ７９）、および、
アラビア語方言のウェブデータから９４２Ｋワード（ＬＤＣ２０１０Ｅ１７）。

ＬＭのチューニングのために、Fisherデータコレクションから選択された、約４６Ｋワードを含むホールドアウトされたセットを用いた。

ＬＡＲについてのＡＳＲおよびキーワード発見（ＫＷＳ）性能を評価するために、本明細書ではｄｅｖ−１およびｄｅｖ−２と称する２つのテストセットを用いた。各テストセットは１０時間のホールドアウトされた会話音声で構成された。Ｄｅｖ−２は参照用音声表記を備えておらず、ＫＷＳ評価のみを意図したものであり、焦点はＡＳＲのみに当てられているので、結果はｄｅｖ−１のみについて報告される。なお、各チャネル条件からの約２Ｋのセグメントを、モデルのトレーニングおよび最適化のためのホールドアウト検証セットとして用いた。

ＬＡＲデータは、Ａ〜Ｈで示される８つのチャネルを有した。この実験では、チャネルＡおよびＢはトレーニングセットから除外し（ここでは「ＡＢ無しトレーニング」として参照される）、８つのチャネルの全て、およびＤＡＲＰＡのＲＡＴＳディストリビューションにおいてｄｅｖ−１セットとして配布されたソースデータ（再送信されていないデータ）にわたってモデルを評価した。図５および図６に示されているものと類似のＤＡＥ−ＢＮシステムをトレーニングするために、ＬＡＲデータに加えて、２５００時間の通信チャネルが劣化した標準中国語データも用いた。なお、この標準中国語トレーニングデータに追加によって、ＤＡＥ−ＢＮシステムの性能が改善した。

以下の実験では、実験のための音響特徴のうちの１つとして、ガンマトーンフィルタバンクエネルギー（ＧＦＢ）を用いた。ガンマトーンフィルタは、人間の耳において見出される聴覚フィルタバンクの線形近似である。このＧＦＢ処理については、等価矩形帯域幅（ＥＲＢ）スケール上の等間隔の４０個のガンマトーンフィルタのバンクを用いることによって音声を解析した。約２６ｍｓの解析窓において、１０ｍｓのフレームレートで、帯域制限時間信号のパワーを計算した。次に、このサブバンドパワーを、１５乗根を用いることによってルート圧縮し、得られた４０次元の特徴ベクトルをＧＦＢとして用いた。

以下の実験では、正規化された変調係数（ＮＭＣ）も候補特徴として用いた。ＮＭＣは、帯域制限音声信号から振幅変調（ＡＭ）情報を捕捉する。ＮＭＣは、１０ｍｓのフレームレートを有する２６ｍｓのＨａｍｍｉｎｇ窓を用いることによって、時間領域におけるサブバンド音声信号のＡＭ軌道を追跡する。ＡＭ信号のパワーを、１５乗根を用いることによって同様にルート圧縮した。得られた４０次元の特徴ベクトルを、この実験におけるＮＭＣ特徴として用いた。

上記の特徴セットに加えて、標準的なメルフィルタバンクエネルギー（ＭＦＢ）およびメル周波数ケプストラム係数（ＭＦＣＣ）も候補特徴セットとして用いた。

この実験で用いたＤＡＥ−ＢＮシステムは、５つの隠れた層を有する完全に接続されたＤＮＮシステムであり、第３の隠れた層は８０個のニューロンのボトルネックを含んだ。残りの隠れた層は１０２４個のニューロンを有した。隠れた層はシグモイド活性化を有し、一方、出力層は線形活性化を有した。ＤＡＥ−ＢＮを、平均二乗誤差（ＭＳＥ）逆伝搬を用いることによってトレーニングした。ＤＡＥ−ＢＮシステムへの入力は、１１の結合（即ち、先行する５つのテストセグメントおよび後続の５つのテストセグメントを、解析されるテストセグメントと結合）を有する４０個のＧＦＢであり、４４０次元の特徴を生じ、一方、出力は同じ４０個のＧＦＢであったが、５の結合を有した。

トレーニングされると、ＤＡＥ−ＢＮ層のシグモイド活性化は、線形活性化によって置き換えられた。次に、ＤＡＥ−ＢＮシステムからのＤＡＥ−ＢＮ特徴を用いて、図６に示されているような完全に接続されたＤＮＮ音響モデルをトレーニングした。

なお、「ＡＢ無しトレーニング」データについては、ＤＡＥ−ＢＮシステムは、ＡおよびＢ以外の全てのチャネルを用いてトレーニングされた。ＤＡＥ−ＢＮシステムは同じ入力−出力特徴を用いてトレーニングされたが、上述のように、入力側における特徴の結合は出力側とは異なっていた。

図８Ａおよび図８Ｂは、（図８Ａに示されている）ソース（比較的クリーンな）データおよび（図８Ｂに示されている）未知の（チャネルＡ）再送信されたＬＡＲデータについてのＤＡＥ−ＢＮ特徴の最初の２０次元の特徴マップを示す。上述のように、未知の条件については、ＤＡＥ−ＢＮ層におけるニューロンの幾つかが誤ってトリガされていることが明らかであり、従って、この短期間の窓にわたるＤＡＥ−ＢＮ活性化出力のエントロピーは、未知のケースについては、既知のケースと比較してより高くなることが予期できる。従って、上述のＮＲＳＥと同様に、ＤＡＥ−ＢＮ活性化出力のエントロピーを用いて、ＤＡＥ−ＢＮ特徴から推定されたエントロピーに基づく信頼性の尺度を生成し、これを用いて、教師なしモデル適応のためのテストデータおよびそれらの第１パス仮説を選択した。

ＡＢ無しトレーニングデータを用いて、マルチチャネル音響モデルをトレーニングした。得られたモデルは、本明細書では「ＡＢ無しモデル」と称される。また、ソースからのデータおよび８つの再送信されたチャネルのバージョンを含む全てのトレーニングデータを用いて、ベースラインモデルをトレーニングした。まず、三状態文脈依存（ＣＤ）時系列(left-to-right)ＧＭＭ−ＨＭＭ音響モデルをトレーニングし、これを用いて、ＤＮＮ音響モデルのトレーニングのためのセノン（senone：結ばれた３つの音素）アラインメントを生成した。トレーニングコーパスを、教師なし凝集クラスタリングを用いることによっクラスタ化して、疑似話者クラスタにした。

ＧＭＭ−ＨＭＭ音響モデルによって生成されたセノンアラインメントを用いて、交差エントロピーを用いることによって、複数のＤＮＮをトレーニングした。ＤＮＮは、シグモイド活性化を有する２０４８サイズの５つの隠れた層を有したが、但し、ＤＡＥ−ＢＮシステムからのＢＮ特徴に対してトレーニングされたＤＮＮは、２０４８個のニューロンを有する３つの隠れた層を有した。これらのＤＮＮを、まず、０．００８の一定の学習率を有する４回の反復を用い、次に、交差検証誤差の減少に基づいて学習率を半分にすることによってトレーニングした。交差検証誤差の更なる顕著な減少が見られないとき、または、交差検証誤差が増加し始めたときには、トレーニングが停止される。２５６個のトレーニング例のミニバッチを用いた確率的勾配降下法を用いて逆伝搬を行った。

ＳＲＩＬＭ（言語モデルを構築するためのツールキット）を用いることによって、ＬＭを生成した。ホールドアウトされたチューニングセットを用いて、ＬＡＲについて４７Ｋワードの語彙を選択し、その結果、ｄｅｖ−１に対して４．３％の未知語（ＯＯＶ）率となった。

実験１−既知のチャネルについてのＷＥＲと未知のチャネルについてのＷＥＲとを比較するベースラインＤＮＮ音響モデル
未知のチャネル条件に起因する性能劣化を評価するために、（ａ）トレーニングデータにターゲットチャネル（Ａ、Ｂ）を含む、および（ｂ）トレーニングデータからターゲットチャネル（Ａ、Ｂ）を除外した、２つのＤＮＮ音響モデルをトレーニングした。表１は、ｄｅｖ−１評価セットからチャネルＡ、Ｂ、ＣおよびＥがデコードされたときの、これらの２つのシステムからのＷＥＲを示す。

表１は、未知のチャネルについての性能劣化を示しており、ＤＮＮモデルは９０％を超える誤り率を与えた。表１の結果は、音響モデルが未知の雑音／チャネル条件下で失敗するのを防止するために、より良好な戦略が必要であることを示している。なお、アラビア語音響モデルは典型的にはより高いＷＥＲを有するものであり、その上、チャネルＡ、Ｂ、Ｃ、およびＥは高レベルの雑音、チャネル劣化、および非定常アーチファクトを含むかなり悪いチャネルであるので、表１で報告されている誤り率はかなり高い。

実験２−ＭＦＣＣ、ＭＦＢ、ＮＭＣ、およびＤＡＥ−ＢＮ音響特徴を用いてトレーニングされたＤＮＮ音響モデル
次に、異なるチャネル条件について、異なる特徴についての認識率がどのように変化するかを研究した。表２は、２０４８個のニューロンを有する５つの隠れた層を有するＤＮＮと共に用いたときの、ＭＦＣＣ、ＭＦＢ、およびＮＭＣ特徴についてのＷＥＲを示している。表２は、ロバストな特徴が、ＤＮＮが不一致のチャネル条件下で失敗するのを防止できなかったことを示しており、これは、妥当な認識精度を達成するために適応メカニズムが必要であることを示している。

表２は、未知のチャネル条件については、ＭＦＣＣおよびＭＦＢ特徴が失敗したことを示している。しかしこれらは、既知のチャネル条件については性能を保持できた（表１の「全てを含むトレーニング」を受けたモデルからのそれらの性能と比較して）。ＤＡＥ−ＢＮ特徴は、未知のチャネル条件については比較的ロバストであったが、既知のチャネル条件については、それらの性能はＭＦＢおよびＮＭＣ特徴よりも悪かった。

実験３−ｆＭＬＬＲ変換されたＭＦＣＣ、ＭＦＢ、およびＮＭＣ音響特徴を用いてトレーニングされたＤＮＮ音響モデル
次に、ＤＮＮをトレーニングおよびテストするためにｆＭＬＬＲ変換されたＭＦＣＣおよびＭＦＢ特徴表現を用いることについて研究した。表３は、ｆＭＬＬＲ変換されたＭＦＣＣおよびＭＦＢ特徴表現についてのＷＥＲを示しており、これは、ｆＭＬＬＲ変換が顕著な性能改善を生じたことを示している。

表３は、ｆＭＬＬＲ変換が、未知のチャネルＡおよびＢについての誤り率を顕著に低減し、それらを、表１で報告されている既知のチャネル条件から取得された誤り率に近づけたことを示している。また、ｆＭＬＬＲ−変換されたＭＦＢ特徴は、ｆＭＬＬＲ−変換されたＭＦＣＣ特徴よりも低いＷＥＲを与えたことも興味深い。

実験４−ｆＭＬＬＲ−変換されたＭＦＢ、ＮＭＣ、およびＤＡＥ−ＢＮ音響特徴を用いてトレーニングされたＣＮＮ音響モデル
畳み込みニューラルネットワーク（ＣＮＮ）は、典型的には、雑音およびチャネルの歪みに対してロバストであることが認められており、従って、上記で示した特徴と共に用いるためのＣＮＮ音響モデルについて研究した。具体的には、ｆＭＬＬＲ変換されたＭＦＢ、ＮＭＣ、およびＤＡＥ−ＢＮ特徴に対してＣＮＮモデルを用いることについて研究した。なお、特徴の次元にわたる畳み込みは、ＤＡＥ−ＢＮ特徴については、近傍の特徴の次元がスペクトル特徴ほど相関していない場合があるので、有意義ではない。よって、畳み込みは、時間（時間畳み込みニューラルネットワーク（ＴＣＮＮ））のみにわたって行われ、８の帯域サイズと５の窓サイズにわたる最大値プーリングとを有する７５個のフィルタを用いた。他のスペクトル特徴（ＮＭＣおよびＭＦＢ）については、８の帯域サイズと３つのフレームにわたる最大値プーリングとを有する２００個の畳み込みフィルタを有する従来のＣＮＮを研究した。畳み込み層は、各層が２０４８個のニューロンを有する４つの隠れた層を有する完全に接続されたニューラルネットワークと接続された。このＣＮＮモデルからの結果が表４に示されており、ＤＡＥ−ＢＮ特徴を除く全ての特徴について、既知のチャネル条件および未知のチャネル条件の両方について、ＤＮＮモデルと比較してＷＥＲの更なる低減が観察されたことがわかる。

表４は、ＣＮＮモデルが、表３で報告されているＤＮＮモデルより低いＷＥＲを与えたことを示している。ＤＡＥ−ＢＮ特徴に対する畳み込み演算は、ＤＮＮモデルと比較してＷＥＲを低減しなかった。

第３の層に６０次元のＢＮを有する５つの隠れた層を有する完全に接続されたＤＮＮの教師ありトレーニングによって取得されたボトルネック（ＢＮ）特徴についても研究した。ＢＮ−ＤＮＮへの入力は、１５フレームにわたって結合された特徴を有した。母音符号を備えた辞書を用いてＬＡＲデータから学習されたＳＢＮは、母音符号を備えていない標準的な辞書を用いたものよりも良好な性能を与えたことが観察され、よって、前者を用いてＢＮ−ＤＮＮモデルをトレーニングした。ＤＡＥ−ＢＮシステムは、第３の層にＢＮを有する５つの隠れた層という、ＢＮ−ＤＮＮシステムと類似の構成を有した。ＢＮ−ＤＮＮシステムからのＢＮ特徴は、ＤＡＥ−ＢＮシステムからの特徴と比較して、未知のチャネル条件については僅かに性能が悪く（相対的に０．４％）、既知のチャネル条件については僅かに良好であった。

実験５−ｆＭＬＬＲ変換されたＮＭＣおよびＭＦＢ音響特徴を用いてトレーニングされた時間周波数ＣＮＮ
次に、ｆＭＬＬＲ変換されたＮＭＣおよびＭＦＢ特徴に対する時間周波数ＣＮＮ（ＴＦＣＮＮ）について研究した。ＴＦＣＮＮは、常に、それらに対応するＣＮＮよりも良好な性能を示しており、ここでは、ＣＮＮ音響モデルを用いた場合と比較して、ＷＥＲの低減も観察された。表５は、ＴＦＣＮＮ音響モデルからのＷＥＲを示している。更に、ｆＭＬＬＲ変換されたＭＦＢおよびＮＭＣ特徴を組み合わせて、融合ＣＮＮモデル（ｆＣＮＮ）をトレーニングした。この場合、２つの個々の特徴のそれぞれについて、２つの並列畳み込み層がトレーニングされる。

実験６−ｆＭＬＬＲ変換されたＭＦＢ、ＮＭＣ、およびＭＦＢ／ＮＭＣ融合音響特徴を用いてトレーニングされたＤＡＥ−ＢＮ適応ＴＦＣＮＮ音響モデル
次に、ＤＡＥ−ＢＮネットワークからのＢＮ特徴について研究し、これらを用いて、信頼性の尺度を生成した。ＤＡＥ−ＢＮ特徴の各次元について、２１フレーム（即ち、約２３０ｍｓの時間的情報）のデータの実行窓にわたるエントロピーを推定し、次に、各次元についての最大エントロピーを計算した。全ての次元にわたる上位３０％パーセンタイル最大エントロピーからの累積エントロピーを信頼性の尺度として用いた。なお、図８Ｂに示されているように、未知のデータは、典型的には、複数のニューロンにわたって誤った活性化をより多く生じており、それにより、既知のデータ条件と比較して、より高いエントロピーを生じた。エントロピーに基づく信頼性の尺度を用いて、各チャネル条件についての全体的な３０パーセンタイル累積エントロピーが最も低かった各チャネル条件について、上位１Ｋのテストセグメントを選択し、これらのテストセグメントを用いて、音響モデルを適応または再トレーニングした。具体的には、これらのテストセグメントを用いて、０．０２のＬ２正則化を用いて、以前にトレーニングしたＴＦＣＮＮおよびｆＣＮＮモデルを再トレーニングした。

表６は、ＭＦＢ_{ｆＭＬＬＲ}、ＮＭＣ_{ｆＭＬＬＲ}、およびＭＦＢ_{ｆＭＬＬＲ}＋ＮＭＣ_{ｆＭＬＬＲ}特徴についての、ＴＦＣＮＮおよびｆＣＮＮモデル適応から取得されたＷＥＲを示している。ＤＡＥ−ＢＮＤＮＮシステムに対する同じ再トレーニング手順は、ＷＥＲの４．３％の相対的な低減を生じた。

従って、本明細書において、雑音の多い未知のチャネル条件における音声認識のための様々な改善されたシステムおよび方法が提供される。なお、本明細書に記載される雑音の多い未知のチャネル条件における音声認識を改善するための方法のいずれも、互いに併用され得る。例えば、上述の考えられる音響特徴のうちのいずれかが、既知のまたは未知の音声信号から取得されたテストセグメントから抽出され、次に、抽出された音響特徴のうちのいずれかに対して、上述の特徴空間変換のうちのいずれかが行われてもよく、または行われなくてもよく、特徴空間変換されたまたは特徴空間変換されていない抽出された音響特徴が、本明細書において考えられるニューラルネットワークのうちのいずれかに入力され得る。更に、考えられるニューラルネットワークのうちのいずれかの使用中に、ニューラルネットワークを適応させるために、本明細書に記載されるエントロピーに基づく信頼性の尺度を用いて、最も低い累積エントロピーを有するテストセグメントが選択され得る。

本発明を、１以上の好ましい実施形態に関して説明したが、明記されたもの以外にも多くの等価物、変更、変形、および修正が可能であり、本発明の範囲に含まれることが認識されるべきである。

更なる例
本明細書において開示された技術の事例を以下に示す。本技術の実施形態は、以下に記載する例のいずれか１以上、および任意の組合せを含み得る。

例１において、音声認識のための方法は、入力を用いて音声信号を受信する工程を含む。本方法は、前記音声信号を複数の聴覚テストセグメントに分割する工程を更に含む。本方法は、各前記聴覚テストセグメントから１組の音響特徴を抽出する工程を更に含む。本方法は、前記１組の音響特徴を深層ニューラルネットワークに適用して、対応する前記聴覚テストセグメントについての仮説を生成する工程を更に含む。本方法は、前記深層ニューラルネットワークの間接的適応および前記深層ニューラルネットワークの直接的適応のうちの１以上を選択的に行う工程を更に含む。

例２は、例１の主題を含み、前記深層ニューラルネットワークの間接的適応を行う前記工程が、各前記聴覚テストセグメントから、別個の２組の音響特徴を抽出する工程と、前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する工程とを含む。

例３は、例１および２のいずれかの主題を含み、本方法が、前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する前記工程の前に、前記別個の２組の音響特徴の各々に対して特徴空間変換を行う工程を更に含む。

例４は、例１、２、および３のいずれかの主題を含み、前記特徴空間変換が特徴空間最尤線形回帰変換である。

例５は、例１、２、３、および４のいずれかの主題を含み、前記１組の音響特徴が、対応する前記聴覚テストセグメントの音響特性の定量的尺度を各特徴ベクトルが含む１組の特徴ベクトルを含む。

例６は、例１、２、３、４、および５のいずれかの主題を含み、前記音響特性の定量的尺度が、ガンマトーンフィルタバンクエネルギー、正規化された変調係数、メルフィルタバンクエネルギー、およびメル周波数ケプストラム係数のうちの少なくとも１つを含む。

例７は、例１、２、３、４、５、および６のいずれかの主題を含み、前記深層ニューラルネットワークが、音声表記された音声信号を用いて事前トレーニングされる。

例８は、例１、２、３、４、５、６、および７のいずれかの主題を含み、本方法が、前記１組の音響特徴を深層オートエンコーダに適用して、（ｉ）１組の深層オートエンコーダボトルネック特徴、および（ｉｉ）前記１組の深層オートエンコーダボトルネック特徴に対する前記深層オートエンコーダによる逆演算に基づく１組の回復された音響特徴を生成する工程を更に含む。

例９は、例１、２、３、４、５、６、７、および８のいずれかの主題を含み、前記１組の深層オートエンコーダボトルネック特徴が、対応する前記聴覚テストセグメントについてのエントロピーに基づく信頼性の尺度を抽出するために用いられる。

例１０は、例１、２、３、４、５、６、７、８、および９のいずれかの主題を含み、前記深層ニューラルネットワークの直接的適応を行う前記工程が、前記エントロピーに基づく信頼性の尺度を用いて、閾値パーセンタイル累積エントロピーより低いパーセンタイル累積エントロピーを有する前記聴覚テストセグメントを選択する工程と、前記選択された聴覚テストセグメントを用いて前記深層ニューラルネットワークを再トレーニングする工程とを含む。

例１１は、例１、２、３、４、５、６、７、８、９、および１０のいずれかの主題を含み、前記深層オートエンコーダが、音声表記された音声信号を用いて、平均二乗誤差逆伝搬を用いて事前トレーニングされる。

例１２は、例１、２、３、４、５、６、７、８、９、１０、および１１のいずれかの主題を含み、前記深層ニューラルネットワークが、畳み込みニューラルネットワーク、時間畳み込みニューラルネットワーク、および時間周波数畳み込みニューラルネットワークのうちの１つである。

例１３において、音声認識システムは、音声信号を受信するよう構成された入力を含む。本音声認識システムは、プロセッサと、該プロセッサによって実行可能な指示を有するメモリであって、前記プロセッサに、前記入力を用いて前記音声信号を受信する工程と、前記音声信号を複数の聴覚テストセグメントに分割する工程と、各前記聴覚テストセグメントから１組の音響特徴を抽出する工程と、前記１組の音響特徴を深層ニューラルネットワークに適用して、対応する前記聴覚テストセグメントについての仮説を生成する工程と、前記深層ニューラルネットワークの間接的適応および前記深層ニューラルネットワークの直接的適応のうちの１以上を選択的に行う工程とを行わせる指示を有するメモリとを更に含む。本音声認識システムは、前記仮説を送信するよう構成された出力を更に含む。

例１４は、例１３の主題を含み、前記深層ニューラルネットワークが、音声表記された音声信号を用いて事前トレーニングされる。

例１５は、例１３および１４のいずれかの主題を含み、前記深層ニューラルネットワークの間接的適応を行うときに、前記プロセッサが、各前記聴覚テストセグメントから、別個の２組の音響特徴を抽出する工程と、前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する工程とを行うよう構成される。

例１６は、例１３、１４、および１５のいずれかの主題を含み、前記プロセッサが、前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する前記工程の前に、前記別個の２組の音響特徴の各々に対して特徴空間変換を行う工程を行うよう更に構成される。

例１７は、例１３、１４、１５、および１６のいずれかの主題を含み、前記特徴空間変換が特徴空間最尤線形回帰変換である。

例１８は、例１３、１４、１５、１６、および１７のいずれかの主題を含み、前記プロセッサが、前記１組の音響特徴を深層オートエンコーダに適用して、（ｉ）１組の深層オートエンコーダボトルネック特徴、および（ｉｉ）前記１組の深層オートエンコーダボトルネック特徴に対する前記深層オートエンコーダによる逆演算に基づく１組の回復された音響特徴を生成する工程を行うよう更に構成される。

例１９は、例１３、１４、１５、１６、１７、および１８のいずれかの主題を含み、前記１組の深層オートエンコーダボトルネック特徴が、前記プロセッサによって、対応する前記聴覚テストセグメントについてのエントロピーに基づく信頼性の尺度を抽出するために用いられる。

例２０は、例１３、１４、１５、１６、１７、１８、および１９のいずれかの主題を含み、前記深層ニューラルネットワークの直接的適応を行う前記工程が、前記エントロピーに基づく信頼性の尺度を用いて、閾値パーセンタイル累積エントロピーより低いパーセンタイル累積エントロピーを有する前記聴覚テストセグメントを選択する工程と、前記選択された聴覚テストセグメントを用いて前記深層ニューラルネットワークを再トレーニングする工程とを含む。

１００ システム
１０２ 入力
１０４ プロセッサ
１０６ メモリ
１１０ 聴覚システム
１１２ ストレージサーバ
１１４ データベース
１１６ 非一過性のコンピュータ可読媒体
２００ ＡＳＲシステム
２０１ 発話
２０２ 特徴抽出モジュール
２０３ 特徴ベクトル
２０４ ニューラルネットワークモジュール
２０６ 音響モデル
２０８ 辞書
２１０ 言語モデル
２１１ 仮説
４００ 深層ニューラルネットワーク（ＤＮＮ）
５００ 深層オートエンコーダ（ＤＡＥ）
６００ ニューラルネットワーク（ＮＮ）システム
９００ 時間周波数畳み込みニューラルネットワーク（ＴＦＣＮＮ）

Claims (19)

1. 音声認識のための方法であって、
   入力を用いて音声信号を受信する工程と、
   前記音声信号を複数の聴覚テストセグメントに分割する工程と、
   各前記聴覚テストセグメントから１組の音響特徴を抽出する工程と、
   前記１組の音響特徴を深層ニューラルネットワークに適用して、対応する前記聴覚テストセグメントについての仮説を生成する工程と、
   前記深層ニューラルネットワークの間接的適応および前記深層ニューラルネットワークの直接的適応のうちの１以上を選択的に行う工程と
   を含み、前記深層ニューラルネットワークの間接的適応を行う前記工程が、
   各前記聴覚テストセグメントから、別個の２組の音響特徴を抽出する工程と、
   前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する工程とを含むことを特徴とする方法。
2. 前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する前記工程の前に、前記別個の２組の音響特徴の各々に対して特徴空間変換を行う工程を更に含む、請求項１記載の方法。
3. 前記特徴空間変換が特徴空間最尤線形回帰変換である、請求項２記載の方法。
4. 前記１組の音響特徴が、対応する前記聴覚テストセグメントの音響特性の定量的尺度を各特徴ベクトルが含む１組の特徴ベクトルを含む、請求項１記載の方法。
5. 前記音響特性の定量的尺度が、ガンマトーンフィルタバンクエネルギー、正規化された変調係数、メルフィルタバンクエネルギー、およびメル周波数ケプストラム係数のうちの少なくとも１つを含む、請求項４記載の方法。
6. 前記深層ニューラルネットワークが、音声表記された音声信号を用いて事前トレーニングされる、請求項１記載の方法。
7. 前記１組の音響特徴を深層オートエンコーダに適用して、（ｉ）１組の深層オートエンコーダボトルネック特徴、および（ｉｉ）前記１組の深層オートエンコーダボトルネック特徴に対する前記深層オートエンコーダによる逆演算に基づく１組の回復された音響特徴を生成する工程
   を更に含む、請求項６記載の方法。
8. 前記１組の深層オートエンコーダボトルネック特徴が、対応する前記聴覚テストセグメントについてのエントロピーに基づく信頼性の尺度を抽出するために用いられる、請求項７記載の方法。
9. 前記深層ニューラルネットワークの直接的適応を行う前記工程が、
   前記エントロピーに基づく信頼性の尺度を用いて、閾値パーセンタイル累積エントロピーより低いパーセンタイル累積エントロピーを有する前記聴覚テストセグメントを選択する工程と、
   前記選択された聴覚テストセグメントを用いて前記深層ニューラルネットワークを再トレーニングする工程と
   を含む、請求項８記載の方法。
10. 前記深層オートエンコーダが、音声表記された音声信号を用いて、平均二乗誤差逆伝搬を用いて事前トレーニングされる、請求項７記載の方法。
11. 前記深層ニューラルネットワークが、畳み込みニューラルネットワーク、時間畳み込みニューラルネットワーク、および時間周波数畳み込みニューラルネットワークのうちの１つである、請求項１記載の方法。
12. 音声認識システムにおいて、
    音声信号を受信するよう構成された入力と、
    プロセッサと、
    前記プロセッサによって実行可能な指示を有するメモリであって、前記プロセッサに、
    前記入力を用いて前記音声信号を受信する工程と、
    前記音声信号を複数の聴覚テストセグメントに分割する工程と、
    各前記聴覚テストセグメントから１組の音響特徴を抽出する工程と、
    前記１組の音響特徴を深層ニューラルネットワークに適用して、対応する前記聴覚テストセグメントについての仮説を生成する工程と、
    前記深層ニューラルネットワークの間接的適応および前記深層ニューラルネットワークの直接的適応のうちの１以上を選択的に行う工程と
    を行わせる指示を有するメモリと、
    前記仮説を送信するよう構成された出力と
    を含み、前記深層ニューラルネットワークの間接的適応を行う前記工程が、
    各前記聴覚テストセグメントから、別個の２組の音響特徴を抽出する工程と、
    前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する工程とを含むことを特徴とする音声認識システム。
13. 前記深層ニューラルネットワークが、音声表記された音声信号を用いて事前トレーニングされる、請求項１２記載の音声認識システム。
14. 前記深層ニューラルネットワークの間接的適応を行うときに、前記プロセッサが、
    各前記聴覚テストセグメントから、別個の２組の音響特徴を抽出する工程と、
    前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する工程と
    を行うよう構成される、請求項１３記載の音声認識システム。
15. 前記プロセッサが、
    前記別個の２組の音響特徴を前記深層ニューラルネットワークに同時に適用する前記工程の前に、前記別個の２組の音響特徴の各々に対して特徴空間変換を行う工程
    を行うよう更に構成される、請求項１４記載の音声認識システム。
16. 前記特徴空間変換が特徴空間最尤線形回帰変換である、請求項１５記載の音声認識システム。
17. 前記プロセッサが、
    前記１組の音響特徴を深層オートエンコーダに適用して、（ｉ）１組の深層オートエンコーダボトルネック特徴、および（ｉｉ）前記１組の深層オートエンコーダボトルネック特徴に対する前記深層オートエンコーダによる逆演算に基づく１組の回復された音響特徴を生成する工程
    を行うよう更に構成される、請求項１３記載の音声認識システム。
18. 前記１組の深層オートエンコーダボトルネック特徴が、前記プロセッサによって、対応する前記聴覚テストセグメントについてのエントロピーに基づく信頼性の尺度を抽出するために用いられる、請求項１７記載の音声認識システム。
19. 前記深層ニューラルネットワークの直接的適応を行う前記工程が、
    前記エントロピーに基づく信頼性の尺度を用いて、閾値パーセンタイル累積エントロピーより低いパーセンタイル累積エントロピーを有する前記聴覚テストセグメントを選択する工程と、
    前記選択された聴覚テストセグメントを用いて前記深層ニューラルネットワークを再トレーニングする工程と
    を含む、請求項１８記載の音声認識システム。

Images