JP6873333B2 - 音声認識システム及び音声認識システムを用いる方法 - Google Patents

Description

本開示は、包括的には、音響信号に関し、より詳細には、１つ以上のマイクロフォンを用いた音声分離及び音声認識に関する。

従来の音声認識システムは、環境からの背景雑音、及び対象音声源以外の音声源等の干渉源に悩まされている。

例えば、多くの人々が存在し、数人が同時に発話している状況では、異なる人々からの音声は入り交じり、カクテルパーティ効果として知られる効果によって単一の信号混合体になる。人は、或る範囲の他の刺激をフィルタリング除去しながら特定の刺激に聴覚注意を集中させることが可能である。この例示として、パーティによく行く人が雑音の多い部屋において単一の会話に集中することができる点が挙げられる。しかしながら、機械がそのような状況において１人以上の対象話者の音声をトランスクリプトすることは非常に難しい。

したがって、１つ以上のマイクロフォンを用いた音声認識を改善することが必要とされている。

本開示は、包括的には、音響信号に関し、より詳細には、１つ以上のマイクロフォンを用いた音声分離及び音声認識に関する。

本開示の幾つかの実施の形態は、重複音声信号の分離及び認識のための完全エンドツーエンドの共同トレーニングされたディープ学習システムを含む。共同トレーニングフレームワークは、分離及び認識を互いに相乗的に適応させることができる。数ある利点の中でも特に追加の利点は、共同トレーニングフレームワークは、混在信号及びそれらのトランスクリプションのみを含むより現実的なデータに関してトレーニングすることができ、したがって、既存のトランスクリプトされたデータに関する大規模なトレーニングに適合することができる点である。

本開示の幾つかの実施の形態は、基礎をなす音声信号の明確な分離を伴わない重複音声信号の認識のための完全エンドツーエンドディープ学習システムを含む。上記の分離及び認識のための共同トレーニングされたディープ学習システムと同様に、明確な分離を伴わないシステムは、数ある利点の中でも特に、混在信号及びそれらのトランスクリプションのみを含む、より現実的なデータに関してトレーニングすることができ、したがって、既存のトランスクリプトされたデータに関する大規模なトレーニングに適合することができるという追加の利点を有する。

例えば、エンコーダデコーダリカレントニューラルネットワーク（ＲＮＮ：recurrent neural networks）とともに用いられ、表音／言語構成体の明確な中間表現を用いることなく入力音声特徴系列を出力ラベル系列に直接変換するエンドツーエンド自動音声認識（ＡＳＲ：automatic speech recognition）システムが、実験を通じて学習される。認識システム全体をモノリシックニューラルネットワークとして実施することによって、アドホック言語リソースへの依存をなくすことができる。また、認識システムは、識別トレーニング及び他のシステムとの統合の容易性を大幅に改善することができることが見出されている。本開示は、これらの特性を利用して、ＡＳＲを複数の重なり合う話者の認識に拡張する。複数の話者の不協和音の中で音声を認識することは、技術空間内においてカクテルパーティ問題として知られている長年にわたる難題である。このカクテルパーティ問題を解決することによって、特に実世界のヒューマンマシンインタラクション（ＨＭＩ：human machine interaction）のための劇的に優れた技術が可能になる。

この実験プロセスの間、ディープクラスタリングが、各時間周波数（Ｔ−Ｆ）単位を高次元埋め込みベクトルに投影するように強力なディープニューラルネットワークをトレーニングすることができることが分かった。それによって、同じ話者によって支配されるＴ−Ｆ単位対の埋め込みは互いに近接する一方、異なる話者によって支配される対の埋め込みはそれよりも離れている。したがって、各Ｔ−Ｆ単位の話者割り当ては、各単一の話者を分離するマスクを生成する単純なクラスタリングアルゴリズムによって埋め込みから推論することができる。

音声分離パラダイムの使用を試みる際に最初に直面する幾つかの難題は、音声分離及び音声認識の構成要素を分離してトレーニングし、トレーニング後にそれらを互いに接続することを試みることである。しかしながら、そのような手法は、本開示の一般の実世界信号には理想的でないことが後に分かった。１つの理由は、当初用いられていた音声分離トレーニングパラダイムが、個々の音声源の信号レベルグラウンドトゥルース基準に依存していることである。具体的には、反響する音響を有する未加工の録音物では、そのような信号レベル基準は利用可能でなく、唯一の代替手段はシミュレーションである。したがって、一般の実世界信号に対して最良の性能を得るために音声分離システムを単独でトレーニングすることは困難である。他方、音声の自然の音響及びトランスクリプションを有するデータは容易に入手可能である。このため、本開示において少なくとも１つの認識されていたことは、２つのシステムを組み合わせ、それらのシステムを認識用に共同トレーニングする動機があったこと、又は、代替案として、明確な分離を行わない単一のシステムを設計する動機があったことである。今や、この認識を実現することによって、ディープネットワークを用いて複数の話者による音声の認識の最良の実施が得られている。上述したように、重複音声信号の認識のための完全エンドツーエンドの共同トレーニングされたディープ学習システムが得られている。共同トレーニングフレームワークでは、分離及び認識を互いに相乗的に適合させることができ、これによって、性能が改善される。或いは、明確な分離を有しないシステムでは、複数の重なり合う話者を有する音響信号から音声を認識するように認識を直接最適化することができ、これによって、性能が改善される。

本開示の一実施の形態によれば、複数の話者による重複音声を含む音声を認識する音声認識システムが提供される。このシステムはハードウェアプロセッサを備える。このシステムは、ハードウェアプロセッサによって実行されると、記憶された音声認識ネットワークを実施するコンピュータ実行可能な命令を記憶するとともに、データを記憶するコンピュータ記憶メモリを備える。このシステムは、音響信号を受信する入力インターフェースを備え、受信された音響信号は、複数の話者による音声信号の混合体を含み、複数の話者は、対象話者を含む。記憶された音声認識ネットワークのエンコーダネットワーク及びデコーダネットワークは、受信された音響信号を対象話者ごとのテキストに変換するようにトレーニングされる。エンコーダネットワークは、一組の認識エンコーディング（recognition encoding：認識符号）を出力し、デコーダネットワークは、一組の認識エンコーディングを用いて対象話者ごとのテキストを出力するようになっている。このシステムは、対象話者ごとのテキストを送信する出力インターフェースを備える。

本開示の別の実施の形態によれば、複数の話者による重複音声を含む音声を認識する音声認識システムが提供される。このシステムはハードウェアプロセッサを備える。このシステムは、プロセッサによって実行されると、記憶された音声認識ネットワークを実施するコンピュータ実行可能な命令を記憶するとともに、データを記憶するコンピュータ記憶メモリを備える。このシステムは、音響信号を受信する入力インターフェースを備え、受信された音響信号は、複数の話者による音声信号の混合体を含み、複数の話者は、対象話者を含む。記憶された音声認識ネットワークのエンコーダネットワーク及びデコーダネットワークは、受信された音響信号を対象話者ごとのテキストに変換するようにトレーニングされる。エンコーダネットワークは、一組の認識エンコーディングを出力し、デコーダネットワークは、一組の認識エンコーディングを用いて対象話者ごとのテキストを出力するようになっている。エンコーダネットワークは、混合体エンコーダネットワーク、一組の話者区別エンコーダネットワーク、及び認識エンコーダネットワークも備える。このシステムは、対象話者ごとのテキストを送信する出力インターフェースを備える。

本開示の別の実施の形態によれば、音声認識システムを用いて複数の話者による重複音声を有する音響信号内の個々の話者信号を認識する方法が提供される。この方法は、対象話者を含む複数の話者による音声信号の混合体を含む音響信号を入力インターフェースを介して受信することを含む。この方法は、ハードウェアプロセッサを用いて、受信された音響信号を、コンピュータ可読メモリに記憶された事前にトレーニングされた音声認識ネットワーク内に入力することを含む。事前にトレーニングされた音声認識ネットワークは、事前にトレーニングされた音声認識ネットワークのエンコーダネットワークを用いて一組の認識エンコーディングを出力することによって、エンコーダネットワーク及び事前にトレーニングされた音声認識ネットワークのデコーダネットワークを用いて受信された音響信号を対象話者ごとのテキストに変換するように構成され、デコーダネットワークは、一組の認識エンコーディングを用いて、対象話者ごとのテキストを出力する。この方法は、出力インターフェースを用いて対象話者ごとのテキストを送信することを含む。

本開示の実施形態による方法を実施する幾つかの方法ステップを示すフロー図である。 本開示の実施形態によるシステム及び方法を実施するのに用いることができる幾つかの構成要素を示すブロック図である。 本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド認識を示すブロック図である。 本開示の実施形態による、事前にトレーニングされる音声認識ネットワーク（エンコーダデコーダネットワークとも呼ばれる）を含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すブロック図であり、エンコーダデコーダネットワークは、エンコーダネットワーク及びデコーダネットワークを備え、エンコーダネットワークは、デコーダネットワークが各話者によるテキストを出力するために用いる一組の認識エンコーディングを出力する。 本開示の実施形態による、事前にトレーニングされる音声認識ネットワーク（エンコーダデコーダネットワークとも呼ばれる）を含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すブロック図であり、エンコーダデコーダネットワークは、エンコーダネットワーク及びデコーダネットワークを備え、エンコーダネットワークは、話者ごとの認識エンコーディングを出力し、デコーダネットワークは、話者ごとの認識エンコーディングを用いてその話者のテキストを出力する。 本開示の実施形態による、暗黙の分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すフロー図である。 本開示の実施形態による、単一の話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いる初期音声認識ネットワーク、すなわち、エンコーダデコーダネットワークのトレーニングを示すフロー図であり、このトレーニングはエラー計算を含む。 本開示の実施形態による、初期音声認識ネットワークの話者区別エンコーダネットワークを用いる一組の話者区別エンコーダネットワーク内の話者区別エンコーダネットワークの初期化に基づく、初期音声認識ネットワークを用いる一組の話者区別エンコーダネットワークを有する音声認識ネットワーク、すなわち、エンコーダデコーダネットワークの初期化を示すフロー図である。 本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド認識の暗黙の分離を有する複数話者ＡＳＲネットワークのトレーニングを示すフロー図であり、トレーニングはエラー計算を含む。 本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識の別の方法を示すフロー図である。 本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識の別の方法を示すフロー図であり、複数話者ＡＳＲネットワークは、対象話者ごとの分離エンコーディング（separation encoding：分離符号）を出力する話者分離ネットワークと、対象話者ごとの分離エンコーディングからその対象話者の認識エンコーディングを出力する音響エンコーダネットワークと、一組の認識エンコーディングから対象話者ごとのテキストを出力するデコーダネットワークとを備える。 本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識の別の方法を示すフロー図であり、複数話者ＡＳＲネットワークは、対象話者ごとの分離エンコーディングを出力する話者分離ネットワークと、対象話者ごとの分離エンコーディングからその対象話者の認識エンコーディングを出力する音響エンコーダネットワークと、対象話者ごとの認識エンコーディングからその対象話者のテキストを出力するデコーダネットワークとを備える。 本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すフロー図であり、明確な分離はマスク推論を伴う。 本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド分離及び認識を示すフロー図である。 本開示の実施形態による単一チャネルマスク推論ネットワークアーキテクチャを示すブロック図である。 本開示の実施形態による単一チャネルディープクラスタリングネットワークアーキテクチャを示すブロック図である。 本開示の実施形態による単一チャネルキメラネットワークアーキテクチャを示すブロック図である。 本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド認識の明確な分離を有する複数話者ＡＳＲネットワークのトレーニングを示すフロー図であり、トレーニングはエラー計算を含む。 本開示の実施形態による、複数の言語で同時に発話する複数の話者による音声のエンドツーエンド認識を示す概略図である。 本開示の実施形態による、ハイブリッドＣＴＣ／注意エンドツーエンドネットワークを用いる音声認識モジュールを示すブロック図である。 本開示の実施形態による、ハイブリッドＣＴＣ／注意音声認識モジュールにおけるニューラルネットワークを示すブロック図である。 本開示の実施形態による、多言語音声認識モジュールにおけるニューラルネットワークを示す概略図である。 本開示の幾つかの実施形態による音声認識のための代替の音声認識システムのブロック図であり、特に、図１７Ａは、音声認識ネットワーク、すなわち、エンコーダデコーダネットワークを含む。 本開示の幾つかの実施形態による音声認識のための代替の音声認識システムのブロック図であり、特に、図１７Ｂは、ハイブリッドＣＴＣ／注意ベース音声認識ＡＳＲネットワークとともに音声分離ネットワークを含む。 本開示の実施形態による方法及びシステムの幾つかの技法を実施するのに用いることができるコンピューティング装置を示す概略図である。 本開示の実施形態による方法及びシステムの幾つかの技法を実施するのに用いることができるモバイルコンピューティング装置を示す概略図である。

上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。

（概説）
本開示は、１つ以上のマイクロフォンを用いた音声分離及び音声認識に関する。

本開示の幾つかの実施形態は、重複音声信号の分離及び認識のための完全エンドツーエンドの共同トレーニングされたディープ学習システムを含む。共同トレーニングフレームワークは、分離及び認識を互いに相乗的に適応させることができる。数ある利点の中でも特に追加の利点として、共同トレーニングフレームワークは、混在信号及びそれらのトランスクリプションのみを含むより現実的なデータに関してトレーニングすることができ、したがって、既存のトランスクリプトされたデータに関する大規模なトレーニングに適合することができる。

本開示の幾つかの実施形態は、明確な分離を伴わない重複音声信号の認識のための完全エンドツーエンドディープ学習システムを含む。上記の分離及び認識のための共同トレーニングされたディープ学習システムと同様に、明確な分離を伴わないシステムは、数ある利点の中でも特に、混在信号及びそれらのトランスクリプションのみを含む、より現実的なデータに関してトレーニングすることができ、したがって、既存のトランスクリプトされたデータに関する大規模なトレーニングに適合することができるという追加の利点を有する。

例えば、エンコーダデコーダリカレントニューラルネットワーク（ＲＮＮ）とともに用いられ、表音／言語構成体の明確な中間表現を用いることなく入力音声特徴系列を出力ラベル系列に直接変換するエンドツーエンド自動音声認識（ＡＳＲ）システムは、実験を通じて学習される。認識システム全体をモノリシックニューラルネットワークとして実施することによって、アドホック言語リソースへの依存をなくすことができる。また、認識システムでは、識別トレーニング及び他のシステムとの統合の容易性を大幅に改善できることが見出されている。本開示は、これらの特性を利用して、ＡＳＲを複数の重なり合う話者の認識に拡張する。複数の話者の不協和音の中で音声を認識することは、技術空間内においてカクテルパーティ問題として知られている長年にわたる難題である。このカクテルパーティ問題を解決することによって、特に実世界のヒューマンマシンインターラクション（ＨＭＩ）のための劇的に優れた技術が可能になる。

図１Ａは、本開示の実施形態による方法を実施する幾つかの方法ステップを示すフロー図である。例えば、方法１００Ａでは、音声認識システムを用いて、複数の話者による重複音声を有する音響信号内の個々の話者信号を認識する。方法１００Ａは、クライアントデバイス又は他の或るデバイス上で実行することができる。

方法１００Ａのステップ１１０は、複数の話者による音声信号の混合体を有する音響信号を受信することを含むことができる。例えば、この音響信号は、音響信号を形成する単一のマイクロフォンにおいてキャプチャすることができる、同時に話をしている複数の話者からの音声を含むことができる。各話者に関連した信号の一態様は、複数の話者がマイクロフォンから同じ距離においてほぼ同じ音量で発話している可能性があるので、非限定例として、ほぼ同じ音量レベルとすることができる。

図１Ａのステップ１１５は、ハードウェアプロセッサを用いて、受信音響信号をコンピュータ可読メモリに記憶された事前にトレーニングされた音声認識ネットワーク内に入力することを含む。事前にトレーニングされた音声認識ネットワークは、この事前にトレーニングされた音声認識ネットワークのエンコーダネットワーク及びデコーダネットワークを用いて、受信音響信号を対象話者ごとのテキストに変換するように構成されている。特定のアプリケーションに応じて、複数のハードウェアプロセッサを用いることができることが考えられる。上述したように、幾つかの実施形態は、重複音声信号の分離及び認識のための完全エンドツーエンド共同トレーニングディープ学習システムを含むことができる。共同トレーニングフレームワークは、分離及び認識を互いに相乗的に適応させることができる。数ある利点の中でも特に追加の利点として、共同トレーニングフレームワークは、混在信号及びそれらをトランスクリプションのみを含むより現実的なデータに関してトレーニングすることができ、したがって、既存のトランスクリプトされたデータに関する大規模なトレーニングに適合することができる。

図１Ａのステップ１２０は、ハードウェアプロセッサが、事前にトレーニングされた音声認識ネットワークを用い、この事前にトレーニングされた音声認識ネットワークのエンコーダネットワーク及びデコーダネットワークを用いて受信音響信号を対象話者ごとのテキストに変換することを含む。

図１Ａのステップ１２５は、エンコーダネットワークを用いて、一組の認識エンコーディングを出力することを含む。

図１Ａのステップ１３０は、一組の認識エンコーディングを用いるデコーダネットワークを用いて、対象話者ごとのテキストを出力することを含む。

図１Ａのステップ１３５は、出力インターフェースを用いて対象話者ごとのテキストを送信することを含む。

図１Ｂは、本開示の実施形態によるシステム及び方法を実施するのに用いることができる幾つかの構成要素を示すブロック図である。例えば、システム１００Ｂは、環境１から音響信号８を含むデータを収集する音響センサ等の単数のセンサ２又は複数のセンサと通信するハードウェアプロセッサ１１を備えることができる。音響信号は、重複音声を伴う複数の話者の音響信号を含むことができる。さらに、センサ２は、音響入力を音響信号に変換することができる。ハードウェアプロセッサ１１は、コンピュータ記憶メモリ、すなわちメモリ９と通信し、メモリ９は、ハードウェアプロセッサ１１によって実施することができるアルゴリズム、命令及び他のデータを含む記憶データを含むようになっている。

任意選択で、ハードウェアプロセッサ１１は、データソース３、コンピュータデバイス４、モバイルフォンデバイス５及び記憶デバイス６と通信するネットワーク７に接続することができる。また、任意選択で、ハードウェアプロセッサ１１は、クライアントデバイス１５に接続されたネットワーク対応サーバ１３に接続することもできる。ハードウェアプロセッサ１１は、任意選択で、外部メモリデバイス１７、送信機１９に接続することができる。さらに、対象話者ごとのテキストは、特定のユーザ使用目的に従って出力することができ（２１）、例えば、幾つかのタイプのユーザ使用は、更なる解析等のために、モニタ若しくはスクリーン等の１つ以上のディスプレイデバイス上にテキストを表示すること、又は、対象話者ごとのテキストをコンピュータ関連デバイス内に入力することを含むことができる。

ハードウェアプロセッサ１１は、特定のアプリケーションの要件に応じて２つ以上のハードウェアプロセッサを含むことができることが考えられ、これらのプロセッサは、内部のものとすることもできるし、外部のものとすることもできる。確かに、他のデバイスの中でも特に出力インターフェース及び送受信機を含む他の構成要素をシステム１００Ｂに組み込むことができる。

ネットワーク７は、限定されない例として、１つ以上のローカルエリアネットワーク（ＬＡＮ：local area networks）及び／又はワイドエリアネットワーク（ＷＡＮ：wide area networks）を含むことができる。ネットワーク接続環境は、企業全体のコンピュータネットワーク、イントラネット及びインターネットと同様のものとすることができる。言及した全ての構成要素について、任意の数のクライアントデバイス、記憶構成要素、及びデータソースをシステム１００Ｂ内で用いることが可能であると考えられる。それぞれは、単一のデバイスを含むこともできるし、分散環境において協働する複数のデバイスを含むこともできる。さらに、システム１００Ｂは、１つ以上のデータソース３を備えることができる。データソース３は、音声認識ネットワークをトレーニングするデータリソースを含む。データソース３によって提供されるデータは、トランスクリプトされたデータ及びトランスクリプトされていないデータ等のラベル付きデータ及びラベル無しデータを含むことができる。例えば、一実施形態では、データは、１つ以上の音を含み、対応するトランスクリプション情報又は音声認識ネットワークを初期化するのに用いることができるラベルも含むことができる。トレーニングデータは、同時に話をする複数の話者の音響信号を含むことができる。トレーニングデータは、単独で話をする単一の話者の音響信号、雑音の多い環境において話をする単一の話者又は複数の話者の音響信号、及び雑音の多い環境の音響信号も含むことができる。

さらに、データソース３におけるラベル無しデータは、１つ以上のフィードバックループによって提供することができる。例えば、検索エンジンに対して実行される発話された検索クエリからの使用データは、トランスクリプトされていないデータとして提供することができる。以下に限定されるものではないが、データソースの他の例として、ストリーミングサウンド若しくはストリーミングビデオ、ウェブクエリ、モバイルデバイスカメラ若しくは音響情報、ウェブカムフィード、スマートグラスフィード及びスマートウォッチフィード、顧客ケアシステム、セキュリティカメラフィード、ウェブ文書、カタログ、ユーザフィード、ＳＭＳログ、インスタントメッセージングログ、発話単語トランスクリプト、音声コマンド若しくはキャプチャ画像（例えば、深度カメラ画像）等のゲームシステムユーザインタラクション、ツイート、チャット記録若しくはビデオ通話記録、又はソーシャルネットワークメディアを含む様々な発話言語音響源若しくは画像源を含むことができる。使用される特定のデータソース３は、データが、性質上、或る特定のクラスのデータ（例えば、機械システム、娯楽システムを含む、例えば、特定のタイプの音にのみ関係したデータ）であるのか又は一般的なもの（非クラス固有のもの）であるのかという用途に基づいて決定することができる。

システム１００Ｂは、コンピューティングデバイス上に自動音声認識（ＡＳＲ）システムを有する対象となり得るような任意のタイプのコンピューティングデバイスを含むことができるサードパーティデバイス４、５を備えることができる。例えば、サードパーティデバイスは、本明細書では、図１８Ａに関して説明するタイプのコンピューティングデバイス等のコンピュータデバイス４、又は、図１８Ｂに関して説明するタイプのモバイルコンピューティングデバイス等のモバイルデバイス５を含む。ユーザデバイスは、パーソナルデジタルアシスタント（ＰＤＡ：personal digital assistant）、スマートフォン、スマートウォッチ、スマートグラス（又は他のウェアラブルスマートデバイス）等のモバイルデバイス、拡張現実ヘッドセット、仮想現実ヘッドセットとして具現化することができることが考えられる。さらに、ユーザデバイスは、タブレット等のラップトップ、リモコン、娯楽システム、車両コンピュータシステム、組み込みシステムコントローラ、電気器具、ホームコンピュータシステム、セキュリティシステム、民生用電子デバイス、又は他の同様の電子デバイスとすることができる。１つの実施形態では、クライアントデバイスは、当該デバイス上で動作しており、本明細書において説明するＡＳＲシステムによって使用可能な音響情報及び画像情報等の入力データを受信することが可能である。例えば、サードパーティデバイスは、音響情報を受信するマイクロフォン若しくはライン入力端子、ビデオ情報若しくは画像情報を受信するカメラ、又はインターネット若しくはデータソース３等の別の情報源からそのような情報を受信する通信構成要素（例えば、Ｗｉ−Ｆｉ機能）を有することができる。

音声認識ネットワークを用いるＡＳＲモデルは、入力データを処理して、コンピュータ使用可能情報を求めることができる。例えば、質問が尋ねられる場合において、例えば、室内で複数の人々が話をしている間にユーザによってマイクロフォンに発話されたクエリを処理して、クエリの内容を求めることができる。例示のサードパーティデバイス４、５は、任意選択で、ディープニューラルネットワークモデルを展開することができる環境を例示するためにシステム１００Ｂに含められる。さらに、本開示の幾つかの実施形態は、サードパーティデバイス４、５を備えないものとすることもできる。例えば、ディープニューラルネットワークモデルは、サーバ上に存在することもできるし、クラウドネットワーク、クラウドシステム又は同様の装置構成内に存在することもできる。

記憶装置６は、本明細書において説明する技術の実施形態において用いられるデータ、コンピュータ命令（例えば、ソフトウェアプログラム命令、ルーチン、又はサービス）、及び／又はモデルを含む情報を記憶することができる。例えば、記憶装置６は、１つ以上のデータソース３からのデータ、１つ以上のディープニューラルネットワークモデル、ディープニューラルネットワークモデルを生成及びトレーニングする情報、並びに１つ以上のディープニューラルネットワークモデルによって出力されるコンピュータ使用可能情報を記憶することができる。

図１Ｃは、本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド認識を示すブロック図である。図１Ｃは、請求項１に記載の特徴のうちの幾つかを示している。音声認識ネットワーク、すなわち、エンコーダデコーダネットワーク１４３は、センサ２を用いて記録された環境１からの音響信号８を、記憶されたネットワークパラメータ１４１を用いて処理し、Ｃ人の対象話者が存在する場合にテキスト１ １４５〜テキストＣ １４７の対象話者ごとのテキストを出力する。

図１Ｄは、本開示の実施形態による、音声認識ネットワーク、すなわち、エンコーダデコーダネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すブロック図であり、エンコーダデコーダネットワークは、エンコーダネットワーク及びデコーダネットワークを備え、エンコーダネットワークは、各話者によるテキストを出力するためにデコーダネットワークによって用いられる一組の認識エンコーディングを出力する。図１Ｄは、請求項１に記載の特徴のうちの幾つかを示している。図１Ｄのエンコーダデコーダネットワーク１４３は、エンコーダネットワーク１４６を用いて一組の認識エンコーディング１４８を出力し、この一組の認識エンコーディングをデコーダネットワーク１５０によって更に処理して、Ｃ人の対象話者が存在する場合にテキスト１ １４５〜テキストＣ １４７の対象話者ごとのテキストを出力することによって、音響信号８を処理する。幾つかの実施形態では、エンコーダ１４６は、エンコーダデコーダネットワークによって用いられる音響特徴系列を音響信号８から抽出するように構成された特徴抽出器（図示せず）を備える。特徴抽出器は、微分可能関数であり、したがって、単一のエンコーダデコーダネットワークに接続することができる。微分可能関数の例には、チャネル信号の振幅のＭｅｌ関数及びチャネル信号の振幅のｂａｒｋ関数が含まれる。

図２は、本開示の実施形態による、音声認識ネットワーク、すなわち、エンコーダデコーダネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すブロック図であり、エンコーダデコーダネットワークは、エンコーダネットワーク及びデコーダネットワークを備え、エンコーダネットワークは、話者ごとの認識エンコーディングを出力し、デコーダネットワークは、話者ごとの認識エンコーディングを用いて、その話者のテキストを出力する。

図２を引き続き参照すると、図２は、請求項２に記載の特徴のうちの幾つかを示している。音声認識ネットワーク、すなわち、エンコーダデコーダネットワーク２４３は、エンコーダネットワーク２４０を用いて、Ｃ人の対象話者が存在する場合に、話者１の認識エンコーディング２４８から話者Ｃの認識エンコーディング２４９の話者ごとの認識エンコーディングを出力することによって音響信号８を処理する。各認識エンコーディングはデコーダネットワーク２５０によって個別に処理され、対応する対象話者のテキストが出力される。特に、話者１の認識エンコーディング２４８がデコーダネットワーク２５０によって処理され、テキスト１ ２４５が出力され、話者Ｃの認識エンコーディング２４９がデコーダネットワーク２５０によって処理され、テキストＣ ２４７が出力される。エンコーダネットワーク２４０及びデコーダネットワーク２５０は、記憶されたネットワークパラメータ２４１を用いる。

図３は、本開示の実施形態による、暗黙の分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すフロー図である。図３は、幾つかの特徴を示している。入力混合体３０８は、混合体エンコーダ３１０によって処理され、混合体エンコーディング（mixture encoding：混合体符号化）される。この図は、２人の対象話者の場合を例として用いて概念を示している。混合体エンコーディングは、話者区別エンコーダ１ ３１２及び話者区別エンコーダ２ ３２２によって個別に更に処理され、話者区別エンコーディング（speaker-differentiated encodings：話者区別符号）が得られる。各話者区別エンコーディングは、認識エンコーダ３１４によって個別に更に処理され、認識エンコーディングがそれぞれ得られる。各認識エンコーディングは、デコーダネットワーク３５０のＣＴＣモジュール３１６及び注意デコーダ３１８の双方によって個別に更に処理される。話者区別エンコーダ１ ３１２から開始するパイプライン用のＣＴＣモジュール３１６及び注意デコーダ３１８の出力は組み合わされ、一組の仮説１ ３２０が出力され、話者区別エンコーダ２ ３２２から開始するパイプライン用のＣＴＣモジュール３１６及び注意デコーダ３１８の出力は組み合わされ、一組の仮説２ ３３０が出力される。一組の仮説１ ３２０からテキスト１ ３４５が出力される。一組の仮説２ ３３０からテキスト２ ３４７が出力される。

図４は、本開示の実施形態による、単一の話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いる初期音声認識ネットワーク、すなわち、エンコーダデコーダネットワークのトレーニングを示すフロー図であり、このトレーニングはエラー計算を含む。図４は、幾つかの特徴を示している。単一話者音声を有する入力信号４０８及び対応する基準ラベル４３２が、データセット４０６からサンプリングされる。混合体エンコーダ４１０は、単一話者音声を有する入力信号４０８を処理し、混合体エンコーディングを出力する。混合体エンコーディングは、次に、話者区別エンコーダ１ ４１２によって処理され、話者区別エンコーディングが出力される。話者区別エンコーディングは、次に、認識エンコーダ４１４によって処理され、認識エンコーディングが出力される。認識エンコーディングは、デコーダネットワーク４５０のＣＴＣモジュール４１６及び注意デコーダ４１８によって更に処理される。エラー計算モジュール４３０は、ＣＴＣモジュール４１６の出力及び基準ラベル４３２を用いてＣＴＣ損失を計算し、注意デコーダ４１８の出力及び基準ラベル４３２を用いて注意損失を計算する。ＣＴＣ損失Ｌ_ＣＴＣ及び注意損失Ｌ_ａｔｔの加重結合が、単一話者音声に関してトレーニングされた初期エンコーダデコーダネットワーク４１１のパラメータの更新を計算するのに用いられる認識損失Ｌ_ＡＳＲである。通常、単一話者音声を有する入力信号４０８と、対応する基準ラベル４３２との複数対のバッチが、上記のようにデータセット４０６からサンプリングされて処理され、このバッチ内の複数対にわたる認識損失の合計が、単一話者音声に関してトレーニングされた初期エンコーダデコーダネットワーク４１１のパラメータの更新を計算するのに用いられる。そのような更新は、パラメータに対する認識損失の勾配に基づいて取得することができる。

図５は、本開示の実施形態による、初期音声認識ネットワークの話者区別エンコーダネットワークを用いる一組の話者区別エンコーダネットワーク内の話者区別エンコーダネットワークの初期化に基づく、初期音声認識ネットワークを用いる一組の話者区別エンコーダネットワークを備える音声認識ネットワーク、すなわち、エンコーダデコーダネットワークの初期化を示すフロー図である。音声認識ネットワーク５１１の話者区別エンコーダ２ ５２２のパラメータは、そのパラメータをコピーし、任意選択で、例えば、ランダム摂動を用いてそれらを摂動することによって、図４の話者区別エンコーダ１ ４１２から取得することができる。音声認識ネットワーク５１１の他の全てのパラメータは、図４の対応する構成要素のパラメータを用いて初期化することができる。そのような初期化の後、入力混合体５０８は、図３のように処理することができる。

図６は、本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド認識の暗黙の分離を有する複数話者ＡＳＲネットワークのトレーニングを示すフロー図であり、トレーニングはエラー計算を含む。入力混合体６０８及び対応する基準ラベル６３２が、データセット６０６からサンプリングされる。混合体エンコーダ６１０は、入力混合体６０８を処理し、混合体エンコーディングを出力する。この混合体エンコーディングは、話者区別エンコーダ１ ６１２及び話者区別エンコーダ２ ６２２によって個別に更に処理され、話者区別エンコーディングが得られる。各話者区別エンコーディングは、認識エンコーダ６１４によって個別に更に処理され、認識エンコーディングがそれぞれ得られる。各認識エンコーディングは、デコーダネットワーク６５０のＣＴＣモジュール６１６及び注意デコーダ６１８の双方によって個別に更に処理される。エラー計算モジュール６３０は、ＣＴＣモジュール６１６の出力及び基準ラベル６３２の双方を用いてＣＴＣ損失Ｌ_ｃｔｃを計算し、注意デコーダ６１８の出力及び基準ラベル６３２の双方を用いて注意損失Ｌ_ａｔｔを計算する。ＣＴＣ損失及び注意損失の加重結合が認識損失Ｌ_ＡＳＲである。エラー計算モジュール６３０は、話者区別エンコーダ１ ６１２及び話者区別エンコーダ２ ６２２の出力を用いて話者区別損失Ｌ_ＫＬも計算する。認識損失及び話者区別損失の加重結合が、暗黙の分離を有する複数話者ＡＳＲネットワーク６１１のパラメータの更新を計算するのに用いられる。

図７は、本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識の別の方法を示すフロー図である。エンコーダデコーダネットワーク７４３は、エンコーダネットワーク７４０を用いて一組の認識エンコーディング７４８を出力し、この一組の認識エンコーディングをデコーダネットワーク７５０によって更に処理して、Ｃ人の対象話者が存在する場合にテキスト１ ７４５〜テキストＣ ７４７の対象話者ごとのテキストを出力することによって、音響信号８を処理する。エンコーダネットワーク７４０は、音響信号８を処理して一組の分離エンコーディング７４４を出力する話者分離ネットワーク７４２と、一組の分離エンコーディング７４４を処理して一組の認識エンコーディング７４８を出力する音響エンコーダネットワーク７４６とを備える。ネットワークパラメータ７４１は、話者分離ネットワーク７４２、音響エンコーダネットワーク７４６、及びデコーダネットワーク７５０のパラメータを指定する。

図８は、本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識の別の方法を示すフロー図であり、複数話者ＡＳＲネットワークは、対象話者ごとの分離エンコーディングを出力する話者分離ネットワークと、対象話者ごとの分離エンコーディングからその対象話者の認識エンコーディングを出力する音響エンコーダネットワークと、一組の認識エンコーディングから対象話者ごとのテキストを出力するデコーダネットワークとを備える。エンコーダネットワーク８４０は、音響信号８を処理して一組の認識エンコーディング８４８を出力し、この一組の認識エンコーディングは、デコーダネットワーク８５０によって更に処理され、Ｃ人の対象話者が存在する場合にテキスト１ ８４５〜テキストＣ ８４７の対象話者ごとのテキストが出力される。エンコーダネットワーク８４０は、話者分離ネットワーク８４２及び音響エンコーダネットワーク８４６を備える。話者分離ネットワーク８４２は、音響信号８を処理して分離エンコーディング１ ８４３〜分離エンコーディングＣ ８４４の対象話者ごとの分離エンコーディングを出力する。音響エンコーダネットワーク８４６は、各分離エンコーディングを個別に処理して対応する認識エンコーディングを出力する。分離エンコーディング１ ８４３は音響エンコーダネットワーク８４６によって処理されて、認識エンコーディング１ ８５３が出力され、分離エンコーディングＣ ８４４は、音響エンコーダネットワーク８４６によって処理されて、認識エンコーディングＣ ８５４が出力される。一組の認識エンコーディング８４８は、認識エンコーディング１ ８５３〜認識エンコーディングＣ ８５４を含む。ネットワークパラメータ８４１は、話者分離ネットワーク８４２、音響エンコーダネットワーク８４６、及びデコーダネットワーク８５０のパラメータを指定する。分離エンコーディングは、限定ではなく例として、対応する対象話者の音声が単独で観測されたものである場合に、その音声の推定値に対応する特徴ベクトル系列の形態のものとすることができる。

図９Ａは、本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識の別の方法を示すフロー図であり、複数話者ＡＳＲネットワークは、対象話者ごとの分離エンコーディングを出力する話者分離ネットワークと、対象話者ごとの分離エンコーディングからその対象話者の認識エンコーディングを出力する音響エンコーダネットワークと、対象話者ごとの認識エンコーディングからその対象話者のテキストを出力するデコーダネットワークとを備える。エンコーダネットワーク９４０は、話者分離ネットワーク９４２及び音響エンコーダネットワーク９４６を備える。話者分離ネットワーク９４２は、音響信号８を処理して、Ｃ人の対象話者が存在する場合に分離エンコーディング１ ９４３〜分離エンコーディングＣ ９４４の対象話者ごとの分離エンコーディングを出力する。音響エンコーダネットワーク９４６は、各分離エンコーディングを個別に処理して対応する認識エンコーディングを出力する。分離エンコーディング１ ９４３は、音響エンコーダネットワーク９４６によって処理されて、認識エンコーディング１ ９５３が出力され、分離エンコーディングＣ ９４４は、音響エンコーダネットワーク９４６によって処理されて、認識エンコーディングＣ ９５４が出力される。これらの認識エンコーディングは、デコーダネットワーク９５０によって個別に更に処理されて、対象話者ごとのテキストが出力される。認識エンコーディング１ ９５３はデコーダネットワーク９５０によって処理されて、テキスト１ ９４５が出力され、認識エンコーディングＣ ９５４はデコーダネットワーク９５０によって処理されて、テキストＣ ９４７が出力される。ネットワークパラメータ９４１は、話者分離ネットワーク９４２、音響エンコーダネットワーク９４６、及びデコーダネットワーク９５０のパラメータを指定する。

図９Ｂは、本開示の実施形態による、明確な分離を有する複数話者ＡＳＲネットワークを含む、同時に発話する複数の話者による音声のエンドツーエンド認識を示すフロー図であり、明確な分離はマスク推論を伴う。この図は、２人の対象話者の場合を例として用いて概念を示している。入力混合体９０８は話者分離ネットワーク９４２によって処理され、対象話者ごとの分離エンコーディングが出力される。

話者分離ネットワーク９４２は、混合体エンコーダ９１０、マスク推論モジュール９１２、及び分離エンコーディング推定モジュール９１３を備える。混合体エンコーダ９１０は、入力混合体９０８を処理して混合体エンコーディングを出力する。この混合体エンコーディングは、一組のマスクを推定するマスク推論モジュール９１２によって更に処理される。この一組のマスクは、分離エンコーディング推定モジュール９１３によって入力混合体とともに用いられ、対象話者ごとの分離エンコーディングが取得される。例えば、マスク推論モジュール９１２は、対象話者ごとのマスクを出力することができ、分離エンコーディング推定モジュールは、対象話者のマスクを入力混合体の表現に適用して、その対象話者の分離された信号の推定値の表現を取得することができる。この表現は、例えば、短時間フーリエ変換等の入力混合体の時間周波数表現とすることができ、この場合、マスクは入力混合体の短時間フーリエ変換に適用され、その対象話者の分離された信号の短時間フーリエ変換の推定値が取得される。この推定値は、その対象話者の隔離された信号が単独で観測された場合の信号の短時間フーリエ変換の推定値である。各分離エンコーディングは音響エンコーダ９４６によって個別に更に処理され、認識エンコーディングがそれぞれ得られる。

図９Ｂを引き続き参照すると、各認識エンコーディングは、ＣＴＣモジュール９１６及び注意デコーダ９１８の双方によって個別に更に処理される。ＣＴＣモジュール９１６及び注意デコーダ９１８の出力は組み合わされて、第１の対象話者の分離エンコーディング１を入力として取り込むパイプライン用の一組の仮説１ ９２０と、入力としての第２の対象話者の分離エンコーディング２から開始するパイプライン用の一組の仮説２ ９３０とが出力される。テキスト１ ９４５は一組の仮説１ ９２０から出力される。テキスト２ ９４７は一組の仮説２ ９３０から出力される。

図１０は、本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド分離及び認識を示すフロー図である。エンコーダデコーダネットワーク１０４３は、エンコーダネットワーク１０４０を用いて一組の認識エンコーディング１０４８を出力し、この一組の認識エンコーディングをデコーダネットワーク１０５０によって更に処理して、Ｃ人の対象話者が存在する場合にテキスト１ １０４５〜テキストＣ １０４７の対象話者ごとのテキストを出力することによって、音響信号８を処理する。エンコーダネットワーク１０４０は、音響信号８を処理して一組の分離エンコーディング１０４４を出力する話者分離ネットワーク１０４２と、一組の分離エンコーディング１０４４を処理して一組の認識エンコーディング１０４８を出力する音響エンコーダネットワーク１０４６とを備える。ネットワークパラメータ１０４１は、話者分離ネットワーク１０４２、音響エンコーダネットワーク１０４６、及びデコーダネットワーク１０５０のパラメータを指定する。一組の分離エンコーディング１０４４は、信号１ １０５５〜信号Ｃ １０５７の対象話者ごとの分離された信号の推定値を出力するために信号再構成モジュール１０５１によって音響信号８とともに用いることができる。推定された分離信号は、その話者の信号が単独で観測された場合のような信号の推定値である。例えば、話者分離ネットワーク１０４２は、対象話者ごとの振幅短時間フーリエ変換領域における推定された振幅スペクトログラムの形で一組の分離エンコーディング１０４４を出力することができる。対象話者ごとの振幅スペクトログラムを音響信号８の位相と組み合わせて、対象話者ごとの推定された複素スペクトログラムを取得することができ、この複素スペクトログラムから、逆短時間フーリエ変換によって時間領域信号を再構成することができる。

図１１Ａは、本開示の実施形態による、単一チャネルマスク推論ネットワークアーキテクチャを示すブロック図である。入力混合体から取得された特徴ベクトル系列、例えば、入力混合体の短時間フーリエ変換の対数振幅が、混合体エンコーダ１１１０への入力として用いられる。例えば、この系列における入力ベクトルの次元はＦとすることができる。混合体エンコーダ１１１０は、最初のＢＬＳＴＭ層１１３０から最後のＢＬＳＴＭ層１１３５までの複数の双方向長短期メモリ（ＢＬＳＴＭ）ニューラルネットワーク層から構成される。各ＢＬＳＴＭ層は、順方向長短期メモリ（ＬＳＴＭ：long short-term memory）層及び逆方向ＬＳＴＭ層から構成され、それらの出力は、組み合わされ、次の層によって入力として用いられる。例えば、最初のＢＬＳＴＭ層１１３０における各ＬＳＴＭの出力の次元はＮとすることができ、最後のＢＬＳＴＭ層１１３５を含む他の全てのＢＬＳＴＭ層における各ＬＳＴＭの入力次元及び出力次元の双方はＮとすることができる。最後のＢＬＳＴＭ層１１３５の出力は、線形ニューラルネットワーク層１１４０及び非線形部１１４５を備えるマスク推論モジュール１１１２への入力として用いられる。時間周波数領域、例えば短時間フーリエ変換領域における各時間フレーム及び各周波数について、線形層１１４０は、最後のＢＬＳＴＭ層１１３５の出力を用いて、Ｃの数を出力する。ここで、Ｃは対象話者の数である。非線形部１１４５は、各時間フレーム及び各周波数についてこの一組のＣの数に適用され、各時間フレーム、各周波数、及び各対象話者について、その時間フレーム及びその周波数における入力混合体でのその対象話者の支配性（dominance）を示すマスク値が得られる。マスクからの分離エンコーディング推定モジュール１１１３は、マスクが推定された時間周波数領域、例えば振幅短時間フーリエ変換領域における入力混合体の表現とともにこれらのマスクを用いて、対象話者ごとの分離エンコーディングを出力する。例えば、マスクからの分離エンコーディング推定モジュール１１１３は、対象話者のマスクを入力混合体の振幅短時間フーリエ変換と乗算して、その対象話者の分離エンコーディングとして用いられる、その対象話者の分離された信号が単独で観測された場合のその信号の振幅短時間フーリエ変換の推定値を取得することができる。

図１１Ｂは、本開示の実施形態による、単一チャネルディープクラスタリングネットワークアーキテクチャを示すブロック図である。入力混合体から取得された特徴ベクトル系列、例えば、入力混合体の短時間フーリエ変換の対数振幅が、混合体エンコーダ１１２０への入力として用いられる。例えば、この系列における入力ベクトルの次元はＦとすることができる。混合体エンコーダ１１２０は、最初のＢＬＳＴＭ層１１０１から最後のＢＬＳＴＭ層１１０３までの複数の双方向長短期メモリ（ＢＬＳＴＭ）ニューラルネットワーク層から構成される。各ＢＬＳＴＭ層は、順方向長短期メモリ（ＬＳＴＭ）層及び逆方向ＬＳＴＭ層から構成され、それらの出力は、組み合わされ、次の層によって入力として用いられる。例えば、最初のＢＬＳＴＭ層１１０１における各ＬＳＴＭの出力の次元はＮとすることができ、最後のＢＬＳＴＭ層１１０３を含む他の全てのＢＬＳＴＭ層における各ＬＳＴＭの入力次元及び出力次元の双方はＮとすることができる。最後のＢＬＳＴＭ層１１０３の出力は、埋め込み計算モジュール１１２２への入力として用いられる。この埋め込み計算モジュールは、線形ニューラルネットワーク層１１０５と、シグモイド非線形化及びその後に続く単位ノルム正規化を実施するモジュール１１０７とを備える。時間周波数領域、例えば短時間フーリエ変換領域における各時間フレーム及び各周波数について、線形層１１０５は、最後のＢＬＳＴＭ層１１０３の出力を用いてＤ次元ベクトルを出力する。ここで、Ｄは埋め込み次元である。シグモイド非線形化及びその後に続く単位ノルム正規化を実施するモジュール１１０７は、Ｄ次元ベクトルの各要素にシグモイドを適用し、各要素が単位ユークリッドノルムを有するようにこれを再正規化し、各時間フレーム及び各周波数の埋め込みベクトルを得る。埋め込みからの分離エンコーディング推定モジュール１１２３は、埋め込みが推定された時間周波数領域、例えば振幅短時間フーリエ変換領域における入力混合体の表現とともにこれらの埋め込みベクトルを用いて、対象話者ごとの分離エンコーディングを出力する。例えば、埋め込みからの分離エンコーディング推定モジュール１１２３は、ｋ平均アルゴリズム等のクラスタリングアルゴリズムを用いて、埋め込みベクトルをＣ個のグループにクラスタリングすることができる。ここで、Ｃは対象話者の数であり、各グループは、同じ話者によって支配される時間成分及び周波数成分に対応する。話者ごとに、時間成分及び周波数成分がその話者によって支配されるか否かを示す２値マスクを取得することができる。埋め込みからの分離エンコーディング推定モジュール１１２３は、次に、対象話者のマスクを入力混合体の振幅短時間フーリエ変換と乗算して、その対象話者の分離エンコーディングとして用いられる、その対象話者の分離された信号が単独で観測された場合のその信号の振幅短時間フーリエ変換の推定値を取得することができる。埋め込みからの分離エンコーディング推定モジュール１１２３を用いてそのようなマスクを取得するより精巧な方式も考えることができ、上記説明は決して限定とみなされるべきでない。

図１１Ｃは、本開示の実施形態による、単一チャネルキメラネットワークアーキテクチャを示すブロック図である。入力混合体から取得された特徴ベクトル系列、例えば、入力混合体の短時間フーリエ変換の対数振幅が、混合体エンコーダ１１５０への入力として用いられる。例えば、この系列における入力ベクトルの次元はＦとすることができる。混合体エンコーダ１１５０は、最初のＢＬＳＴＭ層１１７１から最後のＢＬＳＴＭ層１１７３までの複数の双方向長短期メモリ（ＢＬＳＴＭ）ニューラルネットワーク層から構成される。各ＢＬＳＴＭ層は、順方向長短期メモリ（ＬＳＴＭ）層及び逆方向ＬＳＴＭ層から構成され、それらの出力は、組み合わされ、次の層によって入力として用いられる。例えば、最初のＢＬＳＴＭ層１１７１における各ＬＳＴＭの出力の次元はＮとすることができ、最後のＢＬＳＴＭ層１１７３を含む他の全てのＢＬＳＴＭ層における各ＬＳＴＭの入力次元及び出力次元の双方はＮとすることができる。

最後のＢＬＳＴＭ層１１７３の出力は、線形ニューラルネットワーク層１１７５及び非線形部１１７７を備えるマスク推論モジュール１１５２への入力として用いられる。時間周波数領域、例えば短時間フーリエ変換領域における各時間フレーム及び各周波数について、線形層１１７５は、最後のＢＬＳＴＭ層１１７３の出力を用いて、Ｃの数を出力する。ここで、Ｃは対象話者の数である。非線形部１１７７は、各時間フレーム及び各周波数についてこの一組のＣの数に適用され、各時間フレーム、各周波数、及び各対象話者について、その時間フレーム及びその周波数における入力混合体でのその対象話者の支配性を示すマスク値が得られる。マスクからの分離エンコーディング推定モジュール１１５３は、マスクが推定された時間周波数領域、例えば振幅短時間フーリエ変換領域における入力混合体の表現とともにこれらのマスクを用いて、対象話者ごとの分離エンコーディングを出力する。例えば、マスクからの分離エンコーディング推定モジュール１１５３は、対象話者のマスクを入力混合体の振幅短時間フーリエ変換と乗算して、その対象話者の分離エンコーディングとして用いられる、その対象話者の分離された信号が単独で観測された場合のその信号の振幅短時間フーリエ変換の推定値を取得することができる。

最後のＢＬＳＴＭ層１１７３の出力は、埋め込み計算モジュール１１６２への入力としても用いることができる。この埋め込み計算モジュールは、線形ニューラルネットワーク層１１８５と、シグモイド非線形化及びその後に続く単位ノルム正規化を実施するモジュール１１８７とを備える。時間周波数領域、例えば短時間フーリエ変換領域における各時間フレーム及び各周波数について、線形層１１８５は、最後のＢＬＳＴＭ層１１７３の出力を用いてＤ次元ベクトルを出力する。ここで、Ｄは埋め込み次元である。シグモイド非線形化及びその後に続く単位ノルム正規化を実施するモジュール１１８７は、Ｄ次元ベクトルの各要素にシグモイドを適用し、各要素が単位ユークリッドノルムを有するようにこれを再正規化し、各時間フレーム及び各周波数の埋め込みベクトルを得る。埋め込みからの分離エンコーディング推定モジュール１１６３は、埋め込みが推定された時間周波数領域、例えば振幅短時間フーリエ変換領域における入力混合体の表現とともにこれらの埋め込みベクトルを用いて、対象話者ごとの分離エンコーディングを出力する。例えば、埋め込みからの分離エンコーディング推定モジュール１１６３は、ｋ平均アルゴリズム等のクラスタリングアルゴリズムを用いて、埋め込みベクトルをＣ個のグループにクラスタリングすることができる。ここで、Ｃは対象話者の数であり、各グループは、同じ話者によって支配される時間成分及び周波数成分に対応する。話者ごとに、時間成分及び周波数成分がその話者によって支配されるか否かを示す２値マスクを取得することができる。埋め込みからの分離エンコーディング推定モジュール１１６３は、次に、対象話者のマスクを入力混合体の振幅短時間フーリエ変換と乗算して、その対象話者の分離エンコーディングとして用いられる、その対象話者の分離された信号が単独で観測された場合のその信号の振幅短時間フーリエ変換の推定値を取得することができる。

トレーニング時には、最後のＢＬＳＴＭ層１１７３の出力は、マスク推論モジュール１１５２及び埋め込み計算モジュール１１６２の双方への入力として用いられる。埋め込み計算モジュール１１６２によって出力される埋め込み、マスク推論モジュール１１５２によって出力されるマスク、埋め込みからのエンコーディング推定モジュール１１６３によって出力される分離エンコーディング、及びマスクからのエンコーディング推定モジュール１１５３によって出力される分離エンコーディングのうちの１つ以上を用いて、図１２において説明するようなトレーニングエラーを計算することができる。テスト時には、双方のモジュールを用い、それぞれから取得される分離エンコーディングを組み合わせることもできるし、１つのモジュールのみを続けるように選択し、対応する分離エンコーディングを用いることもできる。

図１２は、本開示の実施形態による、同時に発話する複数の話者による音声のエンドツーエンド認識の明確な分離を有する複数話者ＡＳＲネットワークのトレーニングを示すフロー図であり、トレーニングはエラー計算を含む。この図は、２人の対象話者の場合を例として用いて概念を示している。明確な分離を有する複数話者音声認識ネットワーク１２１１は、エンコーダネットワーク１２４０及びデコーダネットワーク１２５０を備える。エンコーダネットワーク１２４０は、話者分離ネットワーク１２４２及び音響エンコーダネットワーク１２４６を備える。入力混合体１２０８及び対応する基準ラベル１２３２並びに基準音声源信号１２３４が、データセット１２０６からサンプリングされる。基準音声源信号は、単独で観測された各対象話者に対応する入力混合体１２０８の部分に対応する。入力混合体１２０８は話者分離ネットワーク１２４２によって処理され、対象話者ごとの分離エンコーディングが出力される。話者分離ネットワーク１２４２は、混合体エンコーダ１２１０、マスク推論モジュール１２１２、マスクからの分離エンコーディング推定モジュール１２１３、埋め込み計算モジュール１２２２、及び任意選択による埋め込みからの分離エンコーディング推定モジュール１２２３を備える。

混合体エンコーダ１２１０は、入力混合体１２０８を処理して混合体エンコーディングを出力する。この混合体エンコーディングは、一組のマスクを推定するマスク推論モジュール１２１２によって更に処理される。この一組のマスクは、マスクからの分離エンコーディング推定モジュール１２１３によって入力混合体とともに用いられ、対象話者ごとの分離エンコーディングが取得される。例えば、マスク推論モジュール１２１２は、対象話者ごとのマスクを出力することができ、マスクからの分離エンコーディング推定モジュールは、対象話者のマスクを入力混合体の表現に適用して、その対象話者の分離された信号の推定値の表現を取得することができ、この表現は、その対象話者の分離エンコーディングとして用いられる。この表現は、例えば、短時間フーリエ変換等の入力混合体の時間周波数表現とすることができ、この場合、マスクは入力混合体の短時間フーリエ変換に適用され、その対象話者の分離された信号の短時間フーリエ変換の推定値が取得される。この推定値は、その対象話者の隔離された信号が単独で観測された場合の信号の短時間フーリエ変換の推定値である。

混合体エンコーディングは、一組の埋め込みを推定する埋め込み計算モジュール１２２２によっても更に処理される。埋め込みからの分離エンコーディング推定モジュール１２２３は、これらの埋め込みベクトルを入力混合体１２０８とともに用いて、別の一組の分離エンコーディングを出力することができる。

これらの埋め込みからの分離エンコーディングは、マスクからの分離エンコーディングと結合して結合分離エンコーディングを取得することもできるし、マスクからの分離エンコーディングの代わりに用いて、音響エンコーダネットワーク１２４６及びその後のステップへの入力として用いることもできる。各分離エンコーディングは、音響エンコーダ１２４６によって個別に更に処理され、認識エンコーディングがそれぞれ得られる。各認識エンコーディングは、ＣＴＣモジュール１２１６及び注意デコーダ１２１８の双方によって個別に更に処理される。エラー計算モジュール１２３０は、ＣＴＣモジュール１２１６の出力及び基準ラベル１２３２の双方を用いてＣＴＣ損失Ｌ_ｃｔｃを計算し、注意デコーダ１２１８の出力及び基準ラベル１２３２を用いて注意損失Ｌ_ａｔｔを計算する。ＣＴＣ損失及び注意損失の加重結合が認識損失Ｌ_ＡＳＲである。エラー計算モジュール１２３０は、マスクからの分離エンコーディング推定モジュール１２１３の出力及び基準音声源信号１２３４を用いて分離エンコーディング損失Ｌ_ＳＥも計算する。エラー計算モジュール１２３０は、上記分離エンコーディング損失と組み合わせて又はその代わりに、埋め込みからの分離エンコーディング推定モジュール１２２３の出力及び基準音声源信号１２３４を用いて分離エンコーディング損失Ｌ_ＳＥを計算することもできる。エラー計算モジュール１２３０は、埋め込み計算モジュール１２２２の出力及び基準音声源信号１２３４を用いて埋め込み損失Ｌ_ｅｍｂも計算する。分離エンコーディング損失及び埋め込み損失の加重結合が音声源分離損失Ｌ_ＳＳである。認識損失及び音声源分離損失の加重結合を用いて、明確な分離を有する複数話者ＡＳＲネットワーク１２１１のパラメータの更新が計算される。

図１３は、本開示の実施形態による、複数の言語で同時に発話する複数の話者による音声のエンドツーエンド認識を示す概略図である。音声混合体１３０５は、複数の話者、例えば２人の話者による音声を含み、発語１ １３０６は、日本語による第１の部分１３０７及び英語による第２の部分１３０８を有する、話者１によって発話された発語であり、発語２ １３０９は、話者２によって中国語で発話された発語である。音声混合体１３０５は、２つのエンコーダネットワークであるエンコーダ１ １３１０及びエンコーダ２ １３１５によって処理され、エンコーディング１ １３１１及びエンコーディング２ １３１６が出力される。エンコーディング１ １３１１及びエンコーディング２ １３１６は、デコーダネットワークであるデコーダ１ １３２０及びデコーダ２ １３２５によってそれぞれ個別に処理され、例えば、日本語、次に英語による話者１のテキスト、及び、例えば、中国語による話者２のテキストが得られる。デコーダ１ １３２０によって出力されたテキストが発語１ １３０６に対応するとともに、デコーダ２ １３２５によって出力されたテキストが発語２ １３０９に対応するのか、又は、その逆であるのかは、システムによって判断される。

図１４は、本開示の実施形態による、ハイブリッドＣＴＣ／注意エンドツーエンドネットワークを用いる音声認識モジュールを示すブロック図である。

エンドツーエンド音声認識モジュール１４００は、エンコーダネットワークモジュール１４０２と、エンコーダネットワークパラメータ１４０３と、注意デコーダモジュール１４０４及びＣＴＣモジュール１４０８を備えるデコーダネットワークと、注意デコーダネットワークパラメータ１４０５と、ＣＴＣネットワークパラメータ１４０９と、ラベル系列探索モジュール１４０６とを備える。エンコーダネットワークパラメータ１４０３、注意デコーダネットワークパラメータ１４０５及びＣＴＣネットワークパラメータ１４０９は、対応するモジュール１４０２、１４０４及び１４０８にパラメータを提供する記憶デバイスにそれぞれ記憶される。

エンコーダネットワークモジュール１４０２は、エンコーダネットワークを含み、エンコーダネットワークパラメータ１４０３からパラメータを読み出すエンコーダネットワークを用いて、音響信号１４０１が隠れベクトル系列に変換される。幾つかの実施形態では、エンコーダネットワークモジュール１４０２は、エンコーダネットワークによって更に処理されることになる音響信号から音響特徴系列を抽出するように構成された特徴抽出器（図示せず）を備える。この特徴抽出器は微分可能関数であり、したがって、単一のエンドツーエンドニューラルネットワーク内に接続することができる。微分可能関数の例には、チャネル信号の振幅のＭｅｌ関数及びチャネル信号の振幅のｂａｒｋ関数が含まれる。

図１４を引き続き参照すると、注意デコーダネットワークモジュール１４０４を使用する注意機構が、以下のように説明される。注意デコーダネットワークモジュール１４０４は、注意デコーダネットワークを含む。注意デコーダネットワークモジュール１４０４は、エンコーダネットワークモジュール１４０２から隠れベクトル系列を、ラベル系列探索モジュール１４０６から先行するラベルを受信し、その後、注意デコーダネットワークパラメータ１４０５からパラメータを読み出すデコーダネットワークを用いて、先行するラベルに関する次のラベルの第１の事後確率分布を計算する。注意デコーダネットワークモジュール１４０４は、第１の事後確率分布をラベル系列探索モジュール１４０６に与える。ＣＴＣモジュール１４０８は、エンコーダネットワークモジュール１４０２から隠れベクトル系列を、ラベル系列探索モジュール１４０６から先行するラベルを受信し、ＣＴＣネットワークパラメータ１４０９及び動的計画法を用いて、次のラベル系列の第２の事後確率分布を計算する。この計算後、ＣＴＣモジュール１４０８は、第２の事後確率分布をラベル系列探索モジュール１４０６に与える。

ラベル系列探索モジュール１４０６は、注意デコーダネットワークモジュール１４０４及びＣＴＣモジュール１４０８から与えられる第１の事後確率分布及び第２の事後確率分布を用いて、最も高い系列確率を有するラベル系列を見つける。注意デコーダネットワークモジュール１４０４及びＣＴＣモジュール１４０８によって計算されるラベル系列の第１の事後確率分布及び第２の事後確率分布は結合され、１つの確率にされる。この場合、計算された事後確率の結合は、線形結合に基づいて実行することができる。エンドツーエンド音声認識モジュール１４００によれば、ＣＴＣ確率を考慮に入れて、入力音響特徴系列に対してより良好なアライメントされた仮説を見つけることが可能になる。

（言語非依存エンドツーエンド音声認識のためのニューラルネットワークアーキテクチャ）
エンドツーエンド音声認識は、入力音響特徴系列Ｘが与えられたときの最も確からしいラベル系列

を見つける問題と一般に定義され、すなわち、

である。ただし、Ｕ^＊は所定のラベルの集合Ｕが与えられたときの取り得るラベル系列の集合を表す。ラベルは、文字又は単語とすることができる。ラベル系列確率ｐ（Ｙ｜Ｘ）を、事前にトレーニングされたニューラルネットワークを用いて計算することができる。

本開示の実施形態において、言語非依存ニューラルネットワークは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）及びリカレントニューラルネットワーク（ＲＮＮ）等の様々なネットワークの組み合わせとすることができる。

図１４を引き続き参照すると、例えば、ニューラルネットワークのために、ハイブリッド注意／ＣＴＣアーキテクチャを用いることができる。図１４は、ハイブリッド注意／ＣＴＣアーキテクチャを有するエンドツーエンドネットワークを用いる音声認識モジュール１４００を示すブロック図であり、ラベル系列確率は以下のように計算される。

エンコーダモジュール１４０２は、

として、音響特徴系列Ｘ＝ｘ_１，．．．，ｘ_Ｔを隠れベクトル系列Ｈ＝ｈ_１，．．．，ｈ_Ｔに変換するために使用されるエンコーダネットワークを含む。ただし、関数Ｅｎｃｏｄｅｒ（Ｘ）は、スタックされる、１つ以上のリカレントニューラルネットワーク（ＲＮＮ）からなることができる。ＲＮＮは、長短期メモリ（ＬＳＴＭ）として実現することができ、長短期メモリは、各隠れユニット内に入力ゲート、忘却ゲート、出力ゲート及びメモリセルを有する。別のＲＮＮは、双方向ＲＮＮ（ＢＲＮＮ）又は双方向ＬＳＴＭ（ＢＬＳＴＭ）とすることができる。ＢＬＳＴＭは一対のＬＳＴＭ ＲＮＮであり、一方は順方向ＬＳＴＭであり、他方は逆方向ＬＳＴＭである。ＢＬＳＴＭの隠れベクトルは、順方向ＬＳＴＭ及び逆方向ＬＳＴＭの隠れベクトルの連結として取得される。

順方向ＬＳＴＭの場合、順方向の第ｔの隠れベクトル

は以下のように計算される。

ただし、σ（・）は要素ごとのシグモイド関数であり、ｔａｎｈ（・）は要素ごとの双曲線正接関数であり、

、及び

はそれぞれ、ｘ_ｔに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。

はベクトル間の要素ごとの乗算を表す。重み行列

及びバイアスベクトル

はＬＳＴＭのパラメータであり、それらは下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される。例えば、

は隠れ／入力ゲート行列であり、

は入力／出力ゲート行列である。隠れベクトル

は入力ベクトルｘ_ｔ及び先行する隠れベクトル

から再帰的に取得される。ただし、

はゼロベクトルであると仮定される。

図１４を引き続き参照すると、逆方向ＬＳＴＭの場合、逆方向の第ｔの隠れベクトル

は以下のように計算される。

ただし、

及び

はそれぞれ、ｘ_ｔに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列

及びバイアスベクトル

はＬＳＴＭのパラメータであり、それらは順方向ＬＳＴＭと同様にして下付き文字によって識別される。隠れベクトル

は入力ベクトルｘ_ｔ及び後続の隠れベクトル

から再帰的に取得される。ただし、

はゼロベクトルであると仮定される。

ＢＬＳＴＭの隠れベクトルは、以下のように、順方向隠れベクトル及び逆方向隠れベクトルを連結することによって取得される。

ただし、Ｔは、全てのベクトルが列ベクトルであると仮定するときに、ベクトルに関する転置演算を表す。

及び

はＢＬＳＴＭのパラメータとみなされる。

より良好な隠れベクトルを取得するために、第１のＢＬＳＴＭの隠れベクトルを第２のＢＬＳＴＭに送り込み、その後、第２のＢＬＳＴＭの隠れベクトルを第３のＢＬＳＴＭに送り込み、以下同様にすることによって、複数のＢＬＳＴＭをスタックすることができる。ｈ_ｔ’が１つのＢＬＳＴＭによって取得された隠れベクトルである場合には、それを別のＢＬＳＴＭに送り込むときに、ｘ_ｔ＝ｈ_ｔ’であると仮定する。計算を削減するために、１つのＢＬＳＴＭから別のＢＬＳＴＭに１つおきの隠れベクトルのみを送り込むことができる。この場合、出力隠れベクトル系列の長さは、入力音響特徴系列の長さの半分になる。

複数のＢＬＳＴＭの下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ

及び

は、エンコーダネットワークパラメータ１４０３に記憶され、隠れベクトル系列Ｈを計算するために使用される。

注意デコーダネットワークモジュール１４０４は、隠れベクトル系列Ｈを用いて、ラベル系列確率ｐ_ａｔｔ（Ｙ｜Ｘ）を計算するために使用される注意デコーダネットワークを含む。ＹがＬ長のラベル系列ｙ_１、ｙ_２、．．．、ｙ_Ｌであると仮定する。ｐ_ａｔｔ（Ｙ｜Ｘ）を効率的に計算するために、その確率は、

として確率連鎖律によって分解することができ、各ラベル確率ｐ_ａｔｔ（ｙ_ｌ｜ｙ_１，．．．，ｙ_ｌ−１，Ｘ）はラベルにわたる確率分布から取得され、その確率分布は、

として注意デコーダネットワークを用いて推定される。ただし、ｙはラベルを表す確率変数であり、ｒ_ｌはコンテンツベクトルと呼ばれ、それはＨのコンテンツ情報を有する。ｑ_ｌ−１はデコーダ状態ベクトルであり、それは、先行するラベルｙ_１、．．．、ｙ_ｌ−１及び先行するコンテンツベクトルｒ_０、．．．、ｒ_ｌ−１の文脈情報を含む。したがって、ラベル確率は、文脈を与えられるとすると、ｙ＝ｙ_ｌの確率として取得され、すなわち、

である。

コンテンツベクトルｒ_ｌは一般に、エンコーダネットワークの隠れベクトルの加重和として与えられ、すなわち、

である。ただし、ａ_ｌｔは注意重みと呼ばれ、それはΣ_ｔａ_ｌｔ＝１を満たす。注意重みはｑ_ｌ−１及びＨを用いて、以下のように計算することができる。

ただし、Ｗ、Ｖ、Ｆ及びＵは行列であり、ｗ及びｂはベクトルであり、それらは注意デコーダネットワークのトレーニング可能なパラメータである。ｅ_ｌｔは第（ｌ−１）の状態ベクトルｑ_ｌ−１と第ｔの隠れベクトルｈ_ｔとの間の照合スコアであり、時間的なアライメント分布ａ_ｌ＝｛ａ_ｌｔ｜ｔ＝１，．．．，Ｔ｝を形成する。ａ_ｌ−１は、先行するラベルｙ_ｌ−１を予測するために使用される先行するアライメント分布｛ａ_{（ｌ−１）ｔ}｜ｔ＝１，．．．，Ｔ｝を表す。ｆ_ｌ＝｛ｆ_ｌｔ｜ｔ＝１，．．．，Ｔ｝は、ａ_ｌ−１に関するＦとの畳み込み結果であり、それは、先行するアライメントを現在のアライメントに反映させるために使用される。「＊」は畳み込み演算を表す。

ラベル確率分布は、

として状態ベクトルｑ_ｌ−１及びコンテンツベクトルｒ_ｌを用いて取得される。ただし、Ｗ_ｑｙ及びＷ_ｒｙは行列であり、ｂ_ｙはベクトルであり、それらは注意デコーダネットワークのトレーニング可能なパラメータである。ｓｏｆｔｍａｘ（）関数は、Ｋ次元ベクトルｖの場合に、

として計算される。ただし、ｖ［ｉ］は、ｖの第ｉの要素を示す。

その後、デコーダ状態ベクトルｑ_ｌ−１が、以下のように、ＬＳＴＭを用いて、ｑ_ｌに更新される。

ただし、

及び

はそれぞれ、入力ベクトルｘ_ｌに関する入力ゲートベクトル、忘却ゲートベクトル、出力ゲートベクトル及びセルアクティベーションベクトルである。重み行列

及びバイアスベクトル

はＬＳＴＭのパラメータであり、それは順方向ＬＳＴＭと同様にして下付き文字によって識別される。状態ベクトルｑ_ｌは入力ベクトル

及び先行する状態ベクトルｑ_ｌ−１から再帰的に取得され、ただし、ｑ_０は、ｑ_−１＝０、ｙ_０＝＜ｓｏｓ＞及びａ_０＝１／Ｔを仮定して計算される。注意デコーダネットワークの場合、入力ベクトル

は、ラベルｙ_ｌ及びコンテンツベクトルｒ_ｌの連結ベクトルとして与えられ、それは

として取得することができ、ただし、Ｅｍｂｅｄ（・）は、ラベルを固定次元ベクトルに変換するラベル埋め込みを表す。例えば、これは、以下の式によって計算することができる。

ただし、ＯｎｅＨｏｔ（ｙ）は、ラベルインデックスをワンホットベクトル表現に変換するラベルｙの１−ｏｆ−Ｎコーディングを表す。

は、行列であり、トレーニング可能なパラメータである。

下付き文字ｚ∈｛ｘ，ｈ，ｉ，ｆ，ｏ，ｃ｝によって識別される全てのパラメータ

及び

と、Ｗ_ｑｙ、Ｗ_ｒｙ、ｂ_ｙ、

は、注意デコーダネットワークパラメータ１４０５に記憶され、ラベル確率分布ｐ_ａｔｔ（ｙ｜ｙ_１，．．．，ｙ_ｌ−１，Ｘ）を計算するために使用される。

ＣＴＣモジュール１４０８は、隠れベクトル系列Ｈを与えられると、ラベル系列ＹのＣＴＣ順方向確率を計算する。ＣＴＣ定式化は、異なるラベルの集合Ｕを有するＬ長のラベル系列Ｙ＝｛ｙ_ｔ∈Ｕ｜ｌ＝１，．．．，Ｌ｝を使用することに留意されたい。付加的な「ブランク」ラベルを有するフレームごとのラベル系列を導入することによって、Ｚ＝｛ｚ_ｔ∈Ｕ∪｛ｂ｝｜ｔ＝１，．．．，Ｔ｝である。ただし、ｂはブランクラベルを表す。確率連鎖律と、条件付き独立仮定とを使用することによって、事後確率ｐ（Ｙ｜Ｘ）は以下のように分解される。

ただし、ｐ（ｚ_ｔ｜ｚ_ｔ−１，Ｙ）はブランクラベルを含むラベル遷移確率とみなされる。ｐ（ｚ_ｔ｜Ｘ）は、入力系列Ｘを条件とし、双方向長短期メモリ（ＢＬＳＴＭ）を使用することによってモデル化される、フレームごとの事後確率である。

ただし、ｈ_ｔはエンコーダネットワークを用いて得られる。

は行列であり、

はベクトルであり、それらはＣＴＣのトレーニング可能なパラメータであり、ＣＴＣネットワークパラメータ１４０９に記憶される。式（２９）は、全ての取り得るＺにわたる総和を取り扱わなければならないが、順方向アルゴリズムを使用することによって効率的に計算される。

ＣＴＣのための順方向アルゴリズムは以下のように実行される。長さ２Ｌ＋１の拡張ラベル系列Ｙ’＝ｙ’_１，ｙ’_２，．．．，ｙ’_２Ｌ＋１＝ｂ，ｙ_１，ｂ，ｙ_２，．．．，ｂ，ｙ_Ｌ，ｂが使用される。ただし、ブランクラベル「ｂ」が各対の隣接するラベル間に挿入される。α_ｔ（ｓ）を順方向確率とする。それは時間フレーム１、．．．、ｔに関するラベル系列ｙ_１、．．．、ｙ_ｌの事後確率を表し、ただし、ｓは、拡張ラベル系列Ｙ’内の位置を示す。

初期化のために、

が設定される。ｔ＝２〜Ｔの場合に、α_ｔ（ｓ）は、

として再帰的に計算される。ただし、

である。最後に、ＣＴＣベースラベル系列確率が

として得られる。

フレームごとのラベル系列Ｚは、入力音響特徴系列Ｘと出力ラベル系列Ｙとの間のアライメントを表す。順方向確率を計算するとき、式（３４）の再帰によって、Ｚが単調になるように強制し、アライメントＺにおいてｓがループ又は大きくジャンプできないようにする。なぜなら、α_ｔ（ｓ）を得るための再帰は、多くてもα_ｔ−１（ｓ）、α_ｔ−１（ｓ−１）、α_ｔ−１（ｓ−２）しか考慮しないためである。これは、時間フレームが１フレームだけ進むと、ラベルが先行するラベル又はブランクから変化するか、又は同じラベルを維持することを意味する。この制約は、アライメントが単調になるように強制する遷移確率ｐ（ｚ_ｔ｜ｚ_ｔ−１，Ｙ）の役割を果たす。それゆえ、ｐ_ｃｔｃ（Ｙ｜Ｘ）が、不規則な（非単調の）アライメントに基づいて計算されるときに、０又は非常に小さい値とすることができる。

最終的に、式（３６）のＣＴＣベース確率及び式（１４）の注意ベース確率を対数領域において以下のように結合することによってラベル系列確率を得る。

ここで、λは、０≦λ≦１となるようなスカラー重みであり、手動で求めることができる。

図１５は、本開示の実施形態による、ハイブリッドＣＴＣ／注意音声認識モジュールにおけるニューラルネットワークを示す概略図である。結合ニューラルネットワーク１５００は、エンコーダネットワークモジュール１５０２と、注意デコーダネットワークモジュール１５０４と、ＣＴＣモジュール１５０８とを含む。各矢印は、変換を伴う、又は伴わないデータ転送を表し、各正方形ノード又は円形ノードは、ベクトル又は予測ラベルを表す。音響特徴系列Ｘ＝ｘ_１，．．．，ｘ_Ｔが、エンコーダネットワークモジュール１５０２に送り込まれ、エンコーダネットワークモジュールでは、２つのＢＬＳＴＭがスタックされ、第１のＢＬＳＴＭの１つおきの隠れベクトルが第２のＢＬＳＴＭに送り込まれる。エンコーダモジュール１５０２の出力の結果、隠れベクトル系列Ｈ＝ｈ’_１，ｈ’_２，．．．，ｈ’_Ｔ’が生成される。ただし、Ｔ’＝Ｔ／２である。その後、ＨがＣＴＣモジュール１５０８及び注意デコーダネットワークモジュール１５０４に送り込まれる。ＣＴＣベース系列確率及び注意ベース系列確率がそれぞれ、ＣＴＣモジュール１５０８及び注意デコーダネットワークモジュール１５０４を用いて計算され、ラベル系列確率を取得するために結合される。

（同時の言語識別及び音声認識）
言語非依存エンドツーエンドシステムの主要な着想は、全てのターゲット言語に現れる文字集合の和集合を含む拡張文字集合を出力ラベルの集合とみなすことである。すなわち、Ｕ^{ｕｎｉｏｎ}＝Ｕ^ＥＮ∪Ｕ^ＪＰ∪．．．，であり、ここで、Ｕ^{ＥＮ／ＪＰ／．．．}は、特定の言語の文字集合である。この拡張文字集合を用いることによって、別個の言語識別モジュールを必要とすることなく、任意の言語について文字系列の尤度を計算することができる。ネットワークは、各発語のターゲット言語のための正しい文字系列を自動的に予測するようにトレーニングされる。和集合の使用は、言語ごとに一意の文字集合を用いることと対照的に、複数の言語において生じる出力シンボルの複製を排除し、低減された計算コストで、よりコンパクトなモデル表現をもたらす。言語非依存システムは、連続した多言語音声を与えられると、言語ＩＤ及び音声認識の予測を繰り返す。

さらに、出力ラベルの集合を、言語ＩＤを含むように更に拡張することによって、言語ＩＤの予測をシステムの明確な部分にし、それにより、エンドツーエンド音声認識のためのラベルの集合Ｕとして用いられる最終増強文字集合Ｕ^{ｆｉｎａｌ}＝Ｕ^{ｕｎｉｏｎ}∪｛［ＥＮ］，［ＪＰ］，．．．｝が得られる。本開示の実施形態によれば、ネットワークは、まず、言語ＩＤ、ｋ∈｛［ＥＮ］，［ＪＰ］，．．．｝を予測する。Ｙ＝ｙ_１，．．．，ｙ_Ｌは、Ｕにおける文字の系列であり、Ｘは音響特徴ベクトルの系列である、事後分布ｐ（Ｙ｜Ｘ）の代わりに、システムは、言語ＩＤ、及び拡張系列Ｙ’＝（ｋ，Ｙ）の文字系列としての文字系列の同時分布ｐ（ｋ，Ｙ｜Ｘ）をモデル化する。ここで、ｙ’_１＝ｋであり、ｙ’_ｌ＝ｙ_ｌ＋１，∀ｌ＞１である。これは、以下のように確率連鎖律を用いることによって定式化される。

さらに、発語に複数の言語を含む場合、ネットワークが、全体を通じて複数の言語ＩＤを出力することが可能になる。Ｕ^{ｆｉｎａｌ}における文字の系列Ｙ’＝ｙ’_１，．．．，ｙ’_Ｌ’について、言語ＩＤである、Ｙ’における文字

のインデックスを、ｌ_１、．．．、ｌ_Ｎによって表す（すなわち、ｋ_ｎ∈｛［ＥＮ］，［ＪＰ］，．．．｝である）。ここで、システムは、言語ＩＤ及び文字の同時分布を以下のようにモデル化する。

これは、「[EN]how<space>are<space>you?[FR]comment<space>allez-vous?」等の、言語ＩＤを含む言語混合文字系列の分布のモデル化と同じである。ここで、＜ｓｐａｃｅ＞は形式上、スペース文字を表す。

図１６は、本開示の実施形態による、多言語音声認識モジュールにおけるニューラルネットワークを示す概略図である。ハイブリッド注意／ＣＴＣアーキテクチャを用いて、そのような言語混合文字系列をモデル化することができる。言語混合発語を認識するとき、ネットワークは、出力系列の言語を切り替えることができる。図１６は、ハイブリッド注意／ＣＴＣネットワーク１６００を用いた文字系列予測の例を示す。エンコーダネットワークは、日本語及び英語の音声からなる音響特徴を入力として取ることによって、隠れベクトル系列Ｈを計算する。この例では、ｘ_１、．．．、ｘ_５が日本語に対応し、ｘ_６、．．．、ｘ_Ｔが英語に対応すると仮定するが、実際の音響特徴系列には、言語を分離するインジケーターが存在しない。本開示の実施形態によれば、注意デコーダネットワークは、日本語文字系列が続く言語ＩＤ「［ＪＰ］」を予測することができ、第１の日本語文字系列を復号した後、ネットワークは、続く文字系列に一致する言語ＩＤ、ここでは「［ＥＮ］」を更に予測することができる。

（多言語音声認識のためのデータ生成）
言語混合発語を予測するために、ハイブリッド注意／ＣＴＣネットワークが、そのような言語混合コーパスの集合を用いてトレーニングされる必要がある。しかしながら、同じ発語内に複数の言語が現れるそのような音声コーパスを十分な量収集することは非常に困難である。実際には、そのような発語を収集及びトランスクリプトすることは非常にコストが高く、時間がかかる。しかしながら、そのようなコーパスは、既に存在する言語依存コーパスの集合から人工的に生成することができる。

複数のコーパス内の各発語が、文字の系列として対応するトランスクリプトを有すると仮定する。以後、そのような言語混合コーパスを生成する方法が説明される。第１に、言語依存コーパス内の各発語のトランスクリプトに言語ＩＤを挿入する。言語ＩＤは、各文字系列の先頭に位置することができる。次に、以下で更に説明されるように、選択された発語のカバレッジ、及び言語推移の変動に注意を払いながら、言語依存コーパスから発語をランダムに選択する。次に、選択された発語（及びそれらのトランスクリプト）が連結され、生成されたコーパスにおいて単一の発語とみなされる。この手順は、生成されたコーパスの持続時間が、元のコーパスの和集合の持続時間に到達するまで繰り返される。

言語をサンプリングする確率は、元のコーパスの持続時間と比例し、データサイズによって生じる選択バイアスを緩和するために、定数項１／Ｎが付加される。本発明者らの実験では、連結する発語の最大数Ｎ_{ｃｏｎｃａｔ}を３に設定する。１とＮ_{ｃｏｎｃａｔ}との間の各数ｎ_{ｃｏｎｃａｔ}について、ｎ_{ｃｏｎｃａｔ}個の言語及び発語をそれらのサンプリング確率に基づいてサンプリングすることによって、元のコーパスからのｎ_{ｃｏｎｃａｔ}個の発語からなる連結された発語を生成する。元のコーパスの適用範囲を最大にするために、トレーニングセットについて５に設定され、開発セット及び評価セットについて２に設定された最大使用カウントｎ_{ｒｅｕｓｅ}を導入することによって、発語が過度に再利用されることを防ぐ。この手順を用いて、トレーニングセット、開発セット及び評価セットを生成する。

複数話者多言語トレーニングデータを生成するために、上記で生成されたような多言語発語をランダムに選択し、それらをランダム利得とともに混合することができる。

（トレーニング手順）
損失関数

の値を小さくするように、図１４のエンコーダネットワークパラメータ１４０３、注意デコーダネットワークパラメータ１４０５、及びＣＴＣネットワークパラメータ１４０９が同時に最適化される。ここで、Ｘ及びＹは、音響特徴系列及びラベル系列を含むトレーニングデータである。

Θは、図１４のエンコーダネットワークパラメータ１４０３、注意デコーダネットワークパラメータ１４０５及びＣＴＣネットワークパラメータ１４０９を含むネットワークパラメータの集合を表す。Ｎは、トレーニングサンプルの数である。Ｘ_ｎは、Ｘにおける第ｎの音響特徴系列であり、Ｙ_ｎは、Ｙにおける第ｎのラベル系列である。ｐ_ｃｔｃ（Ｙ_ｎ｜Ｘ_ｎ，Θ）は、パラメータ集合Θを用いて計算されたＣＴＣベースの系列確率であり、ｐ_ａｔｔ（Ｙ_ｎ｜Ｘ_ｎ，Θ）は、パラメータ集合Θを用いて計算された注意ベースの系列確率である。

ネットワークパラメータの集合Θは、確率的勾配降下法によって最適化することができる。行列及びベクトルのサイズは、手作業で又は自動的に決定することができる。例えば、ラベル集合Ｕ^{ｆｉｎａｌ}のサイズに依存する行列及びベクトルの場合、サイズは、ラベル集合サイズ｜Ｕ^{ｆｉｎａｌ}｜に従って求められる。例えば、行列Ｗ_ｑｙ及びＷ_ｒｙの行数が｜Ｕ^{ｆｉｎａｌ}｜に等しい場合、ベクトルｂ_ｙの次元数も｜Ｕ^{ｆｉｎａｌ}｜に等しいはずである。なぜなら、この数はラベル確率分布ｐ_ａｔｔ（ｙ｜ｙ_１，．．．，ｙ_ｌ−１，Ｘ）の次元と等しくなるはずであるためである。行列及びベクトルの各要素は、ランダム実数として設定することができる。対象となるデータセットにおける一意の文字及び言語ＩＤを取得することによって、Ｕ^{ｆｉｎａｌ}が求められる。

次に、パラメータ集合Θ内のエンコーダネットワークパラメータ、デコーダネットワークパラメータ及びＣＴＣネットワークパラメータが同時に最適化される。勾配降下法に基づいて、パラメータ集合Θの各要素は、Ｌ（Ｘ，Ｙ，Θ）が収束するまで、

として繰り返し更新される。ここで、ηは学習速度である。

及び

となるように、Ｘ及びＹをＭ個の小さな部分集合

に分割し、ｍ＝１，．．．，Ｍについて以下を繰り返すことによってパラメータを更新することも可能である。

小さな部分集合を用いてパラメータを更新することによって、パラメータはより頻繁に更新され、損失関数はより迅速に収束する。

本開示における全てのネットワークのパラメータは、上記で説明したのと同様に最適化することができることが分かる。例えば、図１０に関して、話者分離ネットワーク１０４２、音響エンコーダネットワーク１０４６、及びデコーダネットワーク１０５０のネットワークパラメータ１０４１は、上記で説明した手順と同様の手順を用いて同時に最適化することができる。

（ラベル系列探索）
図１４のラベル系列探索モジュール１４０６は、組み合わされたラベル系列確率に従って、以下のように最も確からしいラベル系列

を得る。

ここで、ｐ_ｃｔｃ（Ｙ｜Ｘ）は、式（３６）におけるＣＴＣベースのラベル系列確率であり、ｐ_ａｔｔ（Ｙ｜Ｘ）は、式（１４）における注意ベースのラベル系列確率であり、本開示の実施形態によればＵ＝Ｕ^{ｆｉｎａｌ}である。

しかしながら、あり得るラベル系列の数は系列の長さに対し指数関数的に増大するため、Ｙの全ての可能なラベル系列を列挙し、λ ｌｏｇ ｐ_ｃｔｃ（Ｙ｜Ｘ）＋（１−λ）ｌｏｇ ｐ_ａｔｔ（Ｙ｜Ｘ）を計算することは困難である。したがって、通例、ビーム探索技法を用いて

が得られ、ビーム探索技法では、最初に、より短いラベル系列仮説が生成され、他よりも高いスコアを有する限られた数の仮説のみが、より長い仮説を得るように拡張される。最終的に、完全な仮説において、系列の末尾に到達した最良のラベル系列仮説が選択される。

Ω_ｌを、長さｌの部分的仮説の集合とする。ビーム探索の開始時に、Ω_０は、開始シンボル＜ｓｏｓ＞を有する１つのみの仮説を含む。ｌ＝１〜Ｌ_ｍａｘについて、Ω_ｌ−１における各部分仮説は、あり得る単一のラベルを付加することによって拡張され、新たな仮説はΩ_ｌに記憶される。ここで、Ｌ_ｍａｘは、探索されることになる仮説の最大長である。

各部分仮説ｈのスコアは以下のように計算される。

ここで、ψ_ａｔｔ（ｈ）は以下のように計算される。

ψ_ｃｔｃ（ｈ，Ｘ）を計算するために、自身のプレフィックスとしてｈを有する全てのラベル系列の累積確率として定義されるＣＴＣプレフィックス確率

が利用され、ＣＴＣスコアは、

と定義される。ただし、ｖは、空のストリングを除く、全ての取り得るラベル系列を表す。ＣＴＣスコアは、式（４５）におけるψ_ａｔｔ（ｈ）として再帰的に得ることはできないが、入力時間フレームにわたって順方向確率を維持することによって、部分仮説ごとに効率的に計算することができる。

本開示の実施形態によれば、ラベル系列探索モジュール１４０６は、

を以下の手順に従って見つける。

この手順において、Ω_ｌ及び

は、それぞれ長さｌの部分的仮説及び完全な仮説を受け入れるキューとして実施される。１行目〜２行目において、Ω_０及び

が、空のキューとして初期化される。３行目において、初期仮説＜ｓｏｓ＞のためのスコアが０に設定される。４行目〜２４行目において、Ω_ｌ−１における各部分仮説ｇが、ラベル集合Ｕ∪｛＜ｅｏｓ＞｝内の各ラベルｙによって拡張される。ここで、演算Ｈｅａｄ（Ω）は、キューΩにおける第１の仮説を返し、Ｄｅｑｕｅｕｅ（Ω）はキューから第１の仮説を除去する。

各拡張された仮説ｈは、１１行目において注意デコーダネットワークを用いてスコアリングされ、１２行目においてＣＴＣスコアと組み合わされる。その後、ｙ＝＜ｅｏｓ＞の場合、仮説ｈは、完全であると仮定され、１４行目において、

に記憶される。ここで、

は、ｈを

に加算する演算である。ｙ≠＜ｅｏｓ＞の場合、ｈは１６行目においてΩ_ｌに記憶される。ここで、Ω_ｌにおける仮説数、すなわち｜Ω_ｌ｜は、１７行目において所定の数ｂｅａｍＷｉｄｔｈと比較される。｜Ω_ｌ｜がｂｅａｍＷｉｄｔｈを超える場合、Ω_ｌにおいて最小スコアｈ_ｍｉｎを有する仮説が１８行目〜１９行目においてΩ_ｌから除去され、ここで、Ｒｅｍｏｖｅ（Ω_ｌ，ｈ_ｍｉｎ）は、ｈ_ｍｉｎをΩ_ｌから除去する演算である。最終的に、２５行目において、

が最良仮説として選択される。

ＣＴＣスコアψ_ｃｔｃ（ｈ，Ｘ）は、修正順方向アルゴリズムを用いて計算することができる。

及び

を時間フレーム１．．．tにわたる仮説ｈの順方向確率であるとする。ただし、上付き文字（ｎ）及び（ｂ）はそれぞれ、全てのＣＴＣ経路が非ブランクラベル又はブランクラベルで終了する異なる事例を表す。ビーム探索を開始する前に、

及び

が、ｔ＝１，．．．，Ｔに関して、

として初期化される。ただし、

であり、ｂがブランクラベルであると仮定する。エンコーダに関するサブサンプリング技法のため、時間インデックスｔ及び入力長Ｔは入力発語Ｘの時間インデックス及び入力長とは異なる場合があることに留意されたい。ＣＴＣスコア関数は以下のように実施することができる。

この関数において、所与の仮説ｈが、１行目において、最初に、最後のラベルｙ及び残りのラベルｇに分割される。ｙが＜ｅｏｓ＞である場合には、３行目において、ｈが完全な仮説であると仮定して、順方向確率の対数を返す。ｈの順方向確率は、

及び

の定義に従って、

によって与えられる。ｙが＜ｅｏｓ＞でない場合には、ｈが完全な仮説でないと仮定して、順方向確率

及び

並びにプレフィックス確率Ψ＝ｐ_ｃｔｃ（ｈ，．．．｜Ｘ）を計算する。それらの確率に関する初期化ステップ及び再帰ステップが５行目〜１３行目に記述されている。この関数において、１０行目〜１２行目における

及びΨを計算するときにはいつでも、ｇがｈのプレフィックスであり、｜ｇ｜＜｜ｈ｜であるので、９行目の確率

及び

がビーム探索プロセスを通して既に取得されていると仮定される。したがって、プレフィックス確率及び順方向確率を効率的に計算することができる。９行目のｌａｓｔ（ｇ）は、ｇの最後のラベルを返す関数であることを留意されたい。

（技術的概念の更なる再検討）
（音声分離−ディープクラスタリング）
この実験プロセスの間、認識されたことは、ディープクラスタリングが、同時に発話する複数の話者を有する音響信号を入力として与えられると、ディープニューラルネットワークをトレーニングして、時間周波数領域の時間周波数（Ｔ−Ｆ）単位ごとに高次元埋め込みベクトルを出力することができるということであった。それによって、入力音響信号において同じ話者によって支配されるＴ−Ｆ単位対の埋め込みは互いに接近する一方、異なる話者によって支配される対の埋め込みはそれよりも離れている。したがって、各Ｔ−Ｆ単位の話者割り当ては、各単一の話者を分離するマスクを生成する単純なクラスタリングアルゴリズムによって埋め込みから推論することができる。

Ｎ個のＴ−Ｆ要素及びＣ人の話者を有する混合体スペクトログラムについて、Ｔ−Ｆ要素ｉが音声源ｃによって支配される場合にはｙ_ｉ，ｃ＝１であり、そうでない場合にはｙ_ｉ，ｃ＝０であるようなラベル行列

を定義することができる。したがって、第ｉ行ｙ_ｉは、Ｔ−Ｆ要素ｉを支配する話者の単位長インジケーターベクトルである。Ｃ人の話者の順序付けは任意の順列を有するのに対して、理想類似性行列（ideal affinity matrix）ＹＹ^Ｔは同じ情報の順列不変表現を与える。Ｔ−Ｆ要素ｉ及びｊが同じ話者によって支配されている場合には、この行列（ＹＹ^Ｔ）_ｉ，ｊ＝１であり、そうでない場合には、（ＹＹ^Ｔ）_ｉ，ｊ＝０である。ネットワークは、類似性行列ＶＶ^Ｔが理想類似性行列を近似するように、単位長Ｄ次元埋め込みベクトルｖ_ｉから構成される行列

を生成することを学習する。トレーニング時において、ディープクラスタリングが、トレーニング混合体ごとにＶに関して以下の目的関数を最小にする。

ここで、埋め込み行列

及びラベル行列

はそれぞれ、発語における全ての埋め込みベクトルｖ_ｉ及び全てのワンホットベクトルｙ_ｉを縦方向にスタックすることによって得られる。幾つかの実施形態では、ネットワークは、互いの上にスタックされた複数の双方向長短期メモリ（ＢＬＳＴＭ）リカレントニューラルネットワーク（ＲＮＮ）層と、その後に続く、ＢＬＳＴＭ層のスタックの出力からの所与のフレーム内のＴ−Ｆ単位ごとにそのフレームにおいてＤ次元ベクトルを計算する線形層と、その後に続く、Ｄ次元埋め込みを取得するＤ次元ベクトルのシグモイド及び単位ノルム正規化等の非線形部とからなる。

本開示は、ｋ平均目的関数における埋め込みをホワイト化することに基づく代替のコスト関数を用いて更なる改善を提供する他の実施形態を含む。

本開示の幾つかの実施形態は、特定の目的又は追求している結果に基づく更なる改善を提供する異なるディープクラスタリング目的関数及び他の目的関数を用いることができることも考えられる。

本開示は、ソフト重みを用いて、トレーニング時において非常に低いエネルギーを有するＴ−Ｆビンの影響を低減する他の実施形態も含む。幾つかの実施形態は、発語内の全てのビンにおける混合体振幅の合計に対するＴ−Ｆビンｉにおける混合体振幅の比ｗ_ｉ＝｜ｘ_ｉ｜／Σ_ｊ｜ｘ_ｊ｜として定義される振幅比重みＷ_ＭＲを用いる。ここで、｜ｘ｜は混合体の振幅である。非限定例として２値重み等の他のタイプの重みも考慮することができる。

（音声分離−キメラネットワーク）
本開示の幾つかの実施形態は、音声分離のマスク推論（ＭＩ：mask-inference）ネットワークをトレーニングする。幾つかの実施形態はマスク近似（ＭＡ：mask approximation）目的関数を用いる。この場合、損失関数は、推定されたマスクと基準マスクとの間の距離に基づいて計算される。幾つかの実施形態は振幅スペクトル近似（ＭＳＡ：magnitude spectrum approximation）を用いる。この場合、損失関数は、推定されたマスクを混合体振幅と乗算することによって得られる対象音声源の推定された振幅と、基準振幅との間の距離に基づいて計算される。幾つかの実施形態は位相敏感スペクトル近似（ＰＳＡ：phase-sensitive spectrum approximation）を用いる。この場合、損失関数は、推定されたマスクを混合体振幅と乗算することによって得られる対象音声源の推定された振幅と、混合体と音声源との間の位相差に依存する項を乗算された基準振幅との間の距離に基づいて計算される。幾つかの実施形態は切断（truncated：トランケート）位相敏感スペクトル近似（ｔＰＳＡ）を用いる。この場合、損失関数は、推定されたマスクを混合体振幅と乗算することによって得られる対象音声源の推定された振幅と、混合体と音声源との間の位相差に依存する項と基準振幅とを乗算した乗算結果の出力を所与の範囲に切断したものとの間の距離に基づいて計算される。

実験を通して分かったことは、マスク推論ネットワークの最後の層のロジスティックシグモイド活性化を、Ｌ_１距離を用いて切断位相敏感近似を測定する目的関数とともに用いることが、マスク推論（ＭＩ）ネットワークの中で最良の結果をもたらしたということである。

ここで、Ｐは、｛１，．．．，Ｃ｝に関する順列の集合であり、｜Ｘ｜及びθ_Ｘは、混合体の振幅及び位相であり、

は、第ｃの推定されたマスクであり、｜Ｓ_ｃ｜及びθ_ｃは、第ｃの基準音声源の振幅及び位相であり、

である。

幾つかの実施形態は、ディープクラスタリングをマスク推論と組み合わせたキメラネットワークをマルチタスク学習形式において用い、ディープクラスタリング損失の正規化特性及びマスク推論ネットワークの単純さを利用する。これらの実施形態は、全結合層を介してＢＬＳＴＭ隠れ層の出力から直接マスクを予測するアーキテクチャを用いる。最小化されている話者分離損失Ｌ_ｓｓは、以下の式のように、ディープクラスタリング損失及びＭＩ損失の加重和である。

ここで、Ｌ_ＤＣは、上述したＬ_{ＤＣ，ｃｌａｓｓｉｃ}損失及びＬ_ＤＣ，Ｗ損失等の埋め込みに関係するディープクラスタリング損失であり、Ｌ_ＭＩは、上述した

損失等のマスクに関係するマスク推論損失であり、α_ＤＣは、０≦α_ＤＣ≦１の重みである。ディープクラスタリング損失Ｌ_ＤＣは、埋め込みに関係する埋め込み損失Ｌ_ｅｍｂの一例である。マスク推論損失Ｌ_ＭＩは、分離エンコーディングに関係する分離エンコーディング損失Ｌ_ＳＥの一例であり、マスク推論ネットワークの場合には、分離エンコーディングは、対象話者の推定された振幅スペクトログラムとして定義することができる。話者分離損失Ｌ_ｓｓのより一般的な式は、したがって、以下の式となる。

ここで、α_ｅｍｂは、０≦α_ｅｍｂ≦１の重みである。例えば、他の埋め込み損失及び分離エンコーディング損失を同様に用いて、例えばクラスタリングステップを介してマスクを取得し、これらのマスクに基づくマスク推論損失として分離エンコーディング損失を計算することによって、それらの他の埋め込み損失及び分離エンコーディング損失も同様に考慮することができる。

実行時において、幾つかの実施形態では、ＭＩ出力を用いて予測を行うことができ、その場合、ディープクラスタリングブランチに固有の計算を省略することができる。他の実施形態では、ディープクラスタリング埋め込みを、クラスタリングアルゴリズムを用いてマスクに変換することができ、その場合、マスク推論ブランチに固有の計算を省略することができる。

重みα_ＤＣを０に設定することによって、幾つかの実施形態は、マスク推論ネットワークを効果的にトレーニングする。重みα_ＤＣを１に設定することによって、幾つかの実施形態は、ディープクラスタリングネットワークを効果的にトレーニングする。

分離された信号が所望されている場合、対象話者の推定されたマスクを入力混合体の複素スペクトログラムと乗算してその対象話者の推定された複素スペクトログラムを取得し、逆短時間フーリエ変換をその推定された複素スペクトログラムに適用して時間領域波形信号を取得することによって、それらの分離された信号を再構成することができる。

（明確な分離を有する音声認識）
（音声認識−コネクショニスト時間分類（ＣＴＣ））
本開示の幾つかの実施形態は、ハイブリッドＣＴＣ／注意アーキテクチャを用いて、各手法の長所をより良く利用し欠点を軽減する。

ＣＴＣは、入力系列をより短い長さの出力系列にマッピングする。ここで、本発明者のモデルへの入力は、長さＴのフレーム活性化系列

であり、出力は、異なる文字の集合Ｕからの長さＬの文字系列Ｃ＝｛ｃ_ｌ∈Ｕ｜ｌ＝１，．．．，Ｌ｝であると仮定する。ＣＴＣは、入力Ｘと出力Ｚ＝｛ｚ_ｔ∈Ｕ∪＜ｂｌａｎｋ＞｜ｔ＝１，．．．，Ｔ｝との間の１対１対応を与える「空白（blank）」シンボルを導入する。条件付き独立の仮定を用いることによって、事後分布ｐ（Ｃ｜Ｘ）を以下のように因数分解することができる。

以下の式を定義する。

ＣＴＣ目的関数は、言語モデルｐ（Ｃ）を含まないＬ_ｃｔｃ＝−ｌｏｇｐ_ｃｔｃ（Ｃ｜Ｘ）として定義することができる。

スタックされた双方向長短期メモリ（ＢＬＳＴＭ）ネットワークは、全ての入力Ｘを条件とするフレームごとの事後分布ｐ（ｚ_ｔ｜Ｘ）を得るのに用いることができる。

（音声認識−注意ベースエンコーダデコーダ）
注意ベース方法は、ＣＴＣのように条件付き独立の仮定を行うことなく連鎖律を用いて事後分布ｐ（Ｃ｜Ｘ）を直接推定する。

Ｌ_ａｔｔ＝−ｌｏｇｐ_ａｔｔ（Ｃ｜Ｘ）を注意ベース目的関数として定義する。ｐ（ｃ_ｌ｜ｃ_１，．．．，ｃ_ｌ−１，Ｘ）は、以下の式によって得られる。

入力

は、エンコーダネットワークを用いてフレームごとの隠れベクトルｈ_ｔに変換される。例えば、ＢＬＳＴＭネットワークをエンコーダネットワークに用いることができ、この場合、

である。上記式におけるＡｔｔｅｎｔｉｏｎ（・）は、畳み込み特徴を有するロケーションベース注意メカニズムに基づいている。デコーダネットワークは、以前の出力ｃ_ｌ−１、隠れベクトルｑ_ｌ−１、及び文字ごとの隠れベクトルｒ_ｌを条件とする別のリカレントネットワークである。以下の定義を用いることができる。

（音声認識−マルチタスク学習）
注意ベースモデルは、全てのこれまでの予測を条件として予測を行い、したがって、言語モデルのような出力コンテキストを学習することができる。しかしながら、厳密な単調制約がない場合、これらの注意ベースデコーダモデルは、過度に柔軟なものとなる可能性があり、準最適なアライメントを学習する場合もあるし、望ましいアライメントへの収束がより低速になる場合もある。

ハイブリッドシステムでは、ＢＬＳＴＭエンコーダは、ＣＴＣ及び注意デコーダネットワークの双方によって共有される。注意モデルと異なり、ＣＴＣの順方向逆方向アルゴリズムは、トレーニング中に音声とラベル系列との間の単調なアライメントを実施する。この手法は、システムを単調なアライメントに向けて誘導することを助ける。最小化されるマルチタスク目的関数は以下のものとなる。

ただし、調整可能なパラメータλは、０≦λ≦１である。

（音声認識−復号）
注意ベース音声認識の推論ステップは、ビーム探索を有する出力ラベル同期復号によって実行される。しかしながら、入力音声に対してより良くアライメントされた仮説を見つけるためにＣＴＣ確率も考慮される。すなわち、デコーダは、音声入力Ｘが与えられると、最も可能性の高い文字系列

を以下の式に従って見つける。

ビーム探索プロセスでは、デコーダは、各部分的仮説のスコアを計算する。ビーム探索中、相対的に低いスコアを有する仮説を除外するために、各長さの部分的仮説の数は、ビーム幅と呼ばれる既定の数に制限され、これによって、探索効率は劇的に改善される。

（同時の音声分離及び音声認識）
分離ネットワーク及び認識ネットワークの構成要素を接続して共同システムにするために、キメラネットワークからのマスク出力を用いて、入力混合体の振幅スペクトログラムを各音声源のマスクと乗算することによって、各音声源が、推定された振幅スペクトログラムの形態で抽出される。各音声源の推定された振幅スペクトログラムは、その音声源の分離エンコーディングとして用いられる。音響エンコーダネットワークは、分離エンコーディング、すなわち推定された振幅スペクトログラムから、対数ｍｅｌフィルターバンク特徴量を計算し、上記ハイブリッドＣＴＣ／注意アーキテクチャのエンコーダネットワークを用いて各音声源の認識エンコーディングを出力する。

トレーニング中に音声源トランスクリプト順列を選ぶために、２つの当然の選択肢は、分離された信号の信号レベル近似誤差を最小にする順列π_ｓｉｇ又はＡＳＲ損失を最小にする順列π_ａｓｒのいずれかを用いることである。

順列π_ｓｉｇは、利用可能なデータが、分離された信号のグラウンドトゥルースを含むとき、例えば、データセットにおける混合体が、単一話者音声を人工的に互いに混合することによって得られていたときに用いることができる。他方、順列π_ａｓｒは、分離された信号のグラウンドトゥルースが利用可能であることに依存せず、したがって、トランスクリプションレベルラベルのみが利用可能である場合に、より大きく音響的により現実的なデータに対するトレーニングと可能にするという利点を有する。

同時分離認識ネットワークをトレーニングする複数の方法がある。例えば、幾つかの実施形態では、まず、分離ネットワークが、分離された信号のグラウンドトゥルースが利用可能であるデータに対して単独でトレーニングされ、認識ネットワークが、基準ラベルを有するクリーンな単一話者音声に対して単独でトレーニングされ、その後、これらの２つの事前にトレーニングされたネットワークの組み合わせが、認識損失の単独からなる損失関数、又は、認識損失及び分離損失の加重結合からなる損失関数のいずれかに基づく更なるトレーニングによって微調整される。この組み合わせにおける重みは、実験を通じて、ヘルドアウト検証セットに対する実行に基づいて求めることができる。

（暗黙の分離を有する複数話者音声認識）
他の実施形態では、明確な分離が行われず、エンドツーエンドＡＳＲシステムは、同時に発話する複数の話者の混合体内の複数の対象話者の音声を直接認識するように設計される。

本開示の幾つかの実施形態は、エンドツーエンド方法で音声源分離機能及び音声認識機能を一体化することによって単一の音声系列から複数のラベル系列を直接復号する新たな系列対系列（sequence-to-sequence：シーケンスツーシーケンス）フレームワークを含む。本開示の幾つかの態様は、同様の仮説の生成を回避するために隠れベクトルの分離（disjointness）を促進する新たな目的関数を含むことができる。本開示の態様は、明確な音声分離ステップを行うことなくディープクラスタリング及びエンドツーエンド音声認識を組み合わせる２ステップ手順を含み、これは、実験中に成功したことが分かった。

実験中、同時ＣＴＣ／注意ベースエンコーダデコーダネットワークを利用することによって低計算コストを有する順列を適用するトレーニング手順が得られた。実験結果は、モデルが、表音アライメント情報又は対応する非混合音声を含む明確な中間表現を必要とすることなく、入力音声混合体を複数のラベル系列に直接変換することができることを示している。

仮説及び基準の適切な順列を選択することによって、バックプロパゲーションの出力及びラベルの通常の１対１マッピングを１対多に拡張し、したがって、ネットワークが単一チャネル音声混合体から複数の独立した仮説を生成することを可能にする順列フリートレーニング方式が実験中に得られた。例えば、音声混合体が、Ｓ人の話者によって同時に発語された音声を含むとき、ネットワークは、Ｄ次元入力特徴ベクトルのＴフレーム系列からのＮ_ｓ個のラベルを有するＳ個のラベル系列

を生成し、

であるので、

となる。ここで、変換ｇ^ｓは、通常は幾つかの構成要素を互いに共有するニューラルネットワークとして実施される。トレーニング段階において、Ｎ’_ｓ個の基準ラベルのＳ個の系列

の全ての可能な順列が考慮され（仮説に関する順列を考慮することが等価である）、最小損失をもたらす順列がバックプロパゲーション用に採用される。｛１，．．．，Ｓ｝に関する順列の集合をＰによって表すことにする。最終損失Ｌは以下の式として定義される。

ここで、π（ｓ）は順列πの第ｓの要素である。例えば、２人の話者の場合、Ｐは２つの順列（１，２）及び（２，１）を含み、損失は以下の式として定義される。

本開示の実施形態によれば、注意ベースエンコーダデコーダネットワークは、入力特徴ベクトル系列Ｏ及び過去のラベル履歴からの中間表現を必要とすることなく対象ラベル系列Ｙ＝（ｙ_１，．．．，ｙ_Ｎ）を予測する。推論時には、これまで放出されたラベルが用いられる一方、トレーニング時には、それらは、教師強制形式で基準ラベル系列Ｒ＝（ｒ_１，．．．，ｒ_Ｎ）と交換される。第ｎのラベルｙ_ｎの確率は、過去の履歴ｙ_{１：ｎ−１}を条件とすることによって計算することができる。

モデルは、エンコーダネットワーク及びデコーダネットワークの２つの主要なサブモジュールから構成することができる。エンコーダネットワークは、入力特徴ベクトル系列を高レベル表現

に変換する。デコーダネットワークは、ラベル履歴ｙと、注意重みａを用いて表現ＨのＣ次元系列を加重し加算する注意メカニズムを用いて計算されたコンテキストベクトルｃとに基づくラベルを放出する。デコーダの隠れ状態ｅが、以前の状態、以前のコンテキストベクトル、及び以前の放出ラベルに基づいて更新される。このメカニズムは、以下のように要約される。

デコーダネットワークは、コンテキストベクトルｃ_ｎ及びラベル履歴ｙ_{１：ｎ−１}を用いて第ｎのラベルｙ_ｎを順次生成する。

コンテキストベクトルは、表現

のＣ次元系列を、注意重みａ_ｎ，ｌを用いて加重して加算するロケーションベース注意メカニズムにおいて計算される。

ロケーションベース注意メカニズムは、ａ_ｎ，ｌを以下のように定義する。

ここで、ｗ、Ｖ^Ｅ、Ｖ^Ｈ、Ｖ^Ｆ、ｂ、Ｆは調整可能なパラメータであり、αは逆温度と呼ばれる定数値であり、＊は畳み込み演算である。ｆ_ｎの導入によって、注意メカニズムは以前のアライメント情報を考慮する。幾つかの実験では、例えば、幅２００の１０個の畳み込みフィルターを用いることができ、αを２に設定することができる。

隠れ状態ｅは、更新ＬＳＴＭ関数によって再帰的に更新される。

ここで、Ｅｍｂ（・）は埋め込み関数である。

エンコーダネットワーク及びデコーダネットワークは、バックプロパゲーションを用いて条件付き確率を最大にするようにトレーニングすることができる。

ここで、Ｒはグラウンドトゥルース基準ラベル系列であり、Ｌｏｓｓ_ａｔｔは交差エントロピー損失関数である。

同時ＣＴＣ／注意手法に関して、幾つかの実施形態は、コネクショニスト時間分類（ＣＴＣ）目的関数を補助タスクとして用いてネットワークをトレーニングする。注意モデルと異なり、ＣＴＣの順方向逆方向アルゴリズムは、トレーニング及び復号中に入力音声と出力ラベル系列との間に単調なアライメントを実施する。ＣＴＣ損失は、以下のようにエンコーダネットワークの出力から計算することができる。

ＣＴＣ損失及び注意ベースエンコーダデコーダ損失を、以下のように内挿重みλ∈［０，１］と組み合わせることができる。

ＣＴＣ及びエンコーダデコーダネットワークの双方は、推論ステップにおいても用いることができる。最終仮説は、以下のように加重条件付き確率を最大にする系列である。

ここで、γ∈［０，１］は内挿重みである。

本開示の幾つかの実施形態は、複数話者エンドツーエンド同時ＣＴＣ／注意ベースネットワークをトレーニングする。エンコーダネットワークは、音声源独立（共有）エンコーダネットワーク及び音声源依存（固有）エンコーダネットワークを通過することによって入力系列Ｏを一組の高レベル特徴系列に変換する。Ｙ_ｃｔｃとＲとの間のＣＴＣ損失を最小にするラベル順列が選択され、デコーダネットワークは、教師強制のための並べ替えられた基準ラベルを用いて出力ラベル系列を生成する。

ネットワーク出力を複数の仮説にするために、実験中に検討されたことは、共有ニューラルネットワークモジュール及び非共有（又は固有）ニューラルネットワークモジュールの双方を組み合わせたスタックアーキテクチャであった。この特定のアーキテクチャは、エンコーダネットワークを３つの段階に分割する。すなわち、（第１の段階）混合体エンコーダとも呼ばれる第１の段階は、入力系列を処理し、混合体エンコーディングとも呼ばれる中間特徴系列Ｈを出力する；（第２の段階）その系列、すなわち混合体エンコーディングが、次に、話者区別エンコーダとも呼ばれる、パラメータを共有しないＳ個の独立エンコーダサブネットワークによって処理され、話者区別エンコーディングとも呼ばれるＳ個の特徴系列Ｈ^ｓを与える；（第３の段階）最後の段階では、各特徴系列Ｈ^ｓが、認識エンコーダとも呼ばれる同じネットワークによって独立に処理され、認識エンコーディングとも呼ばれるＳ個の最終の高レベル表現Ｇ^ｓを与える。

出力インデックス（対象話者のうちの１人による音声のトランスクリプションに対応する）をｕ∈｛１．．．，Ｓ｝によって表し、基準インデックスをｖ∈｛１．．．，Ｓ｝によって表すことにする。混合体エンコーダをＥｎｃｏｄｅｒ_Ｍｉｘによって表し、第ｕの話者区別エンコーダをＥｎｃｏｄｅｒ^ｕ _ＳＤによって表し、認識エンコーダをＥｎｃｏｄｅｒ_Ｒｅｃによって表すと、入力混合体に対応する入力系列Ｏは、以下のようにエンコーダネットワークによって処理することができる。

そのようなアーキテクチャを設計する数ある動機の中で特に少なくとも１つの動機は、分離及び認識が個別に明確に行われるアーキテクチャとの類似性に従って、次のように説明することができる。すなわち、第１の段階、すなわち混合体エンコーダは、混合体を、複数の音声源を区別するのに用いることができるエンコーディングに符号化する；音声源に依存する第２の段階、すなわち一組の話者区別エンコーダは、第１の段階の出力を用いて、混合体から各話者の音声内容を峻別し、各話者の音声内容を認識に備えて準備する；最終段階は、デコーダによる最終的な復号のために単一話者音声を符号化する音響モデルに従う。

デコーダネットワークは、エンコーダネットワークのＳ個の出力から各話者の条件付き確率を計算する。一般に、デコーダネットワークは、教師強制形式でトレーニング中に基準ラベルＲを履歴として用いて注意重みを生成する。しかしながら、上記順列フリートレーニング方式では、特定の出力に起因する基準ラベルは、損失関数が計算されるまで決定されず、注意デコーダは、全ての基準ラベルについて実行される。したがって、エンコーダネットワークの各出力Ｇ^ｕのデコーダ出力Ｙ^ｕ，ｖの条件付き確率は、その出力の基準ラベルがＲ^ｖである仮定の下では、以下のように考えられる。

次に、以下のように、基準ラベルの全ての順列を考慮することによって最終損失が計算される。

エンコーダネットワークの各出力Ｇ^ｕの全ての可能な基準ラベルＲ^ｖを考慮するときに伴うコストと比較して計算コストを削減するために、ＣＴＣ損失単独の最小化に基づいて基準ラベルの順列を固定することができ、次に、注意メカニズムの同じ順列も同様に用いることができる。これは、同時ＣＴＣ／注意ベースエンドツーエンド音声認識を用いることの数ある利点の中で特に少なくとも１つの利点とすることができる。順列がＣＴＣの出力によって決定される同期出力を仮定することによって、順列はＣＴＣ損失についてのみ実行される。

次に、ＣＴＣ損失を最小にする順列

によって決定されるラベルとともに教師強制を用いて、同じ隠れ表現Ｇ^ｕに対して注意ベース復号を実行することができる。

全ての可能な基準が考慮される場合とは対照的に、注意ベース復号は、その場合、エンコーダネットワークの各出力Ｇ^ｕについて１回しか実行されない。最終の損失は、内挿λを用いた２つの目的関数の和として定義することができる。

推論時には、ＣＴＣ及び注意ベース復号の双方が同じエンコーダ出力Ｇ^ｕに対して実行され、したがって、同じ話者に関係するべきであるので、それらのスコアは、以下のように組み込むことができる。

ここで、ｐ_ｃｔｃ（Ｙ^ｕ｜Ｇ^ｕ）及びｐ_ａｔｔ（Ｙ^ｕ｜Ｇ^ｕ）は、同じエンコーダ出力Ｇ^ｕを用いて取得される。

エンコーダネットワークによって生成される複数の隠れベクトルを独立に復号することによって、単一のデコーダネットワークを用いて複数のラベル系列を出力することができる。この単一のデコーダネットワークが複数の異なるラベル系列を生成するために、その入力のそれぞれ、すなわち、認識エンコーディングとも呼ばれる、エンコーダネットワークによって出力される隠れベクトル系列のそれぞれは、他のものと十分に異なるべきである。隠れベクトル間のこの相違を促進するために、負対称的カルバック・ライブラー（negative symmetric Kullback-Leibler（ＫＬ））ダイバージェンスに基づく新たな項を目的関数に導入することができる。２人話者混合体の特定の場合には、以下の追加の損失関数が考慮される。

ここで、ηは小さな定数値であり、

は、確率分布に従う物理量を取得するために追加のフレームごとのｓｏｆｔｍａｘ演算を適用することによって、エンコーダネットワークの出力における隠れベクトル系列Ｇ^ｕから取得される。

特にエンコーダネットワークについて、様々なネットワークアーキテクチャを考慮することができる。幾つかの実施形態では、混合体エンコーダとしてＶＧＧネットワークを用い、各話者区別エンコーダに１つ以上の層を有するＢＬＳＴＭを用い、認識エンコーダに１つ以上の層を有するＢＬＳＴＭを用いることができる。他の幾つかの実施形態では、混合体エンコーダとしてＶＧＧネットワークの１つ以上の層を用い、各話者区別エンコーダにＶＧＧネットワークの１つ以上の層を用い、認識エンコーダに１つ以上の層を有するＢＬＳＴＭを用いることができる。更に他の幾つかの実施形態では、混合体エンコーダとしてＶＧＧネットワークの１つ以上の層を用い、各話者区別エンコーダに、ＶＧＧネットワークの１つ以上の層及びその後に続く１つ以上のＢＬＳＴＭ層を用い、認識エンコーダに、１つ以上の層を有するＢＬＳＴＭを用いることができる。

実施形態のうちの幾つかを実施する本発明者らの実験では、ピッチ特徴量並びにそれらのデルタ特徴量及びデルタデルタ特徴量（８３×３＝２４９次元）を有する８０次元対数Ｍｅｌフィルターバンク係数が入力特徴量として用いられる。入力特徴量をゼロ平均及び単位分散に正規化することができる。

例えば、幾つかの実験では、混合体エンコーダは６層ＶＧＧネットワーク（畳み込み、畳み込み、マックスプーリング、畳み込み、畳み込み、マックスプーリング）からなり、各話者区別エンコーダは２層ＢＬＳＴＭネットワークからなり、認識エンコーダは５層ＢＬＳＴＭネットワークからなっていた。ＶＧＧネットワークは、底部（すなわち、最初）から最上部（すなわち、最後）の順に以下の６層ＣＮＮアーキテクチャを有する。
畳み込み（入力数＝３、出力数＝６４、フィルター＝３×３）
畳み込み（入力数＝６４、出力数＝６４、フィルター＝３×３）
マックスプーリング（パッチ＝２×２、ストライド＝２×２）
畳み込み（入力数＝６４、出力数＝１２８、フィルター＝３×３）
畳み込み（入力数＝１２８、出力数＝１２８、フィルター＝３×３）
マックスプーリング（パッチ＝２×２、ストライド＝２×２）

最初の３つのチャネルは、統計特徴量、デルタ特徴量、及びデルタデルタ特徴量である。ＢＬＳＴＭ層は、線形射影層Ｌｉｎ（・）を用いて、順方向ＬＳＴＭ

及び逆方向ＬＳＴＭ

の連結として定義することができる。

各ＢＬＳＴＭ層は、順方向ＬＳＴＭ及び逆方向ＬＳＴＭに３２０個のセルを有することができ、線形射影層に３２０個のユニットを有することができる。デコーダネットワークは、３２０個のセルを有する１層ＬＳＴＭを有することができる。

幾つかの実験では、混合体エンコーダは、上記６層ＶＧＧネットワークのうちの下部４層（畳み込み、畳み込み、マックスプーリング、畳み込み）からなり、各話者区別エンコーダは、上記６層ＶＧＧネットワークのうちの上部２層（畳み込み、マックスプーリング）からなり、認識エンコーダは、７層ＢＬＳＴＭネットワークからなっていた。

ネットワークは、−０．１〜０．１の範囲内の一様分布からランダムに初期化された。ＡｄａＤｅｌｔａアルゴリズムが最適化のための勾配クリッピングとともに用いられた。ＡｄａＤｅｌｔａハイパーパラメータは、ρ＝０．９５及びε＝１０^−８として初期化された。εは、開発セットの損失が低下するときに半減するように減衰される。ネットワークは、最初に、１つの話者区別ネットワークのみで単一話者音声を用いてトレーニングされ、ネットワークパラメータは、単一の話者のラベル系列を出力するように最適化される。話者区別ネットワークのアーキテクチャは、次に、存在する対象話者と同数の話者区別ネットワークを取得するように再現される。新たに追加された話者区別ネットワークのパラメータは、各パラメータｗのランダム摂動を有するパラメータｗ’＝ｗ×（１＋Ｕｎｉｆｏｒｍ（−０．１，０．１））をコピーすることによって、単一話者音声を用いてトレーニングされた初期ネットワークからの話者区別ネットワークのパラメータから取得される。モデルは、まず、負ＫＬダイバージェンス損失を用いずにトレーニングすることができ、次に、重みηを有する負ＫＬダイバージェンス損失を加えて再トレーニングすることができる。ここで、ηは、本発明者らの実験のうちの幾つかでは０．１に設定された。目的関数においてＣＴＣ及び注意損失をバランスさせるのに用いられる重みλは、例えば、実験によって、ヘルドアウトデータセットに対する実行に基づいて求めることができる。

推論段階では、事前にトレーニングされたＲＮＮＬＭ（リカレントニューラルネットワーク言語モデル）をＣＴＣ及びデコーダネットワークを並列に組み合わせることができる。それらのラベル確率をビーム探索中に対数領域において線形結合して、最も可能性が高い仮説を見つけることができる。

（多言語複数話者音声認識）
本開示の幾つかの実施形態は、エンドツーエンド多言語複数話者ＡＳＲシステムを含む。システムが出力する文字を選択する文字集合は、一組の言語ＩＤとともに複数の言語の文字集合の和集合からなる最終増強文字集合Ｕ^{ｆｉｎａｌ}に設定することができる。暗黙の分離を有する複数話者ＡＳＲシステム等のシステムは、多言語複数話者混合体及びそれらの基準ラベルのデータセットに対してトレーニングすることができる。例えば、そのようなデータセットは、１つ以上の言語による１人以上の話者からの複数の単一話者発語を時間において連結して一組の多言語音声発語を取得するとともに、複数の多言語音声発語を更に混合して複数話者多言語音声を取得することによって取得することができる。複数話者多言語音声の対応する基準ラベルは、単一話者発語の基準ラベルから取得することができる。

図１７Ａ及び図１７Ｂは、本開示の幾つかの実施形態による音声認識の他の音声認識システムのブロック図を示し、特に、図１７Ａは、音声認識ネットワーク、すなわち、エンコーダデコーダネットワークを含み、図１７Ｂは、ハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワークとともに音声分離ネットワークを含む。

図１７Ａを参照すると、システムは、記憶された命令を実行するように構成されたプロセッサ１７０２と、自動音声認識（ＡＳＲ）ネットワーク、エンコーダデコーダネットワーク、ハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワーク１７１２に関する命令を記憶するメモリ１７０４とを備える。プロセッサ１７０２は、シングルコアプロセッサ、マルチコアプロセッサ、グラフィック処理装置（ＧＰＵ）、コンピューティングクラスター、又は任意の数の他の構成体とすることができる。メモリ／記憶装置１７０５は、ランダムアクセスメモリ（ＲＡＭ：random access memory）、リードオンリーメモリ（ＲＯＭ：read only memory）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。メモリ１７０５は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせも含むことができる。プロセッサ１７０２は、バス１７０６を通じて１つ以上の入力インターフェース／デバイス及び出力インターフェース／デバイスに接続される。

メモリ１７０５は、マルチチャネル音声信号をテキストに変換するようにトレーニングされたニューラルネットワーク１７０８を記憶し、記憶された命令を実行するプロセッサ１７０２は、メモリ１７０５から取り出されたニューラルネットワーク１７０８を用いて音声認識を実行する。ニューラルネットワーク１７０８は、マルチチャネル有雑音音声信号をテキストに変換するようにトレーニングされる。ニューラルネットワーク１７０８は、音響信号の音声特徴からテキストを認識するようにトレーニングされるエンコーダデコーダネットワーク１７１２を含むことができる。

１つの実施形態では、ニューラルネットワーク１７０８は、エンコーダデコーダネットワークによって用いられる単一チャネル信号から音声特徴を抽出するように構成された特徴抽出器（図示せず）も含む。この特徴抽出器は微分可能関数であり、したがって、単一のエンドツーエンドニューラルネットワーク内に接続することができる。微分可能関数の例には、チャネル信号の振幅のＭｅｌ関数及びチャネル信号の振幅のｂａｒｋ関数が含まれる。

１つの実施態様では、微分可能関数は、チャネル信号から音声特徴を抽出するようにトレーニングされた別のニューラルサブネットワークである。この実施態様では、特徴抽出サブネットワークは、エンコーダデコーダネットワークと共同トレーニングされる。

微分可能関数は、関数の出力が所与の入力の目標出力に接近するように勾配降下法を用いて最適化することができる。この関数は、全ての入力サンプルが、対応する目標サンプルに可能な限り正確にマッピングされるように、入力サンプル及び目標出力サンプルを対にしたものを用いて未知のマッピング関数に近似することもできる。

微分可能関数を合成したものも微分可能であるので、それぞれが微分可能関数として設計された連結された処理モジュールを組み合わせて、それらの処理モジュールを併せて最適化することができる。

ニューラルネットワークは微分可能関数である。本発明では、エンドツーエンドマルチチャネル音声認識の全ての構成要素を、複数のニューラルネットワークを含む微分可能関数を用いて実施することができる。

システム１７００Ａは、音声信号を受け取る入力インターフェース、すなわちマイクロフォン１７２０と、認識されたテキストをレンダリングする出力インターフェース、すなわちディスプレイインターフェース１７２２とを備えることができる。例えば、複数のマイクロフォン１７２０が、音をマルチチャネル音声信号１７３８に変換することができる。加えて又は代替的に、入力インターフェースは、システム１７００Ａをバス１７０６を通じてネットワーク１７３６に接続するように適合されたネットワークインターフェースコントローラ（ＮＩＣ：network interface controller）１７３０を含むことができる。ネットワーク１７３６を通じて、音声信号１７３８をダウンロードし、更なる処理のために記憶することができる。

図１７Ａを引き続き参照すると、出力インターフェースの他の例は、撮像インターフェース１７２６、及びプリンタインターフェース１７３１を含むことができる。例えば、システム１７００Ａは、システム１７００Ａをディスプレイデバイス１７２４に接続するように適合されたディスプレイインターフェース１７２２にバス１７０６を通じてリンクすることができ、ディスプレイデバイス１７２４は、特に、コンピュータモニタ、カメラ、テレビ、プロジェクタ、又はモバイルデバイスを含むことができる。

加えて又は代替的に、システムは、このシステムを撮像デバイス１７２８に接続するように適合された撮像インターフェース１７２６に接続することができる。撮像デバイス１７２８は、カメラ、コンピュータ、スキャナ、モバイルデバイス、ウェブカム、又はそれらの任意の組み合わせを含むことができる。加えて又は代替的に、システム１７００Ａは、システムを印刷デバイス１７３２に接続するように適合されたプリンタインターフェース１７３１に接続することができる。印刷デバイス１７３２は、特に、液体インクジェットプリンタ、固体インクプリンタ、大型商用プリンタ、サーマルプリンタ、ＵＶプリンタ、又は昇華型プリンタを含むことができる。

図１７Ｂを参照すると、図１７Ｂは、本開示の幾つかの実施形態による音声分離ネットワークをハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワークとともに含む。ニューラルネットワーク１７０８は、音声分離ネットワーク１７１４及びハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワーク１７１５を含む。音声分離ネットワーク１７１４は、音声信号１７３８を処理して、対象話者ごとの分離された音声を、例えば音声特徴の形態で出力することができ、各分離された音声は、ハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワーク１７１５によって更に処理され、各対象話者によるテキストが出力される。音声分離ネットワーク１７１４は、音声信号の混合体から音声を分離するようにトレーニングすることができる。ハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワーク１７１５は、音声分離ネットワーク１７１４によって分離された音声からテキストを出力するようにトレーニングすることができる。音声分離ネットワーク１７１４及びハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワーク１７１５の双方は、同時に発話する複数の話者による音声の混合体からなる音声信号から対象話者ごとのテキストを出力するように共同トレーニングすることができる。ニューラルネットワーク１７０８は、図９Ｂにおいて説明したような明確な分離を有する複数話者音声認識ネットワーク９１１の一例とみなすことができる。すなわち、音声分離ネットワーク１７１４は、話者分離ネットワーク９４２の一例とみなすことができる一方、ハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワーク１７１５のエンコーダ部分は、音響エンコーダネットワーク９４６の一例とみなすことができ、ハイブリッドＣＴＣ／注意ベースエンコーダデコーダＡＳＲネットワーク１７１５のデコーダ部分は、デコーダネットワーク９５０の一例とみなすことができる。

図１８Ａは、本開示の実施形態による方法及びシステムの幾つかの技法を実施するのに用いることができるコンピューティング装置１８００を非限定例として示す概略図である。コンピューティング装置又はデバイス１８００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。

コンピューティングデバイス１８００は、電力源１８０８、プロセッサ１８０９、メモリ１８１０、記憶デバイス１８１１を備えることができる。これらは全てバス１８５０に接続されている。さらに、高速インターフェース１８１２、低速インターフェース１８１３、高速拡張ポート１８１４及び低速拡張ポート１８１５をバス１８５０に接続することができる。また、低速接続ポート１８１６がバス１８５０と接続されている。特定の用途に応じて、非限定例として共通のマザーボードに実装することができる様々な構成要素の構成が考えられる。またさらに、入力インターフェース１８１７を、バス１８５０を介して外部受信機１８０６及び出力インターフェース１８１８に接続することができる。受信機１８１９を、バス１８５０を介して外部送信機１８０７及び送信機１８２０に接続することができる。外部メモリ１８０４、外部センサ１８０３、機械１８０２及び環境１８０１もバス１８５０に接続することができる。さらに、１つ以上の外部入力／出力デバイス１８０５をバス１８５０に接続することができる。ネットワークインターフェースコントローラ（ＮＩＣ）１８２１は、バス１８５０を通じてネットワーク１８２２に接続するように適合することができ、特にデータ又は他のデータは、コンピュータデバイス１８００の外部のサードパーティディスプレイデバイス、サードパーティ画像デバイス、及び／又はサードパーティ印刷デバイス上にレンダリングすることができる。

メモリ１８１０は、コンピュータデバイス１８００によって実行可能な命令、履歴データ、並びに本開示の方法及びシステムによって利用することができる任意のデータを記憶することができると考えられる。メモリ１８１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。メモリ１８１０は、単数若しくは複数の揮発性メモリユニット及び／又は単数若しくは複数の不揮発性メモリユニットとすることができる。メモリ１８１０は、磁気ディスク又は光ディスク等の別の形態のコンピュータ可読媒体とすることもできる。

図１８Ａを引き続き参照すると、記憶デバイス１８１１は、コンピュータデバイス１８００によって用いられる補助データ及び／又はソフトウェアモジュールを記憶するように適合することができる。例えば、記憶デバイス１８１１は、本開示に関して上述したような履歴データ及び他の関連データを記憶することができる。加えて又は代替的に、記憶デバイス１８１１は、本開示に関して上述したようなデータと同様の履歴データを記憶することができる。記憶デバイス１８１１は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを含むことができる。さらに、記憶デバイス１８１１は、ストレージエリアネットワーク又は他の構成におけるデバイスを含めて、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、若しくはテープデバイス、フラッシュメモリ若しくは他の同様の固体メモリデバイス、又はデバイスのアレイ等のコンピュータ可読媒体を含むことができる。命令は情報担体に記憶することができる。命令は、１つ以上の処理デバイス（例えば、プロセッサ１８０９）によって実行されると、上記で説明した方法等の１つ以上の方法を実行する。

システムは、任意選択で、このシステムをディスプレイデバイス１８２５及びキーボード１８２４に接続するように適合されたディスプレイインターフェース又はユーザインターフェース（ＨＭＩ）１８２３にバス１８５０を通じてリンクすることができる。ディスプレイデバイス１８２５は、特に、コンピュータモニタ、カメラ、テレビ、プロジェクタ、又はモバイルデバイスを含むことができる。

図１８Ａを引き続き参照すると、コンピュータデバイス１８００は、バス１８５０を通じてプリンタインターフェース（図示せず）に接続するとともに、印刷デバイス（図示せず）に接続するように適合されたユーザ入力インターフェース１８１７を備えることができる。印刷デバイスは、特に、液体インクジェットプリンタ、固体インクプリンタ、大型商用プリンタ、サーマルプリンタ、ＵＶプリンタ、又は昇華型プリンタを含むことができる。

高速インターフェース１８１２は、コンピューティングデバイス１８００の帯域幅消費型動作を管理する一方、低速インターフェース１８１３は、より低い帯域幅消費型動作を管理する。そのような機能の割り当ては一例にすぎない。幾つかの実施態様では、高速インターフェース１８１２は、メモリ１８１０、ユーザインターフェース（ＨＭＩ）１８２３に結合することができ、（例えば、グラフィックスプロセッサ又はアクセラレーターを通じて）キーボード１８２４及びディスプレイ１８２５に結合することができ、高速拡張ポート１８１４に結合することができる。この高速拡張ポートは、バス１８５０を介して様々な拡張カード（図示せず）を受容することができる。この実施態様では、低速インターフェース１８１３は、バス１８５０を介して記憶デバイス１８１１及び低速拡張ポート１８１５に結合されている。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、無線イーサネット）を含むことができる低速拡張ポート１８１５は、１つ以上の入力／出力デバイス１８０５、及び他のデバイス、キーボード１８２４、ポインティングデバイス（図示せず）、スキャナ（図示せず）に結合することもできるし、スイッチ又はルータ等のネットワーク接続デバイスに、例えば、ネットワークアダプターを通じて結合することもできる。

図１８Ａを引き続き参照すると、コンピューティングデバイス１８００は、この図に示すように、複数の異なる形態で実施することができる。例えば、このコンピューティングデバイスは、標準的なサーバ１８２６として実施することもできるし、そのようなサーバが複数個ある一群のサーバとして実施することもできる。加えて、このコンピューティングデバイスは、ラップトップコンピュータ１８２７等のパーソナルコンピュータにおいて実施することができる。このコンピューティングデバイスは、ラックサーバシステム１８２８の一部として実施することもできる。或いは、コンピューティングデバイス１８００からの構成要素は、図１８Ｂのモバイルコンピューティングデバイス１８９９等のモバイルデバイス（図示せず）における他の構成要素と組み合わせることができる。そのようなデバイスのそれぞれは、コンピューティングデバイス１８００及びモバイルコンピューティングデバイス１８９９のうちの１つ以上を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイスから構成することができる。

図１８Ｂは、本開示の実施形態による方法及びシステムの幾つかの技法を実施するのに用いることができるモバイルコンピューティング装置を示す概略図である。モバイルコンピューティングデバイス１８９９は、他の構成要素の中でも特に、プロセッサ１８６１、メモリ１８６２、入力／出力デバイス１８６３、通信インターフェース１８６４を接続するバス１８９５を備える。バス１８９５は、追加の記憶装置を提供するマイクロドライブ又は他のデバイス等の記憶デバイス１８６５にも接続することができる。

図１８Ｂを参照すると、プロセッサ１８６１は、メモリ１８６２に記憶された命令を含む命令をモバイルコンピューティングデバイス１８９９内で実行することができる。プロセッサ１８６１は、個別の複数のアナログプロセッサ及びデジタルプロセッサを含むチップのチップセットとして実施することができる。プロセッサ１８６１は、例えば、モバイルコンピューティングデバイス１８９９によって実行されるユーザインターフェース、アプリケーションの制御、及びモバイルコンピューティングデバイス１８９９による無線通信等のモバイルコンピューティングデバイス１８９９の他の構成要素の協調を行うことができる。特定の用途に応じて、非限定例として共通のマザーボードに実装することができる様々な構成要素の構成が考えられる。

プロセッサ１８６１は、ディスプレイ１８６８に結合された制御インターフェース１８６６及びディスプレイインターフェース１８６７を通じてユーザと通信することができる。ディスプレイ１８６８は、例えば、ＴＦＴ（薄膜トランジスタ）液晶ディスプレイ若しくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は他の適切なディスプレイ技術とすることができる。ディスプレイインターフェース１８６７は、ディスプレイ１８６８を駆動してグラフィカル情報及び他の情報をユーザに提示する適切な回路部を備えることができる。制御インターフェース１８６６は、ユーザからコマンドを受信し、それらのコマンドをプロセッサ１８６１にサブミットするために変換することができる。加えて、外部インターフェース１８６９は、モバイルコンピューティングデバイス１８９９と他のデバイスとの近領域通信を可能にするために、プロセッサ１８６１との通信を提供することができる。外部インターフェース１８６９は、幾つかの実施態様では、例えば、有線通信を提供することもできるし、他の実施態様では、無線通信を提供することもでき、複数のインターフェースも用いることができる。

図１８Ｂを引き続き参照すると、メモリ１８６２は、モバイルコンピューティングデバイス１８９９内に情報を記憶する。メモリ１８６２は、単数若しくは複数のコンピュータ可読媒体、単数若しくは複数の揮発性メモリユニット、又は単数若しくは複数の不揮発性メモリユニットのうちの１つ以上として実施することができる。拡張メモリ１８７０も設けることができ、拡張インターフェース１８６９を通じてモバイルコンピューティングデバイスに接続することができる。この拡張インターフェースは、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含むことができる。拡張メモリ１８７０は、モバイルコンピューティングデバイス１８９９の予備の記憶空間を提供することもできるし、モバイルコンピューティングデバイス１８９９のアプリケーション又は他の情報を記憶することもできる。具体的には、拡張メモリ１８７０は、上記で説明したプロセスを実行又は補足する命令を含むことができ、セキュアな情報も含むことができる。したがって、例えば、拡張メモリ１８７０は、モバイルコンピューティングデバイス１８９９のセキュリティモジュールとして提供することができ、モバイルコンピューティングデバイス１８９９のセキュアな使用を可能にする命令を用いてプログラミングすることができる。加えて、ハッキング不可能な方法でＳＩＭＭカード上に識別情報を配置するようなセキュアなアプリケーションを、追加の情報とともにＳＩＭＭカードを介して提供することができる。

メモリ１８６２は、後述するように、例えば、フラッシュメモリ及び／又はＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含むことができる。幾つかの実施態様では、命令は情報担体に記憶される。これらの命令は、１つ以上の処理デバイス（例えば、プロセッサ１８６１）によって実行されると、上記で説明した方法等の１つ以上の方法を実行する。命令は、１つ以上のコンピュータ可読媒体又は機械可読媒体（例えば、メモリ１８６２、拡張メモリ１８７０、又はプロセッサ１８６１上のメモリ）等の１つ以上の記憶デバイスによって記憶することもできる。幾つかの実施態様では、命令は、例えば、送受信機１８７１又は外部インターフェース１８６９を介して伝播信号で受信することができる。

図１８Ｂのモバイルコンピューティング装置又はデバイス１８９９は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、及び他の同様のコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことを意図している。モバイルコンピューティングデバイス１８９９は、必要に応じてデジタル信号処理回路部を備えることができる通信インターフェース１８６４を通じて無線で通信することができる。通信インターフェース１８６４は、特に、ＧＳＭ音声呼（モバイル通信用グローバルシステム）、ＳＭＳ（ショートメッセージサービス）、ＥＭＳ（エンハンストメッセージングサービス）、若しくはＭＭＳメッセージング（マルチメディアメッセージングサービス）、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多元接続）、ＰＤＣ（パーソナルデジタルセルラー）、ＷＣＤＭＡ（登録商標）（広帯域符号分割多元接続）、ＣＤＭＡ２０００、又はＧＰＲＳ（汎用パケット無線サービス）等の様々なモード又はプロトコルの下で通信を提供することができる。そのような通信は、例えば、無線周波数を用いる送受信機１８７１を通じて行うことができる。加えて、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、又は他のそのような送受信機（図示せず）等を用いて短距離通信を行うことができる。加えて、ＧＰＳ（全地球測位システム）受信機モジュール１８７３が、モバイルコンピューティングデバイス１８９９上で動作するアプリケーションによって適宜用いることができる追加のナビゲーションデータ及びロケーション関連無線データをモバイルコンピューティングデバイス１８９９に提供することができる。

モバイルコンピューティングデバイス１８９９は、ユーザから発話情報を受信して使用可能なデジタル情報に変換することができる音響コーデック１８７２を用いて聴覚的に通信することもできる。音響コーデック１８７２は、例えば、モバイルコンピューティングデバイス１８９９のハンドセット内のスピーカー等を通じて、ユーザ向けの可聴音を同様に生成することができる。そのような音は、音声通話からの音を含むことができ、録音された音（例えば、音声メッセージ、音楽ファイル等）を含むことができ、モバイルコンピューティングデバイス１８９９上で動作するアプリケーションによって生成された音も含むことができる。

図１８Ｂを引き続き参照すると、モバイルコンピューティングデバイス１８９９は、この図に示すように、複数の異なる形態で実施することができる。例えば、このモバイルコンピューティングデバイスは、携帯電話１８７４として実施することができる。また、このモバイルコンピューティングデバイスは、スマートフォン１８７５、パーソナルデジタルアシスタント、又は他の同様のモバイルデバイスの一部として実施することもできる。

（特徴）
本開示の態様によれば、一組の認識エンコーディングは、対象話者ごとの認識エンコーディングを含むことができ、デコーダネットワークは、対象話者ごとの認識エンコーディングを用いて、その対象話者のテキストを出力することができる。さらに、一態様は、混合体エンコーダネットワーク、一組の話者区別エンコーダネットワーク、及び認識エンコーダネットワークを備えるエンコーダネットワークを含むことができ、話者区別エンコーダネットワークの数は対象話者の数以上であり、混合体エンコーダネットワークは、受信された音響信号の混合体エンコーディングを出力し、各話者区別エンコーダネットワークは、混合体エンコーディングからの話者区別エンコーディングを出力し、認識エンコーダネットワークは、各話者区別エンコーディングからの認識エンコーディングを出力する。記憶された音声認識ネットワークは、単一の話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて、初期話者区別エンコーダネットワークとともに事前にトレーニングされる。さらに、一組の話者区別エンコーダネットワークにおける話者区別エンコーダネットワークのうちの幾つかは、初期話者区別エンコーダネットワークに基づいて初期化される。初期化はランダム摂動を含む。

本開示の別の態様は、エンコーダネットワークが、話者分離ネットワーク及び音響エンコーダネットワークを備えることを含むことができ、話者分離ネットワークは、一組の分離エンコーディングを出力するようになっており、分離エンコーディングの数は対象話者の数以上であり、音響エンコーダネットワークは、一組の分離エンコーディングを用いて一組の認識エンコーディングを出力する。一組の認識エンコーディングの各認識エンコーディングは、一組の分離エンコーディングにおける各分離エンコーディングに対応し、音響エンコーダネットワークは、各分離エンコーディングの認識エンコーディングを出力するようになっている。さらに、一組の分離エンコーディングは、対象話者ごとの単一の分離エンコーディングを含み、一組の認識エンコーディングは、対象話者ごとの単一の認識エンコーディングを含み、音響エンコーダネットワークは、対象話者ごとの単一の分離エンコーディングを用いて、その対象話者の単一の認識エンコーディングを出力するようになっている。さらにまた、一組の分離エンコーディング及び受信された音響信号は、対象話者ごとの分離された信号を出力するのに用いられる。少なくとも１つの話者分離ネットワークは、複数の話者からの音響信号及びそれらの対応する混合体を含むデータセットを用いて、分離エンコーディングを出力するようにトレーニングすることが可能である。さらに、音響エンコーダネットワーク及びデコーダネットワークは、少なくとも１人の話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて、テキストを出力するようにトレーニングされる。さらにまた、少なくとも１つの話者分離ネットワーク、音響エンコーダネットワーク、及びデコーダネットワークは、複数の重なり合う話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて共同トレーニングされる。記憶された音声認識ネットワークは、複数の重なり合う話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いてトレーニングすることが可能であり、トレーニングは、復号コスト及び分離コストの加重結合を用いて目的関数を最小にすることを含むようになっている。

本開示の別の態様は、対象話者からの音声が、１つ以上の言語からの音声を含むことを含むことができる。少なくとも１人の対象話者のテキストは、その少なくとも１人の対象話者の音声の言語についての情報を含む。さら、一態様は、記憶された音声認識ネットワークが、複数の重なり合う話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いてトレーニングされることを含むことができる。

本開示の別の態様は、話者区別エンコーダネットワークの数が対象話者の数以上であることを含むことができ、混合体エンコーダネットワークは、受信された音響信号の混合体エンコーディングを出力し、各話者区別エンコーダネットワークは、混合体エンコーディングからの話者区別エンコーディングを出力し、認識エンコーダネットワークは、各予備認識エンコーディングからの認識エンコーディングを出力するようになっている。さら、一態様は、記憶された音声認識ネットワークが、単一の話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて、初期話者区別エンコーダネットワークとともに事前にトレーニングされることを含むことができ、一組の話者区別エンコーダネットワークにおける話者区別エンコーダネットワークのうちの幾つかは、初期話者区別エンコーダネットワークに基づいて初期化され、初期化はランダム摂動を含む。

（実施形態）
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。

以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、既知のプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。

さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、機械、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、機械可読媒体に記憶することができる。プロセッサが、それらの必要なタスクを実行することができる。

さらに、本開示の実施形態及び本明細書において説明された機能動作は、本明細書に開示された構造及びそれらの構造的均等物を含むデジタル電子回路部、有形に具現化されたコンピュータソフトウェア若しくはファームウェア、コンピュータハードウェア、又はそれらのうちの１つ以上のものの組み合わせにおいて実施することができる。さらに、本開示の幾つかの実施形態は、データ処理装置によって実行されるか又はデータ処理装置の動作を制御する１つ以上のコンピュータプログラム、すなわち、有形の非一時的プログラム担体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。またさらに、プログラム命令は、データ処理装置による実行のために、適した受信機装置への送信用の情報を符号化するように生成される人工的に生成された伝播信号、例えば、機械によって生成された電気信号、光信号、又は電磁信号において符号化することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶デバイス基板、ランダムアクセスメモリデバイス若しくはシリアルアクセスメモリデバイス、又はそれらのうちの１つ以上のものの組み合わせとすることができる。

本開示の実施形態によれば、用語「データ処理装置」は、データを処理する全ての種類の装置、デバイス、及び機械を包含することができ、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。装置は、専用論理回路部、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を備えることができる。装置は、ハードウェアに加えて、問題になっているコンピュータプログラムの実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組み合わせを構成するコードも有することができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、又はコードと呼称又は記載される場合もある）は、コンパイラー型言語若しくはインタープリター型言語、又は宣言型言語若しくは手続型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアローンプログラムとしての形態、又は、モジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境における使用に適した他のユニットとしての形態を含む任意の形態で配備することができる。コンピュータプログラムは、ファイルシステムにおけるファイルに対応する場合があるが、必ずしも対応する必要はない。プログラムは、他のプログラム又はデータ、例えば、マークアップ言語ドキュメントに記憶された１つ以上のスクリプトを保持するファイルの一部分に記憶することもできるし、問題となっているプログラムに専用化された単一のファイルに記憶することもできるし、複数のコーディネートファイル、例えば、１つ以上のモジュール、サブプログラム、又はコード部分を記憶するファイルに記憶することもできる。コンピュータプログラムは、１つのコンピュータ上で実行されるように配備することもできるし、１つのサイトに配置された複数のコンピュータ上で、又は、複数のサイトにわたって分散されて通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように配備することもできる。コンピュータプログラムの実行に適したコンピュータは、例として、汎用マイクロプロセッサ若しくは専用マイクロプロセッサ若しくはそれらの双方、又は他の任意の種類の中央処理装置を含む。一般に、中央処理装置は、リードオンリーメモリ若しくはランダムアクセスメモリ又はそれらの双方から命令及びデータを受け取る。コンピュータの必須素子は、命令を遂行又は実行する中央処理装置と、命令及びデータを記憶する１つ以上のメモリデバイスとである。一般に、コンピュータは、データを含むか、又は、データを記憶する１つ以上のマスストレージデバイス、例えば、磁気ディスク、光磁気ディスク、若しくは光ディスクからのデータの受信若しくはそれらへのデータの転送若しくはそれらの双方を行うように作動結合される。ただし、コンピュータは、必ずしもそのようなデバイスを有するとは限らない。その上、コンピュータは、別のデバイスに組み込むことができ、例えば、数例を挙げると、モバイル電話機、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルアーディオプレーヤー若しくはモバイルビデオプレーヤー、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又はポータブル記憶デバイス、例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに組み込むことができる。

ユーザとのインタラクションを提供するために、本明細書において説明した主題の実施形態は、ユーザに情報を表示するディスプレイデバイス、例えば、ＣＲＴ（陰極線管）モニタ又はＬＣＤ（液晶ディスプレイ）モニタと、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス、例えば、マウス又はトラックボールとを有するコンピュータ上で実施することができる。他の種類のデバイスを用いて、ユーザとのインタラクションを同様に提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザからの入力は、音響入力、音声入力、又は触覚入力を含む任意の形態で受信することができる。加えて、コンピュータは、ユーザによって用いられるデバイスに文書を送信すること及びこのデバイスから文書を受信することによって、例えば、ウェブブラウザーから受信された要求に応答してユーザのクライアントデバイス上のウェブブラウザーにウェブページを送信することによって、ユーザとインタラクトすることができる。

本明細書において説明した主題の実施形態は、バックエンド構成要素を、例えばデータサーバとして備えるコンピューティングシステム、又はミドルウェア構成要素、例えば、アプリケーションサーバを備えるコンピューティングシステム、又はフロントエンド構成要素、例えば、ユーザが本明細書において説明した主題の実施態様とインタラクトすることをできるようにするグラフィカルユーザインターフェース又はウェブブラウザーを有するクライアントコンピュータを備えるコンピューティングシステム、又は１つ以上のそのようなバックエンド構成要素、ミドルウェア構成要素、若しくはフロントエンド構成要素の任意の組み合わせを備えるコンピューティングシステムにおいて実施することができる。システムのこれらの構成要素は、任意の形態又は媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、例えば、インターネットがある。

コンピューティングシステムは、クライアント及びサーバを備えることができる。クライアント及びサーバは、一般的に互いにリモートであり、通常、通信ネットワークを通じてインタラクトする。クライアント及びサーバの関係は、それぞれのコンピュータ上で動作するとともに互いにクライアントサーバ関係を有するコンピュータプログラムによって生じる。

Claims (19)

1. ハードウェアプロセッサと、
   前記ハードウェアプロセッサによって実行されると、記憶された音声認識ネットワークを実施するコンピュータ実行可能な命令を記憶するとともに、データを記憶するコンピュータ記憶メモリと、
   音響信号を受信する入力インターフェースであって、前記受信された音響信号は、複数の話者による音声信号の混合体を含み、前記複数の話者は対象話者を含む、入力インターフェースと、
   前記受信された音響信号を対象話者ごとのテキストに変換するようにトレーニングされる前記記憶された音声認識ネットワークのエンコーダネットワーク及びデコーダネットワークであって、前記エンコーダネットワークは、対象話者ごとの認識エンコーディングを含む一組の認識エンコーディングを出力し、前記デコーダネットワークは、前記一組の認識エンコーディングを用いて対象話者ごとの前記テキストを出力するようになっている、エンコーダネットワーク及びデコーダネットワークと、
   対象話者ごとの前記テキストを送信する出力インターフェースと、
   を備える、複数の話者による重複音声を含む音声を認識する音声認識システム。
2. 前記デコーダネットワークは、対象話者ごとの前記認識エンコーディングを用いて、その対象話者の前記テキストを出力する、請求項１に記載の音声認識システム。
3. 前記エンコーダネットワークは、混合体エンコーダネットワーク、一組の話者区別エンコーダネットワーク、及び認識エンコーダネットワークを備える、請求項１に記載の音声認識システム。
4. 話者区別エンコーダネットワークの数は対象話者の数以上であり、前記混合体エンコーダネットワークは、前記受信された音響信号の混合体エンコーディングを出力し、各話者区別エンコーダネットワークは、前記混合体エンコーディングからの話者区別エンコーディングを出力し、前記認識エンコーダネットワークは、各話者区別エンコーディングからの認識エンコーディングを出力する、請求項３に記載の音声認識システム。
5. 前記記憶された音声認識ネットワークは、単一の話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて、初期話者区別エンコーダネットワークとともに事前にトレーニングされる、請求項４に記載の音声認識システム。
6. 前記一組の話者区別エンコーダネットワークにおける前記話者区別エンコーダネットワークのうちの幾つかは、前記初期話者区別エンコーダネットワークに基づいて初期化される、請求項５に記載の音声認識システム。
7. 前記初期化はランダム摂動を含む、請求項６に記載の音声認識システム。
8. 前記エンコーダネットワークは、話者分離ネットワーク及び音響エンコーダネットワークを備え、前記話者分離ネットワークは、一組の分離エンコーディングを出力するようになっており、分離エンコーディングの数は対象話者の数以上であり、前記音響エンコーダネットワークは、前記一組の分離エンコーディングを用いて一組の認識エンコーディングを出力する、請求項１に記載の音声認識システム。
9. 前記一組の認識エンコーディングの各認識エンコーディングは、前記一組の分離エンコーディングにおける各分離エンコーディングに対応し、前記音響エンコーダネットワークは、各分離エンコーディングの認識エンコーディングを出力するようになっている、請求項８に記載の音声認識システム。
10. 前記一組の分離エンコーディングは、対象話者ごとの単一の分離エンコーディングを含み、前記一組の認識エンコーディングは、対象話者ごとの単一の認識エンコーディングを含み、前記音響エンコーダネットワークは、対象話者ごとの前記単一の分離エンコーディングを用いて、その対象話者の前記単一の認識エンコーディングを出力するようになっている、請求項８に記載の音声認識システム。
11. 前記一組の分離エンコーディング及び前記受信された音響信号は、対象話者ごとの分離された信号を出力するのに用いられる、請求項８に記載の音声認識システム。
12. 少なくとも１つの前記話者分離ネットワークは、複数の話者からの音響信号及びそれらの対応する混合体を含むデータセットを用いて、分離エンコーディングを出力するようにトレーニングされる、請求項８に記載の音声認識システム。
13. 前記音響エンコーダネットワーク及び前記デコーダネットワークは、少なくとも１人の話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて、テキストを出力するようにトレーニングされる、請求項８に記載の音声認識システム。
14. 少なくとも１つの前記話者分離ネットワーク、前記音響エンコーダネットワーク、及び前記デコーダネットワークは、複数の重なり合う話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて共同トレーニングされる、請求項８に記載の音声認識システム。
15. 前記記憶された音声認識ネットワークは、複数の重なり合う話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いてトレーニングされ、前記トレーニングは、復号コスト及び分離コストの加重結合を用いて目的関数を最小にすることを含むようになっている、請求項８に記載の音声認識システム。
16. 前記対象話者からの音声は、１つ以上の言語からの音声を含む、請求項１に記載の音声認識システム。
17. 少なくとも１人の対象話者の前記テキストは、その少なくとも１人の対象話者の前記音声の前記言語についての情報を含む、請求項１６に記載の音声認識システム。
18. 前記記憶された音声認識ネットワークは、前記エンコーダネットワーク及び前記デコーダネットワークが、複数の重なり合う話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いて共同トレーニングされるように、複数の重なり合う話者による音声を有する音響信号及び対応するテキストラベルを含むデータセットを用いてトレーニングされる、請求項１に記載の音声認識システム。
19. 対象話者を含む複数の話者による音声信号の混合体を含む音響信号を入力インターフェースを介して受信することと、
    ハードウェアプロセッサを用いて、前記受信された音響信号を、コンピュータ可読メモリに記憶された事前にトレーニングされた音声認識ネットワーク内に入力することであって、前記事前にトレーニングされた音声認識ネットワークは、前記事前にトレーニングされた音声認識ネットワークのエンコーダネットワークを用いて対象話者ごとの認識エンコーディングを含む一組の認識エンコーディングを出力することによって、前記事前にトレーニングされた音声認識ネットワークのエンコーダネットワーク及び前記事前にトレーニングされた音声認識ネットワークのデコーダネットワークを用いて前記受信された音響信号を対象話者ごとのテキストに変換するように構成され、前記デコーダネットワークは、前記一組の認識エンコーディングを用いて、対象話者ごとの前記テキストを出力するようになっていることと、
    出力インターフェースを用いて対象話者ごとの前記テキストを送信することと、
    を含む、音声認識システムを用いて複数の話者による重複音声を有する音響信号内の個々の話者信号を認識する方法。

Images