JP7267342B2

JP7267342B2 - 語義表現モデルの訓練方法、装置、デバイス及びコンピュータ記憶媒体

Info

Publication number: JP7267342B2
Application number: JP2021074989A
Authority: JP
Inventors: シュオホアンワン; チアシアンリウ; シュアンオウヤン; ユイスン; ホアウー; ハイフォンワン
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-07-06
Filing date: 2021-04-27
Publication date: 2023-05-01
Anticipated expiration: 2041-04-27
Also published as: CN111539227A; JP2022014429A; KR102567635B1; US11914964B2; EP3937060A1; CN111539227B; US20220004716A1; KR20220005384A

Description

本出願は、コンピュータ応用技術分野に関し、特に人工知能技術に関する。

今年は、BERT（Bidirectional Encoder Representation from Transformers、transformerからの双方向エンコーダ表現）モデルをはじめとする事前訓練モデルは、NLP（Natural Language Processing、自然言語処理）タスクの効果を大幅に向上させた。しかし、現在主流の語義表現モデルは英語、中国語、フランス語、ドイツ語などの一般的な言語に集中している。しかし、世界には何千もの言語があり、ほとんどの言語は英語などの一般的な言語に比べてコーパスが少ないので、低リソース言語と呼ばれる。事前訓練モデルの訓練は大量のコンピューティングリソースを必要とし、コストが高く、各モデルのコストは数十万から数百万に達するため、各言語に対して訓練のために十分なコーパスを構築することは困難である。また、チェコ語のようなコーパスが非常に少ない言語では、訓練のために十分なコーパスを集めることさえ困難である。

これに鑑みて、本出願は、コーパスの少ない言語に対する語義表現モデルの訓練方法、装置、デバイス、およびコンピュータ記憶媒体を提供する。

第1の態様では、本出願は、第1の言語により訓練された語義表現モデルを第1の語義表現モデルとして取得し、前記第1の語義表現モデルの最下位層と最上位層を訓練対象層とし、訓練対象層を初期化し、他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第2の言語の訓練コーパスを用いて訓練対象層を訓練し、未訓練の各層を下から順に訓練対象層に加えてそれぞれ実行し、訓練対象層以外の層のモデルパラメータを変更せず、訓練終了条件に達するまで第2の言語の訓練コーパスを用いて訓練対象層をそれぞれ訓練し、全ての層について訓練が終了した後、第2の言語に対する語義表現モデルを得る、ことを含む語義表現モデルの訓練方法を提供する。

第2の態様では、本出願は、第1の言語により訓練された語義表現モデルを第1の語義表現モデルとして取得する第1の取得部と、前記第1の語義表現モデルの最下位層および最上位層を訓練対象層として訓練対象層を初期化し、他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第2の言語の訓練コーパスを用いて訓練対象層を訓練し、未訓練の各層を下から順に訓練対象層に加えてそれぞれ実行し、訓練対象層以外の層のモデルパラメータを変更せず、訓練終了条件に達するまで第2言語の訓練コーパスを用いて訓練対象層をそれぞれ訓練し、すべての層について訓練が終了した後、第2言語に対する語義表現モデルを得る訓練部と、を備える語義表現モデルの訓練装置を提供する。

第3の態様では、本出願は、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサと通信接続されたメモリとを備え、前記メモリに前記少なくとも1つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに前記の何れか一つに記載の方法を実行させる電子デバイスを提供する。

第4の態様では、本出願は、コンピュータに前記何れか一つに記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。

本出願では、既存の言語で訓練された語義表現モデルを十分に利用し、各層を順次に転移訓練を行って別の言語の語義表現モデルを得ることにより、コーパスの少ない言語について、訓練サンプルの収集に必要なコストを大幅に削減し、訓練効率を向上させた。

前記選択可能な方法が有する他の効果は、以下で具体的な実施形態と合わせて説明する。

図面は、本出願をより良く理解するためのものであり、本出願を限定しない。ここで、
本出願の実施形態一により提供される語義表現モデルの訓練方法のフローチャートである。本出願の実施形態一により提供される語義表現モデルの訓練の各段階の模式図である。本出願の実施形態二により提供されるパラレルコーパスを用いたモデル訓練の模式図である。本出願の実施形態二により提供されるアラインメントモデルの動作原理の実例図である。本発明の実施形態三により提供される語義表現モデルの訓練装置の構成図である。本発明の実施形態を実現するための電子デバイスのブロック図である。

以下、図面に基づいて、本出願の例示的な実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

本出願の主旨は、十分に訓練された第1の言語の語義表現モデルを利用して、第2の言語の語義表現モデルの訓練を支援することである。説明を容易にし理解を助けるために、後続の実施形態に関連する例では、第1の言語が英語、第2の言語が中国語である例として説明されるが、本出願はこれに限定されなく、任意の言語に適用されてもよい。

なお、本願に係る語義表現モデルとしては、RNN（Recurrent Neural Network、再帰型ニューラルネットワーク）、CNN（Convolutional Neural Networks、畳み込みニューラルネットワーク）、Transformerモデル等を用いることができる。典型的な語義表現モデルとして、後続の実施形態に関連する例では、Transformerモデルを例にして説明され、他のモデルの実現原理は類似している。

実施形態一

図1は、本出願の実施形態一により提供される語義表現モデルの訓練方法のフローチャートである。本方法の実行主体は語義表現モデルを訓練する装置である。当該装置は、コンピュータシステム/サーバ上にあるアプリケーションであっても良く、コンピュータシステム/サーバ上にあるアプリケーションにおけるプラグインやソフトウェア開発キット（Software Development Kit、SDK）などの機能ユニットであってもよい。図1に示すように、当該方法は以下のステップを含むことができる。

101では、第1の言語により訓練された語義表現モデルを第1の語義表現モデルとして取得する。

英語を第１の言語とすると、英語は国際共通言語であり、一般的に英語に対するコーパスが多いため、英語を用いることでTransformerモデルのような語義表現モデルを容易かつ良好に訓練することができる。本ステップでは、既に訓練された英語のTransformerモデルを第1の語義表現モデルとし、後続の転移訓練に備えて中国語のTransformerモデルの訓練を支援する。

102では、第1の語義表現モデルの最下位層および最上位層を訓練対象層として訓練対象層を初期化し、他の層のモデルパラメータを変更せず、訓練終了条件に達するまで、第2の言語の訓練コーパスを用いて訓練対象層を訓練する。

Transformerモデルは、図2に示されたように、多層構造を持つ。ここで、最下位層はEmbedding Layerで示される埋め込み層であり、訓練コーパスにおける各文字のベクトル表現を特定するために用いられる。最上位層は通常にTask Layerで示される全連結層であり、Transformerの中の各層の処理を経たベクトル表現をマッピングして訓練コーパスにおけるmaskの内容の予測を得るために用いられる。最上位層と最下位層の間に更に複数の層が含まれており、通常にTransformer Blockで示される。Transformer Blockの各層は、入力された各文字のベクトル表現をアテンション（Attention）メカニズムの処理を行ってグローバルベクトル表現に変更させるために用いられる。Transformer Blockの各層は、Attentionを実行するときに、前の層のグローバルベクトル表現を参照する。具体的な各層のTransformer Blockの動作メカニズムについては、ここでは詳しく説明しない。本出願の実施形態の図2では、Transformer Blockとして3つの層を有することを例とする。

通常に、Transformerモデルの最下位層は字面上の論理を処理することに注目する一方、上位層は語義上の論理を処理することに注目し、上位層の語義論理は異なる言語に対して一貫性がより強い。この仮定に基づいて、本願の実施形態では、各層を順次に訓練する方式を採用し、最初に最下位層と最上位層を訓練し、その後に最下位層と最上位層を組み合わせて中間層を個別に訓練する。

図2に示された(a)段階では、英語のTransformerモデルにおけるEmbedding LayerとTask Layerを訓練対象層として初期化し、すなわちモデルパラメータを初期化する。他の層、すなわち各Transformer Blockのパラメータを変更せず、すなわち各Transformer Blockのパラメータは今まで英語に対して訓練して得られたモデルパラメータのままとする。そして、中国語の訓練コーパスを入力して訓練対象層であるEmbedding LayerとTask Layerを訓練する。

訓練目標は、訓練対象層を訓練するたびに、Task Layer層によるmaskの予測結果が期待に一致することである。すなわち、この訓練目標に基づいて損失関数を構築し、損失関数の値を用いて訓練対象層のモデルパラメータを最適化することができる。各訓練対象層に対する訓練終了条件は、Lossが徐々に収束しているか、反復回数が予め設定された閾値に達しているかなどであってよい。

つまり、(a)段階では、中国語の訓練コーパスを用いてEmbedding LayerとTask Layerを訓練する過程で、lossを用いて反復を行い、lossが徐々に収束するか、反復回数が予め設定された閾値に達するまで、Embedding LayerとTask Layerのパラメータを徐々に最適化する。

103では、未訓練の各層を下から順に訓練対象層に加え、それぞれが訓練終了条件に達するまで、訓練対象層以外の層のモデルパラメータを変更せず、第2の言語の訓練コーパスを用いて訓練対象層を訓練することをそれぞれ実行する。

図2に示された(b)段階では、下から上に向かってまずTransformer Block 1を訓練対象層に加える。このときの訓練対象層はEmbedding Layer、Task Layer、Transformer Block 1を含む。このうち、Embedding Layer、Task Layerの現在のパラメータは102により訓練されたパラメータであり、Transformer Block 1のパラメータは英語のTransformerモデルにおけるTransformer Block 1のパラメータである。Transformer Block 2とTransformer Block 3のパラメータを変更せず、Embedding Layer、Task Layer、Transformer Block 1を訓練する。中国語の訓練コーパスを使用してEmbedding Layer、Task LayerおよびTransformer Block 1を訓練する過程で、Lossを使用して反復を行い、lossが徐々に収束するか、反復回数が予め設定された閾値に達するまでEmbedding Layer、Task LayerおよびTransformer Block 1のパラメータを徐々に最適化する。

図2に示された(c)段階では、下から上に向かってTransformer Block 2を訓練対象層に加える。このときの訓練対象層はEmbedding Layer、Task Layer、Transformer Block 1、Transformer Block 2を含む。Transformer Block 3のパラメータを変更せず、Embedding Layer、Task Layer、Transformer Block 1、Transformer Block 2を訓練する。中国語の訓練コーパスを使用してEmbedding Layer、Task Layer、Transformer Block 1およびTransformer Block 2を訓練する過程で、lossを使用して反復を行い、lossが徐々に収束するか、反復回数が予め設定された閾値に達するまでEmbedding Layer、Task Layer、Transformer Block 1およびTransformer Block 2のパラメータを徐々に最適化する。

図2に示された(d)段階では、下から上に向かってTransformer Block 3を訓練対象層に加える。このときの訓練対象層はEmbedding Layer、Task Layer、Transformer Block 1、Transformer Block 2、Transformer Block 3を含む。中国語の訓練コーパスを使用してEmbedding Layer、Task Layer、Transformer Block 1、Transformer Block 2、およびTransformer Block 3を訓練する過程で、lossを使用して反復を行い、lossが徐々に収束するか、反復回数が予め設定された閾値に達するまで、Embedding Layer、Task Layer、Transformer Block 1、Transformer Block 2、およびTransformer Block 3のパラメータを徐々に最適化する。

以上の過程からわかるように、実際には各中間層に対して英語の各Transformer Block層を用いてホットスタートを行って中国語の各Transformer Block層を訓練する。また、各中間層については、上記の下から上へ1層ずつ訓練する方式に加えて、中間層数が多ければ、下から上へ2層ずつ訓練したり、逐次より多くの層数を訓練したりすることもできる。

104では、すべての層の訓練が終了した後、第2の言語に対する語義表現モデルが得られる。

図2に示された(d)段階の訓練が完了すると、中国語のTransformerモデルが得られ、訓練済みの英語のTransformerモデルから徐々に転移訓練されて中国語のTransformerモデルが得られることが実現された。

本実施形態では、単一のコーパス、すなわち中国語コーパスを利用して英語のTransformerモデルから転移する方式を用いて中国語のTransformerモデルを訓練する。バイリンガルのパラレルコーパスを使用することができれば、訓練コストをさらに削減し、訓練効果を高めることができる。この場合に、実施形態二に示される方法を用いて訓練を行うことができる。

実施形態二

本実施形態では、実施形態1に加えて、第1の言語を利用して訓練された語義表現モデルを第2の語義表現モデルとしてさらに取得する。ここで、第1の語義表現モデルは、基礎として層毎に転移訓練を行うために用いられ、第2の語義表現モデルは、第2の言語の語義表現モデルを訓練する過程において、第2の語義表現モデルにより出力された第1の言語の結果と第1の語義表現モデルにより出力された結果とをアラインメント処理するために用いられる。

ここで、第1の語義表現モデルの転移訓練を支援するために、前記のアラインメント処理を行うためのアラインメントモデルを追加する必要がある。

図2における(a)段階の訓練を例にすると、図3に示されたように、中英パラレルコーパスのうちの英語訓練コーパスを予め訓練された英語のTransformerモデルに入力し、Task Layer層が出力した英語結果をアラインメントモデルに入力する。これとともに、英語訓練コーパスに対応する中国語訓練コーパスを(a)段階に対応する訓練過程における中国語のTransformerモデルに入力し、Task Layer層が出力した中国語結果もアラインメントモデルに入力する。アラインメントモデルは、訓練中の中国語のTransformerモデルの出力結果を用いて英語のTransformerモデルの出力結果にAttentionメカニズムの処理を行った後に、Attention処理結果をマッピングして中国語訓練コーパスの中のmaskの予測結果を得る。同様に、訓練目標は、maskの予測結果が訓練コーパスの中の期待文字に一致することである。アラインメントモデルの予測結果を用いてLossを構築し、Lossの値を用いて訓練中の中国語のTransformerモデルパラメータ（すなわち訓練対象層のモデルパラメータ）を最適化すると共に、アラインメントモデルのモデルパラメータを最適化する。

アラインメントモデルはAttention処理を行う際に、中国語のTransformerモデルが出力する文字をｘ_ｉで示し、英語のTransformerモデルが出力する文字をｙ_ｉで示すと仮定する。ｘ_ｉとｙ_ｉのドット積をＡ_ｉｊで示し、Ａ_ｉｊを利用してｙ_ｉに対して重み付け処理を行う。

ここで、nは英語のTransformerモデルが出力する文字の総数である。

次にAttention処理で得られた各ｘ_ｉ’構成のベクトルを用いて全連結層（Softmax）のマッピングを行い、中国語の訓練コーパスにおけるmaskの値を予測する。

他の段階の訓練過程は類似しており、同様に英語のTransformerモデルの出力結果を用いてアラインメント処理を行い、ここでは詳しく説明しない。

例えば、「英語:I ate an apple、中国語:我吃了个［mask］（私はリンゴを［mask］）」というパラレルコーパスを仮定する。ここで、maskの期待文字は「吃（食べる）」である。

図4に示されたように、中国語コーパスおよび各文字の位置ラベル（図中に「私」の位置ラベルは「0」、「mask」の位置ラベルは1、以下同様）を訓練中の中国語Transformerモデルに入力する。パラレル英語コーパスおよび各文字の位置ラベル（図中に「I」の位置ラベルは0、「ate」の位置ラベルは1、以下同様）を訓練された英語Transformerモデルに入力する。英語Transformerモデルが出力した各英語の文字および中国語Transformerモデルが出力した各中国語の文字はアラインメントモデルに出力され、アラインメントモデルは中国語Transformerモデルの出力結果を用いて英語Transformerモデルの出力結果をAttentionした後、Attentionで得られた結果をSoftmaxマッピングして中国語予測の各中国語の文字を得る。この中国語予測の文字と中国語コーパスの所望の文字とを用いてlossを特定した後に、層ごとに訓練された中国語Transformerにおける訓練対象層のモデルパラメータを更新し、アラインメントモデルのモデルパラメータを更新する。

なお、上記実施形態二では、バイリンガルパラレルコーパスを用いれば、採用された訓練データにマスクを行わなくてもよい。たとえば、「英語:I ate an apple、中国語: 我吃了个苹果（私はリンゴを食べた）」というパラレルコーパスを仮定する。

アラインメントモデルがAttention処理を行う過程は実施形態二で述べた過程と同じであり、Softmaxを経た後、同様に中国語訓練コーパスにおける各文字を予測した。この中国語予測の文字と中国語コーパスの所望の文字とを用いてlossを特定した後に、層ごとに訓練された中国語Transformerにおける訓練対象層のモデルパラメータを更新し、アラインメントモデルのモデルパラメータを更新する。

実施形態二により提供された方式により、バイリンガルパラレルコーパスを十分に利用し、高リソース言語のコーパスを十分に利用し、訓練コストをさらに低減し、低リソース言語の語義表現モデルの訓練効果を更に向上させた。

以上は、本出願により提供された方法の詳細な説明であり、以下は、実施形態と合わせて本出願により提供される装置を詳しく説明する。

実施形態三

図5は、本発明の実施形態三により提供される語義表現モデルの訓練装置の構成図である。図5に示されたように、当該装置は、第1の取得部01および訓練部02を備え、さらに第2の取得部03を備えてもよい。これらの各構成ユニットの主な機能は次のとおりである。

第1の取得部01は、第1の言語により訓練された語義表現モデルを第1の語義表現モデルとして取得する。

訓練部02は、第1の語義表現モデルの最下位層及び最上位層を訓練対象層として訓練対象層を初期化し、他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第2の言語の訓練コーパスを用いて訓練対象層を訓練し、未訓練の各層を下から順に訓練対象層に加えてそれぞれ実行し、訓練対象層以外の他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第2の言語の訓練コーパスを用いて訓練対象層をそれぞれ訓練し、すべての層の訓練が終了した後、第2の言語に対する語義表現モデルを得る。

ここで、最下位層は埋め込みEmbedding層、最上位層は全連結層である。語義表現モデルは、CNN、RNN、Transformerモデルなどであって良い。

第2の言語の訓練コーパスは、第2の言語を用いたマスクmask付きテキスト及びmaskに対応する文字を含む。

訓練部02は、第1の語義表現モデルの各層を訓練する際に、最上位層によるmaskの予測結果が訓練コーパスの中のmaskに対応する文字に一致することを訓練目標とする。

訓練目標は、訓練対象層を訓練するたびに、最上位層によるmaskの予測結果が期待に一致することである。つまり、この訓練目標に基づいて損失関数を構築し、損失関数の値を用いて訓練対象層のモデルパラメータを最適化することができる。各訓練層に対する訓練終了条件は、Lossが徐々に収束しているか、反復回数が予め設定された閾値に達しているかなどであってよい。

幾つかのバイリンガルのパラレルコーパスを使用することができれば、訓練コストをさらに削減し、訓練効果を高めることができる。このとき、第2の取得部03は、第1の言語により訓練された語義表現モデルを第2の語義表現モデルとして取得する。

訓練部02は、第2の言語の訓練コーパスを用いて訓練対象層を訓練する際に、第2の言語の訓練コーパスに対応する第1の言語のパラレルコーパスを第2の語義表現モデルに入力し、第2の語義表現モデルの出力結果と第1の語義表現モデルの出力結果とをアラインメントする。

具体的には、訓練部02は、第2の語義表現モデルの出力結果と第1の語義表現モデルの出力結果とをアラインメントする場合に、第1の語義表現モデルの出力結果と第2の語義表現モデルの出力結果をアラインメントモデルに入力し、アラインメントモデルにより第1の語義表現モデルの出力結果を用いて第2の語義表現モデルの出力結果に対してアテンションメカニズムの処理を行い、アテンションメカニズムの処理結果をマッピングして、第2の言語の訓練コーパスにおける文字の予測結果を得ることを具体的に実行することができる。

パラレルコーパスにおける第2の言語の訓練コーパスに第2の言語を用いたmask付きテキスト及び前記maskに対応する文字が含まれる場合に、訓練目標は、第2の言語の訓練コーパスにおけるmaskのコーパス結果が訓練コーパスにおけるmaskに対応する文字に一致することである。

パラレルコーパスにおける第2の言語の訓練コーパスが第2の言語のmaskなしテキストである場合に、訓練目標は、前記第2の言語の訓練コーパスにおける各文字の予測結果が前記訓練コーパスにおける各文字に一致することである。

本発明の実施形態によれば、本発明は更に電子デバイスおよび可読記憶媒体を提供する。

図6は、本出願の実施形態による語義表現モデルの訓練方法の電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、PDA、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、PDA、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本出願の実現を限定することが意図されない。

図6に示すように、この電子デバイスは、一つ又は複数のプロセッサ601、メモリ602、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力/出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図6において、一つのプロセッサ601を例とする。

メモリ602は、本出願で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本願に提供された語義表現モデルの訓練方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本出願の非一時的コンピュータ可読記憶媒体は、本願に提供された語義表現モデルの訓練方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

メモリ602は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本出願の実施例における語義表現モデルの訓練方法に対応するプログラムコマンド/モジュールを記憶するために用いられる。プロセッサ601は、メモリ602に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例における語義表現モデルの訓練方法を実現する。

メモリ602は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域は当該電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ602は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ602は、プロセッサ601に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して当該電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

当該電子デバイスは、更に、入力装置603と出力装置604とを備えても良い。プロセッサ601、メモリ602、入力装置603及び出力装置604は、バス又は他の手段により接続されても良く、図6においてバスによる接続を例とする。

入力装置603は、入力された数字又はキャラクタ情報を受信し、電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置604は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス）を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

前記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本出願の保護範囲内に含まれるべきである。

Claims

コンピュータにより実行される、セマンティックデータモデル（ＳｅｍａｎｔｉｃｄａｔａＭｏｄｅｌ）の訓練方法であって、前記セマンティックデータモデルは、ＥｍｂｅｄｄｉｎｇＬａｙｅｒを最下位層として、ＴａｓｋＬａｙｅｒを最上位層として、ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋを他の層として含むニューラルネットワークであり、
前記セマンティックデータモデルの訓練方法は、
第１の言語により訓練されたセマンティックデータモデルを第１のセマンティックデータモデルとして取得し、
前記第１のセマンティックデータモデルの最下位層と最上位層を訓練対象層として訓練対象層を初期化し、他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第２の言語の訓練コーパスを用いて訓練対象層を訓練し、
未訓練の各層を下から順に訓練対象層に加え、且つ、訓練対象層以外の他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第２の言語の訓練コーパスを用いて訓練対象層をそれぞれ訓練することをそれぞれ実行し、
すべての層の訓練が終了した後、第２の言語に対するセマンティックデータモデルを得、
第１の言語により訓練された前記セマンティックデータモデルを第２のセマンティックデータモデルとして取得し、
前記第２の言語の訓練コーパスを用いて訓練対象層を訓練する場合に、前記第２の言語の訓練コーパスに対応する第１の言語のパラレルコーパスを前記第２のセマンティックデータモデルに入力し、
前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とをアラインメントすること、を含み、
前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とをアラインメントすることは、
前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とにより、第２の言語の訓練コーパスにおける文字に対する予測結果が得られ、第２の言語の訓練コーパスにおける文字に対する予測結果が対応する第２の言語の訓練コーパスにおける期待文字に一致するように、訓練対象層のモデルパラメータを更新することを含む、
方法。
前記セマンティックデータモデルはＴｒａｎｓｆｏｒｍｅｒモデルを含む、請求項１に記載の方法。
前記第２の言語の訓練コーパスは、第２の言語を用いたマスク（ｍａｓｋ）付きテキストおよび前記ｍａｓｋに対応する文字を含み、
第１のセマンティックデータモデルの各層を訓練する場合に、前記最上位層によるｍａｓｋの予測結果が前記訓練コーパスにおけるｍａｓｋに対応する文字に一致することを訓練目標とする、請求項１または２に記載の方法。
前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とをアラインメントすることは、
前記第１のセマンティックデータモデルの出力結果と前記第２のセマンティックデータモデルの出力結果とをアラインメントモデルに入力し、
前記アラインメントモデルにより、第１のセマンティックデータモデルの出力結果における文字のベクトル表示と第２のセマンティックデータモデルの出力結果における文字のベクトル表示とのドット積を利用して、第２のセマンティックデータモデルの出力結果における文字のベクトル表示に対して重み付け処理を行い、新たなベクトル表示を得、前記新たなベクトル表示を用いて全連結層（Ｓｏｆｔｍａｘ）のマッピングを行い、第２の言語の訓練コーパスにおける文字の予測結果を得る、
ことを含む請求項１又は２に記載の方法。
前記第２の言語の訓練コーパスに第２の言語を用いたマスク（ｍａｓｋ）付きテキストおよび前記ｍａｓｋに対応する文字が含まれている場合に、訓練目標は、前記第２の言語の訓練コーパスにおけるｍａｓｋの予測結果が前記訓練コーパスにおけるｍａｓｋに対応する文字に一致することであり、
前記第２の言語の訓練コーパスが第２の言語のｍａｓｋなしテキストである場合に、訓練目標は、前記第２の言語の訓練コーパスにおける各文字の予測結果が前記訓練コーパスにおける各文字に一致することである、
請求項４に記載の方法。
セマンティックデータモデル（ＳｅｍａｎｔｉｃｄａｔａＭｏｄｅｌ）の訓練装置であって、前記セマンティックデータモデルは、ＥｍｂｅｄｄｉｎｇＬａｙｅｒを最下位層として、ＴａｓｋＬａｙｅｒを最上位層として、ＴｒａｎｓｆｏｒｍｅｒＢｌｏｃｋを他の層として含むニューラルネットワークであり、
前記セマンティックデータモデルの訓練装置は、
第１の言語により訓練されたセマンティックデータモデルを第１のセマンティックデータモデルとして取得する第１の取得部と、
前記第１のセマンティックデータモデルの最下位層及び最上位層を訓練対象層として訓練対象層を初期化し、他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第２の言語の訓練コーパスを用いて訓練対象層を訓練し、未訓練の各層を下から順に訓練対象層に加え、且つ、訓練対象層以外の他の層のモデルパラメータを変更せず、訓練終了条件に達するまで第２の言語の訓練コーパスを用いて訓練対象層をそれぞれ訓練することをそれぞれ実行し、すべての層の訓練が終了した後、第２の言語に対するセマンティックデータモデルを得る訓練部と、
第１の言語により訓練された前記セマンティックデータモデルを第２のセマンティックデータモデルとして取得する第２の取得部と、を備え、
前記訓練部は、前記第２の言語の訓練コーパスを用いて訓練対象層を訓練する場合に、前記第２の言語の訓練コーパスに対応する第１の言語のパラレルコーパスを前記第２のセマンティックデータモデルに入力し、前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とをアラインメントし、
前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とをアラインメントすることは、
前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とにより、第２の言語の訓練コーパスにおける文字に対する予測結果が得られ、第２の言語の訓練コーパスにおける文字に対する予測結果が対応する第２の言語の訓練コーパスにおける期待文字に一致するように、訓練対象層のモデルパラメータを更新することを含む、
装置。
前記セマンティックデータモデルはＴｒａｎｓｆｏｒｍｅｒモデルを含む、請求項６に記載の装置。
前記第２の言語の訓練コーパスは、第２の言語を用いたマスク（ｍａｓｋ）付きテキスト及び前記ｍａｓｋに対応する文字を含み、
前記訓練部は、第１のセマンティックデータモデルの各層を訓練する場合に、前記最上位層によるｍａｓｋの予測結果が前記訓練コーパスにおけるｍａｓｋに対応する文字に一致することを訓練目標とする、請求項６または７に記載の装置。
前記訓練部は、前記第２のセマンティックデータモデルの出力結果と前記第１のセマンティックデータモデルの出力結果とをアラインメントする場合に、具体的に、
前記第１のセマンティックデータモデルの出力結果と前記第２のセマンティックデータモデルの出力結果とをアラインメントモデルに入力し、
前記アラインメントモデルにより、第１のセマンティックデータモデルの出力結果における文字のベクトル表示と第２のセマンティックデータモデルの出力結果における文字のベクトル表示とのドット積を利用して、第２のセマンティックデータモデルの出力結果における文字のベクトル表示に対して重み付け処理を行い、新たなベクトル表示を得、前記新たなベクトル表示を用いて全連結層（Ｓｏｆｔｍａｘ）のマッピングを行い、第２の言語の訓練コーパスにおける文字の予測結果を得る、
請求項８に記載の装置。
前記第２の言語の訓練コーパスに前記第２の言語を用いたマスク（ｍａｓｋ）付きテキストおよび前記ｍａｓｋに対応する文字が含まれている場合に、訓練目標は、前記第２の言語の訓練コーパスにおけるｍａｓｋの予測結果が前記訓練コーパスにおけるｍａｓｋに対応する文字に一致することであり、
前記第２の言語の訓練コーパスが第２の言語のｍａｓｋなしテキストである場合に、訓練目標は、前記第２の言語の訓練コーパスにおける各文字の予測結果が前記訓練コーパスにおける各文字に一致することである、
請求項８に記載の装置。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリと、を備え、
前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～５のいずれか一項に記載の方法を実行させる電子デバイス。
コンピュータに請求項１～５のいずれか一項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体。
コンピュータに請求項１～５のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。