JP7121106B2 - 構文線形性に基づく言語変換方法および装置 - Google Patents

Description

本出願は、コンピュータ技術分野に関し、特に自然言語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）技術分野に関し、より具体的には、構文線形性に基づく言語変換方法および装置に関する。

現在の翻訳モデルでは、翻訳結果の精度を向上させるために、通常、翻訳のプロセスにおいて複数の翻訳結果を生成し、次に各翻訳結果に対応するアラインメント情報に基づいて、複数の翻訳結果からアラインメント情報が前方対角線に最も近い結果を選別して、最終的な翻訳結果として出力する。

しかしながら、翻訳モデルのトレーニングコーパスは、ほとんどが倒置構文を含む翻訳データであるため、翻訳候補を拡大することによって得られた翻訳結果であっても、倒置、受動態などの文が現れると、通常は倒置の方式で翻訳を実行するため、文の翻訳遅延を引き起こすのみならず、非構文線形性の翻訳となるため、ユーザ体験に影響を与える。

本出願は、関連技術において翻訳モデルにおける翻訳遅延および非構文線形性翻訳の課題を解決するために、構文線形性に基づく言語変換方法および装置を提供する。

本出願の第１の態様の実施例は、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、前記ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定するステップと、予め設定されたルールに基づいて、前記エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定するステップと、現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定するステップと、予め設定されたデコーダを用いて、前記第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、前記第１のソースキャラクタに対応する目標キャラクタを生成するステップと、を含む構文線形性に基づく言語変換方法を提供する。

本出願の実施例に係る構文線形性に基づく言語変換方法は、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定し、予め設定されたルールに基づいて、エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定し、現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定し、その後、予め設定されたデコーダを用いて、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、第１のソースキャラクタに対応する目標キャラクタを生成する。これにより、デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御し、翻訳結果には前方対角線のアラインメント情報を有することを確保することができ、構文線形性翻訳結果を達成し、翻訳遅延を低減することができる。

本出願の第２の態様の実施例は、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、前記ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定するように構成される第１の決定モジュールと、予め設定されたルールに基づいて、前記エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定するように構成される第２の決定モジュールと、現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定するように構成される第３の決定モジュールと、予め設定されたデコーダを用いて、前記第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、前記第１のソースキャラクタに対応する目標キャラクタを生成するように構成される生成モジュールと、を含む構文線形性に基づく言語変換装置を提供する。

本出願の実施例に係る構文線形性に基づく言語変換装置は、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定し、予め設定されたルールに基づいて、エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定し、現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定し、その後、予め設定されたデコーダを用いて、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、第１のソースキャラクタに対応する目標キャラクタを生成する。これにより、デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御し、翻訳結果には前方対角線のアラインメント情報を有することを確保することができ、構文線形性翻訳結果を達成し、翻訳遅延を低減することができる。

本出願の第３の態様の実施例は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサが上記第１の態様の実施例に記載の構文線形性に基づく言語変換方法を実行可能である電子機器を提供する。

本出願の第４の態様の実施例は、コンピュータ命令を格納する非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令が実行される場合、前記コンピュータに上記第１の態様の実施例に記載の構文線形性に基づく言語変換方法を実行させる非一時的コンピュータ読み取り可能な記憶媒体を提供する。
本開示の第５の態様の実施例は、コンピュータプログラムであって、前記コンピュータプログラムが実行される場合、前記コンピュータに上記第１の態様の実施例に記載の構文線形性に基づく言語変換方法を実行させるコンピュータプログラムを提供する。

上記の実施例は、以下の有益な効果を奏する。上記の実施例は、デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御し、翻訳結果には前方対角線のアラインメント情報を有することを確保し、構文線形性の翻訳結果を達成し、翻訳遅延を低減することができる。デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御するという技術的手段が用いられるため、関連技術において翻訳モデルにおける翻訳遅延および非構文線形性翻訳の課題を解決し、構文線形性翻訳結果を達成し、翻訳遅延を低減することができるという技術的効果を奏する。

上記選択可能な形態が奏する他の効果について、具体的な実施例と組み合わせて以下に説明する。

図面は本技術案をよりよく理解するために用いられるものであり、本出願を限定するものではない。

本出願の実施例に係る構文線形性に基づく言語変換方法のフローチャートである。 本出願の実施例に係る他の構文線形性に基づく言語変換方法のフローチャートである。 本出願の実施例に係る他の構文線形性に基づく言語変換方法のフローチャートである。 本出願の実施例に係る他の構文線形性に基づく言語変換方法のフローチャートである。 本出願の実施例に係る構文線形性に基づく言語変換装置の概略構成図である。 本出願の実施例に係る構文線形性に基づく言語変換方法に係る電子機器のブロック図である。

以下、図面を参照しながら本出願の例示的な実施例を説明する。理解を促すために本出願の実施例の様々な詳細が含まれているが、これらの詳細は単なる例示であると考慮すべきである。従って、当業者であれば、本出願の範囲および趣旨から逸脱しない限り、ここで説明された実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確且つ簡潔のために、以下の説明では、公知の機能および構造についての説明は省略される。

次に、図面を参照しながら、本出願の実施例に係る構文線形性に基づく言語変換方法および装置を説明する。

一部の適用シーンでは、同時翻訳のような構文線形性翻訳を実行する必要があり、同時翻訳は、ソース言語を高品質且つ低遅延で目標言語のセンテンスに翻訳することを目的としており、構文線形性、即ちソース言語の単語順および語順に従って翻訳することはその基本的な原則である。しかしながら、現在の機械翻訳では構文線形性翻訳結果を保証することができない。

本出願の実施例では、関連技術において倒置、受動態などの文が存在する場合に、翻訳モデルは、通常、倒置の方式で翻訳するため、文の翻訳遅延を引き起こすだけではなく、非構文線形性翻訳の問題があるため、構文線形性に基づく言語変換方法を提供している。

本出願の実施例に係る構文線形性に基づく言語変換方法は、デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御している。このため、翻訳結果には前方対角線のアラインメント情報を有することを確保することができ、構文線形性翻訳結果を達成し、翻訳遅延を低減することができる。

図１は、本出願の実施例に係る構文線形性に基づく言語変換方法のフローチャートである。

本出願の実施例に係る構文線形性に基づく言語変換方法は、本出願の実施例に係る構文線形性に基づく言語変換装置によって実行可能である。該装置は、構文線形性翻訳を実現するように、電子機器内に配置することができる。

図１に示すように、該構文線形性に基づく言語変換方法は、以下のステップ１０１～ステップ１０４を含む。

ステップ１０１において、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定する。

本実施例において、予め設定されたエンコーダはマルチヘッドアテンション層およびフィードフォワードリバースネットワークを含んでもよく、マルチヘッドアテンション層およびフィードフォワードリバースネットワークを用いてソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを得る。

第１のベクトルがキーベクトル、第２のベクトルが値ベクトルであってもよいし、第１のベクトルが値ベクトル、第２のベクトルがキーベクトルであってもよい。

ステップ１０２において、予め設定されたルールに基づいて、エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定する。

本実施例において、ソースキャラクタを翻訳するたびに、現在の翻訳対象ソースキャラクタに対応するマスクベクトルを決定し、マスクベクトルを用いてエンコーダによって出力された第１のベクトルおよび第２のベクトルを修正することによって、翻訳モデル内のアテンションを制御する。

マスクベクトルの長さは、ソースセンテンス内のキャラクタの数と同じである。

例えば、長さＬのマスクベクトルは［－ｃ，－ｃ，…，－ｃ、０，０，…，０，－ｃ，－ｃ，…，－ｃ］として表される。ｃが整数であり、Ｃの値は予め設定された経験値である。以上から分かるように、該マスクベクトルは３つの部分を含み、第１の部分は、要素０より前のＬ_１個の要素－ｃであり、第２の部分は、連続するＬ_２個の要素０であり、第３の部分は、Ｌ_３個の要素－ｃである。翻訳目標キャラクタの位置が異なる場合、Ｌ_１、Ｌ_２、Ｌ_３の値は変更可能である。

ステップ１０３において、第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定する。

第１のソースキャラクタは、現在の翻訳対象ソースキャラクタである。

翻訳時に、翻訳効果を向上させるために、すでに翻訳された目標言語のキャラクタに基づいて、次のキャラクタを翻訳することができる。本実施例では、第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに対してベクトル表示を行って、第３のベクトルを取得することができる。即ち、ソースセンテンスを翻訳することによって得られた目標言語のキャラクタに基づいて、第３のベクトルを決定する。

具体的には、翻訳して得られた各目標言語のキャラクタに対してベクトルマッピングを行って単語ベクトルを取得し、その後、すべての単語ベクトルを統合して、第３のベクトルを得る。

ステップ１０４において、予め設定されたデコーダを用いて、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、第１のソースキャラクタに対応する目標キャラクタを生成する。

本実施例では、予め設定されたデコーダは、マルチヘッドアテンション層を含んでもよく、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルをマルチヘッドアテンション層の入力として、デコーダを用いて復号して、第１のソースキャラクタに対応する目標言語の目標キャラクタが得られる。即ち、ソース言語の第１のソースキャラクタを目標言語の目標キャラクタに変換する。これにより、アテンションにマスクベクトルを追加することによって、翻訳モデルのアテンションを制御することができるため、翻訳結果には前方対角線のアラインメント情報を有することを確保することができ、構文線形性翻訳結果が得られる。

本実施例において、マスクベクトルは、エンコーダによって出力されたベクトルの修正に用いられ、翻訳のプロセスにおいて、マスクベクトルを用いて、ソースセンテンスの現在の翻訳対象ソースキャラクタより後のキャラクタを遮蔽することで、倒置の翻訳が回避される。このため、翻訳モデルは、ソースセンテンスの言語の単語順および語順に従って翻訳し、構文線形性翻訳を得ることができる。

本出願の実施例に係る構文線形性に基づく言語変換方法は、デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御する。翻訳結果には前方対角線のアラインメント情報を有することを確保することができ、構文線形性翻訳結果を達成し、翻訳遅延を低減することができる。

本出願の一実施例において、現在のマスクベクトルを決定する上記ステップは、各値要素の数に対応する異なる位置のソースキャラクタを予め規定することができるため、第１のソースキャラクタのソースセンテンスにおける位置およびソースセンテンスに含まれるキャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数が決定される。

具体的には、ソースセンテンスに含まれるキャラクタの数に基づいて、現在のマスクベクトルの長さを決定することができ、予め規定された異なる位置のソースキャラクタと、マスクベクトル内の各値要素の数との対応関係に基づいて、第１のソースキャラクタの位置に対応するマスクベクトル内の各値要素の数を決定し、マスクベクトル内の各値要素の数に基づいて、現在のマスクベクトルを決定することができる。

例えば、ソースセンテンスがＬ個のキャラクタを含む場合、マスクベクトルの長さはＬであり、マスクベクトルは［－ｃ，－ｃ，…，－ｃ、０，０，…，０，－ｃ，－ｃ，…，－ｃ］として表され、該マスクベクトルにおいて、要素０より前の－ｃの数Ｌ_１はであり、連続する要素０の数はＬ_２であり、要素０より後の－ｃの数はＬ_３であり、Ｌ_１＋Ｌ_２＋Ｌ_３＝Ｌ。これにより、予め規定された異なる位置のソースキャラクタに対応するＬ_１、Ｌ_２、Ｌ_３の値に基づいて、翻訳対象ソースキャラクタの位置に対応するＬ_１、Ｌ_２、Ｌ_３の値が決定され、従って、Ｌ_１、Ｌ_２、Ｌ_３の値に基づいて翻訳対象ソースキャラクタに対応するマスクベクトルが決定される。

即ち、異なるＬ_１、Ｌ_２、Ｌ_３などの値に対応するように、異なる位置のソースキャラクタを直接規定することができ、つまり、Ｌ_１、Ｌ_２、Ｌ_３の値は直接規定されたものであり、第１のソースキャラクタの位置に基づいてＬ_１、Ｌ_２、Ｌ_３の値を得ることができるため、計算量を削減することができる。

なお、上記マスクベクトルがＬ_１、Ｌ_２、Ｌ_３の３つの部分を含むことは単なる例示に過ぎず、本出願の実施例を制限するものと見なすべきではない。

本出願の実施例において、第１のソースキャラクタのソースセンテンスにおける位置およびソースセンテンスに含まれるキャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定し、各値要素の数に基づいて、マスクベクトルを決定する。

本出願の一実施例において、マスクベクトル内の各値要素の数は、翻訳によって生成された目標キャラクタの数に応じて動的に更新することもできる。

具体的には、第１のソースキャラクタのソースセンテンスにおける位置、ソースセンテンスに含まれるキャラクタの数および生成された目標言語キャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定する。

例えば、マスクベクトルは［－ｃ，－ｃ，…，－ｃ、０，０，…，０，－ｃ，－ｃ，…，－ｃ］として表され、該マスクベクトルにおいて、要素０より前の－ｃの数はＬ_１、連続する要素０の数はＬ_２、要素０より後の－ｃの数はＬ_３である。Ｌ_１、Ｌ_２、Ｌ_３の値は、以下の方法によって決定される。
ソースセンテンスの始まり：Ｌ_１＝０、Ｌ_２＝４＋ｌｅｎｇｔｈ（ｄｅｃ）、Ｌ_３＝ｌｅｎｇｔｈ（ｓｏｕｒｃｅ）、
ソースセンテンスの途中：Ｌ_１＝ｌｅｎｇｔｈ（ｄｅｃ）－５、Ｌ_２＝７、Ｌ_３＝ｌｅｎｇｔｈ（ｓｏｕｒｃｅ）－Ｌ_１－Ｌ_２、
ソースセンテンスの終わり：Ｌ_１＝ｌｅｎｇｔｈ（ｓｏｕｒｃｅ）－５、Ｌ_２＝５、Ｌ_３＝０。
ここで、ｌｅｎｇｔｈ（ｓｏｕｒｃｅ）は、ソースセンテンスに含まれるキャラクタの数を示し、ｌｅｎｇｔｈ（ｄｅｃ）は、生成された目標言語キャラクタの数を示す。以上から分かるように、第１のキャラクタのソースセンテンスにおける位置、例えば、ソースセンテンスの始まり、途中、終わりに基づいて、対応するＬ_１、Ｌ_２、Ｌ_３の値を取得する方式が決定され、具体的な値は、ソースセンテンスに含まれるキャラクタの数、および生成された目標言語キャラクタの数によって決定される。

なお、上記はＬ_１、Ｌ_２、Ｌ_３を決定する１つの方法に過ぎず、必要に応じてＬ_１、Ｌ_２、Ｌ_３の計算方法を調整してもよい。

本出願の実施例において、現在のマスクベクトルを決定する際に、第１のソースキャラクタのソースセンテンスにおける位置、ソースセンテンスに含まれるキャラクタの数および生成された目標言語キャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定することができるため、復号のプロセスにおいて、生成された目標言語キャラクタの数に基づいてマスクベクトルを決定することによって、マスクベクトルは、復号の進行とともに動的に変化することができ、マスクベクトルの精度が向上する。

構文線形性翻訳結果の精度を向上させるために、本出願の一実施例において、複数のマスクベクトルを取得することができ、複数のマスクベクトルに基づいて複数の翻訳結果を取得し、その中から最終的な翻訳結果を選択する。以下、図２を参照しながら説明する。図２は、本出願の実施例に係る他の構文線形性に基づく言語変換方法のフローチャートである。

図２に示すように、該構文線形性に基づく言語変換方法は、以下のステップ２０１～ステップ２０５を含む。

ステップ２０１において、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定する。

本実施例において、ステップ２０１は、上記ステップ１０１と同様であるため、ここでは説明を省略する。

ステップ２０２において、予め設定されたルールに基づいて、現在の少なくとも２セットのマスクベクトルを決定する。

本実施例において、２つ以上の方式によって、マスクベクトル内の各値要素の数を決定して、２セット以上のマスクベクトルを得ることができる。

例えば、異なる位置のソースキャラクタが異なる各値要素の数に対応するという予め規定された方式に基づいて、１セットのマスクベクトルを決定し、第１のソースキャラクタのソースセンテンスにおける位置およびソースセンテンスに含まれるキャラクタの数に基づいて、他の１セットのマスクベクトルを決定することによって、２セットのマスクベクトルを得る。

ステップ２０３において、第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定する。

本実施例において、ステップ２０３は、上記ステップ１０３と同様であるため、ここでは説明を省略する。

ステップ２０４において、予め設定されたデコーダを用いて、少なくとも２セットのマスクベクトルをそれぞれ第１のベクトル、第２のベクトル、および第３のベクトルとともに復号して、第１のソースキャラクタに対応する少なくとも２つの目標言語キャラクタ候補を生成する。

本実施例において、少なくとも２セットのマスクベクトルが得られており、予め設定されたデコーダを用いて、各セットのマスクベクトルを第１のベクトル、第２のベクトル、および第３のベクトルとともに復号して、対応する目標言語キャラクタ候補を生成する。これにより、少なくとも２セットのマスクベクトルに基づいて、対応する少なくとも２つの目標言語キャラクタ候補を生成することができる。

ステップ２０５において、少なくとも２つの目標言語キャラクタ候補からアテンション値が最も高いキャラクタを選択して、第１のソースキャラクタに対応する目標キャラクタとする。

上記では少なくとも２つの目標言語キャラクタ候補が得られたため、その中から最終的なキャラクタを第１のキャラクタに対応する翻訳結果として選択する必要がある。

目標言語のキャラクタに対応するアテンション値が高いほど、翻訳対象ソースキャラクタと目標言語のキャラクタとのアライメントの度合いが良好であることを表し、構文線形性翻訳である可能性が高い。そのため、本実施例において、少なくとも２つの目標言語キャラクタ候補からアテンション値が最も高いキャラクタを選択して、第１のソースキャラクタに対応する目標キャラクタとすることができる。

具体的には、Ａｔｔｅｎｔｉｏｎ（ｑ，ｋ，ｖ）＝ｓｏｆｔ ｍａｘ（（ｋｑ^Ｔ＋ｍａｓｋ）／√ｄ）ｖの式によってテンション値を算出することができる。
ここで、Ａｔｔｅｎｔｉｏｎ（ｑ，ｋ，ｖ）はアテンション値であり、ｋはキーベクトルを表し、ｖは値ベクトルを表し、ｑは生成された目標言語キャラクタのベクトル、即ち第３のベクトルを表し、ｍａｓｋはマスクベクトルを表し、ｄは翻訳モデルの隠れ層の次元を表す。ｋが第１のベクトルを表す場合、ｖは第２のベクトルである。

本出願の実施例に係る構文線形性に基づく言語変換方法は、少なくとも２セットのマスクベクトルを決定し、前記少なくとも２セットのマスクベクトルをそれぞれ第１のベクトル、第２のベクトル、および第３のベクトルとともに復号して、第１のソースキャラクタに対応する少なくとも２つの目標言語キャラクタ候補を生成し、アテンション値に基づいて、少なくとも２つの目標言語キャラクタ候補から、アテンション値が最も高いキャラクタを選択して、前記第１のソースキャラクタに対応する目標キャラクタとする。これにより、複数セットのマスクベクトルによって生成された複数の目標言語キャラクタ候補から、翻訳対象ソースキャラクタのアライメントの度合いが最も良好であるキャラクタを選択して目標キャラクタとすることができ、構文線形性翻訳の精度が向上する。

本出願の一実施例において、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを予め設定されたデコーダに入力して復号する場合には、図３に示す方式で実現することができる。図３は、本出願の実施例に係る他の構文線形性に基づく言語変換方法のフローチャートである。

図３に示すように、予め設定されたデコーダを用いて、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号し、第１のソースキャラクタに対応する目標キャラクタを生成する上記ステップは、以下のステップ３０１～ステップ３０４を含む。

ステップ３０１において、第１のベクトルと第３のベクトルの転置ベクトルとのクロス積を求めて、クロス積ベクトルを生成する。

本実施例において、まず、第３のベクトルを転置して第３のベクトルの転置ベクトルを得た後、第１のベクトルと第３のベクトルの転置ベクトルとのクロス積を求め、クロス積を求めて得られたベクトルは、クロス積ベクトルという。クロス積ベクトルとマスクベクトルとの次元は同じである。

ステップ３０２において、マスクベクトルとクロス積ベクトルとを加算して、第４のベクトルを生成する。

クロス積ベクトルが得られた後、マスクベクトルとクロス積ベクトルとを加算し、即ち２つのベクトル内の対応する位置の要素を加算して、第４のベクトルを得る。

ステップ３０３において、第４のベクトルおよび第２のベクトルに対してマルチヘッドアテンション計算を行って、第１のソースキャラクタに対応するアテンション値を生成する。

第４のベクトルが得られた後、第４のベクトル、第２のベクトルおよびモデルの隠れ層の次元に基づいて、第１のソースキャラクタに対応するアテンション値を算出することができる。

具体的には、Ａｔｔｅｎｔｉｏｎ（ｑ，ｋ，ｖ）＝ｓｏｆｔ ｍａｘ（（ｋｑ^Ｔ＋ｍａｓｋ）／√ｄ）ｖという上記の式によって計算することができる。ｋはアテンション値であり、ｖは第１のベクトルを表し、ｑは第２のベクトルを表し、ｑは第３のベクトルを表し、ｍａｓｋはマスクベクトルを表し、ｄは翻訳モデルの隠れ層の次元を表す。

ステップ３０４において、アテンション値を復号して、第１のソースキャラクタに対応する目標キャラクタを決定する。

アテンション値が得られた後、アテンション値を復号し、復号して得られたキャラクタを第１のソースキャラクタに対応する目標キャラクタとする。具体的には、従来の復号方法を用いても良く、ここでは説明を省略する。

本出願の実施例に係る構文線形性に基づく言語変換方法は、マスクベクトルを用いて、エンコーダによって出力されたベクトルを修正し、アテンション計算にマスクベクトルを導入し、マスクベクトルを利用してソースセンテンス内の現在の翻訳対象ソースキャラクタより後のキャラクタを遮蔽することによって、デコーダが、現在の翻訳対象ソースキャラクタより前のキャラクタおよび生成された目標言語のキャラクタに基づいて、現在の翻訳対象ソースキャラクタに対応する目標言語キャラクタを生成することができ、構文線形性翻訳結果が得られるとともに、翻訳遅延が低減される。

本出願の一実施例では、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定する場合、図４の方法によって第１のベクトルおよび第２のベクトルを取得することができる。図４は、本出願の実施例に係る他の構文線形性に基づく言語変換方法のフローチャートである。

図４に示すように、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定する上記ステップは、以下ステップ４０１とステップ４０２とを含む。

ステップ４０１において、変換対象ソースセンテンスに対してベクトルマッピングを行って、ソースセンテンスに対応するソースベクトルを決定する。

本実施例では、変換対象ソースセンテンスに対してベクトルマッピングを行って、ソースセンテンスに対応する単語ベクトルおよび位置ベクトルを得た後、単語ベクトルと位置ベクトルとを加算して、ソースセンテンスに対応するソースベクトルを得る。

ステップ４０２において、ソースベクトルに対してマルチヘッドアテンション計算および線形変換処理を行って、ソースベクトルに対応する第１のベクトルおよび第２のベクトルを生成する。

ソースセンテンスに対応するソースベクトルが得られた後、ソースベクトルに対してマルチヘッドアテンション計算を行って１つのベクトルが得られてから、該ベクトルに対してそれぞれ異なるパラメータの線形変換を行い、ソースベクトルに対応する第１のベクトルおよび第２のベクトルを生成する。

本出願の実施例において、変換対象ソースセンテンスに対してベクトルマッピングを行って、ソースセンテンスに対応するソースベクトルを決定し、ソースベクトルに対してマルチヘッドアテンション計算および線形変換処理を行って、ソースベクトルに対応する第１のベクトルおよび第２のベクトルを生成することによって、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを得ることができる。

上記実施例を実現するために、本出願の実施例は構文線形性に基づく言語変換装置をさらに提供する。図５は、本出願の実施例に係る構文線形性に基づく言語変換装置の概略構成図である。

図５に示すように、該構文線形性に基づく言語変換装置５００は、第１の決定モジュール５１０、第２の決定モジュール５２０、第３の決定モジュール５３０、および生成モジュール５４０を含む。

第１の決定モジュール５１０は、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定するように構成される。

第２の決定モジュール５２０は、予め設定されたルールに基づいて、エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定するように構成される。

第３の決定モジュール５３０は、現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定するように構成される。

生成モジュール５４０は、予め設定されたデコーダを用いて、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、第１のソースキャラクタに対応する目標キャラクタを生成するように構成される。

本出願の実施例の可能な一実施形態では、上記第２の決定モジュール５２０は、具体的には、第１のソースキャラクタのソースセンテンスにおける位置およびソースセンテンスに含まれるキャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定するように構成される。

本出願の実施例の可能な一実施形態では、上記第２の決定モジュール５２０は、具体的には、第１のソースキャラクタのソースセンテンスにおける位置、ソースセンテンスに含まれるキャラクタの数および生成された目標言語キャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定するように構成される。

本出願の実施例の可能な一実施形態では、上記第２の決定モジュール５２０は、具体的には、予め設定されたルールに基づいて、現在の少なくとも２セットのマスクベクトルを決定するように構成される。

上記生成モジュール５４０は、具体的には、予め設定されたデコーダを用いて、少なくとも２セットのマスクベクトルをそれぞれ第１のベクトル、第２のベクトル、および第３のベクトルとともに復号して、第１のソースキャラクタに対応する少なくとも２つの目標言語キャラクタ候補を生成し、少なくとも２つの目標言語キャラクタ候補からアテンション値が最も高いキャラクタを選択して、第１のソースキャラクタに対応する目標キャラクタとするように構成される。

本出願の実施例の可能な一実施形態では、上記生成モジュール５４０は、具体的には、第１のベクトルと第３のベクトルの転置ベクトルとのクロス積を求めて、クロス積ベクトルを生成し、マスクベクトルとクロス積ベクトルとを加算して、第４のベクトルを生成し、第４のベクトルおよび第２のベクトルに対してマルチヘッドアテンション計算を行って、第１のソースキャラクタに対応するアテンション値を生成し、
アテンション値を復号して、第１のソースキャラクタに対応する目標キャラクタを決定するように構成される。

本出願の実施例の可能な一実施形態では、上記第１の決定モジュール５１０は、具体的には、変換対象ソースセンテンスに対してベクトルマッピングを行って、ソースセンテンスに対応するソースベクトルを決定し、ソースベクトルに対してマルチヘッドアテンション計算および線形変換処理を行って、ソースベクトルに対応する第１のベクトルおよび第２のベクトルを生成するように構成される。

なお、構文線形性に基づく言語変換方法の実施例についての前述した解釈および説明は、該実施例に係る構文線形性に基づく言語変換装置にも適用されるため、ここでは説明を省略する。

本出願の実施例に係る構文線形性に基づく言語変換装置は、予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定し、予め設定されたルールに基づいて、エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定し、現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定し、その後、予め設定されたデコーダを用いて、第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、第１のソースキャラクタに対応する目標キャラクタを生成する。これにより、デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御し、翻訳結果には前方対角線のアラインメント情報を有することを確保することができ、構文線形性翻訳結果を達成し、翻訳遅延を低減することができる。

本出願の実施例により、本出願は電子機器および読み取り可能な記憶媒体をさらに提供する。

図６は、本出願の実施例に係る構文線形性に基づく言語変換方法の電子機器のブロック図である。電子機器はラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなど、様々な形式のデジタルコンピュータを表すこと意図している。電子機器はさらに、様々な形態のモバイル装置、例えば、携帯情報端末、セルラー電話、スマートフォン、ウェアラブルデバイス及び他の同様なコンピューティングデバイスを表すことができる。本明細書に示されている部品、それらの接続と関係、及びそれらの機能は例示的なものに過ぎず、本明細書で説明された及び／又は求められた本出願の実現を限定することを意図していない。

図６に示すように、該電子機器は、１つ又は複数のプロセッサ６０１、メモリ６０２、及び各部品を接続するためのインターフェースを含み、インターフェースは高速インターフェースと低速インターフェースを含む。各部品は、異なるバスを用いて互いに接続されており、かつ共用のマザーボードに実装されるか、又は必要に基づいて他の方式で実装されても良い。プロセッサは、電子機器内で実行される命令を処理することができ、前記命令は、外部入力／出力装置（例えば、インターフェースに接続される表示装置）にＧＵＩの図形情報を表示するようにメモリ内又はメモリ上に記憶される命令を含む。他の実施形態において、必要があれば、複数のプロセッサ及び／又は複数のバスを複数のメモリと組み合わせて使用してもよい。同様に、複数の電子機器を接続してもよく、各機器は、必要とされる操作の一部（例えば、サーバアレイ、１セットのブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図６では、１つのプロセッサ６０１は例として挙げられた。

メモリ６０２は、本出願に係る非一時的コンピュータ読み取り可能な記憶媒体である。前記メモリは、前記少なくとも１つのプロセッサに本出願に係る構文線形性に基づく言語変換方法を実行させるように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的コンピュータ読み取り可能な記憶媒体は、コンピュータに本出願に係る構文線形性に基づく言語変換方法を実行させるためのコンピュータ命令が記憶されている。

メモリ６０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例に係る構文線形性に基づく言語変換方法に対応するプログラム命令／モジュール（例えば、図５に示す第１の決定モジュール５１０、第２の決定モジュール５２０、第３の決定モジュール５３０、生成モジュール５４０）のような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するように構成される。プロセッサ６０１は、メモリ６０２に記憶される非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能適用及びデータ処理を実行し、即ち上記方法の実施例に係る構文線形性に基づく言語変換方法を実現する。

メモリ６０２は、プログラムを記憶する領域と、データを記憶する領域とを含んでも良い。プログラムを記憶する領域は、オペレーティングシステムと、少なくとも１つの機能に必要なアプリケーションプログラムを含んでも良い。データを記憶する領域は、構文線形性に基づく言語変換の電子機器の使用によって生成されたデータなどを記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリだけではなく、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス又は他の非一時的なソリッドステートストレージデバイスのような非一時的なメモリを含んでも良い。一部の実施例では、メモリ６０２は、プロセッサ６０１に対してリモートで設定されるメモリを選択的に含んでもよく、これらのリモートメモリはネットワーク経由で構文線形性に基づく言語変換方法の電子機器に接続することができる。上記ネットワークの実例は、インターネット、企業内部のネットワーク、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されない。

構文線形性に基づく言語変換方法の電子機器は、入力装置６０３および出力装置６０４をさらに含んでも良い。プロセッサ６０１、メモリ６０２、入力装置６０３および出力装置６０４はバスまたは他の形態で接続することができ、図６では、バスによる接続が例として挙げられた。

入力装置６０３は、入力されたデジタル又はキャラクタ情報を受信し、及び構文線形性に基づく言語変換方法の電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパネル、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置がある。出力装置６０４は、表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含んでも良い。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むが、これらに限定されない。一部の実施形態では、表示装置はタッチスクリーンであってもよい。

本明細書で説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は以下を含んでもよい。１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行及び／又は解釈することができ、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであり、ストレージシステム、少なくとも１つの入力装置及び少なくとも１つの出力装置からデータと命令を受信し、データ及び命令を該ストレージシステム、該少なくとも１つの入力装置及び該少なくとも１つの出力装置に転送することができる。

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも言う）は、プログラマブルプロセッサの機械命令を含み、かつ高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ言語／機械語を用いてこれらの計算プログラム実行することができる。本明細書で使用される「機械読み取り可能な媒体」と「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、装置、及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号としての機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するためのあらゆる信号を指す。

ユーザとのインタラクションを提供するために、ここで説明されたシステムと技術をコンピュータ上で実施することができる。当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードとポインティングデバイス（例えば、マウス又はトラックボール）とを含み、ユーザは該キーボードと該ポインティングデバイスを介して入力をコンピュータに提供することができる。別の種類のデバイスはさらにユーザとのインタラクションを提供することができ、例えば、ユーザに提供されたフィードバックは、任意の形式のセンサフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であっても良い、ユーザからの入力を任意の形式（音の入力、音声入力又は触覚入力を含む）で受信することもできる。

ここで説明されたシステムと技術を、バックグラウンドパーツを含む計算システム（例えば、データサーバとして）、又はミドルウェアパーツを含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンドパーツを含む計算システム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは該グラフィカルユーザインタフェース又は該ウェブブラウザ介して、ここで説明されたシステムと技術の実施形態と対話することができる）、又はこれらのバックグラウンドパーツ、ミドルウェアパーツ又はフロントエンドパーツの任意の組み合わせを含む計算システムにおいて実行することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して、システムのパーツを互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットが含まれる。

コンピュータシステムは、クライアント側とサーバを含んでも良い。クライアント側とサーバは通常離れており、一般的に通信ネットワークを介してインタラクションを行う。対応するコンピュータにおいて実行されかつ互いにクライアント側－サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係は生成される。

本出願の実施例に係る技術案は、デコーダのアテンション層にマスクベクトルを導入し、マスクベクトルを用いてエンコーダによって出力されたベクトルを修正することによって、翻訳モデル内のアテンションを制御し、翻訳結果には前方対角線のアラインメント情報を有することを確保することができ、構文線形性翻訳結果を達成し、翻訳遅延を低減することができる。

「第１」、「第２」という用語は説明のためにのみ用いられるものであり、相対的な重要性を示唆又は暗示するもの、或いは、示された技術特的特徴の数を実質的に示すものと理解すべきではない。従って、「第１」、「第２」により限定される特徴は、少なくとも１つの該特徴を明示的に又は実質的に含むことができる。本出願の説明では、特に明記されていない限り、「複数」の意味は少なくとも２つ、例えば２つ、３つ等である。

以上、本出願の実施例を開示し且つ説明したが、上記実施例は例示的なものに過ぎず、本出願を限定するものとして理解すべきではない。当業者であれば、本出願の範囲を逸脱しない限り、上記実施例に対して変更、修正、置き換えおよび変形を行うことができる。

Claims (15)

1. 予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、前記ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定するステップと、
   予め設定されたルールに基づいて、前記エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定するステップと、
   現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定するステップと、
   予め設定されたデコーダを用いて、前記第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、前記第１のソースキャラクタに対応する目標キャラクタを生成するステップと、を含み、
   前記マスクベクトルが［－ｃ，－ｃ，…，－ｃ，０，０，…，０，－ｃ，－ｃ，…，－ｃ］として表され、ｃは整数であり、要素０よりも前の－ｃの数がＬ _１ であり、連続する要素０の数がＬ _２ であり、要素０よりも後の－ｃの数がＬ _３ であり、Ｌ _１ ＋Ｌ _２ ＋Ｌ _３ ＝Ｌであり、Ｌが前記ソースセンテンスにおけるキャラクタの数であり、
   前記予め設定されたエンコーダが、マルチヘッドアテンション層およびフィードフォワードリバースネットワークを含み、マルチヘッドアテンション層およびフィードフォワードリバースネットワークを用いてソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを得、
   前記第１のベクトルがキーベクトルであり、第２のベクトルが値ベクトルであり、または、第１のベクトルが値ベクトルであり、第２のベクトルがキーベクトルであることを特徴とする、構文線形性に基づく言語変換方法。
2. 予め設定されたルールに基づいて、現在のマスクベクトルを決定するステップは、
   前記第１のソースキャラクタの前記ソースセンテンスにおける位置および前記ソースセンテンスに含まれるキャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定するステップを含むことを特徴とする、請求項１に記載の方法。
3. 予め設定されたルールに基づいて、現在のマスクベクトルを決定するステップは、
   前記第１のソースキャラクタの前記ソースセンテンスにおける位置、前記ソースセンテンスに含まれるキャラクタの数および生成された目標言語キャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定するステップを含むことを特徴とする、請求項１に記載の方法。
4. 予め設定されたルールに基づいて、現在のマスクベクトルを決定するステップは、
   予め設定されたルールに基づいて、現在の少なくとも２セットのマスクベクトルを決定するステップを含み、
   予め設定されたデコーダを用いて、前記第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、前記第１のソースキャラクタに対応する目標キャラクタを生成するステップは、
   予め設定されたデコーダを用いて、前記少なくとも２セットのマスクベクトルをそれぞれ前記第１のベクトル、第２のベクトル、および第３のベクトルとともに復号して、前記第１のソースキャラクタに対応する少なくとも２つの目標言語キャラクタ候補を生成するステップと、
   前記少なくとも２つの目標言語キャラクタ候補からアテンション値が最も高いキャラクタを選択して、前記第１のソースキャラクタに対応する目標キャラクタとするステップと、を含むことを特徴とする、請求項１に記載の方法。
5. 予め設定されたデコーダを用いて、前記第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、前記第１のソースキャラクタに対応する目標キャラクタを生成するステップは、
   前記第１のベクトルと前記第３のベクトルの転置ベクトルとのクロス積を求めて、クロス積ベクトルを生成するステップと、
   前記マスクベクトルと前記クロス積ベクトルとを加算して、第４のベクトルを生成するステップと、
   前記第４のベクトルおよび前記第２のベクトルに対してマルチヘッドアテンション計算を行って、前記第１のソースキャラクタに対応するアテンション値を生成するステップと、
   前記アテンション値を復号して、前記第１のソースキャラクタに対応する目標キャラクタを決定するステップと、を含むことを特徴とする、請求項１に記載の方法。
6. 変換対象ソースセンテンスを符号化して、前記ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定するステップは、
   前記変換対象ソースセンテンスに対してベクトルマッピングを行って、前記ソースセンテンスに対応するソースベクトルを決定するステップと、
   前記ソースベクトルに対してマルチヘッドアテンション計算および線形変換処理を行って、前記ソースベクトルに対応する第１のベクトルおよび第２のベクトルを生成するステップと、を含むことを特徴とする、請求項１から５のいずれかに記載の方法。
7. 予め設定されたエンコーダを用いて、変換対象ソースセンテンスを符号化して、前記ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを決定するように構成される第１の決定モジュールと、
   予め設定されたルールに基づいて、前記エンコーダによって出力されたベクトルを修正するための現在のマスクベクトルを決定するように構成される第２の決定モジュールと、
   現在の翻訳対象ソースキャラクタである第１のソースキャラクタより前にある各ソースキャラクタにそれぞれ対応する目標言語キャラクタに基づいて、第３のベクトルを決定するように構成される第３の決定モジュールと、
   予め設定されたデコーダを用いて、前記第１のベクトル、第２のベクトル、マスクベクトルおよび第３のベクトルを復号して、前記第１のソースキャラクタに対応する目標キャラクタを生成するように構成される生成モジュールと、を含み、
   前記マスクベクトルが［－ｃ，－ｃ，…，－ｃ，０，０，…，０，－ｃ，－ｃ，…，－ｃ］として表され、ｃは整数であり、要素０よりも前の－ｃの数がＬ _１ であり、連続する要素０の数がＬ _２ であり、要素０よりも後の－ｃの数がＬ _３ であり、Ｌ _１ ＋Ｌ _２ ＋Ｌ _３ ＝Ｌであり、Ｌが前記ソースセンテンスにおけるキャラクタの数であり、
   前記予め設定されたエンコーダが、マルチヘッドアテンション層およびフィードフォワードリバースネットワークを含み、マルチヘッドアテンション層およびフィードフォワードリバースネットワークを用いてソースセンテンスを符号化して、ソースセンテンスに対応する第１のベクトルおよび第２のベクトルを得、
   前記第１のベクトルがキーベクトルであり、第２のベクトルが値ベクトルであり、または、第１のベクトルが値ベクトルであり、第２のベクトルがキーベクトルであることを特徴とする、構文線形性に基づく言語変換装置。
8. 前記第２の決定モジュールは、具体的には、
   前記第１のソースキャラクタの前記ソースセンテンスにおける位置および前記ソースセンテンスに含まれるキャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定するように構成されることを特徴とする、請求項７に記載の装置。
9. 前記第２の決定モジュールは、具体的には、前記第１のソースキャラクタの前記ソースセンテンスにおける位置、前記ソースセンテンスに含まれるキャラクタの数および生成された目標言語キャラクタの数に基づいて、現在のマスクベクトル内の各値要素の数を決定するように構成されることを特徴とする、請求項７に記載の装置。
10. 前記第２の決定モジュールは、具体的には、
    予め設定されたルールに基づいて、現在の少なくとも２セットのマスクベクトルを決定するように構成され、
    前記生成モジュールは、具体的には、
    予め設定されたデコーダを用いて、前記少なくとも２セットのマスクベクトルをそれぞれ前記第１のベクトル、第２のベクトル、および第３のベクトルとともに復号して、前記第１のソースキャラクタに対応する少なくとも２つの目標言語キャラクタ候補を生成し、
    前記少なくとも２つの目標言語キャラクタ候補からアテンション値が最も高いキャラクタを選択して、前記第１のソースキャラクタに対応する目標キャラクタとするように構成されることを特徴とする、請求項７に記載の装置。
11. 前記生成モジュールは、具体的には、
    前記第１のベクトルと前記第３のベクトルの転置ベクトルとのクロス積を求めて、クロス積ベクトルを生成し、
    前記マスクベクトルと前記クロス積ベクトルとを加算して、第４のベクトルを生成し、
    前記第４のベクトルおよび前記第２のベクトルに対してマルチヘッドアテンション計算を行って、前記第１のソースキャラクタに対応するアテンション値を生成し、
    前記アテンション値を復号して、前記第１のソースキャラクタに対応する目標キャラクタを決定するように構成されることを特徴とする、請求項７に記載の装置。
12. 前記第１の決定モジュールは、具体的には、
    前記変換対象ソースセンテンスに対してベクトルマッピングを行って、前記ソースセンテンスに対応するソースベクトルを決定し、
    前記ソースベクトルに対してマルチヘッドアテンション計算および線形変換処理を行って、前記ソースベクトルに対応する第１のベクトルおよび第２のベクトルを生成するように構成されることを特徴とする、請求項７から１１のいずれかに記載の装置。
13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が、前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサが請求項１から６のいずれかに記載の構文線形性に基づく言語変換方法を実行可能であることを特徴とする、電子機器。
14. コンピュータ命令を格納する非一時的コンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が実行される場合、前記コンピュータに請求項１から６のいずれかに記載の構文線形性に基づく言語変換方法を実行させることを特徴とする、非一時的コンピュータ読み取り可能な記憶媒体。
15. コンピュータプログラムであって、
    前記コンピュータプログラムが実行される場合、前記コンピュータに請求項１から６のいずれかに記載の構文線形性に基づく言語変換方法を実行させることを特徴とする、コンピュータプログラム。

Images