JP7358698B2 - 語義表現モデルの訓練方法、装置、デバイス及び記憶媒体 - Google Patents

Description

本開示は、コンピュータ技術の分野に関し、具体的に自然言語処理、ディープラーニングなどの人工知能の分野に関し、特に語義表現モデルの訓練方法、装置、デバイス及び記憶媒体に関する。

自然言語処理を行う際に、語義表現モデルを用いて文を対応する語義表現に変換して後続の処理に供することができる。文の構文構造の違いは、語義の大きな違いを引き起こす。

関連技術では、語義表現モデルの構造を修正し、構文情報を導入して語義表現モデルを訓練することが可能である。

本開示は、語義表現モデルの訓練方法、装置、デバイス及び記憶媒体を提供する。

本開示の一態様によれば、文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得し、語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理してアンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を取得し、前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて比較損失関数を構築し、前記比較損失関数に基づいて前記語義表現モデルを訓練することを含む語義表現モデルの訓練方法を提供する。

本開示の別の態様によれば、文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプルとネガティブサンプルとを取得する取得モジュールと、語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理してアンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を取得する符号化モジュールと、前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて比較損失関数を構築する構築モジュールと、前記比較損失関数に基づいて前記語義表現モデルを訓練する訓練モジュールとを備える語義表現モデルの訓練装置を提供する。

本開示の別の態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに上記の態様のいずれか１項に記載された方法を実行させる電子デバイスを提供する。

本開示の別の態様によれば、コンピュータに上記の態様のいずれか１項に記載された方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体を提供する。

本開示の別の態様によれば、プロセッサにより実行されると、上記の態様のいずれか１項に記載された方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

本開示の技術案によれば、モデル構造を修正することなく、文の語義表現が構文情報を含むようにすることができる。

理解すべきなのは、本セクションで説明される内容は、本開示の実施形態の重要な又は肝心な特徴を標識することでもなく、本開示の範囲を制限することでもない。本開示の他の特徴は、以下の明細書により容易に理解されるであろう。

図面は、本技術案をより良く理解するためのものであり、本願に制限されない。図面において、
本開示の第１実施形態に係る概略図である。 本開示の第２実施形態に係る概略図である。 本開示の第３実施形態に係る概略図である。 本開示の第４実施形態に係る概略図である。 本開示の第５実施形態に係る概略図である。 本開示の実施形態の語義表現モデルの訓練方法のいずれかを実現するための電子デバイスの概略図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

文の構文情報が異なる場合、異なる語義に対応することができる。例えば、「Ｑ１：おばあちゃんが亡くなって孫に相続権があるのか」、「Ｑ２：孫が亡くなっておばあちゃんに相続権があるのか」という２つの文は、字面は似ているが、表現された語義は全く異なる。

関連技術では、語義表現モデルの構造を修正することで語義表現に構文情報を含めることが可能であるが、このようなモデル構造を修正する方式は、下流タスクの利用に不利であり、精度の面でも問題がある。

図１は、本開示の第１実施形態に係る概略図である。本実施形態により提供される語義表現モデルの訓練方法は、以下を含む。

１０１において、文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプルとネガティブサンプルを取得する。

１０２において、語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理して、アンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を取得する。

１０３において、前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築する。

１０４において、前記比較損失関数に基づいて、前記語義表現モデルを訓練する。

ここで、予め文をサンプルとして収集し、その後に文に基づいて語義表現モデルを訓練することができる。

文を取得した後、文を依存構文解析して前記文の構文情報を取得することができる。

依存構文解析は自然言語処理のコア技術の１つであり、文における単語間の依存関係を解析することにより文の構文情報を決定することを目的としている。

「百度是一家高科技公司」という文を例にすると、その文に対して依存構文解析を行った結果、得られた構文情報を図２に示す。構文情報には文における各単語間の関係を含めることができ、異なる関係には異なる記号で標識することができる。図２における各単語間の関係標識の意味は以下の通りである。即ち、ＨＥＤはコア関係であり、文全体のコアを指す。ＳＢＶは主述関係であり、主語と述語の間の関係を指す。ＶＯＢは動賓関係であり、目的語と述語の間の関係を指す。ＡＴＴは定中関係であり、指定語と中心語との関係を指す。

文に対して依存構文解析を行うことにより、文の構文情報を容易かつ迅速に取得することができる。

文の構文情報を取得した後、構文情報に基づいて構文木を構築することができる。図２に示す例に基づいて、構築された構文木は図３のようになる。

構文木を取得した後、前記構文木に含まれる部分木に対応するテキストをポジティブサンプルとし、前記部分木内の単語に基づいて、前記単語を含み且つ前記構文木内の部分木に対応しない別のテキストを取得し、前記別のテキストをネガティブサンプルとすることができる。区別するために、ポジティブサンプルであるテキストを第１テキストと呼び、ネガティブサンプルであるテキストを第２テキストと呼ぶことができる。

例えば、図３に示すように、「一家」「高科技」「公司」という３つの単語（ｔｏｋｅｎ）が構文木中の１つの部分木を構成することができるため、その部分木に対応するテキスト「一家高科技公司」を１つのポジティブサンプルとすることができる。

構文木の部分木に基づいてポジティブサンプルとネガティブサンプルを得ることにより、ポジティブサンプルとネガティブサンプルの精度を向上させることができる。

ポジティブサンプルに対応する部分木を取得した後、前記部分木内の単語に基づいてネガティブサンプルを取得することができる。

語義表現モデルの訓練効果を高めるために、一般にポジティブサンプルとネガティブサンプルは同じ個数の単語を含むことができる。すなわち、前記部分木中の単語に基づいて、前記文から単語が連続し且つ前記ポジティブサンプルに含まれる単語の数と同じ単語数のテキストを第２テキストとして選択することができる。

「一家」「高科技」「公司」という３つの単語からなる部分木を例にすると、その中の単語「高科技」に基づいてネガティブサンプルを得ることができる。例えば、テキスト「是一家高科技」には３つの単語が含まれ、且つ３つの単語が連続しており、且つこれら３つの単語に「高科技」が含まれているため、そのテキスト「是一家高科技」をネガティブサンプルとすることができる。

ポジティブサンプルの単語数と同じ単語数のテキストをネガティブサンプルとして選択することにより、語義表現モデルの効果を高めることができる。

１つのポジティブサンプルに対して、複数のネガティブサンプルを選択することができる。例えば、前記のポジティブサンプル「一家高科技公司」に対して、その中の単語「一家」に基づいて、「百度是一家」を１つのネガティブサンプルとして選択することもできる。

アンカサンプルは、上記の文全体の文であってもよく、前記部分木におけるポジティブサンプルとネガティブサンプルに対応する単語であっても良い。例えば、上記の文全体の「百度是一家高科技公司」をアンカサンプルとしてもよく、上記の「高科技」をアンカサンプルとしてもよい。

文全体又はポジティブサンプル／ネガティブサンプルに対応する単語を選択することにより、アンカサンプルのデータを拡張し、更に語義表現モデルの効果を高めることができる。

アンカサンプル、ポジティブサンプル、ネガティブサンプルを取得した後、それぞれ語義表現モデルに入力して、それぞれ対応する語義表現を取得することができる。

語義表現モデルとは、文を対応するベクトル表現に変換するモデルであり、Ｔｒａｎｓｆｏｒｍｅｒによる双方向符号化表現（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ、ＢＥＲＴ）、最適化ＢＥＲＴ（Ａ Ｒｏｂｕｓｔｌｙ Ｏｐｔｉｍｉｚｅｄ ＢＥＲＴ Ｐｒｅｔｒａｉｎｉｎｇ Ａｐｐｒｏａｃｈ、ＲｏＢＥＲＴａ）、知識強化語義表現（Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ ｋＮｏｗｌｅｄｇｅ ＩｎｔＥｇｒａｔｉｏｎ、ＥＲＮＩＥ）など、様々な関連する事前訓練モデル構造を用いることができる。

図４に示すように、アンカサンプルが文であることを例にすると、文を語義表現モデルに入力し、出力された表現をアンカサンプル語義表現と呼ぶことができる。ポジティブサンプルを語義表現モデルに入力し、出力された表現をポジティブサンプル語義表現と呼ぶことができる。ネガティブサンプルを語義表現モデルに入力し、出力された表現をネガティブサンプル語義表現と呼ぶことができる。

その後、これら３つの語義表現に基づいて比較損失関数を構築することができる。

比較損失関数とは、比較学習の際に採用される損失関数である。比較学習は自己教師付き学習の一種であり、ポジティブサンプルを近づけ、ネガティブサンプルを遠ざけることを目的とする。

比較損失関数の計算式の一つは、次のように表される。

ここで、Ｌは比較損失関数、ｑはアンカサンプル、ｋ^＋はポジティブサンプル、ｋ_ｉはｉ番目のネガティブサンプルである。ネガティブサンプルの総数はＫである。θは語義表現モデルのパラメータである。ｆ（＊，θ）は＊が語義表現モデルにより処理されて得られた対応する語義表現である。τはスーパーパラメータである。ｓｉｍ（）はベクトル間の類似度計算を表す。

比較損失関数を取得した後、比較損失関数を用いて語義表現モデルを訓練し、すなわち、あらかじめ設定された終了条件に達するまで、比較損失関数に基づいて語義表現モデルのパラメータを調整することができる。終了条件は、例えば、比較損失関数が収束したり、あらかじめ設定された反復回数に達したりすることである。予め設定された終了条件に達した場合のモデルパラメータを最終的なモデルパラメータとし、対応する語義表現モデルを最終的な語義表現モデルとすることにより、この最終的な語義表現モデルを適用して文を処理して構文情報を含む文に対応する語義表現を得られる。

本実施形態では、文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得し、アンカサンプル、ポジティブサンプル及びネガティブサンプルに基づいて語義表現モデルを訓練することにより、モデル構造を修正することなく、文の語義表現に構文情報を含ませることができる。

更に、本実施形態の方法は、事前訓練プロセスに適用可能であり、すなわち語義表現モデルの事前訓練プロセスにおいて、事前訓練モデルの構造を変更することなく、前記比較損失関数を用いて訓練を行うことができるため、下流タスクに事前訓練モデルを適用する場合に下流タスクが知覚されないようにすることができる。また、下流タスクにこの事前訓練モデルを適用して微調整（ｆｉｎｅｔｕｎｉｎｇ）を行う際にも、構文情報を導入する必要はなく、下流タスクの性能に影響を与えることはない。本実施形態は、語義表現に暗黙的に構文情報を含めることができるため、構文情報を明示的に使用する方法、例えば、各語の親ノードを予測する事前訓練タスクを追加することに比べて、構文の誤りの累積を回避し、語義表現モデルの精度を向上させることができる。

図５は、語義表現モデルの訓練装置を提供する本開示の第５の実施形態に係る概略図である。図５に示すように、当該装置５００は、取得モジュール５０１と、符号化モジュール５０２と、構築モジュール５０３と、訓練モジュール５０４とを備える。

取得モジュール５０１は、文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得する。符号化モジュール５０２は、語義表現モデルを使用して前記アンカサンプル、前記ポジティブサンプル及び前記ネガティブサンプルをそれぞれ処理してアンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を得る。構築モジュール５０３は、前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築する。訓練モジュール５０４は、前記比較損失関数に基づいて前記語義表現モデルを訓練する。

幾つかの実施形態では、当該装置５００は、前記文について依存構文解析を実行して前記文の構文情報を取得する解析モジュールをさらに備える。

幾つかの実施形態では、前記取得モジュール５０１は、具体的に、前記文の構文情報に基づいて構文木を構築し、前記構文木に含まれる部分木に対応する第１テキストを取得し、前記第１テキストをポジティブサンプルとし、前記部分木における単語に基づいて、前記単語を含み且つ前記部分木に対応するテキストと異なる第２テキストをネガティブサンプルとして取得する。

いくつかの実施形態では、前記取得モジュール５０１は、さらに具体的に、前記部分木における単語に基づいて、前記文から単語が連続し且つ前記ポジティブサンプルが含む単語と同じ数の単語を有するテキストを第２テキストとして選択する。

いくつかの実施形態では、前記取得モジュール５０１は、具体的に、前記文をアンカサンプルとし、あるいは、前記文に対応する構文木に含まれる部分木における単語をアンカサンプルとする。

本実施形態では、文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得し、アンカサンプル、ポジティブサンプル及びネガティブサンプルに基づいて語義表現モデルを訓練することにより、モデル構造を修正することなく、文の語義表現に構文情報を含ませることができる。

理解すべきなのは、本開示の実施形態では、異なる実施形態における同一又は類似の内容が相互に参照され得る。

理解すべきなのは、本開示の実施形態における「第１」、「第２」等は、単に区別するためのものであり、重要度の高低、タイミングの前後等を表すものではない。

本開示の実施形態によれば、本開示は更に電子デバイス、可読記憶媒体、及びコンピュータプログラム製品を提供する。

図６は、本開示の実施形態を実施するために使用され得る例示的な電子デバイス６００の模式的なブロック図である。電子デバイスは、ラップトップ、デスクトップコンピュータ、ワークベンチ、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような、様々な形態のデジタルコンピュータを表す。電子デバイスは更に、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示す構成要素、それらの接続及び関係、ならびにそれらの機能は、単なる一例であり、本明細書に記載及び／又は要求された本開示の実現を制限することではない。

図６に示すように、電子デバイス６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されたコンピュータプログラム、又は記憶手段６０６からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムに従って、様々な適切な動作及び処理を実行することができる演算手段６０１を含む。ＲＡＭ６０３には、電子デバイス６００の動作に必要な各種のプログラムやデータが記憶されてもよい。演算手段６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して接続されている。入出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

例えばキーボード、マウス等の入力手段６０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段６０７と、例えば磁気ディスク、光ディスク等の記憶手段６０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段６０９を含む電子デバイス６００の複数の構成要素は、Ｉ／Ｏインターフェース６０５に接続される。通信手段６０９は、電子デバイス６００が例えばインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

演算手段６０１は、処理能力及び演算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってよい。演算手段６０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算手段６０１は、上述した様々な方法及び処理、例えば語義表現モデルの訓練方法を実行する。例えば、幾つかの実施形態では、語義表現モデルの訓練方法は、例えば記憶手段６０８のような機械可読媒体に物理的に組み込まれたコンピュータソフトウェアプログラムとして実装されてもよい。幾つかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ６０２及び／又は通信手段６０９を介して電子デバイス６００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ６０３にロードされ、演算手段６０１により実行されると、上述した語義表現モデルの訓練方法の１つ又は複数のステップを実行することができる。代替的に、他の実施形態では、演算手段６０１は、語義表現モデルの訓練方法を実行するように、他の任意の適切な方法で（例えば、ファームウェアを介する）構成されてもよい。

本明細書で前述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含んで良い。当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈することができる。当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであって、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を転送することができる。

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に指定された機能／動作を実行するようにすることができる。プログラムコードは、全てがマシン上で実行されても良く、一部がマシン上で実行されても良く、スタンドアロンパッケージとして一部的にマシン上で実行され且つ一部的にリモートマシン上で実行され、或いは全てがリモートマシン又はサーバ上で実行されても良い。

本開示の文脈では、機械可読媒体は、有形の媒体であって、命令実行システム、装置又はデバイスにより使用され、或いは命令実行システム、装置又はデバイスと合わせて使用されるプログラムを含むか記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってよい。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体的なシステム、装置又はデバイス、あるいはこれらの任意の適切な組み合わせを含んで良いが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

ユーザとのインタラクションを提供するために、本明細書に記載されたシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザにより入力をコンピュータに提供するキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）と備えるコンピュータ上に実施されてよい。他の種類の装置は、ユーザとのインタラクションを提供するためにも使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であって良く、ユーザからの入力を任意の形式（音声入力、音声入力、又は触覚入力を含む）で受信して良い。

本明細書に記載されたシステム及び技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。サーバはクラウドサーバ、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、或いは「ＶＰＳ」と略称される）において管理が難しく、ビジネスの拡張性が弱いという欠点を解決するクラウドコンピューティングサービスシステムのホスト製品の１つであって良い。サーバは、分散システムのサーバであっても良く、ブロックチェーンを組み合わせたサーバであってもよい。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

上記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims (15)

1. コンピュータにより実行される、語義表現モデルの訓練方法であって、
   文に対して依存構文解析を行って前記文の構文情報を得ることと、
   文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得することと、
   語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理して、アンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を得ることと、
   前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築することと、
   前記比較損失関数に基づいて前記語義表現モデルを訓練することと、
   を含む語義表現モデルの訓練方法。
2. 前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得することは、
   前記文の構文情報に基づいて構文木を構築することと、
   前記構文木に含まれる部分木に対応する第１テキストを取得し、前記第１テキストをポジティブサンプルとすることと、
   前記部分木における単語に基づいて前記単語を含み且つ前記部分木に対応するテキストと異なる第２テキストを取得し、前記第２テキストをネガティブサンプルとすることと、
   を含む請求項１に記載の語義表現モデルの訓練方法。
3. コンピュータにより実行される、語義表現モデルの訓練方法であって、
   文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得することと、
   語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理して、アンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を得ることと、
   前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築することと、
   前記比較損失関数に基づいて前記語義表現モデルを訓練することと、
   を含み、
   前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得することは、
   前記文の構文情報に基づいて構文木を構築することと、
   前記構文木に含まれる部分木に対応する第１テキストを取得し、前記第１テキストをポジティブサンプルとすることと、
   前記部分木における単語に基づいて前記単語を含み且つ前記部分木に対応するテキストと異なる第２テキストを取得し、前記第２テキストをネガティブサンプルとすることと、
   を含む、語義表現モデルの訓練方法。
4. 前記部分木における単語に基づいて前記単語を含み且つ前記部分木に対応するテキストと異なる第２テキストを取得することは、
   前記部分木における単語に基づいて、前記文から単語が連続し且つ単語の数が前記ポジティブサンプルに含まれる単語の数と同じであるテキストを第２テキストとして選択する、
   ことを含む請求項２または３に記載の語義表現モデルの訓練方法。
5. 文に基づいてアンカサンプルを取得することは、
   前記文をアンカサンプルとし、あるいは、
   前記文に対応する構文木に含まれる部分木における単語をアンカサンプルとする、
   ことを含む請求項１から４のいずれか１項に記載の語義表現モデルの訓練方法。
6. コンピュータにより実行される、語義表現モデルの訓練方法であって、
   文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得することと、
   語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理して、アンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を得ることと、
   前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築することと、
   前記比較損失関数に基づいて前記語義表現モデルを訓練することと、
   を含み、
   文に基づいてアンカサンプルを取得することは、
   前記文をアンカサンプルとし、あるいは、
   前記文に対応する構文木に含まれる部分木における単語をアンカサンプルとする、
   ことを含む、語義表現モデルの訓練方法。
7. 語義表現モデルの訓練装置であって、
   文に対して依存構文解析を行って前記文の構文情報を得る解析モジュールと、
   前記文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得する取得モジュールと、
   語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理して、アンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を得る符号化モジュールと、
   前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築する構築モジュールと、
   前記比較損失関数に基づいて前記語義表現モデルを訓練する訓練モジュールと、
   を備える語義表現モデルの訓練装置。
8. 前記取得モジュールは、具体的に、
   前記文の構文情報に基づいて構文木を構築し、
   前記構文木に含まれる部分木に対応する第１テキストを取得し、前記第１テキストをポジティブサンプルとし、
   前記部分木における単語に基づいて、前記単語を含み且つ前記部分木に対応するテキストと異なる第２テキストを取得し、前記第２テキストをネガティブサンプルとする、
   請求項７に記載の語義表現モデルの訓練装置。
9. 語義表現モデルの訓練装置であって、
   文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得する取得モジュールと、
   語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理して、アンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を得る符号化モジュールと、
   前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築する構築モジュールと、
   前記比較損失関数に基づいて前記語義表現モデルを訓練する訓練モジュールと、
   を備え、
   前記取得モジュールは、具体的に、
   前記文の構文情報に基づいて構文木を構築し、
   前記構文木に含まれる部分木に対応する第１テキストを取得し、前記第１テキストをポジティブサンプルとし、
   前記部分木における単語に基づいて、前記単語を含み且つ前記部分木に対応するテキストと異なる第２テキストを取得し、前記第２テキストをネガティブサンプルとする、
   語義表現モデルの訓練装置。
10. 前記取得モジュールは、さらに具体的に、
    前記部分木における単語に基づいて、前記文から単語が連続し且つ単語の数が前記ポジティブサンプルに含まれると同じであるテキストを第２テキストとして選択する、
    請求項８または９に記載の語義表現モデルの訓練装置。
11. 前記取得モジュールは、具体的に、
    前記文をアンカサンプルとし、あるいは、
    前記文に対応する構文木に含まれる部分木における単語をアンカサンプルとする、
    請求項７から１０のいずれか１項に記載の語義表現モデルの訓練装置。
12. 語義表現モデルの訓練装置であって、
    文に基づいてアンカサンプルを取得し、前記文の構文情報に基づいてポジティブサンプル及びネガティブサンプルを取得する取得モジュールと、
    語義表現モデルを用いて、前記アンカサンプル、前記ポジティブサンプル、及び前記ネガティブサンプルをそれぞれ処理して、アンカサンプル語義表現、ポジティブサンプル語義表現、及びネガティブサンプル語義表現を得る符号化モジュールと、
    前記アンカサンプル語義表現、前記ポジティブサンプル語義表現、及び前記ネガティブサンプル語義表現に基づいて、比較損失関数を構築する構築モジュールと、
    前記比較損失関数に基づいて前記語義表現モデルを訓練する訓練モジュールと、
    を備え、
    前記取得モジュールは、具体的に、
    前記文をアンカサンプルとし、あるいは、
    前記文に対応する構文木に含まれる部分木における単語をアンカサンプルとする、
    語義表現モデルの訓練装置。
13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、
    前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１から６のいずれか１項に記載の語義表現モデルの訓練方法を実行させる電子デバイス。
14. コンピュータに請求項１から６のいずれか１項に記載の語義表現モデルの訓練方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体。
15. プロセッサにより実行されると、請求項１から６のいずれか１項に記載の語義表現モデルの訓練方法を実現するコンピュータプログラム。

Images