JP7250052B2 - 自然言語及び知識グラフに基づく表現学習方法及び装置 - Google Patents

Description

「関連出願の相互参照」
本願は、２０１９年１２月１７日に中国国家知識産権局に提出された、出願番号が２０１９１１２９７７０２Ｘであり、発明の名称が「自然言語及び知識グラフに基づくテキスト処理方法及び装置」である中国特許出願の優先権を主張し、その内容の全てが参照によって本願に組み込まれる。

本願の実施例は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）技術の分野に関し、特に、自然言語及び知識グラフに基づく表現学習方法及び装置に関する。

現在、大量データから価値のある情報を取得するために、知識グラフ（ｋｎｏｗｌｅｄｇｅｇｒａｐｈ、ＫＧ）が機運に乗じて生まれてきた。また、自然言語は、人間がコミュニケーション及びマインドのために使用する道具や担体として、自然言語の文字や単語の表現は、深層学習に基づく言語処理系人工知能タスクの基本的な処理対象である。

通常、知識グラフと自然言語は、２つの独立な分野であり、これらの２つの分野は、いずれも表現学習技術体系を独立して発展させ、ここで、知識グラフ表現学習は、通常、知識グラフ意味表現を学習するために、知識グラフに含まれるポイント（Ｐｏｉｎｔ）とエッジ（Ｅｄｇｅ）との間の共起規則をベクトル空間演算の形式でモデリングし、自然言語表現学習は、通常、自然言語意味表現を学習するために、単語又は文の間の共起規則をシーケンス生成の形式でモデリングする。

しかし、上記の表現学習方法に基づいて学習した意味表現の精度が低いため、上記の意味表現がテキスト処理に用いられる場合、テキスト処理の精度が低くなる。

本願の実施例は、知識グラフの表現学習と自然意味の表現学習を組み合わせることで、より良い品質の意味表現を学習し、テキスト処理の精度を高めることを目的とする、自然言語及び知識グラフに基づく表現学習方法及び装置を提供する。

第１の態様では、本願の実施例にて自然言語及び知識グラフに基づくテキスト処理方法を提供し、ユーザから入力された、テキストにおける予測オブジェクトの意味表現に基づいて前記テキストを処理することを要求するためのテキスト処理要求を受信することと、予めトレーニングされた、知識グラフ表現学習及び自然言語表現学習のために用いられる連合学習モデルに前記予測オブジェクトを入力して、前記予測オブジェクトの、前記連合学習モデルが前記知識グラフ表現学習及び前記自然言語表現学習を組み合わせて得た意味表現を取得することと、前記意味表現に基づいて前記テキストを処理することと、を含む。

１つの実施可能な設計では、ユーザから入力されたテキスト処理要求を受信する前に、トレーニングサンプルをトレーニングして、自然言語学習層と、知識グラフ学習層と、前記自然言語学習層と前記知識グラフ学習層を連合させるための連合学習関連層とを含む前記連合学習モデルを取得することをさらに含む。

１つの実施可能な設計では、トレーニングサンプルをトレーニングして前記連合学習モデルを取得することは、前記自然言語学習層において、前記トレーニングサンプルにおける目標トレーニングサンプルの隣接サンプルを決定することと、前記隣接サンプルに基づいて、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定することと、前記各エンティティの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、前記知識グラフ意味表現及び前記隣接サンプルに基づいて、前記目標トレーニングサンプルのトレーニング結果を決定することと、を含む。

１つの実施可能な設計では、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定することは、
前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、前記エンティティに対する前記目標トレーニングサンプルのＭ個の重みを決定することを含み、ここで、前記Ｍ≧１で、かつ整数である。

１つの実施可能な設計では、前記各エンティティの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することは、前記知識グラフ学習層における各エンティティに対して、前記エンティティに対応する重みに基づいて、前記エンティティの知識グラフ意味表現を処理して、複数の処理された知識グラフ意味表現を取得することと、前記複数の処理された知識グラフ意味表現に基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することとを含む。

１つの実施可能な設計では、前記知識グラフ意味表現及び前記隣接サンプルに基づいて前記目標トレーニングサンプルのトレーニング結果を決定した後に、前記トレーニング結果に基づいて、前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化することをさらに含む。

１つの実施可能な設計では、前記トレーニング結果に基づいて、前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化することは、
前記トレーニング結果が正しいか否かを判断することと、前記トレーニング結果が正しい場合に、励起信号を生成し、前記励起信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を増強することと、前記トレーニング結果が間違っている場合に、ペナルティ信号を生成し、前記ペナルティ信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を調整することとを含む。

第２の態様では、本願の実施例は自然言語及び知識グラフに基づくテキスト処理装置を提供し、ユーザから入力された、テキストにおける予測オブジェクトの意味表現に基づいて前記テキストを処理することを要求するためのテキスト処理要求を受信するための受信モジュールと、
予めトレーニングされた、知識グラフ表現学習及び自然言語表現学習のために用いられる連合学習モデルに前記予測オブジェクトを入力して、前記予測オブジェクトの、前記連合学習モデルが前記知識グラフ表現学習及び前記自然言語表現学習を組み合わせて得た意味表現を取得するための取得モジュールと、
前記意味表現に基づいて前記テキストを処理するための処理モジュールと、を含む。

１つの実施可能な設計では、前記装置は、
前記受信モジュールがユーザから入力されたテキスト処理要求を受信する前に、トレーニングサンプルをトレーニングして、自然言語学習層と、知識グラフ学習層と、前記自然言語学習層と前記知識グラフ学習層を連合させるための連合学習関連層とを含む前記連合学習モデルを取得するためのトレーニングモジュールをさらに含む。

１つの実施可能な設計では、前記トレーニングモジュールは、前記自然言語学習層において、前記トレーニングサンプルにおける目標トレーニングサンプルの隣接サンプルを決定することと、前記連合学習関連層において、前記隣接サンプルに基づいて、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定することと、前記各エンティティの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、前記知識グラフ意味表現及び前記隣接サンプルに基づいて、前記目標トレーニングサンプルのトレーニング結果を決定することに用いられる。

１つの実施可能な設計では、前記トレーニングモジュールは、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定するとき、前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、前記エンティティに対する前記目標トレーニングサンプルのＭ個の重みを決定し、ここで、前記Ｍ≧１で、かつ整数である。

１つの実施可能な設計では、前記トレーニングモジュールは、前記各エンティティの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定するとき、前記知識グラフ学習層における各エンティティに対して、前記エンティティに対応する重みに基づいて、前記エンティティの知識グラフ意味表現を処理し、複数の処理された知識グラフ意味表現を取得し、前記複数の処理された知識グラフ意味表現に基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定する。

１つの実施可能な設計では、前記トレーニングモジュールは、前記知識グラフ意味表現及び前記隣接サンプルに基づいて前記目標トレーニングサンプルのトレーニング結果を決定した後に、さらに、前記トレーニング結果に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化することにさらに用いられる。

１つの実施可能な設計では、前記トレーニングモジュールは、具体的に、前記トレーニング結果が正しいか否かを判断することと、前記トレーニング結果が正しい場合に、励起信号を生成し、前記励起信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を増強することと、前記トレーニング結果が間違っている場合に、ペナルティ信号を生成し、前記ペナルティ信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を調整することに用いられる。

第３の態様では、本願の実施例は電子機器を提供し、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されたメモリと、を含み、ここで、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに、第１の態様又は第１の態様の任意の実現可能な方法を実行させる。

第４の態様では、本願の実施例は命令を含むコンピュータプログラム製品を提供し、電子機器で実行されるとき、電子機器に、上記の第１の態様又は第１の態様の様々な可能な実現形態における方法を実行させる。

第５の態様では、本願の実施例は記憶媒体を提供し、命令を記憶し、電子機器で実行されるとき、電子機器に、上記の第１の態様又は第１の態様の様々な可能な実現形態における方法を実行させる。

上記の出願における一実施例は、以下の利点又は有益な効果を有する：電子機器は、ユーザから入力されたテキスト処理要求を受信した後、予めトレーニングされた連合学習モデルにテキストにおける予測オブジェクトを入力して、予測オブジェクトの、連合学習モデルが知識グラフ表現学習及び自然言語表現学習を組み合わせて得た意味表現を学習し、その後、電子機器は意味表現に基づいてテキストを処理する。この過程において、電子機器が連合学習モデルを使用して得た意味表現は、該連合学習モデルが知識グラフ表現学習及び自然言語表現学習を組み合わせて得たもので、それは知識グラフ表現学習と自然言語表現学習を組み合わせ、知識グラフ表現学習のみ、又は自然言語表現学習のみで予測オブジェクトの意味表現を学習することに比較して、連合学習モデルが考慮する要素がより多くより包括的であるため、意味表現の精度を向上させ、ひいてはテキスト処理の精度を高めることができる。

以下、具体的な実施例と組み合わせて、上記の好ましい形態が有する他の効果を説明する。

図面は、本解決手段をよりよく理解するためのもので、本願を限定するものではない。ここで、
本願の実施例にて提供される自然言語及び知識グラフに基づくテキスト処理方法のフローチャートである。 本願の実施例にて提供される自然言語及び知識グラフに基づくテキスト処理方法に適用される連合学習モデルの構造概略図である。 本願の実施例にて提供される自然言語及び知識グラフに基づくテキスト処理装置の構造概略図である。 本願の実施例にて提供される別の自然言語及び知識グラフに基づくテキスト処理装置の構造概略図である。 本願の実施例の自然言語及び知識グラフに基づくテキスト処理方法を実現するための電子機器のブロック図である。

以下、理解を容易にするために、本願の実施例の様々な詳細を含む本願の例示的な実施例について、添付の図面を組み合わせて説明し、それらは単に例示的なものとみなされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、本明細書に記述された実施例に対して様々な変更及び修正を行うことができることを理解するべきである。また、以下の記述では、説明の明瞭と簡潔のため、周知の機能及び構造に対する記述は省略する。

一般に、知識グラフと自然言語処理は、２つの独立した領域である。この２つの分野は、それぞれ独立した表現学習体系を発展させ、各分野の表現学習技術は、それぞれ異なるモデリング方法と最適化目標に従い、互いに融合することがない。知識グラフ表現学習は、通常、ポイントとエッジとの間の共起規則をベクトル空間演算の形式でモデリングし、自然言語表現学習は、通常、単語又は文の間の共起規則をシーケンス生成の形式でモデリングする。

現在、自然言語の分野において、自然言語表現学習に知識を導入する初期版とみなされるもので、言語表現学習を名前付きエンティティ情報により改善する方法が登場したが、この方法は、学習モデルとして多層自己注意型ニューラルネットワークを用い、学習対象として空所補充、隣接文対判定など、単語、文の共起のようなタスクを用いる。その知識を導入する具体的な方式は、自然言語文における対応する単語シーケンスに対して、名前付きエンティティ辞書に従ってバンドル取り扱いを行い、統一的な処理対象として言語表現学習過程に参加させることであり、バンドル取り扱いとは、１つの単語は名前付きエンティティ辞書において対応するエンティティがあれば、該単語を１つの全体として分離しないことを意味し、例えば、該単語に括弧を付けると、該単語が１つのエンティティであり、それ以上分解できないことを意味する。これにより、自然言語表現学習を名前付きエンティティ辞書の知識により改善することができるという効果を奏する。ここで、名前付きエンティティ辞書には複数のエンティティが記録されており、エンティティリストとみなされてもよく、それは知識グラフに基づいて得られたものであってもよいし、エンティティを収集することで得られたものであってもよい。

上記の自然言語表現学習を名前付きエンティティ辞書の知識により改善することは、非常に初歩的な外部知識を利用する方式である。しかし、この方法は、外部知識により自然言語表現学習をサポートすることができるが、逆に自然言語により外部知識グラフ表現学習をサポートすることはできない。

自然言語表現学習の観点からみると、上記の自然言語表現学習を名前付きエンティティ辞書の知識により改善する方法は、２つの欠点があり、１つ目の欠点は、知識使用範囲の点で、１つの単語又は１つの文字に対応するエンティティが存在するか否かを、名前付きエンティティ辞書のみにより判断することである。具体的には、知識グラフは、大量のポイントだけでなく、エッジと、ポイント及びエッジにより構成されるトポロジー構造をさらに含み、上記の方法は、１つの単語又は字がエンティティであるか否かという情報のみを利用し、２つ目の欠点は、知識使用方式の点で、上記の方法は自然言語表現学習を基本骨格とし、その上で、１つの単語又は字がエンティティであるか否かを、名前付きエンティティ辞書が提供するエンティティリストに従って判断することであり、この方式の情報の流れは、外部知識つまり名前付きエンティティ辞書から自然言語までの一方向であり、自然言語と外部知識との間の双方向対応規則を有効に利用することができない。

これに鑑みて、本願の実施例は、知識グラフの表現学習と自然意味の表現学習を組み合わせることで、より良い品質の意味表現を学習する自然言語及び知識グラフに基づくテキスト処理方法及び装置を提供する。

以下、本願の実施例に係る名詞について説明する。

まずは知識グラフである。

本願の実施例では、知識グラフは、ポイントとエッジが図の形式で構成するもので、知識の構造化表現形式である。知識グラフのポイントが表す情報は、概念グラフ、インタレストグラフ、及びイベントグラフなどの具体的な知識グラフ型にそれぞれ対応するエンティティ、概念、インタレスト、及びイベントなどを含むが、それらに限定されない。それ相応に、エッジが表す情報は、属性、従属、時系列、因果などを含むが、これらに限定されない。知識グラフのポイント及びエッジの意味表現は、知識ベースの補完、知識ベースの質問応答、知能推奨、イベント分析、言語理解、機械翻訳などの人工知能タスクに用いることができる。

次は自然言語学習である。

本願の実施例では、自然言語は、文字又は単語がシーケンスの方式で構成されるもので、人間がコミュニケーションとマインドのために使用する道具や担体であり、例えば、読書理解、知能質問応答、機械翻訳及び自動書記などの知能タスクをテキスト処理により認知するために用いられえる。

本願の実施例では、電子機器は、知識グラフの表現学習と自然言語の表現学習の過程を連合してモデリングし、モデリング過程において、知識グラフを構成するエンティティと自然言語を構成する単語との関連関係を導入することで、連合学習モデルを得て、この連合学習モデルに基づいてより良い知識グラフ意味表現と自然言語意味表現を学習する。ただし、電子機器は、例えば、サーバや端末機器などである。

図１は本願の実施例にて提供される自然言語及び知識グラフに基づくテキスト処理方法のフローチャートであり、本実施例は、電子機器の角度から説明し、本実施例は、１０１と、１０２と、１０３とを含む。

１０１、ユーザから入力された、テキストにおける予測オブジェクトの意味表現に基づいて前記テキストを処理することを要求するためのテキスト処理要求を受信する。

例示的に、電子機器に連合学習モデルを予めロードしておき、テキスト処理が必要な場合に、ユーザが、処理要求をクリック操作、タッチ操作又は音声入力などの方式で電子機器に入力し、電子機器がこのテキスト処理要求を受信して認識する。

例えば、関連学習モデルが知能タスクの認知をサポートするために用いられる場合、電子機器は、テキスト処理要求を受信すると、処理対象テキストに単語を引くなどの処理を行い、テキストを個々の単語又は字に分割し、この個々の単語又は字が予測オブジェクトとなる。

また、例えば、関連学習モデルが知識グラフのタスクをサポートするために用いられる場合、電子機器は、テキスト処理要求を受信すると、処理対象テキストに含まれるエンティティを認識し、これらのエンティティが予測オブジェクトとなる。

１０２、予めトレーニングされた、知識グラフ表現学習及び自然言語表現学習のために用いられる連合学習モデルに前記予測オブジェクトを入力して、前記予測オブジェクトの、前記連合学習モデルが前記知識グラフ表現学習及び前記自然言語表現学習を組み合わせて得た意味表現を取得する。

例示的に、各予測オブジェクトに対して、電子機器は、該予測オブジェクトを連合学習モデルに入力することで、該予測オブジェクトの意味表現を取得する。例えば、予測オブジェクトが単語又は字である場合、関連学習モデルは自然言語意味表現を出力し、また、例えば、予測オブジェクトがエンティティである場合、関連学習モデルは知識グラフ意味表現を出力する。

本実施例では、関連学習モデルにより出力された意味表現は、知識グラフ意味表現にも、自然言語意味表現にもかかわらず、いずれも連合学習モデルが知識グラフ表現学習及び自然言語表現学習を予め組み合わせて得たものである。すなわち、電子機器は、連合学習モデルをトレーニングするとき、単語又は字であるトレーニングサンプルに対して、トレーニング過程において該トレーニングサンプルの隣接トレーニングサンプルに加えて、該トレーニングサンプルの知識グラフ情報を考慮する。さらに、該トレーニングサンプルのトレーニング結果は、知識グラフにおける各エンティティの知識グラフ意味表現を調整するためにも用いられることにより、知識グラフにおける各エンティティの意味表現は、知識グラフにおける他のエンティティに加えて、自然言語処理におけるトレーニングサンプルのトレーニング結果を考慮するようになる。

１０３、前記意味表現に基づいて前記テキストを処理する。

例示的に、電子機器は、処理対象テキストにおける各予測オブジェクトの意味表現を取得した後、これらの意味表現に基づいてテキストを処理する。例えば、関連学習モデルが知能タスクの認知をサポートするために用いられる場合、電子機器は、意味表現に基づいて読書理解、知能質問応答、機械翻訳及び自動書記などを行う。また、例えば、関連学習モデルが知識グラフのタスクをサポートするために用いられる場合、電子機器は、意味表現に基づいて知識ベースの補完、知識ベースの推理、知識ベースの質問応答などを行う。

本願の実施例にて提供される自然言語及び知識グラフに基づくテキスト処理方法では、電子機器は、ユーザから入力されたテキスト処理要求を受信した後、予めトレーニングされた連合学習モデルにテキストにおける予測オブジェクトを入力して、予測オブジェクトの、連合学習モデルが知識グラフ表現学習及び自然言語表現学習を組み合わせで得た意味表現を学習し、その後、電子機器は意味表現に基づいてテキストを処理する。この過程において、電子機器が連合学習モデルを使用して得た意味表現は、該連合学習モデルが知識グラフ表現学習及び自然言語表現学習を組み合わせて得たものであり、それは知識グラフ表現学習と自然言語表現学習を組み合わせるため、知識グラフ表現学習のみ、又は自然言語表現学習のみで予測オブジェクトの意味表現を学習することと比較して、連合学習モデルが考慮する要素がより多くより包括的であるため、意味表現の精度を向上させ、ひいてはテキスト処理の精度を高めることができる。

上記の実施例では、電子機器は、ユーザから入力されたテキスト処理要求を受信する前に、さらに、トレーニングサンプルをトレーニングして上記の連合学習モデルを取得し、上記の連合学習モデルに含まれる３つの核心的なモジュールは、自然言語学習層、連合学習関連層及び知識グラフ学習層であり、前記連合学習関連層は、前記知識グラフ学習層と前記自然言語学習層を関連させるために用いられる。例示的に、図２に示すように、図２は、本願の実施例にて提供される自然言語及び知識グラフに基づくテキスト処理方法に適用される連合学習モデルの構造概略図である。

図２に示すように、連合学習モデルは、自然言語学習層、連合学習関連層及び知識グラフ学習層を含み、それぞれ相応のサブニューラルネットワークモデルに対応し、知識グラフ学習層と自然言語学習層は連合学習関連層により組み合わせられ、組み合わせメカニズムは多種の異なるニューラルネットワークメカニズムを用いることができる。また、連合学習モデルは、知識グラフ表現学習及び自然言語表現学習を駆動するための他のタスクの学習モジュールをさらに含む。

図２に示すように、自然言語学習層は、実線枠で示されるもので、例えば、循環ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）モデル、長短期記憶ネットワーク（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒ、ＬＳＴＭ）モデル、変換器（ｔｒａｎｓｆｏｒｍｅｒ）モデル、変換器による双方向のエンコード表現（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ、ＢＥＲＴ）、及び知識が増強された意味表現モデル（Ｅｎｈａｎｃｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｔｈｒｏｕｇｈ ｋＮｏｗｌｅｄｇｅ ＩｎｔＥｇｒａｔｉｏｎ、ＥＲＮＩＥ）など、様々な主流のニューラルネットワーク言語モデルを採用することができる。自然言語学習層は、本質上に、文と単語との間で情報伝達を行い、単語間の関連関係をモデリングすることで、単語表現を学習するという効果を奏する。

図２に示すように、知識グラフ学習層は、点線枠で示されるもので、グラフニューラルネットワークを用いて知識グラフのトポロジー構造をよりよく反映させることができる。また、知識グラフ学習層は、いかなるモデルを用いず、単に、知識グラフをポイントとエッジからなるリストとしてもよい。

図２に示すように、連合学習関連層は、点鎖線で示されるものであり、それは１つ又は複数種のリードライトメカニズムから構成され、連合学習関連層は、単語と知識との間に関連を付け、自然言語の文と知識グラフのデータベースとの間の情報伝達を実現するという役割を果たす。連合学習関連層のリードライトメカニズムの入力は、通常、自然言語学習層における単語又は字、及び知識グラフ学習層における知識グラフであり、ここで、単語又は字は、目標トレーニングサンプルの隣接サンプルであり、例えば、トレーニングサンプルは、図における単語１（ｗｏｒｄ １、ｗ１）～ｗｎのようなｎ個の単語又は字を含み、目標トレーニングサンプルをｗ３とすると、例えば、ｗ１、ｗ２、ｗ４、ｗ５など、ｗ３の隣接サンプル、及び知識グラフが入力され、連合学習関連層は、入力に基づいて目標トレーニングサンプルの知識グラフ意味表現を得て出力する。その後、自然言語学習層は、目標トレーニングサンプルの知識グラフ意味表現及び隣接トレーニングサンプルに基づいて、目標トレーニングサンプルのトレーニング結果を得る。

本実施例では、トレーニングして、知識グラフ表現学習及び自然言語表現学習のための連合学習モデルを取得するという目的が実現される。

上記の実施例では、電子機器は、トレーニングサンプルをトレーニングして連合学習モデルを取得するとき、知識グラフ学習層により自然言語学習層を改善することができ、その後、自然言語学習層を利用して知識グラフ学習層を改善することができる。以下、この２つの点についてそれぞれ詳細に説明する。

まず、知識グラフ学習層により自然言語学習層を改善する。

１つの実施可能な設計では、電子機器がトレーニングサンプルをトレーニングして前記連合学習モデルを取得するとき、前記自然言語学習層において、前記トレーニングサンプルにおける目標トレーニングサンプルの隣接サンプルを決定し、前記連合学習関連層において、前記隣接サンプルに基づいて、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定し、前記各エンティティの重みに基づいて前記目標トレーニングサンプルの知識グラフ意味表現を決定し、前記知識グラフ意味表現及び前記隣接サンプルに基づいて前記目標トレーニングサンプルのトレーニング結果を決定する。

例示的に、図２に示すように、トレーニングサンプルはｗ１～ｗｎを含み、ｗ３を目標トレーニングサンプルとすることを例にとると、従来のトレーニング過程では、ｗ３が目標トレーニングサンプルである場合、ｗ３以外の他のトレーニングサンプルのトレーニング結果が既知であるとデフォルトし、これら既知のトレーニング結果を用いてｗ３のトレーニング結果を予測する必要があり、予測過程で、電子機器は、例えばｗ１、ｗ２、ｗ４、ｗ５など、ｗ３の隣接サンプルのトレーニング結果を主に利用する。本願の実施例では、ｗ３が目標トレーニングサンプルである場合、ｗ３以外の他のトレーニングサンプルのトレーニング結果は既知であるとデフォルトし、電子機器は、ｗ３のトレーニング結果を予測する際、ｗ３の隣接サンプルｗ１、ｗ２、ｗ４、ｗ５などのトレーニング結果を利用する以外に、ｗ３の知識グラフ言語表現も考慮する必要がある。

本願の実施例では、ｗ３の知識グラフ言語表現は、ｗ３の隣接サンプルなどに基づいて取得することができる。例えば、電子機器はｗ３の隣接サンプルｗ１、ｗ２、ｗ４、ｗ５などを統合して統合情報を取得し、この統合情報を連合学習関連層に入力し、連合学習関連層において、知識グラフ学習層における各エンティティ（ｅｎｔｉｔｙ、ｅ）、例えばｅｉ、ｅｊ、ｅｋ、ｅｌに対する該統合情報の重みを決定し、該５つの重みと各エンティティの知識グラフ意味表現に基づいて、目標トレーニングサンプルの知識グラフ意味表現を決定し、また、例えば、ｗ３の各隣接サンプルに対して、電子機器は、連合学習関連層において、知識グラフ学習層における各エンティティ（ｅｎｔｉｔｙ、ｅ）、例えばｅｉ、ｅｊ、ｅｋ、ｅｌに対する該隣接サンプルの重みをそれぞれ決定し、２０個の重みを得、該２０個の重みと各エンティティの知識グラフ意味表現に基づいて、目標トレーニングサンプルの知識グラフ意味表現を決定する。

本実施例では、知識グラフにより自然言語表現学習を改善し、自然言語表現学習の観点からみると、該方法の知識使用範囲がより広く、知識使用方法がより効率的であり、表現学習連合モデリングにより、該方法は、ポイント、エッジ、及びポイントとエッジからなるトポロジー構造の知識を統合して利用し、自然言語表現学習の効果を改善することができる。

上記の実施例では、電子機器が前記統合学習関連層において、Ｍ個の異なる角度から、目標トレーニングオブジェクトのために知識グラフ意味表現を決定することができる。この場合に、電子機器は、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定するとき、前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、前記エンティティに対する前記目標トレーニングサンプルのＭ個の重みを決定し、ここで、前記Ｍ≧１で、かつ整数である。

例示的に、目標トレーニングサンプルの隣接サンプルを１つの統合情報に統合することを例にとると、該統合情報が連合学習関連層に達した後、電子機器が前記連合学習関連層において、Ｍ個の角度から、知識グラフ学習層における各エンティティ（ｅｎｔｉｔｙ、ｅ）、例えばｅｉ、ｅｊ、ｅｋ、ｅｌに対する該統合情報の重みを決定して、５Ｍ個の重みを得、該５Ｍ個の重みと各エンティティの知識グラフ意味表現に基づいて、目標トレーニングサンプルの知識グラフ意味表現を決定する。

Ｍ個の異なる角度から、目標トレーニングオブジェクトのために知識グラフ意味表現を決定することを可能にするために、連合学習関連層のリードライトメカニズムによって実現するものとしてもよい。例示的に、連合学習関連層は、１つ又は複数のリードライトメカニズムから構成され、リードライトメカニズムは注意力メカニズムを最も一般的に使用し、連合学習関連層は、１つの注意力モジュールを採用してもよいし、複数の注意力モジュールを採用してもよく、図２は、Ｍ個の注意力モジュールを用いることを示す。ここで、注意力モジュールはリードライト（ｒｅａｄ ｗｒｉｔｅ）モジュールとも呼ばれてもよい。複数の注意力モジュールを用いる場合、知識グラフを用いて学習されたデータの部数、例えば、各エンティティに対する重みの数は注意力モジュールの数と同じである。例えば、知識グラフ学習層がグラフニューラルネットワークを採用する場合、グラフニューラルネットワークはＭ回動作し、それにより、注意力メカニズムがアクセスするためにＭ個のバージョンの知識グラフデータを取得する。また、例えば、知識グラフ学習層がいかなるニューラルネットワークモジュールも採用しない場合、Ｍ部の同じのデータ構造、すなわちポイント及びエッジのリストを維持するだけでよく、このように、Ｍ個のバージョンの注意力メカニズムにより、このＭ部の同じデータ構造は異なる角度の知識グラフ意味表現を学習することができる。

本実施例では、複数の注意力メカニズムにより知識グラフに対して異なる学習を行って、目標トレーニングサンプルの複数の角度の知識グラフ意味表現を取得することができ、複数の角度の知識グラフ意味表現と複数の隣接サンプルを利用して目標トレーニングサンプルを予測し、予測の正確性を向上させることができる。

なお、本願の実施例におけるトレーニングサンプルの数は膨大であり、１つの目標トレーニングサンプルの隣接トレーニングサンプルは４個以上であってもよく、同様に、知識グラフ学習層におけるエンティティの数も特に多く、上記のｅｉ、ｅｊ、ｅｋ、ｅｌは単なる例示的なものであり、実際に実施する際、エンティティの数は数万ほどである。

電子機器は、目標トレーニングサンプルの知識グラフ意味表現を取得した後、該知識グラフ意味表現と目標トレーニングサンプルの隣接サンプルに基づいて、目標トレーニングサンプルのトレーニング結果を決定し、すなわち目標トレーニングサンプルに対して予測を行う。例えば、図２では、ｗ１、ｗ２、ｗ４、ｗ５及びｗ３の知識グラフ意味表現が既知であり、ｗ３がどの単語又はどの字であるかを予測する。

なお、上記では、ｗ１、ｗ２、ｗ４、ｗ５が既知であり、ｗ３が未知であることを例として本願の実施例を詳細に説明したが、本願の実施例はこれに限定されず、他の実行可能な実施形態では、ａ）前の複数の単語が既知であり、現在の単語を予測し、例えば、ｗ１及びｗ２が既知であり、ｗ３を予測することと、ｂ）前及び後の複数の単語が既知であり、現在の単語を予測し、例えば、ｗ１、ｗ２、ｗ４、ｗ５が既知であり、ｗ３を予測することと、ｃ）２つの分、すなわち２つの単語のシーケンスが隣接分であるか否かを予測することと、ｄ）前の複数の単語が既知であり、現在の複数の単語、すなわち文を予測し、例えば、ｗ１、ｗ２、ｗ３が既知であり、ｗ４及びｗ５を予測することと、を含むが、これらに限定されない。

上記の実施例では、電子機器は、知識グラフ学習層における各エンティティに対する目標トレーニングオブジェクトの重みを取得した後に、各エンティティの重みに基づいて、目標トレーニングサンプルの知識グラフ意味表現を決定するとき、前記知識グラフ学習層における各エンティティに対して、前記エンティティに対応する重みに基づいて、前記エンティティの知識グラフ意味表現を処理して、複数の処理された知識グラフ意味表現を取得し、前記複数の処理された知識グラフ意味表現に基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定する。

例示的に、連合学習関連層が１つの注意力モジュールを用いることを例にとると、電子機器はｗ３の隣接サンプルｗ１、ｗ２、ｗ４、ｗ５などを統合して統合情報を取得し、該統合情報を連合学習関連層に入力し、連合学習関連層において、知識グラフ学習層における各エンティティ（ｅｎｔｉｔｙ、ｅ）、例えばｅｉ、ｅｊ、ｅｋ、ｅｌに対する該統合情報の重みを決定し、各エンティティの知識グラフ意味表現と対応する重みを乗算して、５つの処理された知識グラフ意味表現を取得し、次に、該５つの処理された知識グラフ意味表現の和を計算することで、目標トレーニングサンプルの知識グラフ意味表現を取得する。また、乗算と加算以外に、他の演算方式を用いてもよく、本願の実施例はこれについて限定しない。

本実施例では、目標トレーニングサンプルの知識グラフ意味表現を決定するという目的が達成される。

次に、自然言語学習層により知識グラフ学習層を改善する。

１つの実施可能な設計では、電子機器は前記知識グラフ意味表現及び前記隣接サンプルに基づいて前記目標トレーニングサンプルのトレーニング結果を決定した後に、さらに、前記トレーニング結果に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化する。

例示的に、本願の実施例では、知識グラフ学習層により自然言語学習層を改善した後、さらに、目標トレーニングサンプルのトレーニング結果に基づいて知識グラフ学習層における各エンティティの意味表現を最適化することができる。

本実施例では、自然言語学習層により知識グラフ学習層を改善するという目的が達成される。知識グラフ表現学習の観点からみると、該方法は、自然言語表現学習のトレーニング過程により、知識グラフ表現学習過程を調整し最適化し、知識グラフ表現学習自体の学習過程を補助し補足することができ、それにより知識グラフ表現をよりよく学習することに寄与する。

自然言語学習層により知識グラフ学習層を改善する場合に、電子機器は、目標トレーニングオブジェクトのトレーニング結果が正しいか否かを判断し、トレーニング結果が正しい場合に、励起信号を生成し、前記励起信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を増強し、前記トレーニング結果が間違っている場合に、ペナルティ信号を生成し、前記ペナルティ信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を弱める。

例示的に、図２に示すように、隣接サンプルｗ１、ｗ２、ｗ４、ｗ５及びｗ３の知識グラフ言語表現を用いてｗ３を予測した後、電子機器は、ｗ３のトレーニング結果が正しいか否か、すなわち、ｗ３がどの単語又はどの字であるかが正しく予測されたか否かを判断し、トレーニング結果が正しい場合、励起信号を生成して知識グラフ学習層にフィードバックすることで、電子機器は知識グラフ学習層においてエンティティｅｉ、ｅｊ、ｅｋ及びｅｌの知識グラフ意味表現を増強するようになり、トレーニング結果が間違っている場合に、知識グラフ学習層のエンティティｅｉ、ｅｊ、ｅｋ及びｅｌの知識グラフ意味表現が間違っている可能性があることが示され、この場合、電子機器は、ペナルティ信号を生成して知識グラフ学習層にフィードバックすることで、電子機器が知識グラフ学習層において知識グラフ学習モデルに含まれる複数のエンティティの各々の意味表現を調整するようになる。

本実施例では、自然言語学習層により知識グラフ学習層を改善するという目的が達成される。

以下、連合学習モデルのトレーニングをどのように駆動するかについて詳細に説明する。

一実施形態では、自然言語学習層の駆動で連合学習モデル全体の学習を行うことができる。

例示的に、自然言語学習層は、一般的な言語モデル学習戦略を採用しているが、ａ）前の複数の単語が既知であり、現在の単語を予測し、例えば、ｗ１及びｗ２が既知であり、ｗ３を予測することと、ｂ）前及び後の複数の単語が既知であり、現在の単語を予測し、例えば、ｗ１、ｗ２、ｗ４、ｗ５が既知であり、ｗ３を予測することと、ｃ）２つの分、すなわち２つの単語のシーケンスが隣接単語であるか否かを予測することと、ｄ）前の複数の単語が既知であり、現在の複数の単語、すなわち文を予測し、例えば、ｗ１、ｗ２、ｗ３が既知であり、ｗ４及びｗ５を予測することと、を含むが、これらに限定されない。自然言語学習層は、上記の言語モデル学習戦略で駆動し、さらに連合学習関連層の橋渡しの役により、知識グラフ学習層の学習をさらに駆動することで、自然言語の単語の自然意味表現、及び知識グラフのポイントとエッジの知識グラフ意味表現を同期して学習することができる。また、ユーザが連合学習モデルのみを言語モデルとして用いる場合、知識グラフ学習層は自然言語学習層の外部掛けの知識ベースとみなすことができ、連合学習モデル全体を知識が増強された言語モデルとみなすことができる。

他の実施形態では、連合学習モデルのトレーニングを上位層タスクで駆動することもできる。ここで、上位層タスクとは、自然言語学習層の認知知能タスク、例えば、読書理解、質問システム、機械翻訳などである。具体的に実施する際、自然言語学習層の単語の表現を最上層駆動タスクの入力として実現することができる。このようにすると、最上層認知タスクの駆動で、上位層タスク自体のパラメータ、自然言語学習層のパラメータ、連合学習関連層のパラメータ、及び知識グラフ学習層のパラメータを、全て同期的に学習することができる。その上で、知識グラフ類のタスクを導入して、連合学習モデル全体の学習、例えば知識ベースの補完、知識ベースの質問応答、その他の知識推理のタスクの駆動をサポートして、知識グラフの表現部分の最適化学習を行うことにしてもよい。この場合、マルチタスク学習又はマルチ目標学習の戦略を採用して、知識グラフの最適化目標と知能タスクを認知する最適化目標を協調して最適化することができる。

上記の実施例では、知識グラフ表現学習と自然言語表現学習の過程を連合モデリングすることで、知識グラフ構成要素と自然言語構成要素との間の関連関係を利用して、よりよい知識グラフ意味表現と自然言語意味表現を学習することができる。

なお、上記の実施例では、知識グラフは、伝統的な意味での事実の知識グラフだけでなく、概念グラフ、インタレストグラフ、及びイベントグラフなど、特定の知識グラフのタイプも含む。それ相応に、知識グラフにおけるポイントは、エンティティ、概念、インタレスト、及びイベントなどのタイプの情報を含むが、これらに限定されなく、エッジは、属性、従属、時系列、及び因果関係などのタイプの関連を含むが、これらに限定されない。

以上、本願の実施例に係る自然言語及び知識グラフに基づくテキスト処理の具体的な実現を紹介し、以下は、本願の装置の実施例であり、本願の方法の実施例を実行するために用いられる。本願の装置の実施例に開示されていない細部については、本願の方法の実施例を参照する。

図３は本願の実施例にて提供される自然言語及び知識グラフに基づくテキスト処理装置の構造概略図である。該装置は、電子機器に組み込まれてもよいし、又は、電子機器により実現されてもよく、電子機器は、端末機器又はサーバなどであってもよい。図３に示すように、本実施例では、この自然言語及び知識グラフに基づくテキスト処理装置１００は、
ユーザから入力された、テキストにおける予測オブジェクトの意味表現に基づいて前記テキストを処理することを要求するためのテキスト処理要求を受信するための受信モジュール１１と、
予めトレーニングされた、知識グラフ表現学習及び自然言語表現学習のために用いられる連合学習モデルに前記予測オブジェクトを入力して、前記予測オブジェクトの、前記連合学習モデルが前記知識グラフ表現学習及び前記自然言語表現学習を組み合わせて得た意味表現を取得するための取得モジュール１２と、
前記意味表現に基づいて前記テキストを処理するための処理モジュール１３と、を含み得る。

図４は本願の実施例にて提供される別の自然言語及び知識グラフに基づくテキスト処理装置の構造概略図であり、図４に示すように、上記の自然言語及び知識グラフに基づくテキスト処理装置１００は、
前記受信モジュール１１がユーザから入力されたテキスト処理要求を受信する前に、トレーニングサンプルをトレーニングして、自然言語学習層と、知識グラフ学習層と、前記自然言語学習層と前記知識グラフ学習層を連合させるための連合学習関連層とを含む前記連合学習モデルを取得するためのトレーニングモジュール１４をさらに含む。

１つの実施可能な設計では、前記トレーニングモジュール１４は、前記自然言語学習層において、前記トレーニングサンプルにおける目標トレーニングサンプルの隣接サンプルを決定することと、前記連合学習関連層において、前記隣接サンプルに基づいて、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定することと、前記各エンティティの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、前記知識グラフ意味表現及び前記隣接サンプルに基づいて、前記目標トレーニングサンプルのトレーニング結果を決定することに用いられる。

１つの実施可能な設計では、前記トレーニングモジュール１４は、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記目標トレーニングサンプルの重みを決定するとき、前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、前記エンティティに対する前記目標トレーニングサンプルのＭ個の重みを決定し、ここで、前記Ｍ≧１で、かつ整数である。

１つの実施可能な設計では、前記トレーニングモジュール１４は、前記各エンティティの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定するとき、前記知識グラフ学習層における各エンティティに対して、前記エンティティに対応する重みに基づいて、前記エンティティの知識グラフ意味表現を処理し、複数の処理された知識グラフ意味表現を取得し、前記複数の処理された知識グラフ意味表現に基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定する。

１つの実施可能な設計では、前記トレーニングモジュール１４は、前記知識グラフ意味表現及び前記隣接サンプルに基づいて、前記目標トレーニングサンプルのトレーニング結果を決定した後に、さらに、前記トレーニング結果に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化することに用いられる。

１つの実施可能な設計では、前記トレーニングモジュール１４は、具体的に、前記トレーニング結果が正しいか否かを判断することと、前記トレーニング結果が正しい場合に、励起信号を生成し、前記励起信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を増強することと、前記トレーニング結果が間違っている場合に、ペナルティ信号を生成し、前記ペナルティ信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を調整することに用いられる。

本願の実施例にて提供される装置は、上記の実施例における電子機器が実行する方法に用いることができ、その実現原理と技術的効果は類似しており、ここでは説明は省略する。

本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

図５は本願の実施例の自然言語及び知識グラフに基づくテキスト処理方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図される。電子機器は、さらに、パーソナルデジタルプロセッシング、携帯電話、スマートフォン、ウェアラブル機器、及び他の同様のコンピューティング装置など、様々な形態のモバイル装置を表すことができる。本明細書に示される構成要素、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記述及び／又は要求される本願の実現を限定することを意図しない。

図５に示すように、該電子機器は、１つ又は複数のプロセッサ５０１と、メモリ５０２と、高速インタフェースと低速インタフェースとを含む、各構成要素を接続させるためのインタフェースとを含む。各構成要素は、異なるバスで互いに接続され、共通のマザーボードに実装されてもよいし、又は必要に応じて他の方式で実装されてもよい。プロセッサは、外部入力／出力装置（例えば、インタフェースに結合されたディスプレイ機器）にＧＵＩのグラフィック情報を表示するように、メモリ中又はメモリ上に記憶された命令を含む、電子機器内で実行される命令を処理できる。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリと共に使用してもよい。同様に、それぞれが必要な操作の一部（例えば、サーバアレイ、１組のブレードサーバ、又はマルチプロセッサシステムとして）を提供する複数の電子機器を接続させてもよい。図５では、１つのプロセッサ５０１を例にする。

メモリ５０２は、本願にて提供される非一時的コンピュータ読み取り可能な記憶媒体である。ここで、前記メモリは、少なくとも１つのプロセッサに、本願にて提供される自然言語及び知識グラフに基づくテキスト処理方法を実行させるように、前記少なくとも１つのプロセッサによって実行可能な命令を記憶する。本願の非一時的コンピュータ読み取り可能な記憶媒体は、本願にて提供される自然言語及び知識グラフに基づくテキスト処理方法をコンピュータに実行させるために用いられるコンピュータ命令を記憶する。

メモリ５０２は、非一時的コンピュータ読み取り可能な記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュール、例えば、本願の実施例における自然言語及び知識グラフに基づくテキスト処理方法に対応するプログラム命令／モジュール（例えば、図３と図５に示す受信モジュール１１、取得モジュール１２、処理モジュール１３及びトレーニングモジュール１４）を記憶するために用いられえる。プロセッサ５０１は、メモリ５０２に記憶された非一時的ソフトウェアプログラム、命令及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記の方法の実施例における自然言語及び知識グラフに基づくテキスト処理方法を実現する。

メモリ５０２は、プログラム記憶領域とデータ記憶領域とを含んでもよく、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、電子機器の使用に応じて作成されたデータなどを記憶することができる。また、メモリ５０２は、高速ランダムアクセスメモリを含んでもよいし、また、例えば、少なくとも１つの磁気ディスク記憶機器、フラッシュメモリ機器、又は他の非一時的固体記憶機器などの非一時的メモリを含んでもよい。いくつかの実施例では、メモリ５０２は、プロセッサ５０１から遠隔に配置されたメモリなどを選択することができ、これらの遠隔メモリは、ネットワークを介して電子機器に接続することができる。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。

自然言語及び知識グラフに基づくテキスト処理方法の電子機器は、入力装置５０３と出力装置５０４とをさらに含んでもよい。プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４は、バス又は他の方式で接続されてもよく、図５では、バスによる接続を例にする。

入力装置５０３は、入力された数字又は文字情報を受信し、電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができるもので、例えば、タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ以上のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、ディスプレイ機器、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含んでもよい。該ディスプレイ機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、ディスプレイ機器はタッチスクリーンであってもよい。

本明細書に記述されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合で実現されえる。これらの様々な実施形態は、専用又は汎用のプログラマブルプロセッサであり得、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置にデータ及び命令を送信することができる少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈され得る１つ以上のコンピュータプログラム内で実施されることを含んでもよい。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械語でこれらのコンピュータプログラムを実行してもよい。本明細書で使用される用語「機械可読媒体」及び「コンピュータ可読媒体」は、プログラマブルプロセッサに機械命令及び／又はデータを提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光学ディスク、メモリ、プログラマブル論理機器（ＰＬＤ））を指し、機械可読信号として機械命令を受け取る機械可読媒体を含む。用語「機械可読信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために用いられる任意の信号を指す。

ユーザとの対話機能を提供するために、ここで説明されているシステムと技術は、コンピュータで実行されてもよく、該コンピュータは、ユーザに情報を表示する表示装置（例えばＣＲＴ（陰極線管）やＬＣＤ（液晶ディスプレイ）モニター）、及びキーボードやポインティング装置（例えばマウスやトラックボール）を有し、ユーザは、該キーボード及び該ポインティング装置を介してコンピュータに入力して提供することができる。他の種類の装置はユーザとの対話機能を提供するために用いることができ、例えば、ユーザに提供するフィードバックは、任意の形態の感知フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（声入力、音声入力又は触覚入力を含む）でユーザからの入力を受信することができる。

ここで説明するシステムと技術は、バックエンド部材を含むコンピューティングシステム（例えば、データサーバーとして）、又はミドルウェア部材を含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンド部材を含むコンピューティングシステム（例えば、グラフィックユーザインタフェース又はインターネットブラウザを有するユーザコンピュータであり、ユーザが該グラフィックユーザインタフェース又は該インターネットブラウザを介してここで説明するシステムと技術の実施形態と対話できる）、又はこのようなバックエンド部材、ミドルウェア部材、或いはフロントエンド部材の任意の組み合わせを含むコンピューティングシステム内で実施されてもよい。システムの部材は、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって互に接続されてもよい。通信ネットワークとしては、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどが挙げられる。

コンピューティングシステムは、クライアント及びサーバを含んでもよい。クライアント及びサーバは、一般に、互に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、相応するコンピュータ上で実行され、互にクライアント－サーバ関係を有するコンピュータプログラムによって生成される。

本願の実施例は、連合学習モデルのトレーニング方法をさらに提供し、前記連合学習モデルは、知識グラフ学習層と自然言語学習層とを含み、前記方法は、前記知識グラフ学習層により前記自然言語学習層をトレーニングすることと、トレーニングされた自然言語学習層を用いて前記知識グラフ学習層を改善することとを含む。

本願の実施例の技術的解決手段によれば、電子機器は、ユーザから入力されたテキスト処理要求を受信した後、予めトレーニングされた連合学習モデルにテキストにおける予測オブジェクトを入力して、予測オブジェクトの、連合学習モデルが知識グラフ表現学習及び自然言語表現学習を組み合わせて得た意味表現を学習し、その後、電子機器は意味表現に基づいてテキストを処理する。この過程において、電子機器が連合学習モデルを使用して得た意味表現は、該連合学習モデルが知識グラフ表現学習及び自然言語表現学習を組み合わせて得たもので、それは知識グラフ表現学習と自然言語表現学習を組み合わせ、知識グラフ表現学習のみ、又は自然言語表現学習のみで予測オブジェクトの意味表現を学習することと比較して、連合学習モデルが考慮する要素がより多くより包括的であるため、意味表現の精度を向上させ、ひいてはテキスト処理の精度を高めることができる。また、連合学習モデルのトレーニング過程では、知識グラフ表現学習と自然言語表現学習の過程を連合モデリングすることで、知識グラフ構成要素と自然言語構成要素との間の関連関係を利用して、知識グラフ意味表現と自然言語意味表現をよりよく学習することができる。

上記に示された様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることが理解される。例えば、本開示に記載された各ステップは、並列に実行されても、順次実行されても、異なる順序で実行されてもよく、本出願に開示された技術的解決手段の所望の結果を実現できればよく、本明細書はここで限定しない。

上記した具体的な実施形態は、本出願の保護範囲を限定するものではない。当業者は、設計要件及び他の要因に応じて、様々な補正、組み合わせ、サブコンビネーション、及び置換を行うことができることを理解すべきである。本出願の趣旨と原則の範囲内で行われた変更、同等の置換、及び改善などは、いずれも本出願の保護範囲に含まれるべきである。

Claims (8)

1. 電子機器が、ユーザから入力された、前記電子機器にテキストにおける予測オブジェクトの意味表現に基づいて前記テキストを処理することを要求するテキスト処理要求を受信することと、
   前記電子機器が、予めトレーニングされた、自然言語学習層と、知識グラフ学習層と、前記自然言語学習層と前記知識グラフ学習層を連合させる連合学習関連層とを含む連合学習モデルに前記予測オブジェクトを入力し、前記自然言語学習層は、前記テキストに対して処理して得られた前記予測オブジェクトである単語又は字を前記連合学習関連層に入力し、前記知識グラフ学習層は、前記テキストから認識して得られた前記予測オブジェクトである前記テキストに含まれるエンティティからなる知識グラフを前記連合学習関連層に入力し、前記連合学習関連層は、入力された前記単語又は字、及び前記知識グラフに基づいて、知識グラフ表現学習及び自然言語表現学習を組み合わせて前記予測オブジェクトの意味表現を取得することと、
   前記電子機器が、前記意味表現に基づいて前記テキストを処理することと、を含み、
   前記テキストを処理することとは、読書理解、知能質問応答、機械翻訳、自動書記、知識ベースの補完、知識ベースの推理、知識ベースの質問応答であり、
   前記電子機器が、ユーザから入力されたテキスト処理要求を受信する前に、
   前記電子機器が、トレーニングサンプルをトレーニングして、前記連合学習モデルを取得することをさらに含み、前記トレーニングサンプルは単語又は字であり、
   前記連合学習関連層は１つ又は複数種のリードライトメカニズムから構成され、前記自然言語学習層と、前記連合学習関連層と、前記知識グラフ学習層は、それぞれ相応のサブニューラルネットワークモデルに対応し、
   前記電子機器が、トレーニングサンプルをトレーニングして前記連合学習モデルを取得することは、
   前記電子機器が、前記自然言語学習層において、前記トレーニングサンプルにおける目標トレーニングサンプルの隣接サンプルを決定することと、
   前記電子機器が、前記隣接サンプルに基づいて、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みを決定することと、
   前記電子機器が、前記連合学習関連層において前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、
   前記電子機器が、前記自然言語学習層で、前記知識グラフ意味表現及び前記隣接サンプルに基づいて、前記目標トレーニングサンプルのトレーニング結果を決定することと、を含み、
   前記電子機器が、前記隣接サンプルに基づいて、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みを決定することは、
   前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、前記エンティティに対する前記隣接サンプルのＭ個の重みを決定することを含み、前記ＭはＭ≧１で、かつ整数であり、
   前記電子機器が、前記連合学習関連層において前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することは、
   前記知識グラフ学習層における各エンティティに対して、前記電子機器が、前記連合学習関連層において、それぞれの前記エンティティを前記知識グラフ学習層に入力して得られたそれぞれの前記エンティティの知識グラフ意味表現と対応する重みを乗算して、複数の処理された知識グラフ意味表現を取得することと、
   前記電子機器が前記連合学習関連層で、前記複数の処理された知識グラフ意味表現の和を計算することにより、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、を含む、自然言語及び知識グラフに基づくテキスト処理方法。
2. 前記電子機器が、前記自然言語学習層において前記知識グラフ意味表現及び前記隣接サンプルに基づいて前記目標トレーニングサンプルのトレーニング結果を決定した後に、
   前記電子機器が、前記連合学習関連層において、前記トレーニング結果に基づいて、前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化することをさらに含み、
   前記電子機器が、前記連合学習関連層において前記トレーニング結果に基づいて、前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化することは、
   前記電子機器が、前記連合学習関連層において前記トレーニング結果が正しいか否かを判断することであって、前記トレーニング結果が正しいとは、前記連合学習関連層の前記トレーニング結果と前記目標トレーニングサンプルが一致することである、判断することと、
   前記トレーニング結果が正しい場合に、前記電子機器が、前記連合学習関連層において励起信号を生成し、前記励起信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を増強することと、
   前記トレーニング結果が間違っている場合に、前記電子機器が、前記連合学習関連層においてペナルティ信号を生成し、前記ペナルティ信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を調整することと、を含む、請求項１に記載の自然言語及び知識グラフに基づくテキスト処理方法。
3. 自然言語及び知識グラフに基づくテキスト処理装置であって、電子機器に組み込まれるか、又は、前記電子機器により実現され、
   ユーザから入力された、テキストにおける予測オブジェクトの意味表現に基づいて前記テキストを処理することを要求するテキスト処理要求を受信するための受信モジュールと、
   予めトレーニングされた、自然言語学習層と、知識グラフ学習層と、前記自然言語学習層と前記知識グラフ学習層を連合させる連合学習関連層とを含む連合学習モデルに前記予測オブジェクトを入力し、前記自然言語学習層は、前記テキストに対して処理して得られた前記予測オブジェクトである単語又は字を前記連合学習関連層に入力し、前記知識グラフ学習層は、前記テキストから認識して得られた前記予測オブジェクトである前記テキストに含まれるエンティティからなる知識グラフを前記連合学習関連層に入力し、前記連合学習関連層は、入力された前記単語又は字、及び前記知識グラフに基づいて、知識グラフ表現学習及び自然言語表現学習を組み合わせて前記予測オブジェクトの意味表現を取得する取得モジュールと、
   前記意味表現に基づいて前記テキストを処理する処理モジュールであって、前記テキストを処理することとは、読書理解、知能質問応答、機械翻訳、自動書記、知識ベースの補完、知識ベースの推理、知識ベースの質問応答である処理モジュールと、
   前記受信モジュールがユーザから入力されたテキスト処理要求を受信する前に、トレーニングサンプルをトレーニングして、前記連合学習モデルを取得するトレーニングモジュールと、を含み、前記トレーニングサンプルは単語又は字であり、
   前記連合学習関連層は１つ又は複数種のリードライトメカニズムから構成され、前記自然言語学習層と、前記連合学習関連層と、前記知識グラフ学習層は、それぞれ相応のサブニューラルネットワークモデルに対応し、
   前記トレーニングモジュールは、前記自然言語学習層において、前記トレーニングサンプルにおける目標トレーニングサンプルの隣接サンプルを決定することと、前記連合学習関連層において、前記隣接サンプルに基づいて、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みを決定することと、前記連合学習関連層で、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、前記自然言語学習層で、前記知識グラフ意味表現及び前記隣接サンプルに基づいて、前記目標トレーニングサンプルのトレーニング結果を決定することと、に用いられ、
   前記トレーニングモジュールは、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みを決定するとき、前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、前記エンティティに対する前記隣接サンプルのＭ個の重みを決定し、前記ＭはＭ≧１で、かつ整数であり、
   前記トレーニングモジュールは、前記連合学習関連層で、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定するとき、前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、それぞれの前記エンティティを前記知識グラフ学習層に入力して得られたそれぞれの前記エンティティの知識グラフ意味表現と対応する重みを乗算して、複数の処理された知識グラフ意味表現を取得し、前記複数の処理された知識グラフ意味表現の和を計算することにより、前記目標トレーニングサンプルの知識グラフ意味表現を決定する、自然言語及び知識グラフに基づくテキスト処理装置。
4. 前記トレーニングモジュールは、前記自然言語学習層において前記知識グラフ意味表現及び前記隣接サンプルに基づいて前記目標トレーニングサンプルのトレーニング結果を決定した後に、さらに、前記連合学習関連層において、前記トレーニング結果に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を最適化することにさらに用いられ、
   前記トレーニングモジュールは、前記連合学習関連層において、前記トレーニング結果が正しいか否かを判断することであって、前記トレーニング結果が正しいとは、前記連合学習関連層の前記トレーニング結果と前記目標トレーニングサンプルが一致することである、判断することと、前記トレーニング結果が正しい場合に、前記連合学習関連層において、励起信号を生成し、前記励起信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を増強することと、前記トレーニング結果が間違っている場合に、前記連合学習関連層において、ペナルティ信号を生成し、前記ペナルティ信号に基づいて前記知識グラフ学習層に含まれる複数のエンティティの各々の知識グラフ意味表現を調整することと、に用いられる、請求項３に記載の自然言語及び知識グラフに基づくテキスト処理装置。
5. 少なくとも１つのプロセッサと、
   前記少なくとも１つのプロセッサに通信可能に接続されたメモリと、を含み、ここで、
   前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は前記少なくとも１つのプロセッサによって実行されることにより、前記少なくとも１つのプロセッサに、請求項１又は２に記載の自然言語及び知識グラフに基づくテキスト処理方法を実行させる、電子機器。
6. コンピュータ命令を記憶した非一時的コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、請求項１又は２に記載の自然言語及び知識グラフに基づくテキスト処理方法をコンピュータに実行させるために用いられる、コンピュータ命令を記憶した非一時的コンピュータ読み取り可能な記憶媒体。
7. 連合学習モデルのトレーニング方法であって、
   前記連合学習モデルは、知識グラフ学習層と自然言語学習層とを含み、前記連合学習モデルのトレーニング方法は、
   電子機器が、前記知識グラフ学習層により前記自然言語学習層をトレーニングすることと、
   前記電子機器が、トレーニングされた自然言語学習層を用いて前記知識グラフ学習層を改善することと、を含み、
   前記連合学習モデルは、前記自然言語学習層と前記知識グラフ学習層を連合させ、
   連合学習関連層は１つ又は複数種のリードライトメカニズムから構成され、前記自然言語学習層と、前記連合学習関連層と、前記知識グラフ学習層は、それぞれ相応のサブニューラルネットワークモデルに対応し、
   前記電子機器が、前記知識グラフ学習層により前記自然言語学習層をトレーニングすることと、前記電子機器が、トレーニングされた自然言語学習層を用いて前記知識グラフ学習層を改善することとは、
   前記電子機器が、前記自然言語学習層において、トレーニングサンプルにおける目標トレーニングサンプルの隣接サンプルを決定することであって、前記トレーニングサンプルは単語又は字である、決定することと、
   前記電子機器が、前記連合学習関連層において、前記隣接サンプルに基づいて、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みを決定することと、
   前記電子機器が、前記連合学習関連層において、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、
   前記電子機器が、前記自然言語学習層において、前記知識グラフ意味表現及び前記隣接サンプルに基づいて、前記目標トレーニングサンプルのトレーニング結果を決定することと、を含み、
   前記電子機器が、前記連合学習関連層において、前記隣接サンプルに基づいて、前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みを決定することは、
   前記知識グラフ学習層における各エンティティに対して、前記連合学習関連層において、前記エンティティに対する前記隣接サンプルのＭ個の重みを決定することを含み、前記ＭはＭ≧１で、かつ整数であり、
   前記電子機器が、前記連合学習関連層において前記知識グラフ学習層における各エンティティに対する前記隣接サンプルの重みに基づいて、前記目標トレーニングサンプルの知識グラフ意味表現を決定することは、
   前記知識グラフ学習層における各エンティティに対して、前記電子機器が、前記連合学習関連層において、それぞれの前記エンティティを前記知識グラフ学習層に入力して得られたそれぞれの前記エンティティの知識グラフ意味表現と対応する重みを乗算して、複数の処理された知識グラフ意味表現を取得することと、
   前記電子機器が前記連合学習関連層で、前記複数の処理された知識グラフ意味表現の和を計算することにより、前記目標トレーニングサンプルの知識グラフ意味表現を決定することと、を含む、連合学習モデルのトレーニング方法。
8. コンピュータに請求項１又は２に記載の自然言語及び知識グラフに基づくテキスト処理方法を実行させる、コンピュータプログラム。

Images