JP7220190B2 - 知識表現学習方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

Description

本出願の実施例はコンピュータの技術分野に関し、具体的に自然言語処理、深層学習、ナレッジグラフの技術分野に関し、特に知識表現学習方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関する。

ナレッジベースは、関連データを順序付けて記憶するデータベースを指してもよい。通常、ナレッジベースはネットワーク形態で表されてもよく、ノードがエンティティを表し、エッジがエンティティ間の関係を表す。ネットワーク形態の表現下では、通常、ナレッジベースを計算／記憶／利用するために、専門のナレッジグラフを設計する必要がある。ナレッジグラフを設計するには、手間がかかるという欠点があるだけでなく、データスパースネス問題も伴う。したがって、深層学習に代表される表現学習技術が幅広く注目されている。表現学習は、研究対象の意味情報を低次元で密な実数値のベクトルとして識別することを目的とする。

現在、単語ベクトル空間に並進不変現象が存在する啓発を受けて、ナレッジベースにおける関係をエンティティ間の特定の並進ベクトルと見なすＴｒａｎｓＥモデルが提案されている。三つ組（ｈ，ｒ，ｔ）のそれぞれについて、ＴｒａｎｓＥモデルは関係ｒのベクトルｌ_ｒを、先頭エンティティベクトルｌ_ｈと末尾エンティティベクトルｌ_ｔとの間の並進とする。ＴｒａｎｓＥモデルは、ｌ_ｈ＋ｌ_ｒ≒ｌ_ｔにすることによって関係とエンティティとの効果的な表現を得る。

本出願の実施例は知識表現学習方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。

第１の態様において、本出願の実施例は、ナレッジベースからナレッジグラフのサブグラフをサンプリングするステップと、ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得るステップと、事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得るステップと、を含む知識表現学習方法を提供している。

第２の態様において、本出願の実施例は、ナレッジベースからナレッジグラフのサブグラフをサンプリングするように構成されるサンプリングモジュールと、ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得るように構成されるシリアル化モジュールと、事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得るように構成される学習モジュールと、を含む知識表現学習装置を提供している。

第３の態様において、本出願の実施例は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信可能に接続されるメモリとを備える電子機器であって、メモリに少なくとも１つのプロセッサによって実行されることが可能な命令が記憶されており、命令が少なくとも１つのプロセッサに実行されることで、少なくとも１つのプロセッサに第１の態様のいずれかの実施形態に記載の方法を実行させることができる電子機器を提供している。

第４の態様において、本出願の実施例は、コンピュータに第１の態様のいずれかの実施形態に記載の方法を実行させるためのコンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体を提供している。

第５の態様において、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、第１の態様のいずれかの実施形態に記載の方法を実現するコンピュータプログラムを提供している。

本出願の実施例に係る知識表現学習方法、装置、電子機器、記憶媒体及びコンピュータプログラムは、まずナレッジベースからナレッジグラフのサブグラフをサンプリングし、その後ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得、最後に事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得る。知識表現学習はナレッジベースにおけるエンティティ及び関係表現学習に向け、低次元空間においてエンティティと関係との意味的関連付けを効率的に計算することができ、データスパースネス問題を効果的に解決し、知識獲得、融合及び推論の性能を著しく向上させる。そのうえ、事前学習言語モデルの素晴らしい知識獲得能力及びコンテキスト解析能力により、事前学習言語モデルにより学習された知識表現がナレッジベースにおける複雑な関係をよりよく表現することができる。

このセクションに記述の内容は、本開示の実施例の肝要又は重要な特徴を特定することを意図しておらず、本開示の範囲を限定するものでもないことを理解されたい。本開示の他の特徴は、以下の明細書を通して容易に理解されるであろう。

本出願の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになるであろう。図面は、本出願の技術的解決手段をより良く理解するために使用され、本出願を限定するものではない。

本出願を適用できる例示的なシステムアーキテクチャを示す図である。 本出願に係る知識表現学習方法の一実施例を示すフローチャートである。 本出願に係る知識表現学習方法の別の実施例を示すフローチャートである。 ナレッジグラフのサブグラフを示す概略図である。 マスク行列を示す概略図である。 本出願に係る知識表現学習装置の一実施例を示す構造概略図である。 本出願の実施例の知識表現学習方法を実現するための電子機器のブロック図である。

以下は、理解を容易にするために本出願の実施例の様々な詳細を含む添付図面を参照して、本出願の例示的な実施例を説明するが、それらは単なる例示として見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載された実施例に対して様々な変更及び修正を行うことができることを認識するであろう。同様に、以下の説明では、明確かつ簡潔にするために、周知の機能及び構造の説明を省略する。

なお、本出願の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、添付図面及び実施例を参照しながら、本出願を詳細に説明する。

図１は、本出願の知識表現学習方法又は知識表現学習装置を適用できる実施例の例示的なシステムアーキテクチャ１００が示されている。

図１に示すように、システムアーキテクチャ１００は、データベース１０１、ネットワーク１０２及びサーバ１０３を含んでもよい。ネットワーク１０２は、データベース１０１とサーバ１０３との間に通信リンクの媒体を提供するために用いられる。ネットワーク１０２は、有線、無線通信リンク又は光ファイバケーブル等のような、様々な接続タイプを含んでもよい。

データベース１０１はナレッジベースを記憶するために用いられてもよい。

サーバ１０３は様々なサービスを提供してもよい。例えば、サーバ１０３はデータベース１０１から取得したナレッジベースなどのデータに対して解析などの処理を行って、知識表現のような処理結果を生成することができる。

なお、サーバ１０３は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合には、複数のサーバからなる分散サーバクラスタとして実現されてもよいし、単一のサーバとして実現されてもよい。サーバ１０３がソフトウェアである場合には、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのもの）として実現されてもよいし、単一のソフトウェア又はソフトウェアモジュールとして実現されてもよい。ここでは、特に限定されない。

なお、本出願の実施例に係る知識表現学習方法は、一般的にサーバ１０３によって実行され、それによって、知識表現学習装置は、一般的にサーバ１０３に設けられている。

図１におけるデータベース、ネットワーク及びサーバの数は、単なる例示的なものに過ぎないことを理解されたい。データベース、ネットワーク及びサーバは、必要に応じて任意の数に設けられてもよい。サーバ１０３にナレッジベースが記憶されている場合に、システムアーキテクチャ１００にはデータベース１０１及びネットワーク１０２が設けられなくてもよい。

引き続き本出願に係る知識表現学習方法の一実施例を示すフローチャート２００が示されている図２を参照する。該知識表現学習方法はステップ２０１、ステップ２０２及びステップ２０３を含む。

ステップ２０１：ナレッジベースからナレッジグラフのサブグラフをサンプリングする。

本実施例において、知識表現学習方法の実行主体（例えば図１に示されるサーバ１０３）はナレッジベースから大量のナレッジグラフのサブグラフをサンプリングすることができる。

ナレッジベースは関連データを順序付けて記憶するデータベースを指してもよい。通常、ナレッジベースはネットワーク形態で表されてもよく、ノードがエンティティを表し、エッジがエンティティ間の関係を表す。大規模なナレッジベースはナレッジグラフとも呼ばれ、その基本的な構成はサブジェクト及びオブジェクトの２つのエンティティと、２つのエンティティ間の関係とを含む三つ組である。

通常、上記実行主体が所定のサンプリングポリシーに従ってナレッジベースからナレッジグラフのサブグラフをサンプリングすることができる。具体的には、上記実行主体はナレッジベースにおいて、相互に関係のあるノードの一部をサンプリングすることができ、これらのノードによって表されるエンティティと、それらの相互の関係とが、ナレッジグラフのサブグラフを構成することができる。

ステップ２０２：ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得る。

本実施例において、上記実行主体はナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得ることができる。シリアル化テキストはナレッジグラフのサブグラフにおけるエンティティ及び関係を所定の順序ポリシーに従って組み合わせることができる。

ステップ２０３：事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得る。

本実施例において、上記実行主体は事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得る。

事前学習言語モデルの学習過程は事前学習（Ｐｒｅ－ｔｒａｉｎｉｎｇ）段階及び微調整（Ｆｉｎｅ－ｔｕｎｉｎｇ）段階を含むことができる。事前学習段階においては、大量の教師なしコーパスを用いて事前学習言語モデルを訓練する。微調整段階においては、具体的なＮＬＰ（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，自然言語処理）タスクを完了するように少量の注釈付きコーパスを用いて微調整する。ここで、シリアル化テキストにより事前学習言語モデルを訓練することは事前学習段階に属する。

ＮＬＰ分野において、事前学習言語モデルは複数のＮＬＰタスクで優れた効果を示している。また、事前学習言語モデルは、多くの読解タスク、情報抽出タスクなどのような現実世界の記述及び知識に関する推論を必要とするタスクにおいても非常によく表現され、これは事前学習モデルが優れた知識獲得能力を有し、よりよく知識表現を学習することができることを意味する。選択可能に、事前学習言語モデルは、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ，トランスフォーマーによる双方向のエンコード表現）であってもよい。ＢＥＲＴは深層の双方向表現の事前学習モデルであり、より深い階層でテキストの意味情報を抽出することができる。

事前学習言語モデルはナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとのコンテキスト関係を確定することで、学習したトークンごとの知識表現がそのコンテキスト情報に結合することができ、ナレッジベースにおける複雑な関係をよりよく表現することができる。事前学習言語モデルがナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取るように、上記実行主体はシリアル化テキスト及びナレッジグラフのサブグラフに基づいて、シリアル化テキストに対応するマスク（ＭＡＳＫ）行列を生成することができる。シリアル化テキストに対応するマスク行列はシリアル化テキストにおけるトークン（Ｔｏｋｅｎ）ごとに該シリアル化テキストからトークンを取得する状況を表現することができる。また、ナレッジグラフのサブグラフに含まれる構造情報をさらに表現するために、上記実行主体はシリアル化テキスト及びナレッジグラフのサブグラフに基づいて、シリアル化テキストに対応する階層コードを生成することもできる。シリアル化テキストに対応する階層コードはシリアル化テキストにおけるトークンごとのナレッジグラフのサブグラフにおける階層順序を表現することができる。事前学習言語モデルはシリアル化テキストに対応するマスク行列及び階層コードに従ってシリアル化テキストを読み取り、ナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取ることを実現することで、シリアル化テキストにおけるトークンごとの知識表現を学習により得ることができる。

本出願の実施例に係る知識表現学習方法は、まずナレッジベースからナレッジグラフのサブグラフをサンプリングし、その後ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得、最後に事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得る。知識表現学習はナレッジベースにおけるエンティティ及び関係表現に向けて学習し、低次元空間においてエンティティと関係との意味的関連付けを効率的に計算することができ、データスパースネス問題を効果的に解決し、知識獲得、融合及び推論の性能を著しく向上させることができる。そのうえ、事前学習言語モデルの素晴らしい知識獲得能力及びコンテキスト解析能力により、事前学習言語モデルにより学習された知識表現がナレッジベースにおける複雑な関係をよりよく表現することができる。

さらに、本出願に係る知識表現学習方法の別の実施例のフロー３００が示される図３を参照する。該知識表現学習方法はステップ３０１～ステップ３０８を含む。

ステップ３０１：予め設定されたサンプリング割合でナレッジベースからノードをサンプリングする。

本実施例において、知識表現学習方法の実行主体（例えば図１に示されるサーバ１０３）は予め設定されたサンプリング割合に従ってナレッジベースからノードをサンプリングすることができる。サンプリング方式は、ランダムサンプリングを含むことができるが、これに限定されない。サンプリング割合は、必要に応じて予め設定されていてもよく、例えば０．２である。

ステップ３０２：ノードを始点とし、予め設定されたサンプリング確率に従って子ノードを選択し、予め設定されたサンプリング深さに達するまで連続的にウォークして、ナレッジグラフのサブグラフを得る。

本実施例において、サンプリングしたノードのそれぞれに対して、上記実行主体は該ノードを始点とし、予め設定されたサンプリング確率に従って該ノードのために子ノードを選択し、予め設定されたサンプリング深さに達するまで連続的にウォークして、該ノードに対応するナレッジグラフのサブグラフを得ることができる。ウォーク方式は、ランダムウォークを含むことができるが、これに限定されない。サンプリング確率及びサンプリング深さが必要に応じて予め設定されていてもよく、サンプリング確率が例えば０．５であってもよく、サンプリング深さが例えば３であってもよい。

なお、１つのノードをサンプリングした場合、１つのナレッジグラフのサブグラフを対応して得ることができ、十分な数のノードをサンプリングすることで、十分な数のナレッジグラフのサブグラフを得ることができる。

ステップ３０３：ナレッジグラフのサブグラフを幅優先探索して、シリアル化テキストを得る。

本実施例において、上記実行主体はナレッジグラフのサブグラフを幅優先探索して、シリアル化テキストを得ることができる。

ステップ３０４：シリアル化テキストにおける１トークンに、この１トークンに対応するエンティティ及び関係と、この１トークンに対応するエンティティの親ノード及び子ノードとのみを取得させることにより、シリアル化テキストに対応するマスク行列を構成する。

本実施例において、上記実行主体はシリアル化テキスト及びナレッジグラフのサブグラフに基づいて、シリアル化テキストに対応するマスク行列を生成することができる。具体的には、上記実行主体はシリアル化テキストにおけるトークンごとに、該トークンごとに対応するエンティティ及び関係と、該トークンごとに対応するエンティティの親ノード及び子ノードとのみを取得させることにより、シリアル化テキストに対応するマスク行列を構成することができる。つまり、シリアル化テキストは複数のトークンを含み、シリアル化テキストにおけるいずれかの１トークンを例として、１トークンがこのトークン自体に対応するエンティティ及び関係と、この１トークン自体に対応するエンティティの親ノード及び子ノードとのみを取得させる。

シリアル化テキストに対応するマスク行列はシリアル化テキストにおけるトークンごとに該シリアル化テキストからトークンを取得する状況を表現することができる。マスク行列は、その行列の数がシリアル化テキストにおけるトークン数と等しい対称行列である。マスク行列の行列がその対応するシリアル化テキストにおけるトークンと一対一に対応している。マスク行列における各行について、値が１である要素に対応するトークンが該行の対応するトークンによって取得可能であり、値が０である要素に対応するトークンが該行の対応するトークンによって取得できない。

通常、シリアル化テキストにおける各トークンは、該トークンごとに対応するエンティティ及び関係を取得することができる。また、ナレッジグラフのサブグラフにおけるノード間の接続情報を表現するために、シリアル化テキストにおける各トークンはさらに、該トークンごとに対応するエンティティの親ノード及び子ノードを取得することができる。このように、トークンごとに対応する行において、該トークンに対応するエンティティ及び関係、並びに該トークンに対応するエンティティの親ノード及び子ノードに対応する要素値は全て１であり、残りの要素値は全て０である。

ステップ３０５：シリアル化テキストにおけるトークンごとに対応するエンティティ及び関係のナレッジグラフのサブグラフにおける階層に基づいて、シリアル化テキストに対応する階層コードを生成する。

本実施例において、上記実行主体はシリアル化テキスト及びナレッジグラフのサブグラフに基づいて、シリアル化テキストに対応する階層コードを生成することができる。具体的には、上記実行主体はシリアル化テキストにおけるトークンごとに対応するエンティティ及び関係のナレッジグラフのサブグラフにおける階層に基づいて、シリアル化テキストに対応する階層コードを生成することができる。

シリアル化テキストに対応する階層コードはシリアル化テキストにおけるトークンごとのナレッジグラフのサブグラフにおける階層順序に従って、対応する数字コードを順次付与することができる。ルートノードに対応するトークンの階層コードは全て１であり、ルートノードの子ノードに対応するトークン、及びルートノードと子ノードとの関係に対応するトークンの階層コードは全て２であり、順次類推される。なお、関係は、その対応するテールノードに対応する階層コードと同じである。

ステップ３０６：非構造化テキストを取得する。

本実施例において、上記実行主体は非構造化テキストを取得することができる。非構造化テキストのトークン間に対応関係が存在しない。

ステップ３０７：非構造化テキストに対応するマスク行列及び階層コードを生成する。

本実施例において、上記実行主体は非構造化テキストに対応するマスク行列及び階層コードを生成することができる。

非構造化テキストに対応するマスク行列がオリジナルの事前学習モデルと同じであり、すべて１の行列であり、その行列の数が非構造化テキストにおけるトークン数に等しい。マスク行列の行列がその対応する非構造化テキストにおけるトークンと一対一に対応している。マスク行列における各行について、値が１である要素に対応するトークンが該行の対応するトークンによって取得可能であり、値が０である要素に対応するトークンが該行の対応するトークンによって取得できない。非構造化テキストに対応するマスク行列がすべて１の行列であるため、非構造化テキストにおけるトークンごとに非構造化テキストにおける全てのトークンを取得することができる。

非構造化テキストに対応する階層コードは非構造化テキストにおけるトークンごとの階層順序に従って、対応する数字コードを順次付与することができる。非構造化テキストが単一階層であるため、対応する階層コードがすべて０のコードである。

ステップ３０８：シリアル化テキスト及び非構造化テキストを事前学習言語モデルに交互に入力し、事前学習言語モデルを用いてシリアル化テキストに対応するマスク行列及び階層コードに従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得て、事前学習言語モデルを用いて非構造化テキストに対応するマスク行列及び階層コードに従って非構造化テキストを読み取り、非構造化テキストにおけるトークンごとの知識表現を学習により得る。

本実施例において、上記実行主体はシリアル化テキスト及び非構造化テキストを事前学習言語モデルに交互に入力して、対応する知識表現をそれぞれ学習することができる。

シリアル化テキストを入力する際に、事前学習言語モデルはシリアル化テキストに対応するマスク行列及び階層コードに従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得ることができる。マスク行列及び階層コードは事前学習言語モデルを制御してナレッジグラフのサブグラフにおける階層構造を表現することができる。通常、シリアル化テキストに対応するマスク行列に従ってシリアル化テキストを読み取ると、ナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取ることを実現できる。また、シリアル化テキストを読み取る際に、シリアル化テキストに対応する階層コードを結合すれば、ナレッジグラフのサブグラフに含まれる構造情報をさらに取得することができる。

同様に、非構造化テキストを入力する際に、事前学習言語モデルは非構造化テキストに対応するマスク行列及び階層コードに従って非構造化テキストを読み取り、非構造化テキストにおけるトークンごとの知識表現を学習により得ることができる。

図３から分かるように、図２の対応する実施例に比べて、本実施例における知識表現学習方法のフロー３００は知識表現学習ステップを強調している。これにより、本実施例に記載の技術的解決手段において、シリアル化テキストに対応するマスク行列及び階層コードに従ってシリアル化テキストを読み取ると、ナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取ることを実現するだけでなく、ナレッジグラフのサブグラフに含まれる構造情報を取得することもできる。また、事前学習時に、シリアル化テキスト及び非構造化テキストを交互に入力することで、事前学習言語モデルがナレッジグラフのシリアル化テキスト及び非構造化テキストを同時に利用することができ、ナレッジグラフ情報を利用すると同時に、大量の非構造化テキストから多くの追加の知識を補充し、ナレッジグラフ及び非構造化テキストにおける情報を十分に利用することができる。

理解を容易にするために、以下では、本出願の実施例の知識表現学習方法を実現することができる応用シナリオを提供する。図４に示すように、ナレッジグラフのサブグラフを示す概略図が示されている。具体的には、まずナレッジベースからエンティティ「張三」を表すノードをサンプリングし、その後エンティティ「張三」を表すノードのためにエンティティ「李四」を表すノード及びエンティティ「王五」を表すノードを選択し、その後、引き続きウォークし、エンティティ「李四」を表すノードのためにエンティティ「中国」を表すノードを選択し、エンティティ「王五」を表すノードのためにエンティティ「天津」を表すノード及びエンティティ「ＸＸ」を表すノードを選択し、エンティティ「ＸＸ」を表すノードのためにエンティティ「趙六」を表すノードを引き続き選択し、最後にこれらのエンティティとエンティティとの間の関係に基づいて、ナレッジグラフのサブグラフを生成することができる。図４におけるナレッジグラフのサブグラフを幅優先探索して、「張三妻李四友達王五国籍中国祖籍天津代表作品ＸＸ編曲趙六（張三の妻が李四、友達が王五、国籍が中国、祖籍が天津、代表作品がＸＸ、編曲が趙六である）」のシリアル化テキストを得る。直接シリアル化することでテキスト全体の意味が不明確であるため、意味を明確にするために、図４におけるナレッジグラフのサブグラフにおける順序に従って読み取る必要がある。図５に示すように、マスク行列の概略図が示されている。具体的には、シリアル化テキストにおける各トークンは、該トークンに対応するエンティティ及び関係と、該トークンに対応するエンティティの親ノード及び子ノードとを取得することができる。このように、トークンごとに対応する行において、該トークンに対応するエンティティ及び関係に対応する要素値、並びに該トークンに対応するエンティティの親ノード及び子ノードに対応する要素値は全て１であり、残りの要素値は全て０である。区分を容易にするために、トークンごとに対応する行において、該トークンに対応するエンティティ及び関係に対応する要素が濃い灰色で表され、該トークンに対応するエンティティの親ノード及び子ノードに対応する要素が薄い灰色で表され、残りの要素が白色で表される。例えば、シリアル化テキストにおけるトークン「李」に対応する行において、トークン「李」に対応するエンティティ「李四」及び関係「妻」に対応する要素が濃い灰色で表され、トークン「李」に対応するエンティティ「李四」の親ノードで表されるエンティティ「張三」及び子ノードで表されるエンティティ「中国」並びに関係「国籍」に対応する要素が薄い灰色で表され、残りの要素が白色で表される。また、図４におけるナレッジグラフのサブグラフに含まれる構造情報を表現するために、シリアル化テキストに１つの階層コードを追加する。具体的には、シリアル化テキストにおけるトークンごとのナレッジグラフのサブグラフにおける階層順序に従って、対応する数字コードを順次付与する。例えば、関係「妻」及びエンティティ「李四」の階層コードがいずれも２である。この場合に、シリアル化テキストを入力する際に、事前学習言語モデルがマスク行列及び階層コードでハイシリアル化テキストを読み取ることで、例えば「張三妻李四（張三の妻が李四）」、「張三友達王五（張三の友達が王五）」などの頭尾ノードエンティティ及び関係に対応するテキストからなる短句を取得し、即ち、シリアル化テキストにおけるトークンごとの知識表現を学習により得ることができる。

さらに図６を参照して、上記の各図に示される方法の実施態様として、本出願は、図２に示される方法の実施例に対応する知識表現学習装置の一実施例を提供し、当該装置は、具体的に様々な電子機器に適用可能である。

図６に示すように、本実施例の知識表現学習装置６００はサンプリングモジュール６０１、シリアル化モジュール６０２及び学習モジュール６０３を含むことができる。サンプリングモジュール６０１は、ナレッジベースからナレッジグラフのサブグラフをサンプリングするように構成され、シリアル化モジュール６０２は、ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得るように構成され、学習モジュール６０３は、事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得るように構成される。

本実施例において、知識表現学習装置６００のサンプリングモジュール６０１、シリアル化モジュール６０２及び学習モジュール６０３の具体的な処理及びそれらによる技術的効果は、それぞれ、図２の対応する実施例におけるステップ２０１～２０３の関連説明を参照してもよく、ここでその説明を省略する。

本実施例のいくつかの選択可能な実施態様において、サンプリングモジュール６０１はさらに、予め設定されたサンプリング割合でナレッジベースからノードをサンプリングし、ノードを始点とし、予め設定されたサンプリング確率に従って子ノードを選択し、予め設定されたサンプリング深さに達するまで連続的にウォークして、ナレッジグラフのサブグラフを得るように構成される。

本実施例のいくつかの選択可能な実施態様において、シリアル化モジュール６０２はさらに、ナレッジグラフのサブグラフを幅優先探索して、シリアル化テキストを得るように構成される。

本実施例のいくつかの選択可能な実施態様において、学習モジュール６０３は、シリアル化テキスト及びナレッジグラフのサブグラフに基づいて、シリアル化テキストに対応するマスク行列及び階層コードを生成するように構成される生成サブモジュール（図示せず）と、シリアル化テキストを事前学習言語モデルに入力し、事前学習言語モデルを用いてシリアル化テキストに対応するマスク行列及び階層コードに従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得るように構成される学習サブモジュール（図示せず）と、を含む。

本実施例のいくつかの選択可能な実施態様において、生成サブモジュールはさらに、シリアル化テキストにおける１トークンに、このトークンに対応するエンティティ及び関係と、このトークンに対応するエンティティの親ノード及び子ノードとのみを取得させることにより、シリアル化テキストに対応するマスク行列を構成し、シリアル化テキストにおけるトークンごとに対応するエンティティ及び関係のナレッジグラフのサブグラフにおける階層に基づいて、シリアル化テキストに対応する階層コードを生成するように構成される。

本実施例のいくつかの選択可能な実施態様において、学習サブモジュールはさらに、非構造化テキストを取得することと、非構造化テキストに対応するマスク行列及び階層コードを生成することであって、非構造化テキストに対応するマスク行列がすべて１の行列であり、非構造化テキストに対応する階層コードがすべて０のコードであることと、シリアル化テキスト及び非構造化テキストを事前学習言語モデルに交互に入力し、事前学習言語モデルを用いてシリアル化テキストに対応するマスク行列及び階層コードに従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得て、事前学習言語モデルを用いて非構造化テキストに対応するマスク行列及び階層コードに従って非構造化テキストを読み取り、非構造化テキストにおけるトークンごとの知識表現を学習により得ることと、を行うように構成される。

本出願の実施例によれば、本出願は電子機器及び可読記憶媒体をさらに提供する。

図７に示すように、本出願の実施例に係る知識表現学習方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図される。電子機器はさらに、パーソナルデジタル処理、セルラ電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示される構成要素、それらの接続及び関係、並びにそれらの機能は、単に例示的なものに過ぎず、本明細書に記載され、及び／又は特許請求される本出願の実施を限定することを意図するものではない。

図７に示すように、該電子機器は、１つ又は複数のプロセッサ７０１と、メモリ７０２と、各構成要素を接続するための、高速インタフェース及び低速インタフェースを含むインタフェースとを含む。各構成要素は、異なるバスにより相互に接続されており、共通のマザーボード上に実装されてもよいし、又は必要に応じて他の形態で実装されてもよい。プロセッサは、電子機器内で実行する命令を処理することができ、その命令には、インタフェースに結合される表示デバイスなどの外部入出力装置上にＧＵＩのグラフィック情報を表示するためにメモリに記憶された命令が含まれる。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は、（例えば、サーバアレイ、ブレードサーバ群、又はマルチプロセッサシステムとして）必要な動作の一部を提供する。図７において、プロセッサ７０１を例としている。

メモリ７０２は、本出願に係る非一時的コンピュータ可読記憶媒体である。前記メモリは、本出願に係る知識表現学習方法を少なくとも１つのプロセッサによって実行させるために、前記少なくとも１つのプロセッサによって実行可能な命令を記憶している。本出願の非一時的コンピュータ可読記憶媒体は、コンピュータに本出願に係る知識表現学習方法を実行させるためのコンピュータ命令を記憶する。

メモリ７０２は、非一時的コンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、例えば本出願の実施例における知識表現学習方法に対応するプログラム命令／モジュール（例えば、図６に示すサンプリングモジュール６０１、シリアル化モジュール６０２及び学習モジュール６０３を含む）を記憶するように構成されてもよい。プロセッサ７０１は、メモリ７０２に格納された非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち上記の方法の実施例における知識表現学習方法を実行する。

メモリ７０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができるプログラム記憶領域と、知識表現学習方法を実現する電子機器の使用によって作成されるデータなどを記憶することができるデータ記憶領域とを含むことができる。なお、メモリ７０２は、高速ランダムアクセスメモリを含んでもよく、さらに、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートメモリデバイスなどの、非一時的メモリを含んでもよい。いくつかの実施例では、メモリ７０２は、選択可能に、プロセッサ７０１に対して遠隔に設けられるメモリを含んでもよく、これらのリモートメモリは、知識表現学習方法を実行する電子機器にネットワークを介して接続されてもよい。上記ネットワークの例としては、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク及びこれらの組み合わせを含むことができるが、これらに限定されない。

知識表現学習方法を実行する電子機器はさらに、入力装置７０３及び出力装置７０４を含むことができる。プロセッサ７０１、メモリ７０２、入力装置７０３及び出力装置７０４はバスで接続されていてもよいし、他の方式で接続されていてもよいが、図７ではバスで接続されている例を示している。

入力装置７０３は、入力された数字又は文字情報を受信し知識表現学習方法を実行する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成するための装置であり、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置７０４は、表示デバイス、ＬＥＤのような補助照明装置及び振動モータのような触覚フィードバック装置などを含むことができる。該表示デバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、表示デバイスはタッチスクリーンであってもよい。

本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置にデータ及び命令を送信することができる、専用又は汎用のプログラマブルプロセッサであり得る少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈可能な１つ以上のコンピュータプログラムで実現することを含むことができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高度なプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ言語／機械語で実装されてもよい。本明細書で使用されるように、用語「機械可読媒体」及び「コンピュータ可読媒体」とは、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／又はデータを提供するための任意のコンピュータプログラム製品、デバイス、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。

ユーザとのインタラクションを提供するために、本明細書に記載されたシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有するコンピュータ上で実装されてもよい。他の種類の装置はさらに、ユーザとのインタラクションを提供するために用いられてもよく、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、音響入力、音声入力又は触覚入力を含む任意の形態で受信されてもよい。

バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとして）、ミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであって、ユーザは、該グラフィカルユーザインタフェース又は該ウェブブラウザを介して、本明細書で説明するシステム及び技術の実施形態と対話することができる）、又はそのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに、本明細書で説明するシステム及び技術を実現することができる。システムの構成要素を、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットが挙げられる。

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般的に互いに離れており、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、互いにクライアント‐サーバ関係を有するコンピュータプログラムを対応するコンピュータ上で動作することによって生成される。

本出願の技術的解決手段によれば、まずナレッジベースからナレッジグラフのサブグラフをサンプリングし、その後ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得、最後に事前学習言語モデルを用いてナレッジグラフのサブグラフにおける順序に従ってシリアル化テキストを読み取り、シリアル化テキストにおけるトークンごとの知識表現を学習により得る。知識表現学習はナレッジベースにおけるエンティティ及び関係表現に向けて学習し、低次元空間においてエンティティと関係との意味的関連付けを効率的に計算することができ、データスパースネス問題を効果的に解決し、知識獲得、融合及び推論の性能を著しく向上させることができる。そのうえ、事前学習言語モデルの素晴らしい知識獲得能力及びコンテキスト解析能力により、事前学習言語モデルにより学習された知識表現がナレッジベースにおける複雑な関係をよりよく表現することができる。

なお、上記に示された様々な形態のフローが、ステップの順序変更、追加又は削除により使用されてもよい。例えば、本出願に記載された各ステップは、並列に実行されても、順次的に実行されても、異なる順序で実行されてもよく、本明細書に開示された技術的解決手段の所望の結果を実現できる限り、本明細書に限定されない。

上記の具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者には明らかなように、設計要求及び他の要素に応じて、様々な修正、組み合わせ、サブ組み合わせ及び置換を行うことができる。本出願の精神及び原則の範囲内で行われたいかなる修正、均等置換及び改良なども、いずれも本出願の保護範囲内に含まれるべきである。

Claims (13)

1. 知識表現学習装置により実行される方法であって、
   ナレッジベースからツリー構造となるナレッジグラフのサブグラフをサンプリングするステップであって、前記サブグラフは、ノードがエンティティを表すテキストに該当し、エッジが、エンティティ間の関係を表すテキストに該当するものである、ステップと、
   前記ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得るステップであって、前記シリアル化は、前記サブグラフにおけるノードの該当するテキスト及びエッジの該当するテキストにおけるトークンをトークンのシリアルに組み立てる処理であり、前記シリアル化テキストは、前記組み立てられたトークンのシリアルである、ステップと、
   前記シリアル化テキスト及び前記ナレッジグラフのサブグラフに基づいて、前記シリアル化テキストに対応するマスク行列及び階層コードを生成するステップであって、前記マスク行列は、行列が前記シリアル化テキストにおけるトークンと一対一に対応しており、各行について、各要素の値は、当該要素の対応するトークンが、前記当該行の対応するトークンにより取得可能か否かを表すように構成され、前記取得可能とは、取得するトークン及び取得されるトークンが、知識表現としての同一の短句の構成に用いられることを意味し、前記階層コードは、前記ナレッジグラフのサブグラフにおいて、前記シリアル化テキストにおける各トークンの階層を表すものであり、エンティティの対応するノードの階層を当該エンティティに含まれるトークンの階層とし、関係の対応する尾ノードの階層を、当該関係に含まれるトークンの階層とする、ステップと、
   前記シリアル化テキストを事前学習言語モデルに入力し、前記事前学習言語モデルに、前記シリアル化テキストの対応するマスク行列と階層コードの順序とに従って前記シリアル化テキストを読み取り、前記シリアル化テキストにおけるトークンごとの知識表現を得ることを学習させるステップであって、前記知識表現は、頭尾ノードのエンティティ及び関係に対応するテキストからなる短句のセットである、ステップと、
   を含む方法。
2. 前記ナレッジベースからナレッジグラフのサブグラフをサンプリングするステップは、
   予め設定されたサンプリング割合で前記ナレッジベースからノードをサンプリングすることと、
   前記ノードを始点とし、予め設定されたサンプリング確率に従って子ノードを選択し、予め設定されたサンプリング深さに達するまで連続的にウォークして、前記ナレッジグラフのサブグラフを得ることと、を含む請求項１に記載の方法。
3. 前記の前記ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得るステップは、
   前記ナレッジグラフのサブグラフを幅優先探索して、前記シリアル化テキストを得ることを含む請求項１に記載の方法。
4. 前記の前記シリアル化テキスト及び前記ナレッジグラフのサブグラフに基づいて、前記シリアル化テキストに対応するマスク行列及び階層コードを生成することは、
   前記シリアル化テキストにおける１トークンに、前記１トークンに対応するエンティティ及び関係と、前記１トークンに対応するエンティティの親ノード及び子ノードとのみを取得させるように、前記シリアル化テキストに対応するマスク行列を構成することと、
   前記シリアル化テキストにおけるトークンごとに対応するエンティティ及び関係の前記ナレッジグラフのサブグラフにおける階層に基づいて、前記シリアル化テキストに対応する階層コードを生成することと、を含む請求項１に記載の方法。
5. 前記の前記シリアル化テキストを前記事前学習言語モデルに入力し、前記事前学習言語モデルを用いて前記シリアル化テキストに対応するマスク行列及び階層コードに従って前記シリアル化テキストを読み取り、前記シリアル化テキストにおけるトークンごとの知識表現を学習により得ることは、
   非構造化テキストを取得することと、
   前記非構造化テキストに対応するマスク行列及び階層コードを生成することであって、前記非構造化テキストに対応するマスク行列がすべて１の行列であり、前記非構造化テキストに対応する階層コードがすべて０のコードである、ことと、
   前記シリアル化テキスト及び前記非構造化テキストを前記事前学習言語モデルに交互に入力し、前記事前学習言語モデルを用いて前記シリアル化テキストに対応するマスク行列及び階層コードに従って前記シリアル化テキストを読み取り、前記シリアル化テキストにおけるトークンごとの知識表現を学習により得て、前記事前学習言語モデルを用いて前記非構造化テキストに対応するマスク行列及び階層コードに従って前記非構造化テキストを読み取り、前記非構造化テキストにおけるトークンごとの知識表現を学習により得ることと、を含む請求項１に記載の方法。
6. ナレッジベースからツリー構造となるナレッジグラフのサブグラフをサンプリングするように構成されるサンプリングモジュールであって、前記サブグラフは、ノードがエンティティを表すテキストに該当し、エッジが、エンティティ間の関係を表すテキストに該当するものである、モジュールと、
   前記ナレッジグラフのサブグラフをシリアル化して、シリアル化テキストを得るように構成されるシリアル化モジュールであって、前記シリアル化は、前記サブグラフにおけるノードの該当するテキスト及びエッジの該当するテキストにおけるトークンをトークンのシリアルに組み立てる処理であり、前記シリアル化テキストは、前記組み立てられたトークンのシリアルである、モジュールと、
   前記シリアル化テキスト及び前記ナレッジグラフのサブグラフに基づいて、前記シリアル化テキストに対応するマスク行列及び階層コードを生成する生成モジュールであって、前記マスク行列は、行列が前記シリアル化テキストにおけるトークンと一対一に対応しており、各行について、各要素の値は、当該要素の対応するトークンが、前記当該行の対応するトークンにより取得可能か否かを表すように構成され、前記取得可能とは、取得するトークン及び取得されるトークンが、知識表現としての同一の短句の構成に用いられることを意味し、前記階層コードは、前記ナレッジグラフのサブグラフにおいて、前記シリアル化テキストにおける各トークンの階層を表すものであり、エンティティの対応するノードの階層を当該エンティティに含まれるトークンの階層とし、関係の対応する尾ノードの階層を、当該関係に含まれるトークンの階層とする、モジュールと、
   前記シリアル化テキストを事前学習言語モデルに入力し、前記事前学習言語モデルに、前記シリアル化テキストの対応するマスク行列と階層コードの順序とに従って前記シリアル化テキストを読み取り、前記シリアル化テキストにおけるトークンごとの知識表現を得ることを学習させるように構成される学習モジュールであって、前記知識表現は、頭尾ノードのエンティティ及び関係に対応するテキストからなる短句のセットである、モジュールと、を含む知識表現学習装置。
7. 前記サンプリングモジュールはさらに、
   予め設定されたサンプリング割合で前記ナレッジベースからノードをサンプリングし、
   前記ノードを始点とし、予め設定されたサンプリング確率に従って子ノードを選択し、予め設定されたサンプリング深さに達するまで連続的にウォークして、前記ナレッジグラフのサブグラフを得るように構成される請求項６に記載の装置。
8. 前記シリアル化モジュールはさらに、
   前記ナレッジグラフのサブグラフを幅優先探索して、前記シリアル化テキストを得るように構成される請求項６に記載の装置。
9. 前記生成モジュールはさらに、
   前記シリアル化テキストにおける１トークンに、前記１トークンに対応するエンティティ及び関係と、前記１トークンに対応するエンティティの親ノード及び子ノードとのみを取得させるように、前記シリアル化テキストに対応するマスク行列を構成し、
   前記シリアル化テキストにおけるトークンごとに対応するエンティティ及び関係の前記ナレッジグラフのサブグラフにおける階層に基づいて、前記シリアル化テキストに対応する階層コードを生成するように構成される請求項６に記載の装置。
10. 前記学習モジュールはさらに、
    非構造化テキストを取得することと、
    前記非構造化テキストに対応するマスク行列及び階層コードを生成することであって、前記非構造化テキストに対応するマスク行列がすべて１の行列であり、前記非構造化テキストに対応する階層コードがすべて０のコードである、ことと、
    前記シリアル化テキスト及び前記非構造化テキストを前記事前学習言語モデルに交互に入力し、前記事前学習言語モデルを用いて前記シリアル化テキストに対応するマスク行列及び階層コードに従って前記シリアル化テキストを読み取り、前記シリアル化テキストにおけるトークンごとの知識表現を学習により得て、前記事前学習言語モデルを用いて前記非構造化テキストに対応するマスク行列及び階層コードに従って前記非構造化テキストを読み取り、前記非構造化テキストにおけるトークンごとの知識表現を学習により得ることと、
    を行うように構成される請求項６に記載の装置。
11. １つ又は複数のプロセッサと、
    １つ又は複数のプログラムが格納されている記憶装置と、を含み、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合に、前記１つ又は複数のプロセッサに請求項１～５のいずれか一項に記載の方法を実現させる電子機器。
12. コンピュータプログラムが格納されているコンピュータ可読媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１～５のいずれか一項に記載の方法を実現するコンピュータ可読媒体。
13. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１～５のいずれか一項に記載の方法を実現するコンピュータプログラム。

Images