JP7095209B2 - グラフニューラルネットワークをプレトレーニングする方法、プログラム及び装置 - Google Patents

Description

本出願は、人工知能技術の分野に関し、特に、深層学習技術の分野でグラフニューラルネットワークをプレトレーニングする方法、装置、電子機器、プログラム及び可読記憶媒体に関する。

従来技術では、グラフニューラルネットワーク（ＧＮＮ、Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のプレトレーニングを行う場合に、通常、Ｄｅｅｐｗａｌｋ、ＬＩＮＥ、Ｎｏｄ２ｖｅｃ、Ｄｅｅｐ Ｇｒａｐｈ Ｉｎｆｏｍａｘなどの方式を採用する。ただし、Ｄｅｅｐｗａｌｋ、ＬＩＮＥ、Ｎｏｄ２ｖｅｃなどのワンダリングアルゴリズムを採用してグラフニューラルネットワークのプレトレーニングを行うと、一方で、依然としてノードレベルのプレトレーニングに属する一方で、他方で、グラフ内のノード自体の特徴情報は無視されることが多く、プレトレーニングして取得されたグラフニューラルネットワークの効果は悪く、Ｄｅｅｐ Ｇｒａｐｈ Ｉｎｆｏｍａｘモデルもノードレベルのプレトレーニングモデルに属し、グラフレベルに基づいてグラフニューラルネットワークのプレトレーニングを実現することを考慮していない。

本出願は、技術的問題を解決するために採用する技術案は、グラフニューラルネットワークをプレトレーニングする方法を提供することであり、トレーニング対象となるオリジナルサンプルを取得し、各オリジナルサンプルを増幅して、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得し、各オリジナルサンプル、及び各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成し、それぞれ、各サンプルグループにおけるオリジナルサンプル、及び他のサンプルの１つをグラフニューラルネットワークの入力として、前記グラフニューラルネットワークが、前記グラフニューラルネットワークが収束するまで、プレトレーニングされることを含む。

本出願は、技術的問題を解決するために採用する技術案は、グラフニューラルネットワークをプレトレーニングする装置を提供することであり、トレーニング対象となるオリジナルサンプルを取得するための取得ユニットと、各オリジナルサンプルを増幅して、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得するための処理ユニットと、各オリジナルサンプル、及び各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成するための構成ユニットと、それぞれ、各サンプルグループにおけるオリジナルサンプル、及び他のサンプルの１つをグラフニューラルネットワークの入力として、前記グラフニューラルネットワークが、前記グラフニューラルネットワークが収束するまで、プレトレーニングされるためのトレーニングユニットとを含む。

上記の出願における一実施例は、例えば、以下の利点又は有益な効果を有する。本出願は、グラフニューラルネットワークに対してグラフレベルのプレトレーニングを行うことを実現することができる。オリジナルサンプルに対応する異なるサンプルを取得し対比学習の方式を使用してグラフニューラルネットワークをプレトレーニングするという技術的手段を採用したので、従来技術がノードレベルに基づいてグラフニューラルネットワークのプレトレーニングしか実行できないという技術的問題は克服され、グラフニューラルネットワークに対してグラフレベルのプレトレーニングを行うという技術的効果を実現するようになる。

上記の好適な形態が有する他の効果は、以下、具体的な実施例と結びつけて説明される。

添付の図面は、この方案をよりよく理解するためのものであり、本出願の制限を構築するものではない。
本出願による第１の実施例の模式図である。 本出願による第２の実施例の模式図である。 本出願の実施例にかかるグラフニューラルネットワークをプレトレーニングする方法を実現するための電子機器のブロック図である。

以下、図面に基づいて、本出願の例示的な実施例を記述する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。明らか、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

図１は、本出願による第１の実施例の模式図である。図１に示すように、本実施例にかかるグラフニューラルネットワークをプレトレーニングする方法は、具体的に、以下のステップを含むことができる。
Ｓ１０１において、トレーニング対象となるオリジナルサンプルを取得する。
Ｓ１０２において、各オリジナルサンプルを増幅して、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得する。
Ｓ１０３において、各オリジナルサンプル、及び各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成する。
Ｓ１０４において、前記グラフニューラルネットワークが収束するまで、それぞれ、各サンプルグループにおけるオリジナルサンプル、及び他のサンプルの１つをグラフニューラルネットワークの入力として、前記グラフニューラルネットワークをプレトレーニングする。

本実施例にかかるグラフニューラルネットワークをプレトレーニングする方法によれば、オリジナルサンプルに対応する異なるサンプルを取得することにより、対比学習の方式に基づいてグラフニューラルネットワークのグラフレベルのプレトレーニングを行うことを実現する。なお、グラフニューラルネットワークは、グラフ構造データの深層学習アーキテクチャに使用され、本実施例にかかるプレトレーニングして取得されたグラフニューラルネットワークにより、２つのグラフが類似するかどうかを判断することができる。

本実施例では、取得されたトレーニング対象となるオリジナルサンプルのタイプはグラフ（Ｇｒａｐｈ）であり、若干のノード（Ｎｏｄｅ）、及び二つのノードを接続するエッジ（Ｅｄｇｅ）で構成される図形であり、異なるノードの間の関係を表すために用いられる。

従って、本実施例では、取得されたトレーニング対象となるオリジナルサンプルはソーシャルネットワークグラフであり（ユーザはノードであり、ユーザ関係はエッジである）、分子構造グラフ（原子はノードであり、化学結合はエッジである）、オンラインショッピンググラフ（ユーザ及び商品はノードであり、ユーザと商品との接続はエッジである）などであってもよい。

本実施例では、トレーニング対象となるオリジナルサンプルを取得した後に、各オリジナルサンプルを増幅することで、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得する。つまり、本実施例では、サンプルを増幅する方式により、各オリジナルサンプルに対応するトリプルを取得することができ、各トリプルには、オリジナルサンプル、オリジナルサンプルに対応するポジティブサンプ、及びオリジナルサンプルに対応するネガティブサンプルを含む。

取得されたトレーニング対象となるオリジナルサンプルはグラフであるので、本実施例では、各オリジナルサンプルを増幅して各オリジナルサンプルに対応するポジティブサンプルを取得する場合には、一部のノードの属性のマスキング、一部のエッジの属性のマスキング、一部のノード間のエッジの増加及び一部のノード間のエッジの削除のうちの少なくとも一つにより、各オリジナルサンプルを処理し、処理結果を、各オリジナルサンプルに対応するポジティブサンプルとするという方式を採用することができる。

なお、本実施例では、一部のノードの属性をマスキングにすることでオリジナルサンプルを処理する場合に、第１の予め設定された確率に従って、オリジナルサンプルにおけるノードの属性を０に設置でき、即ち、オリジナルサンプルにおける一部のノードには属性がない。本実施例では、一部のエッジの属性をマスキングにすることでオリジナルサンプルを処理する場合に、第２の予め設定された確率に従って、オリジナルサンプルにおけるエッジの属性を０に設置でき、即ち、オリジナルサンプルにおける一部のエッジには属性がない。本実施例では、一部のノード間のエッジを増加することでオリジナルサンプルを処理する場合に、第３の予め設定された確率に従って、二つのノードをランダムに接続でき、即ち、オリジナルサンプルにおける一部のノードに他のノードとの関係を追加する。本実施例では、一部のノード間のエッジを削除することでオリジナルサンプルを処理する場合に、第４の予め設定された確率に従って、ノード間のエッジを削除でき、即ち、オリジナルサンプルにおける一部のノードについて、他のノードとの関係を削除する。

本実施例における第１の予め設定された確率、第２の予め設定された確率、第３の予め設定された確率及び第４の予め設定された確率は同じ数値であってもよく、異なる数値であってもよく、ユーザが実際の適用シナリオに応じて設置してもよいと理解される。

本実施例では、オリジナルサンプルにおける一部のノードの属性、一部のエッジの属性又は一部の構造を変更する方式により、ポジティブサンプルを取得し、オリジナルサンプルと、増幅して取得されたポジティブサンプルとの間に一定の差があるが、存在している差はオリジナルサンプルに小さく影響し、グラフニューラルネットワークがオリジナルサンプルとポジティブサンプルとを区別できるのに不十分である。従って、上記のオリジナルサンプルを増幅してポジティブサンプルを取得する方式により、トレーニングして取得されたグラフニューラルネットワークは、一定の類似度を持つ２つのグラフを類似すると判定でき、これにより、グラフの間が類似するかどうかを判断する際のグラフニューラルネットワークの汎化能力は向上される。

本実施例では、各オリジナルサンプルを増幅して各オリジナルサンプルに対応するネガティブサンプルを取得する場合には、全てのノードの属性のマスキング、全てのエッジの属性のマスキング及びサンプル内の全てのノードの構造の変更のうちの少なくとも一つにより、オリジナルサンプルを処理し、処理結果をオリジナルサンプルに対応するネガティブサンプルとするという方式を採用することができる。なお、本実施例では、サンプル内の全てのノードの構造を変更する場合に、ノード間の全てのエッジを削除した後に、ノード間のエッジをランダムに追加して、処理結果をオリジナルサンプルと完全に異ならせる。

本実施例では、オリジナルサンプル内の全てのノードの属性、全てのエッジの属性又は全ての構造を変更する方式によりネガティブサンプルを取得し、オリジナルサンプルと、増幅して取得されたネガティブサンプルとの間に大きな差があり、存在している差は、グラフニューラルネットワークがオリジナルサンプルとネガティブサンプルとを区別できるのに十分である。従って、上記のオリジナルサンプルを増幅してネガティブサンプルを取得する方式により、トレーニングして取得されたグラフニューラルネットワークは、完全に異なる二つのグラフをより正確に区別できるようにする。

本実施例では、増幅して各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得した後に、各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル及びウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成する。なお、本実施例では、各オリジナルサンプルに対応するウィークサンプルは、他のオリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルのうちの少なくとも一つを含む。

本実施例では、他のオリジナルサンプルに対応するポジティブサンプル及び/又はネガティブサンプルを導入して、各オリジナルサンプルに対応するサンプルグループを構成することにより、一方で、サンプルグループに含まれるトレーニングサンプルの数を効果的に増加し、他方で、グラフニューラルネットワークをプレトレーニングする際に異なるトレーニングサンプルの間の対比効果を効果的向上し、これにより、グラフニューラルネットワークが異なるタイプのグラフを区別する能力を向上させる。

例を上げて、取得したトレーニング対象となるオリジナルサンプルはオリジナルサンプルＡ及びオリジナルサンプルＢであり、オリジナルサンプルＡに対応するものはポジティブサンプルＡ及びネガティブサンプルＡであり、オリジナルサンプルＢに対応するものはポジティブサンプルＢ及びネガティブサンプルＢであると、オリジナルサンプルＡに対応するウィークサンプルはポジティブサンプルＢ及びネガティブサンプルＢのうちの少なくとも一つであってもよく、オリジナルサンプルＢに対応するウィークサンプルはポジティブサンプルＡ及びネガティブサンプルＡのうちの少なくとも一つであってもよい。

各オリジナルサンプルに対応するサンプルグループに含まれるサンプルの数を増やし、異なるトレーニングサンプルの間の対比効果をより明確にするために、本実施例では、各オリジナルサンプルに対応するウィークサンプルは、他のオリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを含むことが好ましい。

本実施例では、各オリジナルサンプルに対応するサンプルグループを構築して取得した後に、それぞれ、各サンプルグループにおけるオリジナルサンプル、及び他のサンプルの１つを、グラフニューラルネットワークの入力として、グラフニューラルネットワークの出力結果に応じて損失関数を取得し、さらに、グラフニューラルネットワークが収束するまで、損失関数に応じてグラフニューラルネットワークのパラメータを調整し、これにより、グラフニューラルネットワークのプレトレーニングが完了する。

本実施例では、グラフニューラルネットワークの損失関数は多クラスの交差エントロピー損失関数で表されてもよいし、他のタイプの損傷関数で表されてもよいと理解される。また、本実施例では、グラフニューラルネットワークの収束を確定する場合には、損失関数が予め設定された閾値よりも小さいと確定すること、又は、予め設定された回数取得された損失関数が等しいと確定すること、又は予め設定された回数取得された損失関数の間の差が予め設定された閾値以下であると確定することなどを含むことができる。

従って、本実施例では、上記の方式によりグラフニューラルネットワークをプレトレーニングする場合に、まず、オリジナルサンプルを増幅してそれに対応するポジティブサンプル及びネガティブサンプルを取得し、次に、各オリジナルサンプルに対応するサンプルグループを構成し、最後、それぞれ、各サンプルグループにおけるオリジナルサンプル及び他のサンプルを使用してグラフニューラルネットワークのプレトレーニングを完了することにより、対比学習の方式に基づいてグラフニューラルネットワークのグラフレベルのプレトレーニングを行うことを実現する。

図２は、本出願による第２の実施例の模式図である。図２に示すように、本実施例にかかるグラフニューラルネットワークをプレトレーニングする装置は、
トレーニング対象となるオリジナルサンプルを取得する取得ユニット２０１と、
各オリジナルサンプルを増幅して、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得する処理ユニット２０２と、
各オリジナルサンプル、及び各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成する構成ユニット２０３と、
前記グラフニューラルネットワークが収束するまで、それぞれ、各サンプルグループにおけるオリジナルサンプル、及び他のサンプルの１つをグラフニューラルネットワークの入力として、前記グラフニューラルネットワークをプレトレーニングするトレーニングユニット２０４とを含む。

取得ユニット２０１によって取得されるトレーニング対象となるオリジナルサンプルのタイプはグラフ（Ｇｒａｐｈ）であり、若干のノード（Ｎｏｄｅ）、及び二つのノードを接続するエッジ（Ｅｄｇｅ）で構成される図形であり、異なるノードの間の関係を表すために用いられる。

取得ユニット２０１は、トレーニング対象となるオリジナルサンプルを取得した後に、処理ユニット２０２により、各オリジナルサンプルを増幅して、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得する。つまり、処理ユニット２０２は、サンプルを増幅する方式により、各オリジナルサンプルに対応するトリプルを取得することができ、各トリプルには、オリジナルサンプル、オリジナルサンプルに対応するポジティブサンプ、及びオリジナルサンプルに対応するネガティブサンプルを含む。

取得されたトレーニング対象となるオリジナルサンプルはグラフであるので、処理ユニット２０２は、各オリジナルサンプルを増幅して各オリジナルサンプルに対応するポジティブサンプルを取得する場合に、一部のノードの属性のマスキング、一部のエッジの属性のマスキング、一部のノード間のエッジの増加及び一部のノード間のエッジの削除のうちの少なくとも一つにより、各オリジナルサンプルを処理し、処理結果を、各オリジナルサンプルに対応するポジティブサンプルとするという方式を採用することができる。

なお、処理ユニット２０２は、一部のノードの属性をマスクすることでオリジナルサンプルを処理する場合に、第１の予め設定された確率に従って、オリジナルサンプルにおけるノードの属性を０に設置でき、即ち、オリジナルサンプルにおける一部のノードには属性がない。処理ユニット２０２は、一部のエッジの属性をマスクすることでオリジナルサンプルを処理する場合に、第２の予め設定された確率に従って、オリジナルサンプルにおけるエッジの属性を０に設置でき、即ち、オリジナルサンプルにおける一部のエッジには属性がない。処理ユニット２０２は、一部のノード間のエッジを増加することでオリジナルサンプルを処理する場合に、第３の予め設定された確率に従って、二つのノードをランダムに接続でき、即ち、オリジナルサンプルにおける一部のノードに他のノードとの関係を追加する。処理ユニット２０２は、一部のノード間のエッジを削除することでオリジナルサンプルを処理する場合に、第４の予め設定された確率に従って、ノード間のエッジを削除でき、即ち、オリジナルサンプルにおける一部のノードについて、他のノードとの関係を削除する。

処理ユニット２０２における第１の予め設定された確率、第２の予め設定された確率、第３の予め設定された確率及び第４の予め設定された確率は同じ数値であってもよく、異なる数値であってもよく、ユーザが実際の適用シナリオに応じて設置してもよいと理解される。

処理ユニット２０２は、各オリジナルサンプルを増幅して各オリジナルサンプルに対応するネガティブサンプルを取得する場合に、全てのノードの属性のマスキング、全てのエッジの属性のマスキング及びサンプル内の全てのノードの構造の変更のうちの少なくとも一つにより、オリジナルサンプルを処理し、処理結果をオリジナルサンプルに対応するネガティブサンプルとするという方式を採用することができる。

処理ユニット２０２は増幅して各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得した後に、構成ユニット２０３により各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル及びウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成する。なお、構成ユニット２０３における各オリジナルサンプルに対応するウィークサンプルは、他のオリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルのうちの少なくとも一つを含む。

各オリジナルサンプルに対応するサンプルグループに含まれるサンプルの数を増やし、異なるトレーニングサンプルの間の対比効果をより明確にするために、構成ユニット２０３における各オリジナルサンプルに対応するウィークサンプルは、他のオリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを含むことが好ましい。

構成ユニット２０３は、各オリジナルサンプルに対応するサンプルグループを構築して取得した後に、トレーニングユニット２０４により、それぞれ、各サンプルグループにおけるオリジナルサンプル、及び他のサンプルの１つを、グラフニューラルネットワークの入力として、グラフニューラルネットワークの出力結果に応じて損失関数を取得し、さらに、グラフニューラルネットワークが収束するまで、損失関数に応じてグラフニューラルネットワークのパラメータを調整し、これにより、グラフニューラルネットワークのプレトレーニングが完了する。

トレーニングユニット２０４におけるグラフニューラルネットワークの損失関数は多クラスの交差エントロピー損失関数で表されてもよいし、他のタイプの損傷関数で表されてもよいと理解される。また、トレーニングユニット２０４がグラフニューラルネットワークの収束を確定する場合には、損失関数が予め設定された閾値よりも小さいと確定すること、又は、予め設定された回数取得された損失関数が等しいと確定すること、又は予め設定された回数取得された損失関数の間の差が予め設定された閾値以下であると確定することなどを含むことができる。

本出願の実施例によれば、本出願は、さらに、電子機器及びコンピュータ可読記憶媒体を提供する。

図３に示すように、本出願の実施例によるグラフニューラルネットワークをプレトレーニングする方法の電子機器のブロック図である。電子機器は、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子機器は、様々な形式のモバイル装置、例えば、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。明細書で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本出願の実現を限定することが意図されない。

図３に示すように、この電子機器は、一つ又は複数のプロセッサ３０１、メモリ３０２、及び各構成要素に接続するためのインターフェースを含み、高速インターフェース及び低速インターフェースを含む。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の方式で実装されてもよい。プロセッサは、電子機器内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力/出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子機器が接続されてもよく、それぞれの装置が必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図３において、一つのプロセッサ３０１を例にとる。

メモリ３０２は本出願で提供される非一時的コンピュータ可読記録媒体である。なお、前記メモリは、少なくとも一つのプロセッサによって実行可能なコマンドが記憶されており、本出願で提供されるグラフニューラルネットワークをプレトレーニングする方法を前記少なくとも一つのプロセッサに実行させる。本出願の非一時的コンピュータ可読記録媒体は、本出願で提供されるグラフニューラルネットワークをプレトレーニングする方法をココンピュータに実行させるためのコンピュータコマンドが記憶されている。

メモリ３０２は、非一時的コンピュータ可読記録媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本出願の実施例におけるグラフニューラルネットワークをプレトレーニングする方法に対応するプログラムコマンド/モジュール（例えば、図２に示された取得ユニット２０１、処理ユニット２０２、構成ユニット２０３及びトレーニングユニット２０４）を記憶するために用いられる。プロセッサ３０１は、メモリ３０２に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例におけるグラフニューラルネットワークをプレトレーニングする方法を実現する。

メモリ３０２は、記憶プログラム領域及び記憶データ領域を含んでもよく、記憶プログラム領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、記憶データ領域は電子機器の使用により作成されたデータなどを記憶してもよい。また、メモリ３０２は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ３０２は、プロセッサ３０１に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介して電子機器に接続されてもよい。上記のネットワークの例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

グラフニューラルネットワークをプレトレーニングする方法の電子機器は、入力装置３０３及び出力装置３０４をさらに含むことができる。プロセッサ３０１、メモリ３０２、入力装置３０３及び出力装置３０４可は、バス又は他の方式で接続されてもよく、図３に、バスで接続されることを例にとる。

入力装置３０３は、入力された数値又は文字情報を受信し、グラフニューラルネットワークをプレトレーニングする方法の電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置３０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。 いくつかの実施形態では、表示装置はタッチスクリーンであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向け集積回路（ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラム可能なシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械コマンドを含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械コマンドを受け取る機械可読媒体を含むプログラマブルプロセッサに機械コマンド及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械コマンド及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクトを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であり得、ユーザからの入力は、任意の形態で（音響、発話、又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術の実施は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術的実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。ステムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント―サーバの関係にあるコンピュータプログラムによって生じる。

本出願の実施例の技術案によれば、まず、オリジナルサンプルを増幅してそれに対応するポジティブサンプル及びネガティブサンプルを取得し、次に、各オリジナルサンプルに対応するサンプルグループを構成し、最後、それぞれ、各サンプルグループにおけるオリジナルサンプル及び他のサンプルを使用してグラフニューラルネットワークのプレトレーニングを完了することにより、対比学習の方式に基づいてグラフニューラルネットワークのグラフレベルのプレトレーニングを行うことを実現する。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果を達成できる限り、ここで制限されない。

上記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、本出願の保護範囲内に含まれるべきである。

Claims (9)

1. グラフニューラルネットワークをプレトレーニングする方法であって、
   トレーニング対象となるオリジナルサンプルを取得し、
   各オリジナルサンプルを増幅して、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得し、
   各オリジナルサンプル、及び各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成し、
   前記グラフニューラルネットワークが収束するまで、各サンプルグループにおけるオリジナルサンプル、及び当該オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルの中の１つをそれぞれグラフニューラルネットワークの入力として、前記グラフニューラルネットワークをプレトレーニングすることを含み、
   各オリジナルサンプルと各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルとはグラフであり、
   各オリジナルサンプルに対応するウィークサンプルは、他のオリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルのうちの少なくとも一つである、方法。
2. 各オリジナルサンプルを増幅して各オリジナルサンプルに対応するポジティブサンプルを取得することは、
   一部のノードの属性のマスキング、一部のエッジの属性のマスキング、一部のノード間のエッジの増加及び一部のノード間のエッジの削除のうちの少なくとも一つにより、各オリジナルサンプルを処理し、
   処理結果を、各オリジナルサンプルに対応するポジティブサンプルとすることを含む請求項１に記載の方法。
3. 各オリジナルサンプルを増幅して各オリジナルサンプルに対応するネガティブサンプルを取得することは、
   全てのノードの属性のマスキング、全てのエッジの属性のマスキング及びサンプル内の全てのノードの構造の変更のうちの少なくとも一つにより、各オリジナルサンプルを処理し、
   処理結果を、各オリジナルサンプルに対応するネガティブサンプルとすることを含む請求項１または２に記載の方法。
4. グラフニューラルネットワークをプレトレーニングする装置であって、
   トレーニング対象となるオリジナルサンプルを取得するための取得ユニットと、
   各オリジナルサンプルを増幅して、各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルを取得するための処理ユニットであって、各オリジナルサンプルと各オリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルとはグラフであり、各オリジナルサンプルに対応するウィークサンプルは、他のオリジナルサンプルに対応するポジティブサンプル及びネガティブサンプルのうちの少なくとも一つである処理ユニットと、
   各オリジナルサンプル、及び各オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルを使用して、各オリジナルサンプルに対応するサンプルグループを構成するための構成ユニットと、
   前記グラフニューラルネットワークが収束するまで、各サンプルグループにおけるオリジナルサンプル、及び当該オリジナルサンプルに対応するポジティブサンプル、ネガティブサンプル、ウィークサンプルのうちの１つをそれぞれグラフニューラルネットワークの入力として、前記グラフニューラルネットワークをプレトレーニングするためのトレーニングユニットとを含む装置。
5. 前記処理ユニットは、各オリジナルサンプルを増幅して各オリジナルサンプルに対応するポジティブサンプルを取得する場合に、具体的に、
   一部のノードの属性のマスキング、一部のエッジの属性のマスキング、一部のノード間のエッジの増加及び一部のノード間のエッジの削除のうちの少なくとも一つにより、各オリジナルサンプルを処理し、
   処理結果を、各オリジナルサンプルに対応するポジティブサンプルとする、
   ことを実行する請求項４に記載の装置。
6. 前記処理ユニットは、各オリジナルサンプルを増幅して各オリジナルサンプルに対応するネガティブサンプルを取得する場合に、具体的に、
   全てのノードの属性のマスキング、全てのエッジの属性のマスキング及びサンプル内の全てのノードの構造の変更のうちの少なくとも一つにより、各オリジナルサンプルを処理し、
   処理結果を、各オリジナルサンプルに対応するネガティブサンプルとする、
   ことを実行する請求項４または５に記載の装置。
7. 電子機器であって、
   少なくとも１つのプロセッサと、
   前記少なくとも１つのプロセッサと通信接続されるメモリとを含んでおり、
   前記メモリには、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されており、前記少なくとも１つのプロセッサが請求項１～３のいずれか１項に記載の方法を実行できるように、前記コマンドが前記少なくとも１つのプロセッサによって実行される電子機器。
8. 請求項１～３のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータコマンドを記憶している非一時的コンピュータ可読記憶媒体。
9. 請求項１～３のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。

Images