JP7009433B2 - ニューラルネットワーク生成用の方法及び装置 - Google Patents

Description

本願の実施形態は、コンピュータ技術の分野に関し、具体的には、ニューラルネットワーク生成用の方法及び装置に関する。

ナレッジグラフ（Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ）は、多数の構造化されたトリプルで構成されるネットワークであり、ネットワーク内のノードは実体（ｅｎｔｉｔｙ）を表し、ノード間のエッジは実体間の関連関係を表す。

現在、ナレッジグラフは、情報検索や情報推薦等、様々な分野に適用できる。ナレッジグラフを使用して、特定の情報に対応する実体と関連する他の実体を得ることができ、ひいては当該情報と関連する他の情報を得ることができる。

本願の実施形態は、ニューラルネットワーク生成用の方法及び装置を提供し、ならびにナレッジグラフ更新用の方法及び装置を提供する。

本願の第一態様によれば、ニューラルネットワーク生成用の方法であって、ターゲットニューラルネットワークを取得するステップであって、ここで、前記ターゲットニューラルネットワークは、予め設定された関連関係に対応するものであり、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が前記予め設定された関連関係であるか否かを判定するのに用いられ、前記ターゲットニューラルネットワークは、前記予め設定された関連関係に対して予め決定された関係テンソルを含むものであるステップと、前記ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成するステップと、前記候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するステップとを含むことを特徴とする方法を提供する。

幾つかの実施例において、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するステップは、前記予め設定された関連関係に対して、トレーニングサンプルセットを取得するステップであって、ここで、トレーニングサンプルセットは、ポジティブトレーニングサンプルとネガティブトレーニングサンプルを含み、トレーニングサンプルは、２つのサンプル実体ベクトルを含み、サンプル実体ベクトルは、サンプル実体を特徴付けるために使用され、ポジティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係であり、ネガティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係ではないステップと、前記トレーニングサンプルセットからトレーニングサンプルを選択し、そして、選択したトレーニングサンプルを利用して候補ニューラルネットワークをトレーニングすることと、候補ニューラルネットワークのトレーニングが完了したか否かを判定することと、トレーニングの完了と判定したことに応答して、トレーニング済みの候補ニューラルネットワークを結果ニューラルネットワークとして決定することとを有するトレーニングステップを実行するステップとを含む。

幾つかの実施例において、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するステップは、トレーニングが未完了であると判定したことに応答して、前記トレーニングサンプルセットに含まれる未選択のトレーニングサンプルの中からトレーニングサンプルを再選択し、候補ニューラルネットワークのパラメーターを調整し、直近の選択したトレーニングサンプルと直近の調整した候補ニューラルネットワークを使用し、前記トレーニングステップを続けて実行するステップをさらに含む。

幾つかの実施例において、前記予め設定された関連関係に対して、トレーニングサンプルセットを取得ステップは、前記予め設定された関連関係に対して、ポジティブトレーニングサンプルセットを取得するステップと、前記ポジティブトレーニングサンプルセットの中のポジティブトレーニングサンプルに対して、当該ポジティブトレーニングサンプルから、保留待ちサンプル実体ベクトルと置換待ちサンプル実体ベクトルを決定し、置換待ちサンプル実体ベクトルに対して、置換待ちサンプル実体ベクトルとはその対応するサンプル実体が異なった置換用サンプル実体ベクトルを取得し、置換用サンプル実体ベクトルと保留待ちサンプル実体ベクトルを利用して、当該ポジティブトレーニングサンプルに対応するネガティブトレーニングサンプルを構成するステップと、ポジティブトレーニングサンプルセットと構成されたネガティブトレーニングサンプルを使用して、トレーニングサンプルセットを構成するステップとを含む。

幾つかの実施例において、前記結果ニューラルネットワークを記憶するステップを更に含む。

第二態様によれば、ナレッジグラフ更新用の方法であって、２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得するステップであって、ここで、前記関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用され、前記結果ニューラルネットワークは、第一態様のいずれかの実施例に記載の方法を使用して生成されるものであるステップと、取得した２つの関連待ち実体ベクトルを前記結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、前記結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成するステップと、前記関連結果が、２つの関連待ち実体の関連関係が前記結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、前記予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、前記ターゲットナレッジグラフを更新するステップとを含むことを特徴とする方法を提供する。

幾つかの実施例において、更新された後のターゲットナレッジグラフを表示するステップを更に含む。

第三態様によれば、ニューラルネットワーク生成用の装置であって、ターゲットニューラルネットワークを取得するように配置されている第１の取得ユニットであって、ここで、前記ターゲットニューラルネットワークは、予め設定された関連関係に対応するものであり、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が前記予め設定された関連関係であるか否かを判定するのに用いられ、前記ターゲットニューラルネットワークは、前記予め設定された関連関係に対して予め決定された関係テンソルを含むものであるユニットと、前記ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成するように配置されているテンソル変換ユニットと、前記候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するように構成されているネットワーク生成ユニットとを含むことを特徴とする装置を提供する。

幾つかの実施例において、ネットワーク生成ユニットは、前記予め設定の関連関係に対して、トレーニングサンプルセットを取得し、当該トレーニングサンプルセットは、ポジティブトレーニングサンプルとネガティブトレーニングサンプルを含み、トレーニングサンプルは、２つのサンプル実体ベクトルを含み、サンプル実体ベクトルは、サンプル実体を特徴付けるために使用され、ポジティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係であり、ネガティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係ではないように配置されているサンプル取得モジュールと、前記トレーニングサンプルセットからトレーニングサンプルを選択し、次のトレーニングステップを実行する：選択したトレーニングサンプルを利用して候補ニューラルネットワークをトレーニングし、候補ニューラルネットワークのトレーニングが完了したか否かを判定し、トレーニングの完了と判定したことに応答して、トレーニング済みの候補ニューラルネットワークを結果ニューラルネットワークとして決定するように配置されている第１のトレーニングモジュールとを含む。

幾つかの実施例において、ネットワーク生成ユニットは、トレーニングが未完了であると判定したことに応答して、前記トレーニングサンプルセットに含まれる未選択のトレーニングサンプルの中からトレーニングサンプルを再選択し、候補ニューラルネットワークのパラメーターを調整し、直近の選択したトレーニングサンプルと直近の調整した候補ニューラルネットワークを使用し、前記トレーニングステップを続けて実行するように配置されている第２のトレーニングモジュールを更に含む。

幾つかの実施例において、サンプル取得モジュールは、前記予め設定された関連関係に対して、ポジティブトレーニングサンプルセットを取得し、前記ポジティブトレーニングサンプルセットの中のポジティブトレーニングサンプルに対して、当該ポジティブトレーニングサンプルから、保留待ちサンプル実体ベクトルと置換待ちサンプル実体ベクトルを決定し、置換待ちサンプル実体ベクトルに対して、置換待ちサンプル実体ベクトルとはその対応するサンプル実体が異なった置換用サンプル実体ベクトルを取得し、置換用サンプル実体ベクトルと保留待ちサンプル実体ベクトルを利用して、当該ポジティブトレーニングサンプルに対応するネガティブトレーニングサンプルを構成し、前記ポジティブトレーニングサンプルセットと構成されたネガティブトレーニングサンプルを使用して、トレーニングサンプルセットを構成するように更に配置されている。

幾つかの実施例において、前記結果ニューラルネットワークを記憶するように配置されているネットワーク記憶モジュールを更に含む。

本願の第四態様によれば、ナレッジグラフ更新用の装置であって、２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得し、前記関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用され、前記結果ニューラルネットワークは、第一態様のいずれか１つの実施例に記載の方法を使用して生成されるものであるように配置されている第２の取得ユニットと、取得した２つの関連待ち実体ベクトルを前記結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、前記結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成するように配置されている結果生成ユニットと、前記関連結果が、２つの関連待ち実体の関連関係が前記結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、前記予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、前記ターゲットナレッジグラフを更新するように配置されているグラフ更新ユニットとを含むことを特徴とする装置を提供する。

幾つかの実施例において、更新された後のターゲットナレッジグラフを表示するように配置されているグラフ表示ユニットとを更に含む。

本願の第五態様によれば、１つ又は複数のプロセッサーと、１つ又は複数のプログラムが記憶されている記憶装置とを含み、当該１つ又は複数のプログラムが前記１つ又は複数のプロセッサーにより実行される場合、第一態様のいずれか１つの方法を前記１つ又は複数のプロセッサーに実現させることを特徴とする電子デバイスを提供する。

本願の第六態様によれば、コンピュータプログラムが記憶されているコンピュータ可読メディアであって、当該プログラムがプロセッサーにより実行されると、第一態様のいずれか１つの方法を実現させることを特徴とするコンピュータ可読メディアを提供する。

本願の実施形態が提供するニューラルネットワーク生成用の方法及び装置は、ターゲットニューラルネットワークを取得し、ターゲットニューラルネットワークは、予め設定された関連関係に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられ、ターゲットニューラルネットワークは、予め設定された関連関係に対して予め決定された関係テンソルを含み、次に、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成し、最後に、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成することによって、従ってニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換することによって、ニューラルネットワークの中のパラメーターの数を減らすことができ、ひいてはニューラルネットワークの複雑さを軽減することができ、ニューラルネットワークを使用して情報処理を行う時にＣＰＵ消費を削減し、情報処理効率を高めることに役立つ。

以下の図面による非限定的な実施形態についての詳細な説明を読み、参照することにより、本願の他の特徴、目的及び利点がより明らかになる。
本開示にかかる一実施形態が適用できる例示的なシステムアーキテクチャ図である。 本開示にかかるニューラルネットワーク生成用の方法の一実施形態のフローチャート図である。 本開示にかかるニューラルネットワーク生成用の方法の１つの応用シナリオの模式図である。 本開示にかかるナレッジグラフ更新用の方法の一実施形態のフローチャート図である。 本開示によるニューラルネットワーク生成用の装置の一実施形態の構造模式図である。 本開示にかかるナレッジグラフ更新用の装置の一実施形態の構造模式図である。 本開示の実施形態にかかる電子デバイスを実現するのに適するコンピュータシステムの構造模式図である。

以下、図面と実施形態を参照しながら、本願を詳細に説明する。ここで記載される具体的な実施形態は、関連の発明を解釈するのみに用いられ、当該発明に対する限定ではないことは理解される。なお、説明の便宜上、図面には、関連の発明に関わる部分のみを示す。

なお、矛盾が生じない限り、本願における実施形態及び実施形態における特徴は互いに組み合わせることができるものとする。以下、図面を参照しながら、実施形態を併せて本願を詳しく説明する。

図１は、本願のニューラルネットワーク生成用の方法、ニューラルネットワーク生成用の装置、ナレッジグラフ更新用の方法、またはナレッジグラフ更新用の装置を応用できる実施形態の例示的なシステム構造１００を示す。

図１に示すように、システム構成１００は、端末設備１０１、１０２、１０３、ネットワーク１０４とサーバー１０５を含んでも良い。ネットワーク１０４は、端末設備１０１、１０２、１０３とサーバー１０５との間の通信リンクの媒体を提供するのに用いられる。ネットワーク１０４は、例えば、有線、無線通信リンク又は光ファイバケーブル等のような、各種の接続種類を含むことができる。

ユーザーは、端末設備１０１、１０２、１０３を使用してネットワーク１０４を介してサーバー１０５とインターアクティブし、メッセージ等を送受信することができる。端末設備１０１、１０２、１０３には、例えば、ウェブブラウザアプリケーション、買い物系アプリケーション、検索系アプリケーション、インスタントメッセージングツール、電子メールクライアント、ソーシャルプラットフォームソフトウェア等のような、各種の通信クライアントアプリケーションがインストールされていても良い。

端末設備１０１、１０２、１０３は、ハードウェアであっても良く、ソフトウェアであっても良い。端末設備１０１、１０２、１０３がハードウェアである場合は、各種の電子デバイスであっても良く、スマートフォン、タブレット、電子ブックリーダー、ＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、ムービング・ピクチャー・エクスパーツ・グループオーディオレイヤー３）プレーヤー、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、ムービング・ピクチャー・エクスパーツ・グループオーディオレイヤー４）プレーヤー、ラップトップポータブルコンピュータ及びデスクトップコンピュータ等を含むが、これらに限定されない。端末設備１０１、１０２、１０３がソフトウェアである場合は、上述の列挙した電子デバイスにインストールされても良い。それは、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散式サービスを提供するために用いられる複数のソフトウェアまたはソフトウェアモジュール）として実現されても良く、単独のソフトウェアまたはソフトウェアモジュールとして実現されても良い。ここでは、具体的な限定をしない。

サーバー１０５は、各種サービスを提供するサーバーであっても良く、例えば、端末設備１０１、１０２、１０３が送信したターゲットニューラルネットワークに対して処理を行うネットワーク処理サーバーであっても良い。ネットワーク処理サーバーは、受信したターゲットニューラルネットワーク等のデータに対して分析等の処理を行い、処理結果（例えば、結果ニューラルネットワーク）を得ることができる。

なお、本願の実施形態によるニューラルネットワーク生成用の方法は、端末設備１０１、１０２、１０３によって実行されても良く、サーバー１０５によって実行されても良い。相応的には、ニューラルネットワーク生成用の装置は、端末設備１０１、１０２、１０３に設置されても良く、サーバー１０５の中に設置されても良い。その他に、本願の実施形態によるナレッジグラフ更新用の方法は、端末設備１０１、１０２、１０３によって実行されても良く、サーバー１０５によって実行されても良い。相応的には、ナレッジグラフ更新用の装置は、端末設備１０１、１０２、１０３に設置されても良く、サーバー１０５の中に設置されても良い。

サーバーは、ハードウェアであっても良く、ソフトウェアであっても良い。サーバーがハードウェアである場合は、複数のサーバーから構成される分散式サーバークラスタとして実現されても良いし、単独のサーバーとして実現されても良い。サーバーがソフトウェアである場合は、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散式サービスを提供するために用いられる複数のソフトウェアまたはソフトウェアモジュール）として実現されても良いし、単独のソフトウェアまたはソフトウェアモジュールとして実現されても良い。ここでは具体的な限定をしない。

図１の端末設備、ネットワーク及びサーバーの数は、ただ単に例示的なものであると理解すべきである。実現の必要性に従って、任意の数の端末設備、ネットワークとサーバーを有しても良い。結果ニューラルネットワークを生成するまたはターゲットナレッジグラフに対して更新を行うプロセスにおいて、使用するデータはリモートから取得する必要がない場合、前記システム構成は、ネットワークを含まず、端末設備またはサーバーだけを含むようにしても良い。

図２は、本願によるニューラルネットワーク生成用の方法の一実施形態のフローチャート２００を示す。当該実施形態のニューラルネットワーク生成用の方法は、ステップ２０１、ステップ２０２及びステップ２０３を含む。

ステップ２０１においては、ターゲットニューラルネットワークを取得する。

本願の実施形態において、ニューラルネットワーク生成用の方法の実行主体（例えば、図１に示すサーバー）は、有線接続方式または無線接続方式を介してリモートまたはローカルからターゲットニューラルネットワークを取得することができる。なお、ターゲットニューラルネットワークは、調整待ちのニューラルネットワークである。具体的には、ターゲットニューラルネットワークは、トレーニングされていないニューラルネットワークであっても良く、またはトレーニングが完了したニューラルネットワークであっても良い。ターゲットニューラルネットワークは、予め設定された関連関係に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられる。

ターゲットナレッジグラフは、その中の実体間の関連関係に対する補完待ちのナレッジグラフである。ターゲットナレッジグラフは、上記の実行主体に記憶されても良く、上記の実行主体に通信可能に接続された他の電子デバイスに記憶されても良い。一般に、ナレッジグラフ内の実体は、物事や概念を特徴付けるために使用できる（例：人物、場所、時間、情報等を特徴付ける）。実体の形式は、数字、文字、記号の少なくとも１つを含むことができる。ナレッジグラフ中の関連関係は、実体間の連結線によって表徴されてもよく、２つの関連実体に対応する関連関係の具体的な中身は、当該関連関係に対して予め決定された関連情報によって表徴されても良い。関連情報は、数字、文字、記号の少なくとも１つを含むことができる。

例として、ターゲットナレッジグラフは、実体「北京」と実体「中国」を含み、両者の間に、両者が関連関係を有することを表す連結線、及び例えば文字「首都」のような、両者の関連関係の具体的な中身を表すための関連情報を含むことができる。

ターゲットナレッジグラフの中の実体は、実体ベクトルに対応することができる。実体ベクトルは、実体を特徴付けるために用いられることができる。実践において、実体ベクトルは、例えば初期化の方法を使って取得しても良く、または予めトレーニング済みの機械学習モデルを使用して取得しても良く、様々な方法で取得しても良い。

予め設定された関連関係は、例えば親子関係、包含関係等、技術者によって予め決定された様々な関連関係であっても良い。ターゲットニューラルネットワークは、予め設定された関連関係に対して予め決定された関係テンソルを含む。関係テンソルは、予め設定された関連関係を特徴付けるために用いられることができる。

実践において、テンソル（ｔｅｎｓｏｒ）は、多次元のデータの記憶ユニットであり、データの次元は、テンソル次数と呼ばれる。テンソルは、ベクトルと行列の多次元空間における一般化と見なすことができ、ベクトルは１次元のテンソルと見なすことができ、行列は２次元のテンソルと見なすことができる。一般に、テンソルを研究する場合、テンソルを複数の２次元スライスと見なすことができる。各々のスライスは、一つの行列として扱われる。

具体的には、前記の実行主体または他の電子デバイスは、様々な方法を使用することにより、予め設定された関連関係に対応する関係テンソルを決定しても良い。例えば、各種の既存のパラメーターを初期化する方法（例えば、ランダム初期化やＧｌｏｖｅアルゴリズム等）を使用して、予め設定された関連関係に対応する関係テンソルを決定しても良い。または、予めトレーニングされた、関連関係と関係テンソルとの対応関係を特徴付けるモデルを使用して、予め設定された関連関係に対応する関係テンソルを決定しても良い。

本実施形態では、関係テンソルは、ターゲットナレッジグラフの中の２つの実体の実体ベクトルと計算を行うことによって、ターゲットナレッジグラフの中の２つの実体間の関連関係が、関係テンソルに対応する予め設定された関連関係であるか否かを判定するために用いられる。理解できるように、関係テンソルの次元は行列またはベクトルの次元よりも大きいため、関係テンソルを使用することによって、予め設定された関連関係を特徴付ける特徴データをより多く記憶することができる。しかし、実践においては、ニューラルネットワークに含まれるパラメーターが多いほど、ニューラルネットワークがより複雑になり、ニューラルネットワークの記憶と計算に悪影響を及ぼす。

ステップ２０２においては、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成する。

本実施形態では、ステップ２０１で取得されたターゲットニューラルネットワークに基づいて、実行主体は、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成することができる。

なお、関係行列は、予め設定された変換方法を使用して、関係テンソルに対して変換を行うことによって取得される行列である。ターゲットの数は、予め設定された変換方法に基づいて決定される数である。理解できるように、実践においては、高次元の行列を低次元のベクトルの積に変換する場合、変換されたベクトルに含まれている要素の数は、一般的に行列に含まれている要素の数よりも小さい。例えば、行列Ａ：［１ １ １； １ １ １； １ １ １］の場合、行列Ａをベクトルｂ：［１ １ １］^Ｔとベクトルｃ：［１ １ １］の積に変換できる。その中で、文字「Ｔ」はベクトルの転置を表すために使用される。行列Ａには９個の要素が含まれており、変換後の２つのベクトルに含まれている要素の合計は６であり、すなわち、変換後のベクトルｂ及びベクトルｃに含まれている要素の数は、行列Ａの要素数よりも大きいことが分かる。さらに、似たように、高次元の関係テンソルを低次元のターゲット数の関係行列の積に変換する場合、予め設定された関連関係に対応するパラメーターの数を減らすことができ、ひいてはニューラルネットワークの複雑さを減らすことができる。

具体的には、前記実行主体は、各種の方法を使用して関係テンソルに対して変換を行い、ターゲット数の関係行列を取得することができる。例えば、実行主体は、まず関係テンソルの各々のスライスに対応する行列を集約することによって、関係テンソルをスライス行列に構築することができる。次に、スライス行列をターゲット数の関係行列の積に分解する。ここで、例えば三角因子分解法（Ｔｒｉａｎｇｕｌａｒ Ｆａｃｔｏｒｉｚａｔｉｏｎ）、ＱＲ因子分解法（ＱＲ Ｆａｃｔｏｒｉｚａｔｉｏｎ）、特異値分解法（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｔｉｏｎ）等のような各種の方法を使用して、スライス行列に対する分解を行うことができる。使用する分解方法が異なると、最終的に取得される関係行列の数（すなわち、ターゲットの数）も異なるようになる場合があることに注意されたい。たとえば、三角因子分解法を使用すると２つの関係行列に分解できるが、特異値分解法を使用すると３つの関係行列に分解できる。

さらに、前記実行主体は、他の方法で関係テンソルに対して変換を行うこともできる。例として、関係テンソルＷは３つのスライスＷ_１、Ｗ_２、Ｗ_３をそれぞれ含むとする。前記実行主体は、まず関係テンソルＷをスライス行列Ｗ’＝［Ｗ１，Ｗ２，Ｗ３］に構築し、次にスライス行列の各行列要素（つまり、Ｗｉ、ｉ ＝ １、２、３）を２つのベクトルの積に変換し、つまり、Ｗ_１をＵ_１ ^Ｔ＊Ｖ_１に変換し、Ｗ_２をＵ_２ ^Ｔ＊Ｖ_２に変換し、Ｗ_３をＵ_３ ^Ｔ＊Ｖ_３に変換する。ひいては、次の式を導き出すことができる。
Ｗ＝Ｗ’＝［Ｕ_１ ^Ｔ＊Ｖ_１， Ｕ_２ ^Ｔ＊Ｖ_２， Ｕ_３ ^Ｔ＊Ｖ_３］＝［Ｕ_１， Ｕ_２， Ｕ_３］ ^Ｔ＊［Ｖ_１， Ｖ_２， Ｖ_３］
その中で、行列［Ｕ_１， Ｕ_２， Ｕ_３］ ^Ｔと行列［ Ｖ_１， Ｖ_２， Ｖ_３］は、変換された２つの関係行列である。

上記の例の場合。Ｗｉが３×３次元行列であると仮定すると、Ｗｉは９個のパラメーターを含み、従って、関係テンソルＷは２７個（２７＝９×３）のパラメーターを含む。変換された、Ｗｉに対応するＵ_ｉ ^Ｔは３次元の列ベクトルであり、３つのパラメーターを含み、Ｖｉは３次元の行ベクトルであり、３つのパラメーターを含む。従って、変換された関係行列［Ｕ_１， Ｕ_２， Ｕ_３］ ^Ｔは９つのパラメーターを含み、変換された関係行列［Ｖ_１， Ｖ_２， Ｖ_３］も９つのパラメーターを含む。すなわち、関係テンソルを関係行列に変換した後、パラメーターの数は１８（１８＝９＋９）であり、これは、関係テンソルに含まれているパラメーターの数２７よりも小さいため、ニューラルネットワークの中のパラメーターの数を減らすという目的を達成できた。

本実施形態では、候補ニューラルネットワークは、変換されたターゲット数の関係行列の積で関係テンソルを置き換えた後のターゲットニューラルネットワークである。

ステップ２０３においては、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成する。

本実施形態では、ステップ２０２で取得された候補ニューラルネットワークに基づいて、前記実行主体は結果ニューラルネットワークを生成することができる。なお、結果ニューラルネットワークは、調整された後のニューラルネットワークである。

具体的には、前記実行主体は、候補ニューラルネットワークを結果ニューラルネットワークとして直接決定することができるし、または、候補ニューラルネットワークに対して引き続き調整を行い、調整された後の候補ニューラルネットワークを結果ニューラルネットワークとして決定することもできる。

本実施形態の幾つかの選択可能な実現方法では、候補ニューラルネットワークを使用して、実行主体は、次のステップによって結果ニューラルネットワークを生成することができる。

ステップ２０３１においては、予め設定の関連関係に対して、トレーニングサンプルセットを取得する。

なお、トレーニングサンプルセットは、ポジティブトレーニングサンプルとネガティブトレーニングサンプルを含む。トレーニングサンプルは、２つのサンプル実体ベクトルを含む。サンプル実体ベクトルは、サンプル実体を特徴付けるために使用される。ポジティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係である。ネガティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係ではない。例えば、予め設定された関連関係は包含関係であるとする。包含関係に対して、ポジティブトレーニングサンプルは、サンプル実体「中国」とサンプル実体「北京」に対応する２つのサンプル実体ベクトルであっても良く、ネガティブトレーニングサンプルは、サンプル実体「天津」とサンプル実体「北京」に対応する２つのサンプル実体ベクトルであっても良い。

具体的には、前記実行主体は、各種の方法を使用してトレーニングサンプルセットを取得することができる。

本実施形態の幾つかの選択可能な実施形態では、前記実行主体は、以下のステップによってトレーニングサンプルセットを取得することができる。

まず、予め設定された関連関係に対して、前記実行主体は、ポジティブトレーニングサンプルセットを取得することができる。

ここで、各種の方法を使用してポジティブトレーニングサンプルを取得することができる。例えば、予め決定されたサンプルナレッジグラフの中から、予め設定された関連関係に対応する２つの実体を検索してサンプル実体とすることができる。そして、検索された２つの実体の実体ベクトルをサンプル実体ベクトルとして決定する。最後に、決定された２つのサンプル実体ベクトルを利用して、ポジティブトレーニングサンプルを形成する。

そして、ポジティブトレーニングサンプルセットの中のポジティブトレーニングサンプルに対して、次のステップを実行する：当該ポジティブトレーニングサンプルから、保留待ちサンプル実体ベクトルと置換待ちサンプル実体ベクトルを決定し、置換待ちサンプル実体ベクトルに対して、置換用サンプル実体ベクトルを取得し、置換用サンプル実体ベクトルに対応するサンプル実体は、置換待ちサンプル実体ベクトルに対応するサンプル実体と異なり、置換用サンプル実体ベクトルと保留待ちサンプル実体ベクトルを利用して、当該ポジティブトレーニングサンプルに対応するネガティブトレーニングサンプルを構成する。

最後に、ポジティブトレーニングサンプルセットと構成されたネガティブトレーニングサンプルを使用して、トレーニングサンプルセットを構成する。

本実現方法では、ポジティブトレーニングサンプルの中の置換待ちサンプル実体ベクトルを置き換えることによってネガティブトレーニングサンプルを取得することで、トレーニングサンプルセットの取得ステップを簡略化でき、ひいては結果ニューラルネットワークの生成効率の向上に貢献する。

ステップ２０３２においては、トレーニングサンプルセットからトレーニングサンプルを選択し、次のトレーニングステップを実行する：選択したトレーニングサンプルを利用して候補ニューラルネットワークをトレーニングし、候補ニューラルネットワークのトレーニングが完了したか否かを判定し、トレーニングの完了と判定したことに応答して、トレーニング済みの候補ニューラルネットワークを結果ニューラルネットワークとして決定する。

具体的には、前記実行主体は、機械学習の方法を使用して、選択されたトレーニングサンプルを使って候補ニューラルネットワークをトレーニングすることができる。

ここで、候補ニューラルネットワークのトレーニングが完了したか否かは、予め決定した完了条件によって決定しても良い。前記の完了条件が満たされると、候補ニューラルネットワークのトレーニングが完了したと判断できる。なお、完了条件は、トレーニング時間が予め設定した時間の長さを超えること、トレーニング回数が予め設定した回数を超えること、損失関数を使用して計算した損失値が予め設定した閾値より小さくなることの中の少なくとも１つを含むことができるが、これらに限定されない。

本実施態様では、候補ニューラルネットワークに対してトレーニングを行い、結果ニューラルネットワークを取得することにより、取得したニューラルネットワークの精度を高めることができ、結果ニューラルネットワークを使用する予測の精度を高めることに役立つ。

本実施形態の幾つかの選択可能な実現方法では、前記実行主体は、更に候補ニューラルネットワークのトレーニングが未完了であると判定したことに応答して、前記トレーニングサンプルセットに含まれる未選択のトレーニングサンプルの中からトレーニングサンプルを再選択し、候補ニューラルネットワークのパラメーターを調整し、直近の選択したトレーニングサンプルと直近の調整した候補ニューラルネットワークを使用し、トレーニングステップを続けて実行することができる。

具体的には、前記実行主体は、候補ニューラルネットワークのトレーニングが未完了であると判定したことに応答して、計算された差異に基づいて候補ニューラルネットワークのパラメーターを調整することができる。ここでは、各種の実現方法を使用して、計算された差異に基づいて候補ニューラルネットワークのパラメーターを調整することができる。例えば、ＢＰ（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ、誤差逆伝播法）アルゴリズムまたはＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、確率的勾配降下法）アルゴリズムを使用して、候補ニューラルネットワークのパラメーターを調整することができる。

本実現方法では、候補ニューラルネットワークに対して複数回のトレーニングを実現できるため、結果ニューラルネットワークの精度を更に高めることができる。

本実施形態の幾つかの選択可能な実現方法では、前記実行主体は、結果ニューラルネットワークを記憶することができる。ここで、結果ニューラルネットワークは、ターゲットニューラルネットワークと比べて、含むパラメーターの数が減少しているため、結果ニューラルネットワークを記憶する場合、ニューラルネットワークが占有する記憶スペースを削減でき、記憶リソースを節約できる。

図３は、本実施形態によるニューラルネットワーク生成用の方法の応用シナリオの１つの模式図である。図３の応用シナリオにおいては、サーバー３０１は、まずターゲットニューラルネットワーク３０２を取得し、なお、ターゲットニューラルネットワーク３０２は、予め設定された関連関係（例えば、親子関係）に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられ、ターゲットニューラルネットワーク３０２は、予め設定された関連関係に対して予め決定された関係テンソル３０３を含む。そして、サーバー３０１は、ターゲットニューラルネットワーク３０２の中の関係テンソル３０３を関係行列３０４と関係行列３０５の積に変換し、変換された関係行列３０４と関係行列３０５を含む候補ニューラルネットワーク３０６を生成することができる。最後に、サーバー３０１は、候補ニューラルネットワーク３０６を使用して、結果ニューラルネットワーク３０７を生成することができる。

本願の上記実施形態が提供する方法は、ターゲットニューラルネットワークを取得し、ターゲットニューラルネットワークは、予め設定された関連関係に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられ、ターゲットニューラルネットワークは、予め設定された関連関係に対して予め決定された関係テンソルを含み、次に、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成し、最後に、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成することによって、従ってニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換することによって、ニューラルネットワークの中のパラメーターの数を減らすことができ、ひいてはニューラルネットワークの複雑さを軽減することができ、ニューラルネットワークを使用して情報処理を行う時にＣＰＵ消費を削減し、情報処理効率を高めることに役立つ。

図４は、ナレッジグラフ更新用の方法の一実施形態のフローチャート４００を示している。当該ナレッジグラフ更新用の方法のフローチャート４００は、ステップ４０１、ステップ４０２及びステップ４０３を含む。

ステップ４０１においては、２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得する。

本実施形態では、ナレッジグラフ更新用の方法の実行主体（例えば、図１に示す端末設備）は、有線接続方式または無線接続方式を介して、リモートまたはローカルから２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得することができる。なお、関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用される。具体的には、前記実行主体は、まずターゲットナレッジグラフから２つの関連待ち実体を抽出することができ、次に、抽出された２つの関連待ち実体の関連待ち実体ベクトルを決定する。関連待ち実体に対応する関連待ち実体ベクトルを具体的に決定する方法は、図２で説明した、実体ベクトルを決定するための方法を参照することができる。

本実施形態では、結果ニューラルネットワークは、前記図２の対応する実施形態で説明された方法に従って生成されるものであり、具体的には図２の対応する実施形態で説明された各ステップを参照することができる。

ステップ４０２においては、取得した２つの関連待ち実体ベクトルを結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成する。

本実施形態では、ステップ４０１で取得された２つの関連待ち実体ベクトルと結果ニューラルネットワークに基づいて、前記実行主体は、取得した２つの関連待ち実体ベクトルを結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成することができる。関連結果は、数字、文字、記号の少なくとも１つを含むことができるが、これらに限定されない。例えば、関連結果は、文字「是」及び文字「否」を含むことができ、文字「是」は、２つの関連待ち実体の関連関係が、結果ニューラルネットワークに対応する予め設定された関連関係であることを表すために用いられることができ、文字「否」は、２つの関連待ち実体の関連関係が、結果ニューラルネットワークに対応する予め設定された関連関係ではないことを表すために用いられることができる。

ステップ４０３においては、関連結果が、２つの関連待ち実体の関連関係が結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、ターゲットナレッジグラフを更新する。

本実施形態では、関連結果を生成した後、前記実行主体は、関連結果が、２つの関連待ち実体の関連関係が結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、ターゲットナレッジグラフを更新することができる。

具体的には、前記実行主体は、関連情報を関連待ち実体の間に追加することによって、２つの関連待ち実体の関連関係の中身を特徴付けることができる。

特に、ターゲットナレッジグラフを更新するときに、ターゲットナレッジグラフ内の２つの関連待ち実体の間は、２つの関連待ち実体の関連関係の中身を特徴付けるための原初関連情報を含む場合、前記実行主体は、予め設定した関連関係に対応する関連情報を利用して原初関連情報を置き換えることによって、ターゲットナレッジグラフの更新を実現することができる。

本実施形態の幾つかの選択可能な実現方法では、ターゲットナレッジグラフを更新した後、前記実行主体は、更に更新された後のターゲットナレッジグラフを表示することができる。このようにして、更新された後のターゲットナレッジグラフを視覚的に提示できる。

本願の前記実施形態が提供する方法は、図２の対応する実施形態において説明される方法によって生成された結果ニューラルネットワークを使用して、ナレッジグラフに対して更新を行うことができる。結果ニューラルネットワークは、従来技術のナレッジグラフを更新するためのテンソルニューラルネットワークと比べて、より少ないパラメーターを含むため、結果ニューラルネットワークを使用することによって計算の複雑さを軽減することができ、ひいてはＣＰＵ消費を削減し、ナレッジグラフの更新効率を高めることができる。

図５に示すように、前記図２に示される方法の実現として、本願は、ニューラルネットワーク生成用の装置の一実施形態を提供する。当該装置の実施形態は、図２に示される方法の実施形態に対応し、当該装置は、具体的に各種の電子デバイスに応用することができる。

図５に示すように、本実施形態のニューラルネットワーク生成用の装置５００は、第１の取得ユニット５０１、テンソル変換ユニット５０２及びネットワーク生成ユニット５０３を含む。なお、第１の取得ユニット５０１はターゲットニューラルネットワークを取得するように配置されている。ターゲットニューラルネットワークは、予め設定された関連関係に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられる。ターゲットニューラルネットワークは、予め設定された関連関係に対して予め決定された関係テンソルを含む。テンソル変換ユニット５０２は、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成するように配置されている。ネットワーク生成ユニット５０３は、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するように構成されている。

本実施形態では、ニューラルネットワーク生成用の装置の第１の取得ユニット５０１は、有線接続方式または無線接続方式を介してリモートまたはローカルからターゲットニューラルネットワークを取得することができる。なお、ターゲットニューラルネットワークは、調整待ちのニューラルネットワークである。具体的には、ターゲットニューラルネットワークは、トレーニングされていないニューラルネットワークであっても良く、またはトレーニングが完了したニューラルネットワークであっても良い。ターゲットニューラルネットワークは、予め設定された関連関係に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられる。

予め設定された関連関係は、例えば親子関係、包含関係等、技術者によって予め決定された様々な関連関係であっても良い。ターゲットニューラルネットワークは、予め設定された関連関係に対して予め決定された関係テンソルを含む。関係テンソルは、予め設定された関連関係を特徴付けるために用いられることができる。

本実施形態では、第１の取得ユニット５０１で取得されたターゲットニューラルネットワークに基づいて、テンソル変換ユニット５０２は、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成することができる。なお、関係行列は、予め設定された変換方法を使用して、関係テンソルに対して変換を行うことによって取得される行列である。ターゲットの数は、予め設定された変換方法に基づいて決定される数である

本実施形態では、候補ニューラルネットワークは、変換されたターゲット数の関係行列の積で関係テンソルを置き換えた後のターゲットニューラルネットワークである。

本実施形態では、テンソル変換ユニット５０２で取得された候補ニューラルネットワークに基づいて、ネットワーク生成ユニット５０３は、結果ニューラルネットワークを生成することができる。なお、結果ニューラルネットワークは、調整された後のニューラルネットワークである。

本実施形態の幾つかの選択可能な実現方法では、ネットワーク生成ユニット５０３は、サンプル取得モジュール（図示せず）及び第１のトレーニングモジュール（図示せず）を含むことができる。サンプル取得モジュールは、予め設定の関連関係に対して、トレーニングサンプルセットを取得し、当該トレーニングサンプルセットは、ポジティブトレーニングサンプルとネガティブトレーニングサンプルを含み、トレーニングサンプルは、２つのサンプル実体ベクトルを含み、サンプル実体ベクトルは、サンプル実体を特徴付けるために使用され、ポジティブトレーニングサンプルに対応する２つの実体間の関連関係は、予め設定された関連関係であり、ネガティブトレーニングサンプルに対応する２つの実体間の関連関係は、予め設定された関連関係ではないように配置されている。第１のトレーニングモジュールは、トレーニングサンプルセットからトレーニングサンプルを選択し、次のトレーニングステップを実行する：選択したトレーニングサンプルを利用して候補ニューラルネットワークをトレーニングし、候補ニューラルネットワークのトレーニングが完了したか否かを判定し、トレーニングの完了と判定したことに応答して、トレーニング済みの候補ニューラルネットワークを結果ニューラルネットワークとして決定するように配置されている。

本実施形態の幾つかの選択可能な実現方法では、ネットワーク生成ユニット５０３は、第２のトレーニングモジュール（図示せず）を更に含むことができる。第２のトレーニングモジュールは、トレーニングが未完了であると判定したことに応答して、トレーニングサンプルセットに含まれる未選択のトレーニングサンプルの中からトレーニングサンプルを再選択し、候補ニューラルネットワークのパラメーターを調整し、直近の選択したトレーニングサンプルと直近の調整した候補ニューラルネットワークを使用し、トレーニングステップを続けて実行するように配置されている。

本実施形態の幾つかの選択可能な実現方法では、サンプル取得モジュールは、予め設定された関連関係に対して、ポジティブトレーニングサンプルセットを取得し、ポジティブトレーニングサンプルセットの中のポジティブトレーニングサンプルに対して、当該ポジティブトレーニングサンプルから、保留待ちサンプル実体ベクトルと置換待ちサンプル実体ベクトルを決定し、置換待ちサンプル実体ベクトルに対して、置換用サンプル実体ベクトルを取得し、置換用サンプル実体ベクトルに対応するサンプル実体は、置換待ちサンプル実体ベクトルに対応するサンプル実体と異なり、置換用サンプル実体ベクトルと保留待ちサンプル実体ベクトルを利用して、当該ポジティブトレーニングサンプルに対応するネガティブトレーニングサンプルを構成し、ポジティブトレーニングサンプルセットと構成されたネガティブトレーニングサンプルを使用して、トレーニングサンプルセットを構成するように更に配置されることができる。

本実施形態の幾つかの選択可能な実現方法では、装置５００は、結果ニューラルネットワークを記憶するように配置されているネットワーク記憶モジュール（図示せず）を更に含むことができる。

当該装置５００に記載の各ユニットは、それぞれ図２に示されている方法の中の各ステップに対応することが理解すべきである。上述した内容において方法に対して説明した操作、特徴及び生まれた有益な効果は、同様に装置５００及びその中に含まれるユニットに適用するので、ここでは、繰り返して説明しない。

本願の前記実施形態が提供する装置５００は、ターゲットニューラルネットワークを取得し、ターゲットニューラルネットワークは、予め設定された関連関係に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられ、ターゲットニューラルネットワークは、予め設定された関連関係に対して予め決定された関係テンソルを含み、次に、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成し、最後に、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成することによって、従ってニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換することによって、ニューラルネットワークの中のパラメーターの数を減らすことができ、ひいてはニューラルネットワークの複雑さを軽減することができ、ニューラルネットワークを使用して情報処理を行う時にＣＰＵ消費を削減し、情報処理効率を高めることに役立つ。

図６に示すように、前記図４に示される方法の実現として、本願は、ナレッジグラフ更新用の装置の一実施形態を提供する。当該装置の実施形態は、図４に示される方法の実施形態に対応し、当該装置は、具体的に各種の電子デバイスに応用することができる。

図６に示すように、本実施形態のナレッジグラフ更新用の装置６００は、第２の取得ユニット６０１、結果生成ユニット６０２及びグラフ更新ユニット６０３を含む。第２の取得ユニット６０１は、２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得し、関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用され、結果ニューラルネットワークは、図２の対応する実施形態で説明された方法を使用して生成されるものであるように配置されている。結果生成ユニット６０２は、取得した２つの関連待ち実体ベクトルを結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成するように配置されている。グラフ更新ユニット６０３は、関連結果が、２つの関連待ち実体の関連関係が結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、ターゲットナレッジグラフを更新するように配置されている。

本実施形態では、ナレッジグラフ更新用の装置６００の第２の取得ユニット６０１は、有線接続方式または無線接続方式を介して、リモートまたはローカルから２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得することができる。なお、関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用される。

本実施形態では、結果ニューラルネットワークは、前記図２の対応する実施形態で説明された方法に従って生成されるものであり、具体的には図２の対応する実施形態で説明された各ステップを参照することができる。

本実施形態では、第２の取得ユニット６０１で取得された２つの関連待ち実体ベクトルと結果ニューラルネットワークに基づいて、結果生成ユニット６０２は、取得した２つの関連待ち実体ベクトルを結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成することができる。関連結果は、数字、文字、記号の少なくとも１つを含むことができるが、これらに限定されない。

本実施形態では、グラフ更新ユニット６０３は、関連結果が、２つの関連待ち実体の関連関係が結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、ターゲットナレッジグラフを更新することができる。

本実施形態の幾つかの選択可能な実現方法では、装置６００は、更新された後のターゲットナレッジグラフを表示するように配置されているグラフ表示ユニット（図示せず）を更に含むことができる。

当該装置６００に記載の各ユニットは、それぞれ図４に示されている方法の中の各ステップに対応することが理解すべきである。上述した内容において方法に対して説明した操作、特徴及び生まれた有益な効果は、同様に装置６００及びその中に含まれるユニットに適用するので、ここでは、繰り返して説明しない。

本願の前記実施形態が提供する装置６００は、図２の対応する実施形態において説明される方法によって生成された結果ニューラルネットワークを使用して、ナレッジグラフに対して更新を行うことができる。結果ニューラルネットワークは、従来技術のナレッジグラフを更新するためのテンソルニューラルネットワークと比べて、より少ないパラメーターを含むため、結果ニューラルネットワークを使用することによって計算の複雑さを軽減することができ、ひいてはＣＰＵ消費を削減し、ナレッジグラフの更新効率を高めることができる。

図７は、本願の実施形態を実現するのに適する電子デバイス（例えば、図１に示す端末設備またはサーバー）７００の構造模式図である。本願の実施形態における端末装置は、携帯電話、ノートブックコンピュータ、デジタル放送受信機、ＰＤＡ（パーソナルデジタルアシスタント）、ＰＡＤ（タブレットコンピュータ）、ＰＭＰ（ポータブルマルチメディアプレーヤー）、車載端末（例えば車載ナビゲーション端末）等のモバイル端末、及びデジタルＴＶ、デスクトップコンピュータ等の固定端末を含むが、これらに限定されない。図７に示されている電子デバイスは、ただ一つの例示に過ぎず、本願の実施形態の機能及び使用範囲に如何なる制限も与えない。

図７に示すように、電子デバイス７００は、処理装置（例えば、中央処理装置、グラフィックス処理装置）７０１を備え、リードオンリーメモリ（ＲＯＭ）７０２に記憶されているプログラムまたは記憶装置７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたプログラムに従って各種の適切な動作と処理を実行することができる。ＲＡＭ７０３に、電子デバイス７００の操作に必要な各種のプログラムとデータが更に記憶されている。処理装置７０１、ＲＯＭ７０２とＲＡＭ７０３は、バス７０４を通じて互いに接続する。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。

一般に、例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープ等を含む入力装置７０６、例えば、液晶ディスプレイ（ＬＣＤ）、スピーカー、振動装置等を含む出力装置７０７、例えば、磁気テープ、ハードディスク等を含む記憶装置７０８、及び通信装置７０９は、Ｉ／Ｏインターフェース７０５に接続される。通信装置７０９は、電子デバイス７００が他の設備と無線または有線で通信することによってデータを交換することができるようにさせる。図７は、様々な装置を有する電子デバイス７００を示しているが、図示された装置のすべてを実装または有する必要はないことを理解すべきである。より多いまたはより少ない装置を代替的に実装または有しても良い。

特に、本願の実施形態により、前記の文章でフローチャート図を参照しながら記述したプロセスは、コンピュータソフトウェアプログラムとして実現することができる。例えば、本願の実施形態は、コンピュータプログラム製品を含み、それは、コンピュータの読み取り可能なメディアに記載されているコンピュータプログラムを含む。当該コンピュータプログラムは、フローチャート図の示す方法を実行するのに用いられるプログラムコードを含む。このような実施形態において、当該コンピュータプログラムは、通信部７０９を通じてネットワークからダウンロードされてインストールされても良く、または記憶装置７０８からインストールされても良く、またはＲＯＭ７０２からインストールされても良い。当該コンピュータプログラムは、処理装置７０１に実行されるとき、本願の方法の中で限定される前記の機能を実行する。

なお、本願で説明するコンピュータの読み取り可能なメディアは、コンピュータの読み取り可能な信号メディアまたはコンピュータの読み取り可能な記憶メディアまたは両者の任意の組合せであっても良い。コンピュータの読み取り可能な記憶メディアは、例えば、電、磁、光、電磁、赤外線、或いは半導体のシステム、装置または設備、またはこれらの任意の組合せであっても良いが、これらに限定されない。コンピュータの読み取り可能な記憶メディアのより具体的例は、一つまたは複数のリード線を有する電気接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含むが、これらに限定されない。本願において、コンピュータの読み取り可能な記憶メディアは、命令実行システム、装置、設備またはその組み合わせに使用されるプログラムを含むまたは記憶する如何なる有形メディアであっても良い。本願において、コンピュータの読み取り可能な信号メディアは、ベースバンドの中または搬送波の一部分として伝播するデータ信号を含み、その中でコンピュータの読み取り可能なプログラムコードが記載されている。このような伝播するデータ信号は、多種類の形式を採用することができ、電磁信号、光信号またはその任意の適切な組み合わせを含むが、これらに限定されない。コンピュータの読み取り可能な信号メディアは、さらにコンピュータの読み取り可能な記憶メディア以外の任意のコンピュータの読み取り可能なメディアであっても良く、当該コンピュータの読み取り可能なメディアは、命令実行システム、装置、デバイスまたはその組み合わせに使用されるプログラムを送信し、伝播し、または転送することができる。コンピュータの読み取り可能なメディアに含まれるプログラムコードは、あらゆる適切なメディアを使って転送することができ、電線、光ファイバー、ＲＦ（無線周波数）等またはその任意の適切な組み合わせを含むが、これらに限定されない。

前記コンピュータの読み取り可能なメディアは、前記電子装置に含まれても良く、当該装置に取り付けられずに単独的に存在しても良い。前記コンピュータの読み取り可能なメディアは、一つまたは複数のプログラムを記載しており、前記一つまたは複数のプログラムが当該電子装置に実行されると、当該電子装置は、ターゲットニューラルネットワークを取得し、ターゲットニューラルネットワークは、予め設定された関連関係に対応し、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が予め設定された関連関係であるか否かを判定するのに用いられ、ターゲットニューラルネットワークは、予め設定された関連関係に対して予め決定された関係テンソルを含み、ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成し、候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成する。

さらに、前記一つまたは複数のプログラムが当該電子装置に実行されると、当該電子装置は更に、２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得し、関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用され、結果ニューラルネットワークは、図２の対応する実施形態のいずれか１つに記載の方法を使用して生成されるものであり、取得した２つの関連待ち実体ベクトルを結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成し、関連結果が、２つの関連待ち実体の関連関係が結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、ターゲットナレッジグラフを更新する。

一つまたは複数のプログラミング言語またはその組み合わせを使って、本願の操作の実行に用いられるコンピュータプログラムコードを作成しても良い。前記プログラミング言語は、例えばＪａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト指向のプログラミング言語を含み、さらに例えば「Ｃ」言語または類似のプログラミング言語のような手続き型プログラミング言語を含む。プログラムコードは、完全にユーザーコンピュータ上で実行されても良く、部分的にユーザーコンピュータ上で実行されても良く、一つの独立したソフトウェアパッケージとして実行されても良く、一部分がユーザーコンピュータ上で実行され一部分がリモートコンピュータ上で実行されても良く、或いは完全にリモートコンピュータまたはサーバー上で実行されても良い。リモートコンピュータに関わる場面において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザーコンピュータに接続されても良いし、または外部コンピュータ（例えばインターネットサービスプロバイダーを利用してインターネットを通じて接続する）に接続されても良い。

付属図面の中のフローチャート図とブロック図は、本願による各種実施形態のシステム、方法とコンピュータプログラム製品の実現可能なアーキテクチャ、機能と操作を示す。この点において、フローチャート図またはブロック図の中の各ブロックは、一つのモジュール、プログラムセグメント、或いはコードの一部分を代表することができ、当該モジュール、プログラムセグメント、或いはコードの一部分は、一つまたは複数の、規定のロジック機能の実現に用いられる実行可能な命令を含む。幾つかの代替の実現において、ブロックの中で提示した機能は、付属図面の中で提示した順序と異なる順序で発生する可能性があると注意されたい。例えば、二つの接続するように表示されているブロックは、実際において基本的に並列に実行されても良く、場合によっては反対の順序で実行されても良く、いずれも関わる機能によって定まる。フローチャート図及び／またはブロック図の中の各ブロック、及びフローチャート図及び／またはブロック図の中のブロックの組合せは、規定の機能または操作を実行する専用なハードウェアに基づくシステムで実現しても良く、専用なハードウェアとコンピュータ命令の組み合わせで実現しても良い。

本願の実施形態に関わって記述されているユニットは、ソフトウェアの方式によって実現しても良く、ハードウェアの方式によって実現しても良い。なお、これらユニットの名称は、場合によっては、当該ユニット自身への限定を構成せず、例えば、第１の取得ユニットは、「ターゲットニューラルネットワークを取得するユニット」と記述されても良い。

前記記述は、本願の望ましい実施形態及び使用する技術原理に対する説明に過ぎない。当業者は、本願の関わる発明の範囲は、前記技術特徴の特定の組み合わせからなる技術案に限定されることがなく、本発明の精神から逸脱しない限り、前記技術特徴または同等の特徴の任意の組み合わせからなる技術案もカバーすべきであると理解すべきである。例えば、前記特徴と本願で公開した（但し、これらに限定されない）類似の機能を有する技術特徴とを相互入れ替えして形成した技術案である。

Claims (14)

1. ニューラルネットワーク生成用の方法であって、
   ターゲットニューラルネットワークを取得するステップであって、ここで、前記ターゲットニューラルネットワークは、予め設定された関連関係に対応するものであり、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が前記予め設定された関連関係であるか否かを判定するのに用いられ、前記ターゲットニューラルネットワークは、前記予め設定された関連関係に対して予め決定された関係テンソルを含むものであるステップと、
   前記ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成するステップであって、前記ターゲット数は、予め設定された変換方法に基づいて確定された数である、ステップと、
   前記候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するステップとを含み、
   前記候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するステップは、
   前記予め設定された関連関係に対して、トレーニングサンプルセットを取得するステップであって、ここで、トレーニングサンプルセットは、ポジティブトレーニングサンプルとネガティブトレーニングサンプルを含み、トレーニングサンプルは、２つのサンプル実体ベクトルを含み、サンプル実体ベクトルは、サンプル実体を特徴付けるために使用され、ポジティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係であり、ネガティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係ではないステップと、
   前記トレーニングサンプルセットからトレーニングサンプルを選択し、選択したトレーニングサンプルを利用して候補ニューラルネットワークをトレーニングすることと、候補ニューラルネットワークのトレーニングが完了したか否かを判定することと、トレーニングの完了と判定したことに応答して、トレーニング済みの候補ニューラルネットワークを結果ニューラルネットワークとして決定することとを有するトレーニングステップを実行するステップとを含むことを特徴とする方法。
2. 前記の、前記候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するステップは、
   トレーニングが未完了であると判定したことに応答して、前記トレーニングサンプルセットに含まれる未選択のトレーニングサンプルの中からトレーニングサンプルを再選択し、候補ニューラルネットワークのパラメーターを調整し、直近の選択したトレーニングサンプルと直近の調整した候補ニューラルネットワークを使用し、前記トレーニングステップを続けて実行するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記の、前記予め設定された関連関係に対して、トレーニングサンプルセットを取得ステップは、
   前記予め設定された関連関係に対して、ポジティブトレーニングサンプルセットを取得するステップと、
   前記ポジティブトレーニングサンプルセットの中のポジティブトレーニングサンプルに対して、当該ポジティブトレーニングサンプルから、保留待ちサンプル実体ベクトルと置換待ちサンプル実体ベクトルを決定し、置換待ちサンプル実体ベクトルに対して、置換待ちサンプル実体ベクトルとはその対応するサンプル実体が異なった置換用サンプル実体ベクトルを取得し、置換用サンプル実体ベクトルと保留待ちサンプル実体ベクトルを利用して、当該ポジティブトレーニングサンプルに対応するネガティブトレーニングサンプルを構成するステップと、
   前記ポジティブトレーニングサンプルセットと構成されたネガティブトレーニングサンプルを使用して、トレーニングサンプルセットを構成するステップとを含むことを特徴とする請求項１に記載の方法。
4. 前記結果ニューラルネットワークを記憶するステップを更に含むことを特徴とする請求項１～３のいずれか１つに記載の方法。
5. ナレッジグラフ更新用の方法であって、
   ２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得するステップであって、ここで、前記関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用され、前記結果ニューラルネットワークは、請求項１～４のいずれか１つに記載の方法を使用して生成されるものであるステップと、
   取得した２つの関連待ち実体ベクトルを前記結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、前記結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成するステップと、
   前記関連結果が、２つの関連待ち実体の関連関係が前記結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、前記予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、前記ターゲットナレッジグラフを更新するステップとを含むことを特徴とする方法。
6. 更新された後のターゲットナレッジグラフを表示するステップを更に含むことを特徴とする請求項５記載の方法。
7. ニューラルネットワーク生成用の装置であって、
   ターゲットニューラルネットワークを取得するように配置されている第１の取得ユニットであって、ここで、前記ターゲットニューラルネットワークは、予め設定された関連関係に対応するものであり、ターゲットナレッジグラフの中の２つの実体に対応する２つの実体ベクトルを入力とすることによって、入力された２つの入力実体ベクトルに対応する２つの実体の関連関係が前記予め設定された関連関係であるか否かを判定するのに用いられ、前記ターゲットニューラルネットワークは、前記予め設定された関連関係に対して予め決定された関係テンソルを含むものであるユニットと、
   前記ターゲットニューラルネットワークの中の関係テンソルをターゲット数の関係行列の積に変換し、変換されたターゲット数の関係行列を含む候補ニューラルネットワークを生成するように配置されているテンソル変換ユニットであって、前記ターゲット数は、予め設定された変換方法に基づいて確定された数である、テンソル変換ユニットと、
   前記候補ニューラルネットワークを使用して、結果ニューラルネットワークを生成するように構成されているネットワーク生成ユニットとを含み、
   前記ネットワーク生成ユニットは、
   前記予め設定の関連関係に対して、トレーニングサンプルセットを取得し、当該トレーニングサンプルセットは、ポジティブトレーニングサンプルとネガティブトレーニングサンプルを含み、トレーニングサンプルは、２つのサンプル実体ベクトルを含み、サンプル実体ベクトルは、サンプル実体を特徴付けるために使用され、ポジティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係であり、ネガティブトレーニングサンプルに対応する２つの実体間の関連関係は、前記予め設定された関連関係ではないように配置されているサンプル取得モジュールと、
   前記トレーニングサンプルセットからトレーニングサンプルを選択し、次のトレーニングステップを実行する：選択したトレーニングサンプルを利用して候補ニューラルネットワークをトレーニングし、候補ニューラルネットワークのトレーニングが完了したか否かを判定し、トレーニングの完了と判定したことに応答して、トレーニング済みの候補ニューラルネットワークを結果ニューラルネットワークとして決定するように配置されている第１のトレーニングモジュールとを含むことを特徴とする装置。
8. 前記ネットワーク生成ユニットは、
   トレーニングが未完了であると判定したことに応答して、前記トレーニングサンプルセットに含まれる未選択のトレーニングサンプルの中からトレーニングサンプルを再選択し、候補ニューラルネットワークのパラメーターを調整し、直近の選択したトレーニングサンプルと直近の調整した候補ニューラルネットワークを使用し、前記トレーニングステップを続けて実行するように配置されている第２のトレーニングモジュールを更に含むことを特徴とする請求項７に記載の装置。
9. 前記サンプル取得モジュールは、
   前記予め設定された関連関係に対して、ポジティブトレーニングサンプルセットを取得し、
   前記ポジティブトレーニングサンプルセットの中のポジティブトレーニングサンプルに対して、当該ポジティブトレーニングサンプルから、保留待ちサンプル実体ベクトルと置換待ちサンプル実体ベクトルを決定し、置換待ちサンプル実体ベクトルに対して、置換待ちサンプル実体ベクトルとはその対応するサンプル実体が異なった置換用サンプル実体ベクトルを取得し、置換用サンプル実体ベクトルと保留待ちサンプル実体ベクトルを利用して、当該ポジティブトレーニングサンプルに対応するネガティブトレーニングサンプルを構成し、
   前記ポジティブトレーニングサンプルセットと構成されたネガティブトレーニングサンプルを使用して、トレーニングサンプルセットを構成するように更に配置されていることを特徴とする請求項７に記載の装置。
10. 前記結果ニューラルネットワークを記憶するように配置されているネットワーク記憶モジュールを更に含むことを特徴とする請求項７～９のいずれか１つに記載の装置。
11. ナレッジグラフ更新用の装置であって、
    ２つの関連待ち実体ベクトルと予め生成された結果ニューラルネットワークを取得し、前記関連待ち実体ベクトルは、ターゲットナレッジグラフの中の関連待ち実体を特徴付けるために使用され、前記結果ニューラルネットワークは、請求項１～４のいずれか１つに記載の方法を使用して生成されるものであるように配置されている第２の取得ユニットと、
    取得した２つの関連待ち実体ベクトルを前記結果ニューラルネットワークに入力し、２つの関連待ち実体の関連関係が、前記結果ニューラルネットワークに対応する予め設定された関連関係であるか否かを表す関連結果を生成するように配置されている結果生成ユニットと、
    前記関連結果が、２つの関連待ち実体の関連関係が前記結果ニューラルネットワークに対応する予め設定された関連関係であることを示すものと判定したことに応答して、前記予め設定された関連関係に対して予め設定された、ナレッジグラフに追加するための関連情報を利用して、前記ターゲットナレッジグラフを更新するように配置されているグラフ更新ユニットとを含むことを特徴とする装置。
12. 更新された後のターゲットナレッジグラフを表示するように配置されているグラフ表示ユニットとを更に含むことを特徴とする請求項１１に記載の装置。
13. １つ又は複数のプロセッサーと、
    １つ又は複数のプログラムが記憶されている記憶装置とを含み、
    当該１つ又は複数のプログラムが前記１つ又は複数のプロセッサーにより実行される場合、請求項１～６のいずれか１つの方法を前記１つ又は複数のプロセッサーに実現させることを特徴とする電子デバイス。
14. コンピュータプログラムが記憶されているコンピュータ可読メディアであって、
    当該プログラムがプロセッサーにより実行されると、請求項１～６のいずれか１つの方法を実現させることを特徴とするコンピュータ可読メディア。
    

Images