JP7234483B2 - エンティティリンキング方法、装置、電子デバイス、記憶媒体及びプログラム - Google Patents

Description

本開示はコンピュータ技術分野に関し、特に人工知能技術分野及び自然言語処理技術分野に関し、具体的にはエンティティリンキング方法、装置、電子デバイス及び記憶媒体に関する。

自然言語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ；ＮＬＰ）において、固有表現抽出（Ｎａｍｅｄ Ｅｎｔｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ；ＮＥＲ）は情報抽出のサブタスクの１つである。ＮＥＲの目的は、非構造化テキストのセグメントが与えられた場合に、その中のエンティティの位置と所属するカテゴリを決定することである。

エンティティリンキング（Ｅｎｔｉｔｙ Ｌｉｎｋｉｎｇ；ＥＬ）はＮＥＲの重要な一環であり、テキスト内の対象エンティティ語を一意で具体的なエンティティにリンキングするタスクである。ＥＬは、ある程度で曖昧性解消タスクを実現しており、曖昧性解消の主な根拠は文脈と異なるエンティティ間のマッチングの程度である。たとえば「アップル」という言葉を与えただけではエンティティの曖昧性を解消することはできないが、「アップルを食べる」や「アップルフォン」と言えば、前者は果物に対応するエンティティを指し、後者はブランドに対応するエンティティを指していると判断できる。既存のエンティティリンキング技術は、主に各エンティティカテゴリのエンティティに関する共起特徴をあらかじめ人工で抽出し、テキスト中のエンティティの文脈に基づいて各エンティティカテゴリのエンティティの共起特徴とマッチングして採点する。最後に、最もスコアの高いカテゴリのエンティティをエンティティリンキングの結果として選択する。

しかし、既存のエンティティリンキングの手法において、各カテゴリのエンティティに関する幾つかの共起特徴は文字通りの特徴情報しか抽出されておらず、効率的な汎化ができず、エンティティリンキングの精度が劣ることになる。

上述した技術的課題を解決するために、本開示は、エンティティリンキング方法、装置、電子デバイス、及び記憶媒体を提供する。

本開示の一態様によれば、クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得することと、予め訓練された文脈表現モデルを用いて前記クエリテキストの特徴表現を生成することと、前記クエリテキストの特徴表現と、予め取得された前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、前記ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングすることと、を含むエンティティリンキング方法を提供する。

本開示の別の態様によれば、クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得する検出モジュールと、予め訓練された文脈表現モデルを用いて前記クエリテキストの特徴表現を生成する第１生成モジュールと、前記クエリテキストの特徴表現と、予め取得された前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、前記ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングするリンキングモジュールとを備えるエンティティリンキング装置を提供する。

本開示の別の態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに上述の方法を実行させる電子デバイスを提供する。

本開示の別の態様によれば、コンピュータに上述の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体を提供する。

本開示の技術によれば、文脈表現モデルに基づいて取得されたクエリテキストの特徴表現と、予め取得された各エンティティカテゴリの特徴表現とは、何れも関連情報を効果的に汎化することができ、クエリテキストの特徴表現と各エンティティカテゴリの特徴表現の正確度を保証し、さらにエンティティリンキングの正確度を効果的に向上させることができる。

理解すべきなのは、この部分で説明される内容は、本開示の実施形態の肝心又は重要な特徴を識別することを意図しておらず、本開示の範囲を制限することを意図していない。本開示の他の特徴は、以下の説明により容易に理解される。

図面は、本開示をより良く理解するためのものであり、本開示を限定しない。
本開示の第１実施形態に係る概略図である。 本開示の第２実施形態に係る概略図である。 本実施形態が提供するノード異性体図である。 本開示の第３実施形態に係る概略図である。 本開示の第４実施形態に係る概略図である。 本開示の実施形態によるエンティティリンキング方法を実施するための電子デバイスのブロック図である。

以下、図面に基づいて、本開示の例示的な実施例を説明する。理解を容易にするために、本開示の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本開示の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

図１は本開示の第１実施形態に係る概略図である。図１に示すように、本実施形態は、以下のステップを含むエンティティリンキング方法を提供する。

Ｓ１０１において、クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得する。

Ｓ１０２において、予め訓練された文脈表現モデルを用いて、クエリテキストの特徴表現を生成する。

Ｓ１０３において、クエリテキストの特徴表現と、予め取得されたターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングする。

本実施形態のエンティティリンキング方法の実行主体はエンティティリンキングデバイスである。当該装置は、電子エンティティであっても良く、ソフトウェア統合を使用するアプリケーションであってもよく、クエリテキスト中のエンティティに対するリンキングを実現するためにコンピュータデバイス上で実行される。

本実施形態におけるクエリテキストはユーザが入力したｑｕｅｒｙであって良い。当該ｑｕｅｒｙは、１つ、２つ又は複数のターゲットエンティティを含むことができる。本実施形態の方法によれば、当該クエリテキストにおける各ターゲットエンティティを正しいエンティティカテゴリにリンキングすることができる。

具体的に、本実施形態では、まずクエリテキストに対してエンティティ検出を実行してクエリテキスト内の可能性のあるターゲットエンティティを全て検出する。また、本実施形態では、予め訓練された文脈表現モデルに基づいて、当該クエリテキストの特徴表現を生成することもでき、例えば、当該クエリテキストの特徴表現はベクトルの形式で表現することができる。

オプションとして、各エンティティに対応する各エンティティカテゴリが識別されたエンティティ辞書が予め採集されて良い。例えば、エンティティライブラリにアップルの対応するエンティティ分類が果物及び電子製品であることを記録して良い。また、たとえば、ある人物Ａに対応するエンティティカテゴリは、スター、企業家などの異なるエンティティカテゴリである。同一のエンティティのエンティティカテゴリ毎の特徴表現は、本実施形態では予め取得しておくことができる。そして、クエリテキストの特徴表現とターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、当該ターゲットエンティティに対応する各エンティティカテゴリの中から最も一致度の高いエンティティカテゴリを検索することにより、当該ターゲットエンティティを当該最も一致度の高いエンティティカテゴリにリンキングすることにより、曖昧性の解消を実現する。

本実施形態のエンティティリンキング方法は、クエリテキストに対してエンティティ検出を行うことにより、ターゲットエンティティを取得し、予め訓練された文脈表現モデルを用いて、クエリテキストの特徴表現を生成し、クエリテキストの特徴表現と、予め取得されたターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングする。従来技術と比較すると、本実施形態では、文脈表現モデルに基づいて取得されたクエリテキストの特徴表現と、予め取得された各エンティティカテゴリの特徴表現は、いずれも関連情報を効果的に汎化し、検索テキストの特徴表現及び各エンティティカテゴリの特徴表現の正確度を保証することができ、さらにエンティティリンキングの正確度を効果的に高めることができる。

図２は、本開示の第２実施形態に係る概略図である。図２に示すように、本実施形態のエンティティリンキング方法は、上述した図１に示す実施形態の技術案に加えて、本開示の技術案をより詳細に説明する。図２に示すように、本実施形態のエンティティリンキング方法は、具体的に以下のステップを含むことができる。

Ｓ２０１において、予め訓練されたエンティティ識別モデル及び予め生成されたエンティティ辞書を用いてクエリテキストに対してエンティティ検出を行って少なくとも１つのターゲットエンティティを取得する。

本実施形態では、エンティティ認識モデルと予め生成されたエンティティ辞書の両方を同時に使用する方式により、クエリテキスト中のエンティティを検出する。実際の応用では、両者から一つを選択してクエリテキスト中のエンティティを検出することも可能である。

本実施形態のエンティティ識別モデルは、クエリテキスト中のすべてのターゲットエンティティを検出することができる。このエンティティ認識モデルは、訓練時に、予め複数の訓練テキストを採集し、各訓練テキスト中のターゲットエンティティを標記することができる。各訓練テキストをエンティティ識別モデルに入力し、当該エンティティ識別モデルにより当該訓練テキスト中のターゲットエンティティを予測し、予測されたものが標記されたものと一致しない場合に、エンティティ識別モデルのパラメータを調整する。そして、連続する複数回の訓練において、予測された結果と標記された結果が常に一致するまで、次の訓練テキストを用いて上記のように訓練を継続する。この時、エンティティ認識モデルのパラメータを決定し、さらにエンティティ認識モデルを決定し、訓練を終了することができる。

本実施形態では、訓練時に採集される複数の訓練テキストの数は百万オーダーに達することができ、訓練テキストの数が多いほど、訓練されたエンティティ認識モデルは正確になる。

エンティティ認識モデルを用いてクエリテキストに対してエンティティ検出を行う場合、当該クエリテキストをエンティティ認識モデルに入力することができ、当該エンティティ認識モデルは、当該クエリテキスト中の可能なすべてのターゲットエンティティを予測して出力することができる。説明すべきなのは、本実施形態のエンティティ識別モデルは、Ｂｉ‐ＬＳＴＭ‐ＣＲＦのようなシーケンスマーキングモデルを用いて実現することができる。

なお、本実施形態では、エンティティ辞書を予め生成しておく必要がある。具体的には、様々な方法で、各エンティティ及び各エンティティに対応するすべてのエンティティカテゴリを採集してエンティティ辞書に記録することができる。具体的な検出中に、まずクエリテキストをトークン化した後、エンティティ辞書を用いて各トークンがエンティティ辞書に存在するか否かを検出し、存在した場合にそのトークンをターゲットエンティティと決定することができる。この方法では、クエリテキスト中の可能なターゲットエンティティの各々も検出され得る。

実際の応用では、エンティティ認識モデルを用いてクエリテキストに対してエンティティ検出を行う場合と、エンティティ辞書を用いてクエリテキストに対してエンティティ検出を行う場合とでは、検出方法によって検出結果が異なる可能性があるが、本実施例では、クエリテキスト中のできるだけ包括的なターゲットエンティティを得るために、２つの方法で検出されたターゲットエンティティを得ることを例にする。実際の応用では、１つの方式のエンティティ検出のみを選択的に実行して対応するターゲットエンティティを得ることができる。

Ｓ２０２において、各ターゲットエンティティが少なくとも２つのエンティティカテゴリに対応するか否かを検出し、そうでない場合に、ターゲットエンティティを対応するエンティティカテゴリにリンキングし、さもなければ、ステップＳ２０３を実行する。

本実施形態のエンティティ辞書に記録されるエンティティは、人名、地名、物体名などであってよい。且つ、エンティティ辞書には、１つのエンティティカテゴリしか存在しないエンティティもあり、２つ以上のエンティティカテゴリが存在するエンティティもある。一方、１つのエンティティカテゴリしか存在しないエンティティについては、対応する曖昧性解消タスクは存在しないため、その場合に対応するターゲットエンティティを対応するエンティティカテゴリにリンキングすれば良い。一方、少なくとも２つのエンティティカテゴリが存在するターゲットエンティティについては、当該ターゲットエンティティを正しいエンティティカテゴリにリンキングするために、エンティティリンキング処理を行う必要がある。

Ｓ２０３において、クエリテキストをトークン化して複数のトークンを得る。

オプションとして、本実施形態におけるトークン化の粒度は、文字の粒度であってもよく、単語の粒度であってもよい。

Ｓ２０４において、複数のトークンのそれぞれに対して埋め込み表現を行う。

Ｓ２０５において、埋め込み表現が行われた複数のトークンを予め訓練された文脈表現モデルに入力し、文脈表現モデルが出力したクエリテキストの特徴表現を取得する。

本実施形態の特徴表現は、ベクトルの形で表現することができる。

本実施形態の文脈表現モデルも予め訓練されたものである。説明すべきなのは、本実施形態の文脈表現モデルは、訓練の際に、当該クエリテキスト中のターゲットエンティティ及び対応するエンティティカテゴリを参照して訓練する必要がある。

例えば、いくつかの訓練テキストを事前に採集し、訓練テキスト中のターゲットエンティティ及びターゲットエンティティが訓練テキストにおいて標識したエンティティカテゴリを標記し、さらに、当該ターゲットエンティティの当該エンティティカテゴリにおける特徴表現を取得することができる。訓練時には、各訓練テキストを上記のようにトークン化及び埋め込み表現を行って文脈表現モデルに入力し、文脈表現モデルによりその訓練テキストの特徴表現を予測して出力する。次に、訓練テキストの特徴表現と、訓練テキスト中の当該ターゲットエンティティの対応するエンティティカテゴリにおける特徴表現とに基づいて、文脈表現モデルのパラメータを調整する。例えば、訓練テキスト中の当該ターゲットエンティティは当該訓練テキスト中の部分に属しているため、当該訓練テキストにおいて当該ターゲットエンティティの対応するエンティティカテゴリにおける特徴表現は、理論的に当該訓練テキストの特徴表現と一定の類似度を有するべきであり、例えば２つのベクトルの類似度は一定の類似度閾値よりも大きくてもよい。訓練時に、この類似度閾値よりも小さい場合に、この訓練テキストの特徴表現と、訓練テキストにおいて当該ターゲットエンティティの対応エンティティカテゴリにおける特徴表現との類似度が、この類似度閾値よりも大きいほど十分に大きくなるように、この文脈表現モデルのパラメータを調整する必要がある。幾つかの訓練テキストと、取得された訓練テキスト中のターゲットエンティティの対応するエンティティカテゴリにおける特徴表現を用いて、上記の方法に従って、連続する所定回数の訓練において、訓練テキストの特徴表現と、訓練テキストにおいて当該ターゲットエンティティの対応するエンティティカテゴリにおける特徴表現との類似度が、常にこの類似度閾値よりも大きいほど十分に大きくなるまで継続的に文脈表現モデルを訓練する。この時点で訓練が終了し、文脈表現モデルのパラメータを決定し、更に文脈表現モデルを決定することができる。

同様に、訓練時に採集される複数の訓練テキストの数は百万オーダーに達することができ、訓練テキストの数が多いほど、訓練された文脈表現モデルは正確になる。

上述のステップＳ２０３～Ｓ２０５は、上述の図１に示された実施形態のステップＳ１０２の一実施形態である。

Ｓ２０６において、予め生成されたエンティティ特徴ライブラリから、そのターゲットエンティティに対応する各エンティティカテゴリの特徴表現を取得する。

説明すべきなのは、本実施形態では、このステップＳ２０６の前に、以下のステップを含んでも良い。

（ａ１）エンティティ表現モデルとターゲットエンティティの各エンティティカテゴリとに基づいて、ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を生成する。

（ｂ１）ターゲットエンティティに対応する各エンティティカテゴリの特徴表現をエンティティ特徴ライブラリに格納する。

ここで、ステップ（ａ１）は、具体的に実施される場合に、以下のステップをさらに含むことができる。

（ａ２）ターゲットエンティティの各エンティティカテゴリに対応する、ポジティブサンプルとネガティブサンプルを含む複数の訓練サンプルペアを採集し、ポジティブサンプルは、エンティティと、エンティティと同一のエンティティカテゴリに属するポジティブサンプルエンティティとを含み、ネガティブサンプルは、エンティティと、ポジティブサンプル中のエンティティと同一のエンティティカテゴリに属さないネガティブサンプルエンティティとを含む。

（ｂ２）複数の訓練サンプルペアを用いて、エンティティ表現モデルにより生成されるポジティブサンプルで標識されるエンティティカテゴリの特徴表現がポジティブサンプルエンティティの特徴表現と一致し、ネガティブサンプルエンティティの特徴表現と一致しないように、エンティティ表現モデルを訓練することにより、ターゲットエンティティの対応するエンティティカテゴリの特徴表現を得る。

例えば、図３は、本実施形態が提供するノード異性体図である。図３に示すように、異種体図は、同じエンティティの２つのエンティティカテゴリのノード、例えばエンティティ＿アップル＿果物及びエンティティ＿アップル＿ブランドを含む。エンティティ＿アップル＿果物を指すノードは、当該エンティティカテゴリに関連する文脈語に対応するノードであり、赤富士、梨、果物を含むことができる。エンティティ＿アップル＿ブランドを指すノードは、当該エンティティカテゴリに関連する文脈語に対応するノードであり、ｉｐｈｏｎｅ（登録商標）、携帯電話、ジョブズを含むことができる。すなわち、エンティティに関する文脈語に対応するノードは、そのエンティティに対応するノードと対応するエッジで接続される。エンティティ表現モデルの目的は、１つのエンティティの特徴表現である語義ベクトル表現を学習し、エンティティに関する文脈語義をエンティティのベクトル表現に埋め込むことである。自然な考え方は、ｗｏｒｄ２ｖｅｃのＢＯＷモデルを直接適用することであり、すなわち、各文脈の一般語を用いてエンティティベクトルを予測することである。しかし、このようなモデル構造は単純すぎる。一方、グラフ畳み込みニューラルネットワーク（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ；ＧＣＮ）はこのタスクに非常に適しており、畳み込みカーネルのパラメータ共有を利用して、語義がより豊かなエンティティベクトル表現を学習することができる。したがって、本実施形態では、具体的にＧＣＮを用いてこのエンティティ表現モデルを実現することができる。

具体的な訓練時に、ターゲットエンティティ毎に、当該ターゲットエンティティの各エンティティカテゴリに対応する、ポジティブサンプル及びネガティブサンプルを含む複数の訓練サンプルペアを採集することができ、例えば、ポジティブサンプルにエンティティと、エンティティと同じエンティティカテゴリに属するポジティブサンプルエンティティが含まれ、ネガティブサンプルにエンティティと、ポジティブサンプル中のエンティティと同一のエンティティカテゴリに属さないネガティブサンプルエンティティが含まれる。例えば、エンティティ＿アップル＿果物の特徴表現を生成する場合に、採集されたポジティブサンプルには、アップルと果物、又はアップルとバナナ、又はアップルと梨などの果物のようなポジティブサンプルエンティティが含まれて良い。一方、対応するネガティブサンプルには、アップル及び携帯電話、又はアップル及び服、又はアップル及び果物に関連するもの以外の他の任意のネガティブサンプルエンティティが含まれてよい。そして、ポジティブサンプル中のエンティティ、ポジティブサンプルエンティティ、ネガティブサンプルエンティティをそれぞれ、エンティティ、ポジティブサンプルエンティティ、ネガティブサンプルエンティティのそれぞれの特徴表現を予測して出力することが可能なエンティティ表現モデルに入力する。エンティティとポジティブサンプルエンティティは同じエンティティカテゴリに属し、ネガティブサンプルエンティティとは異なるエンティティカテゴリに属するため、本実施形態の訓練の目的は、エンティティ表現モデルにより生成されたポジティブサンプルで標識されるエンティティカテゴリの特徴表現がポジティブサンプルエンティティの特徴と一致し、ネガティブサンプルエンティティの特徴表現と一致しないようにすることである。本実施形態における一致は、類似度が予め設定された第１類似度閾値よりも大きいことであって良く、例えば８０％、８５％或いは５０％よりも大きい他のパーセンテージであって良い。一方、不一致は、類似度が第２類似度閾値未満であって良く、例えば５０％、４５％、又は５０％未満の他のパーセンテージであって良い。エンティティ表現モデルが出力したエンティティ、ポジティブサンプルエンティティ及びネガティブサンプルエンティティのそれぞれの特徴表現が上記の条件を満たさない場合に、エンティティ表現モデルのパラメータを上記の条件を満たすように調整することができる。そのエンティティカテゴリの対応する複数の訓練サンプルペアを用いて、連続する所定回数の訓練において上記の条件を常に満たすまで、上記の方式に従ってこのエンティティ表現モデルを訓練し続け、その時点でそのエンティティ表現モデルにより生成されたそのエンティティカテゴリの特徴表現を得ることができる。この方式により、各ターゲットエンティティの各エンティティカテゴリ特徴表現を得ることができる。次に、各ターゲットエンティティの各エンティティカテゴリ特徴表現をエンティティ特徴ライブラリに格納する。この方式で生成された各ターゲットエンティティの各エンティティカテゴリ特徴表現は、非常に汎化能力が高く、各エンティティカテゴリの情報を正確に表現することができる。

使用中に、そのエンティティ及びエンティティカテゴリに基づいて、対応するエンティティカテゴリの特徴表現を取得すればよいので、非常に便利である。

Ｓ２０７において、クエリテキストの特徴表現と、予め取得されたターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、クエリテキストの特徴表現とターゲットエンティティに対応する各エンティティカテゴリの特徴表現との一致度スコアを算出する。

Ｓ２０８において、ターゲットエンティティを一致度スコアの最も高いエンティティカテゴリにリンキングする。

具体的に、クエリテキストの特徴表現と、そのターゲットエンティティの各エンティティカテゴリの特徴表現との類似度をそれぞれ計算し、得られた類似度の値を、クエリテキストの特徴表現とターゲットエンティティに対応するエンティティカテゴリの特徴表現との一致度スコアとしてよい。類似度の値が高いほど、すなわち一致度スコアが高いほど、そのクエリテキストがターゲットエンティティのそのエンティティカテゴリとの一致度が高いことを示す。逆も同様である。これに基づいて、最終的な曖昧性解消及びリンキングの結果として、このターゲットエンティティの少なくとも２つのエンティティカテゴリの中から最も一致度スコアの高いエンティティカテゴリを取得することができる。そして、最終的にこのターゲットエンティティを得られた一致度スコアが最も高いエンティティカテゴリにリンキングする。

ステップＳ２０７～Ｓ２０８は、上述した図１に示された実施形態のステップＳ１０３の一実施形態である。

本実施形態のエンティティリンキング方法は、特徴表現を用いる方式で関連情報を表現することにより、より汎化効果を高めることができる。エンティティリンキングの過程において、ターゲットエンティティの特徴表現は文脈とマッチングし、従来技術の共起特徴を利用するやり方を排除し、より正確なマッチング効果を実現し、エンティティリンキングの正確度を効果的に高めることができる。また、従来技術と比較して、本実施形態では大量の特徴抽出フローをニューラルネットワークモデルで代替しているため、全体のフローに性能的な優位性があり、資源消費の面でも明らかに最適化されている。また、全過程は人工による特徴プロセスと規則に依存せず、大量の規則と人工設計による特徴プロセスを維持することを避け、エンティティリンキング技術の使用の知能性と実用性を効果的に高めることができる。

図４は、本開示の第３実施形態に係る概略図である。図４に示すように、本実施形態は、クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得する検出モジュール４０１と、予め訓練された文脈表現モデルを用いて、クエリテキストの特徴表現を生成する第１生成モジュール４０２と、クエリテキストの特徴表現と、予め取得されたターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、ターゲットエンティティを一致度が最も高いエンティティカテゴリにリンキングするリンキングモジュール４０３を備えるエンティティリンキング装置４００を提供する。

本実施形態のエンティティリンキング装置４００は、上述したモジュールを用いてエンティティリンキングを実現する実現原理及び技術的効果は、上述した関連する方法の実施形態の実現と同様であり、詳細は上述した関連する方法の実施形態の記載を参照でき、ここでは詳しく説明しない。

図５は、本開示の第４実施形態に係る概略図である。図５に示すように、本実施形態のエンティティリンキング装置４００は、上述した図４に示す実施形態の技術案に加えて、本開示の技術案をより詳細に説明する。

図５に示すように、本実施形態のエンティティリンキング装置４００は、さらに、予め生成されたエンティティ特徴ライブラリから、ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を取得する取得モジュール４０４を備える。

さらに、オプションとして、図５に示すように、本実施形態のエンティティリンキング装置４００は、さらに、エンティティ表現モデルとターゲットエンティティの各エンティティカテゴリとに基づいて、ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を生成する第２生成モジュール４０５と、ターゲットエンティティに対応する各エンティティカテゴリの特徴表現をエンティティ特徴ライブラリに記憶する記憶モジュール４０６とを備える。

さらに、オプションとして、図５に示されるように、第２生成モジュール４０５は、ターゲットエンティティの各エンティティカテゴリに対応する、ポジティブサンプルとネガティブサンプルを含む複数の訓練サンプルペアを採集し、ポジティブサンプルにエンティティと、エンティティと同一のエンティティカテゴリに属するポジティブサンプルエンティティとを含み、ネガティブサンプルにエンティティと、ポジティブサンプル中のエンティティと同一のエンティティカテゴリに属さないネガティブサンプルエンティティとを含む取得ユニット４０５１と、複数の訓練サンプルペアを用いて、エンティティ表現モデルにより生成されたポジティブサンプルで標識されるエンティティカテゴリの特徴表現がポジティブサンプルエンティティの特徴表現と一致し、ネガティブサンプルエンティティの特徴表現とは一致しないように、エンティティ表現モデルを訓練し、ターゲットエンティティの対応するエンティティカテゴリの特徴表現を得る訓練ユニット４０５２とを備える。

さらに、オプションとして、図５に示されるように、第１生成モジュール４０２は、クエリテキストをトークン化して複数のトークンを得るトークン化ユニット４０２１と、複数のトークンのそれぞれに対して埋め込み表現を行う表現ユニット４０２２と、埋め込み表現が行われた複数のトークンを文脈表現モデルに入力し、文脈表現モデルが出力するクエリテキストの特徴表現を取得する取得ユニット４０２３とを備える。

さらに、オプションとして、検出モジュール４０１は、更に、ターゲットエンティティが少なくとも２つのエンティティカテゴリに対応することを検出して決定する。

さらに、オプションとして、検出モジュール４０１は、エンティティ識別モデルを用いてクエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得し、及び／又は、予め生成されたエンティティ辞書を用いてクエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得する。

本実施形態のエンティティリンキング装置４００は、上述したモジュールを用いてエンティティリンキングを実現する実現原理及び技術的効果は、上述した関連する方法の実施形態の実現と同様であり、詳細は上述した関連する方法の実施形態の記載を参照でき、ここでは詳しく説明しない。

本開示の実施形態によれば、本開示は更に、電子デバイス及び可読記憶媒体を提供する。

図６は、本開示の実施形態のエンティティリンキング方法を実現する電子デバイスのブロック図である。電子デバイスは、様々な形式のデジタルコンピュータ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、ＰＤＡ、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータであることが意図される。電子デバイスは、様々な形式のモバイル装置、例えば、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似するコンピューティング装置を示してもよい。本文で示された構成要素、それらの接続及び関係、ならびにそれらの機能は例示にすぎなく、本明細書において説明及び／又は請求される本開示の実現を限定することが意図されない。

図６に示すように、この電子デバイスは、一つ又は複数のプロセッサ６０１、メモリ６０２、及び各構成要素に接続するための高速インターフェース及び低速インターフェースを含むインターフェースを備える。各構成要素は、異なるバスで相互接続され、そして、共通マザーボードに、又は必要に応じて、他の態様で実装されてもよい。プロセッサは、電子デバイス内で実行されるコマンドを処理してもよく、メモリに記憶される又はメモリ上で外部入力／出力装置（例えば、インターフェースに結合される表示装置）にグラフィカルユーザインターフェースのグラフィカル情報を表示するコマンドを含む。他の実施形態において、必要な場合に、複数のプロセッサ及び／又は複数のバスが、複数のメモリとともに用いられてもよい。同様に、複数の電子デバイスが接続されてもよく、それぞれのデバイスが必要な操作の一部を提供する（例えば、サーババンク、ブレードサーバの集まり、又はマルチプロセッサシステムとする）。図６において、一つのプロセッサ６０１を例とする。

メモリ６０２は、本開示で提供される非一時的コンピュータ可読記憶媒体である。なお、前記メモリには、少なくとも１つのプロセッサが本願に提供されたエンティティリンキング方法を実行するように、前記少なくとも１つのプロセッサに実行可能なコマンドが記憶されている。本開示の非一時的コンピュータ可読記憶媒体は、本願に提供されたエンティティリンキング方法をコンピュータに実行させるためのコンピュータコマンドを記憶している。

メモリ６０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム、モジュール、例えば、本開示の実施例におけるエンティティリンキング方法に対応するプログラムコマンド／モジュール（例えば図４、図５に示された関連モジュール）を記憶するために用いられる。プロセッサ６０１は、メモリ６０２に記憶されている非一時的ソフトウェアプログラム、コマンド及びモジュールを実行することで、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記の方法実施例におけるエンティティリンキング方法を実現する。

メモリ６０２は、プログラム記憶領域及びデータ記憶領域を含んでもよく、プログラム記憶領域はオペレーティングシステム、少なくとも一つの機能に必要なアプリケーションプログラムを記憶してもよく、データ記憶領域はエンティティリンキング方法を実現する電子デバイスの使用により作成されたデータなどを記憶してもよい。また、メモリ６０２は、高速ランダムアクセスメモリを含んでもよく、さらに非一時的メモリ、例えば、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一時的固体記憶装置を含んでもよい。幾つかの実施例において、メモリ６０２は、プロセッサ６０１に対して遠隔設置されたメモリを選択的に含んでもよく、これらのリモートメモリは、ネットワークを介してエンティティリンキング方法を実現する電子デバイスに接続されてもよい。上記のネットワークの実例には、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

エンティティリンキング方法を実現する電子デバイスは、更に、入力装置６０３と出力装置６０４とを備えても良い。プロセッサ６０１、メモリ６０２、入力装置６０３及び出力装置６０４は、バス又は他の手段により接続されても良く、図６においてバスによる接続を例とする。

入力装置６０３は、入力された数字又はキャラクタ情報を受信し、エンティティリンキング方法を実現する電子デバイスのユーザ設定及び機能制御に関連するキー信号入力を生成でき、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置６０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、及びプラズマディスプレイを含み得るが、これらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本明細書に説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、記憶システム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及びコマンドを受信し、当該記憶システム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置にデータ及びコマンドを送信するようにつなげられた、特殊用途でもよく一般用途でもよい少なくとも一つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能及び／又は解釈可能な一つ又は複数のコンピュータプログラムにおける実行を含んでもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又は、コードとも称される）は、プログラマブルプロセッサの機械命令を含み、高水準のプロセス及び／又はオブジェクト向けプログラミング言語、及び／又はアセンブリ／機械言語で実行されることができる。本明細書で用いられる「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号としての機械命令を受け取る機械可読媒体を含むプログラマブルプロセッサに機械命令及び／又はデータを提供するのに用いられる任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、及びプログラマブル論理デバイス）を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために用いられる任意の信号を指す。

ユーザとのインタラクティブを提供するために、本明細書に説明されるシステムと技術は、ユーザに対して情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）、ユーザがコンピュータに入力を与えることができるキーボード及びポインティングデバイス（例えば、マウスや、トラックボール）を有するコンピュータ上に実施されることが可能である。その他の種類の装置は、さらに、ユーザとのインタラクションを提供するために使用されることが可能であり、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚的なフィードバック、聴覚的なフィードバック、又は触覚的なフィードバック）であり得、ユーザからの入力は、任意の形態で（音響、音声又は触覚による入力を含む）受信され得る。

本明細書に説明されるシステムと技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。

本開示の実施形態の技術案によれば、クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得し、予め訓練された文脈表現モデルを用いて、クエリテキストの特徴表現を生成し、クエリテキストの特徴表現と、予め取得したターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングすることにより、従来技術と比較すると、本実施形態では、文脈表現モデルに基づいて取得されたクエリテキストの特徴表現と、予め取得された各エンティティカテゴリの特徴表現は、いずれも関連情報を効果的に汎化することができ、クエリテキストの特徴表現及び各エンティティカテゴリの特徴表現の正確度を確保し、さらにエンティティリンキングの正確度を効果的に高めることができる。

本開示の実施例の技術案によれば、特徴表現を用いる方式で関連情報を表現することにより、より良い汎化効果を実現することができる。エンティティリンキングの過程において、ターゲットエンティティの特徴表現は文脈とマッチングし、従来技術の共起特徴を利用するやり方を排除し、より正確なマッチング効果を実現し、エンティティリンキングの正確度を効果的に高めることができる。また、従来技術と比較して、本実施形態では大量の特徴抽出フローをニューラルネットワークモデルで代替しているため、全体のフローに性能的な優位性があり、資源消費の面でも明らかに最適化されている。 また、全過程は人工による特徴プロセスと規則に依存せず、大量の規則と人工設計による特徴プロセスを維持することを避け、エンティティリンキング技術の使用の知能性と実用性を効果的に高めることができる。

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本開示に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本開示で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

前記の具体的な実施形態は本開示の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本開示の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本開示の保護範囲内に含まれるべきである。

Claims (15)

1. コンピュータにより実行される、エンティティリンキング方法であって、
   クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得することと、
   予め訓練された文脈表現モデルを用いて、前記クエリテキストの特徴表現を生成し、前記文脈表現モデルを予め訓練することは、ターゲットエンティティ及びターゲットエンティティに対応するエンティティカテゴリが標識された複数の訓練テキストに対して、前記文脈表現モデルにより各訓練テキストの特徴表現を予測し、前記訓練テキストにおけるターゲットエンティティの対応するエンティティカテゴリにおける特徴表現と前記文脈表現モデルにより予測された各訓練テキストにおける特徴表現との類似度が所定類似度閾値よりも大きいように、前記文脈表現モデルのパラメータを調整することと、
   前記クエリテキストの特徴表現と、予め取得された前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、前記ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングすることと、を含む、
   方法。
2. 予め訓練された文脈表現モデルを用いて、前記クエリテキストの特徴表現を生成することの後、前記クエリテキストの特徴表現と予め取得されたターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、前記ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングすることの前に、更に、
   予め生成されたエンティティ特徴ライブラリから、前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を取得すること、を含む、
   請求項１に記載の方法。
3. 予め生成されたエンティティ特徴ライブラリから前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を取得する前に、更に、
   エンティティ表現モデルと前記ターゲットエンティティの各エンティティカテゴリとに基づいて、前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を生成することと、
   前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を前記エンティティ特徴ライブラリに格納することと、を含み、
   エンティティ表現モデルと前記ターゲットエンティティの各エンティティカテゴリとに基づいて、前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を生成することは、
   前記ターゲットエンティティの各エンティティカテゴリに対応する複数の訓練サンプルペアを採集することであって、各訓練サンプルペアがポジティブサンプルとネガティブサンプルを含み、前記ポジティブサンプルにエンティティと、前記エンティティと同一のエンティティカテゴリに属するポジティブサンプルエンティティとが含まれ、前記ネガティブサンプルに前記エンティティと、前記ポジティブサンプルにおける前記エンティティと同一のエンティティカテゴリに属さないネガティブサンプルエンティティが含まれることと、
   前記複数の訓練サンプルペアを使用して、前記エンティティ表現モデルにより生成された前記ポジティブサンプルで標識されるエンティティカテゴリの特徴表現が前記ポジティブサンプルエンティティの特徴表現と一致し、前記ネガティブサンプルエンティティの特徴表現と一致しないように、前記エンティティ表現モデルを訓練することにより、前記ターゲットエンティティに対応するエンティティカテゴリの特徴表現を得ることと、を含む、
   請求項２に記載の方法。
4. 予め訓練された文脈表現モデルを用いて、前記クエリテキストの特徴表現を生成することは、
   前記クエリテキストをトークン化して複数のトークンを得ることと、
   前記複数のトークンのそれぞれに対して埋め込み表現を行うことと、
   埋め込み表現が行われた前記複数のトークンを前記文脈表現モデルに入力し、前記文脈表現モデルが出力する前記クエリテキストの特徴表現を取得することと、を含む、
   請求項１に記載の方法。
5. クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得することの後、前記クエリテキストの特徴表現と、予め取得された前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、前記ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングすることの前に、更に、
   各エンティティに対応する各エンティティカテゴリが記録された、予め生成されたエンティティ辞書を用いて前記ターゲットエンティティが少なくとも２つのエンティティカテゴリに対応することを検出して決定すること、を含む、
   請求項１に記載の方法。
6. クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得することは、
   エンティティ識別モデルを使用して前記クエリテキストに対してエンティティ検出を行って前記ターゲットエンティティを取得し、及び／又は、
   予め生成されたエンティティ辞書を用いて前記クエリテキストに対してエンティティ検出を行って前記ターゲットエンティティを取得すること、を含む、
   請求項１～５のいずれか１項に記載の方法。
7. エンティティリンキング装置であって、
   クエリテキストに対してエンティティ検出を行ってターゲットエンティティを取得する検出モジュールと、
   予め訓練された文脈表現モデルを用いて、前記クエリテキストの特徴表現を生成し、前記文脈表現モデルを予め訓練することは、ターゲットエンティティ及びターゲットエンティティに対応するエンティティカテゴリが標識された複数の訓練テキストに対して、前記文脈表現モデルにより各訓練テキストの特徴表現を予測し、前記訓練テキストにおけるターゲットエンティティの対応するエンティティカテゴリにおける特徴表現と前記文脈表現モデルにより予測された各訓練テキストにおける特徴表現との類似度が所定類似度閾値よりも大きいように、前記文脈表現モデルのパラメータを調整する第１生成モジュールと、
   前記クエリテキストの特徴表現と、予め取得された前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現とに基づいて、前記ターゲットエンティティを最も一致度の高いエンティティカテゴリにリンキングするリンキングモジュールと、を備える、
   装置。
8. 予め生成されたエンティティ特徴ライブラリから、前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を取得する取得モジュールを更に備える請求項７に記載の装置。
9. エンティティ表現モデルと前記ターゲットエンティティの各エンティティカテゴリとに基づいて、前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を生成する第２生成モジュールと、
   前記ターゲットエンティティに対応する各エンティティカテゴリの特徴表現を前記エンティティ特徴ライブラリに格納する格納モジュールと、を更に備え、
   前記第２生成モジュールは、
   前記ターゲットエンティティの各エンティティカテゴリに対応する複数の訓練サンプルペアを採集する採集ユニットであって、各訓練サンプルペアがポジティブサンプルとネガティブサンプルを含み、前記ポジティブサンプルにエンティティと、前記エンティティと同一のエンティティカテゴリに属するポジティブサンプルエンティティとが含まれ、前記ネガティブサンプルに前記エンティティと、前記ポジティブサンプルにおける前記エンティティと同一のエンティティカテゴリに属さないネガティブサンプルエンティティとが含まれる採集ユニットと、
   前記複数の訓練サンプルペアを使用して、前記エンティティ表現モデルにより生成された前記ポジティブサンプルで標識されるエンティティカテゴリの特徴表現が前記ポジティブサンプルエンティティの特徴表現と一致し、前記ネガティブサンプルエンティティの特徴表現と一致しないように、前記エンティティ表現モデルを訓練することにより、前記ターゲットエンティティに対応するエンティティカテゴリの特徴表現を得る訓練ユニットと、を備える、
   請求項８に記載の装置。
10. 前記第１生成モジュールは、
    前記クエリテキストをトークン化して複数のトークンを得るトークン化ユニットと、
    前記複数のトークンのそれぞれに対して埋め込み表現を行う表現ユニットと、
    埋め込み表現が行われた前記複数のトークンを前記文脈表現モデルに入力し、前記文脈表現モデルが出力する前記クエリテキストの特徴表現を取得する取得ユニットと、を備える、
    請求項７に記載の装置。
11. 前記検出モジュールは、更に、各エンティティに対応する各エンティティカテゴリが記録された、予め生成されたエンティティ辞書を用いて前記ターゲットエンティティが少なくとも２つのエンティティカテゴリに対応することを検出して決定する、
    請求項７に記載の装置。
12. 前記検出モジュールは、
    エンティティ識別モデルを使用して前記クエリテキストに対してエンティティ検出を行って前記ターゲットエンティティを取得し、及び／又は、
    予め生成されたエンティティ辞書を用いて前記クエリテキストに対してエンティティ検出を行って前記ターゲットエンティティを取得する、
    請求項７～１１のいずれか１項に記載の装置。
13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されたメモリと、を備え、
    前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１～６のいずれか１項に記載の方法を実行させる電子デバイス。
14. コンピュータに請求項１～６のいずれか１項に記載の方法を実行させるためのコンピュータコマンドが記憶された非一時的なコンピュータ可読記憶媒体。
15. コンピュータに請求項１～６のいずれか１項に記載の方法を実行させるためのプログラム。

Images