JP7202465B2

JP7202465B2 - エンティティ意味関係分類

Info

Publication number: JP7202465B2
Application number: JP2021534922A
Authority: JP
Inventors: 芳利樊
Original assignee: New H3C Big Data Technologies Co Ltd
Current assignee: New H3C Big Data Technologies Co Ltd
Priority date: 2018-12-29
Filing date: 2019-12-23
Publication date: 2023-01-11
Anticipated expiration: 2039-12-23
Also published as: US20210391080A1; CN109754012A; WO2020135337A1; JP2022514842A; EP3985559A4; EP3985559A1

Description

相関出願への相互参照

本願は、２０１８年１２月２９日に中国国家知的財産権局へ提出された出願番号が２０１８１１６４１９５８．３であり、発明の名称が「エンティティ意味関係分類方法、モデルトレーニング方法、装置及び電子機器」である中国特許出願に基づき優先権を主張し、その内容の全てが援用により本願に組み込まれる。

深層学習とは、機械学習においてデータに対する表現学習を行う方法の一つである。深層学習の実用化時に、深層学習モデルを予めトレーニングする必要がある。

深層学習モデルのトレーニングにおいて、採用されるサンプルデータは多次元の特徴データを含む。サンプルデータに基づいて、深層学習モデルをトレーニングし続けることで、正確な予測モデルを得る。当該予測モデルはオンラインでデータ予測の処理を実行するために用いられる。

図１は、本願の一実施例に係る電子機器の模式的な構成ブロック図である。図２は、本願の一実施例に係るエンティティ意味関係分類モデルの模式的な構成図である。図３は、本願の一実施例に係るエンティティ意味関係分類モデルのトレーニング方法の模式的なフローチャートである。図４は、図３におけるＳ２０４のサブステップの模式的なフローチャートである。図５は、図３におけるＳ２０４のサブステップの他の模式的なフローチャートである。図６は、本願の一実施例に係るエンティティ意味関係分類方法の模式的なフローチャートである。図７は、図６におけるＳ３０３のサブステップの模式的なフローチャートである。図８は、図７におけるＳ３０３１のサブステップの模式的なフローチャートである。図９は、本願の一実施例に係るエンティティ意味関係分類モデルトレーニング装置の模式的な構成図である。図１０は、本願の一実施例に係るエンティティ意味関係分類装置の模式的な構成図である。

１００…電子機器、１０１…メモリ、１０２…プロセッサ、１０３…通信インターフェース、４００…エンティティ意味関係分類モデルトレーニング装置、４０１…受送信モモジュール、４０２…第２の処理モジュール、４０３…トレーニングモジュール、５００…エンティティ意味関係分類装置、５０１…第１の処理モジュール、５０２…識別モジュール。

本願の実施例の目的、技術案、及び利点をより明確にするため、以下、本願の実施例の図面を参照して、本願の実施例の技術案を明確かつ全体的に説明する。勿論、説明される実施例は、本願の実施例の一部にすぎず、すべての実施例ではない。一般的に図面に記載及び図示される本願の実施例の構成要素は、様々な構成で配置又は設計可能である。

従って、以下、図面に係る本願の実施例に対する詳細な説明は、本願が保護請求する範囲を限定することを意図するものではなく、単に本願の選ばれた実施例を示すに過ぎない。本願の実施例に基づいて、当業者が創造的な働きをせずに得られるすべての他の実施例は、いずれも本願が保護請求する範囲に含まれる。

なお、以下の図面において、類似する符号や文字は、類似する要素を表すことに注意する必要があるため、ある要素が１つの図面において定義されと、その後の図面において、それに対する更なる定義や説明は不要である。同時に、本願の実施例に対する説明において、「第１」や「第２」などの用語は説明を区別するためのものに過ぎず、相対的な重要性を示すか又は示唆するものと理解されるべきではない。

本文では、「第１」や「第２」などのような関係用語は、１つのエンティティ又は操作を他のエンティティ又は操作と区別するためのものに過ぎず、必ずしもこれらのエンティティ又は操作の間にこのような実際の関係又は順序があることを要求又は示唆するものではない。また、用語「含む」、「備える」又はいかなる他の変形は、非排他的に含むことを目的として、これにより一連の要素を含むプロセス、方法、物品、又は装置はそれらの要素を含むだけでなく、明確に記載されていない他の要素、又はこのようなプロセス、方法、物品又は装置に固有される要素も含むことを意図している。特別に限定されない限り、「…を含む」との文により限定される要素は、前記要素を含むプロセス、方法、物品又は装置に他の同じ要素をさらに含むことを排除するものではない。

以下、図面を参照しながら、本願のいくつかの実施形態を詳しく説明する。下記の実施例及び実施例における特徴は、競合しない場合、互いに組み合わせられることができる。

テキスト情報抽出のタスクにおいて、深層学習モデルを採用して、エンティティ識別の上に、テキスト情報を深くマイニングして、非構造化文の構造化を促す。ここで、エンティティは、例えば人名や、地名や、装置名や、病気名称などの命名要素である。無論、異なる分野において、分野に対応して各エンティティのタイプを定義する。

コーパスにおけるエンティティ間の意味関係を分類するアプリケーションシナリオでは、一般的にニューラルネットワークモデルに基づく分類方法により、エンティティの意味関係を分類する。具体的な手段は、エンティティの意味関係が分類された大量のコーパスをニューラルネットワークモデルの入力として使用することで、当該ニューラルネットワークモデルをトレーニングし、そしてトレーニング済みのニューラルネットワークモデルを、新たなコーパスのエンティティの意味関係を分類するために用いられることである。例えば、ＲＮＴＮ（ＲｅｃｕｒｓｉｖｅＮｅｕｒａｌＴｅｎｓｏｒＮｅｔｗｏｒｋ、リカーシブニューラルテンソルネットワーク）や、ＰＣＮＮ（ＰｕｌｓｅＣｏｕｐｌｅｄＮｅｕｒａｌＮｅｔｗｏｒｋ、パルスカップルドニューラルネットワーク）などの、コンボリューショナルニューラルネットワークに基づくモデルによって、エンティティの意味関係を分類する。しかし、一部の分野でコーパスのエンティティ意味関係を分類するためのこれらのモデルの確度は要求を満たさない可能性がある。

電子カルテ（ＥｌｅｃｔｒｏｎｉｃＭｅｄｉｃａｌＲｅｃｏｒｄ、ＥＭＲ）がテキスト情報抽出対象として使用されることを例とする。電子カルテに患者の病気および症状と、治療過程と、治療効果を記録している。確立された深層学習モデルに基づいて、電子カルテにおけるエンティティをマイニングして、エンティティ意味関係を分類する。しかし、エンティティ意味関係分類の確度が高くないため、過去の臨床情報をより効率的且つ正確に収集して履歴データとして使用し、医療上の意思決定をサポートすることができない。

図１を参照すると、図１は本願の一実施例に係る電子機器１００の模式的な構成ブロック図である。電子機器１００は、サーバーやパソコン（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ、ＰＣ）、タブレット、スマートフォン、パーソナルデジタルアシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ、ＰＤＡ）などでもよいが、これらに限られない。電子機器１００は、メモリ１０１とプロセッサ１０２と通信インターフェース１０３を有する。当該メモリ１０１とプロセッサ１０２と通信インターフェース１０３との間で、データの伝送または相互作用を実現するように、互いに直接的又は間接的に電気的に接続される。例えば、メモリ１０１とプロセッサ１０２と通信インターフェース１０３は、１つ又は複数の通信バス又は信号線で互いに電気的に接続される。メモリ１０１は、例えば、本願の実施例に係るエンティティ意味関係分類モデルトレーニング装置４００に係るプログラム指令／モジュール、及びエンティティ意味関係分類装置５００に係るプログラム指令／モジュールような、プログラム指令及びモジュールを格納する。プロセッサ１０２は、メモリ１０１に格納されたプログラム指令及びモジュールを実行することにより、様々の機能的アプリケーション及びデータ処理を実行する。当該通信インターフェース１０３は、他のノード装置とシグナリング又はデータの通信を行う。

ここで、メモリ１０１は、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）や、読み出し専用メモリ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥｌｅｃｔｒｉｃＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＥＥＰＲＯＭ）などでもよいが、これらに限られない。

プロセッサ１０２は、集積回路チップでもよく、信号処理能力を有する。当該プロセッサ１０２は、汎用プロセッサでもよく、中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵ）、デジタル信号処理装置（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、ＮＰＵ（Ｎｅｕｒａｌ－ｎｅｔｗｏｒｋＰｒｏｃｅｓｓＵｎｉｔｓ，ニューラルネットワークプロセシングユニット）などを含むが、これらに限られない。当該プロセッサ１０２は、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、ＡＳＩＣ）、現場プログラム可能ゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ）、又は、他のプログラマブルロジックデバイスやディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどでもよい。

図１に示す構成は、単に模式的な一例に過ぎず、電子機器１００は、図１に示すものより多いか又は少ない要素を含み、或いは図１に示すものと異なる構成を有することが理解できる。図１に示す各構成要素は、ハードウェア、ソフトウェアまたはそれらの組合せで構成され得る。

以下、コーパスにおけるエンティティをマイニングして、エンティティ意味関係を分類することを例として、本願の実施例に係るエンティティ意味関係分類モデルをトレーニングする方法を説明し、トレーニング済みのエンティティ意味関係分類モデルによって、コーパスにおけるエンティティ意味関係を分類する。

一例として、図２を参照すると、図２は本願の一実施例に係るエンティティ意味関係分類モデルの模式的な構成図である。可能な実施形態として、当該エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワーク（ＢｉＧａｔｅｄＲｅｃｕｒｒｅｎｔＵｎｉｔ（ＢｉＧＲＵ）とアテンション（Ａｔｔｅｎｔｉｏｎメカニズムとを組み合わせるモデルを使用してもよい。具体的には、当該エンティティ意味関係分類モデルは、ＢｉＧＲＵモデルの出力層の前に、アテンション層を加えるものである。

ここで、可能な実施形態として、当該ＢｉＧＲＵ＋Ａｔｔｅｎｔｉｏｎモデル（即ち、エンティティ意味関係分類モデル）では、ＧＲＵ層のレベルを１に設定し、ＧＲＵ層におけるニューロン数が２３０である。実用化時に、ユーザーは、実際のニーズに応じて、ＧＲＵ層のレベルを２層また他の値に設定し、それに対応して、ＧＲＵ層におけるニューロン数を他の数に設定することもできる。本願の実施例は、一つの可能な実施形態を提供することに過ぎず、具体的な数を限定するものではない。

可能な実施形態として、当該ＢｉＧＲＵ＋Ａｔｔｅｎｔｉｏｎモデルのドロップアウト（Ｄｒｏｐｏｕｔ）パラメータを１に設定する。即ち、トレーニング時に、当該ＢｉＧＲＵ＋ＡｔｔｅｎｔｉｏｎモデルにおけるＧＲＵ層の各ニューロンは破棄されない。勿論、実用化時に、ユーザーは、ニーズに応じて、Ｄｒｏｐｏｕｔパラメータを他の値に設定して、ＧＲＵ層のニューロンの一部を不活性化することを確定する。本願の実施例は、繰り返し実施することにより、１つの可能な実施形態を提供するが、具体的な数を限定するものではない。

本願の実施例における他のいくつかの形態では、当該エンティティ意味関係分類モデルは、例えばＧＲＵモデルような他のモデルを使用してもよい。本願の実施例は、ＢｉＧＲＵ＋Ａｔｔｅｎｔｉｏｎモデルを基に、説明される。

図３を参照すると、図３は、本願の一実施例に係るエンティティ意味関係分類モデルをトレーニングする方法の模式的なフローチャートである。当該エンティティ意味関係分類モデルをトレーニングする方法は、図１に示すような電子機器１００に適用され、該電子機器１００は、エンティティ意味関係分類モデルを利用して、コーパスにおけるエンティティ意味関係を分類する。当該エンティティ意味関係分類モデルをトレーニングする方法は、以下のステップを含む。

Ｓ２０１において、少なくとも一つのトレーニングサンプルを受信し、少なくとも１つのトレーニングサンプルにおける各トレーニングサンプルの第１のエンティティと第２のエンティティを識別する。

ここで、前記トレーニングサンプルは、１回に複数のトレーニングサンプルを受信してもよく、１回に１つのトレーニングサンプルを受信してもよい。ユーザーは、実用化時に実際のニーズによって調整できる。

Ｓ２０２において、各トレーニングサンプルにおける各単語と対応する第１のエンティティとの第１の位置距離、及び各トレーニングサンプルにおける各単語と対応する第２のエンティティとの第２の位置距離を取得する。

具体的に、ステップＳ２０２では、各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第１のエンティティとの第１の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第２のエンティティとの第２の位置距離を取得することを指す。

Ｓ２０３において、各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを得る。

具体的に、Ｓ２０３では、各トレーニングサンプルに対して、当該トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該トレーニングサンプルに対応するモデル入力ベクトルを得ることを指す。

ここで、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることにより得られるものである。各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルを含む。即ち、各単語に対して、当該単語に対応する特徴ベクトルは、当該単語に対応する単語ベクトルと位置埋め込みベクトルを組み合わせることにより得られるものであり、当該単語に対応する位置埋め込みベクトルは、当該単語の第１の位置距離に対応するベクトルと当該単語の第２の位置距離に対応するベクトルを含む。

Ｓ２０４において、各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングする。

エンティティ意味関係分類モデルをトレーニングする時に、全てのトレーニングサンプルをバッチでエンティティ意味関係分類モデルに入力する必要がある。各バッチに含まれるトレーニングサンプルの数はバッチサイズ（ｂａｔｃｈ＿ｓｉｚｅ）と呼ばれ、各トレーニングサンプルが使用される回数はｅｐｏｃｈｓと呼ばれる。

例示として、エンティティ意味関係分類モデルをトレーニングする時に、ｂａｔｃｈ＿ｓｉｚｅを５０に設定し、ｅｐｏｃｈｓを１００に設定するように、トレーニングパラメータを設定することができる。即ち、各トレーニングサンプルが使用される回数は１００回であり、１００回トレーニングされる度に、モデルを保存する。このトレーニングパラメータの意味は、毎回に、５０個のトレーニングサンプルを使用して、エンティティ意味関係分類モデルをトレーニングし、且つ、各トレーニングサンプルが１００回に使用され、１００回トレーニングする度にエンティティ意味関係分類モデルを保存することである。

上記の例に従って、各バッチのトレーニングサンプルによりエンティティ意味関係分類モデルをトレーニングする時に、電子機器は、５０個のトレーニングサンプルを受信し、各トレーニングサンプルの第１のエンティティと第２のエンティティを識別する必要がある。ここで、各トレーニングサンプルの第１のエンティティと第２のエンティティは、エンティティペアを構成する。

可能な実施形態として、トレーニングサンプルを使用してエンティティ意味関係分類モデルをトレーニングする前に、トレーニングサンプルにおける各エンティティはエンティティ識別子を有する。電子機器は各トレーニングサンプルのエンティティ識別子を識別して、各トレーニングサンプルの第１のエンティティと第２のエンティティを取得する。

トレーニングサンプルが電子カルテであるシナリオを例として、仮に１つのトレーニングサンプルが、

であるとする。その中で、＜ｅ１＞＜／ｅ１＞を第１のエンティティの識別子として、＜ｅ２＞＜／ｅ２＞を第２のエンティティの識別子として使用する場合、電子機器は、当該トレーニングサンプルを受信すると、＜ｅ１＞＜／ｅ１＞を識別した結果、取得された第１のエンティティが「隆起」であり、タイプがｓｙｍｐｔｏｍであり、＜ｅ２＞＜／ｅ２＞を識別した結果、取得された第２のエンティティが「心率」であり、タイプがｔｅｓｔである。

本願の実施例における他のいくつかの形態では、別の手段でトレーニングサンプルの第１のエンティティと第２のエンティティを識別することもできる。例えば、１つのエンティティライブラリを予め設定し、エンティティライブラリに複数のエンティティを格納することで、当該予め設定されたエンティティライブラリに基づいて検索して、トレーニングサンプルを識別し、第１のエンティティと第２のエンティティを取得する。

例えば、上記の電子カルテのアプリケーションシナリオでは、単一のトレーニングサンプルにおいて各単語が第１のエンティティと第２のエンティティに対する位置が異なるので、第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプの識別に対して各単語の寄与も異なる。一般的に単語が２つのエンティティに近いほど、その単語は２つのエンティティのエンティティ意味関係タイプの識別に大きく貢献する可能性が高い。

そのため、本願の実施例では、位置埋め込みという概念を導入する。エンティティ意味関係分類モデルをトレーニングする時に、各トレーニングサンプルにおける各単語と対応する第１のエンティティとの第１の位置距離、及び各トレーニングサンプルにおける各単語と対応する第２のエンティティとの第２の位置距離を取得する。

そして、エンティティが通常複数の単語からなり、例えば、上記の例では「隆起」と「心率」からなるため、各トレーニングサンプルにおける各単語の第１の位置距離及び第２の位置距離を取得する時に、トレーニングサンプルにおける第１の位置距離及び第２の位置距離の計算基準を予め確定することができる。例えば、第１の位置距離を計算する時に、語順に従って第１のエンティティの最初の単語を第１の位置距離の計算基準として使用し、第２の位置距離を計算する時に、語順に従って第２のエンティティの最初の単語を第２の位置距離の計算基準として使用するように約束できる。

例えば、上記の例示的なトレーニングサンプルである、

では、上記の第１の位置距離及び第２の位置距離を計算する基準によると、当該トレーニングサンプルにおいて、「心前区」の単語「前」の第１の位置距離が３であり、第２の位置距離が３３であり、「心前区」の単語「区」の第１の位置距離が２であり、第２
の位置距離が３２である。

異なる２つの単語が同一のエンティティに対する位置距離は、同じである可能性があるが、区別は、語順に従って、一方の単語が当該エンティティの前に位置し、他方の単語が当該エンティティの後に位置することである。例えば、上記の例示的なトレーニングサンプルでは、「心前区」の単語「区」と、第１のエンティティ「隆起」との第１の位置距離が２であり、「凹陷」の単語「凹」と、同じ第１のエンティティ「隆起」との第１の位置距離も２である。

そのため、可能な実施形態として、正の値と負の値で位置距離の方向を区別できる。語順に従って、エンティティの前の単語の位置距離を負の値で表し、エンティティの後の単語の位置距離を正の値で表す。例えば、上記例示では、語順に従って、「心前区」の単語「区」が第１のエンティティ「隆起」の前に位置し、「凹陷」の単語「凹」が第１のエンティティ「隆起」の後に位置する場合、単語「区」の第１の位置距離が－２であり、単語「凹」の第１の位置距離が２である。

他の可能な実施形態として、上記正の値と負の値で位置距離の方向を区別する上に、各位置距離の値にプリセット値を加算することにより各位置距離の値を正の値に変換することもできる。例えば、上記の例示的なトレーニングサンプルでは、プリセット値を６８に設定すると、単語「区」の第１の位置距離が－２＋６８＝６６であり、単語「凹」の第１の位置距離が２＋６８＝７０である。

上記取得された各トレーニングサンプルにおける各単語の第１の位置距離と第２の位置距離に従って、単語をベクトルに変換するための単語ベクトルテーブル及び位置距離をベクトルに変換するための位置埋め込みベクトルテーブルによって、各単語をベクトル化して単語ベクトルを取得し、各第１の位置距離をベクトル化して位置埋め込みベクトルを取得し、各第２の位置距離をベクトル化して位置埋め込みベクトルを取得し、その後に各単語の単語ベクトルと、第１の位置距離に対応する位置埋め込みベクトルと、第２の位置距離に対応する位置埋め込みベクトルとを組み合わせて、各単語に対応する特徴ベクトルを得る。

例えば、上記の例示的なトレーニングサンプルでは、「心前区」の単語「前」を例として、仮に単語「前」をベクトル化して得られた単語ベクトルは［０．１、０．５、０．４、０．３］であり、単語「前」の第１の位置距離に対応するベクトルは［０．４、０．６］であり、第２の位置距離に対応するベクトルは［０．６、０．４］である場合、単語「前」に対応する特徴ベクトルは［０．１、０．５、０．４、０．３、０．４、０．６、０．６、０．４］である。

上記単語「前」をベクトル化して得た単語ベクトルが４次元のベクトル［０．１、０．５、０．４、０．３］であることはただ例示だけである。本願の実施例における他の形態では、電子機器に予め格納された他の次元の単語ベクトルテーブルを使用して、単語「前」をベクトル化して、異なる次元の単語ベクトルを得る。例えば、電子機器に予め格納された１００次元の単語ベクトルテーブルを使用して、単語「前」をベクトル化して１００次元の単語ベクトルを得る。

同様な理由に基づいて、上記第１の位置距離に対応するベクトルと第２の位置距離に対応するベクトルは何れも例示であり、２次元のものを使用したが、本願の実施例における他の形態では、電子機器に予め格納された他の次元の位置埋め込みベクトルテーブルを使用することもできる。例えば４次元の位置埋め込みベクトルテーブルを有する。

本願の実施例では、各単語に対応する特徴ベクトルを得た後、各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを得る。可能な実施形態として、２次元マトリックス配列で各トレーニングサンプルに対応するモデル入力ベクトルを記録する。

例えば、上記の例示的なトレーニングサンプルでは、「心前区」の単語「心」に対応する特徴べクルトをモデル入力ベクトルの第１行として、「心前区」の単語「前」に対応する特徴べクルトをモデル入力ベクトルの第２行として、以下同様に、当該トレーニングサンプルにおける全ての単語に対応する特徴ベクトルを組み合わせて、当該トレーニングサンプルに対応するモデル入力ベクトルを得る。

これにより、組み合わせにより得た各トレーニングサンプルに対応するモデル入力ベクトルによって、各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用して、エンティティ意味関係分類モデルをトレーニングする。

ここで、可能な実施形態として、モデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用する時に、複数のトレーニングサンプルのそれぞれに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として一緒に使用することもできる。例えば、上記トレーニングパラメータの設定によって、ｂａｔｃｈ＿ｓｉｚｅを５０に設定すると、当該エンティティ意味関係分類モデルに、５０個のトレーニングサンプルに対応するモデル入力ベクトルを１回に入力する。

例えば、上記エンティティ意味関係分類モデルに５０個のトレーニングサンプルに対応するモデル入力ベクトルを１回に入力する例では、各モデル入力ベクトルは同じ次元を有する。例えば、１００次元の単語べクルトと４次元の位置埋め込みベクトルを例として、トレーニングサンプル１のモデル入力ベクトルの次元数が７０×１０８である場合、トレーニングサンプル２のモデル入力ベクトルの次元数も７０×１０８である。ここで、７０はトレーニングサンプルに７０単語を含むことを表し、１０８は各単語に対応する特徴ベクトルに１０８個の要素を含むことを表す。この１０８個の要素に、単語べクルトの１００個の要素と、第１の位置距離に対応する位置埋め込みベクトルの４つの要素と、第２の位置距離に対応する位置埋め込みベクトルの４つの要素とを含む。

また、複数のトレーニングサンプルをエンティティ意味関係分類モデルの入力として一緒に使用する場合、異なるトレーニングサンプルに含まれる単語の数が必ずしも同じではなく、例えば、トレーニングサンプル１に６０単語を含み、トレーニングサンプル２に７０単語を含み、トレーニングサンプル３に７３単語を含むため、複数のトレーニングサンプルに対応するモデル入力ベクトルを統一化する必要がある。つまり、複数のトレーニングサンプルに対応するモデル入力ベクトルの次元数を統一する。例えば、モデル入力ベクトルの次元数を一様に７０×１０８に設定する場合、トレーニングサンプル１における各単語に対応する特徴ベクトルを組み合わせて６０×１０８次元のベクトルを得て、６０＜７０である。トレーニングサンプル１の７０単語より不足する部分に、例えば０ベクトルようなプリセットベクトルで充填することにより、トレーニングサンプル１に対応する７０×１０８次元のモデル入力ベクトルを得ることができる。また、トレーニングサンプル３における各単語に対応する特徴ベクトルを組み合わせて、７３×１０８次元のベクトルを得ると、７３＞７０であるため、トレーニングサンプル３における７０単語を超える部分を削除して、語順に従った前から７０個単語に対応する特徴べクルトのみを保留することにより、トレーニングサンプル３に対応する７０×１０８次元のモデル入力ベクトルを取得することができる。

可能な実施形態として、上記トレーニングサンプルは電子カルテを使用してもよく、且つ、トレーニングサンプルに対応するモデル入力ベクトルはｎ個の特徴ベクトルの組合せである。例えば、上記の例示では、モデル入力ベクトルの次元数を７０×１０８に設定することは、当該モデル入力ベクトルに７０単語に対応する特徴ベクトルを含み、各特徴ベクトルの次元数が１０８であることを表す。

ここで、可能な実施形態として、ｎは少なくとも１つの電子カルテ（即ち、上記トレーニングサンプル）に含まれる単語の平均数である。例えば、トレーニングサンプルとして合計５０個の電子カルテを使用し、５０個の電子カルテに含まれる単語の平均数が７０である場合は、ｎは７０になる。

本願の実施例における他の形態では、ｎを固定値に設定できると理解される。例えば、ｎを１００に設定する。

本願の実施例における他の形態では、電子カルテ以外のコーパスをトレーニングサンプルとして使用してもよい。例えば、知能顧客サービス会話や問い合わせ情報などをトレーニングサンプルとして使用する。

他の可能な実施形態として、モデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用する時に、単一のトレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用することもできる。例えば、上記トレーニングパラメータの設定時に、ｂａｔｃｈ＿ｓｉｚｅを１に設定する場合、当該エンティティ意味関係分類モデルに、１つのトレーニングサンプルに対応するモデル入力ベクトルを１回に入力する。

以下、図２に示すエンティティ意味関係分類モデルを参照して、例えば、次元数が７０×１０８であるモデル入力ベクトルのトレーニングプロセスについて、例を挙げて説明する。この時、図２に示すモデルでは、Ｔ＝１０８であり、当該モデルの入力層は７０×１０８次元のモデル入力ベクトルを取得し、モデル入力ベクトルは特徴埋め込み層によって前処理されてから、計算のためにＧＲＵ層に入力される。ＧＲＵ層は、１０８個の予測エンティティ意味関係タイプをアテンション層に出力する。アテンション層は、取得した１０８個の予測エンティティ意味関係タイプにより、各予測エンティティ意味関係タイプの確率値を計算し、得られた１０８個の予測エンティティ意味関係タイプのうち確率値が最高であるエンティティ意味関係タイプを、当該トレーニングサンプルに対応するエンティティ意味関係タイプとして得る。

好ましくは、例えば、上記可能な実施形態のうちの１つでは、複数のトレーニングサンプルのそれぞれに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として一緒に使用し、エンティティ意味関係分類モデルをトレーニングする場合、トレーニング時に、エンティティ意味関係分類モデルは、各トレーニングサンプルの予測エンティティ意味関係タイプを提供する。例えば、上記の例示では、５０個のトレーニングサンプルに対応するモデル入力ベクトルを入力する場合、エンティティ意味関係分類モデルは、５０個のトレーニングサンプルのそれぞれに対応する予測エンティティ意味関係タイプを取得する。

図４を参照すると、図４は、図３に示すＳ２０４のサブステップの模式的なフローチャートである。可能な実施形態として、Ｓ２０４は以下のサブステップを含む。

Ｓ２０４１において、エンティティ意味関係分類モデルをトレーニングして得た各トレーニングサンプルの第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプを取得する。

ステップＳ２０４１は、各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得することである。予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプである。

Ｓ２０４２において、各トレーニングサンプルにおけるエンティティ意味関係タイプと、各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの予め格納されたエンティティ意味関係タイプとの偏差値を取得する。

ステップＳ２０４２は、各トレーニングサンプルに対応する予測エンティティ意味関係タイプと、プリセットされたエンティティ意味関係タイプとの偏差値を取得することである。プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプである。

Ｓ２０４３において、各トレーニングサンプルの偏差値の合計を取得する。

Ｓ２０４４において、偏差値の合計が第１の偏差しきい値を超えるかどうかを判定する。超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする。一方、超えない場合、トレーニングは終了する。

例示として、クロスエントロピー関数で各トレーニングサンプルの偏差値を計算する。例えば、各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプを当該クロスエントロピー関数の入力として使用し、各トレーニングサンプルに対応して得られたクロスエントロピー関数値を各トレーニングサンプルに対応する偏差値として使用する。そして、１回のトレーニング過程において、各トレーニングサンプルの偏差値を合計して、当該トレーニング過程における各トレーニングサンプルの偏差値の合計を取得する。当該偏差値の合計は、当該トレーニング過程の全体の偏差値を表す。例えば、上記ｂａｔｃｈ＿ｓｉｚｅを５０に設定する例では、当該偏差値の合計は、５０個のトレーニングサンプルの偏差値を合計する計算結果である。偏差値の合計が第１の偏差しきい値を超えた場合、当該トレーニング過程の全体の偏差値が高く、エンティティ意味関係分類モデルによって予測されたエンティティ意味関係タイプと、実際のエンティティ意味関係タイプとの差異が大きいことを表す。エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする。逆に、偏差値の合計が第１の偏差しきい値を超えない場合、エンティティ意味関係分類モデルによって予測されたエンティティ意味関係タイプが、実際のエンティティ意味関係タイプに近いことを表す。当該トレーニング結果はトレーニングの要求を満たしているため、モデルトレーニングが終了すると判定する。

上記トレーニング過程は、エンティティ意味関係分類モデルの一回トレーニングの全体のばらつきによって、エンティティ意味関係分類モデルのパラメータを調整することである。他の可能な実施形態として、単一トレーニングトレーニングサンプルの出力結果によって、エンティティ意味関係分類モデルのパラメータを調整することもできる。

図５を参照すると、図５は、図３に示すＳ２０４のサブステップの他の模式的なフローチャートである。Ｓ２０４は以下のサブステップを含んでもよい。

Ｓ２０４５において、目標トレーニングサンプルの偏差値が第２の偏差しきい値を超えるかどうかを判定する。超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする。超えない場合、トレーニングが終了する。

例えば、上記例示では、クロスエントロピー関数で各トレーニングサンプルの偏差値を計算する。エンティティ意味関係分類モデルに入力された全てのトレーニングサンプルの中から、目標トレーニングサンプルを確定する。目標トレーニングサンプルの偏差値が第２の偏差しきい値を超えた場合、当該トレーニング結果がトレーニング要求を満たしていないことを表す。この時、エンティティ意味関係分類モデルのパラメータを調整することで、当該エンティティ意味関係分類モデルをトレーニングする。逆に、目標トレーニングサンプルの偏差値が第２の偏差しきい値を超えない場合、当該トレーニング結果がトレーニング要求を満たしていることを表し、モデルトレーニングが終了すると判定する。

ここで、目標トレーニングサンプルは、エンティティ意味関係分類モデルに入力された全てのトレーニングサンプルのいずれか１つでもよく、偏差値が第２の偏差しきい値を超えたいずれか１つのトレーニングサンプルでもよく、またはエンティティ意味関係分類モデルに入力された全てのトレーニングサンプルを順番にトラバースして、各トレーニングサンプルを目標トレーニングサンプルとして判定を行う。本願の実施例における他の形態では、モデルに入力された全てのトレーニングサンプルの中偏差値が最大のトレーニングサンプルを目標トレーニングサンプルとして使用してもよい。

図４に示す形態は、１回トレーニングの全体の偏差値によって、エンティティ意味関係分類モデルのパラメータを調整することであり、図５に示す形態は、単一トレーニングトレーニングサンプルの出力結果によって、エンティティ意味関係分類モデルのパラメータを調整することである。具体的にエンティティ意味関係分類モデルのパラメータを調整する時に、ユーザーは実際のニーズに応じて異なる手段を使用することができる。

可能な実施形態として、本願の実施例では、エンティティ意味関係分類モデルが、図２に示すようなＢｉＧＲＵ＋Ａｔｔｅｎｔｉｏｎモデルである場合、エンティティ意味関係分類モデルのパラメータを調整することでエンティティ意味関係分類モデルをトレーニングする時に、ＢｉＧＲＵ＋ＡｔｔｅｎｔｉｏｎモデルのＧＲＵ層の重み係数と、オフセット係数と、アテンション層のアテンションマトリックスを調整することにより、エンティティ意味関係分類モデルをトレーニングする目的を実現する。

以下、コーパスにおけるエンティティをマイニングして、エンティティ意味関係を分類することを例として、上記エンティティ意味関係分類モデルのトレーニング方法でトレーニングして得たエンティティ意味関係分類モデルを基づいて、本願の実施例に係るエンティティ意味関係分類方法を説明する。

図６を参照すると、図６は、本願の一実施例に係るエンティティ意味関係分類方法の模式的なフローチャートである。当該エンティティ意味関係分類方法は、図１に示すような電子機器に適用され、以下のステップを含む。

Ｓ３０１において、コーパスにおける第１のエンティティと第２のエンティティを確定する。

Ｓ３０２において、コーパスにおける各単語と第１のエンティティとの第１の位置距離、及びコーパスにおける各単語と第２のエンティティとの第２の位置距離を取得する。

Ｓ３０３において、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得する。各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものである。各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含む。

Ｓ３０４において、コーパスに対応するモデル入力ベクトルをプリセットされたエンティティ意味関係分類モデルの入力として使用し、第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプを確定する。

ステップＳ３０４は、コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプを確定することである。

可能な実施形態として、当該コーパスは電子カルテを使用することができる。例えば、電子カルテの

をコーパスとして例を挙げて、上記エンティティ意味関係分類方法を説明する。

電子機器が当該コーパスのエンティティペア間のエンティティ意味関係タイプを取得する時、可能な実施形態として、当該コーパスに含まれるエンティティ識別子の「＜ｅ１＞＜／ｅ１＞」と「＜ｅ２＞＜／ｅ２＞」によって、当該コーパスにおける第１のエンティティが「隆起」であり、第２のエンティティが「心率」であると確定する。

又は、他の可能な実施形態として、電子機器にプリセットされたエンティティライブラリを使用することもできる。エンティティライブラリに複数のエンティティを予め格納することによって、当該プリセットされたエンティティライブラリに基づいて検索することで、当該コーパスを識別して、上記の第１のエンティティ「隆起」と第２のエンティティ「心率」を取得する。

本願の実施例では、当該コーパスにおける各単語と、第１のエンティティの「隆起」との位置距離、及び各単語と第２のエンティティの「心率」との距離によって、各単語と第１のエンティティとの第１の位置距離、及び各単語と第２のエンティティとの第２の位置距離を取得する。これによって、各単語に対応する単語ベクトルと、各単語の第１の位置距離に対応するベクトルと、各単語の第２の位置距離に対応するベクトルとを組み合わせて、各単語に対応する特徴ベクトルを取得する。そして、コーパスにおける全ての単語に対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを取得する。当該モデル入力ベクトルを電子機器中のエンティティ意味関係分類モデルの入力として使用し、当該コーパスの第１のエンティティ「隆起」と第２のエンティティ「心率」の両方のエンティティ意味関係タイプを確定する。

上記設計に基づいて、本願の実施例に係るエンティティ意味関係分類モデルのトレーニング方法では、コーパスにおける第１のエンティティと第２のエンティティを取得して、コーパスにおける各単語と第１のエンティティとの第１の位置距離、及びコーパスにおける各単語と第２のエンティティとの第２の位置距離によって、各単語に対応する特徴ベクトルを取得して、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを取得することによって、当該コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、当該コーパスに対応するエンティティ意味関係タイプを取得する。従来技術と比較して、エンティティ意味関係分類の確度を向上できる。

一例として、図７を参照すると、図７は、図６に示すＳ３０３のサブステップの模式的なフローチャートである。可能な実施形態として、Ｓ３０３は以下のサブステップを含む。

Ｓ３０３１において、コーパスにおける各単語に対応する単語ベクトルと、各単語の第１の位置距離及び第２の位置距離のそれぞれに対応する第１の位置埋め込みベクトル及び第２の位置埋め込みベクトルとを取得する。

ステップＳ３０３１は、コーパスにおける各単語に対応する単語ベクトルを取得し、各単語の第１の位置距離に対応する第１の位置埋め込みベクトルと、各単語の第２の位置距離に対応する第２の位置埋め込みベクトルとを取得することである。

Ｓ３０３２において、各単語に対応する単語ベクトルと、第１の位置埋め込みベクトルと第２の位置埋め込みベクトルを組み合わせて、各単語に対応する特徴ベクトルを取得する。

Ｓ３０３３において、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得する。

電子機器がコーパスに対応するモデル入力ベクトルを取得する時に、上記コーパスである

を例とする。まず、当該コーパスにおける各単語に対応する特徴ベクトルを取得する。「心前区」の単語「心」を例として、単語「心」をベクトル化して単語ベクトルを取得し、単語「心」と第１のエンティティ「隆起」との第１の位置距離をベクトル化して第１の位置埋め込みベクトルを取得し、単語「心」と第２のエンティティの「心率」との第２の位置距離をベクトル化して第２の位置埋め込みベクトルを取得する。単語「心」に対応する単語ベクトルと、第１の位置埋め込みベクトルと、第２の位置埋め込みベクトルとを組み合わせて、単語「心」に対応する特徴ベクトルを取得する。

同様に、上記単語「心」のような方法に応じて、当該コーパスにおける各単語に対して、各単語に対応する特徴ベクトルを取得し、その後に上記モデルをトレーニングするステップにおいてトレーニングサンプルに対応するモデル入力ベクトルを取得する方法に従って、当該コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを得る。

一例として、図８を参照すると、図８は、図７に示すＳ３０３１のサブステップの模式的なフローチャートである。可能な実施形態として、Ｓ３０３１は以下のサブステップを含む。

Ｓ３０３１１において、位置埋め込みベクトルテーブルを取得する。

Ｓ３０３１２において、位置埋め込みベクトルテーブルでは、第１の位置距離及び第２の位置距離のそれぞれに対応する第１の位置埋め込みベクトル及び第２の位置埋め込みベクトルをそれぞれ確定する。

ステップＳ３０３１２は、位置埋め込みベクトルテーブルでは、各単語の第１の位置距離に対応する第１の位置埋め込みベクトル及び各単語の第２の位置距離に対応する第２の位置埋め込みベクトルをそれぞれ確定することである。

本願の実施例では、電子機器に位置距離と位置埋め込みベクトルとの対応関係を有する位置埋め込みベクトルテーブルを格納している。当該位置埋め込みベクトルテーブルによって、第１の位置距離を第１の位置埋め込みベクトルに変換でき、第２の位置距離を第２の位置埋め込みベクトルに変換できる。

例えば、当該位置埋め込みベクトルテーブルはｍ×ｎ次元のベクトルである。位置埋め込みベクトルテーブルにおける各列の要素が１つの具体的な位置埋め込みベクトルを構成する。第１の位置距離と第２の位置距離の具体的な値により、当該位置埋め込みベクトルテーブルで対応する列番号をクエリする。第１の位置距離に対応する列における全ての要素を当該第１の位置距離に対応する第１の位置埋め込みベクトルとして使用し、第２の位置距離に対応する列における全ての要素を当該第２の位置距離に対応する第２の位置埋め込みベクトルとして使用する。例えば、第１の位置距離が「３」である場合、当該位置埋め込みベクトルテーブルの第３列をクエリして、当該位置埋め込みベクトルテーブルの第３列に含まれる全ての要素を第１の位置埋め込みベクトルとする。第２の位置距離が「３３」である場合、当該位置埋め込みベクトルテーブルの第３３列をクエリして、当該位置埋め込みベクトルテーブルの第３３列に含まれる全ての要素を第２の位置埋め込みベクトルとする。

本願の実施例における他の形態では、位置距離値で位置埋め込みベクトルを直接に表すこともできる。例えば、上記の例示では、第１の位置距離が「３」であり、第２の位置距離が「３３」である場合、第１の位置埋め込みベクトルが「３」であり、第２の位置埋め込みベクトルが「３３」である。

本願の実施例では、位置距離値で位置埋め込みベクトルを直接に表すことは、１次元ベクトルで位置埋め込みベクトルを表す方法と見なすことができる。

可能な実施形態として、当該位置埋め込みベクトルテーブルは、上記エンティティ意味関係分類モデルによりコーパスにおける第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプを識別する前に、バックプロパゲーション（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ，ＢＰ）アルゴリズムで生成されるものである。

例えば、ＢＰアルゴリズムで位置埋め込みベクトルテーブルを生成する時に、ランダムに生成された初期ベクトルテーブルを、ＢＰアルゴリズムにより連続的に最適化して、当該位置埋め込みベクトルテーブルを取得する。

最適化中に、まず、複数の初期ベクトルテーブルを初期サンプルとして、それぞれに対応するサンプルラベルを入力として、隠れ層の各ニューロンの入力と出力を計算する。そして、ネットワークの期待される出力と実際出力によって、出力層の各ニューロンに対する誤差関数の偏導関数δ_ｏ（ｍ）を計算する。隠れ層から出力層までの接続重み値と、出力層の偏導関数δ_ｏ（ｍ）と、隠れ層の出力によって、隠れ層の各ニューロンに対する誤差関数の偏導関数δ_ｈ（ｍ）ａを計算する。出力層の各ニューロンの偏導関数δ_ｏ（ｍ）と隠れ層の各ニューロンの出力によって、接続重み値ｗを修正し、隠れ層の各ニューロンの偏導関数δ_ｈ（ｍ）ａと入力層の各ニューロンの入力によって、接続重み値ｗを修正する。そして、毎回のサイクル中に、出力層の結果に対して、グローバルエラー

を計算し、ここで、サンプル数ｋ＝１，２，…，ｍ、ｄ_ｏ（ｋ）はｋ個目のサンプルの期待される出力を表し、ｙ_０（ｋ）はｋ個目のサンプルの実際の出力を表し、ｏ＝１，２，３…，ｑ、ｑは出力層のニューロンの数を表し、ｍは１回のトレーニングにおけるトレーニングサンプルの合計数を表す。グローバルエラーがプリセットしきい値より小さい場合、学習を停止して、最後の学習での出力層の出力結果を位置埋め込みベクトルテーブルとする。または、グローバルエラーがプリセットしきい値以上であるが、学習回数が２００００回に達した場合も、学習を停止して、最後の学習での出力層の出力結果を位置埋め込みベクトルテーブルとする。

図９を参照すると、図９は、本願の一実施例に係るエンティティ意味関係分類モデルトレーニング装置４００の模式的な構成図であり、このエンティティ意味関係分類モデルトレーニング装置４００は、エンティティ意味関係分類モデルを予め設置している電子機器に適用される。当該エンティティ意味関係分類モデルトレーニング装置４００は、受送信モジュール４０１と、第２の処理モジュール４０２と、トレーニングモジュール４０３と有する。

受送信モジュール４０１は、少なくとも１つのトレーニングサンプルを受信し、少なくとも１つのトレーニングサンプルにおける各トレーニングサンプルの第１のエンティティと第２のエンティティを識別するために用いられる。

第２の処理モジュール４０２は、各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第１のエンティティとの第１の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第２のエンティティとの第２の位置距離を取得するために用いられる。

第２の処理モジュール４０２は、各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得するためにも用いられる。各単語に対応する特徴ベクトルは、各トレーニングサンプルにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものである。各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含む。

トレーニングモジュール４０３は、各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングするために用いられる。

好ましく、可能な実施形態として、トレーニングモジュール４０３は、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであり、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであり、
各トレーニングサンプルの偏差値の合計を取得し、
偏差値の合計が第１の偏差しきい値を超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする、
ために用いられる。

好ましく、他の可能な実施形態として、トレーニングモジュール４０３は、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであり、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであり、
少なくとも１つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第２の偏差しきい値を超える度に、目標トレーニングサンプルの偏差値によって、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングする、
ためにも用いられる。

好ましく、可能な実施形態として、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせるものであり、トレーニングモジュール４０３は、具体的に、
エンティティ意味関係分類モデルのＧＲＵ層の重み係数とオフセット係数とアテンション層のアテンションマトリックスを調整する、ために用いられる。

好ましく、可能な実施形態として、トレーニング時に、エンティティ意味関係分類モデルのＧＲＵ層の各ニューロンが破棄されない。

好ましく、可能な実施形態として、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせるものであり、
少なくとも１つのトレーニングサンプルは、少なくとも１つの電子カルテであり、トレーニングサンプルに対応するモデル入力ベクトルはｎ個の特徴ベクトルの組み合わせであり、ここで、ｎは少なくとも１つの電子カルテに含まれる単語の平均数である。

図１０を参照すると、図１０は、本願の一実施例に係るエンティティ意味関係分類装置５００の模式的な構成図である。それは、エンティティ意味関係分類モデルを予め設置している電子機器に適用される。当該エンティティ意味関係分類装置５００は、第１の処理モジュール５０１と識別モジュール５０２を有する。

第１の処理モジュール５０１は、コーパスにおける第１のエンティティと第２のエンティティを確定するために用いられる。

第１の処理モジュール５０１は、コーパスにおける各単語と第１のエンティティとの第１の位置距離、及びコーパスにおける各単語と第２のエンティティとの第２の位置距離を取得するためにも用いられる。

識別モジュール５０２は、コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得するために用いられる。各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものである。各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含む。

好ましく、可能な実施形態として、第１の処理モジュール５０１は、具体的に、
コーパスおける各単語に対応する単語ベクトルを取得し、各単語の第１の位置距離に対応する第１の位置埋め込みベクトルと、各単語の第２の位置距離に対応する第２の位置埋め込みベクトルとを取得し、
コーパスにおける各単語に対応する単語ベクトルと、第１の位置埋め込みベクトルと、第２の位置埋め込みベクトルを組み合わせて、各単語に対応する特徴ベクトルを取得し、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得する、
ために用いられる。

好ましく、可能な実施形態として、第１の処理モジュール５０１は、具体的に、
位置距離と位置埋め込みベクトルとの対応関係を記録する位置埋め込みベクトルテーブルを取得し、
位置埋め込みベクトルテーブルでは、各単語の第１の位置距離に対応する第１の位置埋め込みベクトル及び各単語の第２の位置距離に対応する第２の位置埋め込みベクトルをそれぞれ確定する、
ために用いられる。

好ましく、可能な実施形態として、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせるものであり、コーパスは電子カルテである。

本願の１つの実施例は電子機器を提供する。当該電子機器は、メモリとプロセッサを有する。

ここで、メモリは、１つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するために用いられる。
１つまたは複数のプログラムがプロセッサによって実行されると、
少なくとも１つのトレーニングサンプルを受信し、少なくとも１つのトレーニングサンプルにおける各トレーニングサンプルの第１のエンティティと第２のエンティティを識別することと、
各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第１のエンティティとの第１の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第２のエンティティとの第２の位置距離を取得することと、
各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングすることと、
実現する。

好ましく、１つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
各トレーニングサンプルの偏差値の合計を取得することと、
偏差値の合計が第１の偏差しきい値を超えた場合、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングすることと、
を実現する。

好ましく、１つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
各トレーニングサンプルに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルによって得られた各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、予測エンティティ意味関係タイプは、各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、プリセットされたエンティティ意味関係タイプは、各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
少なくとも１つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第２の偏差しきい値を超える度に、エンティティ意味関係分類モデルのパラメータを調整することでエンティティ意味関係分類モデルをトレーニングすることと、
を実現する。

好ましく、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせるものであり、
１つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
エンティティ意味関係分類モデルのＧＲＵ層の重み係数とオフセット係数とアテンション層のアテンションマトリックスを調整すること、を実現する。
好ましく、トレーニング時に、エンティティ意味関係分類モデルのＧＲＵ層の各ニューロンは破棄されない。

好ましく、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせたものであり、
少なくとも１つのトレーニングサンプルは、少なくとも１つの電子カルテでり、トレーニングサンプルに対応するモデル入力ベクトルはｎ個の特徴ベクトルの組合せであり、ここで、ｎは少なくとも１つの電子カルテに含まれる単語の平均数である。

ここで、メモリは、１つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するために用いられる。

１つまたは複数のプログラムがプロセッサによって実行されると、
コーパスにおける第１のエンティティと第２のエンティティを確定することと、
コーパスにおける各単語と第１のエンティティとの第１の位置距離、及びコーパスにおける各単語と第２のエンティティとの第２の位置距離を取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプを確定することと、
を実現する。

好ましく、１つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
コーパスおける各単語に対応する単語ベクトルを取得し、各単語の第１の位置距離に対応する第１の位置埋め込みベクトルと、各単語の第２の位置距離に対応する第２の位置埋め込みベクトルとを取得することと、
コーパスにおける各単語に対応する単語ベクトルと、第１の位置埋め込みベクトルと、第２の位置埋め込みベクトルを組み合わせて、各単語に対応する特徴ベクトルを取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得することと、
を実現する。

好ましく、１つまたは複数のプログラムがプロセッサによって実行されると、具体的に、
位置距離と位置埋め込みベクトルとの対応関係を記録する位置埋め込みベクトルテーブルを取得することと、
位置埋め込みベクトルテーブルでは、各単語の第１の位置距離に対応する第１の位置埋め込みベクトル及び各単語の第２の位置距離に対応する第２の位置埋め込みベクトルをそれぞれ確定することと、
を実現する。

好ましく、エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせたものであり、コーパスは電子カルテである。

本願の１つの実施例は、コンピュータープログラムとプリセットされたエンティティ意味関係分類モデルを格納しているコンピューター可読記憶媒体を提供する。当該コンピュータープログラムがプロセッサによって実行されると、
コーパスにおける第１のエンティティと第２のエンティティを確定することと、
コーパスにおける各単語と第１のエンティティとの第１の位置距離、及びコーパスにおける各単語と第２のエンティティとの第２の位置距離を取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプを確定することと、
を実現する。

本願の１つの実施例は、コンピュータープログラムとプリセットされたエンティティ意味関係分類モデルを格納しているコンピューター可読記憶媒体を提供する。当該コンピュータープログラムがプロセッサによって実行されると、
少なくとも１つのトレーニングサンプルを受信し、少なくとも１つのトレーニングサンプルにおける各トレーニングサンプルの第１のエンティティと第２のエンティティを識別することと、
各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第１のエンティティとの第１の位置距離を取得し、および当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第２のエンティティとの第２の位置距離を取得することと、
各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
各トレーニングサンプルに対応するモデル入力べクルトをエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングすることと、
を実現する。

本願の１つの実施例は、コンピュータープログラムを提供する。当該コンピュータープログラムがプロセッサによって実行されると、
コーパスにおける第１のエンティティと第２のエンティティを確定することと、
コーパスにおける各単語と第１のエンティティとの第１の位置距離、及びコーパスにおける各単語と第２のエンティティとの第２の位置距離を取得することと、
コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
コーパスに対応するモデル入力ベクトルをプリセットされたエンティティ意味関係分類モデルの入力として使用し、第１のエンティティと第２のエンティティの両方のエンティティ意味関係タイプを確定することと、
を実現する。

本願の１つの実施例は、コンピュータープログラムも提供する。当該コンピュータープログラムがプロセッサによって実行されると、
少なくとも１つのトレーニングサンプルを受信し、少なくとも１つのトレーニングサンプルにおける各トレーニングサンプルの第１のエンティティと第２のエンティティを識別することと、
各トレーニングサンプルに対して、当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第１のエンティティとの第１の位置距離を取得し、及び当該トレーニングサンプルにおける各単語と当該トレーニングサンプルの第２のエンティティとの第２の位置距離を取得することと、
各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルを組み合わせて取得するものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルを含むことと、
各トレーニングサンプルに対応するモデル入力べクルトをプリセットされたエンティティ意味関係分類モデルの入力として使用し、エンティティ意味関係分類モデルをトレーニングすることと、
を実現する。

本願に係わる実施例では、開示された装置及び方法は、他の形態で実現されることもできる。上記説明された装置の実施例はただ例示だけである。例えば、図面におけるフローチャート及びブロック図は、本願の実施例による装置、方法、コンピュータープログラム製品の実現可能なアーキテクチャや、機能や、操作を示す。この点に関して、フローチャートやブロック図における各ブロックは、予定されるロジック機能を実現するための１つまたは複数の実行可能コマンドを含む、モジュール、プログラムセグメント、又はコードの一部を表す。いくつかの代替の実施形態では、ブロックでマークされる機能も、図面でマークされるものと異なる順序で発揮できることにも注意する必要がある。例えば、連続する２つのブロックは、実際に並行して実行される場合があり、逆順に実行される場合もあり、関連する機能によって決定できる。ブロック図及び／又はフローチャートにおける各ブロック、並びにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能や動作を実行するための専用のハードウエアによるシステムによって実現されてもよく、或いは専用のハードウエアとコンピューターコマンドとの組み合わせによって実現されてもよいことにも注意する必要がある。

また、本願の実施例における各機能モジュールが統合されて独立した部分を形成してもよく、各モジュールが単独で存在してもよく、２つ以上のモジュールが統合されて独立した部分を形成してもよい。

機能は、ソフトウエア機能モジュールによって実現され、且つ独立した製品として販売また使用される場合、コンピューター可読記憶媒体に記憶されることができる。この理解に基づいて、本願の技術案の本質的に先行技術に寄与する部分または当該技術案の一部は、ソフトウエア製品の形で具体化することができる。当該ソフトウエア製品は、記憶媒体に記憶され、１つのコンピューターデバイス（パソコン、サーバー、又はネットワーク装置などでもよい）に本願の実施例の方法のステップの全てまたは一部を実行させるためのいくつかのコマンドを含む。上記記憶媒体は、ＵＳＢフラッシュディスク、読み出し専用メモリ（ＲＯＭ，Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、磁気ディスク、または光ディスクなどのプログラムコードを記憶できる媒体を含む。

上記のように、本願の実施例に係るエンティティ意味関係分類方法、モデルのトレーニング方法、装置、電子機器、記憶媒体、及びコンピュータープログラムは、コーパスにおける第１のエンティティと第２のエンティティを取得し、コーパスにおける各単語と第１のエンティティとの第１の位置距離、及び各単語と第２のエンティティとの第２の位置距離によって、各単語に対応する特徴ベクトルを取得し、そしてコーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、当該コーパスに対応するモデル入力ベクトルを取得することにより、コーパスに対応するモデル入力ベクトルをエンティティ意味関係分類モデルの入力として使用し、当該コーパスに対応するエンティティ意味関係タイプを得る。従来技術と比べて、エンティティ意味関係分類の確度を向上させることができる。

以上、本願の好ましい実施例にすぎず、本願を限定するためのものではない。当業者にとって、本願は種々な修正及び変更を行うことができる。本願の主旨及び原則を逸脱しない範囲でなされるいかなる修正、均等の代替、改良などは、いずれも本願の保護範囲内に含まれるべきである。

当業者にとって、本願が上記の例示する実施例の詳細に限定されず、本願の主旨及び基本的特徴を逸脱しない場合、他の具体的な形態で実現できることは明らかである。したがって、どの観点から見ても、実施例を例示的で非限定的であると見なすべきである。本願の保護範囲は、上記の説明ではなく、特許請求の範囲によって限定される。そのため、クレームと同等の要素の意味及び範囲内における全ての変更が本願に含まれることを意図する。クレーム内のいかなる符号を当該クレームを限定するものと見なすべきではない。

Claims

エンティティ意味関係分類モデルを予め設置している電子機器に適用されるエンティティ意味関係分類方法であって、
コーパスにおける第１のエンティティと第２のエンティティを確定することと、
前記コーパスにおける各単語と前記第１のエンティティとの第１の位置距離、及び前記コーパスにおける各単語と前記第２のエンティティとの第２の位置距離を取得することと、
前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、前記コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
前記コーパスに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記第１のエンティティと前記第２のエンティティの両方のエンティティ意味関係タイプを確定することと、
を含むエンティティ意味関係分類方法。
前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得することは、
前記コーパスにおける各単語に対応する単語ベクトルを取得し、各単語の第１の位置距離に対応する第１の位置埋め込みベクトルと、各単語の第２の位置距離に対応する第２の位置埋め込みベクトルとを取得することと、
前記コーパスにおける各単語に対応する単語ベクトルと、第１の位置埋め込みベクトルと、第２の位置埋め込みベクトルとを組み合わせて、各単語に対応する特徴ベクトルを取得することと、
前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得することと、
を含む、請求項１に記載のエンティティ意味関係分類方法。
各単語の第１の位置距離に対応する第１の位置埋め込みベクトルと、各単語の第２の位置距離に対応する第２の位置埋め込みベクトルとを取得することは、
位置距離と位置埋め込みベクトルとの対応関係を記録する位置埋め込みベクトルテーブルを取得することと、
前記位置埋め込みベクトルテーブルでは、各単語の第１の位置距離に対応する第１の位置埋め込みベクトル及び各単語の第２の位置距離に対応する第２の位置埋め込みベクトルをそれぞれ確定することと、
を含む、請求項２に記載のエンティティ意味関係分類方法。
エンティティ意味関係分類モデルを予め設置している電子機器に適用されるエンティティ意味関係分類モデルのトレーニング方法であって、
少なくとも１つのトレーニングサンプルを受信し、前記少なくとも１つのトレーニングサンプルにおける各トレーニングサンプルの第１のエンティティと第２のエンティティとを識別することと、
前記各トレーニングサンプルに対して、前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第１のエンティティとの第１の位置距離を取得し、及び前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第２のエンティティとの第２の位置距離を取得することと、
前記各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることと、
を含み、
前記エンティティ意味関係分類モデルの出力は、前記第１のエンティティと前記第２のエンティティの両方のエンティティ意味関係タイプである、
エンティティ意味関係分類モデルのトレーニング方法。
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることは、
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
前記各トレーニングサンプルの偏差値の合計を取得することと、
前記偏差値の合計が第１の偏差しきい値を超えた場合、前記エンティティ意味関係分類モデルのパラメータを調整することで、前記エンティティ意味関係分類モデルをトレーニングすることと、
を含む、請求項４に記載のエンティティ意味関係分類モデルのトレーニング方法。
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることは、
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
少なくとも１つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第２の偏差しきい値を超える度に、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングすることと、
を含む、請求項４に記載のエンティティ意味関係分類モデルのトレーニング方法。
前記エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせるものであり、前記エンティティ意味関係分類モデルのパラメータを調整することは、
前記エンティティ意味関係分類モデルのゲート付き回帰型ニューラルネットワークのＧＲＵ層の重み係数とオフセット係数とアテンション層のアテンションマトリックスを調整することと、
を含む、請求項５に記載のエンティティ意味関係分類モデルのトレーニング方法。
前記エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせるものであり、
前記少なくとも１つのトレーニングサンプルは、少なくとも１つの電子カルテであり、前記トレーニングサンプルに対応するモデル入力ベクトルはｎ個の特徴ベクトルの組合せであり、前記ｎは前記少なくとも１つの電子カルテに含まれる単語の平均数である、
請求項４に記載のエンティティ意味関係分類モデルのトレーニング方法。
１つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するためのメモリと、プロセッサと、を有する電子機器であって、
前記１つまたは複数のプログラムが前記プロセッサによって実行されると、
コーパスにおける第１のエンティティと第２のエンティティを確定することと、
前記コーパスにおける各単語と前記第１のエンティティとの第１の位置距離、及び前記コーパスにおける各単語と前記第２のエンティティとの第２の位置距離を取得することと、
前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、前記コーパスにおける各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
前記コーパスに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記第１のエンティティと前記第２のエンティティの両方のエンティティ意味関係タイプを確定することと、
を実現する電子機器。
前記１つまたは複数のプログラムが前記プロセッサによって実行されると、
前記コーパスにおける各単語に対応する単語ベクトルを取得し、各単語の第１の位置距離に対応する第１の位置埋め込みベクトルと、各単語の第２の位置距離に対応する第２の位置埋め込みベクトルとを取得することと、
前記コーパスにおける各単語に対応する単語ベクトルと、第１の位置埋め込みベクトルと、第２の位置埋め込みベクトルとを組み合わせて、各単語に対応する特徴ベクトルを取得することと、
前記コーパスにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記コーパスに対応するモデル入力ベクトルを取得することと、
を実現する、請求項９に記載の電子機器。
前記１つまたは複数のプログラムが前記プロセッサによって実行されると、
位置距離と位置埋め込みベクトルとの対応関係を有する位置埋め込みベクトルテーブルを取得することと、
前記位置埋め込みベクトルテーブルでは、各単語の第１の位置距離に対応する第１の位置埋め込みベクトル及び各単語の第２の位置距離に対応する第２の位置埋め込みベクトルをそれぞれ確定することと、
を実現する、請求項１０に記載の電子機器。
１つまたは複数のプログラムとプリセットされたエンティティ意味関係分類モデルを格納するためのメモリと、プロセッサと、を有する電子機器であって、
前記１つまたは複数のプログラムが前記プロセッサによって実行されると、
少なくとも１つのトレーニングサンプルを受信し、前記少なくとも１つのトレーニングサンプルにおける各トレーニングサンプルの第１のエンティティと第２のエンティティとを識別することと、
前記各トレーニングサンプルに対して、前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第１のエンティティとの第１の位置距離を取得し、及び前記トレーニングサンプルにおける各単語と前記トレーニングサンプルの第２のエンティティとの第２の位置距離を取得することと、
前記各トレーニングサンプルにおける全ての単語のそれぞれに対応する特徴ベクトルを組み合わせて、前記各トレーニングサンプルに対応するモデル入力ベクトルを取得し、各単語に対応する特徴ベクトルは、各単語に対応する単語ベクトルと位置埋め込みベクトルとを組み合わせることで取得されるものであり、各単語に対応する位置埋め込みベクトルは、各単語の第１の位置距離に対応するベクトルと各単語の第２の位置距離に対応するベクトルとを含むことと、
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルをトレーニングすることと、
を実現し、
前記エンティティ意味関係分類モデルの出力は、前記第１のエンティティと前記第２のエンティティの両方のエンティティ意味関係タイプである、
電子機器。
前記１つまたは複数のプログラムが前記プロセッサによって実行されると、
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
前記各トレーニングサンプルの偏差値の合計を取得することと、
前記偏差値の合計が第１の偏差しきい値を超えた場合、前記エンティティ意味関係分類モデルのパラメータを調整することで、前記エンティティ意味関係分類モデルをトレーニングすることと、
を実現する、請求項１２に記載の電子機器。
前記１つまたは複数のプログラムが前記プロセッサによって実行されると、
前記各トレーニングサンプルに対応するモデル入力ベクトルを前記エンティティ意味関係分類モデルの入力として使用し、前記エンティティ意味関係分類モデルによって得られた前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプを取得し、前記予測エンティティ意味関係タイプは、前記各トレーニングサンプルにおける第１のエンティティと第２のエンティティの両方の予測されたエンティティ意味関係タイプであることと、
前記各トレーニングサンプルに対応する予測エンティティ意味関係タイプとプリセットされたエンティティ意味関係タイプとの偏差値を取得し、前記プリセットされたエンティティ意味関係タイプは、前記各トレーニングサンプルに対応する第１のエンティティと第２のエンティティの両方の予め格納されたエンティティ意味関係タイプであることと、
少なくとも１つのトレーニングサンプルにおける目標トレーニングサンプルの偏差値が第２の偏差しきい値を超える度に、エンティティ意味関係分類モデルのパラメータを調整することで、エンティティ意味関係分類モデルをトレーニングすることと、
を実現する、請求項１２に記載の電子機器。
前記エンティティ意味関係分類モデルは、双方向回帰型ニューラルネットワークＢｉＧＲＵとアテンション（Ａｔｔｅｎｔｉｏｎ）のメカニズムとを組み合わせるものであり、
前記少なくとも１つのトレーニングサンプルは、少なくとも１つの電子カルテであり、前記トレーニングサンプルに対応するモデル入力ベクトルはｎ個の特徴ベクトルの組合せであり、ここで、前記ｎは前記少なくとも１つの電子カルテに含まれる単語の平均数である、
請求項１２に記載の電子機器。