JP7100087B2 - 情報を出力する方法および装置 - Google Patents

Description

本開示の実施形態は、コンピュータ技術分野に関し、具体的に、情報を出力する方法および装置に関する。

ドメイン要素認識技術は、専門分野（医療、法律、金融など）の自然言語テキストに含まれる要素（重要なエンティティ）または主要な属性の識別とタグ付けを解決する自然言語処理技術である。例えば、医療シナリオの病歴テキスト処理では、医師が懸念している疾患、症状、手術、検査などの要素を抽出しようとする。例えば、患者は冠状動脈性心臓病［ｄｉｓｅａｓｅ］であり、冠動脈バイパス手術［ｏｐｅｒａｔｉｏｎ］の後、非定型の心筋梗塞「ｄｉｓｅａｓｅ」がある可能性があることを考慮する必要があり、これを排除するように心電図［ｅｘａｍｉｎａｔｉｏｎ］および心筋損傷のマーカー［ｅｘａｍｉｎａｔｉｏｎ］を行って診断する必要がある。

ドメイン要素認識技術は、さまざまな専門分野で自然言語の理解と構造化に使用でき、次のような後続のすべての決定に最も基本的なサポートを提供する。例えば、１．医療分野：ドメイン要素認識技術はＣＤＳＳ（臨床意思決定支援システム）のコアモジュールとして、病歴の主要なエンティティを抽出し、後続の疾患の推論のためにテキストを理解する重要な機能を提供するために使用され、２．財務分野：ドメイン要素認識技術は、上場企業の財務レポートの分析に使用でき、これらのテキストの主要エンティティ（例えば、会社名、上場時間、融資履歴）を分析して、最終的にインテリジェント投資調査などの金融投資意思決定製品で使用できる。

現在、業界には２つの主流の慣行がある。１つは純粋なルールを使用してドメイン要素にタギングすることであり、もう１つはルール＋モデルを使用してタギングすることである。

ルールとルール＋モデルに基づく既存のドメイン要素認識システムには、次の欠点がある。

１）純粋なルールを使用したドメイン要素認識システムは、汎化能力が低く、既存のルールでカバーされる要素のみを認識できる。

２）ルールシステムの構築は技術者の大量なエネルギーを必要とし、パーフェクトドメインルールシステムは、エンジニアが長年フィールドを開拓し、システムの問題を分析、解決することを要求する。

３）モデルに基づく既存のドメイン要素認識システムは、大量の手動タギングデータを必要とする。専門分野でのタギングは、一般的には専門分野の実務者が行うものであり、タギングコストが非常に高く、タギング費用は一般のタギング費用の約５～１０倍である。

本開示の実施形態は、情報を出力する方法および装置を提出する。

第１の態様において、本開示の実施形態は、情報を出力する方法であって、認識されるステートメントを取得するステップと、前記認識されるステートメントをワードカッティングしてワードシーケンスを取得するステップと、および前記ワードシーケンスを、シーケンスタギングとエンティティワード予測に基づいて予めトレーニングされたマルチタスク要素認識モデルに入力し、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力するステップとを含み、前記マルチタスク要素認識モデルは、シーケンスタギングネットワークおよびエンティティワード予測ネットワークを含み、前記シーケンスタギングネットワークは、シーケンスタギングタスクを実行するために使用され、前記エンティティワード予測ネットワークは、エンティティワード予測タスクを実行するために使用され、前記シーケンスタギングネットワークは、フュージョンモジュールによって前記エンティティワード予測ネットワークと融合される方法を提供する。

いくつかの実施形態において、マルチタスク要素認識モデルは、トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルは、サンプルステートメントをワードカッティングして得られるサンプルワードシーケンスと、サンプルステートメント中のエンティティワード、エンティティカテゴリおよびエンティティワード位置を表示するためのタギング情報とを含む、ステップと、および前記トレーニングサンプルセット中のトレーニングサンプル中のサンプルワードシーケンスとタギング情報をそれぞれ初期マルチタスク要素認識モデルの入力と期待される出力として使用し、マルチタスク機械学習法でシーケンスタギングタスクとエンティティワード予測タスクを学習して、トレーニング済みのマルチタスク要素認識モデルを取得するステップとによって、トレーニングされる。

いくつかの実施形態において、シーケンスタギングネットワークは、埋め込み層、コンテキストコーディング層、ＣＲＦ層を含み、前記エンティティワード予測ネットワークは、メモリネットワーク、ディクショナリプレゼンテーション層およびディクショナリ生成層を含み、前記機械学習法でシーケンスタギングタスクとエンティティワード予測タスクを学習して、前記初期マルチタスク要素認識モデルを取得するステップは、前記トレーニングサンプルセットからトレーニングサンプルを選択し、トレーニングステップを実行するステップを含み、前期トレーニングステップは、選択されたトレーニングサンプル中のサンプルワードシーケンスを埋め込み層によってワードベクトルシーケンスに変換し、前記ワードベクトルシーケンスをコンテキストコーディング層によってコンテキストベクトルシーケンスに変換するステップと、事前トレーニング済みのメモリネットワークによって前記サンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップと、フュージョンモジュールによって前記コンテキストベクトルシーケンスと前記ディクショナリベクトルシーケンスを融合してフュージョンベクトルシーケンスを取得するステップと、前記フュージョンベクトルシーケンスをディクショナリプレゼンテーション層に通過させてからコンテキストベクトルシーケンスに完全接続させ、ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得するステップと、ディクショナリ生成層によってディクショナリプレゼンテーション層の出力をエンティティワード予測して、エンティティワード予測結果を取得するステップと、および前記シーケンスタギング結果と前記トレーニングサンプル中のタギング情報の差および前記エンティティワード予測結果と前記トレーニングサンプル中のタギング情報の差に基づいて、埋め込み層、コンテキストコーディング層、ディクショナリプレゼンテーション層、ＣＲＦ層、ディクショナリ生成層のパラメーターを調整し、マルチタスク要素認識モデルをトレーニングするステップを含む。

いくつかの実施形態において、トレーニングサンプルセットを取得するステップは、非構造化／半構造化のドキュメントを取得するステップと、前記ドキュメントを文分割するステップと、およびそれぞれの文節について、前記文節をワードカッティングしてワードシーケンスを取得し、ルールマッチング方法で前記文節にエンティティタギングして、前記文節のエンティティワード、エンティティカテゴリおよびエンティティワード位置を取得し、タギング情報とするステップとを含む。

いくつかの実施形態において、事前トレーニング済みのメモリネットワークによって前記サンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップは、前記サンプルワードシーケンス中の各サンプルワードを、前記メモリネットワークに記憶されているディクショナリとマッチングして、各サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを取得するステップと、前記サンプルワードシーケンス中のそれぞれのサンプルワードに対して、前記サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを、注意力メカニズムによって前記サンプルワードのディクショナリベクトルに融合するステップと、および前記サンプルワードシーケンス中の各サンプルワードのディクショナリベクトルによって前記サンプルワードシーケンスのディクショナリベクトルシーケンスを構成するステップとを含む。

いくつかの実施形態において、ディクショナリ生成層は、予めトレーニングされた分類モデルである。

第２の態様において、本開示の実施形態は、情報を出力する装置であって、認識されるステートメントを取得するように構成される取得ユニットと、前記認識されるステートメントをワードカッティングしてワードシーケンスを取得するように構成されるワードワードカッティングユニットと、前記ワードシーケンスを、シーケンスタギングとエンティティワード予測に基づいて予めトレーニングされたマルチタスク要素認識モデルに入力し、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力するように構成される出力ユニットとを含み、前記マルチタスク要素認識モデルは、シーケンスタギングネットワークおよびエンティティワード予測ネットワークを含み、前記シーケンスタギングネットワークは、シーケンスタギングタスクを実行するために使用され、前記エンティティワード予測ネットワークは、エンティティワード予測タスクを実行するために使用され、前記シーケンスタギングネットワークは、フュージョンモジュールによって前記エンティティワード予測ネットワークと融合される装置を提供する。

いくつかの実施形態において、前記装置は、トレーニングユニットをさらに含み、前記トレーニングユニットは、トレーニングサンプルセットを取得し、トレーニングサンプルは、サンプルステートメントをワードカッティングして得られるサンプルワードシーケンスと、サンプルステートメント中のエンティティワード、エンティティカテゴリおよびエンティティワード位置を表示するためのタギング情報とを含み、および前記トレーニングサンプルセット中のトレーニングサンプル中のサンプルワードシーケンスとタギング情報をそれぞれ初期マルチタスク要素認識モデルの入力と期待される出力として使用し、マルチタスク機械学習法でシーケンスタギングタスクとエンティティワード予測タスクを学習して、トレーニング済みのマルチタスク要素認識モデルを取得するように構成される。

いくつかの実施形態において、シーケンスタギングネットワークは、埋め込み層、コンテキストコーディング層、ＣＲＦ層を含み、前記エンティティワード予測ネットワークは、メモリネットワーク、ディクショナリプレゼンテーション層およびディクショナリ生成層を含み、前記トレーニングユニットは、前記トレーニングサンプルセットからトレーニングサンプルを選択し、トレーニングステップを実行するステップを含むようにさらに構成され、前記トレーニングステップは、選択されたトレーニングサンプル中のサンプルワードシーケンスを埋め込み層によってワードベクトルシーケンスに変換し、前記ワードベクトルシーケンスをコンテキストコーディング層によってコンテキストベクトルシーケンスに変換するステップと、事前トレーニング済みのメモリネットワークによって前記サンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップと、フュージョンモジュールによって前記コンテキストベクトルシーケンスと前記ディクショナリベクトルシーケンスを融合してフュージョンベクトルシーケンスを取得するステップと、前記フュージョンベクトルシーケンスをディクショナリプレゼンテーション層に通過させてからコンテキストベクトルシーケンスに完全接続させ、ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得するステップと、ディクショナリ生成層によってディクショナリプレゼンテーション層の出力をエンティティワード予測して、エンティティワード予測結果を取得するステップと、および前記シーケンスタギング結果と前記トレーニングサンプル中のタギング情報の差および前記エンティティワード予測結果と前記トレーニングサンプル中のタギング情報の差に基づいて、埋め込み層、コンテキストコーディング層、ディクショナリプレゼンテーション層、ＣＲＦ層、ディクショナリ生成層のパラメーターを調整し、マルチタスク要素認識モデルをトレーニングするステップを含む。

いくつかの実施形態において、トレーニングユニットは、非構造化／半構造化のドキュメントを取得し、前記ドキュメントを文分割し、およびそれぞれの文節について、前記文節をワードカッティングしてワードシーケンスを取得し、ルールマッチング方法で前記文節にエンティティタギングして、前記文節のエンティティワード、エンティティカテゴリおよびエンティティワード位置を取得し、タギング情報とするようにさらに構成される。

いくつかの実施形態において、トレーニングユニットは、前記サンプルワードシーケンス中の各サンプルワードを前記メモリネットワークに記憶されているディクショナリとマッチングして、各サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを取得し、前記サンプルワードシーケンス中のそれぞれのサンプルワードに対して、注意力メカニズムによって前記サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを前記サンプルワードのディクショナリベクトルに融合し、および前記サンプルワードシーケンス中の各サンプルワードのディクショナリベクトルによって前記サンプルワードシーケンスのディクショナリベクトルシーケンスを構成するようにさらに構成される。

いくつかの実施形態において、ディクショナリ生成層は、予めトレーニングされた分類モデルである。

第３の態様において、１つまたは複数のプロセッサと、および１つまたは複数のプログラムが記憶されている記憶装置とを含み、１つまたは複数のプログラムが１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサが第１の態様のいずれか一項に記載の方法を実施する電子機器を提供する。

第４の態様において、プログラムがプロセッサによって実行されると、第１の態様のいずれか一項に記載の方法が実施されるコンピュータプログラムが記憶されているコンピュータ可読媒体を提供する。

本開示の実施形態によって提供される情報を出力する方法および装置は、グローバルおよびローカルの方法で既存のドメイン知識を統合することができる。グローバルとは、シーケンスタギングとエンティティワード予測に基づくマルチタスク要素認識モデルを指し、エンティティの出現したコンテキストをモデル化することができ、コンテキストを通じてエンティティワードと対応するカテゴリの出現を予測することができる。ローカル情報とは、前のセクションで説明したメモリネットワークを指す。ここで、メモリネットワークは、現在のワードに意味的に関連するディクショナリ候補ワード（ディクショナリのローカル情報、部分的なワードのみ）を記憶する。

本開示の一実施形態を適用することができる例示的なシステムアーキテクチャ図である。 本開示に係る情報を出力する方法の一実施形態のフローチャートである。 本開示に係る情報を出力する方法のマルチタスク要素認識モデルのネットワークアーキテクチャ図である。 本開示に係る情報を出力する方法のマルチタスク要素認識モデルのメモリネットワークのネットワークアーキテクチャ図である。 本開示に係る情報を出力する方法の一アプリケーションシナリオの模式図である。 本開示に係る情報を出力する装置の一実施形態の構造模式図である。 本開示の実施形態の電子機器を実現するのに適したコンピュータシステムの構造模式図である。

以下の図面を参照して行われる非限定的な実施形態の詳細な説明を読むことにより、本開示の他の特徴、目的、および利点がより明らかになるであろう。

図面および実施形態を結び付けて、本開示をさらに詳細に説明する。本明細書に記載される具体的な実施形態は、関連する発明を説明するためだけに使用され、本発明を限定するためではないことが理解され得る。また、説明を簡単にするために、本発明に関連する部分のみが図面に示されていることにも留意されたい。

なお、矛盾しない場合、本開示の実施形態と実施形態の特徴は、互いに組み合わせることができる。以下、図面を参照し、実施形態を結び付けて、本開示を詳細に説明する。

図１は、本開示の情報を出力する方法または情報を出力する装置の実施形態を適用することができる例示的なシステムアーキテクチャ１００を示した。

図１に示したように、システムアーキテクチャ１００は、端末機器１０１、１０２、１０３、ネットワーク１０４、およびサーバー１０５を含むことができる。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバー１０５との間に通信リンクを提供するために使用される媒体である。ネットワーク１０４は、有線、無線通信リンクまたは光ファイバーケーブルなどの様々な接続タイプを含むことができる。

ユーザは、端末機器１０１、１０２、１０３を使用してネットワーク１０４と介してサーバー１０５とインタラクトして、メッセージなどを送信または受信することができる。端末機器１０１、１０２、１０３には、ドメイン要素認識アプリケーション、ウェブブラウザアプリケーション、ショッピングアプリケーション、検索アプリケーション、インスタントメッセージングソフトウェア、メールクライアント、ソーシャルプラットフォームソフトウェアなどの様々な通信クライアントアプリケーションがインストールされることができる。

端末機器１０１、１０２、１０３は、ハードウェアまたはソフトウェアであり得る。端末機器１０１、１０２、１０３がハードウェアである場合、スマートフォン、タブレットコンピュータ、電子書籍リーダー、ＭＰ３プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、動画エキスパート圧縮標準オーディオレイヤー３）、ＭＰ４プレーヤー（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、動画エキスパート圧縮標準オーディオレイヤー４）、ラップトップポータブルコンピュータ、およびデスクトップコンピュータなどを含むがこれらに限定されず、ディスプレイ画面を備え、テキストの閲覧をサポートするさまざまな電子機器であることができる。端末機器１０１、１０２、１０３がソフトウェアである場合、上記の電子機器にインストールされることができる。それは、複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するための）として実現でき、単一のソフトウェアまたはソフトウェアモジュールとしても実現できる。ここでは具体的に制限しない。

サーバー１０５は、様々なサービスを提供するサーバーであることができる。例えば、端末機器１０１、１０２、１０３に表示されるテキストにドメインタギングサービスのサポートを提供するバックグラウンドタギングサーバである。バックグラウンドウェブサーバは、受信された認識されるステートメントを含むタギング要求などのデータを分析し、処理結果（例えば、識別されたエンティティワード、エンティティカテゴリ、エンティティワードの位置）を端末機器にフィードバックすることができる。

説明すべきなのは、サーバーは、ハードウェアまたはソフトウェアであり得る。サーバーがハードウェアである場合、複数のサーバーで構成される分散サーバクラスターとして、または単一のサーバーとして実現できる。サーバーがソフトウェアである場合、サーバーは複数のソフトウェアまたはソフトウェアモジュール（例えば、分散サービスを提供するために使用される複数のソフトウェアまたはソフトウェアモジュール）、または単一のソフトウェアまたはソフトウェアモジュールとして実施できる。ここでは具体的に制限しない。

説明すべきなのは、本開示の実施形態によって提供される情報を出力する方法は、一般的にサーバー１０５によって実行され、対応的に、情報を出力する装置は、一般的にサーバー１０５に設置される。

図１の端末機器、ネットワークおよびサーバーの数は模式的にすぎないことを理解されたい。実現のニーズに応じて、任意の数の端末機器、ネットワーク、およびサーバーを有することができる。

図２を引き続き参照すると、本開示による情報を出力する方法の一実施形態のフロー２００を示した。上記情報を出力する方法は、以下のステップを含む。

ステップ２０１において、認識されるステートメントを取得する。

本実施形態において、情報を出力する方法の実行本体（例えば、図１に示されたサーバ）は、有線接続方法または無線接続方法によってユーザがドメイン要素認識を行う端末から、認識されるステートメントを受信してもよい。

ステップ２０２において、認識されるステートメントをワードカッティングしてワードシーケンスを取得する。

本実施形態において、最大逆マッチング方法などの通常のワードカッティング方法でワードカッティングすることができる。例えば、「患者は冠状動脈性心臓病であり、冠動脈バイパス手術の後、非定型の心筋梗塞がある可能性があることを考慮する必要があり、これを排除するように心電図および心筋損傷のマーカーを行って診断する必要がある」を、｛患者、は、冠状動脈性心臓病、冠動脈バイパス手術、後、非定型の心筋梗塞、ある、可能性、考慮、必要、排除、心電図、および、心筋損傷のマーカー、診断、必要、ある｝のワードシーケンスにする。

ステップ２０３において、ワードシーケンスを、シーケンスタギングとエンティティワード予測に基づいて予めトレーニングされたマルチタスク要素認識モデルに入力し、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力する。

本実施形態において、マルチタスク要素認識モデルは、シーケンスタギングネットワークおよびエンティティワード予測ネットワークを含む。シーケンスタギングネットワークは、ＢＩＬＳＴＭ－ＣＲＦ（ｂｉＬＳＴＭとは、双方向ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ、ロングショートタームメモリネットワーク）を指し、ＣＲＦとは、条件付きランダムフィールドを指す）ネットワークなどシーケンスタギングタスクを実行するためのネットワークであることができる。エンティティワード予測ネットワークは、エンティティワード予測タスクを実行するために使用される。ＬＳＴＭの隠れ層の後、ＢＩＬＳＴＭ－ＣＲＦネットワークは、フュージョンモジュールによってエンティティワード予測ネットワークと融合されることができる。

図３ａに示したように、ワードシーケンスがマルチタスク要素認識モデルに入った後、以下のステップを実行する。

ステップ３０１において、埋め込み層によってワードシーケンスをワードベクトルシーケンスに変換する。

本実施形態において、埋め込み層の本質は、ｗｏｒｄ２ｖｅｃであり、データの次元を削減すると同時に、同義語（各ワード間の距離）を計算するのに便利である。各ワードについて、ワードの意味とエンティティ認識に役立ついくつかの特徴を取得するためのベクトルを作成する必要があり、このベクトルは、Ｇｌｏｖｅによってトレーニングされたワードベクトルと文字から抽出されたベクトルを積み重ねることによって形成される。１つのオプションは、ワードが大文字で始まるかどうかなど、手動で抽出された特徴を使用することである。別のより良いオプションは、あるタイプのニューラルネットワークを使用して自動的に特徴を抽出することである。ここで、単一の文字にｂｉ－ＬＳＴＭを使用し、もちろん、他のリカレントニューラルネットワークも使用することができ、または単一の文字またはｎ－ｇｒａｍにＣＮＮを使用することができる。

ステップ３０２において、コンテキストコーディング層によってワードベクトルシーケンスをコンテキストベクトルシーケンスに変換する。

本実施形態において、ワードの最終的なベクトル表示を取得した後、ワードベクトルに対してＬＳＴＭまたはｂｉ－ＬＳＴＭを実行する。今回は、最終状態だけでなく、各時点での隠れ状態を使用する。ｍ個のワードベクトルを入力して、ｍ個の隠れ状態ベクトルを取得するが、ワードベクトルにはワードレベルの情報しか含まれておらず、隠れ状態ベクトルはコンテキストを考慮した。

ステップ３０３において、事前トレーニング済みのメモリネットワークによってサンプルワードシーケンスをディクショナリベクトルシーケンスに変換する。

本実施形態において、メモリネットワーク（ｍｅｍｏｒｙ ｎｅｔｗｏｒｋｓ、略してＭｅｍＮＮ）である。メモリネットワークモデルは、コンテキストセットＳ（ドメインディクショナリ）と質問ｑ（サンプルワードシーケンス）の数学的変換を通じて、質問に対応する回答（ディクショナリベクトルシーケンス）を取得した。具体的なステップは次のとおりである。

１、図３ｂの左側の図（ａ）に示したような単一の推論。

ドメインディクショナリのワードにｅｍｂｅｄｄｉｎｇを行い、ベクトルに変更し、メモリｍに入れる。

質問ｑに同じｅｍｂｅｄｄｉｎｇを行い、ベクトルｕに変更する。

ｕとメモリｍの一致度を計算する。

出力ｏ：メモリｍの加重和

ｏと質問ｕを使用して回答を予測

２、図３ｂの右側の図（ｂ）に示したような複数回の推論。

毎回の更新：

複数回の推論を経て、出力を計算：

選択的に、まずドメインディクショナリとサンプルワードシーケンスのベクトル表示を計算し、その後サンプルワードシーケンスにしたがってＡｔｔｅｎｔｉｏｎメカニズムをトリガーし、ゲート法を使用してサンプルワードシーケンスに関連するドメインディクショナリ内のワードを選択する。次に、エピソードメモリモジュールは、関連するドメインディクショナリとサンプルワードシーケンスを組み合わせて、メモリを繰り返し生成し、一回答のベクトル表示を生成する。

ステップ３０４において、フュージョンモジュールによってコンテキストベクトルシーケンスとディクショナリベクトルシーケンスを融合して、フュージョンベクトルシーケンスを取得する。

本実施形態において、ベクトルｃｏｎｃａｔ方法でコンテキストベクトルシーケンスとディクショナリベクトルシーケンスを融合して、フュージョンベクトルシーケンスを取得することができる。

ステップ３０５において、ディクショナリプレゼンテーション層を介してフュージョンベクトルシーケンスをコンテキストベクトルシーケンスに完全接続させる。

本実施形態において、ディクショナリプレゼンテーション層は、ドメインディクショナリ知識を融合したメインネットワーク中のプレゼンテーション層である。完全接続（ＦＣ）は、主に変換を表示するために使用されるニューラルネットワークのレイヤーである。

ステップ３０６において、ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得する。

本実施形態において、ＣＲＦ層がデコードを実行し、デコード段階でタグスコアを計算し、各ワードに対応する隠れ状態ベクトルを使用して最終的な予測を行い、完全接続されたニューラルネットワークを使用して、各エンティティタグのスコアを取得することができる。タグスコアをデコードし、タグシーケンスの確率を計算し、確率が最も高いシーケンスを見つけて、シーケンスタギング結果を取得する。すなわち、シーケンスタギングタスクは、エンティティワード、エンティティカテゴリ、エンティティワード位置を識別するために実行される。

ステップ３０７において、ディクショナリ生成層によってディクショナリプレゼンテーション層の出力をエンティティワード予測して、エンティティワード予測結果を取得する。

本実施形態において、ディクショナリ生成層は、ニューラルネットワークベースの分類モデルであることができ、ディクショナリプレゼンテーション層の出力を分類して、分類タグおよび確率を取得することにより、エンティティワード、エンティティカテゴリおよびエンティティワード位置を判断する。

ステップ３０７は、シーケンスタギングネットワークの性能を改善するためのマルチタスクトレーニングに使用され、適用時にステップ３０７を実行せず、ステップ３０６のシーケンスタギングネットワークのタギング結果のみを使用することができる。

マルチタスク要素認識モデルのトレーニングプロセスは、ステップ３０１－３０７と類似するが、ステップ３０７のエンティティワード予測結果とステップ３０６のシーケンスタギング結果のそれぞれの期待されるタギング結果の差を使用して、マルチタスク要素認識モデルの各層のパラメーターを調整して反復トレーニングするようにする必要がある。図１に示されたサーバーでモデルをトレーニングすることができ、第三者のサーバーでモデルをトレーニングすることもできる。

ディクショナリを使用して、ドメイン内の大量の無監督のテキストにルールタギングしてトレーニングサンプルを取得することができる。ルールタギングとは、ドメインディクショナリ、正規プレゼンテーションおよび構文ツリーを使用して、入力されたドメインテキストをルールマッチングさせることを指す。例えば、上記の例から、医師の注意の疾患（ｄｉｓｅａｓｅ）、症状、手術（ｏｐｅｒａｔｉｏｎ）、検査（ｅｘａｍｉｎａｔｉｏｎ）などの要素を抽出する：患者は冠状動脈性心臓病［ｄｉｓｅａｓｅ］であり、冠動脈バイパス手術［ｏｐｅｒａｔｉｏｎ］の後、非定型の心筋梗塞「ｄｉｓｅａｓｅ」がある可能性があることを考慮する必要があり、これを排除するように心電図［ｅｘａｍｉｎａｔｉｏｎ］および心筋損傷のマーカー［ｅｘａｍｉｎａｔｉｏｎ］を行って診断する必要がある。

図４を引き続き参照すると、図４は、本実施形態に係る情報を出力する方法のアプリケーションシナリオの模式図である。図４のアプリケーションシナリオでは、まずディクショナリを使用してドメイン内の大量の無監督のテキストをルールタギングして、得られたルールタギングデータをトレーニングサンプルとして使用する。さらにドメインディクショナリを通じてディクショナリプレゼンテーションモデリングして、メモリネットワークを構築する必要がある。その後、構築されたメモリネットワークとタギングされたトレーニングサンプルを使用して、マルチタスク学習して、初期化モデルを取得する。その後、手動タギングデータを使用して微調整を行い、最終的なモデル取得する。ユーザがドメイン要素認識を行う必要ある場合、認識されるステートメントをトレーニング済みのモデルに入力することにより、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力することができる。

さらに図５を参照すると、上記の各図に示された方法の実現として、本開示は、図２に示された方法の実施形態に対応する、情報を出力する装置の一実施形態を提供し、前記装置は具体的に、様々な電子機器に適用することができる。

図５に示したように、本実施形態の情報を出力する装置５００は、取得ユニット５０１、ワードワードカッティングユニット５０２および出力ユニット５０３を含む。ここで、取得ユニット５０１は、認識されるステートメントを取得するように構成され、ワードワードカッティングユニット５０２は、認識されるステートメントをワードカッティングしてワードシーケンスを取得するように構成され、出力ユニット５０３は、ワードシーケンスをシーケンスタギングとエンティティワード予測に基づいて予めトレーニングされたマルチタスク要素認識モデルに入力し、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力するように構成され、ここで、マルチタスク要素認識モデルは、シーケンスタギングネットワークおよびエンティティワード予測ネットワークを含み、シーケンスタギングネットワークは、シーケンスタギングタスクを実行するために使用され、エンティティワード予測ネットワークは、エンティティワード予測タスクを実行するために使用され、シーケンスタギングネットワークは、フュージョンモジュールによってエンティティワード予測ネットワークと融合される。

本実施形態において、情報を出力する装置５００の取得ユニット５０１、ワードワードカッティングユニット５０２および出力ユニット５０３の具体的な処理は、図２に対応する実施形態のステップ２０１、ステップ２０２、ステップ２０３を参照することができる。

本実施形態のいくつかの選択可能な実現形態では、装置５００は、トレーニングサンプルセットを取得し、ここで、トレーニングサンプルは、サンプルステートメントをワードカッティングして得られるサンプルワードシーケンスと、サンプルステートメント中のエンティティワード、エンティティカテゴリおよびエンティティワード位置を表示するためのタギング情報とを含み、およびトレーニングサンプルセット中のトレーニングサンプル中のサンプルワードシーケンスとタギング情報をそれぞれ初期マルチタスク要素認識モデルの入力と期待される出力として使用し、マルチタスク機械学習法でシーケンスタギングタスクとエンティティワード予測タスクを学習して、トレーニング済みのマルチタスク要素認識モデルを取得するように構成されるトレーニングユニットをさらに含む。

本実施形態のいくつかの選択可能な実現形態では、ＢＩＬＳＴＭ－ＣＲＦネットワークは、埋め込み層、コンテキストコーディング層、ＣＲＦ層を含み、エンティティワード予測ネットワークは、メモリネットワーク、ディクショナリプレゼンテーション層およびディクショナリ生成層を含み、およびトレーニングユニットはさらに、トレーニングサンプルセットからトレーニングサンプルを選択し、以下のトレーニングステップを実行するステップを含むように構成され、埋め込み層によって選択されたトレーニングサンプル中のサンプルワードシーケンスをワードベクトルシーケンスに変換し、コンテキストコーディング層によってワードベクトルシーケンスをコンテキストベクトルシーケンスに変換するステップ、事前トレーニング済みのメモリネットワークによってサンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップ、フュージョンモジュールによってコンテキストベクトルシーケンスとディクショナリベクトルシーケンスを融合してフュージョンベクトルシーケンスを取得するステップ、ディクショナリプレゼンテーション層を介してフュージョンベクトルシーケンスをコンテキストベクトルシーケンスに完全接続させ、その後ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得するステップ、ディクショナリ生成層によってディクショナリプレゼンテーション層の出力をエンティティワード予測して、エンティティワード予測結果を取得するステップ、およびシーケンスタギング結果とトレーニングサンプル中のタギング情報の差およびエンティティワード予測結果とトレーニングサンプル中のタギング情報の差に基づいて、埋め込み層、コンテキストコーディング層、ディクショナリプレゼンテーション層、ＣＲＦ層、ディクショナリ生成層のパラメーターを調整し、マルチタスク要素認識モデルをトレーニングするステップである。

本実施形態のいくつかの選択可能な実現形態では、トレーニングユニットはさらに、非構造化／半構造化のドキュメントを取得し、ドキュメントを文分割し、およびそれぞれの文節について、前記文節をワードカッティングしてワードシーケンスを取得し、ルールマッチング方法で前記文節にエンティティタギングして、前記文節のエンティティワード、エンティティカテゴリおよびエンティティワード位置を取得し、タギング情報とするように構成される。

本実施形態のいくつかの選択可能な実現形態では、トレーニングユニットはさらに、サンプルワードシーケンス中の各サンプルワードをメモリネットワークに記憶されているディクショナリとマッチングして、各サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを取得し、サンプルワードシーケンス中のそれぞれのサンプルワードに対して、注意力メカニズムによって前記サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを前記サンプルワードのディクショナリベクトルに融合し、およびサンプルワードシーケンス中の各サンプルワードのディクショナリベクトルをサンプルワードシーケンスのディクショナリベクトルシーケンスに構成するように構成される。

本実施形態のいくつかの選択可能な実現形態では、ディクショナリ生成層は、事前トレーニング済みの分類モデルである。

図６を参照すると、本開示の実施形態の電子機器（例えば、図１のサーバ）６００を実現するのに適した構造模式図を示した。図６に示されたサーバーは単なる例であり、本開示の実施形態の機能および使用範囲にいかなる制限をもたらすべきではない。

図６に示したように、電子機器６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されたプログラム、または記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って、さまざまな適切なアクションと処理を実行することができる処理装置（例えば、中央プロセッサ、グラフィックプロセッサなど）６０１を含むことができる。ＲＡＭ６０３では、電子機器６００の操作に必要な様々なプログラムとデータがさらに記憶されている。処理装置６０１、ＲＯＭ６０２およびＲＡＭ６０３は、バス６０４を介して相互に接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

通常、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイク、加速度計、ジャイロスコープなどを含む入力装置６０６と、液晶ディスプレイ（ＬＣＤ）、スピーカー、バイブレーターなどを含む出力装置６０７と、磁気テープ、ハードディスクなどを含む記憶装置６０８と、および通信装置６０９とは、Ｉ／Ｏインターフェース６０５に接続されることができる。通信装置６０９は、電子機器６００がデータを交換するために他の機器と無線または有線通信を実行することを可能にすることができる。図６は、様々な装置を有する電子機器６００を示したが、示されているすべての装置を実施または有する必要はないことを理解されたい。代わりに、より多くのまたはより少ない装置を実施または提供することができる。図６に示されたそれぞれのブロックは、１つの装置を表すことができ、または必要に応じて複数の装置を表すことができる。

特に、本開示の実施形態によれば、上記のフローチャートを参照して説明されたプロセスは、コンピュータソフトウェアプログラムとして実現されることができる。例えば、本開示の実施形態は、コンピュータ可読媒体に搭載されるコンピュータプログラムを含むコンピュータプログラム製品を含み、前記コンピュータプログラムは、フローチャートに示された方法を実行するためのプログラムコードを含む。このような実施形態において、前記コンピュータプログラムは、通信装置６０９を介してネットワークからダウンロードおよびインストールされ、または記憶装置６０８からインストールされ、またはＲＯＭ６０２からインストールされることができる。前記コンピュータプログラムが処理装置６０１によって実行されると、本開示の実施形態の方法で限定された前記機能を実行する。説明すべきなのは、本開示の実施形態で説明されるコンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体、または前記２つの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、電気、磁気、光学、電磁気、赤外線、または半導体のシステム、装置またはデバイス、あるいは上記の任意の組み合わせであることができるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例は、１つまたは複数のワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス、またはこれらの適切な組み合わせを含むが、これらに限定されない。本開示の実施形態において、コンピュータ可読記憶媒体は、プログラムを含むまたは記憶する任意の有形媒体であることができ、前記プログラムは、命令実行システム、装置、またはデバイスと組み合わせて使用することができる。本開示の実施形態において、コンピュータ可読信号媒体は、コンピュータ可読プログラムコードを搭載し、ベースバンド中または搬送波の一部として伝播されるデータ信号を含むことができる。このような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むがこれらに限定されず、多くの形態をとることができる。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよく、前記コンピュータ可読信号媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用するプログラムを送信、伝播、または送信することができる。コンピュータ可読媒体に含まれるプログラムコードは、電線、光ケーブル、ＲＦ（無線周波数）など、または前述の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体を使用して伝送されることができる。

前記コンピュータ可読媒体は、前記電子機器に含まれてもよく、または電子機器に組み込まれることなく単独で存在してもよい。前記コンピュータ可読媒体は、１つまたは複数のプログラムを搭載し、前記１つまたは複数のプログラムが前記電子機器によって実行されると、前記電子機器は、以下を行われる：認識されるステートメントを取得し、認識されるステートメントをワードカッティングしてワードシーケンスを取得し、およびワードシーケンスをシーケンスタギングとエンティティワード予測に基づいて予めトレーニングされたマルチタスク要素認識モデルに入力し、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力し、ここで、マルチタスク要素認識モデルは、シーケンスタギングネットワークおよびエンティティワード予測ネットワークを含み、シーケンスタギングネットワークは、シーケンスタギングタスクを実行するために使用され、エンティティワード予測ネットワークは、エンティティワード予測タスクを実行するために使用され、ＬＳＴＭの隠れ層の後、ＢＩＬＳＴＭ－ＣＲＦネットワークは、フュージョンモジュールによってエンティティワード予測ネットワークと融合される。

本開示の実施形態の操作を実行するためのコンピュータプログラムコードは、１つまたは複数のプログラミング言語またはそれらの組み合わせで作成されることができ、前記プログラミング言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋（登録商標）などの対象指向プログラミング言語を含み、「Ｃ」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含むことができる。プログラムコードは、完全にユーザのコンピュータで実行され、一部はユーザのコンピュータで実行され、独立したソフトウェアパッケージとして、一部はユーザのコンピュータで一部はリモートコンピュータで、または完全にリモートコンピュータまたはサーバーで実行されることができる。リモートコンピュータが関係する状況では、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含むあらゆる種類のネットワークを介してユーザのコンピュータに接続するか、または外部コンピュータに接続することができる（例えば、インターネットサービスプロバイダーを使用してインターネットを介して接続する）。

図面のフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の実現可能なアーキテクチャ、機能、および動作を示している。この点で、フローチャートまたはブロック図のそれぞれのブロックは、指定された論理関数を実現するための実行可能命令を含むモジュール、プログラムセグメント、またはコードの一部を表すことができる。また、一部の代替実現では、ブロックでマークされた機能は、図面でマークされたものとは異なる順序で発生する場合もある。例えば、連続して示されている２つのブロックは、実際には並行して実行でき、関連する機能によっては、逆の順序で実行することもできる。また、ブロック図および／またはフローチャートのそれぞれのブロック、およびブロック図および／またはフローチャートのブロックの組み合わせは、指定された機能または操作を実行する専用のハードウェアベースのシステムで実現することができ、または、専用のハードウェアとコンピュータの命令を組み合わせて実現することもできる。

本開示の実施形態で説明されるユニットは、ソフトウェアまたはハードウェアで実現されることができる。上記のユニットは、プロセッサに設置されることもでき、例えば、プロセッサは、取得ユニット、ワードワードカッティングユニット、出力ユニットを含むと記述することができる。ここで、これらのユニットの名称は、ある場合ではユニット自体を限定するものではなく、例えば、取得ユニットは、「認識されるステートメントを取得するユニット」と説明することもできる。

上記の説明は、本開示の好ましい実施形態および適用された技術原理の説明にすぎない。当業者は、本開示に関する本発明の範囲が、上記の技術的特徴の特定の組み合わせによって形成される技術的解決策に限定されず、同時に上記の発明の概念から逸脱することなく、上記の技術的特徴またはそれらの同等物の任意の組み合わせによって形成される他の技術的解決策も網羅すべきであることを理解できるだろう。例えば、上記の特徴を、類似の機能を有する本開示の実施形態に開示される（しかし、これらに限定されない）技術的特徴で置き換えることによって形成される技術的解決策。

Claims (15)

1. 情報を出力する方法であって、
   認識されるステートメントを取得するステップと、
   前記認識されるステートメントをワードカッティングしてワードシーケンスを取得するステップと、および
   前記ワードシーケンスを、シーケンスタギングとエンティティワードの予測に基づいて予めトレーニングされたマルチタスク要素認識モデルに入力するステップであって、前記マルチタスク要素認識モデルは、シーケンスタギングネットワークおよびエンティティワードの予測ネットワークを含み、前記シーケンスタギングネットワークは、シーケンスタギングタスクを実行するために使用され、前記エンティティワードの予測ネットワークは、エンティティワードの予測タスクを実行するために使用され、前記シーケンスタギングネットワークは、フュージョンモジュールによって前記エンティティワードの予測ネットワークと融合され、前記シーケンスタギングネットワークは、埋め込み層、コンテキストコーディング層、ＣＲＦ層を含み、前記エンティティワードの予測ネットワークは、メモリネットワーク、ディクショナリプレゼンテーション層およびディクショナリ生成層を含む、ステップと、
   ワードシーケンスを前記埋め込み層によってワードベクトルシーケンスに変換するステップと、
   前記ワードベクトルシーケンスを前記コンテキストコーディング層によってコンテキストベクトルシーケンスに変換するステップと、
   事前トレーニング済みのメモリネットワークによってサンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップと、
   前記フュージョンモジュールによって前記コンテキストベクトルシーケンスと前記ディクショナリベクトルシーケンスを融合して、フュージョンベクトルシーケンスを取得するステップと、
   前記ディクショナリプレゼンテーション層を介して前記フュージョンベクトルシーケンスを前記コンテキストベクトルシーケンスに完全に接続させるステップと、
   前記ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得するステップと、
   前記ディクショナリ生成層によって前記ディクショナリプレゼンテーション層の出力に対してエンティティワードの予測を行って、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力するステップと、を含む、
   情報を出力する方法。
2. 前記マルチタスク要素認識モデルは、
   トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルは、サンプルステートメントをワードカッティングして得られるサンプルワードシーケンスと、サンプルステートメント中のエンティティワード、エンティティカテゴリおよびエンティティワード位置を表示するためのタギング情報とを含む、ステップと、および
   前記トレーニングサンプルセット中のトレーニングサンプル中のサンプルワードシーケンスとタギング情報をそれぞれ初期マルチタスク要素認識モデルの入力と期待される出力として使用し、マルチタスク機械学習法でシーケンスタギングタスクとエンティティワードの予測タスクを学習して、トレーニング済みのマルチタスク要素認識モデルを取得するステップとによって、トレーニングされることを特徴とする
   請求項１に記載の方法。
3. 前記シーケンスタギングネットワークは、ＢＩＬＳＴＭ－ＣＲＦネットワークであり、
   前記機械学習法でシーケンスタギングタスクとエンティティワードの予測タスクを学習して、前記初期マルチタスク要素認識モデルを取得するステップは、
   前記トレーニングサンプルセットからトレーニングサンプルを選択し、トレーニングステップを実行するステップを含み、
   前記トレーニングステップは、
   選択されたトレーニングサンプル中のサンプルワードシーケンスを埋め込み層によってワードベクトルシーケンスに変換し、前記ワードベクトルシーケンスをコンテキストコーディング層によってコンテキストベクトルシーケンスに変換するステップと、
   事前トレーニング済みのメモリネットワークによって前記サンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップと、
   フュージョンモジュールによって前記コンテキストベクトルシーケンスと前記ディクショナリベクトルシーケンスを融合してフュージョンベクトルシーケンスを取得するステップと、
   前記フュージョンベクトルシーケンスをディクショナリプレゼンテーション層に通過させてからコンテキストベクトルシーケンスに完全接続させ、ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得するステップと、
   ディクショナリ生成層によってディクショナリプレゼンテーション層の出力に対してエンティティワードの予測を行って、エンティティワードの予測結果を取得するステップと、および
   前記シーケンスタギング結果と前記トレーニングサンプル中のタギング情報の差および前記エンティティワードの予測結果と前記トレーニングサンプル中のタギング情報の差に基づいて、埋め込み層、コンテキストコーディング層、ディクショナリプレゼンテーション層、ＣＲＦ層、ディクショナリ生成層のパラメーターを調整し、マルチタスク要素認識モデルをトレーニングするステップを含むことを特徴とする
   請求項２に記載の方法。
4. 前記トレーニングサンプルセットを取得するステップは、
   非構造化／半構造化のドキュメントを取得するステップと、
   前記ドキュメントを文分割するステップと、および
   それぞれの文節について、前記文節をワードカッティングしてワードシーケンスを取得し、ルールマッチング方法で前記文節にエンティティタギングして、前記文節のエンティティワード、エンティティカテゴリおよびエンティティワード位置を取得し、タギング情報とするステップとを含むことを特徴とする
   請求項２に記載の方法。
5. 前記事前トレーニング済みのメモリネットワークによって前記サンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップは、
   前記サンプルワードシーケンス中の各サンプルワードを、前記メモリネットワークに記憶されているディクショナリとマッチングして、各サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを取得するステップと、
   前記サンプルワードシーケンス中のそれぞれのサンプルワードに対して、前記サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを、注意力メカニズムによって前記サンプルワードのディクショナリベクトルに融合するステップと、および
   前記サンプルワードシーケンス中の各サンプルワードのディクショナリベクトルによって前記サンプルワードシーケンスのディクショナリベクトルシーケンスを構成するステップとを含むことを特徴とする
   請求項３に記載の方法。
6. 前記ディクショナリ生成層は、予めトレーニングされた分類モデルであることを特徴とする
   請求項３に記載の方法。
7. 情報を出力する装置であって、
   認識されるステートメントを取得するように構成される取得ユニットと、
   前記認識されるステートメントをワードカッティングしてワードシーケンスを取得するように構成されるワードワードカッティングユニットと、
   前記ワードシーケンスを、シーケンスタギングとエンティティワードの予測に基づいて予めトレーニングされたマルチタスク要素認識モデルに入力するように構成される出力ユニットであって、前記マルチタスク要素認識モデルは、シーケンスタギングネットワークおよびエンティティワードの予測ネットワークを含み、前記シーケンスタギングネットワークは、シーケンスタギングタスクを実行するために使用され、前記エンティティワードの予測ネットワークは、エンティティワードの予測タスクを実行するために使用され、前記シーケンスタギングネットワークは、フュージョンモジュールによって前記エンティティワードの予測ネットワークと融合され、前記シーケンスタギングネットワークは、埋め込み層、コンテキストコーディング層、ＣＲＦ層を含み、前記エンティティワードの予測ネットワークは、メモリネットワーク、ディクショナリプレゼンテーション層およびディクショナリ生成層を含み、ワードシーケンスを前記埋め込み層によってワードベクトルシーケンスに変換し、前記ワードベクトルシーケンスを前記コンテキストコーディング層によってコンテキストベクトルシーケンスに変換し、事前トレーニング済みのメモリネットワークによってサンプルワードシーケンスをディクショナリベクトルシーケンスに変換し、前記フュージョンモジュールによって前記コンテキストベクトルシーケンスと前記ディクショナリベクトルシーケンスを融合して、フュージョンベクトルシーケンスを取得し、前記ディクショナリプレゼンテーション層を介して前記フュージョンベクトルシーケンスを前記コンテキストベクトルシーケンスに完全に接続させ、前記ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得し、前記ディクショナリ生成層によって前記ディクショナリプレゼンテーション層の出力に対してエンティティワードの予測を行って、認識されたエンティティワード、エンティティカテゴリおよびエンティティワード位置を出力する、出力ユニットとを含む、
   情報を出力する装置。
8. 前記装置は、トレーニングユニットをさらに含み、
   前記トレーニングユニットは、
   トレーニングサンプルセットを取得し、トレーニングサンプルは、サンプルステートメントをワードカッティングして得られるサンプルワードシーケンスと、サンプルステートメント中のエンティティワード、エンティティカテゴリおよびエンティティワード位置を表示するためのタギング情報とを含み、および
   前記トレーニングサンプルセット中のトレーニングサンプル中のサンプルワードシーケンスとタギング情報をそれぞれ初期マルチタスク要素認識モデルの入力と期待される出力として使用し、マルチタスク機械学習法でシーケンスタギングタスクとエンティティワードの予測タスクを学習して、トレーニング済みのマルチタスク要素認識モデルを取得するように構成されることを特徴とする
   請求項７に記載の装置。
9. 前記シーケンスタギングネットワークは、ＢＩＬＳＴＭ－ＣＲＦネットワークであり、
   前記トレーニングユニットは、
   前記トレーニングサンプルセットからトレーニングサンプルを選択し、トレーニングステップを実行するステップを含むようにさらに構成され、
   前記トレーニングステップは、
   選択されたトレーニングサンプル中のサンプルワードシーケンスを埋め込み層によってワードベクトルシーケンスに変換し、前記ワードベクトルシーケンスをコンテキストコーディング層によってコンテキストベクトルシーケンスに変換するステップと、
   事前トレーニング済みのメモリネットワークによって前記サンプルワードシーケンスをディクショナリベクトルシーケンスに変換するステップと、
   フュージョンモジュールによって前記コンテキストベクトルシーケンスと前記ディクショナリベクトルシーケンスを融合してフュージョンベクトルシーケンスを取得するステップと、
   前記フュージョンベクトルシーケンスをディクショナリプレゼンテーション層に通過させてからコンテキストベクトルシーケンスに完全接続させ、ＣＲＦ層によってシーケンスタギングして、シーケンスタギング結果を取得するステップと、
   ディクショナリ生成層によってディクショナリプレゼンテーション層の出力に対してエンティティワードの予測を行って、エンティティワードの予測結果を取得するステップと、および
   前記シーケンスタギング結果と前記トレーニングサンプル中のタギング情報の差および前記エンティティワードの予測結果と前記トレーニングサンプル中のタギング情報の差に基づいて、埋め込み層、コンテキストコーディング層、ディクショナリプレゼンテーション層、ＣＲＦ層、ディクショナリ生成層のパラメーターを調整し、マルチタスク要素認識モデルをトレーニングするステップを含むことを特徴とする
   請求項８に記載の装置。
10. 前記トレーニングユニットは、
    非構造化／半構造化のドキュメントを取得し、
    前記ドキュメントを文分割し、および
    それぞれの文節について、前記文節をワードカッティングしてワードシーケンスを取得し、ルールマッチング方法で前記文節にエンティティタギングして、前記文節のエンティティワード、エンティティカテゴリおよびエンティティワード位置を取得し、タギング情報とするようにさらに構成されることを特徴とする
    請求項８に記載の装置。
11. 前記トレーニングユニットは、
    前記サンプルワードシーケンス中の各サンプルワードを前記メモリネットワークに記憶されているディクショナリとマッチングして、各サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを取得し、
    前記サンプルワードシーケンス中のそれぞれのサンプルワードに対して、注意力メカニズムによって前記サンプルワードの少なくとも１つの関連ワードに対応するディクショナリベクトルを前記サンプルワードのディクショナリベクトルに融合し、および
    前記サンプルワードシーケンス中の各サンプルワードのディクショナリベクトルによって前記サンプルワードシーケンスのディクショナリベクトルシーケンスを構成するようにさらに構成されることを特徴とする
    請求項９に記載の装置。
12. 前記ディクショナリ生成層は、予めトレーニングされた分類モデルであることを特徴とする
    請求項９に記載の装置。
13. 電子機器であって、
    １つまたは複数のプロセッサと、および
    １つまたは複数のプログラムが記憶されている記憶装置とを含み、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサは請求項１～６のいずれか一項に記載の方法を実施することを特徴とする、電子機器。
14. コンピュータプログラムが記憶されているコンピュータ可読媒体であって、
    前記プログラムがプロセッサによって実行されると、請求項１～６のいずれか一項に記載の方法が実施される、コンピュータ可読媒体。
15. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１～６のいずれか一項に記載の方法を実現させるコンピュータプログラム。

Images