JP7431833B2 - 言語シーケンスラベリング方法、装置、プログラム及びコンピューティング機器 - Google Patents
言語シーケンスラベリング方法、装置、プログラム及びコンピューティング機器 Download PDFInfo
- Publication number
- JP7431833B2 JP7431833B2 JP2021539998A JP2021539998A JP7431833B2 JP 7431833 B2 JP7431833 B2 JP 7431833B2 JP 2021539998 A JP2021539998 A JP 2021539998A JP 2021539998 A JP2021539998 A JP 2021539998A JP 7431833 B2 JP7431833 B2 JP 7431833B2
- Authority
- JP
- Japan
- Prior art keywords
- representation
- deep
- word
- sequence
- hidden layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims description 108
- 230000000306 recurrent effect Effects 0.000 claims description 66
- 238000013528 artificial neural network Methods 0.000 claims description 50
- 230000009466 transformation Effects 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000002787 reinforcement Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 description 23
- 239000013598 vector Substances 0.000 description 23
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000002457 bidirectional effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000013519 translation Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Description
本願は、２０１９年６月５日に中国特許局に提出された、出願番号が２０１９１０４８６８９６．１であり、出願名称が「深層変換アーキテクチャに基づくシーケンスラベリング方法及び装置」である中国特許出願の優先権を主張する。
本願の実施例はデータ処理の技術分野に関し、具体的には、言語シーケンスラベリング方法、装置、記憶媒体及びコンピューティング機器に関する。
自然言語処理（Ｎａｔｕｒｅ Ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）はコンピュータ科学分野と人工知能分野における重要な方向である。自然言語で人間とコンピュータとの効果的な通信を実現できる様々な理論や方法を研究している。自然言語処理は言語学、コンピュータ科学、数学を統合した科学である。したがって、この分野の研究は自然言語、即ち、人間が日常的に使っている言語に関するため、言語学の研究と密接に関連している。自然言語処理技術は通常、テキスト処理、意義理解、機械翻訳、ロボットの質問応答、知識グラフ等の技術を含む。
シーケンスラベリングは自然言語処理の基本的な作業であり、自然言語処理で難しい問題でもあり、主に品詞ラベリング、固有表現認識等を含む。例えば、固有表現認識の主なタスクはテキスト中の人名、地名、組織名等の固有名詞及び意味のある時間、日付等のフレーズを認識することである。シーケンスラベリングタスクは情報抽出の重要な構成部分であり、その効果は機械翻訳、インテリジェント対話システム等に大きな影響を与える。
現在、シーケンスラベリングの主なモデルは従来の機械学習モデル及びニューラルネットワークモデルに分けられる。近年、従来の機械学習モデルに比べて、ニューラルネットワークモデルがシーケンスラベリングタスクにおいて少量の人工的な特徴を補助として使用されてよりよい効果を達成できる。
しかしながら、上記従来技術では、隣接する隠れ層の状態間の変換プロセスは浅く、豊富な言語的特徴を抽出するのに十分ではない。また、従来技術では、言語シーケンスにおける各単語の位置でグローバル情報に対する表現が不十分であり、現在の単語に対して正確に予測することは困難である。
以上に鑑みて、本願の実施例は言語シーケンスラベリング方法、装置、記憶媒体及びコンピューティング機器を提供する。
本願の実施例の一態様によれば、コンピューティング機器が実行する言語シーケンスラベリング方法を提供する。該方法は、
言語シーケンスの第１埋め込み表現を読み取るステップであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現であるステップと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するステップと、
前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するステップと、を含む。
言語シーケンスの第１埋め込み表現を読み取るステップであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現であるステップと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するステップと、
前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するステップと、を含む。
本願の実施例の別の態様によれば、言語シーケンスラベリング装置を提供する。該装置は、シーケンスラベリングエンコーダと、シーケンスラベリングデコーダと、を含み、
前記シーケンスラベリングエンコーダは、
言語シーケンスの第１埋め込み表現を読み取るための第１読み取りモジュールであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現である第１読み取りモジュールと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するための第１深層変換モジュールと、を含み、
シーケンスラベリングデコーダは、前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するためのものである。
前記シーケンスラベリングエンコーダは、
言語シーケンスの第１埋め込み表現を読み取るための第１読み取りモジュールであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現である第１読み取りモジュールと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するための第１深層変換モジュールと、を含み、
シーケンスラベリングデコーダは、前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するためのものである。
本願の実施例の別の態様によれば、コンピュータ可読記憶媒体を提供し、コンピュータプログラム命令が記憶されており、プロセッサが前記コンピュータプログラム命令を実行すると、前記プロセッサが前記方法を実行する。
本願の実施例の別の態様によれば、コンピューティング機器を提供する。該コンピューティング機器はプロセッサと、コンピュータプログラムを記憶するメモリとを含み、前記コンピュータプログラムが前記プロセッサにより実行されると、前記プロセッサが前記方法を実行する。
以下、図面を参照しながら本願の実施例をより詳しく説明する。
以下の説明は本願の実施例の様々な実施例を十分に理解及び実施するための特定の詳細を提供する。当業者にとって、本願の実施例の技術案はこれらの詳細のいくつかを省略しても実施できると理解すべきである。場合によっては、本願の実施例に対する説明を不必要に曖昧にすることを回避するために、いくつかの周知する構造及び機能を示していない又は詳しく説明していない。本願の実施例で使用される用語については、本願の特定実施例と組み合わせて使用される場合であっても、最も広い合理的な方法で理解すべきである。
本願の実施例では、言語シーケンスラベリングは基礎となる処理として応用され、中国語単語分割、品詞ラベリング、固有表現認識等の問題を解決できる。言語シーケンスラベリングタスクは情報抽出の重要な構成部分であり、具体的には、機械翻訳、インテリジェント対話システム等に適用されることができる。固有表現認識は情報抽出、質問応答システム、構文解析、機械翻訳等の応用分野における重要な基本ツールである。
図１ａは本願の一実施例に係る実施環境の構造模式図である。図１に示すように、言語シーケンスラベリングシステム１００はサーバ１１０と、ネットワーク１２０と、端末機器１３０と、ユーザー１４０とを含む。サーバ１１０はプロセッサ及びメモリを含み、本願における方法実施例はプロセッサによりメモリに記憶された命令を実行することで実行される。具体的には、サーバ１１０は言語シーケンスラベリング装置１１１及び訓練データベース１１２を含む。端末機器１３０にクライアント１３０－１がインストールされている。
クライアント１３０－１は言語シーケンスを受信するアプリケーションプログラムとして、ユーザーが入力する音声又は文字を受信でき、その中からラベリングする対象となる言語シーケンスを取得する。その後、端末機器１３０はラベリングする対象となる言語シーケンスをサーバ１１０に送信し、サーバ１１０の言語シーケンスラベリング装置１１１は該言語シーケンスに対してラベリング解析を行う。
本願の実施例に記載される方法によれば、訓練データベース１１２に事前訓練された単語ベクトルテーブルが記憶されている。言語シーケンスラベリング装置１１１は訓練データベース１１２から事前訓練単語ベクトルを取得し、第１埋め込み表現及び第２埋め込み表現を構成する。言語シーケンスラベリング装置１１１は深層変換リカレントニューラルネットワークを構築することで、言語シーケンスのラベリング結果を獲得し、該ラベリング結果に応じて、ユーザーの意図を理解し、端末機器１３０に返信するメッセージを決定し、クライアント１３０－１に該メッセージを表示して、ヒューマンマシンインタラクションを実現する。
サーバ１１０は１台のサーバであってもよく、又は複数台のサーバからなるサーバクラスターであってもよく、又は１つのクラウドコンピューティングサービスセンターであってもよい。ネットワーク１２０は無線又は有線でサーバ１１０と端末機器１３０を接続してもよい。端末機器１３０はインテリジェント端末であってもよく、スマートフォン、タブレットコンピュータ、ラップトップポータブルコンピュータ等を含む。
図１ｂは本願の実施例が基礎技術として応用されるインテリジェント対話システムの応用シーンを模式的に示し、具体的には、１つのヒューマンマシンインタラクションインタフェース２００を示す。該インタラクションインタフェース２００では、２１０及び２２０に示すように、ユーザーは音声又は文字からなる言語シーケンスを入力できる。機械はバックグラウンドで、ユーザーが入力した言語シーケンス、例えば、２１０「トイレはどこですか」等に対してシーケンスラベリング解析を行うことで、ユーザーの意図、例えば、ユーザーの質問を理解できる。２３０及び２４０に示すように、機械はユーザーの質問に対応する応答を提供する。上記言語シーケンス２１０に対して、対応する応答２３０「デパートの２、３、４階にある」を提供し、それにより機械とユーザーとの間のインテリジェント対話を実現できる。当業者にとって理解できることは、本願の実施例は言語シーケンスを解析する必要がある他の様々なシーンにも適用できる。
シーケンスラベリング方法とは、線形シーケンスにおける各要素に対して分類することであり、例えば、シーケンスＸ＝ｘ１，ｘ２，…ｘｎにおける各要素にラベルセットＹ＝ｙ１，ｙ２，…ｙｎにおける特定のラベルを追加する。
例えば、入力された言語シーケンス「アインシュタインはドイツで生まれた」について、品詞解析タスクでは、要素に品詞ラベルを追加し、結果としてアインシュタイン［名詞］、生まれた［動詞］、で［介詞］、ドイツ［名詞］を出力する。
固有表現認識タスクでは、テキストにおける特定の意味を持つ固有表現認識し、人名、地名、機構名、固有名詞等を含む。上記例では、命名された固有表現にラベルを追加し、結果としてアインシュタイン［人名］、ドイツ［組織名］を出力する。
図２は本願の実施例が基礎技術として応用される機械翻訳の応用シーンを模式的に示し、具体的には、１つのヒューマンマシンインタラクションインタフェース３００を示す。該インタフェース３００では、例えば、翻訳君３２１、テンセントＡＩｌａｂ ３２２のような複数の技術プロバイダを提供し、テキスト翻訳３１１、音声翻訳３１２、ピクチャ翻訳３１３を含む様々なバックグラウンドサービスをユーザーに提供できる。例えば、テキスト翻訳３１１を例にすると、左側のボックス３３１に入力された言語シーケンスを右側のボックス３３２における言語シーケンスに翻訳することができる。例えば、図２では、左側のボックス３３１に中国語の「我明天去北京玩」を入力した場合、基礎技術の１つであるシーケンスラベリング等の処理を経て、右側のボックス３３２に「Ｉ’ｍ ｇｏｉｎｇ ｔｏ Ｂｅｉｊｉｎｇ ｔｏｍｏｒｒｏｗ」を出力する。以上からわかるように、本願の実施例におけるシーケンスラベリング処理は、基礎アプリケーションとしてバックグラウンドで、入力された言語を解析及び処理することができる。
シーケンスラベリングタスクでは、コアアーキテクチャはエンコーダ－デコーダスキームである。エンコーダは可変長入力を処理し、固定長のベクトル表現を作成する。デコーダは符号化済みのベクトル表現に基づいて可変長シーケンス（目標シーケンス）を生成する。図３はシーケンスラベリング用のエンコーダ－デコーダアーキテクチャの模式図を示す。図３に示すように、シーケンスラベリングの品詞解析を例にすると、エンコーダに入力される可変長シーケンスがＸ＝ｘ１，ｘ２，…ｘｎであり、エンコーダにより出力される符号化済みのベクトル表現が［ｚ１，ｚ２，…ｚｄ］であり、デコーダにより出力される可変長シーケンスがＹ＝ｙ１，ｙ２，…ｙｎである。
図４は本願の一実施例によるグローバル情報強化の深層変換に基づくシーケンスラベリングアーキテクチャの図を示し、例えば、図１ａ中のサーバ１１０のようなコンピューティング機器に適用できる。図４に示すアーキテクチャでは、グローバル情報エンコーダ４０１と、シーケンスラベリングエンコーダ４０２と、シーケンスラベリングデコーダ４０３とを含む。
具体的には、処理する対象となる言語シーケンスはｘ１，ｘ２，…ｘｎであり、ｘｎの各々は処理する対象となる言語シーケンスの１つの単語を示し、ｎ＝１，…，Ｎであり、Ｎは正の整数であり、該言語シーケンス中の単語の総数を示す。言語シーケンスに対して双方向深層変換処理を行うことを例にすると、それぞれ順方向ｘ１，ｘ２，…ｘｎ及び逆方向ｘｎ，ｘｎ－１，…ｘ１の順序で言語シーケンスに対して深層変換処理を行う。
本願の実施例では、深層変換（ＤＴ）とは、ニューラルネットワーク構造における多階層の非線形回帰型ユニットを用いて複数の隣接する時間ステップ間の処理深度を増加させることである。図４では、各キューブはＤＴ回帰型ニューロンを示し、ＤＴユニットと略称される。具体的には、ブロック４０４には４個のマークの意味が示されており、それぞれ、右斜線付きキューブは前方（左から右へ）のＤＴユニットを示し、左斜線付きキューブは後方（右から左へ）のＤＴユニットを示し、斜線無しブロックは一方向ＤＴユニットを示し、丸みを帯びたブロックは単語埋め込みを示す。
グローバル情報エンコーダ４０１は言語シーケンスｘ１，ｘ２，…ｘｎの第２埋め込み表現を読み取り、文字レベル単語埋め込み表現ｃ１，ｃ２，…ｃｎ及び事前訓練単語埋め込み表現ｗ１，ｗ２，…ｗｎを含む。文字レベル単語埋め込み表現ｃｎ及び事前訓練単語埋め込み表現ｗｎはそれぞれ、入力された言語シーケンスにおけるサブ単語ｘｎに対応する。文字レベル単語埋め込みｃｎは文字レベルで学習を行う単語ベクトルであり、サブ単語ｘｎを文字レベルで畳み込み処理することによって得たものである。事前訓練単語埋め込み表現ｗｎはサブ単語ｘｎに応じて、事前訓練して記憶された単語ベクトルテーブルから検索された単語ベクトルである。
一例では、テキストシーケンスの「我在家」の事前訓練単語埋め込み表現ｗｎの場合、我＝［０．５４８６４６４，０．１４６５４６４２，…，０．４４８９７８９］は３００次元のベクトルであり、同様に、「在」及び「家」もそれぞれ３００次元のベクトルである。
サブ単語ｘｎに対応するｃｎとｗｎを接合して、言語シーケンスの第２埋め込み表現を構成する。その後、読み込んだ言語シーケンスの第２埋め込み表現に対して第２深層変換符号化を行う。
本願の実施例では、深層変換リカレントニューラルネットワークを構築することによって、深層変換を実行する。深層変換リカレントニューラルネットワークは線形変換によって改良されたゲート付き回帰型ユニット（ＧＲＵ）から構成される。ＧＲＵは長期短期記憶（ＬＳＴＭ）の変形である。一方、ＬＳＴＭは時間リカレントニューラルネットワークであり、時系列で間隔及び遅延が相対的に長いイベントを処理及び予測することに適する。リカレントニューラルネットワーク（ＲＮＮ）はシーケンスデータを入力とし、シーケンスの進化方向に再帰的であり、すべてのノード（回帰型ユニット）がチェーンの形で接続される再帰型ニューラルネットワークである。ＧＲＵはＬＳＴＭの効果を保持するとともに、構造がさらに簡単であり、ＲＮＮにおける勾配消失に非常に寄与する。
グローバル情報エンコーダ４０１の深層変換ユニット４０１１は第２深層変換リカレントニューラルネットワークを表し、１層の線形変換強化ゲート付き回帰型ユニット（Ｌ－ＧＲＵ）及び１層の変換ゲート付き回帰型ユニット（Ｔ－ＧＲＵ）を含む。最下位層はＬ－ＧＲＵユニットを使用し、その上位層はＴ－ＧＲＵユニットを使用する。当業者にとって理解できることは、他の層数のＴ－ＧＲＵユニットを使用してもよく、典型的には、２－３層である。
具体的には、ＧＲＵは入力層と、隠れ層と、出力層とを含む。ＧＲＵでは、ｔ時刻の隠れ層状態表現は下記式（１）のようである。
rt=σ(wxrxt+whrht-1) （３）
zt=σ(wxzxt+whzht-1) （４）
式中、σは重み係数であり、rt及びztの値を［０，１］にする。
zt=σ(wxzxt+whzht-1) （４）
式中、σは重み係数であり、rt及びztの値を［０，１］にする。
Ｔ－ＧＲＵは１つのタイプのゲート付き回帰型ユニットであり、深層変換リカレントニューラルネットワークの第１層に出現しないため、ＧＲＵのような入力符号化ベクトルxtを具備せず、ｔ時刻における隠れ層状態は下記式（５）及び（６）によって計算される。
rt=σ(whrht-1) （７）
zt=σ(whzht-1) （８）
式中、Ｗは学習対象となるネットワークパラメータである。
zt=σ(whzht-1) （８）
式中、Ｗは学習対象となるネットワークパラメータである。
Ｌ－ＧＲＵは別のタイプのゲート付き回帰型ユニットであり、ｔ時刻の隠れ層状態は下記式（９）によって計算される。
シーケンスラベリングエンコーダ４０２はグローバル情報エンコーダ４０１により出力されたグローバル単語埋め込みベクトルｇを用いて言語シーケンス埋め込み表現を強化する。例示的には、シーケンスラベリングエンコーダ４０２が読み取った言語シーケンスの第１埋め込み表現は、４０２１に示す文字レベル単語埋め込み表現ｃ１，ｃ２，…ｃｎ、４０２２に示す事前訓練単語埋め込み表現ｗ１，ｗ２，…ｗｎ、及び４０２３に示すグローバル単語埋め込み表現ｇを含む。文字レベル単語埋め込み表現ｃｎ及び事前訓練単語埋め込み表現ｗｎはそれぞれ、入力された言語シーケンスにおけるサブ単語ｘｎに対応する。サブ単語ｘｎに対応するｃｎ、ｗｎ及びグローバル単語埋め込みベクトルｇを接合して、言語シーケンスの第１埋め込み表現を構成する。
具体的には、ｎ個の単語を持つ言語シーケンスＸ＝｛ｘ１，ｘ２，…，ｘｎ｝を考慮して、本願の実施例のシーケンスラベリングエンコーダ４０２は、まず、３つのプライマリ埋め込みｃｔ、ｗｔ及びｇを直列接続することによってｔ時刻の各単語の表現ｘｔ＝［ｃｔ；ｗｔ；ｇ］をキャプチャする。文字レベル単語埋め込み表現ｃｔは回帰型畳み込みネットワーク（ＣＮＮ）によって取得されたものである。事前訓練単語埋め込み表現ｗｔはルックアップテーブルから検索することによって取得されたものである。グローバル単語埋め込み表現ｇは事前符号化計算によって得られた言語シーケンスに対するグローバルコンテキスト表現であり、即ち、上記グローバル情報エンコーダ４０１によって双方向の第２深層変換リカレントニューラルネットワークから抽出されたものである。
その後、シーケンスラベリングエンコーダ４０２は第１深層変換リカレントニューラルネットワークに基づいて、読み込んだ言語シーケンスの第１埋め込み表現に対して第１深層変換符号化を行う。一実施例では、第１深層変換符号化は双方向に行われる。深層変換ユニット４０２４で表される第１深層変換リカレントニューラルネットワークでは、最下位層はＬ－ＧＲＵユニットを使用し、残りの層はＴ－ＧＲＵユニットを使用する。図４に示す例では、使用するＴ－ＧＲＵユニットの層数は通常、２－５であり、当業者にとって理解できることは、他の層数のＴ－ＧＲＵユニットを使用してもよい。シーケンスラベリングエンコーダ４０２はグローバル情報エンコーダ４０１と比較すると、使用するＬ－ＧＲＵ層数はいずれも１層である。
接合ユニット４０２５は同一サブ単語ｘｎに対して順方向及び逆方向深層変換処理を行った結果を接合して、各単語に対応する第１隠れ層状態表現htを獲得する。
シーケンスラベリングデコーダ４０３は各時刻ｔにおいて、シーケンスラベリングエンコーダ４０２から現在の単語に対応する第１隠れ層状態表現htを読み込み、前の時刻のラベル情報yt-1に基づいて復号化する。具体的には、以下のステップを含む。
まず、各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の第１隠れ層状態表現に対して深層変換を行い、各単語に対応する第２隠れ層状態表現stを獲得する。
次に、第２隠れ層状態表現st及び前の時刻のラベル情報yt-1に対して線形変換を行い、隠れ層状態の次元をラベルの数に等しくする。
lt=stWl+bl （１２）
最後に、ｓｏｆｔｍａｘ操作によって、ltを確率分布形式に正規化し、ｉ番目の単語に対して、ラベルｊと予測される確率は、
P(yt=j|xt)=softmax(lt)[j] （１３）であり、
このように、各単語のラベル予測結果を獲得する。
最後に、ｓｏｆｔｍａｘ操作によって、ltを確率分布形式に正規化し、ｉ番目の単語に対して、ラベルｊと予測される確率は、
P(yt=j|xt)=softmax(lt)[j] （１３）であり、
このように、各単語のラベル予測結果を獲得する。
シーケンスラベリングデコーダ４０３は一方向構造を使用し、一方向深層変換を実行する。その回帰型ニューロンＤＴの構造は上記グローバル情報エンコーダ４０１及びシーケンスラベリングエンコーダ４０２の回帰型ニューロンＤＴの構造と類似し、第１層（図４中の４０３１を参照）はＬ－ＧＲＵであり、残りの層はＴ－ＧＲＵである。
図５は本願の一実施例による言語シーケンスラベリング方法のフローチャートを模式的に示し、例えば、図１ａ中のサーバ１１０のようなコンピューティング機器によって実行される。具体的には、以下のステップ５０１～５０３を含む。
ステップ５０１では、言語シーケンスの第１埋め込み表現を読み取り、第１埋め込み表現は言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、グローバル単語埋め込み表現は、言語シーケンスのグローバルコンテキスト表現である。
第１埋め込み表現は、言語シーケンスの文字レベル単語埋め込み表現ｃｎ、事前訓練単語埋め込み表現ｗｎ及びグローバル単語埋め込み表現ｇを含む。文字レベル単語埋め込みｃｎは文字レベルで学習を行う単語ベクトルであり、サブ単語ｘｎを文字レベルで畳み込み処理することで得られる。事前訓練された単語ベクトルｗｎはサブ単語ｘｎに応じて、事前訓練して記憶された単語ベクトルテーブルから検索することによって得られる。各サブ単語ｘｎに対して、それに対応する文字レベル単語埋め込み表現ｃｎ、事前訓練単語埋め込み表現ｗｎ及びグローバル単語埋め込み表現ｇを接合する。該グローバル単語埋め込み表現ｇは事前符号化計算によって得られた言語シーケンスに対するグローバルコンテキスト表現である。
ステップ５０２では、第１深層変換リカレントニューラルネットワークに基づいて、第１埋め込み表現に対して第１深層変換符号化を行い、言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力する。
一実施例では、第１深層変換符号化は、第１埋め込み表現に対して、それぞれ順方向及び逆方向の２つの方向に第１深層変換符号化を実行する、即ち、左から右への順方向及び右から左への逆方向に行われる双方向深層変換を含む。双方向深層変換に対して、順方向及び逆方向の深層変換符号化結果を接合する必要がある。順方向及び逆方向で獲得された深層変換符号化結果を接合して、各単語に対応する第１隠れ層状態表現を獲得する。
第１深層変換符号化のネットワークアーキテクチャでは、最下位層における深層変換ユニットはＬ－ＧＲＵユニットを使用し、残りの層における深層変換ユニットはＴ－ＧＲＵユニットを使用する。一例では、使用されるＴ－ＧＲＵユニットの層数は通常、２－５であり、当業者にとって理解できることは、他の層数のＴ－ＧＲＵユニットを使用してもよい。
ステップ５０３では、第１隠れ層状態表現を復号化して、言語シーケンスのラベリング結果を獲得する。
本ステップの復号化方法は、上記シーケンスラベリングデコーダ４０３に対する説明を参照すればよく、ここでは詳細説明をしない。
上記実施例によれば、グローバル情報により強化された深層変換アーキテクチャに基づくシーケンスラベリング方法を提供し、リカレントニューラルネットワークの隣接する状態間の変換プロセスを深めることができる。それとともに、グローバル情報エンコーダによって各単語のローカル情報を強化し、より全面的な特徴表現を取得し、予測精度を高める。
図６は本願の別の一実施例による言語シーケンスラベリング方法のフローチャートを模式的に示し、該方法は、例えば、図１ａ中のサーバ１１０のようなコンピューティング機器によって実行される。図５の方法のフローをもとに、図６は具体的に、以下のステップ６０１～６０３を含む。
ステップ６０１では、線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築する。
本ステップでは、構築した深層変換リカレントニューラルネットワークは複数層のＧＲＵから構成され、Ｌ－ＧＲＵとＴ－ＧＲＵを使用する層数は設定可能である。例えば、シーケンスラベリングエンコーダ４０２に使用される第１深層変換リカレントニューラルネットワークは、１層のＬ－ＧＲＵ及び少なくとも２層のＴ－ＧＲＵから構成されてもよい。グローバル情報エンコーダ４０１に使用される第２深層変換リカレントニューラルネットワークは、１層のＬ－ＧＲＵ及び１層のＴ－ＧＲＵから構成されてもよい。１層のＬ－ＧＲＵはネットワークの最下位層にある。
ステップ６０２では、言語シーケンスの第２埋め込み表現を読み取り、第２埋め込み表現は文字レベル単語埋め込み表現及び事前訓練単語埋め込み表現を含む。
文字レベル単語埋め込み表現ｃｎ及び事前訓練単語埋め込み表現ｗｎはそれぞれ、入力された言語シーケンスにおけるサブ単語ｘｎに対応する。文字レベル単語埋め込み表現ｃｎは文字レベルで学習を行う単語ベクトルであり、サブ単語ｘｎを文字レベルで畳み込み処理することによって得られる。事前訓練埋め込み表現はサブ単語ｘｎに応じて、事前訓練して記憶された単語ベクトルテーブルから検索された単語ベクトルである。
ステップ６０３では、第２深層変換リカレントニューラルネットワークに基づいて、第２埋め込み表現に対して第２深層変換符号化を行い、グローバル単語埋め込み表現を獲得する。
一実施例では、第２埋め込み表現に対して第２深層変換符号化を行った後、次元削減を行うために、第２深層変換符号化後の結果に対して情報集約を行い、グローバル単語埋め込み表現を獲得する。具体的には、第２深層変換符号化は、読み取った第２埋め込み表現に対して、それぞれ左から右への順方向及び右から左への逆方向の２つの方向に深層変換符号化を行うステップを含む。順方向及び逆方向の２つの方向に深層変換符号化を行う場合、順方向及び逆方向の２つの方向に深層変換を行った結果を接合し、さらに情報集約を行う。情報集約は最大プーリング又は平均プーリングを含んでもよい。
第２深層変換符号化は線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵから構成される第２深層変換リカレントニューラルネットワークによって行われる。Ｌ－ＧＲＵは第２深層変換リカレントニューラルネットワークにおける回帰型ユニットの第１層に位置し、Ｔ－ＧＲＵは深層変換リカレントニューラルネットワークにおける回帰型ユニットの他の層に位置する。一実施例では、第１深層変換リカレントニューラルネットワークにおけるＴ－ＧＲＵの層数は１であり、当業者にとって理解することは、第２深度リカレントネットワークにおいて、例えば、２－３層のような他の層数のＴ－ＧＲＵを有してもよい。
ステップ５０１及び５０２を実行した後、ステップ６０４及び６０５を実行し、
ステップ６０４では、各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得する。
ステップ６０４では、各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得する。
本願の一実施例では、行われる深層変換は一方向深層変換であってもよい。例えば、図４に示すシーケンスラベリングデコーダ４０３では、４０３１に含まれるのは一方向ＤＴユニットである。
ステップ６０５では、第２隠れ層状態表現に基づいて、言語シーケンスのラベリング結果を獲得する。
本願の一実施例では、複数のラベルを事前設定し、第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行った後、該単語が各ラベルに属する確率を取得する。例えば、ラベルセットＹ＝ｙ１，ｙ２，…ｙｎを事前設定し、上記式（１２）及び（１３）を参照して、各単語がラベルセットＹ中の各ラベルに属する確率を、該単語のラベル予測結果として獲得して、即ち、該言語シーケンスのラベリング結果を獲得する。
図７は本願の一実施例による言語シーケンスラベリング装置７００の模式図を模式的に示し、該装置７００は、例えば、図１ａに示すサーバ１１０のようなコンピューティング機器に適用できる。言語シーケンスラベリング装置７００はシーケンスラベリングエンコーダ７０１とシーケンスラベリングデコーダ７０２とを含む。シーケンスラベリングエンコーダ７０１は第１読み取りモジュール７０１１と第１深層変換モジュール７０１２とを含む。
第１読み取りモジュール７０１１は、言語シーケンスの第１埋め込み表現を読み取るためのものであり、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を含み、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現である。
第１深層変換モジュール７０１２は、第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するためのものである。
シーケンスラベリングデコーダ７０２は、前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するためのものである。
図８は本願の別の一実施例による言語シーケンスラベリング装置８００の模式図を模式的に示し、該装置８００は、例えば、図１ａに示すサーバ１１０のようなコンピューティング機器に適用できる。図７に示す装置をもとに、言語シーケンスラベリング装置８００はグローバル情報エンコーダ７０３をさらに含む。
一実施例では、グローバル情報エンコーダ７０３は前記グローバル単語埋め込み表現を取得するためのものであり、
前記言語シーケンスの第２埋め込み表現を読み取るための第２読み取りモジュール７０３１であって、前記第２埋め込み表現は前記文字レベル単語埋め込み表現及び前記事前訓練単語埋め込み表現を含む第２読み取りモジュール７０３１と、
第２深層変換リカレントニューラルネットワークに基づいて、前記第２埋め込み表現に対して第２深層変換符号化を行い、前記グローバル単語埋め込み表現を獲得するための第２深層変換モジュール７０３２と、を含む。
前記言語シーケンスの第２埋め込み表現を読み取るための第２読み取りモジュール７０３１であって、前記第２埋め込み表現は前記文字レベル単語埋め込み表現及び前記事前訓練単語埋め込み表現を含む第２読み取りモジュール７０３１と、
第２深層変換リカレントニューラルネットワークに基づいて、前記第２埋め込み表現に対して第２深層変換符号化を行い、前記グローバル単語埋め込み表現を獲得するための第２深層変換モジュール７０３２と、を含む。
一実施例では、グローバル情報エンコーダ７０３は、
前記第２深層変換符号化後の結果に対して情報集約を行い、前記グローバル単語埋め込み表現を獲得するように構成される情報集約モジュール７０３３をさらに含む。
前記第２深層変換符号化後の結果に対して情報集約を行い、前記グローバル単語埋め込み表現を獲得するように構成される情報集約モジュール７０３３をさらに含む。
グローバル情報エンコーダ７０３は双方向深層変換符号化、即ち、左から右への変換符号化及び右から左への深層変換符号化を行うことができる。双方向深層変換符号化は、入力シーケンスの方向が異なる以外、他の差異がない。
一実施例では、第１深層変換モジュール７０１２は、前記第１埋め込み表現に対して、それぞれ順方向及び逆方向の２つの方向に前記第１深層変換符号化を実行し、順方向及び逆方向で獲得した深層変換符号化結果を接合して、各単語に対応する前記第１隠れ層状態表現を獲得するためのものである。
一実施例では、装置８００は、
線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築するための構築モジュール７０４をさらに含む。
線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築するための構築モジュール７０４をさらに含む。
一実施例では、前記第１深層変換リカレントニューラルネットワークは１層のＬ－ＧＲＵ及び少なくとも２層のＴ－ＧＲＵから構成される。
一実施例では、シーケンスラベリングデコーダ７０２は、
各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の前記第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得するための第３深層変換モジュール７０２２と、
前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得するためのラベリングモジュール７０２３と、を含む。
各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の前記第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得するための第３深層変換モジュール７０２２と、
前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得するためのラベリングモジュール７０２３と、を含む。
一実施例では、シーケンスラベリングデコーダ７０２は、
複数のラベルを事前設定するための設定モジュール７０２１をさらに含み、
ラベリングモジュール７０２３は、前記第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行った後、該単語が各ラベルに属する確率を取得するためのものである。
複数のラベルを事前設定するための設定モジュール７０２１をさらに含み、
ラベリングモジュール７０２３は、前記第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行った後、該単語が各ラベルに属する確率を取得するためのものである。
第１深層変換モジュール７０１２、第２深層変換モジュール７０３２は双方向ＤＴを実行する。一方、第３深層変換モジュール７０２２は一方向ＤＴを実行する。
以下、一方向変換エンコーダを例に説明する。Ｌは変換エンコーダ深度を示し、ｉ時刻、深度ｊにおいて、深層変換エンコーダの隠れ層状態は下記式（１４）及び（１４）によって計算される。
その後、第２深層変換モジュール７０３２は各単語の符号化表現に対して平均プーリングを行い、最終的な言語シーケンス全体のグローバル表現
を獲得する。
本願の実施例のシーケンスラベリングスキームは従来の双方向ＬＳＴＭモデルに比べて、より良好なラベリング効果を示し、文中の固有表現、文法ブロック、品詞等の情報をより正確に認識でき、さらに、例えばマイクロ対話システムのような従来の関連アプリケーションシステムを最適化する。
Ｆ１は精度及びフィードバック率を表す平均指標である。シーケンスラベリングの評注指標Ｆ１を例にして、実際にテストを行ったところ、本願の実施例のスキームは様々な点でＦ１値が上がった。表１は固有表現認識及び文法ブロック認識における様々なスキームでのＦ１性能の比較を模式的に示す。
表１に示すように、シーケンスラベリングにおける固有表現認識について、本願の実施例のスキームはＦ１値を従来技術の９１．６４よりも０．３２上げ、シーケンスラベリングにおける文法ブロック認識について、Ｆ１値を従来技術の９５．２９よりも０．１４上げた。
また、本願の実施例をもとに、変換器に基づく双方向エンコーダ表現（ＢＥＲＴ）を組み合わせることで、性能をさらに向上させる。
表２はスタック型リカレントニューラルネットワークとの性能比較を示す。まず、スタック型リカレントニューラルネットワークが非常に深い構造を処理できるが、単語レベルで連続する隠れ層状態間の変換深度は浅い。次に、スタック型リカレントニューラルネットワークでは、シーケンスの軸方向に沿う隠れ層状態は簡単に上位層の対応する位置にフィードされ、つまり、深度アーキテクチャのみでは位置感知特徴のみを伝送する。
一方、本願の実施例では、グローバルエンコーダのすべての単語位置の内部状態は固定サイズのベクトルに変換される。スタック型リカレントニューラルネットワークに比べて、このようなコンテキスト感知表現は文のより一般的でより多くの情報の特徴を提供する。より厳密な比較を獲得するために、本願の実施例と類似するパラメータ数値を持つスタック型リカレントニューラルネットワークを使用する。表２中の数値スタック型リカレントニューラルネットワークによれば、スタック型リカレントニューラルネットワークと本願の実施例の技術案の間に大きなギャップがまだある。表２に示すように、本願の実施例はより小さいパラメータ量で、スタック型リカレントニューラルネットワークよりも良好な性能を実現し、図中の固有表現認識Ｆ１に対する列に示すように、本願の実施例のＦ１は９１．９６であり、スタック型リカレントニューラルネットワークよりも１．０２高い。それにより、本願の実施例の技術案はグローバル情報を効果的に利用して、より多くのシーケンスラベリングタスクの有用な表現を学習できることが確認された。
表３はモデルアブレーション実験の結果、即ち、それぞれ文字レベル単語埋め込み表現（即ち、図４中の４０２１）、事前訓練単語埋め込み表現（即ち、図４中の４０２２）、グローバル単語埋め込み表現（即ち、図４中の４０２３）及び深層変換リカレントニューラルネットワーク（図４中の４０２４）のうちのいずれかを除去し、残りの３つの構成部分を保留する情况に得た固有表現認識タスクのＦ１値を示す。
４つの部分がすべて存在する情况場合、Ｆ１値は９１．９６と最も高く、文字レベル畳み込みネットワークをアブレーションする場合における９０．９４、事前訓練単語ベクトルをアブレーションする場合における８８．５９、グローバル情報をアブレーションする場合における９１．６０、及び深度伝送リカレントネットワークをアブレーションする場合における９１．４２よりも高いことが分かった。以上からわかるように、本願の実施例の技術案の性能は他のアブレーションスキームよりも高い。
本願の実施例はグローバル単語埋め込み表現を用いてシーケンスラベリングエンコーダの入力を強化したが、シーケンスラベリングデコーダの入力、ｓｏｆｔｍａｘ分類層の入力とする等の他の方式を用いてグローバル単語埋め込み情報を強化してもよい。
しかし、本願の実施例の技術案は効果が最もよく、グローバル単語埋め込み表現と多粒度の文字レベル単語埋め込み表現、事前訓練単語埋め込み表現を接合したものをシーケンスラベリングエンコーダの入力とし、複雑な組合せ計算を経て、各単語位置がより具体的でより豊富な表現を学習でき、それによりモデル全体の効果を向上させる。一方、後の２種のスキームでは、グローバル情報と他の隠れ層状態の特徴空間は類似する。
図９は例示的なシステム９００を示し、本明細書に記載される様々な技術を実現できる１つ又は複数のシステム及び／又は機器を代表する例示的なコンピューティング機器９１０を含む。コンピューティング機器９１０は、例えば、サービスプロバイダのサーバ、クライアント（例えば、クライアント機器）に関連付けられた機器、システムオンチップ、及び／又は任意の他の適切なコンピューティング機器又はコンピューティングシステムであってもよい。上記図７の言語シーケンスラベリング装置７００又は図８の言語シーケンスラベリング装置８００はコンピューティング機器９１０の形態を使用してもよい。あるいは、言語シーケンスラベリング装置７００及び８００はシーケンスラベリングアプリケーション９１６の形態でコンピュータプログラムとして実現されてもよい。
図示される例示的なコンピューティング機器９１０は、互いに通信結合される処理システム９１１、１つ又は複数のコンピュータ可読媒体９１２、及び１つ又は複数のＩ／Ｏインタフェース９１３を含む。図示していないが、コンピューティング機器９１０は、様々なユニットを互いに接続するシステムバス又は他のデータ及び命令伝送システムをさらに含んでもよい。システムバスは様々なバス構造のいずれか又は組合せを含んでもよく、前記バス構造は、例えば、メモリバス又はメモリコントローラ、ペリフェラルバス、ユニバーサルシリアルバス、及び／又は様々なバスアーキテクチャのうちのいずれかを用いたプロセッサ又はローカルバスであってもよい。例えば、制御及びデータラインのような様々な他の例も想到し得る。
処理システム９１１はハードウェアを用いて１つ又は複数の操作を実行する機能を代表する。したがって、図示されるように、処理システム９１１は、プロセッサ、機能ブロック等として構成できるハードウェア素子９１４を含む。これには、ハードウェアで特定用途向け集積回路として実現される、又は１つ又は複数の半導体から形成される他のロジックデバイスが含まれる。ハードウェア素子９１４はその製造材料又は使用する処理機構によって制限されない。例えば、プロセッサは（複数の）半導体及び／又はトランジスタ（例えば、電子集積回路（ＩＣ））からなってもよい。このような場合、プロセッサ実行可能命令は電子的に実行可能な命令であってもよい。
図示されるように、コンピュータ可読媒体９１２はメモリ／記憶装置９１５を含む。メモリ／記憶装置９１５は１つ又は複数のコンピュータ可読媒体に関連付けられたメモリ／記憶容量を示す。メモリ／記憶装置９１５は揮発性媒体（例えば、ランダムアクセスメモリ（ＲＡＭ））及び／又は不揮発性媒体（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュ、光ディスク、磁気ディスク等）を含んでもよい。メモリ／記憶装置９１５は固定媒体（例えば、ＲＡＭ、ＲＯＭ、固定ハードディスクドライブ等）及びリムーバブル媒体（例えば、フラッシュ、リムーバブルハードディスクドライブ、光ディスク等）を含んでもよい。コンピュータ可読媒体９１２は以下さらに説明される様々な他の方式で構成されてもよい。
１つ又は複数のＩ／Ｏインタフェース９１３は、ユーザーがコンピューティング機器９１０に命令及び情報を入力することを可能にし、選択的に様々な入力／出力機器を用いて情報をユーザー及び／又は他のユニット又は機器に提示することを可能にする機能を代表する。入力機器の例として、キーボード、カーソル制御機器（例えば、マウス）、マイク（例えば、音声入力用）、スキャナー、タッチ機能（例えば、物理的なタッチを検出する静電容量式又は他のセンサ）、カメラ（例えば、可視又は不可視の波長（例えば、赤外線周波数）を用いてタッチとは関係のない動きをジェスチャーとして検出する）等が含まれる。出力機器の例は表示機器（例えば、モニタ又はプロジェクタ）、スピーカー、プリンタ、ネットワークカード、触覚応答機器等を含む。したがって、コンピューティング機器９１０は、ユーザーの対話をサポートするように、以下さらに説明される様々な方式で構成されてもよい。
コンピューティング機器９１０はシーケンスラベリングアプリケーション９１６をさらに含む。シーケンスラベリングアプリケーション９１６は、例えば、図５に示す言語シーケンスラベリング装置７００及び８００のソフトウェア例であってもよく、コンピューティング機器９１０の他の素子と組み合わせて、本明細書に記載される技術を実現する。
本明細書はソフトウェア・ハードウェア素子又はプログラムモジュールの一般的なコンテキストでは様々な技術を説明できる。一般に、これらのモジュールは、特定のタスクを実行する、又は特定の抽象データタイプを実現するルーチン、プログラム、オブジェクト、要素、ユニット、データ構造等を含む。本明細書で使用する用語「モジュール」、「機能」及び「ユニット」は一般に、ソフトウェア、ファームウェア、ハードウェア又はこれらの組合せを示す。本明細書に記載される技術的特徴はプラットフォームとは無関係であり、これらの技術は様々なプロセッサを持つ様々なコンピューティングプラットフォームで実現できる。
説明されるモジュール及び技術の実現は特定の形式のコンピュータ可読媒体に記憶され、又は特定の形式のコンピュータ可読媒体間で伝送されてもよい。コンピュータ可読媒体は、コンピューティング機器９１０がアクセス可能な様々な媒体を含んでもよい。限定ではなく例として、コンピュータ可読媒体は「コンピュータ可読記憶媒体」及び「コンピュータ可読信号媒体」を含んでもよい。
単なる信号伝送、キャリア又は信号自体とは反対であり、「コンピュータ可読記憶媒体」とは、情報を永続的に記憶できる媒体及び／又は機器、及び／又は有形の記憶装置である。したがって、コンピュータ可読記憶媒体とは非信号キャリア媒体である。コンピュータ可読記憶媒体は、例えば、揮発性及び不揮発性、リムーバブル及び固定媒体、及び／又は記憶情報（例えば、コンピュータ可読命令、データ構造、プログラムモジュール、ロジック素子／回路又は他のデータ）を記憶する方法又は技術を適用して実現される記憶機器のようなハードウェアを含む。コンピュータ可読記憶媒体の例はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）又は他の光記憶装置、ハードディスク、カセットテープ、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶機器、又は他の記憶機器、有形の媒体、又は所望の情報を記憶することに適し、コンピュータがアクセス可能な製品を含むが、これらに限定されない。
「コンピュータ可読信号媒体」とは、例えば、ネットワークを介して命令をコンピューティング機器９１０のハードウェアに送信する信号キャリア媒体である。信号媒体は典型的には、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを、例えば、キャリア、データ信号又は他の伝送メカニズムの変調データ信号に具体化できる。信号媒体は任意の情報伝送媒体をさらに含む。用語「変調データ信号」とは、このような方式で信号中の情報を符号化することでその特徴のうちの１つ又は複数を設定又は変更する信号である。限定ではなく例として、通信媒体は、例えば、有線ネットワーク又は直接接続された有線媒体、及び、例えば、声、ＲＦ、赤外線及び他の無線媒体などの無線媒体を含む。
上述したように、ハードウェア素子９１４及びコンピュータ可読媒体９１２はハードウェアの形態で実現される命令、モジュール、プログラマブルデバイスロジック及び／又は固定デバイスロジックを代表し、いくつかの実施例では、本明細書に記載される技術の少なくともいくつかの態様を実現できる。ハードウェア素子は集積回路又はシステムオンチップ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）及びシリコンにおける他の実現又は他のハードウェア機器のユニットを含んでもよい。このような場合、ハードウェア素子はハードウェア素子により具体化される命令、モジュール及び／又はロジックに定義されたプログラムタスクを実行する処理機器、及び実行用の命令を記憶するハードウェア機器、例えば、上述したコンピュータ可読記憶媒体として機能してもよい。
上記組合せは本明細書に記載される様々な技術及びモジュールを実現してもよい。したがって、ソフトウェア、ハードウェア又はプログラムモジュール及び他のプログラムモジュールは、特定の形式のコンピュータ可読記憶媒体における及び／又は１つ又は複数のハードウェア素子９１４により具体化される１つ又は複数の命令及び／又はロジックとして実現されてもよい。コンピューティング機器９１０は、ソフトウェア及び／又はハードウェアモジュールに対応する特定の命令及び／又は機能を実現するように構成されてもよい。したがって、例えば、処理システムのコンピュータ可読記憶媒体及び／又はハードウェア素子９１４を用いることで、少なくとも部分的にハードウェアで、モジュールをコンピューティング機器９１０によりソフトウェアとして実行可能なモジュールとして実現できる。命令及び／又は機能は１つ又は複数の製品（例えば、１つ又は複数のコンピューティング機器９１０及び／又は処理システム９１１）により実行／操作可能であり、それにより本明細書に記載される技術、モジュール及び例を実現する。
様々な実施形態では、コンピューティング機器９１０は様々な構成としてもよい。例えば、コンピューティング機器９１０は、パーソナルコンピュータ、デスクトップコンピュータ、マルチスクリーンコンピュータ、ラップトップコンピュータ、ネットブック等のコンピュータ機器を含むように実現されてもよい。コンピューティング機器９１０はさらに、例えば、携帯電話、携帯型音楽プレーヤー、携帯型ゲーム機器、タブレットコンピュータ、マルチスクリーンコンピュータ等のモバイル機器のモバイル装置のような機器を含むように実現されてもよい。コンピューティング機器９１０はさらにテレビ機器として実現されてもよく、娯楽視聴環境における一般に大きなスクリーンを持つ、又はそれに接続される機器を含む。これらの機器はテレビ、セットトップボックス、ゲーム機等を含む。
本明細書に記載されている技術は、コンピューティング機器９１０のこれらの様々な構成によってサポートでき、且つ本明細書に記載される技術の具体例に限定されない。機能はさらに、例えば、下記プラットフォーム９２２のような分散型システムによって「クラウド」９２０ですべて又は部分的に実現されてもよい。
クラウド９２０はリソース９２４用のプラットフォーム９２２を含み、及び／又は代表する。プラットフォーム９２２はクラウド９２０のハードウェア（例えば、サーバ）及びソフトウェアリソースの基礎機能を抽象化する。リソース９２４は、コンピューティング機器９１０から離れたサーバでコンピュータ処理を実行する時に使用できるアプリケーション及び／又はデータを含んでもよい。リソース９２４はさらに、インターネット、及び／又は、例えば、セルラー又はＷｉ－Ｆｉネットワークの加入者ネットワークによって提供するサービスを含んでもよい。
プラットフォーム９２２はリソース及び機能を抽象化することで、コンピューティング機器９１０と他のコンピューティング機器を接続してもよい。プラットフォーム９２２はさらに、リソースの等級付けを抽象することで、遭遇するプラットフォーム９２２を介して実現されるリソース９２４のニーズの対応するレベルの等級付けを提供する。したがって、相互接続機器の実施例では、本明細書に記載される機能の実現はシステム９００全体に分散してもよい。例えば、機能は部分的にコンピューティング機器９１０でクラウド９２０の機能を抽象化するプラットフォーム９２２によって実現されてもよい。
明確にするために、異なる機能モジュールを参照して本願の実施例を説明したことを理解すべきである。しかし、明らかなように、本願の実施例を逸脱せずに、各機能モジュールの機能は単一のモジュールで実施され、複数のモジュールで実施され、又は他の機能モジュールの一部として実施されてもよい。例えば、単一のモジュールにより実行されるように説明される機能は複数の異なるモジュールにより実行されてもよい。したがって、特定の機能モジュールの参考は、説明される機能を提供する適切なモジュールの参考のみとして見なされ、厳密なロジック又は物理的構造又は組織を示すものではない。したがって、本願の実施例は、単一のモジュールで実施されてもよく、又は物理的・機能的に異なるモジュールと回路の間に分散してもよい。
第１、第２、第３等の用語は本明細書において様々な機器、素子、又は部材を説明するためのものであるが、これらの機器、素子、又は部材はこれらの用語に限定されないことを理解できる。これらの用語は単に１つの機器、素子、又は部材をもう１つの機器、素子、又は部材と区別するためのものである。
いくつかの実施例を参照しながら本願の実施例を説明したが、本明細書で説明された特定の形態に限定されない。一方、本願の実施例の範囲は添付特許請求の範囲に制限される。付加的に、単独な特徴は異なる請求項に含まれてもよいが、可能な限り、有利に組み合わせてもよく、そして、異なる請求項に含まれる特徴を暗示しない組合せは実現可能及び／又は有利ではない。請求項における特徴の順序は特徴が動作しなければならない特定の順序を暗示しない。また、請求項では、単語「含む」は他の素子を除外せず、不定冠詞「一」又は「１つ」は複数を除外しない。請求項における符号は単に明確な例として提供され、特許請求の範囲を限定するものではないと理解すべきである。
１００ 言語シーケンスラベリングシステム
１１０ サーバ
１１１ 言語シーケンスラベリング装置
１１２ 訓練データベース
１２０ ネットワーク
１３０ クライアント
１３０－１ 端末機器
１４０ ユーザー
１１０ サーバ
１１１ 言語シーケンスラベリング装置
１１２ 訓練データベース
１２０ ネットワーク
１３０ クライアント
１３０－１ 端末機器
１４０ ユーザー
Claims (11)
- コンピューティング機器が実行する言語シーケンスラベリング方法であって、
言語シーケンスの第１埋め込み表現を読み取るステップであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を直列接続することによって得られ、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現であるステップと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するステップと、
前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するステップと、を含み、
前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得する前記ステップは、
各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の前記第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得するステップと、
前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得するステップと、を含み、
前記獲得するステップは、
複数のラベルを事前設定するステップと、
前記第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行い、隠れ層状態の次元をラベルの数に等しくした後、該単語が各ラベルに属する確率を取得するステップと、を含む
ことを特徴とする言語シーケンスラベリング方法。 - 前記言語シーケンスの第２埋め込み表現を読み取るステップであって、前記第２埋め込み表現は前記文字レベル単語埋め込み表現及び前記事前訓練単語埋め込み表現を含むステップと、
第２深層変換リカレントニューラルネットワークに基づいて、前記第２埋め込み表現に対して第２深層変換符号化を行い、前記グローバル単語埋め込み表現を獲得するステップと、をさらに含む請求項１に記載の方法。 - 前記第２深層変換符号化後の結果に対して情報集約を行い、前記グローバル単語埋め込み表現を獲得するステップをさらに含む請求項２に記載の方法。
- 第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力する前記ステップは、
前記第１埋め込み表現に対して、それぞれ順方向及び逆方向の２つの方向に前記第１深層変換符号化を実行するステップと、
順方向及び逆方向で獲得した深層変換符号化結果を接合して、各単語に対応する前記第１隠れ層状態表現を獲得するステップと、を含む請求項１に記載の方法。 - 線形変換強化ゲート付き回帰型ユニットＬ－ＧＲＵ及び変換ゲート付き回帰型ユニットＴ－ＧＲＵによって、深層変換リカレントニューラルネットワークを構築するステップをさらに含む請求項１に記載の方法。
- 前記第１深層変換リカレントニューラルネットワークは１層のＬ－ＧＲＵ及び少なくとも２層のＴ－ＧＲＵから構成される請求項５に記載の方法。
- 該単語の前記第１隠れ層状態表現に対して深層変換を行う前記ステップは、
一方向深層変換を行うステップを含む請求項１に記載の方法。 - 前記情報集約は平均プーリング又は最大プーリングを含む請求項３に記載の方法。
- 言語シーケンスラベリング装置であって、シーケンスラベリングエンコーダと、シーケンスラベリングデコーダと、を含み、
前記シーケンスラベリングエンコーダは、
言語シーケンスの第１埋め込み表現を読み取るための第１読み取りモジュールであって、前記第１埋め込み表現は前記言語シーケンスの文字レベル単語埋め込み表現、事前訓練単語埋め込み表現及びグローバル単語埋め込み表現を直列接続することによって得られ、前記グローバル単語埋め込み表現は前記言語シーケンスのグローバルコンテキスト表現である第１読み取りモジュールと、
第１深層変換リカレントニューラルネットワークに基づいて、前記第１埋め込み表現に対して第１深層変換符号化を行い、前記言語シーケンスにおける各単語に対応する第１隠れ層状態表現を出力するための第１深層変換モジュールと、を含み、
シーケンスラベリングデコーダは、各単語に対して、第３深層変換リカレントニューラルネットワークに基づいて、該単語の前記第１隠れ層状態表現に対して深層変換を行い、第２隠れ層状態表現を獲得し、前記第２隠れ層状態表現に基づいて、前記言語シーケンスのラベリング結果を獲得することによって前記第１隠れ層状態表現を復号化して、前記言語シーケンスのラベリング結果を獲得するためのものであって、前記言語シーケンスのラベリング結果を獲得することは、複数のラベルを事前設定することと、前記第２隠れ層状態表現及び前の時刻のラベル情報に対して線形変換を行い、隠れ層状態の次元をラベルの数に等しくした後、該単語が各ラベルに属する確率を取得することと、を含む
ことを特徴とする言語シーケンスラベリング装置。 - プログラムであって、プロセッサが前記プログラムを実行すると、前記プロセッサが請求項１～請求項８のいずれか一項に記載の方法を実行することを特徴とするプログラム。
- コンピューティング機器であって、プロセッサと、コンピュータプログラムを記憶するメモリとを含み、前記コンピュータプログラムは、前記プロセッサにより実行されると、前記プロセッサが請求項１～請求項８のいずれか一項に記載の方法を実行するようにすることを特徴とするコンピューティング機器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910486896.1A CN110196967A (zh) | 2019-06-05 | 2019-06-05 | 基于深度转换架构的序列标注方法和装置 |
| CN201910486896.1 | 2019-06-05 | ||
| PCT/CN2020/093679 WO2020244475A1 (zh) | 2019-06-05 | 2020-06-01 | 用于语言序列标注的方法、装置、存储介质及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022517971A JP2022517971A (ja) | 2022-03-11 |
| JP7431833B2 true JP7431833B2 (ja) | 2024-02-15 |
Family
ID=67754015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021539998A Active JP7431833B2 (ja) | 2019-06-05 | 2020-06-01 | 言語シーケンスラベリング方法、装置、プログラム及びコンピューティング機器 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11681872B2 (ja) |
| JP (1) | JP7431833B2 (ja) |
| CN (1) | CN110196967A (ja) |
| WO (1) | WO2020244475A1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110196967A (zh) * | 2019-06-05 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 基于深度转换架构的序列标注方法和装置 |
| CN111274820B (zh) * | 2020-02-20 | 2023-04-07 | 齐鲁工业大学 | 一种基于神经网络的智能医疗命名实体识别方法和装置 |
| CN111353295A (zh) * | 2020-02-27 | 2020-06-30 | 广东博智林机器人有限公司 | 序列标注方法、装置、存储介质及计算机设备 |
| CN112818676B (zh) * | 2021-02-02 | 2023-09-26 | 东北大学 | 一种医学实体关系联合抽取方法 |
| CN113220876B (zh) * | 2021-04-16 | 2022-12-06 | 山东师范大学 | 一种用于英文文本的多标签分类方法及系统 |
| CN114153942B (zh) * | 2021-11-17 | 2024-03-29 | 中国人民解放军国防科技大学 | 一种基于动态注意力机制的事件时序关系抽取方法 |
| CN114548080B (zh) * | 2022-04-24 | 2022-07-15 | 长沙市智为信息技术有限公司 | 一种基于分词增强的中文错字校正方法及系统 |
| CN115545035B (zh) * | 2022-11-29 | 2023-02-17 | 城云科技（中国）有限公司 | 一种文本实体识别模型及其构建方法、装置及应用 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829818A (zh) | 2018-06-12 | 2018-11-16 | 中国科学院计算技术研究所 | 一种文本分类方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9239828B2 (en) * | 2013-12-05 | 2016-01-19 | Microsoft Technology Licensing, Llc | Recurrent conditional random fields |
| US20170308790A1 (en) * | 2016-04-21 | 2017-10-26 | International Business Machines Corporation | Text classification by ranking with convolutional neural networks |
| CN107025219B (zh) * | 2017-04-19 | 2019-07-26 | 厦门大学 | 一种基于内部语义层次结构的词嵌入表示方法 |
| CN108304911B (zh) * | 2018-01-09 | 2020-03-13 | 中国科学院自动化研究所 | 基于记忆神经网络的知识抽取方法以及系统和设备 |
| CN108628823B (zh) * | 2018-03-14 | 2022-07-01 | 中山大学 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
| CN108846017A (zh) * | 2018-05-07 | 2018-11-20 | 国家计算机网络与信息安全管理中心 | 基于Bi-GRU和字向量的大规模新闻文本的端到端分类方法 |
| CN108717409A (zh) * | 2018-05-16 | 2018-10-30 | 联动优势科技有限公司 | 一种序列标注方法及装置 |
| CN109408812A (zh) * | 2018-09-30 | 2019-03-01 | 北京工业大学 | 一种基于注意力机制的序列标注联合抽取实体关系的方法 |
| CN110196967A (zh) * | 2019-06-05 | 2019-09-03 | 腾讯科技（深圳）有限公司 | 基于深度转换架构的序列标注方法和装置 |
-
2019
- 2019-06-05 CN CN201910486896.1A patent/CN110196967A/zh active Pending
-
2020
- 2020-06-01 JP JP2021539998A patent/JP7431833B2/ja active Active
- 2020-06-01 WO PCT/CN2020/093679 patent/WO2020244475A1/zh active Application Filing
-
2021
- 2021-06-22 US US17/355,120 patent/US11681872B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829818A (zh) | 2018-06-12 | 2018-11-16 | 中国科学院计算技术研究所 | 一种文本分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| Ling Luo 他６名，An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition，Bioinformatics, 34(8)，英国，Oxford University Press，2017年11月24日，pp. 1381-1388 |
| Marek Rei, Gamal K.O. Crichton, Sampo Pyysalo，Attending to Characters in Neural Sequence Labeling Models，Proceedings of COLING 2016，2016年12月17日，pp. 309-318 |
| Xishuang Dong 他６名，Deep learning for named entity recognition on Chinese electronic medical records: Combining deep transfer learning with multitask bi-directional LSTM RNN，PLOS ONE，2019年05月02日 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210319181A1 (en) | 2021-10-14 |
| WO2020244475A1 (zh) | 2020-12-10 |
| JP2022517971A (ja) | 2022-03-11 |
| US11681872B2 (en) | 2023-06-20 |
| CN110196967A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7431833B2 (ja) | 言語シーケンスラベリング方法、装置、プログラム及びコンピューティング機器 | |
| US11423233B2 (en) | On-device projection neural networks for natural language understanding | |
| US20220180202A1 (en) | Text processing model training method, and text processing method and apparatus | |
| JP7407968B2 (ja) | 音声認識方法、装置、設備及び記憶媒体 | |
| Fan et al. | Augmenting transformers with KNN-based composite memory for dialog | |
| CN109313650B (zh) | 在自动聊天中生成响应 | |
| Chen et al. | Deep Learning for Video Captioning: A Review. | |
| CN109937446A (zh) | 用于端到端语音识别的极深卷积神经网络 | |
| US20230385560A1 (en) | System and Method for Temporal Attention Behavioral Analysis of Multi-Modal Conversations in a Question and Answer System | |
| CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
| CN112131366A (zh) | 训练文本分类模型及文本分类的方法、装置及存储介质 | |
| JP7488871B2 (ja) | 対話推薦方法、装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
| WO2019154411A1 (zh) | 词向量更新方法和装置 | |
| CN113705315B (zh) | 视频处理方法、装置、设备及存储介质 | |
| US11947920B2 (en) | Man-machine dialogue method and system, computer device and medium | |
| CN113987169A (zh) | 基于语义块的文本摘要生成方法、装置、设备及存储介质 | |
| CN113239169A (zh) | 基于人工智能的回答生成方法、装置、设备及存储介质 | |
| CN112100375A (zh) | 文本信息生成方法、装置、存储介质及设备 | |
| CN113128431B (zh) | 视频片段检索方法、装置、介质与电子设备 | |
| CN113961679A (zh) | 智能问答的处理方法、系统、电子设备及存储介质 | |
| CN116932731B (zh) | 面向5g消息的多模态知识问答方法及系统 | |
| CN116208824A (zh) | 标题生成方法、计算机设备、存储介质和计算机程序产品 | |
| CN114328910A (zh) | 文本聚类方法以及相关装置 | |
| CN110377915B (zh) | 文本的情感分析方法、装置、存储介质及设备 | |
| CN113449517A (zh) | 基于bert门控多窗口注意力网络模型的实体关系抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210708 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210708 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220729 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230412 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230718 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231113 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7431833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |