JPWO2020261002A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020261002A5
JPWO2020261002A5 JP2021575889A JP2021575889A JPWO2020261002A5 JP WO2020261002 A5 JPWO2020261002 A5 JP WO2020261002A5 JP 2021575889 A JP2021575889 A JP 2021575889A JP 2021575889 A JP2021575889 A JP 2021575889A JP WO2020261002 A5 JPWO2020261002 A5 JP WO2020261002A5
Authority
JP
Japan
Prior art keywords
training
emphasized
text
emphasis
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021575889A
Other languages
Japanese (ja)
Other versions
JP2022537759A (en
Publication date
Priority claimed from US16/454,311 external-priority patent/US11379660B2/en
Application filed filed Critical
Publication of JP2022537759A publication Critical patent/JP2022537759A/en
Publication of JPWO2020261002A5 publication Critical patent/JPWO2020261002A5/ja
Pending legal-status Critical Current

Links

Claims (21)

プロセッサが実行する方法であって、前記方法は、
第１の複数のトレーニング・ノードを含む強調付きトレーニング・テキストをインポートすることと、
第２の複数のトレーニング・ノードを含む強調なしトレーニング・テキストをインポートすることと、
前記強調付きおよび強調なしトレーニング・テキストをワンホット・エンコードすることと、
前記強調付きおよび強調なしトレーニング・テキストを用いて投影モデルをトレーニングすることと、
前記投影モデルを用いて前記強調付きトレーニング・テキストを処理することと、
処理された前記強調付きトレーニング・テキストを用いて分類器モデルをトレーニングすることと、
複数の新たなノードを含む新たなテキストをインポートすることと、
前記新たなテキストをワンホット・エンコードすることと、
前記投影モデルを用いて前記新たなテキストを処理することと、
前記分類器モデルを用いて、前記複数の新たなノードの１つが求められるクラスにあるかどうかを判定することと
を含む、方法。 A processor- implemented method, the method comprising:
importing a training text with emphasis that includes a first plurality of training nodes;
importing a non-emphasized training text containing a second plurality of training nodes;
one-hot encoding the emphasized and non-emphasized training text;
training a projection model using the emphasized and non-emphasized training text;
processing the training text with emphasis using the projection model;
training a classifier model using the processed emphasized training text;
importing new text containing a plurality of new nodes;
one-hot encoding the new text;
processing the new text using the projection model;
and determining whether one of the plurality of new nodes is in a desired class using the classifier model. 前記求められるクラスは、仮定テキスト・スパンのメンバである、請求項１に記載の方法。 2. The method of claim 1, wherein the sought class is a member of a hypothetical text span. 前記複数の新たなノードの各々が前記求められるクラスにあることを示す、強調付きの新たなテキストを出力することをさらに含む、請求項１または請求項２に記載の方法。 3. The method of claim 1 or claim 2 , further comprising outputting new text with emphasis indicating that each of said plurality of new nodes is in said desired class. 前記強調付きおよび強調なしトレーニング・テキストを用いてワンホット・エンコーダをトレーニングすることをさらに含む、請求項１から請求項３のいずれか一項に記載の方法。 4. The method of any one of claims 1 to 3 , further comprising training a one-hot encoder using the emphasized and non-emphasized training texts. 各ノードが前記求められるクラスにあるかどうかを判定するために、前記処理された強調付きトレーニング・テキストを前記分類器モデルを用いて処理することと、
各ノードが前記求められるクラスにあるかどうかの前記判定と、各ノードの前記強調とを比較することと、
前記強調と同じである判定の数を増加させるように前記分類器モデルを調整することと
をさらに含む、請求項１から請求項４のいずれか一項に記載の方法。 processing the processed stressed training text with the classifier model to determine whether each node is in the desired class;
comparing the determination of whether each node is in the required class and the emphasis of each node;
5. The method of any one of claims 1-4 , further comprising: adjusting the classifier model to increase the number of decisions that are the same as the emphasis. 特徴選択を行うことと、
前記投影モデルをトレーニングする前に、前記特徴選択に基づいて前記強調付きおよび強調なしトレーニング・テキストからノードを除去することと
をさらに含む、請求項１から請求項５のいずれか一項に記載の方法。 performing feature selection;
6. The method of claim 1, further comprising: removing nodes from the emphasized and unemphasized training texts based on the feature selection prior to training the projection model. Method. プロセッサが実行するトレーニング方法であって、前記方法は、
第１の複数のトレーニング・ノードを含む強調付きトレーニング・テキストをインポートすることと、
第２の複数のトレーニング・ノードを含む強調なしトレーニング・テキストをインポートすることと、
前記強調付きトレーニング・テキストを強調付きトレーニング変換テーブルに変換することと、
前記強調なしトレーニング・テキストを強調なしトレーニング変換テーブルに変換することと、
前記強調付きおよび強調なしトレーニング変換テーブルを用いてワンホット・エンコーダをトレーニングすることと、
前記強調付きトレーニング変換テーブルをワンホット・エンコードして強調付きトレーニング・ベクトルを生成することと、
前記強調なしトレーニング変換テーブルをワンホット・エンコードして強調なしトレーニング・ベクトルを生成することと、
前記強調付きおよび強調なしトレーニング・ベクトルを用いて投影モデルをトレーニングすることと、
前記投影モデルを用いて前記強調付きトレーニング・ベクトルを処理して処理された強調付きトレーニング・ベクトルを生成することと、
前記処理された強調付きトレーニング・ベクトルを用いて分類器モデルをトレーニングすることとを含み、前記分類器モデルはノードが求められるクラスにあるかどうかを判定する、方法。 A training method executed by a processor , the method comprising:
importing a training text with emphasis that includes a first plurality of training nodes;
importing a non-emphasized training text containing a second plurality of training nodes;
converting the emphasized training text into an emphasized training conversion table;
converting the non-emphasized training text into a non-emphasized training conversion table;
training a one-hot encoder with the emphasized and non-emphasized training transform tables;
one-hot encoding the emphasized training transform table to generate an emphasized training vector;
one-hot encoding the unemphasized training transform table to generate unemphasized training vectors;
training a projection model using the enhanced and unenhanced training vectors;
processing the stressed training vectors using the projection model to generate processed stressed training vectors;
and training a classifier model using the processed training vectors with emphasis, wherein the classifier model determines whether a node is in a desired class. 前記求められるクラスは、仮定テキスト・スパンのメンバまたは事実テキスト・スパンのメンバである、請求項７に記載の方法。 8. The method of claim 7, wherein the class sought is a member of a hypothetical text span or a member of a factual text span. 前記強調付きトレーニング・テキストを強調付き解析木に変換することと、
前記強調なしトレーニング・テキストを強調なし解析木に変換することと
をさらに含む、請求項７または請求項８に記載の方法。 converting the emphasized training text into an emphasized parse tree;
9. The method of claim 7 or claim 8 , further comprising: converting the unemphasized training text into an unemphasized parse tree. 各ノードが前記求められるクラスにあるかどうかを判定するために、前記処理された強調付きトレーニング・ベクトルを前記分類器モデルを用いて処理することと、
各ノードが前記求められるクラスにあるかどうかの前記判定と、各ノードの前記強調とを比較することと、
前記強調と同じである判定の数を増加させるように前記分類器モデルを調整することと
をさらに含む、請求項７から請求項９のいずれか一項に記載の方法。 processing the processed training vector with emphasis with the classifier model to determine whether each node is in the desired class;
comparing the determination of whether each node is in the required class and the emphasis of each node;
10. The method of any one of claims 7-9, further comprising: adjusting the classifier model to increase the number of decisions that are the same as the emphasis. 特徴選択を行うことと、
前記投影モデルをトレーニングする前に、前記特徴選択に基づいて前記強調付きおよび強調なしトレーニング・ベクトルから列を除去することと
をさらに含む、請求項７から請求項１０のいずれか一項に記載の方法。 performing feature selection;
and removing columns from the enhanced and unenhanced training vectors based on the feature selection prior to training the projection model. Method. スパンにおけるノードを見出すためのシステムであって、前記システムは、
ラベル付き自然言語テキストを表す複数の強調付き解析木と、
ラベルなし自然言語テキストを表す複数の強調なし解析木と、
新たな自然言語テキストを表す新たな解析木と、
前記複数の強調付き解析木、前記複数の強調なし解析木、および前記新たな解析木を処理するように構成された自然言語処理（ＮＬＰ）ラーニング・マシンであって、前記ＮＬＰラーニング・マシンはコンピューティング・プロセッサを含む、前記自然言語処理（ＮＬＰ）ラーニング・マシンと、
前記コンピューティング・プロセッサに結合されたメモリとを含み、前記メモリは命令を含み、前記命令は前記コンピューティング・プロセッサに
第１の複数のトレーニング・ノードを含む強調付きトレーニング・テキストをインポートすることと、
第２の複数のトレーニング・ノードを含む強調なしトレーニング・テキストをインポートすることと、
前記強調付きおよび強調なしトレーニング・テキストをワンホット・エンコードすることと、
前記強調付きおよび強調なしトレーニング・テキストを用いて投影モデルをトレーニングすることと、
前記投影モデルを用いて前記強調付きトレーニング・テキストを処理することと、
処理された前記強調付きトレーニング・テキストを用いて分類器モデルをトレーニングすることと、
複数の新たなノードを含む新たなテキストをインポートすることと、
前記新たなテキストをワンホット・エンコードすることと、
前記投影モデルを用いて前記新たなテキストを処理することと、
前記分類器モデルを用いて、前記複数の新たなノードの１つが求められるクラスにあるかどうかを判定することと
を行わせる、システム。 A system for finding nodes in a span, said system comprising:
a plurality of stressed parse trees representing labeled natural language text;
a plurality of unstressed parse trees representing unlabeled natural language text;
a new parse tree representing the new natural language text;
A natural language processing (NLP) learning machine configured to process the plurality of stressed parse trees, the plurality of unstressed parse trees, and the new parse trees, wherein the NLP learning machine comprises a computer. the natural language processing (NLP) learning machine comprising a learning processor;
and a memory coupled to said computing processor, said memory including instructions, said instructions for importing into said computing processor training text with emphasis including a first plurality of training nodes. When,
importing a non-emphasized training text containing a second plurality of training nodes;
one-hot encoding the emphasized and non-emphasized training text;
training a projection model using the emphasized and non-emphasized training text;
processing the training text with emphasis using the projection model;
training a classifier model using the processed emphasized training text;
importing new text containing a plurality of new nodes;
one-hot encoding the new text;
processing the new text using the projection model;
using the classifier model to determine whether one of the plurality of new nodes is in a desired class. 前記求められるクラスは、仮定テキスト・スパンのメンバである、請求項１２に記載のシステム。 13. The system of claim 12, wherein the sought class is a member of a hypothetical text span. 前記メモリは、前記コンピューティング・プロセッサに
前記複数の新たなノードの各々が前記求められるクラスにあることを示す、強調付きの新たなテキストを出力することを行わせる命令をさらに含む、請求項１２または請求項１３に記載のシステム。 3. The memory further comprises instructions for causing the computing processor to output new text with emphasis indicating that each of the plurality of new nodes is in the sought class. 14. A system according to claim 12 or 13 . 前記メモリは、前記コンピューティング・プロセッサに
前記強調付きおよび強調なしトレーニング・テキストを用いてワンホット・エンコーダをトレーニングすることを行わせる命令をさらに含む、請求項１２から請求項１４のいずれか一項に記載のシステム。 15. The memory of any one of claims 12-14 , wherein the memory further comprises instructions for causing the computing processor to train a one-hot encoder using the emphasized and non-emphasized training texts. A system as described in . 前記メモリは、前記コンピューティング・プロセッサに
各ノードが前記求められるクラスにあるかどうかを判定するために、前記処理された強調付きトレーニング・ベクトルを前記分類器モデルを用いて処理することと、
各ノードが前記求められるクラスにあるかどうかの前記判定と、各ノードの前記強調とを比較することと、
前記強調と同じである判定の数を増加させるように前記分類器モデルを調整することと
を行わせる命令をさらに含む、請求項１２から請求項１５のいずれか一項に記載のシステム。 processing the processed stressed training vector with the classifier model to determine whether each node is in the desired class;
comparing the determination of whether each node is in the required class and the emphasis of each node;
16. The system of any one of claims 12-15, further comprising instructions for: adjusting the classifier model to increase the number of decisions that are the same as the emphasis. スパンにおけるノードを見出すためのシステムであって、前記システムは、
ラベル付き自然言語テキストを表す複数の強調付き解析木と、
ラベルなし自然言語テキストを表す複数の強調なし解析木と、
新たな自然言語テキストを表す新たな解析木と、
前記複数の強調付き解析木、前記複数の強調なし解析木、および前記新たな解析木を処理するように構成された自然言語処理（ＮＬＰ）ラーニング・マシンであって、前記ＮＬＰラーニング・マシンはコンピューティング・プロセッサを含む、前記自然言語処理（ＮＬＰ）ラーニング・マシンと、
前記コンピューティング・プロセッサに結合されたメモリとを含み、前記メモリは命令を含み、前記命令は前記コンピューティング・プロセッサに
強調付きトレーニング・テキストを強調付きトレーニング変換テーブルに変換することと、
強調なしトレーニング・テキストを強調なしトレーニング変換テーブルに変換することと、
前記強調付きおよび強調なしトレーニング変換テーブルを用いてワンホット・エンコーダをトレーニングすることと、
前記強調付きトレーニング変換テーブルをワンホット・エンコードして強調付きトレーニング・ベクトルを生成することと、
前記強調なしトレーニング変換テーブルをワンホット・エンコードして強調なしトレーニング・ベクトルを生成することと、
前記強調付きおよび強調なしトレーニング・ベクトルを用いて投影モデルをトレーニングすることと、
前記投影モデルを用いて前記強調付きトレーニング・ベクトルを処理して処理された強調付きトレーニング・ベクトルを生成することと、
前記処理された強調付きトレーニング・ベクトルを用いて分類器モデルをトレーニングすることとを行わせ、前記分類器モデルはノードが求められるクラスにあるかどうかを判定する、システム。 A system for finding nodes in a span, said system comprising:
a plurality of stressed parse trees representing labeled natural language text;
a plurality of unstressed parse trees representing unlabeled natural language text;
a new parse tree representing the new natural language text;
A natural language processing (NLP) learning machine configured to process the plurality of stressed parse trees, the plurality of unstressed parse trees, and the new parse trees, wherein the NLP learning machine comprises a computer. the natural language processing (NLP) learning machine comprising a learning processor;
and a memory coupled to said computing processor, said memory containing instructions, said instructions being transmitted to said computing processor.
converting the emphasized training text into an emphasized training conversion table;
converting the non- emphasized training text into a non-emphasized training conversion table;
training a one-hot encoder with the emphasized and non-emphasized training transform tables;
one-hot encoding the emphasized training transform table to generate an emphasized training vector;
one-hot encoding the unemphasized training transform table to generate unemphasized training vectors;
training a projection model using the enhanced and unenhanced training vectors;
processing the stressed training vectors using the projection model to generate processed stressed training vectors;
and training a classifier model using the processed training vectors with emphasis, wherein the classifier model determines whether a node is in a desired class. 前記求められるクラスは、仮定テキスト・スパンのメンバまたは事実テキスト・スパンのメンバである、請求項１７に記載のシステム。 18. The system of claim 17 , wherein the sought class is a member of hypothetical text spans or a member of factual text spans. 前記メモリは、前記コンピューティング・プロセッサに
前記強調付きトレーニング・テキストを強調付き解析木に変換することと、
前記強調なしトレーニング・テキストを強調なし解析木に変換することと
を行わせる命令をさらに含む、請求項１７または請求項１８に記載のシステム。 the memory instructs the computing processor to convert the emphasized training text into an emphasized parse tree;
19. The system of claim 17 or claim 18 , further comprising instructions for: converting the unemphasized training text into an unemphasized parse tree. 前記メモリは、前記コンピューティング・プロセッサに
各ノードが前記求められるクラスにあるかどうかを判定するために、前記処理された強調付きトレーニング・ベクトルを前記分類器モデルを用いて処理することと、
各ノードが前記求められるクラスにあるかどうかの前記判定と、各ノードの前記強調とを比較することと、
前記強調と同じである判定の数を増加させるように前記分類器モデルを調整することと
を行わせる命令を含む、請求項１７から請求項１９のいずれか一項に記載のシステム。 processing the processed stressed training vector with the classifier model to determine whether each node is in the desired class;
comparing the determination of whether each node is in the required class and the emphasis of each node;
20. The system of any one of claims 17-19, comprising instructions for: adjusting the classifier model to increase the number of decisions that are the same as the emphasis. プロセッサに、請求項１から請求項１１のいずれか一項に記載の方法における各ステップを実行させる、コンピュータ・プログラム。A computer program product for causing a processor to perform the steps of the method according to any one of claims 1 to 11.
JP2021575889A 2019-06-27 2020-06-05 A Deep Learning Approach to Computing Span Pending JP2022537759A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/454,311 US11379660B2 (en) 2019-06-27 2019-06-27 Deep learning approach to computing spans
US16/454,311 2019-06-27
PCT/IB2020/055332 WO2020261002A1 (en) 2019-06-27 2020-06-05 Deep learning approach to computing spans

Publications (2)

Publication Number Publication Date
JP2022537759A JP2022537759A (en) 2022-08-29
JPWO2020261002A5 true JPWO2020261002A5 (en) 2022-10-25

Family

ID=74044096

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575889A Pending JP2022537759A (en) 2019-06-27 2020-06-05 A Deep Learning Approach to Computing Span

Country Status (6)

Country Link
US (1) US11379660B2 (en)
JP (1) JP2022537759A (en)
CN (1) CN113892150A (en)
DE (1) DE112020002129T5 (en)
GB (1) GB2598879A (en)
WO (1) WO2020261002A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087087B1 (en) * 2017-02-15 2021-08-10 Robert Mayer Comparative expression processing
CN111259112B (en) * 2020-01-14 2023-07-04 北京百度网讯科技有限公司 Medical fact verification method and device
US11755822B2 (en) 2020-08-04 2023-09-12 International Business Machines Corporation Promised natural language processing annotations
US11520972B2 (en) * 2020-08-04 2022-12-06 International Business Machines Corporation Future potential natural language processing annotations
US11977836B1 (en) * 2021-11-26 2024-05-07 Amazon Technologies, Inc. Global explanations of machine learning model predictions for input containing text attributes
JP7454090B1 (en) 2023-07-12 2024-03-21 医療法人社団梅華会 medical support equipment

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6574633B1 (en) 1999-11-01 2003-06-03 Honeywell International Inc. Method for dynamically grouping limited range physical entities in a topological space
US9471559B2 (en) * 2012-12-10 2016-10-18 International Business Machines Corporation Deep analysis of natural language questions for question answering system
US9244909B2 (en) * 2012-12-10 2016-01-26 General Electric Company System and method for extracting ontological information from a body of text
US9715662B2 (en) 2013-01-28 2017-07-25 International Business Machines Corporation Inconsistency detection between structured and non-structured data
US10061714B2 (en) * 2016-03-18 2018-08-28 Oracle International Corporation Tuple encoding aware direct memory access engine for scratchpad enabled multicore processors
US10740678B2 (en) * 2016-03-31 2020-08-11 International Business Machines Corporation Concept hierarchies
US20170300632A1 (en) 2016-04-19 2017-10-19 Nec Laboratories America, Inc. Medical history extraction using string kernels and skip grams
KR20180001889A (en) * 2016-06-28 2018-01-05 삼성전자주식회사 Language processing method and apparatus
US20180075011A1 (en) * 2016-09-13 2018-03-15 International Business Machines Corporation Hybrid Approach to Handling Hypotheticals in Texts
CN106484674B (en) 2016-09-20 2020-09-25 北京工业大学 Chinese electronic medical record concept extraction method based on deep learning
US10360301B2 (en) * 2016-10-10 2019-07-23 International Business Machines Corporation Personalized approach to handling hypotheticals in text
US10762992B2 (en) 2016-11-30 2020-09-01 Welltok, Inc. Synthetic ground truth expansion
US9715495B1 (en) * 2016-12-15 2017-07-25 Quid, Inc. Topic-influenced document relationship graphs
US10811125B2 (en) 2017-08-21 2020-10-20 International Business Machines Corporation Cognitive framework to identify medical case safety reports in free form text
CN108304387B (en) * 2018-03-09 2021-06-15 联想(北京)有限公司 Method, device, server group and storage medium for recognizing noise words in text
CN109062901B (en) * 2018-08-14 2019-10-11 第四范式（北京）技术有限公司 Neural network training method and device and name entity recognition method and device

Similar Documents

Publication Publication Date Title
CN109036371B (en) Audio data generation method and system for speech synthesis
CN109686361B (en) Speech synthesis method, device, computing equipment and computer storage medium
CN111048064B (en) Voice cloning method and device based on single speaker voice synthesis data set
CN109933602B (en) Method and device for converting natural language and structured query language
GB2598879A (en) Deep learning approach to computing spans
JP2018026127A (en) Translation method, translation device, and computer program
JP7051919B2 (en) Speech recognition and decoding methods based on streaming attention models, devices, equipment and computer readable storage media
KR102152902B1 (en) Method for converting voice data into text data and speech-to-text device performing method
US20220157329A1 (en) Method of converting voice feature of voice
JPWO2021050170A5 (en)
JPWO2020261002A5 (en)
CN117151084A (en) Chinese spelling and grammar error correction method, storage medium and equipment
WO2019146754A1 (en) Training data creation method of question-answer system and training method of question-answer system
WO2021228084A1 (en) Speech data recognition method, device, and medium
CN110399619B (en) Position coding method for neural machine translation and computer storage medium
US20230317058A1 (en) Spoken language processing method and apparatus, and storage medium
Cai et al. Fast learning of deep neural networks via singular value decomposition
Huang et al. The NU voice conversion system for the Voice Conversion Challenge 2020: On the effectiveness of sequence-to-sequence models and autoregressive neural vocoders
Liu et al. Automatic speech disentanglement for voice conversion using rank module and speech augmentation
TWI594136B (en) A system and method for training robots through voice
US20220147570A1 (en) Information processing apparatus and information processing method
JPWO2021199442A5 (en)
JP2021043530A5 (en)
CN117789680B (en) Method, device and storage medium for generating multimedia resources based on large model
KR102637341B1 (en) Method and apparatus for generating speech