JP7335300B2 - 知識事前訓練モデルの訓練方法、装置及び電子機器 - Google Patents
知識事前訓練モデルの訓練方法、装置及び電子機器 Download PDFInfo
- Publication number
- JP7335300B2 JP7335300B2 JP2021153346A JP2021153346A JP7335300B2 JP 7335300 B2 JP7335300 B2 JP 7335300B2 JP 2021153346 A JP2021153346 A JP 2021153346A JP 2021153346 A JP2021153346 A JP 2021153346A JP 7335300 B2 JP7335300 B2 JP 7335300B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- knowledge
- text
- obtaining
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも1つのプロセッサによって実行される場合、前記少なくとも1つのプロセッサが前記第2の様態に記載の知識事前訓練モデルの訓練方法を実行する。
第6の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに前記第1の様態に記載の知識事前訓練モデルの訓練方法を実行させる。
選択可能に、ターゲットトリプルをテキスト化して、構造化知識テキストを取得することは、予め設定されたテキスト化規則に基づいてターゲットトリプルをテキスト化して、構造化知識テキストを取得することを含むことができる。ここで、予め設定されたテキスト化ルールは実際の状況に応じて設定できる。
本出願の実施例によれば、本出願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本出願によって提供される知識事前訓練モデルの訓練方法を実行させる。
Claims (11)
- 知識事前訓練モデルの訓練方法であって、
訓練テキストを取得するステップであって、前記訓練テキストは、構造化知識テキスト及び対応する文章を含み、前記構造化知識テキストは、ヘッドノード、テールノード、及び前記ヘッドノードと前記テールノードとの関係を含むステップと、
前記訓練テキストに基づいて、訓練対象の知識事前訓練モデルを訓練するステップと、を含み、
前記知識事前訓練モデルの訓練方法は、
単語エントリを取得するステップと、
前記単語エントリに基づいて、対応する前記文章を取得するステップと、
前記単語エントリ及び前記文章に基づいて、対応するターゲットトリプルを取得するステップと、
前記ターゲットトリプルをテキスト化して、前記構造化知識テキストを取得するステップと、
前記構造化知識テキストと前記文章をスプライシングして、前記訓練テキストを取得するステップと、をさらに含む、
ことを特徴とする知識事前訓練モデルの訓練方法。 - 前記訓練テキストに基づいて、訓練対象の知識事前訓練モデルを訓練するステップは、
予め設定された要素がマスクされた前記訓練テキストを前記訓練対象の知識事前訓練モデルに入力して、前記予め設定された要素の予測データを生成するステップと、
前記予め設定された要素の予測データ及び前記予め設定された要素に基づいて、前記訓練対象の知識事前訓練モデルを訓練するステップと、を含む、
ことを特徴とする請求項1に記載の訓練方法。 - 前記予め設定された要素は、前記構造化知識テキスト内の前記ヘッドノード、前記テールノード、及び前記関係のうちのいずれか1つ、または前記文章内のいずれか1つの単語である、
ことを特徴とする請求項2に記載の訓練方法。 - 前記単語エントリ及び前記文章に基づいて、対応するターゲットトリプルを取得するステップは、
前記単語エントリを前記ヘッドノードとして、知識グラフから対応する候補トリプルを取得するステップであって、前記候補トリプルは、前記ヘッドノード、対応する前記テールノード、及び前記関係を含むステップと、
前記文章に現れた前記テールノードに対応する前記候補トリプルを前記ターゲットトリプルとして決定するステップと、を含む、
ことを特徴とする請求項1に記載の訓練方法。 - 知識事前訓練モデルの訓練装置であって、
訓練テキストを取得するための取得モジュールであって、前記訓練テキストは、構造化知識テキスト及び対応する文章を含み、前記構造化知識テキストは、ヘッドノード、テールノード、及び前記ヘッドノードと前記テールノードとの関係を含む取得モジュールと、
前記訓練テキストに基づいて、訓練対象の知識事前訓練モデルを訓練するための訓練モジュールと、を含み、
前記取得モジュールが、
単語エントリを取得するための第1の取得ユニットと、
前記単語エントリに基づいて、対応する前記文章を取得するための第2の取得ユニットと、
前記単語エントリ及び前記文章に基づいて、対応するターゲットトリプルを取得するための第3の取得ユニットと、
前記ターゲットトリプルをテキスト化して、前記構造化知識テキストを取得するためのテキスト化ユニットと、
前記構造化知識テキストと前記文章をスプライシングして、前記訓練テキストを取得するためのスプライシングユニットと、を含む、
ことを特徴とする知識事前訓練モデルの訓練装置。 - 前記訓練モジュールが、
予め設定された要素がマスクされた前記訓練テキストを前記訓練対象の知識事前訓練モデルに入力して、前記予め設定された要素の予測データを生成し、
前記予め設定された要素の予測データ及び前記予め設定された要素に基づいて、前記訓練対象の知識事前訓練モデルを訓練する、
ことを特徴とする請求項5に記載の訓練装置。 - 前記予め設定された要素は、前記構造化知識テキスト内の前記ヘッドノード、前記テールノード、及び前記関係のうちのいずれか1つ、または前記文章内のいずれか1つの単語である、
ことを特徴とする請求項6に記載の訓練装置。 - 前記第3の取得ユニットが、
前記単語エントリを前記ヘッドノードとして、知識グラフから対応する候補トリプルを取得し、前記候補トリプルが、前記ヘッドノード、対応する前記テールノード、及び前記関係を含み、
前記文章に現れた前記テールノードに対応する前記候補トリプルを前記ターゲットトリプルとして決定する、
ことを特徴とする請求項5に記載の訓練装置。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが請求項1~4のいずれか1項に記載の知識事前訓練モデルの訓練方法を実行できるように、前記少なくとも1つのプロセッサによって実行される、
ことを特徴とする電子機器。 - コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項1~4のいずれか1項に記載の知識事前訓練モデルの訓練方法を実行させる、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。 - コンピュータプログラムであって、
前記コンピュータプログラムは、コンピュータに請求項1~4のいずれか1項に記載の知識事前訓練モデルの訓練方法を実行させる、
ことを特徴とするコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011520100.9 | 2020-12-21 | ||
CN202011520100.9A CN112507706B (zh) | 2020-12-21 | 2020-12-21 | 知识预训练模型的训练方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022006173A JP2022006173A (ja) | 2022-01-12 |
JP7335300B2 true JP7335300B2 (ja) | 2023-08-29 |
Family
ID=74922811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021153346A Active JP7335300B2 (ja) | 2020-12-21 | 2021-09-21 | 知識事前訓練モデルの訓練方法、装置及び電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210248498A1 (ja) |
JP (1) | JP7335300B2 (ja) |
CN (1) | CN112507706B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115248855A (zh) * | 2021-04-27 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 文本处理方法及装置、电子设备、计算机可读存储介质 |
CN113449104A (zh) * | 2021-06-22 | 2021-09-28 | 上海明略人工智能(集团)有限公司 | 标签增强模型构建方法、系统、电子设备及存储介质 |
CN113409884B (zh) * | 2021-06-30 | 2022-07-22 | 北京百度网讯科技有限公司 | 排序学习模型的训练方法及排序方法、装置、设备及介质 |
CN114595686B (zh) * | 2022-03-11 | 2023-02-03 | 北京百度网讯科技有限公司 | 知识抽取方法、知识抽取模型的训练方法及装置 |
CN114841471B (zh) * | 2022-06-28 | 2023-04-07 | 北京世纪好未来教育科技有限公司 | 知识点预测方法、装置、电子设备和存储介质 |
CN115879440A (zh) * | 2022-10-04 | 2023-03-31 | 阿里巴巴(中国)有限公司 | 自然语言处理、模型训练方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017049681A (ja) | 2015-08-31 | 2017-03-09 | 国立研究開発法人情報通信研究機構 | 質問応答システムの訓練装置及びそのためのコンピュータプログラム |
CN110263324A (zh) | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
JP2019207648A (ja) | 2018-05-30 | 2019-12-05 | 株式会社野村総合研究所 | 対話型業務支援システム |
US20200160149A1 (en) | 2018-11-16 | 2020-05-21 | Fujitsu Limited | Knowledge completion method and information processing apparatus |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6735578B2 (en) * | 2001-05-10 | 2004-05-11 | Honeywell International Inc. | Indexing of knowledge base in multilayer self-organizing maps with hessian and perturbation induced fast learning |
DE102016010909A1 (de) * | 2015-11-11 | 2017-05-11 | Adobe Systems Incorporated | Strukturiertes Modellieren, Extrahieren und Lokalisieren von Wissen aus Bildern |
CN109582798A (zh) * | 2017-09-29 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 自动问答方法、系统及设备 |
CN111144115B (zh) * | 2019-12-23 | 2023-10-20 | 北京百度网讯科技有限公司 | 预训练语言模型获取方法、装置、电子设备和存储介质 |
CN112001180A (zh) * | 2020-07-14 | 2020-11-27 | 北京百度网讯科技有限公司 | 多模态预训练模型获取方法、装置、电子设备及存储介质 |
CN112100404B (zh) * | 2020-09-16 | 2021-10-15 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
US20220147861A1 (en) * | 2020-11-06 | 2022-05-12 | Robert Bosch Gmbh | Knowledge-Driven and Self-Supervised System for Question-Answering |
-
2020
- 2020-12-21 CN CN202011520100.9A patent/CN112507706B/zh active Active
-
2021
- 2021-04-27 US US17/241,999 patent/US20210248498A1/en not_active Abandoned
- 2021-09-21 JP JP2021153346A patent/JP7335300B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017049681A (ja) | 2015-08-31 | 2017-03-09 | 国立研究開発法人情報通信研究機構 | 質問応答システムの訓練装置及びそのためのコンピュータプログラム |
JP2019207648A (ja) | 2018-05-30 | 2019-12-05 | 株式会社野村総合研究所 | 対話型業務支援システム |
US20200160149A1 (en) | 2018-11-16 | 2020-05-21 | Fujitsu Limited | Knowledge completion method and information processing apparatus |
JP2020086566A (ja) | 2018-11-16 | 2020-06-04 | 富士通株式会社 | 知識補完プログラム、知識補完方法および知識補完装置 |
CN110263324A (zh) | 2019-05-16 | 2019-09-20 | 华为技术有限公司 | 文本处理方法、模型训练方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210248498A1 (en) | 2021-08-12 |
CN112507706B (zh) | 2023-01-31 |
JP2022006173A (ja) | 2022-01-12 |
CN112507706A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7335300B2 (ja) | 知識事前訓練モデルの訓練方法、装置及び電子機器 | |
CN112528672B (zh) | 一种基于图卷积神经网络的方面级情感分析方法及装置 | |
US10592607B2 (en) | Iterative alternating neural attention for machine reading | |
CN112131366B (zh) | 训练文本分类模型及文本分类的方法、装置及存储介质 | |
US10726204B2 (en) | Training data expansion for natural language classification | |
US9805718B2 (en) | Clarifying natural language input using targeted questions | |
US10832658B2 (en) | Quantized dialog language model for dialog systems | |
CN108124477B (zh) | 基于伪数据改进分词器以处理自然语言 | |
JP7108675B2 (ja) | 意味マッチング方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
JP7301922B2 (ja) | 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム | |
JP2019504413A (ja) | 絵文字を提案するためのシステムおよび方法 | |
JP2021152963A (ja) | 語義特徴の生成方法、モデルトレーニング方法、装置、機器、媒体及びプログラム | |
KR102565673B1 (ko) | 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
CN115309877B (zh) | 对话生成方法、对话模型训练方法及装置 | |
CN113657100B (zh) | 实体识别方法、装置、电子设备及存储介质 | |
JP7413630B2 (ja) | 要約生成モデルの訓練方法、装置、デバイス及び記憶媒体 | |
CN112100332A (zh) | 词嵌入表示学习方法及装置、文本召回方法及装置 | |
JP2021033995A (ja) | テキスト処理装置、方法、デバイス及びコンピューター読み取り可能な記憶媒体 | |
CN111488742B (zh) | 用于翻译的方法和装置 | |
JP2023002690A (ja) | セマンティックス認識方法、装置、電子機器及び記憶媒体 | |
US20210233520A1 (en) | Contextual multi-channel speech to text | |
WO2023045186A1 (zh) | 意图识别方法、装置、电子设备和存储介质 | |
CN113553411B (zh) | 查询语句的生成方法、装置、电子设备和存储介质 | |
CN113609873A (zh) | 翻译模型训练方法、装置及介质 | |
CN115357710B (zh) | 表格描述文本生成模型的训练方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7335300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |