JP7204431B2 - 単語ベクトルリスト生成装置 - Google Patents
単語ベクトルリスト生成装置 Download PDFInfo
- Publication number
- JP7204431B2 JP7204431B2 JP2018210421A JP2018210421A JP7204431B2 JP 7204431 B2 JP7204431 B2 JP 7204431B2 JP 2018210421 A JP2018210421 A JP 2018210421A JP 2018210421 A JP2018210421 A JP 2018210421A JP 7204431 B2 JP7204431 B2 JP 7204431B2
- Authority
- JP
- Japan
- Prior art keywords
- word vector
- vector list
- word
- intersect
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims description 269
- 239000011159 matrix material Substances 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 32
- 230000009467 reduction Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 16
- 238000000513 principal component analysis Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000002347 injection Methods 0.000 claims description 8
- 239000007924 injection Substances 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
結合対象の2つの単語ベクトルリストW1(n次元ベクトル空間),W2(m次元ベクトル空間)(n≦m)を入力する入力手段と、
前記単語ベクトルリストW1,W2の次元を同一次元になるように調整する次元調整手段と、
前記次元調整された単語ベクトルリストW1と単語ベクトルリストW’2の共通の単語の単語ベクトルを連結し、共通単語ベクトルリストMintersectを生成する共通単語ベクトルリスト生成手段と、
前記共通単語ベクトルリストMintersectを次元削減し、出力単語ベクトル空間Wresult,intersectを生成する出力ベクトル空間生成手段と、
前記単語ベクトルリストW1,W2の単語ベクトル空間W1,intersect,W2,intersectから前記出力単語ベクトル空間Wresult,intersectへの変換行列T1,T2を計算する変換行列生成手段と、
前記変換行列T1,T2を使用して前記単語ベクトルリストW1,W2の全単語を出力単語ベクトル空間にマッピングして出力単語ベクトルリストWresultを出力するマッピング手段と、
を有することを特徴とする。
結合対象の2つの単語ベクトルリストW1(n次元ベクトル空間),W2(m次元ベクトル空間)(n≦m)を入力する工程と、
前記単語ベクトルリストW1,W2の次元を同一次元になるように調整する工程と、
前記次元調整された単語ベクトルリストW1と単語ベクトルリストW’2の共通の単語の単語ベクトルを連結し、共通単語ベクトルリストMintersectを生成する工程と、
前記共通単語ベクトルリストMintersectを次元削減し、出力単語ベクトル空間Wresult,intersectを生成する工程と、
前記単語ベクトルリストW1,W2の単語ベクトル空間W1,intersect,W2,intersectから前記出力単語ベクトル空間Wresult,intersectへの変換行列T1,T2を計算する工程と、
前記変換行列T1,T2を使用して前記単語ベクトルリストW1,W2の全単語を出力単語ベクトル空間にマッピングして出力単語ベクトルリストWresultを出力する工程と、
を有する。
2 入力手段
3 次元調整手段
4 共通単語ベクトルリスト生成手段
5 出力ベクトル空間生成手段
6 変換行列生成手段
7 マッピング手段
8 知識ベース
9 知識注入手段
Claims (5)
- 結合対象の2つの単語ベクトルリストW1(n次元ベクトル空間),W2(m次元ベクトル空間)(n≦m)を入力する入力手段と、
前記単語ベクトルリストW1,W2の次元を同一次元になるように調整する次元調整手段と、
前記次元調整された単語ベクトルリストW1と単語ベクトルリストW’2の共通の単語の単語ベクトルを連結し、共通単語ベクトルリストMintersectを生成する共通単語ベクトルリスト生成手段と、
前記共通単語ベクトルリストMintersectを次元削減し、出力単語ベクトル空間Wresult,intersectを生成する出力ベクトル空間生成手段と、
前記単語ベクトルリストW1,W2の単語ベクトル空間W1,intersect,W2,intersectから前記出力単語ベクトル空間Wresult,intersectへの変換行列T1,T2を計算する変換行列生成手段と、
前記変換行列T1,T2を使用して前記単語ベクトルリストW1,W2の全単語を出力単語ベクトル空間にマッピングして出力単語ベクトルリストWresultを出力するマッピング手段と、
を有することを特徴とする単語ベクトルリスト生成装置。 - 請求項1記載の単語ベクトルリスト生成装置であって、
前記出力単語ベクトルリストWresultの行列に、知識ベースから自己関連性ウェイトと関連語の関連性ウェイトによる補正を行う知識注入手段、を有することを特徴とする単語ベクトルリスト生成装置。 - 請求項1または2に記載の単語ベクトルリスト生成装置であって、
前記出力ベクトル空間生成手段は、SVD(特異値分解:singular value decomposition)、または、PCA(主成分分析:principal component analysis)により、前記共通単語ベクトルリストMintersect(n+n次元ベクトル空間)を次元削減することを特徴とする単語ベクトルリスト生成装置。 - 請求項1~3のいずれかに記載の単語ベクトルリスト生成装置であって、
前記次元調整手段は、SVD(特異値分解:singular value decomposition)、または、PCA(主成分分析:principal component analysis)により、次元削減することを特徴とする単語ベクトルリスト生成装置。 - 入力手段と次元調整手段と共通単語ベクトルリスト生成手段と出力ベクトル空間生成手段と変換行列生成手段とマッピング手段がコンピュータにより実装されるとして、
前記入力手段が、結合対象の2つの単語ベクトルリストW1(n次元ベクトル空間),W2(m次元ベクトル空間)(n≦m)を入力する工程と、
前記次元調整手段が、前記単語ベクトルリストW1,W2の次元を同一次元になるように調整する工程と、
前記共通単語ベクトルリスト生成手段が、前記次元調整された単語ベクトルリストW1と単語ベクトルリストW’2の共通の単語の単語ベクトルを連結し、共通単語ベクトルリストMintersectを生成する工程と、
前記出力ベクトル空間生成手段が、前記共通単語ベクトルリストMintersectを次元削減し、出力単語ベクトル空間Wresult,intersectを生成する工程と、
前記変換行列生成手段が、前記単語ベクトルリストW1,W2の単語ベクトル空間W1,intersect,W2,intersectから前記出力単語ベクトル空間Wresult,intersectへの変換行列T1,T2を計算する工程と、
前記マッピング手段が、前記変換行列T1,T2を使用して前記単語ベクトルリストW1,W2の全単語を出力単語ベクトル空間にマッピングして出力単語ベクトルリストWresultを出力する工程と、
を有することを特徴とする単語ベクトルリスト生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018210421A JP7204431B2 (ja) | 2018-11-08 | 2018-11-08 | 単語ベクトルリスト生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018210421A JP7204431B2 (ja) | 2018-11-08 | 2018-11-08 | 単語ベクトルリスト生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020077228A JP2020077228A (ja) | 2020-05-21 |
JP7204431B2 true JP7204431B2 (ja) | 2023-01-16 |
Family
ID=70724189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018210421A Active JP7204431B2 (ja) | 2018-11-08 | 2018-11-08 | 単語ベクトルリスト生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7204431B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070636A (ja) | 2002-08-06 | 2004-03-04 | Mitsubishi Electric Corp | 概念検索装置 |
JP2012190080A (ja) | 2011-03-08 | 2012-10-04 | Internatl Business Mach Corp <Ibm> | 用語の対応を見出す方法、プログラム及びシステム |
WO2018172840A1 (en) | 2017-03-20 | 2018-09-27 | International Business Machines Corporation | Creating cognitive intelligence queries from multiple data corpuses |
-
2018
- 2018-11-08 JP JP2018210421A patent/JP7204431B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070636A (ja) | 2002-08-06 | 2004-03-04 | Mitsubishi Electric Corp | 概念検索装置 |
JP2012190080A (ja) | 2011-03-08 | 2012-10-04 | Internatl Business Mach Corp <Ibm> | 用語の対応を見出す方法、プログラム及びシステム |
WO2018172840A1 (en) | 2017-03-20 | 2018-09-27 | International Business Machines Corporation | Creating cognitive intelligence queries from multiple data corpuses |
Also Published As
Publication number | Publication date |
---|---|
JP2020077228A (ja) | 2020-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11106714B2 (en) | Summary generating apparatus, summary generating method and computer program | |
CN109582956B (zh) | 应用于句子嵌入的文本表示方法和装置 | |
CN107704563B (zh) | 一种问句推荐方法及系统 | |
US6173275B1 (en) | Representation and retrieval of images using context vectors derived from image information elements | |
CN111444320A (zh) | 文本检索方法、装置、计算机设备和存储介质 | |
CN111859986A (zh) | 基于多任务孪生网络的语义匹配方法、装置、设备和介质 | |
JP2018063696A (ja) | ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム | |
CN110795572B (zh) | 一种实体对齐方法、装置、设备及介质 | |
US20220138601A1 (en) | Question responding apparatus, learning apparatus, question responding method and program | |
CN112434533B (zh) | 实体消歧方法、装置、电子设备及计算机可读存储介质 | |
CN113326374A (zh) | 基于特征增强的短文本情感分类方法及系统 | |
CN113821527A (zh) | 哈希码的生成方法、装置、计算机设备及存储介质 | |
Gupta et al. | Unsupervised self-training for sentiment analysis of code-switched data | |
CN112100377A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
CN115168579A (zh) | 一种基于多头注意力机制和二维卷积操作的文本分类方法 | |
CN116644148A (zh) | 关键词识别方法、装置、电子设备及存储介质 | |
JP2019082860A (ja) | 生成プログラム、生成方法及び生成装置 | |
JP7204431B2 (ja) | 単語ベクトルリスト生成装置 | |
CN115510203B (zh) | 问题答案确定方法、装置、设备、存储介质及程序产品 | |
CN111401069A (zh) | 会话文本的意图识别方法、意图识别装置及终端 | |
CN115408997A (zh) | 一种文本生成方法、文本生成装置和可读存储介质 | |
Habib et al. | GAC-Text-to-Image Synthesis with Generative Models using Attention Mechanisms with Contrastive Learning | |
CN115512374A (zh) | 针对表格文本的深度学习特征提取分类方法及装置 | |
Chaonithi et al. | A hybrid approach for Thai word segmentation with crowdsourcing feedback system | |
KR102689965B1 (ko) | 데이터 해석 장치 및 데이터 해석 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7204431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |