JP6529559B2 - 学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデル - Google Patents
学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデル Download PDFInfo
- Publication number
- JP6529559B2 JP6529559B2 JP2017179531A JP2017179531A JP6529559B2 JP 6529559 B2 JP6529559 B2 JP 6529559B2 JP 2017179531 A JP2017179531 A JP 2017179531A JP 2017179531 A JP2017179531 A JP 2017179531A JP 6529559 B2 JP6529559 B2 JP 6529559B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- information
- style
- input
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000008569 process Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 21
- 230000010365 information processing Effects 0.000 description 143
- 238000010586 diagram Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
最初に、生成装置および学習装置の一例である情報処理装置が実行する学習処理および生成処理の一例について説明する。図1は、実施形態に係る情報処理装置が実行する処理の一例を示す図である。情報処理装置10は、インターネット等の所定のネットワークを介して、所定のクライアントが使用するデータサーバ20および端末装置30と通信可能である。
ここで、データサーバ20は、配信対象となる配信コンテンツが複数存在する場合には、各コンテンツを全て配信するのではなく、各コンテンツの要約となるテキストが含まれる要約コンテンツを端末装置30へと配信することがある。配信コンテンツは、例えば、情報媒体或いは情報の配信主体から取得したニュース記事である。一例として、要約コンテンツは、配信コンテンツへのリンクが張られたポータルサイトのトップページである。
そこで、情報処理装置10は、以下の学習処理を実行することで、配信コンテンツに含まれるテキスト(例えば、タイトル)から見出しとなるテキストを生成するためのモデルの学習を行う。以下、図1を参照しながら情報処理装置10が実行する学習処理の一例について説明する。
図4は、モデルMの一例を示す図である。具体的には、図4は、モデルMの一例であるモデルM1を示す図である。モデルM1は、RNN(Recurrent Neural Network)の一例であるLSTM(Long Short Term Memory)を用いたSequence to Sequence Model(以下、Seq2Seqともいう。)である。Seq2Seqは、エンコーダ−デコーダモデルの一種であり、異なる長さのワード列 (Sequence)を入力とし、異なる長さのワード列(Sequence)を出力とすることを可能とする。図4に示すモデルM1は、エンコーダE1とデコーダD1とから構成されている。
図5は、モデルMの他の例を示す図である。具体的には、図5は、モデルMの一例であるモデルM2を示す図である。情報処理装置10は、第1のテキスト(タイトル)と属性情報Pと文体情報Qを入力データ、第2のテキスト(見出し)を正解データ(教師ラベル)としてモデルM2の学習を行う。図5に示すモデルM2は、エンコーダE1とデコーダD2とから構成されている。エンコーダE1は、モデルM1のエンコーダE1と同じである。デコーダD2は、中間層H2と出力層Yとを有する。中間層H2と出力層YはモデルM1のデコーダD1が有する中間層H2と出力層Yと同じである。なお、デコーダD2は、第2のテキスト(本実施形態の場合、見出し)の文体を示す文体情報Qを入力するための層(以下、文体入力層N2という。)が用意されている。
次に、上述した学習処理によって学習が行われたモデルを用いて、入力テキストに対応するテキストであって生成条件を満たす出力テキストを生成する生成処理の一例について説明する。このとき、出力テキストは、例えば、入力テキストの短縮テキストである。
以上、本実施形態の情報処理装置10の動作を述べたが、以下、情報処理装置10の構成を説明する。
次に、情報処理装置10が実行する処理の手順について説明する。情報処理装置10は学習処理と生成処理とを実行する。情報処理装置10はマルチタスクOSを備え、これらの処理を並行して実行可能である。
最初に学習処理を説明する。図10は、学習処理の一例を示すフローチャートである。学習処理は、入力テキストから出力テキストを生成するモデルMを学習する処理である。情報処理装置10は、ユーザから処理開始命令を受信すると、学習処理を実行する。
次に生成処理を説明する。図11は、生成処理の一例を示すフローチャートである。生成処理は、入力テキストから出力テキスト(入力テキストの短縮テキスト)を生成する処理である。情報処理装置10は、ユーザから処理開始命令を受信すると、生成処理を実行する。
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
実施形態及び変形例に係る情報処理装置10は、例えば図12に示すような構成のコンピュータ1000によっても実現可能である。図12は、情報処理装置10の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU(Central Processing Unit)1100、RAM1200、ROM1300、HDD(Hard Disk Drive)1400、通信インタフェース(I/F)1500、入出力インタフェース(I/F)1600、及びメディアインタフェース(I/F)1700を有する。
本実施形態によれば、情報処理装置10は、第1のテキストと、第1のテキストの属性を示す属性情報と、第1のテキストに対応するテキストであって生成条件を満たす第2のテキストと、を取得する。情報処理装置10は、第1のテキストと属性情報と第2のテキストとに基づいて、入力テキストから生成条件を満たす出力テキストを生成するモデルMの学習を行う。このとき、情報処理装置10が学習を実行するモデルMは、出力テキストとして、所定の文字数以下のテキストを生成するモデルであってもよい。これにより、情報処理装置10は、第1のテキストの特徴を踏まえてモデルMの学習を実行できる。頻度が低いスタイルのテキストが学習時の阻害要因とならないので、情報処理装置10は、精度が高いモデルMを生成できる。結果として情報処理装置10は、入力テキストから精度が高い出力テキストを生成できる。
11…通信部
12…記憶部
121…学習データデータベース
122…モデルデータベース
123…コンテンツ情報データベース
13…制御部
131…学習データ取得部
132…学習部
133…出力情報取得部
134…生成部
135…出力制御部
20…データサーバ
30…端末装置
M1、M2…モデル
E1…エンコーダ
D1、D2…デコーダ
F…特徴情報
P…属性情報
Q…文体情報
Claims (15)
- 第1のテキストと、前記第1のテキストの属性を示す属性情報と、前記第1のテキストに対応するテキストであって所定の条件を満たす第2のテキストと、前記第2のテキストの文体を示す文体情報と、を取得する取得部と、
前記第1のテキストと前記属性情報と前記文体情報とを入力データ、前記第2のテキストを正解データとして、入力テキストから前記所定の条件を満たす出力テキストを生成するモデルの学習を行う学習部と、
を備えることを特徴とする学習装置。 - 前記取得部は、前記文体情報として、どの配信主体の文体かを示す情報、或いは、どの情報媒体の文体かを示す情報を取得する、
ことを特徴とする請求項1に記載の学習装置。 - 前記取得部は、前記文体情報として、どの利用者属性に向けたテキストかを示す情報を取得する、
ことを特徴とする請求項1に記載の学習装置。 - 前記取得部は、前記第1のテキストとして所定の配信主体からのテキストを取得し、前記属性情報として前記所定の配信主体を示す情報を取得する、
ことを特徴とする請求項1〜3のいずれか1項に記載の学習装置。 - 前記取得部は、前記第1のテキストとして所定の情報媒体からのテキストを取得し、前記属性情報として前記所定の情報媒体を示す情報を取得する、
ことを特徴とする請求項1〜4のいずれか1項に記載の学習装置。 - 前記学習部は、前記入力テキストから前記入力テキストが有する特徴を示す特徴情報を生成するエンコーダと、前記特徴情報から前記出力テキストを生成するデコーダと、を含む前記モデルの学習を行う、
ことを特徴とする請求項1〜5のいずれか1項に記載の学習装置。 - 第1のテキストと該第1のテキストの属性を示す属性情報と、前記第1のテキストに対応するテキストであって所定の条件を満たす第2のテキストの文体を示す文体情報と、を入力データ、前記第2のテキストを正解データとして学習したモデルに入力される入力テキストと、前記入力テキストの属性を示す属性情報と、生成されるテキストの文体を指定するための情報であって前記文体情報に対応する文体指定情報と、を取得する取得部と、
前記モデルに前記入力テキストと該入力テキストの属性情報と前記文体指定情報とを入力することにより、前記入力テキストに対応する前記所定の条件を満たすテキストであって前記文体指定情報で指定された文体を有する出力テキストを生成する生成部と、
を備えることを特徴とする生成装置。 - 前記取得部は、前記文体指定情報として、どの配信主体の文体かを示す情報、或いは、どの情報媒体の文体かを示す情報を取得する、
ことを特徴とする請求項7に記載の生成装置。 - 前記取得部は、前記文体指定情報として、どの利用者属性に向けたテキストかを示す情報を取得する、
ことを特徴とする請求項7に記載の生成装置。 - 前記生成部は、前記出力テキストとして、所定の文字数以下のテキストを生成する、
ことを特徴とする請求項7〜9のいずれか1項に記載の生成装置。 - 学習装置が実行する学習方法であって、
第1のテキストと、前記第1のテキストの属性を示す属性情報と、前記第1のテキストに対応するテキストであって所定の条件を満たす第2のテキストと、前記第2のテキストの文体を示す文体情報と、を取得する取得工程と、
前記第1のテキストと前記属性情報と前記文体情報とを入力データ、前記第2のテキストを正解データとして、入力テキストから前記所定の条件を満たす出力テキストを生成するモデルの学習を行う学習工程と、
を含むことを特徴とする学習方法。 - 生成装置が実行する生成方法であって、
第1のテキストと該第1のテキストの属性を示す属性情報と、前記第1のテキストに対応するテキストであって所定の条件を満たす第2のテキストの文体を示す文体情報と、を入力データ、前記第2のテキストを正解データとして学習したモデルに入力される入力テキストと、前記入力テキストの属性を示す属性情報と、生成されるテキストの文体を指定するための情報であって前記文体情報に対応する文体指定情報と、を取得する取得工程と、
前記モデルに前記入力テキストと該入力テキストの属性情報と前記文体指定情報とを入力することにより、前記入力テキストに対応する前記所定の条件を満たすテキストであって前記文体指定情報で指定された文体を有する出力テキストを生成する生成工程と、
を含むことを特徴とする生成方法。 - 第1のテキストと、前記第1のテキストの属性を示す属性情報と、前記第1のテキストに対応するテキストであって所定の条件を満たす第2のテキストと、前記第2のテキストの文体を示す文体情報と、を取得する取得手順と、
前記第1のテキストと前記属性情報と前記文体情報とを入力データ、前記第2のテキストを正解データとして、入力テキストから前記所定の条件を満たす出力テキストを生成するモデルの学習を行う学習手順と、
をコンピュータに実行させるための学習プログラム。 - 第1のテキストと該第1のテキストの属性を示す属性情報と、前記第1のテキストに対応するテキストであって所定の条件を満たす第2のテキストの文体を示す文体情報と、を入力データ、前記第2のテキストを正解データとして学習したモデルに入力される入力テキストと、前記入力テキストの属性を示す属性情報と、生成されるテキストの文体を指定するための情報であって前記文体情報に対応する文体指定情報と、を取得する取得手順と、
前記モデルに前記入力テキストと該入力テキストの属性情報と前記文体指定情報とを入力することにより、前記入力テキストに対応する前記所定の条件を満たすテキストであって前記文体指定情報で指定された文体を有する出力テキストを生成する生成手順と、
をコンピュータに実行させるための生成プログラム。 - 第1のテキストと該第1のテキストの属性を示す属性情報と、前記第1のテキストに対応するテキストであって所定の条件を満たす第2のテキストの文体を示す文体情報と、を入力データ、前記第2のテキストを正解データとして学習したモデルであって、
入力テキストと前記入力テキストの属性を示す属性情報と、生成されるテキストの文体を指定するための情報であって前記文体情報に対応する文体指定情報とが入力される入力層と、
前記入力層に入力された前記入力テキストに対応するテキストであって前記所定の条件を満たす出力テキストを出力する出力層と、
前記入力層から前記出力層までのいずれかの層であって前記出力層以外の層に属する第1要素と、
前記第1要素と前記第1要素の重みとに基づいて値が算出される第2要素と、を含み、
前記入力層に入力された前記入力テキストに応じて、前記入力層に入力された前記入力テキストに対応する前記所定の条件を満たすテキストであって前記文体指定情報で指定された文体を有する前記出力テキストを出力層から出力するよう、
コンピュータを機能させるためのモデル。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017179531A JP6529559B2 (ja) | 2017-09-19 | 2017-09-19 | 学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデル |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017179531A JP6529559B2 (ja) | 2017-09-19 | 2017-09-19 | 学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデル |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019056973A JP2019056973A (ja) | 2019-04-11 |
JP6529559B2 true JP6529559B2 (ja) | 2019-06-12 |
Family
ID=66107430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017179531A Active JP6529559B2 (ja) | 2017-09-19 | 2017-09-19 | 学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデル |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6529559B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377887A (zh) * | 2019-07-19 | 2019-10-25 | 出门问问(苏州)信息科技有限公司 | 实体简称转化方法、可读存储介质和电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5727980B2 (ja) * | 2012-09-28 | 2015-06-03 | 株式会社東芝 | 表現変換装置、方法およびプログラム |
JP6604836B2 (ja) * | 2015-12-14 | 2019-11-13 | 株式会社日立製作所 | 対話テキスト要約装置及び方法 |
-
2017
- 2017-09-19 JP JP2017179531A patent/JP6529559B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019056973A (ja) | 2019-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240078386A1 (en) | Methods and systems for language-agnostic machine learning in natural language processing using feature extraction | |
US20190005399A1 (en) | Learning device, generation device, learning method, generation method, and non-transitory computer readable storage medium | |
JP6986978B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
US9015657B2 (en) | Systems and methods for developing and delivering platform adaptive web and native application content | |
US20230232052A1 (en) | Machine learning techniques for detecting surges in content consumption | |
US10606910B2 (en) | Ranking search results using machine learning based models | |
JP6698040B2 (ja) | 生成装置、生成方法及び生成プログラム | |
CN112400165A (zh) | 利用无监督学习来改进文本到内容建议的方法和系统 | |
CN112384909A (zh) | 利用无监督学习来改进文本到内容建议的方法和系统 | |
JP7088646B2 (ja) | 生成装置、学習装置、生成方法、学習方法、生成プログラム、及び学習プログラム | |
EP3812919A1 (en) | Methods, apparatuses, and systems for data mapping | |
JP2019079088A (ja) | 学習装置、プログラムパラメータおよび学習方法 | |
JP2019053558A (ja) | 学習装置、学習方法、学習プログラム、第1のモデルおよび第2のモデル | |
JP2021033602A (ja) | 情報処理装置、ベクトル生成方法及びプログラム | |
JP6959152B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP6529559B2 (ja) | 学習装置、生成装置、学習方法、生成方法、学習プログラム、生成プログラム、及びモデル | |
JP7231322B2 (ja) | 学習装置、学習方法、学習プログラム及びプログラム | |
JP7080609B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP6979899B2 (ja) | 生成装置、学習装置、生成方法、学習方法、生成プログラム、及び学習プログラム | |
JP6906456B2 (ja) | 学習装置、学習方法、及び学習プログラム | |
JP2018077671A (ja) | 情報処理装置、情報処理方法、予測モデルの生成装置、予測モデルの生成方法、およびプログラム | |
JP6982444B2 (ja) | 学習装置、生成装置、学習方法、生成方法、学習プログラム、及び生成プログラム | |
JP2019021218A (ja) | 学習装置、プログラムパラメータ、学習方法およびモデル | |
JP7008152B1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP7244449B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6529559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |