JP7373099B2 - テキスト生成システム - Google Patents
テキスト生成システム Download PDFInfo
- Publication number
- JP7373099B2 JP7373099B2 JP2022147442A JP2022147442A JP7373099B2 JP 7373099 B2 JP7373099 B2 JP 7373099B2 JP 2022147442 A JP2022147442 A JP 2022147442A JP 2022147442 A JP2022147442 A JP 2022147442A JP 7373099 B2 JP7373099 B2 JP 7373099B2
- Authority
- JP
- Japan
- Prior art keywords
- text
- synopsis
- title
- keyword
- genre
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 9
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Description
以下、本発明の一実施形態に係るAIシステムについて説明する。本実施形態のAIシステムは、小説の執筆を支援しようとするものであり、小説の作家と人工知能(AI)とがストーリーを共創することにより、小説作品の多様性を増加させようとしている。本実施形態のAIシステムを用いることで、作家はキーワードからタイトルやあらすじ、本文を生成することができ、対話型の作業により楽しみながら執筆を行うことができる。
本実施形態にて用いるAI(テキスト生成器)は、日本語のウェブテキスト及びウェブ小説の大規模データセットを用いて学習されたGPT-2(教師なしマルチタスク言語モデル)である。教師なしマルチタスク学習に基づいた最新の言語モデルの一つであるGPT-2を用いて、日本語のブログやニュース記事、ウィキペディア(登録商標)から収集した大規模データセット(約40GB)を用いて事前学習を行った。次に、小説を生成するAIを構築するために、小説投稿サイトから複数のカテゴリの多様なウェブ小説(11万冊以上)を収集した。収集した小説のテキストには、小説投稿サイトからジャンル、キーワード、あらすじ、本文データが含まれる。また、日本の読者によるクラウドソーシングを活用して、収集したウェブ小説のあらすじから不要な表現(本の出版情報やプラットフォームでのランキングなど)を削除した。
さらに、書き手の興味・関心を高め、よりクリエイティブなコンテンツを作るアイデアを引き出すために、小説執筆体験をゲーム感覚にすることで、よりクリエイティブで多様なコンテンツ制作を支援するための共創の選択肢として、AI支援型ロールプレイングゲーム(AI TRPG)を提案する。
図1は、本発明の一実施形態に係るAIシステムの全体構成例を示す図である。本実施形態のAIシステムは、APIサーバ30及びフロントエンドサーバ20を含んで構成される。APIサーバ30は、フロントエンドサーバ20と通信ネットワークを介して通信可能に接続されており、フロントエンドサーバ20はユーザ端末10と通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット(登録商標)などにより構築される。
フロントエンドサーバ20及びAPIサーバ30は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。
図3は、フロントエンドサーバ20のソフトウェア構成例を示す図である。フロントエンドサーバ20は、入力処理部211、テキスト送信部212、表示部213を備える。
図4は、APIサーバ30のソフトウェア構成例を示す図である。APIサーバ30は、文章生成器311、トークナイザー312、リクエスト入力部313、タイトル生成部314、あらすじ生成部315、本文生成部316、テキスト出力部317、短文モデル記憶部331、長文モデル記憶部332、小説データ記憶部333を備える。
短文モデル記憶部331及び長文モデル記憶部332には、文章生成器311が用いる学習モデルが記憶される。短文モデル記憶部331には、タイトル及び短い文章を作成するための学習モデルが記憶される。長文モデル記憶部332には、あらすじ及び長い文章を作成するための学習モデルが記憶される。学習モデルにはGPT-2を採用することができる。OpenAIのGPT-2は、翻訳やQ&Aなど複数の文章生成タスクにおいて教師なしか少しの教師データで人間に近い能力を発揮することが述べられている。本実施形態のAIシステムにおけるAIのモデルにはGPT-2のパラメータ数15億のモデルを利用することができる。本実施形態では、事前学習のために、日本語記事(40GB)とウェブ小説(110k本)の大規模データを用いてGPT-2を訓練し、継続的に学習したテキスト生成器を想定している。キーワードなどの条件をつけた文章生成のため、単語の同時分布を自己回帰的に学習する言語モデルの特性を利用することができる。学習データは、モデルがあらすじの学習に用いる情報に基づいて、正解のあらすじを生成できるように整理する。このようにして、学習時には要素とあらすじの同時分布をモデル化し、推論時には与えられた要素の条件付き分布からあらすじを生成できる。
[STARTOFTEXT][CATEGORY]ジャンル[KEYWORD]キーワード1 キーワード2 …[TITLE]タイトル[EXTRACTEDKEYWORD]あらすじキーワード[SYNOPSIS]あらすじ[BODYTEXT]本文
[STARTOFTEXT][CATEGORY]ジャンル[KEYWORD]キーワード1 キーワード2 …[TITLE]
[STARTOFTEXT][CATEGORY]ジャンル[KEYWORD]キーワード1 キーワード2 …[TITLE]タイトル[EXTRACTEDKEYWORD]あらすじキーワード[SYNOPSIS]
図5は、本実施形態のAIシステムを用いた小説の執筆の流れを説明する図である。
図6は、AIシステムの動作を説明する図である。
なお、本開示には、以下のような構成が含まれる。
[項目1]
ジャンル、タイトル、あらすじ及び本文を学習させたテキスト生成器と、
ジャンル、キーワードの入力を受け付け、受け付けた前記ジャンル及び前記キーワードを前記テキスト生成器に与えてタイトルを生成するタイトル生成部と、
生成した前記タイトルを出力するテキスト出力部と、
を備えることを特徴とするテキスト生成システム。
[項目2]
項目1に記載のテキスト生成システムであって、
ジャンル、キーワード及びタイトルの入力を受け付け、受け付けた前記ジャンル、前記キーワード及び前記タイトルを前記テキスト生成器に与えてあらすじを生成するあらすじ生成部をさらに備え、
前記テキスト出力部は、生成した前記あらすじを出力すること、
を特徴とするテキスト生成システム。
[項目3]
項目1又は2に記載のテキスト生成システムであって、
ジャンル、キーワード、タイトル及びあらすじの入力を受け付け、受け付けた前記ジャンル、前記キーワード、前記タイトル、及び前記あらすじを前記テキスト生成器に与えて本文に加える文章を生成する本文生成部をさらに備え、
前記テキスト出力部は、生成した前記文章を出力すること、
を特徴とするテキスト生成システム。
[項目4]
項目3に記載のテキスト生成システムであって、
前記本文生成部がさらに、ジャンル、キーワード、タイトル、あらすじ及び本文の入力を受け付け、受け付けた前記ジャンル、前記キーワード、前記タイトル、前記あらすじ及び前記本文を前記テキスト生成器に与えて前記本文に加える文章を生成し、
前記テキスト出力部がさらに、生成した前記文章を出力すること、
を特徴とするテキスト生成システム。
212 テキスト送信部
213 表示部
311 文章生成器
312 トークナイザー
313 リクエスト入力部
314 タイトル生成部
315 あらすじ生成部
316 本文生成部
317 テキスト出力部
331 短文モデル記憶部
332 長文モデル記憶部
333 小説データ記憶部
Claims (6)
- 小説の少なくとも第1のジャンル及び第1の本文を教師なし学習モデルを用いて学習させたテキスト生成器と、
ユーザから第2のジャンル、所望のあらすじ及び第2の本文の入力を受け付け、前記所望のあらすじからキーワードを抽出し、抽出した前記キーワード、第2のジャンル及び前記第2の本文を前記テキスト生成器に与えて前記第2の本文に加える文章を生成する本文生成部と、
生成した前記文章を出力するテキスト出力部と、
を備えることを特徴とするテキスト生成システム。 - 請求項1に記載のテキスト生成システムであって、
前記本文生成部は、前記ユーザからキーワードをさらに受け付け、前記第2のジャンル、前記第2の本文及び前記キーワードを前記テキスト生成器に与えて前記文章を作成すること、
を特徴とするテキスト生成システム。 - 請求項1に記載のテキスト生成システムであって、
前記テキスト生成器は、少なくとも前記第1のジャンル、前記第1の本文及び前記小説の第1のあらすじを学習させていること、
を特徴とするテキスト生成システム。 - 請求項1に記載のテキスト生成システムであって、
前記本文生成部は、複数の前記文章を生成し、
前記テキスト出力部は、前記複数の文章を出力し、
前記ユーザから選択された前記複数の文章のうちの1つが前記本文に追加されること、
を特徴とするテキスト生成システム。 - 請求項1に記載のテキスト生成システムであって、
前記テキスト生成器は、少なくとも前記第1のジャンル、前記第1の本文及び前記小説の第1のタイトルを学習させており、
前記第2のジャンルを前記テキスト生成器に与えて第2のタイトルを生成するタイトル生成部をさらに備え、
前記テキスト出力部は、生成された前記第2のタイトルを出力すること、
を特徴とするテキスト生成システム。 - 請求項1に記載のテキスト生成システムであって、
前記テキスト生成器は、少なくとも前記第1のジャンル、前記第1の本文及び前記小説の第1のあらすじを学習させており、
前記第2のジャンルを前記テキスト生成器に与えて第2のあらすじを生成するあらすじ生成部をさらに備え、
前記テキスト出力部は、生成された前記第2のあらすじを出力すること、
を特徴とするテキスト生成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022147442A JP7373099B2 (ja) | 2021-04-30 | 2022-09-15 | テキスト生成システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021077563 | 2021-04-30 | ||
JP2022147442A JP7373099B2 (ja) | 2021-04-30 | 2022-09-15 | テキスト生成システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021077563 Division | 2021-04-30 | 2021-04-30 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022174244A JP2022174244A (ja) | 2022-11-22 |
JP2022174244A5 JP2022174244A5 (ja) | 2023-01-20 |
JP7373099B2 true JP7373099B2 (ja) | 2023-11-02 |
Family
ID=87885403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022147442A Active JP7373099B2 (ja) | 2021-04-30 | 2022-09-15 | テキスト生成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7373099B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018045594A (ja) | 2016-09-16 | 2018-03-22 | トヨタ自動車株式会社 | 文章生成装置および文章生成方法 |
JP2020035019A (ja) | 2018-08-27 | 2020-03-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2022
- 2022-09-15 JP JP2022147442A patent/JP7373099B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018045594A (ja) | 2016-09-16 | 2018-03-22 | トヨタ自動車株式会社 | 文章生成装置および文章生成方法 |
JP2020035019A (ja) | 2018-08-27 | 2020-03-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (5)
Title |
---|
「センスがいい」と思われる小説タイトルの付け方+タイトルメーカー5選[online],2022年02月07日,[令和04年01月27日検索],インターネット<URL:https://web.archive.org/web/20210207070037/https://lifelikewriter.com/giving-novel-titile/> |
BunCho: AI Supported Story Co-Creation via Unsupervised Multitask Learning to Increase Writers' ...[online],2021年04月29日,[令和04年01月27日検索],インターネット<URL:https://www.youtube.com/watch?v=hPHWzwbPA4M> |
Mitou Foundation(一般社団法人未踏)| 第1期AIフロンティアプログラム成果報告会[online],2020年,[令和04年01月27日検索],インターネット<URL:https://www.mitou.org/projects/ai_frontier/report_1st.html> |
うすいのお茶の間開発日誌 -ノベル書きたくなるAI開発したい(うすい) - 余談その 3[online],2021年02月28日,[令和04年01月27日検索],インターネット<URL:https://novelup.plus/story/942595339/242491059> |
うすいのお茶の間開発日誌 -ノベル書きたくなるAI開発したい(うすい) - 余談その 4[online],2021年03月03日,[令和04年01月27日検索],インターネット<URL:https://novelup.plus/story/942595339/595004661> |
Also Published As
Publication number | Publication date |
---|---|
JP2022174244A (ja) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wilks | Machine translation: Its scope and limits | |
US9552353B2 (en) | System and method for generating phrases | |
JP6225012B2 (ja) | 発話文生成装置とその方法とプログラム | |
Okur et al. | Data augmentation with paraphrase generation and entity extraction for multimodal dialogue system | |
Sun et al. | Response generation by jointly modeling personalized linguistic styles and emotions | |
TW202013145A (zh) | 互動回應方法及其相關電腦系統 | |
Wong et al. | Strategies for mixed-initiative conversation management using question-answer pairs | |
CN111611269A (zh) | 一种对话聊天模式的人工智能情感陪护系统 | |
Liu et al. | Generating style-specific Chinese tang poetry with a simple actor-critic model | |
CN114969282A (zh) | 基于富媒体知识图谱多模态情感分析模型的智能交互方法 | |
Millour et al. | Text corpora and the challenge of newly written languages | |
Nichols et al. | Design and analysis of a collaborative story generation game for social robots | |
JP7373099B2 (ja) | テキスト生成システム | |
JP2000259601A (ja) | 会話装置および方法 | |
Korre et al. | Usability evaluation of spoken humanoid embodied conversational agents in mobile serious games | |
Shawar et al. | A chatbot system as a tool to animate a corpus | |
CN111324710B (zh) | 一种基于虚拟人的在线调研方法、装置和终端设备 | |
Chowanda et al. | Generative Indonesian conversation model using recurrent neural network with attention mechanism | |
Murakami et al. | Creating character networks with kinship relations from comics | |
Saldanha et al. | An entity-focused approach to generating company descriptions | |
Paranjape et al. | Towards automatic generation of peer-targeted science talk in curiosity-evoking virtual agent | |
KR20140116259A (ko) | 자동 번역 솔루션을 이용한 온라인상의 채팅 시스템 및 그 방법 | |
Kaleem et al. | Development of umair the urdu conversational agent for customer service | |
Wei et al. | Dialogpaint: A dialog-based image editing model | |
Mashimo et al. | Generating funny dialogue between robots based on japanese traditional comedy entertainment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221228 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230119 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230615 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7373099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |