JP6884722B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6884722B2 JP6884722B2 JP2018050127A JP2018050127A JP6884722B2 JP 6884722 B2 JP6884722 B2 JP 6884722B2 JP 2018050127 A JP2018050127 A JP 2018050127A JP 2018050127 A JP2018050127 A JP 2018050127A JP 6884722 B2 JP6884722 B2 JP 6884722B2
- Authority
- JP
- Japan
- Prior art keywords
- message
- user
- information processing
- generation
- reinforcement learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 100
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000002787 reinforcement Effects 0.000 claims description 78
- 230000004044 response Effects 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 15
- 230000006399 behavior Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
実施形態に係る情報処理の一例について説明する。図1は、実施形態に係る情報処理の説明図である。ここでは、情報処理装置1によって情報処理が実行される。
図2は、情報処理システム5の構成例を示す図である。図2に示すように、実施形態に係る情報処理システム5は、情報処理装置1と、端末装置2と、音声認識サーバ3と、音声合成サーバ4とを備える。
次に、実施形態に係る情報処理装置1について、図3を参照し説明する。図3は、情報処理装置1の構成例を示す図である。
次に、通知メッセージ生成処理について図5を参照し説明する。図5は、実施形態に係る通知メッセージ生成処理の一例を示すフローチャートである。
上記実施形態に加えて、以下の変形例を適用することも可能である。
情報処理装置1は、生成部43と、送信部20とを備える。生成部43は、強化学習により学習された強化学習モデルを用いて、ユーザの端末装置2へ送信する通知メッセージを生成する。送信部20は、通知用情報に基づいて、生成部43によって生成された通知メッセージをユーザの端末装置2へ送信する。
上記してきた実施形態に係る情報処理装置1は、例えば図6に示すような構成のコンピュータ1000によって実現される。図6は、情報処理装置1の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
2 端末装置
10 受信部
20 送信部(通知部)
30 記憶部
40 処理部
41 解析部
42 選択部
43 生成部
44 学習部
Claims (7)
- 過去に通知されたメッセージに対するユーザの応答履歴に基づいて、前記ユーザに対するメッセージ生成用強化学習モデルを強化学習により学習する学習部と、
前記メッセージ生成用強化学習モデルを用いて、前記ユーザの端末装置へ通知するメッセージを生成する生成部と、
前記ユーザにプッシュ通知を行うための情報に基づいて、前記生成部によって生成された前記メッセージを前記端末装置へ通知する通知部と
を備え、
前記生成部は、
前記メッセージ生成用強化学習モデルを用いて選択されたキーワードに対して周期的に大きくなるスコアに基づき、他のユーザの応答履歴を含む応答履歴に基づいて強化学習されたメッセージ生成モデルを用いて前記メッセージを生成し、かつ前記ユーザの応答回数が予め設定された値よりも大きくなると、レベルを高くし、前記レベルに応じて前記メッセージを生成する
ことを特徴とする情報処理装置。 - 前記学習部は、
前記過去に通知されたメッセージに対する応答の有無を含む応答履歴に基づいて、前記メッセージ生成用強化学習モデルを学習する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記通知部は、
前記ユーザのコンテキストに基づいて、前記生成部によって生成された前記メッセージを前記端末装置へ通知する
ことを特徴とする請求項1または2に記載の情報処理装置。 - 前記生成部は、
前記強化学習により生成され、入力される単語に対して、単語を出力する学習モデルを用いて前記端末装置へ通知する前記メッセージを生成する
ことを特徴とする請求項1から3のいずれか一つに記載の情報処理装置。 - 前記生成部は、
前記強化学習により生成され、入力される単語に対応した入力ベクトルに対して、出力ベクトルを出力する学習モデルを用いて前記端末装置へ通知する前記メッセージを生成する
ことを特徴とする請求項1から4のいずれか一つに記載の情報処理装置。 - 情報処理装置が実行する情報処理方法であって、
過去に通知されたメッセージに対するユーザの応答履歴に基づいて、前記ユーザに対するメッセージ生成用強化学習モデルを強化学習により学習する学習工程と、
前記メッセージ生成用強化学習モデルを用いて、前記ユーザの端末装置へ通知するメッセージを生成する生成工程と、
前記ユーザにプッシュ通知を行うための情報に基づいて、前記生成工程によって生成された前記メッセージを前記端末装置へ通知する通知工程と
を含み、
前記生成工程は、
前記メッセージ生成用強化学習モデルを用いて選択されたキーワードに対して周期的に大きくなるスコアに基づき、他のユーザの応答履歴を含む応答履歴に基づいて強化学習されたメッセージ生成モデルを用いて前記メッセージを生成し、かつ前記ユーザの応答回数が予め設定された値よりも大きくなると、レベルを高くし、前記レベルに応じて前記メッセージを生成する
ことを特徴とする情報処理方法。 - 過去に通知されたメッセージに対するユーザの応答履歴に基づいて、前記ユーザに対するメッセージ生成用強化学習モデルを強化学習により学習する学習手順と、
前記メッセージ生成用強化学習モデルを用いて、前記ユーザの端末装置へ通知するメッセージを生成する生成手順と、
前記ユーザにプッシュ通知を行うための情報に基づいて、前記生成手順によって生成された前記メッセージを前記端末装置へ通知する通知手順と
をコンピュータに実行させ、
前記生成手順は、
前記メッセージ生成用強化学習モデルを用いて選択されたキーワードに対して周期的に大きくなるスコアに基づき、他のユーザの応答履歴を含む応答履歴に基づいて強化学習されたメッセージ生成モデルを用いて前記メッセージを生成し、かつ前記ユーザの応答回数が予め設定された値よりも大きくなると、レベルを高くし、前記レベルに応じて前記メッセージを生成する
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018050127A JP6884722B2 (ja) | 2018-03-16 | 2018-03-16 | 情報処理装置、情報処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018050127A JP6884722B2 (ja) | 2018-03-16 | 2018-03-16 | 情報処理装置、情報処理方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016180928A Division JP6333329B2 (ja) | 2016-09-15 | 2016-09-15 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018129068A JP2018129068A (ja) | 2018-08-16 |
JP6884722B2 true JP6884722B2 (ja) | 2021-06-09 |
Family
ID=63174536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018050127A Active JP6884722B2 (ja) | 2018-03-16 | 2018-03-16 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6884722B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147435B (zh) * | 2019-01-24 | 2023-08-22 | 腾讯科技(深圳)有限公司 | 对话生成方法、装置、设备及存储介质 |
JP6962964B2 (ja) * | 2019-04-15 | 2021-11-05 | ファナック株式会社 | 機械学習装置、画面予測装置、及び制御装置 |
JP7380691B2 (ja) * | 2019-09-05 | 2023-11-15 | 日本電信電話株式会社 | 情報提示装置、学習装置、情報提示方法、学習方法、情報提示プログラム、及び学習プログラム |
JP7250057B2 (ja) * | 2021-03-15 | 2023-03-31 | ヤフー株式会社 | 学習装置、学習方法及び学習プログラム |
WO2023238341A1 (ja) * | 2022-06-09 | 2023-12-14 | 日本電信電話株式会社 | 音声応答文学習方法、音声応答文生成方法、音声応答文学習装置、音声応答文生成装置及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3379443B2 (ja) * | 1998-08-21 | 2003-02-24 | 日本電気株式会社 | 情報通知装置及び情報通知方法並びにプログラムを記録した機械読み取り可能な記録媒体 |
JP3533371B2 (ja) * | 2000-12-01 | 2004-05-31 | 株式会社ナムコ | 模擬会話システム、模擬会話方法、および情報記憶媒体 |
JP2003141149A (ja) * | 2001-10-31 | 2003-05-16 | Nippon Soken Holdings:Kk | 対話型配信システムおよび方法 |
JP2004090109A (ja) * | 2002-08-29 | 2004-03-25 | Sony Corp | ロボット装置およびロボット装置の対話方法 |
JP5698105B2 (ja) * | 2011-11-16 | 2015-04-08 | 日本電信電話株式会社 | 対話モデル構築装置、方法、及びプログラム |
US9282066B2 (en) * | 2013-07-18 | 2016-03-08 | International Business Machines Corporation | Targeted message response |
JP2015219582A (ja) * | 2014-05-14 | 2015-12-07 | 日本電信電話株式会社 | 対話方法、対話装置、対話プログラム及び記録媒体 |
JP2016038601A (ja) * | 2014-08-05 | 2016-03-22 | 日本放送協会 | Cgキャラクタ対話装置及びcgキャラクタ対話プログラム |
US20160203290A1 (en) * | 2015-01-09 | 2016-07-14 | The Regents Of The University Of Michigan | Smart messaging system for medication adherence |
JP6333329B2 (ja) * | 2016-09-15 | 2018-05-30 | ヤフー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-03-16 JP JP2018050127A patent/JP6884722B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018129068A (ja) | 2018-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6884722B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10832008B2 (en) | Computerized system and method for automatically transforming and providing domain specific chatbot responses | |
WO2021012645A1 (zh) | 推送信息的生成方法及装置 | |
US11315546B2 (en) | Computerized system and method for formatted transcription of multimedia content | |
US11081106B2 (en) | Contextual spoken language understanding in a spoken dialogue system | |
US20200342181A1 (en) | Method and system for automatic formality classification | |
US20190103111A1 (en) | Natural Language Processing Systems and Methods | |
JP6333329B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US11586689B2 (en) | Electronic apparatus and controlling method thereof | |
US10346546B2 (en) | Method and system for automatic formality transformation | |
JP2017515134A (ja) | 模写によるデジタル携帯情報端末の対話、および応答時のリッチなマルチメディア | |
JP2019514120A (ja) | ユーザ中心の文書要約のための技術 | |
US20230282218A1 (en) | Near real-time in-meeting content item suggestions | |
US20160055533A1 (en) | Response generation device, response generation method, and non-transitory computer readable storage medium | |
US11875125B2 (en) | System and method for designing artificial intelligence (AI) based hierarchical multi-conversation system | |
KR101891498B1 (ko) | 대화형 ai 에이전트 시스템에서 멀티 도메인 인텐트의 혼재성을 해소하는 멀티 도메인 서비스를 제공하는 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체 | |
JP6370962B1 (ja) | 生成装置、生成方法および生成プログラム | |
JP6310796B2 (ja) | 制御装置、制御方法および制御プログラム | |
US20200312312A1 (en) | Method and system for generating textual representation of user spoken utterance | |
WO2018170876A1 (en) | A voice-based knowledge sharing application for chatbots | |
CN108306813B (zh) | 会话消息的处理方法、服务器及客户端 | |
JP6697373B2 (ja) | 文生成装置、文生成方法及びプログラム | |
US20230409615A1 (en) | Systems and Methods for Providing User Experiences on Smart Assistant Systems | |
JP6205039B1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2021012660A (ja) | 情報処理装置、情報処理方法および情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181113 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201012 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210128 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210128 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210205 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210512 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6884722 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |