JP7058305B2 - 情報処理装置、音声出力方法、音声出力プログラム - Google Patents
情報処理装置、音声出力方法、音声出力プログラム Download PDFInfo
- Publication number
- JP7058305B2 JP7058305B2 JP2020119482A JP2020119482A JP7058305B2 JP 7058305 B2 JP7058305 B2 JP 7058305B2 JP 2020119482 A JP2020119482 A JP 2020119482A JP 2020119482 A JP2020119482 A JP 2020119482A JP 7058305 B2 JP7058305 B2 JP 7058305B2
- Authority
- JP
- Japan
- Prior art keywords
- voice information
- voice
- information
- robot
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明の一実施形態について、図面を参照しながら説明する。
図1に示すように、通信システム1は、ユーザ10からの音声による指示(問い合わせ)を受け付ける機器としてスマートスピーカー200と、ユーザ10からの音声による指示に対する応答を示すロボット発話データを生成する音声出力装置100と、を含む。
図2は、音声出力装置100の構成例を示すブロック図である。図2に示すように、音声出力装置100は、例えば、受信部110と、記憶部120と、制御部130と、送信部140と、を備える。音声出力装置100は、ユーザが発話した内容について、言い直しかどうかを認識し、その認識に基づいてユーザが求めている回答を特定して、その回答内容を示すロボット発話データを生成、出力するものである。即ち、音声出力装置100は、ユーザの発話に基づく第1音声情報、その後の発話に基づく第2音声情報とを解析し、第2音声情報に、第1音声情報に含まれる文言と同一カテゴリとなる文言がある場合に言い直しであると認識する。ここで同一カテゴリとは、少なくとも第1音声情報と第2音声情報とに、ユーザが知りたい情報の種別のことをいい、例えば、ユーザがある場所の天気を知りたい場合に、その場所を示す情報がカテゴリとなり、例えば、ユーザが知りたい情報が店舗に係るものであって、店の種類(例えば、紳士服、小物、家具など)を音声により指示する場合に、その店の種類がカテゴリとなるが、カテゴリはこれらの例に限定されるものではない。
図3は、スマートスピーカー200の構成例を示すブロック図である。図3に示すように、スマートスピーカー200は、受信部210と、記憶部220と、スピーカー230と、マイク240と、送信部250と、を備える。
次に、回答モデル情報121の一例を、図4を用いて説明する。図4は、回答モデル情報121のデータ構成例を示すデータ概念図である。
図5は、通信システム1において、ユーザによる言い直しが発生しなかった場合の、スマートスピーカー200と、音声出力装置100との間のやり取りを示すシーケンス図である。
図7は、音声出力装置100の動作であって、機器の制御を行う際の動作を示すフローチャートである。
以下には、スマートスピーカー200が集音した音声データに基づいて、音声出力装置100が実行する処理について具体的に説明する。以下の具体例では、ユーザが天気を問い合わせる例を用いて説明する。
「・第1音声情報受信後、所定時間内に第2音声情報を取得。
・第2音声情報に質問に該当する単語あり」となり、
対応情報420としては、
「・第2音声情報に対応するロボット発話データのみを生成する」ということになる。
「・第1音声情報受信後、所定時間内に第2音声情報を取得。
・第1音声情報と第2音声情報に複数の回答となる文言あり」、となり、
対応情報420としては、
「・第1音声情報と第2音声情報とで、回答となる文言のうち最も登場回数の多い文言に対応するロボット発話データのみを生成する」ということとしてよい。
また、あるいは、状況情報410としては、例えば、
「・第1音声情報受信後、所定時間内に第2音声情報を取得。
・第2音声情報に複数回繰り返されている文言あり」となり、
対応情報420としては、
「・第2音声情報で複数回繰り返されている文言に基づくロボット発話データを生成する」ということとしてよい。
このように、音声出力装置100は、ユーザが言い直しをした場合に、その言い直しが、言い直しをする前の言葉を発したタイミングから所定時間以内に行われていること、言い直しの中の単語に、言い直しをする前の言葉の中の単語と同じカテゴリを含むか否かによって、第2音声情報が言い直しかどうかを判定することができる。したがって、音声出力装置100は、第1音声情報と、第2音声情報とについて、その双方についてのロボット発話データを作成する必要があるのか、それとも、第2音声情報に対する回答のみを示すロボット発話データを生成すればいいのかの判断をすることができる。そして、言い直しであると判断できた場合に、音声出力装置100は、第2音声情報の方が、ユーザが実際に問い合わせたい内容であると判断して応答を行うので、より、自然な会話の応答をすることができる音声出力装置100を提供することができる。
上記実施形態に係る装置は、上記実施形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
110 受信部
120 記憶部
130 制御部
131 音声解析部
132 生成部
140 送信部
Claims (11)
- ユーザによる発話音声を示す音声情報の入力を受け付ける受付部と、
前記音声情報に基づいて、前記発話音声に対する返事に相当するロボット発話データを生成する生成部と、
前記ロボット発話データを出力する出力部と、を備え、
前記生成部は、前記受付部が第1の音声情報を受け付けると、前記第1の音声情報を解析した解析結果に基づく第1のロボット発話データの生成を開始し、前記受付部が前記第1の音声情報とは異なる第2の音声情報を受け付け、前記第2の音声情報を受け付けたのが前記第1の音声情報を受け付けてから所定時間内であった場合であって、前記第2の音声情報に、前記第1の音声情報に含まれる第1の単語と同じカテゴリの第2の単語が含まれているときに、少なくとも、前記第2の音声情報に基づいて、第2のロボット発話データを生成し、
前記生成部は、前記ユーザに対して問い合わせをするためのロボット発話データを生成するとともに、当該問い合わせに対する回答として望まれる言葉のカテゴリを決定し、
前記生成部は、前記問い合わせに対する回答としての、前記第1の音声情報と前記第2の音声情報とを受け付けた場合に、前記第1の音声情報に前記決定したカテゴリに属する単語が前記第1の単語として含まれており、前記第2の音声情報に前記決定したカテゴリに属する単語が前記第2の単語として含まれていたときに、少なくとも前記第2の音声情報に基づいて、ロボット発話データを生成し、
前記出力部は、前記第2のロボット発話データを出力する
情報処理装置。 - 前記生成部は、前記第2の音声情報に前記第1の音声情報を否定する単語が含まれる場合に、前記第2の音声情報にのみ基づくロボット発話データを生成する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記生成部は、前記第2の音声情報に前記第1の音声情報と接続する単語が含まれる場合に、前記第1の音声情報と前記第2の音声情報との双方に対するロボット発話データを生成する
ことを特徴とする請求項1又は2に記載の情報処理装置。 - 前記生成部は、前記第2の音声情報に、前記第1の音声情報に含まれる第1の単語と同種類の第2の単語が含まれている場合に、いずれが正しいのかを問い合わせるロボット発話データを生成する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記ロボット発話データに基づく音声を出力する音声出力部と、
前記ユーザの発話音声を集音する音声収集部とを更に備え、
前記出力部は、前記音声出力部に前記ロボット発話データを出力し、
前記受付部は、前記音声収集部が収集した発話音声を前記音声情報として入力され、
前記出力部は、第1の音声情報に基づくロボット発話データを出力しているときに、所定時間内に第2の音声情報を受け付けると、前記第2の音声情報に、前記第1の音声情報に含まれる第1の単語と同種類の第2の単語が含まれているときには前記第1の音声情報に対して生成されたロボット発話データの前記音声出力部への出力を中止する
ことを特徴とする請求項1~4のいずれか一項に記載の情報処理装置。 - 前記出力部は、前記音声出力部へのロボット発話データの出力を中止した後に、前記第2の音声情報に基づく新たなロボット発話データを出力する
ことを特徴とする請求項5に記載の情報処理装置。 - 前記出力部は、外部のスピーカーに前記ロボット発話データを出力し、
前記受付部は、外部のマイクが収集した発話音声を前記音声情報として入力を受け付けるものであり、
前記出力部は、前記外部のスピーカーが第1の音声情報に基づくロボット発話データに基づく音声を音声出力しているときに前記ユーザから受け付けた発話音声に基づく第2の音声情報を受け付け、当該第2の音声情報に、前記第1の音声情報に含まれる第1の単語と同種類の第2の単語が含まれているときには前記第1の音声情報に対して生成されたロボット発話データに基づく音声の出力を中止する中止指示を出力する
ことを特徴とする請求項1~4のいずれか一項に記載の情報処理装置。 - 前記出力部は、前記中止指示を出力した後に、前記第2の音声情報に基づく新たなロボット発話データを出力する
ことを特徴とする請求項7に記載の情報処理装置。 - 前記情報処理装置は、前記第2の音声情報に対するロボット発話データを生成するにあたり、ロボット発話データを生成するための回答を生成する複数の装置の中から、前記第2の音声情報の内容に適した前記複数の装置の中のいずれかの装置に対して前記第2の音声情報に関する情報を送信する
ことを特徴とする請求項1~8のいずれか一項に記載の情報処理装置。 - ユーザによる発話音声を示す音声情報の入力を受け付ける受付ステップと、
前記音声情報に基づいて、前記発話音声に対する返事に相当するロボット発話データを生成する生成ステップと、
前記ロボット発話データを出力する出力ステップと、を含み、
前記生成ステップは、前記受付ステップが第1の音声情報を受け付けると、前記第1の音声情報を解析した解析結果に基づく第1のロボット発話データの生成を開始し、前記受付ステップが前記第1の音声情報とは異なる第2の音声情報を受け付け、前記第2の音声情報を受け付けたのが前記第1の音声情報を受け付けてから所定時間内であった場合であって、前記第2の音声情報に、前記第1の音声情報に含まれる第1の単語と同じカテゴリの第2の単語が含まれているときに、少なくとも、前記第2の音声情報に基づいて、第2のロボット発話データを生成し、
前記生成ステップは、前記ユーザに対して問い合わせをするためのロボット発話データを生成するとともに、当該問い合わせに対する回答として望まれる言葉のカテゴリを決定し、
前記生成ステップは、前記問い合わせに対する回答としての、前記第1の音声情報と前記第2の音声情報とを受け付けた場合に、前記第1の音声情報に前記決定したカテゴリに属する単語が前記第1の単語として含まれており、前記第2の音声情報に前記決定したカテゴリに属する単語が前記第2の単語として含まれていたときに、少なくとも前記第2の音声情報に基づいて、ロボット発話データを生成し、
前記出力ステップは、前記第2のロボット発話データを出力する
コンピュータが実行する音声出力方法。 - コンピュータに、
ユーザによる発話音声を示す音声情報の入力を受け付ける受付機能と、
前記音声情報に基づいて、前記発話音声に対する返事に相当するロボット発話データを生成する生成機能と、
前記ロボット発話データを出力する出力機能と、を実現させ、
前記生成機能は、前記受付機能が第1の音声情報を受け付けると、前記第1の音声情報を解析した解析結果に基づく第1のロボット発話データの生成を開始し、前記受付機能が前記第1の音声情報とは異なる第2の音声情報を受け付け、前記第2の音声情報を受け付けたのが前記第1の音声情報を受け付けてから所定時間内であった場合であって、前記第2の音声情報に、前記第1の音声情報に含まれる第1の単語と同じカテゴリの第2の単語が含まれているときに、少なくとも、前記第2の音声情報に基づいて、第2のロボット発話データを生成し、
前記生成機能は、前記ユーザに対して問い合わせをするためのロボット発話データを生成するとともに、当該問い合わせに対する回答として望まれる言葉のカテゴリを決定し、
前記生成機能は、前記問い合わせに対する回答としての、前記第1の音声情報と前記第2の音声情報とを受け付けた場合に、前記第1の音声情報に前記決定したカテゴリに属する単語が前記第1の単語として含まれており、前記第2の音声情報に前記決定したカテゴリに属する単語が前記第2の単語として含まれていたときに、少なくとも前記第2の音声情報に基づいて、ロボット発話データを生成し、
前記出力機能は、前記第2のロボット発話データを出力する
音声出力プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020119482A JP7058305B2 (ja) | 2020-07-10 | 2020-07-10 | 情報処理装置、音声出力方法、音声出力プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020119482A JP7058305B2 (ja) | 2020-07-10 | 2020-07-10 | 情報処理装置、音声出力方法、音声出力プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018147243A Division JP6761007B2 (ja) | 2018-08-03 | 2018-08-03 | 情報処理装置、音声出力方法、音声出力プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187773A JP2020187773A (ja) | 2020-11-19 |
JP7058305B2 true JP7058305B2 (ja) | 2022-04-21 |
Family
ID=73221913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020119482A Active JP7058305B2 (ja) | 2020-07-10 | 2020-07-10 | 情報処理装置、音声出力方法、音声出力プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7058305B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091489A (ja) | 2000-09-13 | 2002-03-27 | Alpine Electronics Inc | 音声認識装置 |
JP2004333641A (ja) | 2003-05-01 | 2004-11-25 | Nippon Telegr & Teleph Corp <Ntt> | 音声入力処理方法、音声対話用表示制御方法、音声入力処理装置、音声対話用表示制御装置、音声入力処理プログラム、音声対話用表示制御プログラム |
JP2006184371A (ja) | 2004-12-27 | 2006-07-13 | Nissan Motor Co Ltd | 音声認識装置および音声認識方法 |
JP2014142566A (ja) | 2013-01-25 | 2014-08-07 | Alpine Electronics Inc | 音声認識システムおよび音声認識方法 |
JP2017058673A (ja) | 2015-09-17 | 2017-03-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 対話処理装置及び方法と知能型対話処理システム |
WO2019107145A1 (ja) | 2017-11-28 | 2019-06-06 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
-
2020
- 2020-07-10 JP JP2020119482A patent/JP7058305B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091489A (ja) | 2000-09-13 | 2002-03-27 | Alpine Electronics Inc | 音声認識装置 |
JP2004333641A (ja) | 2003-05-01 | 2004-11-25 | Nippon Telegr & Teleph Corp <Ntt> | 音声入力処理方法、音声対話用表示制御方法、音声入力処理装置、音声対話用表示制御装置、音声入力処理プログラム、音声対話用表示制御プログラム |
JP2006184371A (ja) | 2004-12-27 | 2006-07-13 | Nissan Motor Co Ltd | 音声認識装置および音声認識方法 |
JP2014142566A (ja) | 2013-01-25 | 2014-08-07 | Alpine Electronics Inc | 音声認識システムおよび音声認識方法 |
JP2017058673A (ja) | 2015-09-17 | 2017-03-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 対話処理装置及び方法と知能型対話処理システム |
WO2019107145A1 (ja) | 2017-11-28 | 2019-06-06 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020187773A (ja) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887604B1 (en) | Speech interface device with caching component | |
US10991374B2 (en) | Request-response procedure based voice control method, voice control device and computer readable storage medium | |
JP5598998B2 (ja) | 音声翻訳システム、第一端末装置、音声認識サーバ装置、翻訳サーバ装置、および音声合成サーバ装置 | |
JP4518619B2 (ja) | ネットワークの制御方法 | |
US8117036B2 (en) | Non-disruptive side conversation information retrieval | |
JP6054283B2 (ja) | 音声認識端末、サーバ、サーバの制御方法、音声認識システム、音声認識端末の制御プログラム、サーバの制御プログラムおよび音声認識端末の制御方法 | |
JP2017107078A (ja) | 音声対話方法、音声対話装置及び音声対話プログラム | |
KR102489914B1 (ko) | 전자 장치 및 이의 제어 방법 | |
JP2004288018A (ja) | 対話制御システム及び方法 | |
JP6078964B2 (ja) | 音声対話システム及びプログラム | |
KR20190075800A (ko) | 지능형 개인 보조 인터페이스 시스템 | |
KR20120107933A (ko) | 음성번역 시스템, 제어장치, 및 제어방법 | |
JPH1031497A (ja) | 音声対話制御方法および音声対話システム | |
JP2003263188A (ja) | 対話フォーカス追跡機能を有する音声命令解釈装置及びその方法並びにその方法を記録したコンピュータで読込み可能な記録媒体 | |
JP7347217B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
CN111192577B (zh) | 交流装置及交流装置的控制程序 | |
CN111556999B (zh) | 通过即时提供实质性回答以提供自然语言对话的方法、计算机装置及计算机可读存储介质 | |
JP7058305B2 (ja) | 情報処理装置、音声出力方法、音声出力プログラム | |
CN110659361B (zh) | 一种对话方法、装置、设备及介质 | |
JP6761007B2 (ja) | 情報処理装置、音声出力方法、音声出力プログラム | |
KR20210066651A (ko) | 전자 장치 및 이의 제어 방법 | |
KR20200119035A (ko) | 대화 시스템, 전자장치 및 대화 시스템의 제어 방법 | |
JP7055327B2 (ja) | 会話収集装置、会話収集システム及び会話収集方法 | |
KR20210098250A (ko) | 전자 장치 및 이의 제어 방법 | |
JP6468069B2 (ja) | 電子機器制御システム、サーバー、及び、端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7058305 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |