JP6736617B2 - 音声対話方法、及び、音声対話エージェントサーバ - Google Patents
音声対話方法、及び、音声対話エージェントサーバ Download PDFInfo
- Publication number
- JP6736617B2 JP6736617B2 JP2018145020A JP2018145020A JP6736617B2 JP 6736617 B2 JP6736617 B2 JP 6736617B2 JP 2018145020 A JP2018145020 A JP 2018145020A JP 2018145020 A JP2018145020 A JP 2018145020A JP 6736617 B2 JP6736617 B2 JP 6736617B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- agent
- input
- voice interaction
- agent server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L15/222—Barge in, i.e. overridable guidance for interrupting prompts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Description
このことによって、ユーザは、各音声対話エージェントサーバにおいてどのようなサービスが提供されているかを知らなくても、より適切な音声対話エージェントサーバからサービスの提供を受けることができるようになる。また、この場合には、音声対話エージェントサーバAは、入力音声を、そのまま音声対話エージェントサーバBに転送することになるので、音声対話エージェントサーバBは、その入力音声そのものに対して音声認識処理そのものを行うことができる。このため、ユーザは、より適切なサービスの提供を受けることができるようになる。
<概要>
以下、本発明に係る音声対話方法の一態様、及び本発明に係る機器の一態様として、宅内、車内等に設置された機器と、これら機器と通信する音声対話エージェントサーバとを含んで構成される音声対話システムについて説明する。
図1は、音声対話システム100の構成を示すシステム構成図である。
音声対話システム100は、その特徴的な動作として、第1機器処理と、第1エージェント処理とを行う。
第1機器処理は、機器140が行う処理であって、(1)ユーザによって音声入力開始操作がなされると、(2)ユーザからの音声による入力を受け付けて入力音声データを生成し、(3)生成した入力音声データを音声対話エージェントに送信し、(4)音声対話エージェントから返信された応答音声データを受信して、(5)受信した応答音声データに基づく音声を出力する処理である。
第1エージェント処理は、音声対話エージェント400が行う処理であって、(1)機器から送信された入力音声データを受信し、(2)受信した入力音声データに対して音声認識処理を行って、入力テキストを生成して機器に返信し、(3)生成した入力テキストデータに基づいて命令群を生成して実行し、(4)実行結果に基づいて応答テキストを生成し、(5)生成した応答テキストを応答音声データに変換して、(6)応答テキストと応答音声データとを機器に返信する処理である。
図10は、音声対話システム100を利用するユーザが、機器140(ここでは、仮に、スマートフォンであるとする。)を用いて、音声対話エージェント400と音声を用いた対話を行い、音声対話エージェント400が、その対話の内容が反映された処理を行っている様子を模式的に示す処理手順図である。
上記構成の音声対話システム100によると、音声対話システム100を利用するユーザは、機器140に対して音声入力開始操作を行うことで、機器140の状態を、音声入力受付可能状態にして、音声入力を行う。そして、その後、所定時間T1が経過すれば、ユーザによって、機器140の状態を音声入力受付不可能状態にするための操作が行われなくても、機器140の状態が、音声入力受付不可能状態になる。
<実施の形態2>
<概要>
以下、本発明に係る音声対話方法の一態様、及び本発明に係る機器の一態様として、実施の形態1における音声対話システム100の一部が変形された第1変形音声対話システムについて説明する。
第1変形音声対話システムは、実施の形態1における音声対話システム100から、機器140が、機器1300に変更されるように変形されている。
第1変形音声対話システムは、その特徴的な動作として、実施の形態1における第1エージェント処理に加えて、実施の形態1における第1機器処理から、その処理の一部が変更された第2機器処理を行う。
第2機器処理は、機器1300が行う処理であって、(1)ユーザによって音声入力開始操作がなされると、(2)ユーザからの音声による入力を受け付けて入力音声データを生成し、(3)生成した入力音声データを音声対話エージェントに送信し、(4)音声対話エージェントから返信された応答音声データを受信して、(5)受信した応答音声データに基づく音声を出力し、(6)その音声が対話終了音声でなければ、ユーザによって音声入力開始操作がなされなくても、再び(2)以下の処理を繰り返す処理である。
図16は、第1変形音声対話システムを利用するユーザが、機器1300(ここでは、仮に、スマートフォンであるとする。)を用いて、音声対話エージェント400と音声を用いた対話を行い、音声対話エージェント400が、その対話の内容が反映された処理を行っている様子を模式的に示す処理手順図である。
上記構成の第1変形音声対話システムによると、機器1300は、音声対話エージェント400から送られてきた応答音声データに基づく音声を出力した場合に、その音声が対話終了音声でなければ、機器1300を利用するユーザによって音声入力操作がなされなくとも、音声入力受付可能状態となる。
<実施の形態3>
<概要>
以下、本発明に係る音声対話方法の一態様、及び本発明に係る機器の一態様として、実施の形態1における音声対話システム100の一部が変形された第2変形音声対話システムについて説明する。
第2変形音声対話システムは、実施の形態1における音声対話システム100から、機器140が、機器1700に変更されるように変形されている。
第2変形音声対話システムは、その特徴的な動作として、実施の形態1における第1エージェント処理に加えて、実施の形態1における第1機器処理から、その処理の一部が変更された第3機器処理を行う。
第3機器処理は、機器1700が行う処理であって、(1)ユーザによって音声入力開始操作がなされると、(2)ユーザからの音声による入力を受け付けて入力音声データを生成し、(3)生成した入力音声データを音声対話エージェントに送信し、(4)音声対話エージェントから返信された応答音声データを受信して、(5)受信した応答音声データに基づく音声を出力し、(6)その音声が対話終了音声でなければ、ユーザによって音声入力開始操作がなされなくても、再び(2)以下の処理を繰り返す処理である。
図21は、第2変形音声対話システムを利用するユーザが、機器1700(ここでは、仮に、スマートフォンであるとする。)を用いて、音声対話エージェント400と音声を用いた対話を行い、音声対話エージェント400が、その対話の内容が反映された処理を行っている様子を模式的に示す処理手順図である。
上記構成の第2変形音声対話システムによると、機器1700は、一旦、音声入力開始操作がなされると、その操作がなされた時点から、対話終了音声を出力するまでは、音声入力が可能な状態を維持する。
<実施の形態4>
<概要>
以下、本発明に係る音声対話方法の一態様、及び本発明に係る機器の一態様として、実施の形態3における第2変形音声対話システムの一部が変形された第3変形音声対話システムについて説明する。
第3変形音声対話システムは、実施の形態3における第2変形音声対話システムから、音声対話エージェント400が、音声対話エージェント2200に変更されるように変形されている。
第3変形音声対話システムは、その特徴的な動作として、実施の形態3における第1機器処理に加えて、実施の形態3における第1エージェント処理から、その処理の一部が変更された、第2エージェント処理と第3エージェント処理とを行う。
第2エージェント処理は、音声対話エージェント2200が行う処理であって、(1)機器から送信された入力音声データを受信し、(2)受信した入力音声データに対して音声認識処理を行って、入力テキストを生成して機器に返信し、(3)生成した入力テキストが、他の音声対話エージェントとの間で通信を行いたい旨を示すものである場合に、機器とその音声対話エージェントとの間の通信を実現させ、(4)そうでない場合に、生成した入力テキストに基づいて命令群を生成して実行し、(5)実行結果に基づいて応答テキストを生成し、(6)生成した応答テキストを応答音声データに変換して、(7)応答テキストと応答音声データとを機器に返信する処理である。
切断応答処理が終了した場合、又は、ステップS2560の処理が終了した場合に、音声対話エージェント2200は、その第2命令実行処理を終了する。
第3エージェント処理は、音声対話エージェント2200が行う処理であって、(1)他の音声入力エージェントからの要求に応じて機器との通信を開始し、(2)機器から送信された入力音声データを受信し、(3)受信した入力音声データに対して音声認識処理を行って、入力テキストを生成して機器に返信し、(4)生成した入力テキストに基づいて命令群を生成して実行し、(5)実行結果に基づいて応答テキストを生成し、(6)生成した応答テキストを応答音声データに変換して、(7)応答テキストと応答音声データとを機器に返信する処理である。
図29は、第3変形音声対話システムを利用するユーザが、機器1700を用いて、音声対話エージェント2200のうちの1つである家エージェントと音声を用いた対話を開始し、その後、家エージェントによって生成された接続命令によって、音声対話エージェント2200のうちの他の1つである車エージェントとの間の通信が開始されて、そのユーザが、車エージェントとの対話を行う様子を模式的に示す処理手順図である。
上記構成の第3変形音声対話システムによると、第3変形音声対話システムを利用するユーザは、音声対話エージェントAと通信している場合において、音声対話エージェントAよりも、音声対話エージェントBに処理を行わせる方が望ましいと考えたときに、通信して処理させる音声対話エージェントを、音声対話エージェントAから音声対話エージェントBに変更して、所望の処理を音声対話エージェントBに実行させることができるようになる。
<実施の形態5>
<概要>
以下、本発明に係る音声対話方法の一態様、及び本発明に係る機器の一態様として、実施の形態4における第3変形音声対話システムの一部が変形された第4変形音声対話システムについて説明する。
第4変形音声対話システムは、実施の形態4における第3変形音声対話システムから、音声対話エージェント2200が、音声対話エージェント3000に変更されるように変形されている。
第4変形音声対話システムは、その特徴的な動作として、実施の形態4における第2機器処理と、第3エージェント処理とに加えて、実施の形態3における第2エージェント処理から、その処理の一部が変更された第4エージェント処理を行う。
第4エージェント処理は、音声対話エージェント3000が行う処理であって、(1)機器から送信された入力音声データを受信し、(2)受信した入力音声データに対して音声認識処理を行って、入力テキストを生成して機器に返信し、(3)生成した入力テキストに所定のキーワードが含まれている場合に、機器と、そのキーワードに対応付けられている対象エージェントとの間の通信を実現させ、(4)そうでない場合に、生成した入力テキストに基づいて命令群を生成して実行し、(5)実行結果に基づいて応答テキストを生成し、(6)生成した応答テキストを応答音声データに変換して、(7)応答テキストと応答音声データとを機器に返信する処理である。
図35は、第4変形音声対話システムを利用するユーザが、機器1700を用いて、音声対話エージェント3000のうちの1つである家エージェントと音声を用いた対話を開始し、その後、家エージェントによって生成された接続命令によって、音声対話エージェント3000のうちの他の1つである車エージェントとの間の通信が開始されて、そのユーザが、車エージェントとの対話を行う様子を模式的に示す処理手順図である。
上記構成の第4変形音声対話システムによると、第3変形音声対話システムを利用するユーザが音声対話エージェントAと通信している場合において、音声対話エージェントAが、音声対話エージェントAよりも音声対話エージェントBの方を通信相手とすべきであると判定した場合には、ユーザの通信相手の音声対話エージェントを、音声対話エージェントAから音声対話エージェントBに変更することができるようになる。
ここでは、実施の形態1における音声対話システム100が運用される運用形態の一例について例示する。もちろん、実施の形態1における音声対話システム100は、ここで例示する以外の運用形態で運用されても構わない。
図37は、サービスの類型1(自社データセンタ型)を模式的に示す模式図である。
図38は、サービスの類型2(IaaS利用型)を模式的に示す模式図である。ここでIaaSとはインフラストラクチャー・アズ・ア・サービスの略であり、コンピュータシステムを構築及び稼動させるための基盤そのものを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
図39は、サービスの類型3(PaaS利用型)を模式的に示す模式図である。ここでPaaSとはプラットフォーム・アズ・ア・サービスの略であり、ソフトウエアを構築及び稼動させるための土台となるプラットフォームを、インターネット経由のサービスとして提供するクラウドサービス提供モデルである。
図40は、サービスの類型4(SaaS利用型)を模式的に示す模式図である。ここでSaaSとはソフトウエア・アズ・ア・サービスの略である。例えばデータセンタ(クラウドサーバ)を保有しているプラットフォーム提供者が提供するアプリケーションを、データセンタ(クラウドサーバ)を保有していない会社・個人(利用者)がインターネットなどのネットワーク経由で使用できる機能を有するクラウドサービス提供モデルである。
<補足>
以上、本発明に係る音声対話方法の一態様、及び本発明に係る機器の一態様として、実施の形態1〜実施の形態5において、5つの音声対話システムを例示して、また、実施の形態6において、音声対話システムの運用形態を例示して説明したが、以下のように変形することも可能であり、実施の形態1〜実施の形態6において例示した音声対話システム又はその運用形態で用いられた通りの、音声対話方法、及び機器に限られないことはもちろんである。
110 音声対話エージェントサーバ
120 ネットワーク
130 ゲートウエイ
140 機器
210 制御部
220 音声入力部
230 操作受付部
240 アドレス記憶部
250 通信部
260 音声出力部
270 表示部
280 実行部
400 音声対話エージェント
410 制御部
420 通信部
430 音声認識処理部
440 対話DB記憶部
450 音声合成処理部
460 命令生成部
Claims (5)
- 音声対話エージェントサーバによって行われる音声対話方法であって、
前記音声対話エージェントサーバは、前記音声対話エージェントサーバおよび他の音声対話エージェントサーバと1以上のキーワードとを対応付けるエージェント情報を記憶するメモリを備え、
前記音声対話方法は、
少なくとも1つのキーワードを含む入力音声信号を受け付け、
前記入力音声信号に対して音声認識処理を行い、
前記音声認識処理の結果と前記メモリに記憶されるエージェント情報とに基づいて、当該入力音声信号に基づく処理を、前記音声対話エージェントサーバと前記他の音声対話エージェントサーバとのいずれで行うかを決定し、
前記決定において、前記音声対話エージェントサーバで行うと決定された場合、前記音声認識処理の結果に基づく処理を行い、当該処理に係る応答音声信号を生成して出力し、
前記決定において、前記他の音声対話エージェントサーバで行うと決定された場合、受信した前記入力音声信号を前記他の音声対話エージェントサーバへ転送し、
前記入力音声信号は機器から送信され、
前記決定において、前記音声対話エージェントサーバで行うと決定された場合、前記入力音声信号をそのまま前記他の音声対話エージェントサーバへ転送した後、前記他の音声対話エージェントサーバから前記機器との通信終了の信号を受信するまで前記音声入力信号を受け付けない、
音声対話方法。 - 前記決定において、前記音声対話エージェントサーバで行うと決定された場合、前記音声認識処理の結果に基づく処理に係る応答テキスト信号をさらに出力する、
請求項1記載の音声対話方法。 - 前記他の音声対話エージェントサーバは複数であり、
前記エージェント情報は、前記他の音声対話エージェントサーバを識別する識別子と、前記キーワードとを対応付ける情報であり、
前記音声認識処理の結果に前記キーワードのいずれかが含まれる場合に、前記エージェント情報において当該キーワードに対応付けられた識別子によって識別される他の音声対話エージェントサーバを、前記入力音声信号に基づく処理を行う他の音声対話エージェントサーバとして決定するように、前記決定を行う
請求項1記載の音声対話方法。 - 前記識別子は、前記他の音声対話エージェントサーバのIPアドレスである、
請求項3記載の音声対話方法。 - 音声対話エージェントサーバであって、
前記音声対話エージェントサーバおよび他の音声対話エージェントサーバと1以上のキーワードとを対応付けるエージェント情報を記憶するメモリと、
ネットワークと接続する通信部と、
プロセッサとを備え、
前記通信部は、少なくとも1つのキーワードを含む入力音声信号を受け付け、
前記プロセッサは、
前記入力音声信号に対して音声認識処理を行い、
前記音声認識処理の結果と前記メモリに記憶されるエージェント情報とに基づいて、当該入力音声信号に基づく処理を、前記音声対話エージェントサーバと前記他の音声対話エージェントサーバとのいずれで行うかを決定し、
前記決定において、前記音声対話エージェントサーバで行うと決定された場合、前記音声認識処理の結果に基づく処理を行い、当該処理に係る応答音声信号を生成し、前記応答音声信号を前記通信部から出力させ、
前記決定において、前記他の音声対話エージェントサーバで行うと決定された場合、受信した前記入力音声信号を、前記通信部から前記他の音声対話エージェントサーバへ転送させ、
前記入力音声信号は機器から送信され、
前記決定において、前記音声対話エージェントサーバで行うと決定された場合、前記入力音声信号をそのまま前記他の音声対話エージェントサーバへ転送した後、前記他の音声対話エージェントサーバから前記機器との通信終了の信号を受信するまで前記音声入力信号を受け付けない、
音声対話エージェントサーバ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361836763P | 2013-06-19 | 2013-06-19 | |
US61/836,763 | 2013-06-19 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015522541A Division JP6389171B2 (ja) | 2013-06-19 | 2014-06-10 | 音声対話方法、及び機器 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020121084A Division JP7072610B2 (ja) | 2013-06-19 | 2020-07-15 | 音声対話方法、及び音声対話エージェントサーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018189984A JP2018189984A (ja) | 2018-11-29 |
JP6736617B2 true JP6736617B2 (ja) | 2020-08-05 |
Family
ID=52104247
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015522541A Active JP6389171B2 (ja) | 2013-06-19 | 2014-06-10 | 音声対話方法、及び機器 |
JP2018145020A Active JP6736617B2 (ja) | 2013-06-19 | 2018-08-01 | 音声対話方法、及び、音声対話エージェントサーバ |
JP2020121084A Active JP7072610B2 (ja) | 2013-06-19 | 2020-07-15 | 音声対話方法、及び音声対話エージェントサーバ |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015522541A Active JP6389171B2 (ja) | 2013-06-19 | 2014-06-10 | 音声対話方法、及び機器 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020121084A Active JP7072610B2 (ja) | 2013-06-19 | 2020-07-15 | 音声対話方法、及び音声対話エージェントサーバ |
Country Status (5)
Country | Link |
---|---|
US (2) | US9564129B2 (ja) |
EP (1) | EP3012833B1 (ja) |
JP (3) | JP6389171B2 (ja) |
CN (2) | CN108806690B (ja) |
WO (1) | WO2014203495A1 (ja) |
Families Citing this family (103)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
CN104969289B (zh) | 2013-02-07 | 2021-05-28 | 苹果公司 | 数字助理的语音触发器 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
JP6389171B2 (ja) * | 2013-06-19 | 2018-09-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 音声対話方法、及び機器 |
US9966065B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | Multi-command single utterance input method |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
US9886953B2 (en) * | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
JP6391887B2 (ja) * | 2016-04-11 | 2018-09-19 | 三菱電機株式会社 | 応答生成装置、対話制御システムおよび応答生成方法 |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
CN115719592A (zh) * | 2016-08-15 | 2023-02-28 | 中兴通讯股份有限公司 | 一种语音信息处理方法和装置 |
JP2018054790A (ja) * | 2016-09-28 | 2018-04-05 | トヨタ自動車株式会社 | 音声対話システムおよび音声対話方法 |
CN108279839A (zh) * | 2017-01-05 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 基于语音的交互方法、装置、电子设备及操作系统 |
US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
WO2018213415A1 (en) * | 2017-05-16 | 2018-11-22 | Apple Inc. | Far-field extension for digital assistant services |
JP2019057093A (ja) * | 2017-09-20 | 2019-04-11 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2019109567A (ja) * | 2017-12-15 | 2019-07-04 | オンキヨー株式会社 | 電子機器、及び、電子機器の制御プログラム |
KR101881744B1 (ko) * | 2017-12-18 | 2018-07-25 | 주식회사 머니브레인 | 대화형 ai 에이전트 시스템을 위한 계층적 대화 흐름 관리 모델을 자동으로 구축 또는 갱신하는 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체 |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
JP7133969B2 (ja) * | 2018-04-27 | 2022-09-09 | シャープ株式会社 | 音声入力装置、及び遠隔対話システム |
WO2019212569A1 (en) | 2018-05-04 | 2019-11-07 | Google Llc | Adapting automated assistant based on detected mouth movement and/or gaze |
KR102661487B1 (ko) | 2018-05-04 | 2024-04-26 | 구글 엘엘씨 | 검출된 제스처 및 시선에 기초하여 자동화된 어시스턴트 기능 호출 |
JP7263505B2 (ja) | 2018-05-04 | 2023-04-24 | グーグル エルエルシー | ホットワードを用いない自動アシスタント機能の適応 |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US11869496B2 (en) | 2018-05-25 | 2024-01-09 | Sony Corporation | Information processing device and information processing method, and information processing system |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DE112019003189T5 (de) | 2018-06-25 | 2021-04-08 | Sony Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungssystem |
US10942039B2 (en) * | 2018-08-06 | 2021-03-09 | Comcast Cable Communications, Llc | Methods and systems for managing communication sessions |
WO2020040753A1 (en) * | 2018-08-21 | 2020-02-27 | Google Llc | Automated assistant invocation of second interactive module using supplemental data provided by first interactive module |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
WO2020105466A1 (ja) * | 2018-11-21 | 2020-05-28 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
JP7002823B2 (ja) * | 2018-12-06 | 2022-01-20 | アルパイン株式会社 | 案内音声出力制御システムおよび案内音声出力制御方法 |
JP6555838B1 (ja) * | 2018-12-19 | 2019-08-07 | Jeインターナショナル株式会社 | 音声問合せシステム、音声問合せ処理方法、スマートスピーカー運用サーバー装置、チャットボットポータルサーバー装置、およびプログラム。 |
US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
JP7175221B2 (ja) * | 2019-03-06 | 2022-11-18 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP7198122B2 (ja) * | 2019-03-07 | 2022-12-28 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
JP7280074B2 (ja) * | 2019-03-19 | 2023-05-23 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
CN110718219B (zh) * | 2019-09-12 | 2022-07-22 | 百度在线网络技术(北京)有限公司 | 一种语音处理方法、装置、设备和计算机存储介质 |
US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
JP2021117301A (ja) * | 2020-01-23 | 2021-08-10 | トヨタ自動車株式会社 | エージェントシステム、端末装置およびエージェントプログラム |
JP7264071B2 (ja) * | 2020-01-23 | 2023-04-25 | トヨタ自動車株式会社 | 情報処理システム、情報処理装置、及びプログラム |
JP2021117302A (ja) | 2020-01-23 | 2021-08-10 | トヨタ自動車株式会社 | エージェントシステム、エージェントサーバおよびエージェントプログラム |
JP2021117296A (ja) * | 2020-01-23 | 2021-08-10 | トヨタ自動車株式会社 | エージェントシステム、端末装置およびエージェントプログラム |
CN111292716A (zh) | 2020-02-13 | 2020-06-16 | 百度在线网络技术(北京)有限公司 | 语音芯片和电子设备 |
JP2021152589A (ja) * | 2020-03-24 | 2021-09-30 | シャープ株式会社 | 電子機器の制御装置、制御プログラム、制御方法、電子機器 |
US11043220B1 (en) | 2020-05-11 | 2021-06-22 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
JP7347324B2 (ja) | 2020-05-18 | 2023-09-20 | トヨタ自動車株式会社 | エージェント連携装置 |
JP7380415B2 (ja) | 2020-05-18 | 2023-11-15 | トヨタ自動車株式会社 | エージェント制御装置 |
JP7310705B2 (ja) * | 2020-05-18 | 2023-07-19 | トヨタ自動車株式会社 | エージェント制御装置、エージェント制御方法、及びエージェント制御プログラム |
JP7380416B2 (ja) | 2020-05-18 | 2023-11-15 | トヨタ自動車株式会社 | エージェント制御装置 |
JP7318587B2 (ja) | 2020-05-18 | 2023-08-01 | トヨタ自動車株式会社 | エージェント制御装置 |
JP2021182052A (ja) * | 2020-05-18 | 2021-11-25 | トヨタ自動車株式会社 | エージェント連携装置 |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US20220287110A1 (en) * | 2021-03-05 | 2022-09-08 | Samsung Electronics Co., Ltd. | Electronic device and method for connecting device thereof |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7174299B2 (en) | 1995-08-18 | 2007-02-06 | Canon Kabushiki Kaisha | Speech recognition system, speech recognition apparatus, and speech recognition method |
JP2002116797A (ja) * | 2000-10-11 | 2002-04-19 | Canon Inc | 音声処理装置、音声処理方法及び記憶媒体 |
AUPO214096A0 (en) * | 1996-09-04 | 1996-09-26 | Telefonaktiebolaget Lm Ericsson (Publ) | A telecommunications system and method for automatic call recognition and distribution |
JP3873386B2 (ja) | 1997-07-22 | 2007-01-24 | 株式会社エクォス・リサーチ | エージェント装置 |
US6249720B1 (en) | 1997-07-22 | 2001-06-19 | Kabushikikaisha Equos Research | Device mounted in vehicle |
US6229880B1 (en) * | 1998-05-21 | 2001-05-08 | Bell Atlantic Network Services, Inc. | Methods and apparatus for efficiently providing a communication system with speech recognition capabilities |
US6636831B1 (en) * | 1999-04-09 | 2003-10-21 | Inroad, Inc. | System and process for voice-controlled information retrieval |
JP4193300B2 (ja) | 1999-08-17 | 2008-12-10 | 株式会社エクォス・リサーチ | エージェント装置 |
JP2001319045A (ja) * | 2000-05-11 | 2001-11-16 | Matsushita Electric Works Ltd | 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体 |
GB2372864B (en) * | 2001-02-28 | 2005-09-07 | Vox Generation Ltd | Spoken language interface |
US7177402B2 (en) * | 2001-03-01 | 2007-02-13 | Applied Voice & Speech Technologies, Inc. | Voice-activated interactive multimedia information processing system |
US7003079B1 (en) * | 2001-03-05 | 2006-02-21 | Bbnt Solutions Llc | Apparatus and method for monitoring performance of an automated response system |
US7039166B1 (en) * | 2001-03-05 | 2006-05-02 | Verizon Corporate Services Group Inc. | Apparatus and method for visually representing behavior of a user of an automated response system |
US7573986B2 (en) * | 2001-07-18 | 2009-08-11 | Enterprise Integration Group, Inc. | Method and system for interjecting comments to improve information presentation in spoken user interfaces |
JP2003241797A (ja) * | 2002-02-22 | 2003-08-29 | Fujitsu Ltd | 音声対話システム |
US7398209B2 (en) | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
US7228275B1 (en) * | 2002-10-21 | 2007-06-05 | Toyota Infotechnology Center Co., Ltd. | Speech recognition system having multiple speech recognizers |
JP2004233794A (ja) | 2003-01-31 | 2004-08-19 | Toshiba Corp | 音声認識装置、及び音声認識方法 |
JP2004239963A (ja) * | 2003-02-03 | 2004-08-26 | Mitsubishi Electric Corp | 車載制御装置 |
JP2004240150A (ja) | 2003-02-05 | 2004-08-26 | Nippon Telegr & Teleph Corp <Ntt> | 音声対話装置、音声対話装置選択方法、プログラム及び記録媒体 |
JP3678421B2 (ja) * | 2003-02-19 | 2005-08-03 | 松下電器産業株式会社 | 音声認識装置及び音声認識方法 |
US7460652B2 (en) * | 2003-09-26 | 2008-12-02 | At&T Intellectual Property I, L.P. | VoiceXML and rule engine based switchboard for interactive voice response (IVR) services |
US7117051B2 (en) * | 2004-03-15 | 2006-10-03 | Tmio, Llc | Appliance communication system and method |
JP4581441B2 (ja) | 2004-03-18 | 2010-11-17 | パナソニック株式会社 | 家電機器システム、家電機器および音声認識方法 |
AU2005246437B2 (en) * | 2004-05-21 | 2011-10-06 | Voice On The Go Inc. | Remote access system and method and intelligent agent therefor |
US9224394B2 (en) * | 2009-03-24 | 2015-12-29 | Sirius Xm Connected Vehicle Services Inc | Service oriented speech recognition for in-vehicle automated interaction and in-vehicle user interfaces requiring minimal cognitive driver processing for same |
JP4623278B2 (ja) * | 2004-12-22 | 2011-02-02 | 日本電気株式会社 | 音声対話装置、支援装置、生成装置、音声対話方法、支援方法、生成方法およびプログラム |
US8880047B2 (en) * | 2005-08-03 | 2014-11-04 | Jeffrey C. Konicek | Realtime, location-based cell phone enhancements, uses, and applications |
US9866697B2 (en) * | 2005-08-19 | 2018-01-09 | Nexstep, Inc. | Consumer electronic registration, control and support concierge device and method |
US20070265831A1 (en) * | 2006-05-09 | 2007-11-15 | Itai Dinur | System-Level Correction Service |
JP2008090545A (ja) | 2006-09-29 | 2008-04-17 | Toshiba Corp | 音声対話装置および音声対話方法 |
DE112007002665B4 (de) | 2006-12-15 | 2017-12-28 | Mitsubishi Electric Corp. | Spracherkennungssystem |
US8713542B2 (en) * | 2007-02-27 | 2014-04-29 | Nuance Communications, Inc. | Pausing a VoiceXML dialog of a multimodal application |
US8150020B1 (en) * | 2007-04-04 | 2012-04-03 | At&T Intellectual Property Ii, L.P. | System and method for prompt modification based on caller hang ups in IVRs |
CN101079885B (zh) * | 2007-06-26 | 2010-09-01 | 中兴通讯股份有限公司 | 一种提供自动语音识别统一开发平台的系统和方法 |
WO2009004750A1 (ja) | 2007-07-02 | 2009-01-08 | Mitsubishi Electric Corporation | 音声認識装置 |
US8140335B2 (en) * | 2007-12-11 | 2012-03-20 | Voicebox Technologies, Inc. | System and method for providing a natural language voice user interface in an integrated voice navigation services environment |
US8589161B2 (en) * | 2008-05-27 | 2013-11-19 | Voicebox Technologies, Inc. | System and method for an integrated, multi-modal, multi-device natural language voice services environment |
US8311838B2 (en) * | 2010-01-13 | 2012-11-13 | Apple Inc. | Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts |
DE112011100329T5 (de) * | 2010-01-25 | 2012-10-31 | Andrew Peter Nelson Jerram | Vorrichtungen, Verfahren und Systeme für eine Digitalkonversationsmanagementplattform |
JP2011232619A (ja) * | 2010-04-28 | 2011-11-17 | Ntt Docomo Inc | 音声認識装置および音声認識方法 |
JP2013529794A (ja) * | 2010-06-24 | 2013-07-22 | 本田技研工業株式会社 | 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法 |
US9536197B1 (en) * | 2011-04-22 | 2017-01-03 | Angel A. Penilla | Methods and systems for processing data streams from data producing objects of vehicle and home entities and generating recommendations and settings |
JP2013114020A (ja) * | 2011-11-29 | 2013-06-10 | Seiko Epson Corp | 音声処理装置及び音声処理装置の制御方法 |
US10276157B2 (en) * | 2012-10-01 | 2019-04-30 | Nuance Communications, Inc. | Systems and methods for providing a voice agent user interface |
US9300718B2 (en) * | 2013-04-09 | 2016-03-29 | Avaya Inc. | System and method for keyword-based notification and delivery of content |
US10546441B2 (en) * | 2013-06-04 | 2020-01-28 | Raymond Anthony Joao | Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles |
JP6389171B2 (ja) * | 2013-06-19 | 2018-09-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 音声対話方法、及び機器 |
-
2014
- 2014-06-10 JP JP2015522541A patent/JP6389171B2/ja active Active
- 2014-06-10 US US14/777,920 patent/US9564129B2/en not_active Ceased
- 2014-06-10 CN CN201810908919.9A patent/CN108806690B/zh active Active
- 2014-06-10 US US16/268,938 patent/USRE49014E1/en active Active
- 2014-06-10 CN CN201480021678.6A patent/CN105144285B/zh active Active
- 2014-06-10 EP EP14814417.3A patent/EP3012833B1/en active Active
- 2014-06-10 WO PCT/JP2014/003097 patent/WO2014203495A1/ja active Application Filing
-
2018
- 2018-08-01 JP JP2018145020A patent/JP6736617B2/ja active Active
-
2020
- 2020-07-15 JP JP2020121084A patent/JP7072610B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020173477A (ja) | 2020-10-22 |
JP2018189984A (ja) | 2018-11-29 |
CN108806690B (zh) | 2023-05-09 |
CN108806690A (zh) | 2018-11-13 |
JPWO2014203495A1 (ja) | 2017-02-23 |
CN105144285A (zh) | 2015-12-09 |
JP6389171B2 (ja) | 2018-09-12 |
CN105144285B (zh) | 2018-11-02 |
EP3012833A1 (en) | 2016-04-27 |
EP3012833B1 (en) | 2022-08-10 |
JP7072610B2 (ja) | 2022-05-20 |
US9564129B2 (en) | 2017-02-07 |
USRE49014E1 (en) | 2022-04-05 |
WO2014203495A1 (ja) | 2014-12-24 |
EP3012833A4 (en) | 2016-06-29 |
US20160322048A1 (en) | 2016-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6736617B2 (ja) | 音声対話方法、及び、音声対話エージェントサーバ | |
CN111123721B (zh) | 具有结合声波导和散热片的紧凑型家庭助手的设计 | |
EP3392878B1 (en) | Voice recognition apparatus and voice recognition method | |
EP3392879B1 (en) | Voice recognition apparatus and voice recognition method | |
KR101900319B1 (ko) | 서비스 연동 수행 방법과 이를 위한 시스템 | |
JP5370432B2 (ja) | 管理装置、カラオケシステム及び管理方法 | |
US10803863B2 (en) | Artificial intelligence voice recognition apparatus | |
JP6928882B2 (ja) | 情報処理装置、音声認識システム、及び、情報処理方法 | |
WO2014067256A1 (zh) | 一种遥控方法、智能终端及智能遥控系统 | |
CN107635214B (zh) | 基于蓝牙遥控器的响应方法、装置、系统及可读存储介质 | |
RU2666636C2 (ru) | Система и способ управления окружающими устройствами на основе топологии | |
CN213183580U (zh) | 电子设备 | |
KR20190043519A (ko) | 음성 인식 장치 | |
JP5344188B2 (ja) | 可搬型情報処理端末及び可搬型情報処理端末用プログラム | |
JP2009515248A (ja) | タスクを管理する方法及び装置 | |
KR20190119317A (ko) | 이동통신 단말을 이용한 음성 전달시스템 및 제어방법 | |
KR200437797Y1 (ko) | 엠피3 재생이 가능한 홈네트워크시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6736617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |