WO2020017166A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2020017166A1
WO2020017166A1 PCT/JP2019/021306 JP2019021306W WO2020017166A1 WO 2020017166 A1 WO2020017166 A1 WO 2020017166A1 JP 2019021306 W JP2019021306 W JP 2019021306W WO 2020017166 A1 WO2020017166 A1 WO 2020017166A1
Authority
WO
WIPO (PCT)
Prior art keywords
utterance
user
limited
risk
information processing
Prior art date
Application number
PCT/JP2019/021306
Other languages
English (en)
French (fr)
Inventor
真里 斎藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/250,367 priority Critical patent/US20210134272A1/en
Publication of WO2020017166A1 publication Critical patent/WO2020017166A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/10Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザ発話による処理リスクを考慮した処理制御や、発話ガイドの表示を行うことで誤動作を低減する構成を実現する。ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行部を有する。処理実行部は低リスクでない場合、リスクの説明情報を含むアラートを出力する。また、ユーザ発話が限定発話である場合、ユーザ発話の意味解析結果を取得することなくユーザ発話に対応する処理を実行する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話の音声認識結果に基づく処理や応答を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
 昨今、ユーザ発話の音声認識を行い、認識結果に基づく様々な処理や応答を行う音声認識システムの利用が増大している。
 この音声認識システムにおいては、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。
 例えばユーザが、「明日の天気を教えて」と発話した場合、天気情報提供サーバから天気情報を取得して、取得情報に基づくシステム応答を生成して、生成した応答をスピーカーから出力する。具体的には、例えば、
 システム発話=「明日の天気は晴れです。ただし、夕方、雷雨があるかもしれません」
 このようなシステム発話を出力する。
 このようにユーザ発話の音声認識を行いユーザとの会話を実現する装置は、エージェント機器、あるいはスマートスピーカー等と呼ばれ、昨今、利用が増大している。
 エージェント機器の機能も、日々、進化しており、様々な処理を行うことが可能となっている。例えば、ユーザが、「明日、8時にxxさんに写真を送って」と発話すれば、この発話に従った通り、xxさん宛のメールに写真を添付して明日の8時に送信する処理が実行される。また、ユーザが「写真を撮影して」と発話すると、写真を撮影して装置に接続されたサーバに保存するといった処理を行う。
 このエージェント機器の問題点として、例えば、ユーザがエージェント機器ではなく家族に向けた発話に対して機器が処理を実行してしまうといった誤動作がある。このような誤動作を防止するための代表的な構成として起動ワードを用いる構成がある。すなわち起動ワードを最初に発話し、その後の発話のみを受け付ける構成である。しかし、いちいち起動ワードを発話するのが面倒であるという不満も多い。
 しかし、起動ワードを用いない設定とした場合、例えば、ユーザが家族に向けて「写真」と発話した場合でも、機器が勝手に写真を撮影してサーバに送信し、いつのまにか公開されてしまうといったプライバシーの漏えいにもなりかねない問題が発生する可能性がある。
 なお、プライバシー情報の外部漏えいを防止する構成を開示した従来技術として、例えば特許文献1(特開2005-99944号公報)がある。この文献は、プライバシー情報に対して、外部公開の条件情報を対応付けて携帯端末の記憶部に格納し、条件を満足するか否かを判定した上で外部公開の実行または停止を行う構成を開示している。
 しかし、この方法はユーザが各プライバシー情報について公開条件を逐次、設定する処理が必要となり、エージェント機器のように、次から次と新しい情報が入力されるような構成では、ユーザが各情報に逐次、条件を設定することは大きな負担であり、現実的な解決策として利用することは難しい。
特開2005-99944号公報
 本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザのプライバシー情報の漏えい等の問題が発生する可能性を低減した情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
 また、本開示は、エージェント機器の実行する処理のリスクに応じて処理態様を変更することで、誤った処理が行われる可能性を低減した情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、
 ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行部を有する情報処理装置にある。
 さらに、本開示の第2の側面は、
 ユーザ端末と、データ処理サーバを有する情報処理システムであり、
 前記ユーザ端末は、
 ユーザ発話を入力する音声入力部と、
 前記データ処理サーバの生成したシステム発話を出力する音声出力部を有し、
 前記データ処理サーバは、
 ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、
 ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを前記ユーザ端末に出力する情報処理システムにある。
 さらに、本開示の第3の側面は、
 情報処理装置において実行する情報処理方法であり、
 限定発話判定部が、ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定ステップと、
 リスク判定部が、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定ステップと、
 処理実行部が、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行ステップを実行する情報処理方法にある。
 さらに、本開示の第4の側面は、
 ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
 前記ユーザ端末は、
 音声入力部を介してユーザ発話を入力して、前記データ処理サーバに送信し、
 前記データ処理サーバは、
 ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定処理と、
 ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定処理と、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを前記ユーザ端末に出力する処理を実行する情報処理方法にある。
 さらに、本開示の第5の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 限定発話判定部に、ユーザ発話が予め登録された限定発話であるか否かを判定させる限定発話判定ステップと、
 リスク判定部に、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定させるリスク判定ステップと、
 処理実行部に、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力させる処理実行ステップを実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、ユーザ発話による処理リスクを考慮した処理制御や、発話ガイドの表示を行うことで誤動作を低減する構成が実現される。
 具体的には、例えば、ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行部を有する。処理実行部は低リスクでない場合、リスクの説明情報を含むアラートを出力する。また、ユーザ発話が限定発話である場合、ユーザ発話の意味解析結果を取得することなくユーザ発話に対応する処理を実行する。
 本構成により、ユーザ発話による処理リスクを考慮した処理制御や、発話ガイドの表示を行うことで誤動作を低減する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
ユーザ発話に対する応答を行う情報処理装置の具体的な処理例について説明する図である。 情報処理装置の構成例と利用例について説明する図である。 エージェント機器の問題点について説明する図である。 情報処理装置の構成例について説明する図である。 限定発話情報データベースの格納データの例について説明する図である。 リスク判定情報データベースの格納データの例について説明する図である。 本開示の情報処理装置の実行する処理の具体例について説明する図である。 本開示の情報処理装置の実行する処理の具体例について説明する図である。 本開示の情報処理装置の実行する処理の具体例について説明する図である。 本開示の情報処理装置の実行する処理の具体例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 限定発話情報データベースの格納データの例について説明する図である。 限定発話情報データベースの格納データの例について説明する図である。 情報処理システムの構成例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.情報処理装置の実行する処理の概要について
 2.音声認識装置(エージェント機器)の問題点について
 3.情報処理装置の構成例について
 4.情報処理装置の実行する処理の具体例について
 5.情報処理装置の実行する処理のシーケンスについて
 6.学習処理実行部の実行する学習処理について
 7.情報処理装置の実行する処理、機能のその他の例について
 8.情報処理装置、および情報処理システムの構成例について
 9.情報処理装置のハードウェア構成例について
 10.本開示の構成のまとめ
  [1.情報処理装置の実行する処理の概要について]
 まず、図1以下を参照して、本開示の情報処理装置の実行する処理の概要についてについて説明する。
 図1は、ユーザ1の発するユーザ発話を認識して応答を行う情報処理装置10の一処理例を示す図である。
 情報処理装置10は、ユーザの発話、例えば、
 ユーザ発話=「大阪の明日、午後の天気を教えて」
 このユーザ発話の音声認識処理を実行する。
 さらに、情報処理装置10は、ユーザ発話の音声認識結果に基づく処理を実行する。
 図1に示す例では、ユーザ発話=「大阪の明日、午後の天気を教えて」に応答するためのデータを取得し、取得データに基づいて応答を生成して生成した応答を、スピーカー14を介して出力する。
 図1に示す例では、情報処理装置10は、以下のシステム応答を行っている。
 システム応答=「大阪の明日、午後の天気は晴れですが、夕方、にわか雨がある可能性があります。」
 情報処理装置10は、音声合成処理(TTS:Text To Speech)を実行して上記のシステム応答を生成して出力する。
 情報処理装置10は、装置内の記憶部から取得した知識データ、またはネットワークを介して取得した知識データを利用して応答を生成して出力する。
 図1に示す情報処理装置10は、カメラ11、マイク12、表示部13、スピーカー14を有しており、音声入出力と画像入出力が可能な構成を有する。
 図1に示す情報処理装置10は、例えばスマートスピーカーあるいはエージェント機器と呼ばれる。
 本開示の情報処理装置10は、図2に示すように、エージェント機器10aに限らず、スマホ10bやPC10c等のような様々な装置形態とすることが可能である。
 情報処理装置10は、ユーザ1の発話を認識して、ユーザ発話に基づく応答を行う他、例えば、ユーザ発話に応じて図2に示すテレビ、エアコン等の外部機器30の制御も実行する。
 例えばユーザ発話が「テレビのチャンネルを1に変えて」、あるいは「エアコンの設定温度を20度にして」といった要求である場合、情報処理装置10は、このユーザ発話の音声認識結果に基づいて、外部機器30に対して制御信号(Wi-Fi、赤外光など)を出力して、ユーザ発話に従った制御を実行する。
 なお、情報処理装置10は、ネットワークを介してサーバ20と接続され、サーバ20から、ユーザ発話に対する応答を生成するために必要となる情報を取得することが可能である。また、音声認識処理や意味解析処理をサーバに行わせる構成としてもよい。
  [2.音声認識装置(エージェント機器)の問題点について]
 次に、本開示の情報処理装置10が解決しようとする問題点、すなわち従来の音声認識装置(エージェント機器)の問題点について説明する。
 エージェント機器の問題点として、例えば、ユーザがエージェント機器ではなく家族に向けた発話に対して機器が処理を実行してしまうといった誤動作がある。図3を参照して、具体例について説明する。
 図3には、情報処理装置10と、その前で会話をしているユーザa、ユーザbを示している。
 ユーザaとユーザbは、情報処理装置10に対する発話を行っておらず、ユーザa,b間で会話をしている。
 ステップS1~S2において、ユーザaとユーザbが以下の対話を行う。
 ユーザa発話=ほんと難しいね
 ユーザb発話=写真撮影?
 このユーザ間の対話は、ユーザaが「難しい」といったのに対して、何が難しいのかを確認するために、ユーザbが「写真撮影が難しいの?」という意味で、「写真撮影?」と発話したものである。
 このユーザbの発話が情報処理装置10に入力されると、情報処理装置10は、入力発話の音声認識と発話意味解析を実行して、その解析結果として、ユーザbが写真撮影を要求していると判断とする。
 この判断の結果、ステップS3で、写真撮影を行ってしまう。
 この撮影写真は、例えば、情報処理装置10に接続されたサーバに自動的にアップロードされ、公開されてしまうといった事態も起こり得る。
 本開示の情報処理装置は、例えばこのような問題が発生することを防止、または低減することを可能としたものである。
  [3.情報処理装置の構成例について]
 次に、図4を参照して、情報処理装置の具体的な構成例について説明する。
 図4は、ユーザ発話を認識して応答を行う情報処理装置10の一構成例を示す図である。
 図4に示すように、情報処理装置10は、入力部110、出力部120、データ処理部150を有する。
 なお、データ処理部150は、情報処理装置10内に構成することも可能であるが、情報処理装置10内に構成せず、外部サーバのデータ処理部を利用してもよい。サーバを利用した構成の場合、情報処理装置10は、入力部110から入力した入力データを、ネットワークを介してサーバに送信し、サーバのデータ処理部150の処理結果を受信して、出力部120を介して出力する。
 次に、図4に示す情報処理装置10の構成要素について説明する。
 入力部110は、音声入力部(マイク)111を有する。
 出力部120は、音声出力部(スピーカー)121、画像出力部(表示部)122を有する。
 情報処理装置10は、最低限、これらの構成要素を有する。
 音声入力部(マイク)111は、図1に示す情報処理装置10のマイク12に対応する。なお、入力部110は、さらに図1に示す情報処理装置10のカメラ11に相当する画像入力部を備える構成としてもよい。本開示の処理では必須構成ではないので図4では省略している。
 音声出力部(スピーカー)121は、図1に示す情報処理装置10のスピーカー14に対応する。
 画像出力部(表示部)122は、図1に示す情報処理装置10の表示部13に対応する。
 なお、画像出力部(表示部)122は、例えば、プロジェクタや、液晶表示部等のディスプレイによって構成することが可能であり、また外部装置のテレビの表示部を利用した構成とすることも可能である。
 データ処理部150は、前述したように情報処理装置10、または情報処理装置10と通信可能なサーバのいずれかに構成される。
 データ処理部150は、入力データ解析部160、処理制御部170、出力制御部180を有する。
 入力データ解析部160は、音声認識部161、発話意味解析部162を有する。
 ユーザの発話音声は音声入力部111に入力される。
 音声入力部(マイク)111は、入力したユーザ発話音声を音声認識部161に入力する。
 音声認識部161は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
 音声認識部161において生成されたテキストデータは、発話意味解析部162に入力される。
 発話意味解析部162は、テキストに含まれるユーザの意図候補を選択して出力する。
 発話意味解析部162は、例えば、NLU(Natural Language Understanding)等の自然言語理解機能を有し、テキストデータから、ユーザ発話の意図(インテント:Intent)や、発話に含まれる意味のある要素(有意要素)である実体情報(エンティティ:Entity)を推定する。
 ユーザ発話から、意図(エンティティ)と、実体情報(エンティティ)を正確に推定、取得することができれば、情報処理装置10は、ユーザ発話に対する正確な処理を行うことができる。
 音声認識部161において生成されたテキストデータや、発話意味解析部162において解析されたユーザ発話の意図(インテント)と実体情報(エンティティ)は、処理制御部170に入力される。
 処理制御部170は、限定(Limited)発話判定部171、リスク判定部172、処理実行部173、学習処理実行部174、限定発話情報DB175、リスク判定情報DB176、アプリ/応答/アラート/ガイド情報DB177を有する。
 限定(Limited)発話判定部171は、音声認識部161において生成されたテキストデータを入力して、ユーザ発話が、予め登録された限定(Limited)発話であるか否かを判定する。具体的には、ユーザ発話が、限定発話情報DB175に登録されている発話であるか否かを判定する。
 限定発話情報DB175の登録データの例を図5に示す。
 限定発話情報DB175には、予め複数の限定(Limited)発話が登録されている。図5に示すように、ユーザ発話に対応するテキストデータと、限定発話であることを示すタグ(Limited)が対応付けて登録されている。
 図5に示すように、限定発話情報DB175には以下のようなデータが登録されている。
 (1)写真撮影して=Limited(=限定発話)、
 (2)メール送信して=Limited(=限定発話)、
 (3)予定表見せて=Limited(=限定発話)、
 (4)天気予報教えて=Limited(=限定発話)、
 (5)明かりをつけて=Limited(=限定発話)、
 例えば、このようなデータが限定発話情報として登録されている。
 限定(Limited)発話判定部171は、音声認識部161において生成されたテキストデータと、限定発話情報DB175に登録されたテキストデータが一致するか否かを判定する。一致した場合は、ユーザ発話が限定(Limited)発話であると判定し、この判定に基づいて処理実行部173において、ユーザ発話に対応する処理が実行される。
 この場合、入力データ解析部160の発話意味解析部162における発話意味解析処理は省略される。
 ユーザ発話が限定発話情報DB175に登録された限定(Limited)発話である場合、その発話対応の実行すべき処理(アプリ等)は予め対応付けられている。例えば処理実行部173が、処理実行に際して参照、利用するアプリ/応答/アラート/ガイド情報DB177には、限定発話と実行すべき処理(アプリ指定情報等)との対応データが格納されている。
 限定(Limited)発話判定部171が、ユーザ発話を限定(Limited)発話であると判定した場合、この限定(Limited)発話情報は処理実行部173に入力される。処理実行部173は、アプリ/応答/アラート/ガイド情報DB177の登録データを検索して、入力した限定(Limited)発話に対応付けられた処理を取得して実行する。
 具体的には、例えば、ユーザ発話が、図5に示す限定発話情報DB175の登録データであるエントリ(1)の「写真撮影して」である場合、処理実行部173は、写真撮影アプリを起動して写真撮影を実行する。
 このように、ユーザ発話が、限定発話情報DB175に登録された限定(Limited)発話である場合には、ユーザ発話の発話意味解析を行うことなく音声認識結果のみを用いて、即座にユーザ発話に対応する処理が実行される。従って、処理開始までの時間が大幅に短縮され、応答性に優れた処理が可能となる。
 一方、限定(Limited)発話判定部171が、音声認識部161から入力するテキストデータと、限定発話情報DB175に登録されたテキストデータが一致しないと判定した場合、限定(Limited)発話判定部171は、ユーザ発話が非限定(Unlimited)発話であると判定する。この判定情報はリスク判定部172に入力され、リスク判定部172によるリスク判定処理が開始される。
 リスク判定部172は、限定(Limited)発話判定部171からユーザ発話が非限定(Unlimited)発話であるとの判定結果を入力すると、入力データ解析部160の発話意味解析部162からユーザ発話の意味解析結果を入力する。
 リスク判定部172は、入力したユーザ発話の意味解析結果に基づいて、ユーザ発話の意図を確認し、その意図に従った処理のリスクの度合いを判定する。このリスク判定には、リスク判定情報DB175に格納された情報を利用する。
 リスク判定情報DB175に格納されたデータの一例を図6に示す。リスク判定情報DB175には、情報処理装置10において実行される様々な処理のリスクレベルが登録されている。リスクレベルは例えば3段階であり、低リスク、中リスク、高リスクのいずれかが、各処理に対応付けられて登録されている。
 なお、リスクレベルは3段階に限らず、例えば0~100のレベル値等の設定など、様々な設定が可能である。
 リスク判定情報DB175には、例えば図6に示すように、
 (11)写真を撮影する=高リスク
 (12)写真を外部(サーバ)に送信=高リスク
 (13)会話をメッセージ送信=高リスク
 (14)大音量の音楽再生=高リスク
  :
 (21)予定入力=中リスク
 (22)音楽再生=中リスク
  :
 (31)天気情報の出力=低リスク
 (32)写真スライドショーの出力=低リスク
 リスク判定情報DB175には、例えばこのように、情報処理装置10において実行される様々な処理のリスクレベルが登録されている。
 リスク判定部172は、発話意味解析部162からユーザ発話の意味解析結果を入力して、ユーザ発話の意図に従った処理のリスクレベルをリスク判定情報DB175の登録データに基づいて判定する。
 ユーザ発話の意図に従った処理のリスクレベルが低レベル(低リスク)である場合には、処理実行部173にユーザ発話の意図に従った処理を実行させる。
 一方、ユーザ発話の意図に従った処理のリスクレベルが中レベル(中リスク)や高レベル(高リスク)である場合には、処理実行部173にユーザ発話の意図に従った処理を実行させることなく、例えばアラート(警告)の出力処理、あるいはユーザに限定発話に一致する再発話を促すガイド情報の表示、あるいはユーザ発話に対応する処理に関連する予備的な低リスクレベルの処理等を実行する。これらの処理の具体例については後述する。
 処理実行部173は、ユーザ発話に従った処理や、上述したアラート出力、ガイド情報出力等の処理を実行する。
 また、上述したように、処理実行部173は、ユーザ発話が限定(Limited)発話である場合には、発話意味解析結果を取得することなく、音声認識結果として得られるテキストに対応付けられた処理を実行する。
 一方、ユーザ発話が非限定(Unlimited)発話である場合には、発話意味解析結果を取得し、さらにユーザ発話に対応する処理のリスクレベルに応じて以下の処理を行う。
 (a)ユーザ発話に対応する処理が低リスクである場合は処理を実行する。
 (b)ユーザ発話に対応する処理が中リスクや高リスクである場合には、アラート(警告)の出力処理、あるいはユーザに限定発話に一致する再発話を促すガイド情報の表示、あるいはユーザ発話に対応する処理に関連する予備的な低リスクレベルの処理等を実行する。
 学習処理実行部174は、学習処理により、限定発話情報DB175の登録データの更新を行う。すなわち、例えば新たな限定(Limited)発話情報の登録処理等を実行する。この学習処理の詳細については後述する。
 処理実行部173における処理実行結果は、出力制御部180を介して出力される。
 出力制御部180は、出力音声制御部181、表示情報制御部182を有する。出力音声制御部181は、処理実行部の決定した処理に基づいて、ユーザに対するシステム発話を生成する。出力音声制御部181の生成した応答音声情報は、スピーカー等の音声出力部121を介して出力される。
 表示情報制御部182は、処理実行部173における処理の実行結果に基づいて、画像出力部(表示部)122の表示情報の生成、更新等の処理を行う。
  [4.情報処理装置の実行する処理の具体例について]
 次に、図7以下を参照して本開示の情報処理装置10の実行する処理の具体例について説明する。
 図7は、本開示の情報処理装置10が実行する処理を説明する図である。図7に示すユーザ1がユーザ発話を実行する。情報処理装置10は、このユーザ発話に応じて、図に示すステップS11以下の処理を実行する。
 なお、図7に示す処理は、情報処理装置10の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサ有する制御部(データ処理部)の制御下で実行することができる。
 以下、図7に示す各ステップの処理について説明する。
  (ステップS11)
 まず、ステップS11において、音声認識部161がユーザ発話に対する音声認識処理を実行する。
 音声認識部161は、例えばASR(Automatic Speech Recognition)機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
 音声認識部161の音声認識処理結果は、発話意味解析部162に入力されるとともに、処理制御部170の限定(Limited)発話判定部171に入力される。
  (ステップS12)
 ステップS12の処理は、処理制御部170の限定(Limited)発話判定部171の実行する処理である。
 限定(Limited)発話判定部171は、音声認識部161において生成されたテキストデータを入力して、ユーザ発話が、予め登録された限定(Limited)発話であるか否かを判定する。具体的には、ユーザ発話が、限定発話情報DB175に登録されている発話であるか否かを判定する。
 ユーザ発話が、限定発話情報DB175に登録されている限定(Limited)発話であると判定した場合は、ステップS13に進む。
 一方、ユーザ発話が、限定発話情報DB175に登録されていない非限定(Unlimited)発話であると判定した場合は、ステップS14に進む。
  (ステップS13)
 ステップS13の処理は、ステップS12において、ユーザ発話が限定発話情報DB175に登録されている限定(Limited)発話であると判定した場合に実行される。
 この場合、ステップS13において、処理実行部173がユーザ発話に対応する処理を実行する。この場合、ユーザ発話の発話意味解析を行うことなく音声認識結果のみを用いて、即座にユーザ発話に対応する処理が実行される。従って、処理開始までの時間が大幅に短縮され、応答性に優れた処理が可能となる。
 ユーザ発話が限定発話情報DB175に登録されている限定(Limited)発話である場合の処理実行例を図8に示す。
 図8に示すユーザaは、ステップS21において以下のユーザ発話を行う。
 ユーザ発話=写真撮影して
 このユーザ発話は、先に図5を参照して説明した限定発話情報DB175に登録された限定(Limited)発話である。この場合、処理制御部170の限定(Limited)発話判定部171は、ユーザ発話が限定(Limited)発話であると判定し、処理実行部173が、この判定結果に基づいて、ユーザ発話対応の処理、すなわち写真撮影処理を実行する。
  (ステップS14)
 一方、ステップS12において、ユーザ発話が限定発話情報DB175に登録されている限定(Limited)発話でないと判定した場合、ステップS14の処理を実行する。
 ステップS14は、入力データ解析部160の発話意味解析部162が実行するユーザ発話に対する意味解析処理である。例えば、ユーザ発話の意図(インテント:Intent)や、発話に含まれる意味のある要素(有意要素)である実体情報(エンティティ:Entity)を推定する。
 ユーザ発話から、意図(エンティティ)と、実体情報(エンティティ)を正確に推定、取得することができれば、情報処理装置10は、ユーザ発話に対する正確な処理を行うことができる。
 発話意味解析部162の生成したユーザ発話対応の意味解析結果は、処理制御部170のリスク判定部172に入力される。
  (ステップS15)
 ステップS15の処理は、リスク判定部172が実行するリスク判定処理である。
 リスク判定部172は、ユーザ発話の意味解析結果に基づいて、ユーザ発話の意図を確認し、その意図に従った処理のリスクの度合いを判定する。このリスク判定には、リスク判定情報DB175に格納された情報、すなわち先に図6を参照して説明したリスク判定情報DB175に格納された情報を利用する。
 ユーザ発話の意図に従った処理のリスクが低リスクであると判定した場合は、ステップS16の処理を実行する。
 一方、ユーザ発話の意図に従った処理のリスクが中リスクまたは高リスクである場合は、ステップS17の処理を実行する。
  (ステップS16)
 ステップS16の処理は、ステップS15において、ユーザ発話の意図に従った処理のリスクが低リスクであると判定した場合に実行される。
 ステップS16では、低リスクであると判定したユーザ発話の意図に従った処理を実行する。この処理は処理実行部173において実行される。
  (ステップS17)
 ステップS17の処理は、ステップS15において、ユーザ発話の意図に従った処理のリスクが中リスクまたは高リスクであると判定した場合に実行される。
 ステップS17では、中リスク、または高リスクであると判定したユーザ発話の意図に従った処理は実行せず、例えばアラート(警告)の出力処理、あるいはユーザに限定発話に一致する再発話を促すガイド情報の表示、あるいはユーザ発話に対応する処理に関連する予備的な低リスクレベルの処理等を実行する。
 図9にこのステップS17の処理の具体例を示す。
 図9に示すユーザaは、ステップS41において以下のユーザ発話を行っている。
 ユーザ発話=写真撮影
 このユーザ発話は、先に図5を参照して説明した限定発話情報DB175に登録された限定(Limited)発話ではない。この場合、処理制御部170の限定(Limited)発話判定部171は、ユーザ発話が限定(Limited)発話でないと判定する。
 さらに、リスク判定部172が、発話意味解析部162からユーザ発話の意味解析結果を入力して、ユーザ発話の意図に従った処理のリスクレベルをリスク判定情報DB175の登録データに基づいて判定する。
 発話意味解析部162からは、ユーザ意図が「写真を撮影すること」であることを示す結果が入力される。
 リスク判定部172は、このユーザ意図に従った処理(写真の撮影)のリスクレベルをリスク判定情報DB175の登録データに基づいて判定する。
 図6に示すデータ例のように、写真の撮影は高リスクであると登録されている。
 この結果、ステップS17において高リスクであると判定したユーザ発話の意図に従った処理は実行せず、例えばアラート(警告)の出力処理、あるいはユーザに限定発話に一致する再発話を促すガイド情報の表示、あるいはユーザ発話に対応する処理に関連する予備的な低リスクレベルの処理等を実行する。
 図9に示すステップS42において情報処理装置10が実行しているシステム発話、すなわち、
 システム発話=撮影した写真は共有されてしまいますよ
 このシステム発話がアラートに相当する。
 また、情報処理装置の表示部には、過去に撮影済みの写真データが表示される。この写真表示処理は、ユーザ発話に対応する処理に関連する予備的な低リスクレベルの処理に相当する処理である。
 さらに、表示部には、以下のガイド情報の表示が実行される。
 ガイド=撮影したい場合は「写真撮影して」
 このガイド表示は、ユーザが本当に写真の撮影を要求したいのであれば、予め登録された限定(Limited)発話、すなわち、
 限定(Limited)発話=「写真撮影して」
 この限定(Limited)発話を行うように促すガイド表示である。
 このように、ユーザ発話の意図に従った処理が高リスクまたは中リスクであると判定した場合、ユーザ発話の意図に従った処理は実行せず、
 (a)アラート(警告)の出力処理、
 (b)ユーザに限定発話に一致する再発話を促すガイド情報の表示、
 (c)ユーザ発話に対応する処理に関連する予備的な低リスクレベルの処理、
 これらの少なくともいずれかの処理を実行する。
  (ステップS18)
 さらに、ステップS18において、ステップS17で表示したガイドに従ったユーザの再発話、すなわち、登録された限定(Limited)発話に一致する発話を入力した場合、その限定(Limited)発話対応の処理を実行する。
 図9に示す例では、ガイド情報として以下の情報が表示されている。
 ガイド=撮影したい場合は「写真撮影して」
 ユーザはこのガイド情報に従って、以下のユーザ発話を実行する。
 ユーザ発話=写真撮影して
 この状態を図10に示す。
 図10に示すように、ユーザaはステップS43において、以下のユーザ発話を実行している。
 ユーザ発話=写真撮影して
 このユーザ発話は、先に図5を参照して説明した限定発話情報DB175に登録された限定(Limited)発話である。この場合、処理制御部170の限定(Limited)発話判定部171は、ユーザ発話が限定(Limited)発話であると判定し、処理実行部173が、この判定結果に基づいて、ユーザ発話対応の処理、すなわち写真撮影処理を実行する。
 このように、本開示の情報処理装置10は、ユーザ発話に基づく処理のリスクが中リスクまたは高リスクである場合には、そのユーザ発話の意味解析結果に基づくユーザ意図に従った処理を実行することなく、警告(アラート)出力や、限定(Limited)発話を促すガイド情報を出力する。
 これらの処理により、例えばユーザの意図しないプライバシーの漏えい等の問題を発生させることのない安全な処理が実現される。
  [5.情報処理装置の実行する処理のシーケンスについて]
 次に、本開示の情報処理装置10の実行する処理のシーケンスについて、図11以下に示すフローチャートを参照して説明する。
 なお、図11に示すフローチャートに従った処理は、情報処理装置10の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサ有する制御部(データ処理部)の制御下で実行することができる。
 以下、図11に示すフローの各ステップの処理について説明する。
  (ステップS101)
 まず、ステップS101において、情報処理装置10は、ユーザ発話検出処理を実行する。
 この処理は、図4に示す入力データ解析部160の音声認識部161において実行される。
  (ステップS102)
 次に、ステップS102において、音声認識部161は、ユーザ発話の検出の有無を判定し、検出された場合はステップS103に進む。検出されない場合は、ステップS101に戻り、ユーザ発話検出処理を継続する。
  (ステップS103)
 ステップS102において、ユーザ発話が検出された場合はステップS103に進む。ステップS103において、ユーザ発話に対する音声認識処理を実行する。
 この処理は、図4に示す入力データ解析部160の音声認識部161において実行される。
 音声認識部161において実行されたユーザ発話の音声認識結果は、処理制御部170のの限定(Limited)発話判定部171に入力される。
  (ステップS104)
 ステップS104の処理は、処理制御部170の限定(Limited)発話判定部171の実行する処理である。
 限定(Limited)発話判定部171は、音声認識部161において生成されたテキストデータを入力して、ユーザ発話が、予め登録された限定(Limited)発話であるか否かを判定する。具体的には、ユーザ発話が、限定発話情報DB175に登録されている発話であるか否かを判定する。
 ユーザ発話が、限定発話情報DB175に登録されている限定(Limited)発話であると判定した場合は、ステップS105に進む。
 一方、ユーザ発話が、限定発話情報DB175に登録されていない非限定(Unlimited)発話であると判定した場合は、ステップS106に進む。
  (ステップS105)
 ステップS104において、ユーザ発話が限定発話情報DB175に登録されている限定(Limited)発話であると判定した場合、ステップS105において、ユーザ発話に対応する処理を実行する。
 処理実行部173は、音声認識結果であるユーザ発話テキストに対応づけられた処理を実行する。なお、限定(Limited)発話に一致するテキストに対して実行すべき処理は、アプリ/応答/アラート/ガイド情報DB177に格納されている。
  (ステップS106)
 一方、テップS104において、ユーザ発話が限定発話情報DB175に登録されている限定(Limited)発話でないと判定した場合、ステップS106において、ユーザ発話に対する意味解析処理を実行する。
 この処理は、図4に示す入力データ解析部160の発話意味解析部162において実行される。発話意味解析部162は、例えば、ユーザ発話の意図(インテント:Intent)や、発話に含まれる意味のある要素(有意要素)である実体情報(エンティティ:Entity)を推定する。
 発話意味解析部162の生成したユーザ発話対応の意味解析結果は、処理制御部170のリスク判定部172に入力される。
  (ステップS107)
 次に、ステップS107においてリスク判定処理を実行する。
 この処理は、処理制御部170のリスク判定部172が実行する。リスク判定部172は、ユーザ発話の意味解析結果に基づいて、ユーザ発話の意図を確認し、その意図に従った処理のリスクの度合いを判定する。このリスク判定には、リスク判定情報DB175に格納された情報、すなわち先に図6を参照して説明したリスク判定情報DB175に格納された情報を利用する。
  (ステップS108)
 ステップS108はステップS107におけるリスク判定結果に基づく分岐処理である。
 ステップS107におけるユーザ発話の意図に対応する処理のリスク判定結果として、処理が低リスクであると判定した場合は、ステップS105に進み、低リスクであると判定した処理を実行する。
 一方、ステップS107におけるユーザ発話の意図に対応する処理のリスク判定結果として、処理が高リスクであると判定した場合は、ステップS201に進む。
 さらに、ステップS107におけるユーザ発話の意図に対応する処理のリスク判定結果として、処理が中リスクであると判定した場合は、ステップS221に進む。
 次に、ステップS108において、ユーザ発話の意図に対応する処理が高リスクであると判定した場合の処理について、図12に示すフローチャートを参照して説明する。
  (ステップS201)
 リスク判定部172がユーザ発話の意図に対応する処理が高リスクであると判定した場合、まず、ステップS201において、処理実行部173が、アラート(警告)の出力処理を実行する。
 これは、ユーザ発話に基づく処理を実行した場合のリスクについての説明や警告をユーザに知らせるためのものである。
 アラート出力は音声、または画像の出力によって実行される。
  (ステップS202)
 次に、処理実行部173は、ステップS202において、限定(Limited)発話に関するガイド情報を出力する。
 これは、先に図9を参照して説明した例における下のガイド情報表示処理に対応する処理である。
 ガイド=撮影したい場合は「写真撮影して」
 このガイド表示は、ユーザが本当に写真の撮影を要求したいのであれば、予め登録された限定(Limited)発話、すなわち、
 限定(Limited)発話=「写真撮影して」
 この限定(Limited)発話を行うように促すガイド表示である。
 このように、ステップS202では、ユーザの意図を再確認するため、ユーザに限定(Limited)発話を再発話するかしないかを決定させるための案内情報を提供する。
  (ステップS203)
 ステップS203は、ステップS202において実行したガイド出力に応じて新たなユーザ発話を入力したか否かを判定する。
 新たなユーザ発話が入力されない場合は、処理を終了する。
 一方、新たなユーザ発話が入力された場合は、ステップS204に進む。
  (ステップS204)
 ステップS204では、新たに入力したユーザ発話の音声認識処理を実行する。
 この処理は、図4に示す入力データ解析部160の音声認識部161において実行される。
 音声認識部161において実行されたユーザ発話の音声認識結果は、処理制御部170のの限定(Limited)発話判定部171に入力される。
  (ステップS205)
 ステップS205の処理は、処理制御部170の限定(Limited)発話判定部171の実行する処理である。
 限定(Limited)発話判定部171は、音声認識部161において生成されたテキストデータを入力して、ユーザ発話が、予め登録された限定(Limited)発話であるか否かを判定する。具体的には、ユーザ発話が、限定発話情報DB175に登録されている発話であるか否かを判定する。
 ユーザ発話が、限定発話情報DB175に登録されている限定(Limited)発話であると判定した場合は、ステップS206に進む。
 一方、ユーザ発話が、限定発話情報DB175に登録されていない非限定(Unlimited)発話であると判定した場合は、ステップS207に進む。
  (ステップS206)
 ステップS205において、ユーザ発話が限定発話情報DB175に登録されている限定(Limited)発話であると判定した場合、ステップS206において、ユーザ発話に対応する処理を実行する。
 処理実行部173は、音声認識結果であるユーザ発話テキストに対応づけられた処理を実行する。なお、限定(Limited)発話に一致するテキストに対して実行すべき処理は、アプリ/応答/アラート/ガイド情報DB177に格納されている。
  (ステップS207)
 一方、テップS205において、ユーザ発話が限定発話情報DB175に登録されている限定(Limited)発話でないと判定した場合、ステップS207において、ユーザ発話に対する意味解析処理を実行する。
 その後、図11に示すフローのステップS107に戻り、リスク判定処理以下の処理を実行する。
 このフローに従った処理を行うことで、ユーザの意図しない高リスク処理が誤って実行されることが防止される。
 高リスク処理を実行するためには、ユーザは限定(Limited)発話を行うことが必要となる。
 次に、図11に示すフローのステップS108において、ユーザ発話の意図に対応する処理が中リスクであると判定した場合の処理について、図13に示すフローチャートを参照して説明する。
 図13に示すフローのステップS221~S227の処理は、図12を参照して説明した高リスク対応のフローのステップS201~S207の処理とほぼ同様の処理となる。
 ステップS221の処理とステップS201の処理が異なるのみであり、ステップS222~S227の処理とステップS202~S207の処理は同じ処理である。
 異なる処理であるステップS221の処理について説明する。
  (ステップS221)
 リスク判定部172がユーザ発話の意図に対応する処理が中リスクであると判定した場合、まず、ステップS221において、処理実行部173が、ユーザ発話に対応する処理に関連する低リスクな予備的処理を実行する。
 これは、例えば先に図9を参照して説明した過去に撮影済みの写真を、情報処理装置10の表示部に表示する処理等である。
 写真情報の表示は低リスク処理であり、ユーザ発話=写真撮影に関連する処理である。この処理に併せて、ステップS222において、限定(Limited)発話に関するガイド情報を出力する。
 この表示によって、ユーザは、本当に写真を撮影したい場合は、ガイド情報に従って限定(Limited)発話を実行すればよい。
 一方、ユーザが写真を撮影したいという意図がない場合は、ガイド情報に従った限定(Limited)発話を実行しなければよい。
 なお、ユーザ発話対応処理が高リスクである場合に実行する図12を参照して説明したフローでは、図13に示すステップS221の処理、すなわち、ユーザ発話対応処理に関連する低リスク処理を行わない設定としているが、ユーザ発話対応処理が高リスクである場合にも、ユーザ発話対応処理に関連する低リスク処理を実行する構成としてもよい。
 また、ユーザ発話対応処理が中リスクである場合にも、高リスクの処理において実行したアラート出力を実行する構成としてもよい。
  [6.学習処理実行部の実行する学習処理について]
 次に、図4に示す情報処理装置10の処理制御部170内に構成される学習処理実行部174の実行する学習処理について説明する。
 学習処理実行部174は、学習処理により、限定発話情報DB175の登録データの更新を行う。すなわち、例えば新たな限定(Limited)発話情報の登録処理等を実行する。
 図14は、学習処理実行部174が実行する学習処理による限定発話情報DB175の登録データの更新処理のシーケンスを説明するフローチャートである。
 図14に示すフローの各ステップの処理について説明する。
  (ステップS301)
 学習処理実行部174は、ステップS301において、ガイド情報に従ったユーザ再発話が入力され、その再発話に従った処理が実行されたか否かを判定する。
 実行された場合はステップS302に進み、実行されなかった場合は処理を終了する。
 なお、ガイド情報に従ったユーザ再発話は、限定発話情報DB175に登録された限定(Limited)発話である。
 ガイド情報が出力されたということは、ユーザは、ガイド情報の出力前に限定発話情報DB175に登録されていない非限定(Unlimited)発話を行っていることを意味する。
 ステップS301において、ガイド情報に従ったユーザ再発話が入力され、その再発話に従った処理が実行されたと判定された場合には、以下の推定が成立する。
 すなわち、ユーザは、先行して実行した非限定(Unlimited)発話を、限定発話情報DB175に登録された限定(Limited)発話と同じ意図をもって発話したと推定される。
  (ステップS302)
 学習処理実行部174は、上記推定に従い、ステップS302において、ガイド情報の出力前にユーザが実行した非限定(Unlimited)発話を、新たな限定(Limited)発話として、新たに限定発話情報DB175に登録するデータベース更新処理を実行する。
 これは、ガイド情報の出力前にユーザが実行した非限定(Unlimited)発話が、限定発話情報DB175に登録された限定(Limited)発話と同じ意図をもってユーザが発話したとの判断に基づく処理である。
 このような学習に基づいて、限定発話情報DB175の登録データは順次、更新される。
 例えば、図15に示すように、新たな限定(Limited)発話データが限定発話情報DB175の登録データとして追加登録されることになる。
 図15に示すように限定発話情報DB175の更新がなされた後は、例えばユーザが「写真撮って」と発話した場合、この発話は、限定(Limited)発話とみなされ、音声認識結果に基づいて即座に処理が実行されることになる。
 なお、学習処理は、例えば個人単位、あるいは家族単位の学習データとして生成して登録する構成としてもよい。
 例えばカメラで撮影された画像からユーザ識別を行い、識別されたユーザ固有の発話が確認された場合、その発話を、そのユーザ固有の限定(Limited)発話として登録する。
 また、例えば、家族、または性別、または年齢、またはコンテクスト等のユーザ属性によって規定される複数ユーザのグループ単位の限定発話を、限定発話情報DB175に登録するデータベース更新処理を実行する構成としてもよい。
 図16にユーザ識別子を追加してユーザ対応の限定(Limited)発話を登録した限定発話情報DB175の登録データ例を示す。
 例えば、エントリ(12),(22)がユーザ識別を伴う学習処理によって追加された特定ユーザ対応の限定(Limited)発話登録データである。
 この、特定ユーザ対応の限定(Limited)発話登録データは、その特定ユーザからの発話である場合にのみ限定(Limited)発話として処理されることになる。
  [7.情報処理装置の実行する処理、機能のその他の例について]
 以上、本開示の情報処理装置10の実行する基本的な実施例について説明した。以下、本開示の情報処理装置10の実行する処理、機能のその他の例について説明する。
 上述した実施例では、情報処理装置10は、ユーザ発話、すなわち音声情報のみに対して処理を行う例として説明したが、音声以外のデータ、例えば、カメラを介して入力するユーザのジェスチャや、表示画面部に対するタップ処理、スイッチ操作などの様々な入力情報に基づいて、ユーザの意図、例えば本当に写真を撮影してほしいのか否かを確認するといった処理を行う構成としてもよい。
 また、上述した実施例において、リスクレベルは図6を参照して説明したリスク判定情報DB176に記録された固定的なデータとして説明したが、リスクレベルを状況に応じて変更する構成としてもよい。例えば、ユーザの処理の履歴や指示によって更新、変更可能な構成としてもよい。また、緊急時には強制的に実行したい処理もあり、このような場合は、リスク判定機能を解除する構成としてもよい。
 また、会話のコンテクストによって、動的にリスクを変化させる構成としてもよい。例えば時間帯や、ユーザの性別、年齢などの状況に応じて異なるリスク設定のデータを適用してリスク判定を行う。またユーザの声の抑揚、音圧等によって、リスク判定態様を変更する構成としてもよい。例えば、ユーザが声を張っているときにはコマンドを発声している確率が高いため、リスク判定を行わず、処理を実行するといった設定である。
 また、情報処理装置のリスク判定部172が実行したリスク判定結果をインジケータ等でユーザに提示する構成としてもよい。
  [8.情報処理装置、および情報処理システムの構成例について]
 複数の実施例について説明したが、これらの実施例において説明した様々な処理機能、例えば、図4に示す情報処理装置10の各構成要素の処理機能は、すべて一つの装置、例えばユーザの所有するエージェント機器、あるいはスマホやPC等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。
 図17にシステム構成例を示す。
 図17(1)情報処理システム構成例1は、図4に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやPC、あるいは音声入出力と画像入出力機能を持つエージェント機器等のユーザ端末である情報処理装置410内に構成した例である。
 ユーザ端末に相当する情報処理装置410は、例えばユーザに対する応答実行時に外部アプリを利用する場合にのみ、アプリ実行サーバ420と通信を実行する。
 アプリ実行サーバ420は、例えば天気情報提供サーバ、交通情報提供サーバ、医療情報提供サーバ、観光情報提供サーバ等であり、ユーザ発話に対する応答を生成するための情報を提供可能なサーバ等によって構成される。
 一方、図17(2)情報処理システム構成例2は、図4に示す情報処理装置の機能の一部をユーザの所有するスマホやPC、エージェント機器等のユーザ端末である情報処理装置410内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ460において実行する構成としたシステム例である。
 例えば、図4に示す装置中の入力部110、出力部120のみをユーザ端末側の情報処理装置410側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。
 具体的には、例えば以下のようなシステム構成が可能である。
 ユーザ端末と、データ処理サーバを有する情報処理システムであり、ユーザ端末は、ユーザ発話を入力する音声入力部と、データ処理サーバが生成したシステム発話を出力する音声出力部を有する。一方、データ処理サーバは、ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドをユーザ端末に出力する。例えばこのような構成が可能である。
 なお、ユーザ端末側の機能と、サーバ側の機能の機能分割態様は、様々な異なる設定が可能であり、また、1つの機能を双方で実行する構成も可能である。
  [9.情報処理装置のハードウェア構成例について]
 次に、図18を参照して、情報処理装置のハードウェア構成例について説明する。
 図18を参照して説明するハードウェアは、先に図4を参照して説明した情報処理装置のハードウェア構成例であり、また、図17を参照して説明したデータ処理サーバ460を構成する情報処理装置のハードウェア構成の一例である。
 CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
 CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部506、ディスプレイ、スピーカーなどよりなる出力部507が接続されている。CPU501は、入力部506から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部507に出力する。
 入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
  [10.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、
 ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行部を有する情報処理装置。
 (2) 前記処理実行部は、さらに、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、アラートを出力する(1)に記載の情報処理装置。
 (3) 前記アラートは、ユーザ発話に対応する処理のリスクの説明情報を含む(2)に記載の情報処理装置。
 (4) 前記処理実行部は、さらに、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザ発話に対応する処理に関連する低リスク処理を実行する(1)~(3)いずれかに記載の情報処理装置。
 (5) 前記限定発話判定部が、ユーザ発話が限定発話であると判定した場合、
 前記処理実行部は、
 ユーザ発話に対応する処理を実行する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記限定発話判定部が、ユーザ発話が限定発話であると判定した場合、
 前記処理実行部は、
 ユーザ発話の意味解析結果を取得することなく、ユーザ発話に対応する処理を実行する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記情報処理装置は、さらに、
 ユーザ発話に対する音声認識を実行する音声認識部を有し、
 前記限定発話判定部は、
 前記音声認識部において生成されたテキストデータに基づいて、ユーザ発話が予め登録された限定発話であるか否かを判定する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記処理実行部は、
 前記音声認識部において生成されたテキストデータに対応付けられた処理を実行する(7)に記載の情報処理装置。
 (9) 前記情報処理装置は、さらに、
 限定発話を登録した限定発話情報データベースの更新処理を実行する学習処理実行部を有する(1)~(8)いずれかに記載の情報処理装置。
 (10) 前記学習処理実行部は、
 前記処理実行部が出力した限定発話を促すガイドに従ってユーザが限定発話を実行した場合、
 前記ガイドの出力前のユーザの非限定発話を、新たな限定発話として前記限定発話情報データベースに登録するデータベース更新処理を実行する(9)に記載の情報処理装置。
 (11) 前記学習処理実行部は、
 ユーザ個別の限定発話を、前記限定発話情報データベースに登録するデータベース更新処理を実行する(9)または(10)に記載の情報処理装置。
 (12) 前記学習処理実行部は、
 ユーザ属性によって規定される複数ユーザのグループ単位の限定発話を、前記限定発話情報データベースに登録するデータベース更新処理を実行する(9)~(11)いずれかに記載の情報処理装置。
 (13) 前記ユーザ属性は、家族、または性別、または年齢、またはコンテクストの少なくともいずれかのユーザ属性である(12)に記載の情報処理装置。
 (14) ユーザ端末と、データ処理サーバを有する情報処理システムであり、
 前記ユーザ端末は、
 ユーザ発話を入力する音声入力部と、
 前記データ処理サーバの生成したシステム発話を出力する音声出力部を有し、
 前記データ処理サーバは、
 ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、
 ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを前記ユーザ端末に出力する情報処理システム。
 (15) 前記データ処理サーバの前記処理実行部は、さらに、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザ発話に対応する処理のリスクの説明情報を含むアラートを前記ユーザ端末に出力する(12)に記載の情報処理システム。
 (16) 情報処理装置において実行する情報処理方法であり、
 限定発話判定部が、ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定ステップと、
 リスク判定部が、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定ステップと、
 処理実行部が、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行ステップを実行する情報処理方法。
 (17) ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
 前記ユーザ端末は、
 音声入力部を介してユーザ発話を入力して、前記データ処理サーバに送信し、
 前記データ処理サーバは、
 ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定処理と、
 ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定処理と、
 ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを前記ユーザ端末に出力する処理を実行する情報処理方法。
 (18) 情報処理装置において情報処理を実行させるプログラムであり、
 限定発話判定部に、ユーザ発話が予め登録された限定発話であるか否かを判定させる限定発話判定ステップと、
 リスク判定部に、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定させるリスク判定ステップと、
 処理実行部に、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力させる処理実行ステップを実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、ユーザ発話による処理リスクを考慮した処理制御や、発話ガイドの表示を行うことで誤動作を低減する構成が実現される。
 具体的には、例えば、ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行部を有する。処理実行部は低リスクでない場合、リスクの説明情報を含むアラートを出力する。また、ユーザ発話が限定発話である場合、ユーザ発話の意味解析結果を取得することなくユーザ発話に対応する処理を実行する。
 本構成により、ユーザ発話による処理リスクを考慮した処理制御や、発話ガイドの表示を行うことで誤動作を低減する構成が実現される。
  10 情報処理装置
  11 カメラ
  12 マイク
  13 表示部
  14 スピーカー
  20 サーバ
  30 外部機器
 110 入力部
 111 音声入力部
 112 画像入力部
 120 出力部
 121 音声出力部
 122 画像出力部
 150 データ処理部
 160 入力データ解析部
 161 音声認識部
 162 発話意味解析部
 170 処理制御部
 171 限定(Limited)発話判定部
 172 リスク判定部
 173 処理実行部
 174 学習処理実行部
 175 限定発話情報DB
 176 リスク判定情報DB
 177 アプリ/応答/アラート/ガイド情報DB
 180 出力制御部
 181 出力音声制御部
 182 表示情報制御部
 410 情報処理装置
 420 アプリ実行サーサーバ
 460 データ処理サーバ
 501 CPU
 502 ROM
 503 RAM
 504 バス
 505 入出力インタフェース
 506 入力部
 507 出力部
 508 記憶部
 509 通信部
 510 ドライブ
 511 リムーバブルメディア

Claims (18)

  1.  ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、
     ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、
     ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行部を有する情報処理装置。
  2.  前記処理実行部は、さらに、
     ユーザ発話に対応する処理のリスクが低リスクでない場合、アラートを出力する請求項1に記載の情報処理装置。
  3.  前記アラートは、ユーザ発話に対応する処理のリスクの説明情報を含む請求項2に記載の情報処理装置。
  4.  前記処理実行部は、さらに、
     ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザ発話に対応する処理に関連する低リスク処理を実行する請求項1に記載の情報処理装置。
  5.  前記限定発話判定部が、ユーザ発話が限定発話であると判定した場合、
     前記処理実行部は、
     ユーザ発話に対応する処理を実行する請求項1に記載の情報処理装置。
  6.  前記限定発話判定部が、ユーザ発話が限定発話であると判定した場合、
     前記処理実行部は、
     ユーザ発話の意味解析結果を取得することなく、ユーザ発話に対応する処理を実行する請求項1に記載の情報処理装置。
  7.  前記情報処理装置は、さらに、
     ユーザ発話に対する音声認識を実行する音声認識部を有し、
     前記限定発話判定部は、
     前記音声認識部において生成されたテキストデータに基づいて、ユーザ発話が予め登録された限定発話であるか否かを判定する請求項1に記載の情報処理装置。
  8.  前記処理実行部は、
     前記音声認識部において生成されたテキストデータに対応付けられた処理を実行する請求項7に記載の情報処理装置。
  9.  前記情報処理装置は、さらに、
     限定発話を登録した限定発話情報データベースの更新処理を実行する学習処理実行部を有する請求項1に記載の情報処理装置。
  10.  前記学習処理実行部は、
     前記処理実行部が出力した限定発話を促すガイドに従ってユーザが限定発話を実行した場合、
     前記ガイドの出力前のユーザの非限定発話を、新たな限定発話として前記限定発話情報データベースに登録するデータベース更新処理を実行する請求項9に記載の情報処理装置。
  11.  前記学習処理実行部は、
     ユーザ個別の限定発話を、前記限定発話情報データベースに登録するデータベース更新処理を実行する請求項9に記載の情報処理装置。
  12.  前記学習処理実行部は、
     ユーザ属性によって規定される複数ユーザのグループ単位の限定発話を、前記限定発話情報データベースに登録するデータベース更新処理を実行する請求項9に記載の情報処理装置。
  13.  前記ユーザ属性は、家族、または性別、または年齢、またはコンテクストの少なくともいずれかのユーザ属性である請求項12に記載の情報処理装置。
  14.  ユーザ端末と、データ処理サーバを有する情報処理システムであり、
     前記ユーザ端末は、
     ユーザ発話を入力する音声入力部と、
     前記データ処理サーバの生成したシステム発話を出力する音声出力部を有し、
     前記データ処理サーバは、
     ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定部と、
     ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定部と、
     ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを前記ユーザ端末に出力する情報処理システム。
  15.  前記データ処理サーバの前記処理実行部は、さらに、
     ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザ発話に対応する処理のリスクの説明情報を含むアラートを前記ユーザ端末に出力する請求項12に記載の情報処理システム。
  16.  情報処理装置において実行する情報処理方法であり、
     限定発話判定部が、ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定ステップと、
     リスク判定部が、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定ステップと、
     処理実行部が、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力する処理実行ステップを実行する情報処理方法。
  17.  ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
     前記ユーザ端末は、
     音声入力部を介してユーザ発話を入力して、前記データ処理サーバに送信し、
     前記データ処理サーバは、
     ユーザ発話が予め登録された限定発話であるか否かを判定する限定発話判定処理と、
     ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定するリスク判定処理と、
     ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを前記ユーザ端末に出力する処理を実行する情報処理方法。
  18.  情報処理装置において情報処理を実行させるプログラムであり、
     限定発話判定部に、ユーザ発話が予め登録された限定発話であるか否かを判定させる限定発話判定ステップと、
     リスク判定部に、ユーザ発話が限定発話でないと判定された場合、ユーザ発話に対応する処理のリスクを判定させるリスク判定ステップと、
     処理実行部に、ユーザ発話に対応する処理のリスクが低リスクでない場合、ユーザに予め登録された限定発話を行うように促すガイドを出力させる処理実行ステップを実行させるプログラム。
PCT/JP2019/021306 2018-07-20 2019-05-29 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム WO2020017166A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/250,367 US20210134272A1 (en) 2018-07-20 2019-05-29 Information processing device, information processing system, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136672 2018-07-20
JP2018-136672 2018-07-20

Publications (1)

Publication Number Publication Date
WO2020017166A1 true WO2020017166A1 (ja) 2020-01-23

Family

ID=69163687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/021306 WO2020017166A1 (ja) 2018-07-20 2019-05-29 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Country Status (2)

Country Link
US (1) US20210134272A1 (ja)
WO (1) WO2020017166A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966439B2 (en) 2021-03-25 2024-04-23 Samsung Electronics Co., Ltd. Method for providing voice assistant service and electronic device supporting the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323192A (ja) * 2002-05-08 2003-11-14 Matsushita Electric Ind Co Ltd 単語辞書登録装置および単語辞書登録方法
US20140288931A1 (en) * 2012-02-17 2014-09-25 Lg Electronics Inc. Method and apparatus for smart voice recognition
JP2015215433A (ja) * 2014-05-09 2015-12-03 株式会社ナビタイムジャパン 情報提供システム、端末装置、情報提供サーバ、情報提供方法、および、プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7640160B2 (en) * 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US9218819B1 (en) * 2013-03-01 2015-12-22 Google Inc. Customizing actions based on contextual data and voice-based inputs
US8768712B1 (en) * 2013-12-04 2014-07-01 Google Inc. Initiating actions based on partial hotwords
KR102411766B1 (ko) * 2017-08-25 2022-06-22 삼성전자주식회사 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치
US10311874B2 (en) * 2017-09-01 2019-06-04 4Q Catalyst, LLC Methods and systems for voice-based programming of a voice-controlled device
US11200027B2 (en) * 2017-09-19 2021-12-14 Google Llc Virtual assistant configured to automatically customize groups of actions
US10902211B2 (en) * 2018-04-25 2021-01-26 Samsung Electronics Co., Ltd. Multi-models that understand natural language phrases
US10872599B1 (en) * 2018-06-28 2020-12-22 Amazon Technologies, Inc. Wakeword training
US20200012745A1 (en) * 2018-07-09 2020-01-09 Simon I. Bain System and Method for Secure Data Management and Access Using Field Level Encryption and Natural Language Understanding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003323192A (ja) * 2002-05-08 2003-11-14 Matsushita Electric Ind Co Ltd 単語辞書登録装置および単語辞書登録方法
US20140288931A1 (en) * 2012-02-17 2014-09-25 Lg Electronics Inc. Method and apparatus for smart voice recognition
JP2015215433A (ja) * 2014-05-09 2015-12-03 株式会社ナビタイムジャパン 情報提供システム、端末装置、情報提供サーバ、情報提供方法、および、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966439B2 (en) 2021-03-25 2024-04-23 Samsung Electronics Co., Ltd. Method for providing voice assistant service and electronic device supporting the same

Also Published As

Publication number Publication date
US20210134272A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
US11887604B1 (en) Speech interface device with caching component
KR102293063B1 (ko) 사용자 정의 가능한 웨이크업 음성 명령
US10438595B2 (en) Speaker identification and unsupervised speaker adaptation techniques
US11113419B2 (en) Selective enforcement of privacy and confidentiality for optimization of voice applications
US20240071382A1 (en) Temporary account association with voice-enabled devices
KR20190006403A (ko) 음성 처리 방법 및 이를 지원하는 시스템
US9368107B2 (en) Permitting automated speech command discovery via manual event to command mapping
KR20190001434A (ko) 발화 인식 모델을 선택하는 시스템 및 전자 장치
KR20190101630A (ko) 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법
US11176934B1 (en) Language switching on a speech interface device
WO2021031308A1 (zh) 音频处理方法、装置及存储介质
US11373635B2 (en) Information processing apparatus that fades system utterance in response to interruption
US11074912B2 (en) Identifying a valid wake input
KR20190068133A (ko) 오디오 데이터에 포함된 음소 정보를 이용하여 어플리케이션을 실행하기 위한 전자 장치 및 그의 동작 방법
US20210065708A1 (en) Information processing apparatus, information processing system, information processing method, and program
WO2020017166A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
EP3674882B1 (en) Localized virtual personal assistant
US20180350360A1 (en) Provide non-obtrusive output
KR20190113130A (ko) 사용자 음성 입력을 처리하는 장치
EP3447765B1 (en) Electronic device performing operation using voice command and method of operating electronic device
KR20210042520A (ko) 전자 장치 및 이의 제어 방법
US20200388268A1 (en) Information processing apparatus, information processing system, and information processing method, and program
KR20200017293A (ko) 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
WO2020003820A1 (ja) 複数の処理を並列実行する情報処理装置
WO2020039726A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19837050

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19837050

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP