WO2019155717A1

WO2019155717A1 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Info

Publication number: WO2019155717A1
Application number: PCT/JP2018/042411
Authority: WO
Inventors: 真一河野; 祐平滝; 広岩瀬
Original assignee: ソニー株式会社
Priority date: 2018-02-09
Filing date: 2018-11-16
Publication date: 2019-08-15
Also published as: JPWO2019155717A1; EP3751393A1; CN111587413A; EP3751393A4; JP7347217B2; US20200365139A1

Abstract

複数のユーザ発話をまとめた発話まとめリストを生成、利用することで、複数のユーザ発話に基づく処理を正確に繰り返し実行可能とした装置、方法を実現する。学習処理部が複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する。さらに、生成した発話まとめリストを表示部に表示する。学習処理部は、ユーザの了解が得られた場合や、ユーザ発話に対応する複数の処理の実行に成功したと判定した場合、あるいは複数のユーザ発話の組み合わせが、予め規定されたしきい値回数以上になった場合、またユーザが満足していることが推定される場合等に、発話まとめリストを生成して記憶部に格納する。

Description

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザ発話に応じた処理を実行する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。

　昨今、ユーザ発話の音声認識を行い、認識結果に基づく様々な処理や応答を行う音声対話システムの利用が増大している。
　この音声認識システムにおいては、マイクを介して入力するユーザ発話を認識理解して、それに応じた処理を行う。

　例えばユーザが、「面白い動画を見せて」と発話した場合、動画コンテンツ提供サーバから動画コンテンツを取得して表示部、あるいは接続されたテレビに出力するといった処理を行う。あるいは、ユーザが、「テレビを消して」と発話した場合、テレビをオフにする動作等を行う。

　一般的な音声対話システムは、例えば、ＮＬＵ（Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を有しており、自然言語理解（ＮＬＵ）機能を適用して、ユーザ発話の意図（Ｉｎｔｅｎｔ）を理解する。

　しかし、例えば、複数の処理を連続的に行わせようとすると、ユーザは、複数の処理に相当する複数のユーザ発話を行うことが必要となる。例えば、以下のような例である。
　「面白い動画を見せて」
　「クラシックを再生して」
　「昨日のゲームの続きがしたいな」
　「友達と一緒にゲームがしたいから連絡して」

　例えば、このような連続的なユーザ発話を行った場合、ユーザは、これらの全ての発話をシステムが理解し、実行できるのか否かを、即座に確認することは難しい。
　実際には、ユーザは、発話を行った後、しばらく待機して、ユーザ発話に対する処理が実行されているか否かを、実行結果に基づいて確認することが必要となる。
　実行されていない場合は、その実行されていなかった処理について、再度、繰り返して発話するか、あるいは言い方を変えて発話するといった言い直し等の処理が必要となる。
　このような対応はユーザにとって大きな負担であり、また、処理完了までの時間も増大するという問題がある。

　ユーザ発話による処理依頼を確実に実行させるための構成を開示した従来技術として、例えば特許文献１（特開２００７－０５２３９７号公報）がある。この文献は、カーナビに入力可能な音声コマンドのリストを、予め表示部に表示することで、ユーザがリストを見ながら音声コマンドを入力可能とした構成を開示している。
　この構成により、カーナビが理解できるユーザ発話（コマンド）を、ユーザに発話させることが可能となり、カーナビの理解できないユーザ発話（コマンド）がなされる可能性を低減させることができる。

　この構成は、ユーザ発話をシステムに登録されたコマンドに一致させることが可能となるが、上述したように、複数の処理要求を連続して実行させようとすると、ユーザは、ユーザの意図する複数処理に対応する複数のコマンドをリストから探すことが必要となり、ユーザの負担が大きくなる。また、結果として処理完了までの時間も増大するという問題が発生する。

特開２００７－０５２３９７号公報

　本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザ発話に応じた処理を、より確実に実行可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。

　また、本開示の一実施例においては、複数の異なる処理をまとめて実行させる場合に、ユーザの要求する複数処理を確実に実行可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供する。

　本開示の第１の側面は、
　ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部は、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理装置にある。

　さらに、本開示の第２の側面は、
　ユーザ端末と、データ処理サーバを有する情報処理システムであり、
　前記ユーザ端末は、
　ユーザ発話を入力する音声入力部を有し、
　前記データ処理サーバは、
　前記ユーザ端末から受信する前記ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部は、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理システムにある。

　さらに、本開示の第３の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部が、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理方法にある。

　さらに、本開示の第４の側面は、
　ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記ユーザ端末が、
　ユーザ発話を入力する音声入力処理を実行し、
　前記データ処理サーバが、
　前記ユーザ端末から受信する前記ユーザ発話の学習処理を実行し、
　前記学習処理において、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理方法にある。

　さらに、本開示の第５の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、ユーザ発話の学習処理を行う学習処理部を有し、
　前記プログラムは、前記学習処理部に、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、複数のユーザ発話をまとめた発話まとめリストを生成、利用することで、複数のユーザ発話に基づく処理を正確に繰り返し実行可能とした装置、方法が実現される。
　具体的には、例えば、学習処理部が複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する。さらに、生成した発話まとめリストを表示部に表示する。学習処理部は、ユーザの了解が得られた場合や、ユーザ発話に対応する複数の処理の実行に成功したと判定した場合、あるいは複数のユーザ発話の組み合わせが、予め規定されたしきい値回数以上になった場合、またユーザが満足していることが推定される場合等に、発話まとめリストを生成して記憶部に格納する。
　本構成により、複数のユーザ発話をまとめた発話まとめリストを生成、利用することで、複数のユーザ発話に基づく処理を正確に繰り返し実行可能とした装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ユーザ発話に基づく応答や処理を行う情報処理装置の例について説明する図である。情報処理装置の構成例と利用例について説明する図である。情報処理装置の具体的な構成例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の表示データの一例について説明する図である。情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。情報処理システムの構成例について説明する図である。情報処理装置のハードウェア構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．情報処理装置の構成例について
　２．情報処理装置の出力する表示情報と発話まとめリストの生成例について
　３．発話まとめリストを利用した処理例について
　４．発話まとめリストのその他の表示例と生成例について
　５．情報処理装置の実行する処理のシーケンスについて
　６．情報処理装置、および情報処理システムの構成例について
　７．情報処理装置のハードウェア構成例について
　８．本開示の構成のまとめ

　　［１．情報処理装置の構成例について］
　まず、図１以下を参照して、本開示の一実施例の情報処理装置の構成例について説明する。

　図１は、ユーザ１の発するユーザ発話を認識して、ユーザ発話に対応する処理や応答を行う情報処理装置１０の構成と処理例を示す図である。
　ユーザ１は、ステップＳ０１において、以下のユーザ発話を行う。
　ユーザ発話＝「面白い動画を見せて」

　情報処理装置１０は、ステップＳ０２において、ユーザ発話の音声認識を行い認識結果に基づく処理を実行する。
　図１に示す例では、ユーザ発話＝「面白い動画を見せて」の応答として、ステップＳ０２において、以下のシステム発話を出力する。
　システム発話＝「分かりました、面白い動画を再生します。」
　さらに、情報処理装置１０は、動画コンテンツを、例えば、ネットワーク接続されたクラウド側のサーバ２０であるコンテンツ配信サーバから取得して、情報処理装置１０の表示部１３、あるいは情報処理装置１０によって制御される近くの外部装置（テレビ）３０に出力する。

　さらに、ユーザ１は、ステップＳ０３において、以下のユーザ発話を行う。
　ユーザ発話＝「クラシックを聞かせて」

　情報処理装置１０は、ステップＳ０４において、ユーザ発話の音声認識を行い認識結果に基づく処理を実行する。
　図１に示す例では、ユーザ発話＝「クラシックを聞かせて」の応答として、ステップＳ０４において、以下のシステム発話を出力する。
　システム発話＝「分かりました、クラシックを再生します。」
　さらに、情報処理装置１０は、クラシック音楽コンテンツを、例えば、ネットワーク接続されたクラウド側のサーバ２０である音楽配信サーバから取得して、情報処理装置１０のスピーカー１４、あるいは近くの外部装置（スピーカー）に出力する。

　図１に示す情報処理装置１０は、カメラ１１、マイク１２、表示部１３、スピーカー１４を有しており、音声入出力と画像入出力が可能な構成を有する。

　図１に示す情報処理装置１０は、例えばスマートスピーカーあるいはエージェント機器等と呼ばれる。
　なお、ユーザ発話に対する音声認識処理や意味解析処理は、情報処理装置１０内で行ってもよいし、クラウド側のサーバ２０の１つであるデータ処理サーバにおいて実行する構成としもよい。

　本開示の情報処理装置１０は、図２に示すように、エージェント機器１０ａに限らず、スマホ１０ｂやＰＣ１０ｃ等のような様々な装置形態とすることが可能である。

　情報処理装置１０は、ユーザ１の発話を認識して、ユーザ発話に基づく応答を行う他、例えば、ユーザ発話に応じて図２に示すテレビ、エアコン等の外部機器３０の制御も実行する。
　例えばユーザ発話が「テレビのチャンネルを１に変えて」、あるいは「エアコンの設定温度を２０度にして」といった要求である場合、情報処理装置１０は、このユーザ発話の音声認識結果に基づいて、外部機器３０に対して制御信号（Ｗｉ－Ｆｉ、赤外光など）を出力して、ユーザ発話に従った制御を実行する。

　なお、情報処理装置１０は、ネットワークを介してサーバ２０と接続され、サーバ２０から、ユーザ発話に対する応答を生成するために必要となる情報を取得することが可能である。また、前述したように音声認識処理や意味解析処理をサーバに行わせる構成としてもよい。

　次に、図３を参照して、情報処理装置の具体的な構成例について説明する。
　図３は、ユーザ発話を認識して、ユーザ発話に対応する処理や応答を行う情報処理装置１０の一構成例を示す図である。

　図３に示すように、情報処理装置１０は、入力部１１０、出力部１２０、データ処理部１５０を有する。
　なお、データ処理部１５０は、情報処理装置１０内に構成することも可能であるが、情報処理装置１０内に構成せず、外部サーバのデータ処理部を利用してもよい。サーバを利用した構成の場合、情報処理装置１０は、入力部１１０から入力した入力データを、ネットワークを介してサーバに送信し、サーバのデータ処理部１５０の処理結果を受信して、出力部１２０を介して出力する。

　次に、図３に示す情報処理装置１０の構成要素について説明する。
　入力部１１０は、音声入力部（マイク）１１１、画像入力部（カメラ）１１２、センサー１１３を有する。
　出力部１２０は、音声出力部（スピーカー）１２１、画像出力部（表示部）１２２を有する。
　情報処理装置１０は、最低限、これらの構成要素を有する。

　なお、音声入力部（マイク）１１１は、図１に示す情報処理装置１０のマイク１２に対応する。
　画像入力部（カメラ）１１２は、図１に示す情報処理装置１０のカメラ１１に対応する。
　音声出力部（スピーカー）１２１は、図１に示す情報処理装置１０のスピーカー１４に対応する。
　画像出力部（表示部）１２２は、図１に示す情報処理装置１０の表示部１３に対応する。
　なお、画像出力部（表示部）１２２は、例えば、プロジェクタ等によって構成することも可能であり、また外部装置のテレビの表示部を利用した構成とすることも可能である。

　データ処理部１５０は、前述したように情報処理装置１０、または情報処理装置１０と通信可能なサーバのいずれかに構成される。
　データ処理部１５０は、入力データ解析部１６０、記憶部１７０、出力情報生成部１８０を有する。

　入力データ解析部１６０は、音声解析部１６１、画像解析部１６２、センサー情報解析部１６３、ユーザ状態推定部１６４、学習処理部１６５を有する。
　出力情報生成部１８０は、出力音声生成部１８１、表示情報生成部１８２を有する。
　表示情報生成部１８２はノードツリー、発話まとめリスト等の表示データを生成する。これらの表示データについては後段で詳細に説明する。

　ユーザの発話音声はマイクなどの音声入力部１１１に入力される。
　音声入力部（マイク）１１１は、入力したユーザ発話音声を音声解析部１６１に入力する。
　音声解析部１６１は、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）機能を有し、音声データを複数の単語から構成されるテキストデータに変換する。
　さらに、テキストデータに対する発話意味解析処理を実行する。
　音声解析部１６１は、例えば、ＮＬＵ（Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を有し、テキストデータからユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、発話に含まれる意味のある要素（有意要素）である実体情報（エンティティ：Ｅｎｔｉｔｙ）を推定する。

　具体例について説明する。例えば以下のユーザ発話が入力されたとする。
　ユーザ発話＝明日の大阪の午後の天気を教えて
　このユーザ発話の、
　意図（インテント）は、天気を知りたいであり、
　実体情報（エンティティ）は、大阪、明日、午後、これらのワードである。

　ユーザ発話から、意図（インテント）と、実体情報（エンティティ）を正確に推定、取得することができれば、情報処理装置１００は、ユーザ発話に対する正確な処理を行うことができる。
　例えば、上記の例では、明日の大阪の午後の天気を取得して、応答として出力することができる。

　音声解析部１６１によって取得されたユーザ発話解析情報１９１は、記憶部１７０に格納されるとともに、学習処理部１６５、出力情報生成部１８０に出力される。

　また、音声解析部１６１は、ユーザ音声に基づくユーザ感情の解析処理に必要な情報（ノンバーバル情報）を取得し、取得した情報をユーザ状態推定部１６４に出力する。

　画像入力部１１２は、発話ユーザおよびその周囲の画像を撮影して、画像解析部１６２に入力する。
　画像解析部１６２は、ユーザの顔の表情、ジェスチャ、視線情報等の解析を行い、この解析結果をユーザ状態推定部１６４に出力する。

　センサー１１３は、例えばユーザの視線、体温、心拍数、脈拍、脳波等を解析するために必要となるデータを取得するセンサーによって構成される。センサーの取得情報は、センサー情報解析部１６３に入力される。
　センサー情報解析部１６３は、センサー取得情報に基づいて、ユーザの視線、体温、心拍数等のデータを取得して、この解析結果をユーザ状態推定部１６４に出力する。

　ユーザ状態推定部１６４は、
　音声解析部１６１による解析結果、すなわち、ユーザ音声に基づくユーザ感情の解析処理に必要な情報（ノンバーバル情報）、
　画像解析部１６２による解析結果、すなわち、ユーザの顔の表情、ジェスチャ、視線情報等の解析情報、
　センサー情報解析部１６３による解析結果、すなわち、ユーザの視線、体温、心拍数、脈拍、脳波等のデータ、
　これらのデータを入力して、ユーザ状態を推定して、ユーザ状態推定情報１９２を生成する。
　生成されたユーザ状態推定情報１９２は、記憶部１７０に格納されるとともに、学習処理部１６５、出力情報生成部１８０に出力される。

　なお、ユーザ状態推定部１６４の生成するユーザ状態推定情報１９２とは、具体的には、例えばユーザが満足しているか不満か、すなわち、ユーザ発話に対する情報処理装置が実行した処理に満足しているか否かの推定情報等である。
　例えば、ユーザが満足していると推定されれば、ユーザ発話に対して情報処理装置が実行した処理が正しい処理、すなわち実行処理が成功であると推定する。

　学習処理部１６５は、ユーザ発話に対する学習処理を実行して学習データを記憶部１７０に格納する。例えば新たなユーザ発話が入力された場合や、ユーザ発話の意図が不明である場合等において、その後の装置とユーザの対話に基づいて意図を解析し、解析結果が得られた場合にはユーザ発話と意図を対応付けた学習データを生成して記憶部１７０に格納する処理等を行う。
　このような学習処理を実行することで、次第に、多くのユーザ発話の意図を正確に理解することが可能となる。

　また、学習処理部１６５は、複数のユーザ発話をまとめた「発話まとめリスト」を生成して記憶部１７０に格納する処理も実行する。
　「発話まとめリスト」については、後段で詳細に説明する。

　なお、学習処理部１６５には、音声解析部１６１の解析結果の他、画像解析部１６２、センサー情報解析部１６３、ユーザ状態推定部１６４の生成した解析情報、推定情報も入力される。
　学習処理部１６５は、これらの入力情報に基づいて、例えばユーザ発話に対して情報処理装置１０の実行した処理の成功度を把握し、成功したと判定した場合に学習データを生成して記憶部１７０に格納する処理等を実行する。

　記憶部１７０には、ユーザ発話の内容や、ユーザ発話に基づく学習データや、画像出力部（表示部）１２２に出力する表示用データ等が格納される。
　なお、表示用データには、表示情報生成部１８２が生成するノードツリー、発話まとめリスト等が含まれる。これらのデータについては後段で詳細に説明する。

　出力情報生成部１８０は、出力音声生成部１８１、表示情報生成部１８２を有する。
　出力音声生成部１８１は、音声解析部１６１の解析結果であるユーザ発話解析情報１９１に基づいて、ユーザに対する応答を生成する。具体的には、音声解析部１６１の解析結果であるユーザ発話の意図に応じた応答を生成する。
　出力音声生成部１８１の生成した応答音声情報は、スピーカー等の音声出力部１２１を介して出力される。
　出力音声生成部１８１は、さらに、ユーザ状態推定情報１９２に基づいて、出力する応答を変更する制御も行う。
　例えばユーザが不満そうな困った表情である場合には、「何かお困りですか」といったシステム発話を実行するための処理等を行う。

　表示情報生成部１８２は、画像出力部（表示部）１２２に表示するノードツリーや、発話まとめリスト等の表示データを生成する。
　これらのデータについては、後段で詳細に説明する。

　なお、図３には、ユーザ発話に対する処理実行機能、例えば、先に図１を参照して説明した動画再生のための動画取得処理や、取得動画の出力を行うための構成は示していないが、これらの機能もデータ処理部１５０内に構成される。

　　［２．情報処理装置の出力する表示情報と発話まとめリストの生成例について］
　次に、情報処理装置１０の出力する表示情報と発話まとめリストの生成例について説明する。

　図４は、情報処理装置１０の画像出力部（表示部）１２２に出力される表示データの例を示する図である。
　なお、前述したように、画像出力部（表示部）１２２は、図１に示す情報処理装置１０の表示部１３に対応するが、例えば、プロジェクタ等によって構成することも可能であり、また外部装置のテレビの表示部を利用した構成とすることも可能である。

　図４に示す例において、まず、ユーザが、情報処理装置１０に対する呼びかけとして以下のユーザ発話を行う。
　ユーザ発話＝「ねえ、ソニ太郎」
　なお、ソニ太郎は、情報処理装置１０のニックネームである。
　この呼びかけに対して、情報処理装置１０は、以下のシステム応答を行う。
　システム応答＝「やりたいことは何ですか？、できることはこちらです。」
　情報処理装置１０は、出力音声生成部１８２が、上記のシステム応答を生成して音声出力部（スピーカ）１２１を介して出力する。

　情報処理装置１０は、さらに、上記のシステム応答の出力に併せて、表示情報生成部１８２が生成した図４に示す表示データを画像出力部（表示部）１２２に表示する。

　図４に示す表示データについて説明する。
　ドメイン対応ノードツリー２００は、情報処理装置１０がユーザ発話に応じて実行可能な処理を種類（ドメイン）別に区分し、さらに、ドメインごとに受付可能なユーザ発話例を示したツリー（木構造）データである。

　図４に示す例は、ドメイン２０１として、
　ゲームドメイン、
　メディアドメイン、
　設定ドメイン、
　ショップドメイン、
　が設定され、さらに、
　メディアドメインの下位ドメインとして、
　フォトドメイン、
　ビデオドメイン、
　ミュージックドメイン、
　これらのドメインを表示している。

　ドメインには、さらに下位ノードとして、受付可能発話表示ノード２０２が設定される。
　受付可能発話表示ノード２０２の具体例については、後段において、図５以下を参照して説明する。

　表示部には、さらに、右上に示す表示領域識別情報２１１が表示される。これは、表示部に表示されたドメイン対応ノードツリー２００がツリー全体のどの部分に該当するかを示す情報である。

　表示部には、さらに、右下に示す登録済み発話まとめリスト情報２１２が表示される。これは、情報処理装置１０の記憶部１７０に記録された発話まとめリストの一覧データである。
　発話まとめリストは、一連の異なる複数のユーザ発話をまとめたリストである。例えば、２つ以上の処理を連続して情報処理装置１０に依頼する場合に利用される。
　この発話まとめリストについては、後段で詳細に説明する。

　図４に示す状態から、次に図５に示す状態に移行する。
　図５に示すように、ユーザは、以下のユーザ発話を行う。
　ユーザ発話＝「ＢＧＭをかけたいんだけど」
　情報処理装置１０は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「再生」であることを把握する。
　このユーザ発話解析情報に基づいて、表示情報生成部１８２は、表示部の表示データを図５に示すように更新する。

　図５に示す表示データは、
　ビデオドメイン、ミュージックドメインの下位ノードとして、処理カテゴリ表示ノード２０３を示し、さらに、この処理カテゴリ表示ノード２０３の下位ノードとして、受付可能発話表示ノード２０２を示した表示データである。

　処理カテゴリ表示ノード２０３は、各ドメイン（ビデオ、ミュージック、ゲーム等）に対応して実行可能な処理のカテゴリを示すノードである。
　この処理カテゴリ表示ノード２０３の下位ノードとして、受付可能発話表示ノード２０２が表示される。

　受付可能発話表示ノード２０２には、処理カテゴリノードに表示された処理の関連処理を情報処理装置１０に実行させる登録済みのユーザ発話、例えばコマンドが表示される。なお、コマンドはユーザ発話中、情報処理装置１０に何等かの処理を実行させるユーザ発話（＝コマンド）である。
　図５に示すように、
　「１０分早送りして」
　「最初に戻って」
　「昨日見た動画を再生して」
　これらのユーザ発話（＝コマンド）のテキストデータが受付可能発話表示ノード２０２に表示される。

　これらの受付可能発話表示ノード２０２に表示されるユーザ発話は、例えば、予め記憶部１７０に記録された学習データ（ユーザ発話と意図との対応関係を記録した学習データ）発話データや、過去のユーザ発話に基づいて学習処理部１６５が学習して生成した学習データであり、記憶部１７０に記録されているデータである。
　ユーザがこの受付可能発話表示ノード２０２に一致する発話を行えば、情報処理装置１０は、学習データに基づいて、そのユーザ発話の意図を正確に把握して、ユーザ発話に従った処理を確実に実行することができる。

　ユーザ側から見れば、表示部に表示された受付可能発話表示ノード２０２をそのまま読み上げることで、情報処理装置１０がユーザの意図する処理を実行してくれることを確信して安心して発話を行うことができる。

　なお、受付可能発話表示ノード２０２に表示される文字列は、学習データとして記録されている文字列であるが、ユーザはこの文字列と一致しない文字列からなる発話を行っても、情報処理装置１０の音声解析部１６１は、近い文字列からなる学習データを参照してユーザ発話の意図を推定する。従って、ユーザは、この表示されたデータに近い発話を行えば、情報処理装置１０は、ユーザ発話に応じた的確な処理を実行することが可能となる。

　図５に示す表示データが表示部に表示された後、次に図６に移行する。
　図６に示すように、ユーザは、以下のユーザ発話を行う。
　ユーザ発話＝「８０年代の曲を再生して」
　情報処理装置１０は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「８０年代の曲の再生」であることを把握する。
　このユーザ発話解析情報に基づいて、情報処理装置１０は処理（８０年代の曲の再生）を実行する。
　なお、再生対象となる音楽は、例えばネットワークに接続されたサーバ（音楽コンテンツを提供するサービス提供サーバ）から取得される。
　さらに、表示情報生成部１８２は、表示部の表示データを図６に示すように更新する。

　図６に示す表示データは、
　受付可能発話表示ノード２０２の１つのノードである、
　ノード「９９年代の曲を再生して」
　このノードを強調表示ノード２２１として強調表示したものである。

　ユーザ発話＝「８０年代の曲を再生して」は、
　すでに学習データとして記録済みの発話であるノードに示す発話データ「９９年代の曲を再生して」
と類似しており、情報処理装置１０の音声解析部１６１は、発話データ「９９年代の曲を再生して」を記録した学習データを参照することで、正確な音声認識と意味解析を行い、ユーザ意図が「８０年代の曲の再生」であることを確実に把握することができる。すなわち、年代エンティティとして「８０年代」が取得できた結果、８０年代の曲の再生を行う。

　情報処理装置１０の表示情報生成部１８２は、このユーザ発話の意図把握に併せて、類似する意図を持つ受付可能発話表示ノード２０２の１つのノード、
　ノード＝「９９年代の曲を再生して」
　このノードを強調表示ノード２２１として強調表示する。
　ユーザはこの表示を見ることで、ユーザ発話が正確に解釈されたことを確信することができる。
　さらに、図６に示すように、
　｛実行された。よかった。「９９年」のところを変えればいろいろ言えそうだ｝
　のように、情報処理装置１０の理解度を把握し、その他の利用可能な発話についても判断することが可能となる。

　次に図７に移行する。
　図７に示すように、ユーザは、以下のユーザ発話を行う。
　ユーザ発話＝「お気に入りリストを再生」
　情報処理装置１０は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「お気に入りリストを再生」であることを把握する。
　このユーザ発話解析情報に基づいて、情報処理装置１０は処理（お気に入りリストを再生）を実行する。
　なお、お気に入りリストや、再生対象となる音楽は、例えばネットワークに接続されたサーバ（音楽コンテンツを提供するサービス提供サーバ）から取得される。
　さらに表示情報生成部１８２は、表示部の表示データを図７に示すように更新する。

　図７に示す表示データは、
　受付可能発話表示ノード２０２の１つのノードである、
　ノード「お気に入りリストを再生して」
　このノードを強調表示ノード２２１として強調表示したものである。

　さらに、情報処理装置１０の出力音声生成部１８１は以下のシステム応答を生成して音声出力部１２１を介して出力する。
　システム応答＝「あなたの好きな曲を再生しました」

　なお、このユーザ発話に対する処理実行時（曲再生時）に、入力データ解析部１６０の音声解析部１６１、画像解析部１６２、センサー情報解析部１６３、ユーザ状態推定部１６４は、ユーザ発話、画像、センサー情報等に基づいて、ユーザの状態（満足しているか不満な状態か等）を推定し、この推定情報を学習処理部１６５に出力する。学習処理部１６５は、この情報に基づいて学習データの生成、更新、破棄等の処理を行う。

　例えば、ユーザが満足していると推定されれば、ユーザ発話に対する意図把握と、実行処理が正しく行われたと判定して学習データの生成、更新を行い記憶部１７０に格納する。
　ユーザが満足していないと推定されれば、ユーザ発話に対する意図把握と、実行処理が正しく行われていないと判定して学習データの生成、更新を行わない。あるいは生成した学習データの破棄等を行う。

　次に、図８に移行する。
　図８に示すように、ユーザは、以下のユーザ発話を行う。
　ユーザ発話＝「サウザン追加して」
　なお、「サウザン」は、著名なアーティスト名であるとする。
　情報処理装置１０は、このユーザ発話の音声認識と意味解析を行うが、ユーザ意図が解釈できなかったとする。
　このようなユーザ意図が解釈できない発話をＯＯＤ発話（アウト　オブ　ドメイン（Ｏｕｔ　Ｏｆ　Ｄｏｍａｉｎ）発話）と呼ぶ。
　なお、ユーザ意図が解釈でき、情報処理装置１０が実行可能なユーザ発話をイン　ドメイン（発話）と呼ぶ。

　情報処理装置１０は、このようなＯＯＤ発話を入力すると、出力音声生成部１８１は、問い合わせ応答を生成して音声出力部１２１を介して出力する。すなわち、図８に示すように、以下のシステム応答を生成して出力する。
　システム応答＝「すみません、わかりません、言い直してください」
　さらに、表示情報生成部１８２は、図８に示すように、表示部の右下に以下のようなガイド情報２２２を表示する。
　ガイド情報＝「サウザン追加して」が分かりません、１０秒以内であれば言い直し可能です
　情報処理装置１０は、この表示後、１０秒待機する。

　次に図９に移行する。
　図９に示すように、ユーザは、ＯＯＤ発話とされた「サウザン追加して」の言い直し発話として、以下のユーザ発話を行う。
　ユーザ発話（言い直し）＝「昨日のサウザンの曲をかけて」
　情報処理装置１０は、このユーザ発話の音声認識と意味解析を行い、
　ＯＯＤ発話とした「サウザン追加して」のユーザ意図が「昨日のサウザンの曲をかけて」と同様、「サウザンの曲をかけて」という意図であることを把握する。
　学習処理部１６５は、この意図把握の結果を学習データとして記憶部１７０に格納する。

　さらに、情報処理装置１０の出力音声生成部１８１は、以下のシステム応答を生成して出力する。
　システム応答＝「分かりました。「サウザン追加して」を学習しました」
　さらに、表示情報生成部１８２は、表示部の表示データを図９に示すように更新する。
　追加ノード２３１として、意図把握に成功したユーザ発話を示すノードを追加し、さらに、学習がなされたことを示すガイド情報２３２を表示する。

　なお、前述したように、学習処理部１６５は、入力データ解析部１６０の音声解析部１６１、画像解析部１６２、センサー情報解析部１６３、ユーザ状態推定部１６４から入力する情報から推定されるユーザ状態（満足しているか不満な状態か等）に基づいて学習データの生成、更新、破棄等の処理を行う。
　すなわち、ユーザが満足していると推定されれば、ユーザ発話に対する意図把握と、実行処理が正しく行われたと判定して学習データの生成、更新を行い記憶部１７０に格納する。ユーザが満足していないと推定されれば、ユーザ発話に対する意図把握と、実行処理が正しく行われていないと判定して学習データの生成、更新を行わない。あるいは生成した学習データの破棄を行う。

　次に、図１０に移行する。
　ユーザは、次にゲームをやりたくなり、以下のユーザ発話を行う。
　ユーザ発話＝「ゲームで使えるコマンド（発話）を見せて」
　なお、コマンドとは、前述したように情報処理装置１０に何等かの処理を実行させるユーザ発話（＝コマンド）である。

　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行う。この解析結果に基づいて、表示情報生成部１８２は、表示部の表示データを図１０に示すように更新する。
　図１０に示すようにゲームドメインに対応して設定された受付可能発話表示ノード２０２（＝受付可能コマンドノード）を示すツリー領域を表示する。

　ユーザは、フレンドを誘って一緒にゲームをしたいと考え、そのための最適な発話（コマンド）を受付可能発話表示ノード２０２（＝受付可能コマンドノード）から探す。
　ノード＝「フレンドにお誘いを送って」
　を見つけて、このノードに表示された発話を行う。

　図１１に示すように、ユーザは、以下のユーザ発話を行う。
　ユーザ発話＝「フレンドにお誘いを送って」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行い、この結果に基づいて、情報処理装置１０は処理（フレンドに対するお誘いメールの送信）を実行する。
　なお、フレンドに対するお誘いメールの送信は、例えば情報処理装置１０から直接送信するか、あるいは、ネットワークに接続されたサーバ（ゲームを提供するサービス提供サーバ）経由で送信される。
　さらに、表示情報生成部１８２は、表示部の表示データを図１１に示すように更新する。

　情報処理装置１０の表示情報生成部１８２は、このユーザ発話の意図把握に併せて、類似する意図を持つ受付可能発話表示ノード２０２の１つのノード、
　ノード＝「フレンドにお誘いを送って」
　このノードを強調表示する。
　ユーザはこの表示を見ることで、ユーザ発話が正確に解釈されたことを確信することができる。

　また、情報処理装置１０の出力音声生成部１８１は以下のシステム応答を生成して音声出力部１２１を介して出力する。
　システム応答＝「いつものゲームフレンドにインビテーションを送付しました」

　次に、図１２に移行する。
　ユーザは、ゲームをしながら動画再生を行いたくなり、以下のユーザ発話を行う。
　ユーザ発話＝「昨日見た動画を再生して」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行う。この解析結果に基づいて、情報処理装置１０は処理を実行（動画再生）する。
　なお、再生対象となる動画は、例えばネットワークに接続されたサーバ（動画コンテンツを提供するサービス提供サーバ）から取得される。
　さらに、表示情報生成部１８２は、表示部の表示データを図１２に示すように更新する。

　図１２に示すようにビデオドメインの受付可能発話表示ノードの１つのノード、すなわちユーザ発話に対応するノード
　ノード＝「昨日見た動画を再生して」
　このノードを強調表示する。
　ユーザはこの表示を見ることで、ユーザ発話が正確に解釈されたことを確信することができる。

　また、情報処理装置１０の出力音声生成部１８１は以下のシステム応答を生成して音声出力部１２１を介して出力する。
　システム応答＝「昨日皆さんが見ていたお笑い動画を再生しました」

　次に、図１３に移行する。
　図１３において、ユーザは、以下のように考える。すなわち、
　｛さっきは実行できたけど、同じこと（４つのこと）をやろうと思ったらうまくいくか分からないし面倒くさいな｝
　この４つのこととは、以下の４つのユーザ発話に対応する処理である。
　（１）「お気に入りリストを再生」（図７）、
　（２）「サウザン追加して」（図８）、
　（３）「フレンドにお誘いを送って」（図１１）、
　（４）「昨日見た動画を再生して」（図１２）、

　情報処理装置１０の入力データ解析部１６０は、この時点で、ユーザが何か悩んで不満そうにしていることを解析する。すなわち、ユーザ状態推定部１６４は、音声解析部１６１、画像解析部１６２、センサー情報解析部１６３から入力する情報に基づいて、ユーザが何か悩んで不満そうにしていることを示すユーザ状態推定情報１９２を生成して出力情報生成部１８０に出力する。

　出力情報生成部１８０の出力音声生成部１８１は、このユーザ状態推定情報１９２の入力に応じて、以下のシステム発話を生成して出力する。
　システム発話＝「「お気に入りリストを再生」から、「昨日見た動画を再生」までの発話をまとめて記録できます」

　次に、図１４に移行する。
　このシステム発話に応じて、ユーザは、図１４に示すように、以下のユーザ発話を行う。
　ユーザ発話＝「今の操作を覚えておいて」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行う。この解析結果に基づいて、情報処理装置１０は処理（「発話まとめリスト」の生成処理）を実行する。さらに、表示情報生成部１８２は、表示部の表示データを図１４に示すように更新する。

　図１４に示すように表示部には、複数の発話をまとめてリスト化した発話まとめリスト２３１が表示される。
　「発話まとめリスト」とは、複数のユーザ発話（コマンド）をリスト化したデータである。
　すなわち、「発話まとめリスト」に記録するユーザ発話は、情報処理装置１０に対するユーザからの処理要求であるコマンドに相当するユーザ発話である。
　この「発話まとめリスト」は、学習処理部１６５において生成される。

　学習処理部１６５は、
　ユーザ発話＝「今の操作を覚えておいて」
　に応じて、以下の４つのユーザ発話を１つのリストにまとめた発話まとめリストを生成して、このリストを１つの学習データとして記憶部１７０に格納する。
　（１）「お気に入りリストを再生」（図７）、
　（２）「サウザン追加して」（図８）、
　（３）「フレンドにお誘いを送って」（図１１）、
　（４）「昨日見た動画を再生して」（図１２）、

　例えば、ユーザが、記憶部１７０に格納された「発話まとめリスト」に含まれるユーザ発話を行った場合、あるいは、ユーザが記憶部１７０に格納された「発話まとめリスト」を指定して処理を依頼する発話を行った場合、情報処理装置１０は、「発話まとめリスト」に記録されたユーザ発話に応じた処理を順次、実行する。

　学習処理部１６５において「発話まとめリスト」が生成されると、図１４に示すように、表示情報生成部１８２は、表示部に、生成された「発話まとめリスト」２３１を表示する。
　ユーザは、次回から、この「発話まとめリスト」２３１を指定する発話を行えば、指定されたリストに記録された複数の処理を情報処理装置に一括して実行させることが可能となる。
　図１５以下を参照して生成した発話まとめリストを利用した処理例について説明する。

　　［３．発話まとめリストを利用した処理例について］
　次に、発話まとめリストを利用した処理例について説明する。
　先に図１４を参照して説明した処理によって生成された「発話まとめリスト」２３１を利用した処理例について説明する。

　まず、情報処理装置１０の起動時に、情報処理装置１０の表示部には図１５に示す初期画面が表示される。
　これは、先に図４を参照して説明した表示データと同じである。
　図１５に示すように、まず、ユーザが、情報処理装置１０に対する呼びかけとして以下のユーザ発話を行う。
　ユーザ発話＝「ねえ、ソニ太郎」
　この呼びかけに対して、情報処理装置１０は、以下のシステム応答を行う。
　システム応答＝「やりたいことは何ですか？、できることはこちらです。」

　情報処理装置１０は、さらに、上記のシステム応答の出力に併せて、表示情報生成部１８２が生成した図１５に示す表示データを画像出力部（表示部）１２２に表示する。
　図１５に示す表示データは、先に図４を参照して説明したドメイン対応ノードツリー２００を表示したデータである。

　ユーザは、この表示データを見ながら、次のように考える。
　｛一昨日と同じことがやりたいな・・・どうやればよいのかな・・・？覚えてないよ・・・｝
　なお、図１４を参照して説明した「発話まとめリスト」２３１は一昨日（おととい）に生成したものとする。

　次に、図１６に移行する。
　図１６に示すように、ユーザは以下のユーザ発話を行う。
　ユーザ発話＝「おととい、まとめた発話まとめリストを見せて」
　情報処理装置１０は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「おととい生成した発話まとめリストの表示要求」であることを把握する。

　このユーザ発話解析情報に基づいて、情報処理装置１０の表示情報生成部１８２は、表示部に「発話まとめリスト」２３１を表示する。
　さらに、情報処理装置１０の出力音声生成部１８１は以下のシステム応答を生成して音声出力部１２１を介して出力する。
　システム応答＝「了解しました。一昨日まためた発話まとめリストはこちらです」
　ユーザは、表示部に表示された発話まとめリスト２３１を見ることで、おととい実行した４つの一連の発話と処理を再確認することができる。

　次に、図１７に進む。
　図１７では、ユーザは、表示部に表示された発話まとめリスト２３１に記録された発話と同様の発話を順次行う。すなわち、
　（１）「お気に入りリストを再生」、
　（２）「サウザン追加して」、
　（３）「フレンドにお誘いを送って」、
　（４）「昨日見た動画を再生して」、
　これらの発話を順次、実行することで、おとといと全く同じ処理を情報処理装置１０に確実に実行させることができる。

　あるいは、ユーザは、これらの発話を順次行う代わりに、
　ユーザ発話＝「発話まとめリスト（２）を処理して」
　ユーザ発話＝「表示されている発話まとめリストを処理して」
　これらいずれかの発話を行ってもよい。
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行う。この解析結果に基づいて、情報処理装置１０は処理（「発話まとめリスト（２）」の処理）を実行する。すなわち、発話まとめリストに記録された複数のユーザ発話に対応する処理を順次、実行する。

　なお、情報処理装置１０の表示情報生成部１８２は、情報処理装置１０における処理の実行状態に応じて、表示部に表示された発話まとめリスト２３１の表示態様を変更する。
　具体的には、情報処理装置１０が実行中の処理に対応するリスト内のノード（受付可能発話表示ノード）を強調表示する処理を行う。

　図１８以下を参照してこの強調表示処理について説明する。
　まず、発話まとめリスト２３１に記録された最初のノード、
　ノード＝「お気に入りリストを再生して」
　情報処理装置１０は、まずこのノードに対応するユーザ発話に基づく処理（お気に入りリストの再生処理）を開始する。
　表示情報生成部１８２は、図１８に示すように、情報処理装置１０によって実行中の発話まとめリスト２３１に記録されたノード、すなわち、
　ノード＝「お気に入りリストを再生して」
　このノードを強調表示する。
　ユーザはこの強調表示を見て、情報処理装置１０が、お気に入りリストの再生処理を正しく実行していることを確認することが可能となる。

　次に、図１９に移行する。
　図１９は、発話まとめリスト２３１に記録された２番目のノード、
　ノード＝「サウザンを追加して」
　情報処理装置１０は、このノードに対応するユーザ発話に基づく処理（サウザンの再生）を開始する。
　すると、表示情報生成部１８２は、図１９に示すように、情報処理装置１０によって実行中の発話まとめリスト２３１に記録されたノード、すなわち、
　ノード＝「サウザンを追加して」
　このノードを強調表示する。
　ユーザはこの強調表示を見て、情報処理装置１０が、サウザンの再生処理を正しく実行していることを確認することが可能となる。

　次に、図２０に移行する。
　図２０は、発話まとめリスト２３１に記録された３番目のノード、
　ノード＝「フレンドにお誘いを送って」
　情報処理装置１０は、このノードに対応するユーザ発話に基づく処理（フレンドに対するお誘いメール送信）を開始する。
　すると、表示情報生成部１８２は、図２０に示すように、情報処理装置１０によって実行中の発話まとめリスト２３１に記録されたノード、すなわち、
　ノード＝「フレンドにお誘いを送って」
　このノードを強調表示する。
　ユーザはこの強調表示を見て、情報処理装置１０が、フレンドに対するお誘いメール送信を正しく実行していることを確認することが可能となる。

　次に、図２１に移行する。
　図２０は、発話まとめリスト２３１に記録された４番目のノード、
　ノード＝「昨日見た動画を再生して」
　情報処理装置１０は、このノードに対応するユーザ発話に基づく処理（昨日みた動画の再生）を開始する。
　すると、表示情報生成部１８２は、図２０に示すように、情報処理装置１０によって実行中の発話まとめリスト２３１に記録されたノード、すなわち、
　ノード＝「昨日見た動画を再生して」
　このノードを強調表示する。
　ユーザはこの強調表示を見て、情報処理装置１０が、昨日見た動画の再生を正しく実行していることを確認することが可能となる。

　「発話まとめリスト」は、ユーザが自由に作成することが可能であり、作成したリストを利用して処理を行うことで、複数の処理を確実に情報処理装置１０に一括または順次実行させることが可能となる。

　「発話まとめリスト」は、さらに、他のユーザが作成したものを利用することもできる。
　図２２は、他のユーザであるユーザＡＢＣの生成した発話まとめリスト２３２を表示した例である。

　ユーザは、以下のユーザ発話を行う。
　ユーザ発話＝「ＡＢＣさんの公開発話まとめリストを見せて」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行い、この結果に基づいて、情報処理装置１０は処理（ＡＢＣさんの公開発話まとめリストの取得と表示）を実行する。
　表示情報生成部１８２は、表示部の表示データを図２２に示すように更新する。
　すなわち、ＡＢＣさんの公開発話まとめリスト２３２を表示する。

　例えば情報処理装置１０がアクセス可能なサーバの記憶部には多数のユーザの発話まとめリストが格納されている。
　発話まとめリストには公開を許容するか否かの設定が可能であり、公開許容されたリストのみ、他のユーザの要求に応じて取得、表示することができる。

　図２２に示すように表示部に表示された他ユーザ公開発話まとめリストは、その後、このリストを呼び出したユーザがいつでも利用可能なリストとして記憶部１７０に格納される。

　さらに、図２３に示すように、例えばゲーム専用サーバの管理するゲーム専用ネットワークが生成した公開発話まとめリストであるネット公開発話まとめリスト２３３を取得して表示し、利用することも可能である。
　また、図２４に示すように、例えばブログにおいて公開された公開発話まとめリストであるブログ公開発話まとめリスト２３４を取得して表示し、利用することも可能である。

　　［４．発話まとめリストのその他の表示例と生成例について］
　次に、上述した実施例とは異なる発話まとめリストのその他の表示処理例、および生成処理例について説明する。
　図２５以下を参照してこれらの処理例について説明する。

　図２５は、情報処理装置１０の起動時に情報処理装置１０の表示部に表示される初期画面である。
　これは、先に図４を参照して説明した表示データと同じである。
　図２５に示すように、まず、ユーザが、情報処理装置１０に対する呼びかけとして以下のユーザ発話を行う。
　ユーザ発話＝「ねえ、ソニ太郎」
　この呼びかけに対して、情報処理装置１０は、以下のシステム応答を行う。
　システム応答＝「やりたいことは何ですか？、できることはこちらです。」

　ユーザは、この表示データを見ながら、次のように考える。
　｛一昨日と同じことがやりたいな・・・初めに何を話したっけ？あ、・・お気に入りリストを再生したんだった！｝

　次に、図２６に移行する。
　図２６に示すように、ユーザは以下のユーザ発話を行う。
　ユーザ発話＝「お気に入りリストを再生」
　情報処理装置１０は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「お気に入りリストの再生要求」であることを把握する。

　さらに、情報処理装置１０の学習処理部１６５は、この音声解析結果を入力して、
　ユーザ発話＝「お気に入りリストを再生」
　このユーザ発話を登録した「発話まとめリスト」が記憶部１７０に格納されていないかを検索する。

　その結果、先に図１４を参照して説明した「発話まとめリスト」が記憶部１７０に格納されていることを検出する。すなわち、
　（１）「お気に入りリストを再生」、
　（２）「サウザン追加して」、
　（３）「フレンドにお誘いを送って」、
　（４）「昨日見た動画を再生して」、
　これらのユーザ発話を記録した「発話まとめリスト」が記憶部１７０に格納されていることを検出する。

　この検出結果に基づいて、情報処理装置１０の表示情報生成部１８２は、記憶部１７０に格納されている「発話まとめリスト」を表示部に表示する処理を実行する。
　まず、図２６に示すように、「発話まとめリスト」に記録されているユーザ発話に対応するノード、すなわち図２６に示す発話まとめリスト対応ノード２４１の移動を開始する。
　次に、図２７に示すように、これらのノードから構成される発話まとめリスト２４２を表示する。

　ユーザは、この表示を見て、先に行ったユーザ発話、すなわち、
　ユーザ発話＝「お気に入りリストを再生」
　このユーザ発話を含む「発話まとめリスト」２４２が存在したことを確認することが可能となる。
　さらに、ユーザは表示された「発話まとめリスト」２４２を参照して、以前に実行した複数の一連の処理と全く同じ処理を確実に情報処理装置１０に実行させることが可能となる。

　さらに、図２８以下を参照して、情報処理装置１０の学習処理部１６５が自発的に発話まとめリストの生成処理を行うべきか否かを判断して、発話まとめリストの生成処理を行う例について説明する。

　まず、図２８に示すように、ユーザが以下のユーザ発話を行う。
　ユーザ発話＝「ハッピーバースデーをかけて」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「ハッピーバースデーの再生要求」であることを把握する。
　このユーザ発話解析情報に基づいて、情報処理装置１０は処理（ハッピーバースデーの再生）を実行する。さらに表示情報生成部１８２は、表示部の表示データを図２８に示すように更新する。

　図２８に示す表示データは、
　受付可能発話表示ノード２０２の１つのノードである、
　ノード「ハッピーバースデーをかけて」
　このノードを強調表示ノード２２１として強調表示したものである。

　さらに、情報処理装置１０の出力音声生成部１８１は以下のシステム応答を生成して音声出力部１２１を介して出力する。
　システム応答＝「ハッピーバースデーを再生しました」

　次に、図２９に示すように、ユーザが以下のユーザ発話を行う。
　ユーザ発話＝「その曲が使われた映画を再生して」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「ハッピーバースデーが使われた映画の再生要求」であることを把握する。
　このユーザ発話解析情報に基づいて、情報処理装置１０は処理（ハッピーバースデーが使われた映画の再生）を実行する。さらに表示情報生成部１８２は、表示部の表示データを図２９に示すように更新する。

　図２９に示す表示データは、
　受付可能発話表示ノード２０２の１つのノードである、
　ノード「ハッピーバースデーが使われた映画を再生して」
　このノードを強調表示ノード２２１として強調表示したものである。

　さらに、情報処理装置１０の出力音声生成部１８１は以下のシステム応答を生成して音声出力部１２１を介して出力する。
　システム応答＝「映画ハッピーライフを再生します」

　さらに図３０において、情報処理装置１０の学習処理部１６５は、ユーザ発話の履歴を検証する。
　ユーザ発話＝「ハッピーバースデーをかけて」
　ユーザ発話＝「その曲が使われた映画を再生して」
　この２つのユーザ発話中、２番目のユーザ発話には最初のユーザ発話に対する指示語「その」が含まれていることを確認し、この２つのユーザ発話の関係性が高いと判定する。

　学習処理部１６５は、この関係性の判定に基づいて、この２つのちユーザ発話から構成される１つの発話まとめリストを生成すべきと判断する。
　図３０に示すように、ユーザの明示的要求がなくても、情報処理装置１０は、以下のシステム発話を出力する。
　システム発話＝「「ハッピーバースデーをかけて」から、「その曲が使われた映画を再生して」までの発話をまとめて記録できます」

　次に、図３１に移行する。
　このシステム発話に応じて、ユーザは、図３１に示すように、以下のユーザ発話を行う。
　ユーザ発話＝「今の操作を覚えておいて」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行う。この解析結果に基づいて、情報処理装置１０は処理（「発話まとめリスト」の生成処理）を実行する。さらに、表示情報生成部１８２は、表示部の表示データを図３１に示すように更新する。

　図３１に示すように表示部には、複数の発話をまとめてリスト化した発話まとめリスト２６１が表示される。
　図３１に示す「発話まとめリスト」２６１は、
　ユーザ発話＝「ハッピーバースデーをかけて」
　ユーザ発話＝「その曲が使われた映画を再生して」
　これらの２つのユーザ発話をまとめたリストである。
　この「発話まとめリスト」は、学習処理部１６５において生成される。

　学習処理部１６５は、
　ユーザ発話＝「今の操作を覚えておいて」
　に応じて、以下の２つのユーザ発話を１つのリストにまとめた発話まとめリストを生成して、このリストを１つの学習データとして記憶部１７０に格納する。
　（１）「ハッピーバースデーをかけて」、
　（２）「その曲が使われた映画を再生して」、
　ユーザは、後日、この発話まとめリストを利用して、同じ一連の処理を確実に実行することが可能となる。

　図２８～図３１を参照して説明した処理は、
　第１のユーザ発話＝「ハッピーバースデーをかけて」
　第２のユーザ発話＝「その曲が使われた映画を再生して」
　この２つのユーザ発話中、２番目のユーザ発話に最初のユーザ発話に対する指示語「その」が含まれていることを確認し、この２つのユーザ発話の関係性が高いと判定した結果として発話まとめリストを生成した処理例である。

　次に、この２つのユーザ発話の順番が違う場合、すなわち最初に映画の再生要求があり、その次にその映画で使われた曲の再生要求を行った場合の発話まとめリスト生成処理例について、図３２以下を参照して説明する。

　まず、図３２に示すように、ユーザが以下のユーザ発話を行う。
　ユーザ発話＝「ハッピーライフを再生して」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「映画ハッピーライフの再生要求」であることを把握する。
　このユーザ発話解析情報に基づいて、情報処理装置１０は処理（映画ハッピーライフの再生）を実行する。さらに表示情報生成部１８２は、表示部の表示データを図３２に示すように更新する。

　図３２に示す表示データは、
　受付可能発話表示ノード２０２の１つのノードである、
　ノード「ハッピーライフを再生して」
　このノードを強調表示ノード２２１として強調表示したものである。

　さらに、情報処理装置１０の出力音声生成部１８１は以下のシステム応答を生成して音声出力部１２１を介して出力する。
　システム応答＝「映画「ハッピーライフ」を再生します」

　次に、図３３に示すように、ユーザが以下のユーザ発話を行う。
　ユーザ発話＝「この映画の主役の曲をかけて」
　まず、情報処理装置１０の画像解析部１６２は、ユーザの視線情報を解析してユーザが映画ハッピーライフを見ていることを確認する。さらに、音声解析部１６１は、このユーザ発話の音声認識と意味解析を行い、ユーザ意図が「映画ハッピーライフの主役の曲の再生要求」であることを把握する。
　このユーザ発話解析情報に基づいて、情報処理装置１０は処理（映画ハッピーライフの主役の曲＝ハッピーバースデーの再生）を実行する。さらに表示情報生成部１８２は、表示部の表示データを図３３に示すように更新する。

　図３３に示す表示データは、
　受付可能発話表示ノード２０２の１つのノードである、
　ノード「ハッピーバースデーをかけて」
　このノードを強調表示ノード２２１として強調表示したものである。

　さらに図３４において、情報処理装置１０の学習処理部１６５は、ユーザ発話の履歴を検証する。
　ユーザ発話＝「ハッピーライフを再生して」
　ユーザ発話＝「この映画の主役の曲をかけて」
　この２つのユーザ発話中、２番目のユーザ発話には最初のユーザ発話に対する指示語「この」が含まれていることを確認する。
　また、画像解析部１６２の解析結果すからユーザが映画ハッピーライフを見ていることを確認し、上記の２つのユーザ発話の関係性が高いと判定する。

　学習処理部１６５は、この関係性の判定に基づいて、この２つのユーザ発話から構成される１つの発話まとめリストを生成すべきと判断する。
　図３４に示すように、ユーザの明示的要求がなくても、情報処理装置１０は、以下のシステム発話を出力する。
　システム発話＝「「ハッピーライフを再生して」から、「この映画の主役の曲をかけて」までの発話をまとめて記録できます」

　次に、図３５に移行する。
　このシステム発話に応じて、ユーザは、図３５に示すように、以下のユーザ発話を行う。
　ユーザ発話＝「今の操作を覚えておいて」
　情報処理装置１０の音声解析部１６１は、このユーザ発話の音声認識と意味解析を行う。この解析結果に基づいて、情報処理装置１０は処理（「発話まとめリスト」の生成処理）を実行する。さらに、表示情報生成部１８２は、表示部の表示データを図３５に示すように更新する。

　図３５に示すように表示部には、複数の発話をまとめてリスト化した発話まとめリスト２６２が表示される。
　図３５に示す「発話まとめリスト」２６２は、
　ユーザ発話＝「ハッピーライフを再生して」
　ユーザ発話＝「ハッピーバースデーをかけて」
　これらの２つのユーザ発話をまとめたリストである。
　この「発話まとめリスト」は、学習処理部１６５において生成される。

　学習処理部１６５は、
　ユーザ発話＝「今の操作を覚えておいて」
　に応じて、以下の２つのユーザ発話を１つのリストにまとめた発話まとめリストを生成して、このリストを１つの学習データとして記憶部１７０に格納する。
　（１）「ハッピーライフを再生して」、
　（２）「ハッピーバースデーをかけて」、
　ユーザは、後日、この発話まとめリストを利用して、同じ一連の処理を確実に実行することが可能となる。

　上述したように、本開示の情報処理装置１０の学習処理部１６５は、様々な条件に応じて発話まとめリストの生成を行う。
　学習処理部１６５が発話まとめリストを生成して記憶部１７０に格納する処理の実行例としては、例えば以下のものがある。
　（１）ユーザに対して、発話まとめリストを生成するか否かを問い合わせ、ユーザの了解が得られた場合に、発話まとめリストを生成して記憶部１７０に格納する。
　（２）複数のユーザ発話に対応する複数の処理の実行に成功したと判定した場合に、発話まとめリストを生成して記憶部１７０に格納する。

　（３）複数のユーザ発話の組み合わせが、予め規定されたしきい値回数以上になった場合に、発話まとめリストを生成して記憶部１７０に格納する。
　例えばしきい値＝３回と設定した場合、
　ユーザ発話＝お気に入りリストを再生して
　ユーザ発話＝お笑い動画を見せて
　これらの２つのユーザ発話の組み合わせが、３回、入力された場合に、学習処理部１６５は、上記２つの発話の組み合わせからなる発話まとめリストを生成して記憶部１７０に格納する。

　（４）複数のユーザ発話中に含まれる各発話の関係性を示す指示語の有無を解析して、解析結果に応じて、発話まとめリストを生成して記憶部１７０に格納する。
　これは、上述した図２８～図３１を参照して説明した処理例に相当する。

　（５）ユーザ発話に応じて、情報処理装置１０が実行した処理に対するユーザの状態を解析し、解析結果に応じて、発話まとめリストを生成して記憶部１７０に格納する。
　前述したように、入力データ解析部１６０の音声解析部１６１、画像解析部１６２、センサー情報解析部１６３、ユーザ状態推定部１６４は、ユーザ発話、画像、センサー情報等に基づいて、ユーザの状態（満足しているか不満な状態か等）を推定し、この推定情報を学習処理部１６５に出力する。学習処理部１６５は、この情報に基づいて学習データの生成、更新、破棄等の処理を行う。
　例えば、ユーザが満足していると推定されれば、ユーザ発話に対する意図把握と、実行処理が正しく行われたと判定して学習データの生成、更新を行い記憶部１７０に格納する。
　ユーザが満足していないと推定されれば、ユーザ発話に対する意図把握と、実行処理が正しく行われていないと判定して学習データの生成、更新を行わない。あるいは生成した学習データの破棄等を行う。

　（６）コンテキスト情報に応じて、まとめ対象のユーザ発話を選択して発話まとめリストを生成して記憶部１７０に格納する。
　これは、上記例と同様、例えば、入力データ解析部１６０の音声解析部１６１、画像解析部１６２、センサー情報解析部１６３の解析結果から得られるユーザ状態を示すコンテキスト情報に基づいて学習データの生成、更新、破棄等の処理を行う例の一例である。

　例えば、ユーザが料理中である、ユーザがゲームをしている、ユーザが音楽を聞いている等のユーザ状態に応じて、そのユーザが必要としていると推定される処理のみを選択して１つの発話まとめリストを生成して記憶部１７０に格納するものである。
　なお、コンテキスト情報としては、ユーザの行動情報のみならず、時間情報、天気情報、位置情報等、様々な環境情報を利用する構成も可能である。
　例えば時間帯が昼の場合は、昼に実行する可能性の高い処理の要求に対応するユーザ発話のみからなるリストを生成する。
　時間帯が夜の場合は、夜に実行する可能性の高い処理の要求に対応するユーザ発話のみからなるリストを生成する等である。

　　［５．情報処理装置の実行する処理のシーケンスについて］
　次に、図３６以下のフローチャートを参照して情報処理装置１０の実行する処理のシーケンスについて説明する。
　図３６以下に示すフローチャートに従った処理は、例えば情報処理装置１０の記憶部に格納されたプログラムに従って実行される。例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として実行可能である。

　まず、図３６に示すフローチャートを参照して、情報処理装置１０の実行する処理の全体シーケンスについて説明する。
　図３６に示すフローの各ステップの処理について説明する。

　　（ステップＳ１０１）
　まず、情報処理装置１０は、ステップＳ１０１において、音声、画像、センサー情報を入力し、解析する。
　この処理は、図３に示す情報処理装置１０の入力部１１０と、入力データ解析部１６０の実行する処理である。

　ステップＳ１０１では、ユーザ発話音声の音声認識、意味解析を実行してユーザ発話の意図を獲得し、さらに、ユーザ発話音声、画像、センサー情報等に基づくユーザ状態（満足状態か、不満状態か等）を取得する。
　この処理の詳細については、後段で、図３７のフローを参照して説明する。

　　（ステップＳ１０２～Ｓ１０３）
　次に、情報処理装置１０は、ステップＳ１０２～Ｓ１０３において、ユーザ発話（コマンド（処理要求））の内容を解析して、そのユーザ発話に対応する処理が実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であるか、実行不可能（アウト　オブ　ドメイン（ＯＯＤ：Ｏｕｔ　Ｏｆ　Ｄｏｍｅｉｎ）であるかを判定する。

　実行不可能（アウト　オブ　ドメイン（ＯＯＤ：Ｏｕｔ　Ｏｆ　Ｄｏｍｅｉｎ）である場合は、処理を終了する。
　なお、この際、ユーザに対して、処理ができないことの通知や、言い直しを要求するシステム応答を行ってもよい。

　一方、ユーザ発話に対応する処理が実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であると判定した場合は、ステップＳ１０４に進む。

　　（ステップＳ１０４）
　次に、情報処理装置１０は、ステップＳ１０４において、実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であると判定されたユーザ発話を記憶部１７０に記録する。

　　（ステップＳ１０５）
　次に、情報処理装置１０は、ステップＳ１０５において、画像出力部（表示部）１２２に表示されているドメイン対応ノードツリー中のユーザ発話対応のノードを強調表示する。
　例えば先に図７を参照して説明した強調表示ノード２２１を表示する処理である。
　この処理は、図３に示す情報処理装置１０の表示情報生成部１８２の実行する処理である。

　　（ステップＳ１０６）
　次に、情報処理装置１０は、ステップＳ１０６において、ユーザ発話に対応する処理、すなわちステップＳ１０５において強調表示したノードに対応する処理を実行する。
　具体的には、例えば図７に示す例では、ユーザ発話が、
　ユーザ発話＝「お気に入りリストを再生」
　であるので、予め登録されたユーザのお気に入りリストに入った音楽の再生を実行する。
　なお、お気に入りリストや、再生対象となる音楽は、例えばネットワークに接続されたサーバ（音楽コンテンツを提供するサービス提供サーバ）から取得される。

　　（ステップＳ１０７～Ｓ１０８）
　次に、情報処理装置１０は、ステップＳ１０７～Ｓ１０８において、入力情報（音声、画像、センサー情報）の解析結果から推定されるユーザ状態（満足／不満等）に基づいてユーザ発話（コマンド）に対する処理成功の有無を推定し、推定結果に基づいて、複数発話のまとめ処理を実行するか否かを決定する。

　これは、図３に示す情報処理装置１０の学習処理部１６５の実行する処理である。
　すなわち、学習処理部１６５は図１４他において説明した発話まとめリスストを生成して記憶部１７０に格納する。
　学習処理部１６５は、例えば、以下の条件、すなわち、
　（１）規定時間内の間隔で複数のユーザ発話（コマンド）を入力した。
　この条件が満足された場合、例えば図１３を参照して説明したように、「発話まとめリスト」の生成が可能であることを示すシステム発話を出力する。

　さらに、図１４に示すように、ユーザからの了解が得られた場合、「発話まとめリスト」の生成を行うことを決定（ステップＳ１０８＝Ｙｅｓ）し、ステップＳ１０９に進む。
　一方、ユーザからの了解が得られない場合、「発話まとめリスト」の生成を行わないことを決定（ステップＳ１０８＝Ｎｏ）して処理を終了する。

　　（ステップＳ１０９）
　ステップＳ１０８において、「発話まとめリスト」の生成を行うことを決定（ステップＳ１０８＝Ｙｅｓ）し、ステップＳ１０９に進むと、情報処理装置１０の学習処理部１６５は、「発話まとめリスト」の生成を行う。
　これは、具体的には、例えば図１４に示す発話まとめリスト２３１である。

　図１４に示す例は、以下の４つのユーザ発話を１つのリストにまとめた発話まとめリストである。
　（１）「お気に入りリストを再生」、
　（２）「サウザン追加して」、
　（３）「フレンドにお誘いを送って」、
　（４）「昨日見た動画を再生して」、
　情報処理装置１０の学習処理部１６５は、このリストを１つの学習データとして記憶部１７０に格納する。

　学習処理部１６５において「発話まとめリスト」が生成されると、図１４に示すように、表示情報生成部１８２は、表示部に生成された「発話まとめリスト」を表示する。

　ユーザは、次回から、この「発話まとめリスト」２３１を指定する発話を行えば、指定されたリストに記録された複数の処理を情報処理装置に一括して実行させることが可能となる。
　例えば、ユーザが、記憶部１７０に格納された「発話まとめリスト」に含まれるユーザ発話を行った場合、あるいは、ユーザが記憶部１７０に格納された「発話まとめリスト」を指定して処理を依頼する発話を行った場合、情報処理装置１０は、「発話まとめリスト」に記録されたユーザ発話に応じた処理を順次、実行する。

　次に、図３６に示すフローチャートのステップＳ１０１の処理、すなわち、
　音声、画像、センサー情報の入力し、解析処理の詳細について、図３７に示すフローチャートを参照して説明する。
　この処理は、図３に示す情報処理装置１０の入力部１１０と、入力データ解析部１６０の実行する処理である。

　ステップＳ１０１では、ユーザ発話音声の音声認識、意味解析を実行してユーザ発話の意図を獲得し、さらに、ユーザ発話音声、画像、センサー情報等に基づくユーザ状態（満足状態か、不満状態か等）を取得する。

　入力部１１０は、音声入力部（マイク）１１１、画像入力部（カメラ）１１２、センサー１１３を有し、ユーザ発話音声、ユーザ画像、さらにセンサー取得情報（ユーザの視線、体温、心拍数、脈拍、脳波等）を取得する。
　入力データ解析部１６０の音声解析部１６１、画像解析部１６２、センサー情報解析部１６３、ユーザ状態推定部１６４が、入力データの解析を実行する。

　図３７に示すフローの各ステップの処理について説明する。
　　（ステップＳ２０１）
　まず、ステップＳ２０１において、入力部１１０の音声入力部（マイク）１１１、画像入力部（カメラ）１１２、センサー１１３が、ユーザ発話音声、ユーザ画像、さらにセンサー取得情報（ユーザの視線、体温、心拍数、脈拍、脳波等）を取得する。

　音声入力部（マイク）１１１の取得した音声情報については、ステップＳ２０２とステップＳ２０４において処理が行われる。
　画像入力部（カメラ）１１２の取得した画像情報については、ステップＳ２０６，Ｓ２０７において処理される。
　センサー１１３の取得したセンサー情報については、ステップＳ２０８において処理が行われる。
　これらの処理は並列に実行することが可能である。

　　（ステップＳ２０２～Ｓ２０３）
　ステップＳ２０２～Ｓ２０３は、音声解析部１６１の実行する処理である。
　音声解析部１６１は、ステップＳ２０２において、例えばＡＳＲ（Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ）機能により、音声データを複数の単語から構成されるテキストデータに変換する。
　さらに、ステップＳ２０３においてテキストデータに対する発話意味解析処理を実行する。例えば、ＮＬＵ（Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｕｎｄｅｒｓｔａｎｄｉｎｇ）等の自然言語理解機能を適用して、テキストデータからユーザ発話の意図（インテント：Ｉｎｔｅｎｔ）や、発話に含まれる意味のある要素（有意要素）である実体情報（エンティティ：Ｅｎｔｉｔｙ）を推定する。
　図３６に示すフローのステップＳ１０２の処理は、この意味解析結果を用いて実行される。

　　（ステップＳ２０４～Ｓ２０５）
　ステップＳ２０４～Ｓ２０５の処理も、音声解析部１６１の実行する処理である。
　音声解析部１６１は、ユーザ音声に基づくユーザ感情の解析処理に必要な情報（ノンバーバル情報）を取得し、取得した情報をユーザ状態推定部１６４に出力する。

　ノンバーバル情報とは、例えば、ユーザ音声から得られるテキストデータ以外の声のピッチ、トーン、抑揚、震え等の情報であり、ユーザの状態、例えば興奮状態、緊張状態等を解析するために利用可能な情報である。この情報がユーザ状態推定部１６４に出力される。

　　（ステップＳ２０６）
　ステップＳ２０６の処理は、画像解析部１６２の実行する処理である。
　画像解析部１６２は、画像入力部１１２において撮影されたユーザの顔の表情、ジェスチャ等の解析を行い、この解析結果をユーザ状態推定部１６４に出力する。

　　（ステップＳ２０７）
　ステップＳ２０７の処理は、画像解析部１６２、あるいはセンサー情報解析部１６３の実行する処理である。
　画像解析部１６２、またはセンサー情報解析部１６３は、画像入力部１１２において撮影されたユーザの画像、あるいはセンサー情報に基づいてユーザの視線方向の解析を行う。

　具体的には、例えば、情報処理装置１０が再生を開始した動画を見ているか否か等、情報処理装置１０の実行した処理に対する注目度を解析するための視線情報等を取得する。この情報はユーザ状態推定部１６４に出力される。

　　（ステップＳ２０８）
　ステップＳ２０８の処理は、センサー情報解析部１６３の実行する処理である。
　センサー情報解析部１６３は、センサー１１３の取得情報（ユーザの視線、体温、心拍数、脈拍、脳波等）を取得し、これらの取得情報をユーザ状態推定部１６４に出力する。

　　（ステップＳ２１０）
　ステップＳ２１０の処理は、ユーザ状態推定部１６４の実行する処理である。
　音声解析部１６１による解析結果、すなわち、ユーザ音声に基づくユーザ感情の解析処理に必要な情報（ノンバーバル情報）、
　画像解析部１６２による解析結果、すなわち、ユーザの顔の表情、ジェスチャ、視線情報等の解析情報、
　センサー情報解析部１６３による解析結果、すなわち、ユーザの視線、体温、心拍数、脈拍、脳波等のデータ、
　これらのデータを入力して、ユーザ状態を推定して、図３に示すユーザ状態推定情報１９２を生成する。
　この情報は、その後、図３６に示すフローのステップＳ１０２の処理、およびステップＳ１０７の処理において利用される。

　なお、ユーザ状態推定部１６４の生成するユーザ状態推定情報１９２とは、具体的には、例えばユーザが満足しているか不満か、すなわち、ユーザ発話に対する情報処理装置が実行した処理に満足しているか否かを推定した情報である。
　ユーザが満足していると推定されれば、ユーザ発話に対して情報処理装置が実行した処理が正しい処理、すなわち実行処理が成功であると推定する。

　学習処理部１６５は、ユーザ発話に対する学習処理を実行して学習データを記憶部１７０に格納する。例えば新たなユーザ発話が入力された場合に、そのユーザ発話の意図が不明である場合等、その後の装置との対話に基づいて、意図が解析された場合等にユーザ発話と意図を対応付けた学習データを生成して記憶部１７０に格納する処理等を行う。
　このような学習処理を実行することで、次第にユーザ発話の意図を正確に把握することが可能となる。
　また、学習処理部１６５は、先に説明した図３６のステップＳ１０７において、複数のユーザ発話をまとめた「発話まとめリスト」を生成して記憶部１７０に格納する処理も実行する。

　次に、図３８に示すフローチャートを参照して、発話まとめリストの表示、利用処理の一例を示すシーケンスについて説明する。
　図３８に示すフローチャートの各ステップの処理について、順次、説明する。

　　（ステップＳ３０１～Ｓ３０４）
　ステップＳ３０１～Ｓ３０４の処理は、先に図３６のフローを参照して説明したステップＳ１０１～Ｓ１０４の処理と同様の処理である。

　すなわち、まず、情報処理装置１０は、ステップＳ３０１において、音声、画像、センサー情報を入力し、解析する。
　この処理は、図３７を参照して説明した処理であり、ユーザ発話音声の音声認識、意味解析を実行してユーザ発話の意図を獲得し、さらに、ユーザ発話音声、画像、センサー情報等に基づくユーザ状態（満足状態か、不満状態か等）を取得する処理である。

　次に、情報処理装置１０は、ステップＳ３０２～Ｓ３０３において、ユーザ発話（コマンド（処理要求））の内容を解析して、そのユーザ発話に対応する処理が実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であるか、実行不可能（アウト　オブ　ドメイン（ＯＯＤ：Ｏｕｔ　Ｏｆ　Ｄｏｍｅｉｎ）であるかを判定する。
　実行不可能（アウト　オブ　ドメイン（ＯＯＤ：Ｏｕｔ　Ｏｆ　Ｄｏｍｅｉｎ）である場合は、処理を終了する。
　一方、ユーザ発話に対応する処理が実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であると判定した場合は、ステップＳ３０４に進む。

　次に、情報処理装置１０は、ステップＳ３０４において、実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であると判定されたユーザ発話を記憶部１７０に記録する。

　　（ステップＳ３０５）
　次に、情報処理装置は、ステップＳ３０５において、ユーザ発話に対応する発話を含む発話まとめリストがあるか否かを判定する。
　この処理は、図３に示す出力情報生成部１８０の実行する処理である。
　出力情報生成部１８０は、記憶部１７０にユーザ発話に対応する発話を含む発話まとめリストがあるか否かを検索する。

　ユーザ発話に対応する発話を含む発話まとめリストがない場合はステップＳ３０６に進む。
　一方、ユーザ発話に対応する発話を含む発話まとめリストがある場合は、ステップＳ３０８に進む。

　　（ステップＳ３０６～Ｓ３０７）
　ステップＳ３０５において、ユーザ発話に対応する発話を含む発話まとめリストがないと判定した場合は、ステップＳ３０６において、画像出力部（表示部）１２２に表示されているドメイン対応ノードツリー中のユーザ発話対応のノードを強調表示する。
　例えば先に図７を参照して説明した強調表示ノード２２１を表示する処理である。
　この処理は、図３に示す情報処理装置１０の表示情報生成部１８２の実行する処理である。

　さらに、ステップＳ３０７において、ユーザ発話に対応する処理、すなわちステップＳ３０６において強調表示したノードに対応する処理を実行する。

　　（ステップＳ３０８）
　一方、ステップＳ３０５において、ユーザ発話に対応する発話を含む発話まとめリストがあると判定した場合は、ステップＳ３０８において、画像出力部（表示部）１２２に発話まとめリストを表示する。
　例えば先に図１４他を参照して説明した発話まとめリスト２３１を表示する処理である。
　この処理は、図３に示す情報処理装置１０の表示情報生成部１８２の実行する処理である。

　　（ステップＳ３０９）
　次に、ステップＳ３０９において、ユーザ発話に対応する処理、すなわちステップＳ３０８において表示した発話まとめリスト２３１にリストアップされたユーザ発話対応ノードに対応する処理を、順次、実行する。

　さらに、表示した発話まとめリスト２３１内の実行中のユーザ発話対応ノードの強調表示処理を実行する。
　この処理は、先に図１８～図２１を参照して説明した処理に相当する。
　この処理は、図３に示す情報処理装置１０の表示情報生成部１８２の実行する処理である。

　次に、図３９、図４０に示すフローチャートを参照して、ユーザの作成した発話まとめリストが無い場合において、外部の発話まとめリスト、すなわち、先に図２２～図２４を参照して説明した他人のリスト、あるいはネット公開リスト、あるいはブログ公開リスト等を利用する場合の処理シーケンスについて説明する。
　図３９、図４０に示すフローチャートの各ステップの処理について、順次、説明する。

　　（ステップＳ４０１～Ｓ４０４）
　ステップＳ４０１～Ｓ４０４の処理は、先に図３６のフローを参照して説明したステップＳ１０１～Ｓ１０４の処理と同様の処理である。

　すなわち、まず、情報処理装置１０は、ステップＳ４０１において、音声、画像、センサー情報を入力し、解析する。
　この処理は、図３７を参照して説明した処理であり、ユーザ発話音声の音声認識、意味解析を実行してユーザ発話の意図を獲得し、さらに、ユーザ発話音声、画像、センサー情報等に基づくユーザ状態（満足状態か、不満状態か等）を取得する処理である。

　次に、情報処理装置１０は、ステップＳ４０２～Ｓ４０３において、ユーザ発話（コマンド（処理要求））の内容を解析して、そのユーザ発話に対応する処理が実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であるか、実行不可能（アウト　オブ　ドメイン（ＯＯＤ：Ｏｕｔ　Ｏｆ　Ｄｏｍｅｉｎ）であるかを判定する。
　実行不可能（アウト　オブ　ドメイン（ＯＯＤ：Ｏｕｔ　Ｏｆ　Ｄｏｍｅｉｎ）である場合は、処理を終了する。
　一方、ユーザ発話に対応する処理が実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であると判定した場合は、ステップＳ４０４に進む。

　次に、情報処理装置１０は、ステップＳ４０４において、実行可能（イン　ドメイン（Ｉｎ　Ｄｏｍｅｉｎ）であると判定されたユーザ発話を記憶部１７０に記録する。

　　（ステップＳ４０５）
　次に、情報処理装置は、ステップＳ４０５において、ユーザ発話が外部の発話まとめリストの取得、表示要求であるか否かを判定する。

　ユーザ発話が外部の発話まとめリストの取得、表示要求でない場合は、ステップＳ４０６に進む。
　一方、ユーザ発話が外部の発話まとめリストの取得、表示要求である場合は、ステップＳ４０８に進む。

　　（ステップＳ４３０６～Ｓ４０７）
　ステップＳ４０５において、ユーザ発話が外部の発話まとめリストの取得、表示要求でない場合は、ステップＳ４０６において、画像出力部（表示部）１２２に表示されているドメイン対応ノードツリー中のユーザ発話対応のノードを強調表示する。
　例えば先に図７を参照して説明した強調表示ノード２２１を表示する処理である。
　この処理は、図３に示す情報処理装置１０の表示情報生成部１８２の実行する処理である。

　さらに、ステップＳ４０７において、ユーザ発話に対応する処理、すなわちステップＳ４０６において強調表示したノードに対応する処理を実行する。

　　（ステップＳ４０８）
　一方、ステップＳ４０５において、ユーザ発話が外部の発話まとめリストの取得、表示要求である場合は、ステップＳ４０８において、外部から取得した発話まとめリストを画像出力部（表示部）１２２に表示する。
　例えば先に図２２～図２４を参照して説明した発話まとめリストを表示する処理である。
　この処理は、図３に示す情報処理装置１０の表示情報生成部１８２の実行する処理である。

　　（ステップＳ５０１）
　次に、ステップＳ５０１において、表示した外部の発話まとめリストに表示されたノード対応の処理要求を示す新たなユーザ発話を入力したか否かを判定する。
　この処理は、情報処理装置１０の入力データ解析部１６０の実行する処理である。

　表示した外部の発話まとめリストに表示されたノード対応の処理要求を示す新たなユーザ発話を入力したと判定した場合は、ステップＳ５０２に進む。
　一方、表示した外部の発話まとめリストに表示されたノード対応の処理要求を示す新たなユーザ発話を入力しなかったと判定した場合は、ステップＳ５０３に進む。

　　（ステップＳ５０２）
　ステップＳ５０１において表示した外部の発話まとめリストに表示されたノード対応の処理要求を示す新たなユーザ発話を入力したと判定した場合は、ステップＳ５０２に進み、ステップＳ５０２において、発話まとめリストにリストアップされたユーザ発話対応ノードに対応する処理を、順次、実行する。
　さらに、表示した発話まとめリスト内の実行中のユーザ発話対応ノードの強調表示処理を実行する。
　この処理は、図３に示す情報処理装置１０の表示情報生成部１８２の実行する処理である。

　　（ステップＳ５０３）
　一方、ステップＳ５０１において表示した外部の発話まとめリストに表示されたノード対応の処理要求を示す新たなユーザ発話を入力しなかったと判定した場合は、ステップＳ５０３に進み、ステップＳ５０３において、発話まとめリストを利用しない
ユーザ発話に応じた通常処理を実行する。

　　［６．情報処理装置、および情報処理システムの構成例について］
　複数の実施例について説明したが、これらの実施例において説明した様々な処理機能、例えば、図３に示す情報処理装置１０の各構成要素の処理機能は、すべて一つの装置、例えばユーザの所有するエージェント機器、あるいはスマホやＰＣ等の装置内に構成することも可能であるが、その一部をサーバ等において実行する構成とすることも可能である。

　図４１にシステム構成例を示す。
　図４１（１）情報処理システム構成例１は、図３に示す情報処理装置のほぼ全ての機能を一つの装置、例えばユーザの所有するスマホやＰＣ、あるいは音声入出力と画像入出力機能を持つエージェント機器等のユーザ端末である情報処理装置４１０内に構成した例である。
　ユーザ端末に相当する情報処理装置４１０は、例えば応答文生成時に外部サービスを利用する場合にのみ、サービス提供サーバ４２０と通信を実行する。

　サービス提供サーバ４２０は、例えば音楽提供サーバ、映画等のコンテンツ提供サーバ、ゲームサーバ、天気情報提供サーバ、交通情報提供サーバ、医療情報提供サーバ、観光情報提供サーバ等であり、ユーザ発話に対する処理の実行や応答生成に必要となる情報を提供可能なサーバ群によって構成される。

　一方、図４１（２）情報処理システム構成例２は、図３に示す情報処理装置の機能の一部をユーザの所有するスマホやＰＣ、エージェント機器等のユーザ端末である情報処理装置４１０内に構成し、一部を情報処理装置と通信可能なデータ処理サーバ４６０において実行する構成としたシステム例である。

　例えば、図３に示す装置中の入力部１１０、出力部１２０のみをユーザ端末側の情報処理装置４１０側に設け、その他の機能をすべてサーバ側で実行するといった構成等が可能である。
　なお、ユーザ端末側の機能と、サーバ側の機能の機能分割態様は、様々な異なる設定が可能であり、また、１つの機能を双方で実行する構成も可能である。

　　［７．情報処理装置のハードウェア構成例について］
　次に、図４２を参照して、情報処理装置のハードウェア構成例について説明する。
　図４２を参照して説明するハードウェアは、先に図３を参照して説明した情報処理装置のハードウェア構成例であり、また、図４１を参照して説明したデータ処理サーバ４６０を構成する情報処理装置のハードウェア構成の一例である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサーなどよりなる入力部５０６、ディスプレイ、スピーカーなどよりなる出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［８．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部は、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理装置。

　（２）　前記情報処理装置は、さらに、
　前記発話まとめリストを表示部に表示する（１）に記載の情報処理装置。

　（３）　前記発話まとめリストに記録するユーザ発話は、前記情報処理装置に対するユーザからの処理要求であるコマンドに相当するユーザ発話である（１）または（２）に記載の情報処理装置。

　（４）　前記学習処理部は、
　ユーザに対して、発話まとめリストを生成するか否かを問い合わせ、ユーザの了解が得られた場合に、前記発話まとめリストを生成して記憶部に格納する（１）～（３）いずれかに記載の情報処理装置。

　（５）　前記学習処理部は、
　複数のユーザ発話に対応する複数の処理の実行に成功したと判定した場合に、前記発話まとめリストを生成して記憶部に格納する（１）～（４）いずれかに記載の情報処理装置。

　（６）　前記学習処理部は、
　複数のユーザ発話の組み合わせが、予め規定されたしきい値回数以上になった場合に、前記発話まとめリストを生成して記憶部に格納する（１）～（４）いずれかに記載の情報処理装置。

　（７）　前記学習処理部は、
　複数のユーザ発話中に含まれる各発話の関係性を示す指示語の有無を解析して、解析結果に応じて、前記発話まとめリストを生成して記憶部に格納する（１）～（４）いずれかに記載の情報処理装置。

　（８）　前記学習処理部は、
　ユーザ発話に応じて、情報処理装置が実行した処理に対するユーザの状態を解析し、解析結果に応じて、前記発話まとめリストを生成して記憶部に格納する（１）～（４）いずれかに記載の情報処理装置。

　（９）　前記学習処理部は、
　ユーザ状態情報を入力し、
　ユーザ状態情報が、ユーザが満足していることを示す情報である場合に、前記発話まとめリストを生成して記憶部に格納する（１）～（４）いずれかに記載の情報処理装置。

　（１０）　前記ユーザ状態情報は、
　音声解析部の生成するユーザ発話に基づくノンバーバル情報、
　画像解析部の生成するユーザ画像に基づく画像解析情報、
　センサー情報解析部の生成するセンサー情報解析情報、
　少なくともこれらのいずれかの情報に基づいて取得するユーザの満足状態を示す情報である（９）に記載の情報処理装置。

　（１１）　前記情報処理装置は、さらに、
　表示部に表示した発話まとめリストに含まれる複数の発話対応ノード中、情報処理装置が実行中の発話対応ノードの強調表示処理を実行する表示情報生成部を有する（１）～（１０）いずれかに記載の情報処理装置。

　（１２）　前記情報処理装置は、さらに、
　取得可能な外部の発話まとめリストを取得して、表示部に表示する（１）～（１１）いずれかに記載の情報処理装置。

　（１３）　前記学習処理部は、
　コンテキスト情報に応じて、まとめ対象のユーザ発話を選択して発話まとめリストを生成する（１）～（１２）いずれかに記載の情報処理装置。

　（１４）　ユーザ端末と、データ処理サーバを有する情報処理システムであり、
　前記ユーザ端末は、
　ユーザ発話を入力する音声入力部を有し、
　前記データ処理サーバは、
　前記ユーザ端末から受信する前記ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部は、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理システム。

　（１５）　前記ユーザ端末は、
　前記発話まとめリストを表示部に表示する（１４）に記載の情報処理システム。

　（１６）　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部が、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理方法。

　（１７）　ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記ユーザ端末が、
　ユーザ発話を入力する音声入力処理を実行し、
　前記データ処理サーバが、
　前記ユーザ端末から受信する前記ユーザ発話の学習処理を実行し、
　前記学習処理において、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理方法。

　（１８）　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、ユーザ発話の学習処理を行う学習処理部を有し、
　前記プログラムは、前記学習処理部に、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、複数のユーザ発話をまとめた発話まとめリストを生成、利用することで、複数のユーザ発話に基づく処理を正確に繰り返し実行可能とした装置、方法が実現される。
　具体的には、例えば、学習処理部が複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する。さらに、生成した発話まとめリストを表示部に表示する。学習処理部は、ユーザの了解が得られた場合や、ユーザ発話に対応する複数の処理の実行に成功したと判定した場合、あるいは複数のユーザ発話の組み合わせが、予め規定されたしきい値回数以上になった場合、またユーザが満足していることが推定される場合等に、発話まとめリストを生成して記憶部に格納する。
　本構成により、複数のユーザ発話をまとめた発話まとめリストを生成、利用することで、複数のユーザ発話に基づく処理を正確に繰り返し実行可能とした装置、方法が実現される。

　　１０　情報処理装置
　　１１　カメラ
　　１２　マイク
　　１３　表示部
　　１４　スピーカー
　　２０　サーバ
　　３０　外部機器
　１１０　入力部
　１１１　音声入力部
　１１２　画像入力部
　１１３　センサー
　１２０　出力部
　１２１　音声出力部
　１２２　画像出力部
　１５０　データ処理部
　１６０　入力データ解析部
　１６１　音声解析部
　１６２　画像解析部
　１６３　センサー情報解析部
　１６４　ユーザ状態推定部
　１６５　学習処理部
　１７０　記憶部
　１８０　出力情報生成部
　１８１　出力音声生成部
　１８２　表示情報生成部
　２００　ドメイン対応ノードツリー
　２０１　ドメイン
　２０２　受付可能発話表示ノード
　２１１　表示領域識別情報
　２１２　登録済み発話まとめリスト情報
　２２１　強調表示ノード
　２２２　ガイド情報
　２３１　発話まとめリスト
　２３２　他ユーザ公開発話まとめリスト
　２３３　ネット公開発話まとめリスト
　２３４　ブログ公開発話まとめリスト
　２４１　発話まとめリスト対応ノード
　２４２　発話まとめリスト
　２６１　発話まとめリスト
　４２０　サービス提供サーバ
　４６０　データ処理サーバ
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア

Claims

　ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部は、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理装置。
　前記情報処理装置は、さらに、
　前記発話まとめリストを表示部に表示する請求項１に記載の情報処理装置。
　前記発話まとめリストに記録するユーザ発話は、前記情報処理装置に対するユーザからの処理要求であるコマンドに相当するユーザ発話である請求項１に記載の情報処理装置。
　前記学習処理部は、
　ユーザに対して、発話まとめリストを生成するか否かを問い合わせ、ユーザの了解が得られた場合に、前記発話まとめリストを生成して記憶部に格納する請求項１に記載の情報処理装置。
　前記学習処理部は、
　複数のユーザ発話に対応する複数の処理の実行に成功したと判定した場合に、前記発話まとめリストを生成して記憶部に格納する請求項１に記載の情報処理装置。
　前記学習処理部は、
　複数のユーザ発話の組み合わせが、予め規定されたしきい値回数以上になった場合に、前記発話まとめリストを生成して記憶部に格納する請求項１に記載の情報処理装置。
　前記学習処理部は、
　複数のユーザ発話中に含まれる各発話の関係性を示す指示語の有無を解析して、解析結果に応じて、前記発話まとめリストを生成して記憶部に格納する請求項１に記載の情報処理装置。
　前記学習処理部は、
　ユーザ発話に応じて、情報処理装置が実行した処理に対するユーザの状態を解析し、解析結果に応じて、前記発話まとめリストを生成して記憶部に格納する請求項１に記載の情報処理装置。
　前記学習処理部は、
　ユーザ状態情報を入力し、
　ユーザ状態情報が、ユーザが満足していることを示す情報である場合に、前記発話まとめリストを生成して記憶部に格納する請求項１に記載の情報処理装置。
　前記ユーザ状態情報は、
　音声解析部の生成するユーザ発話に基づくノンバーバル情報、
　画像解析部の生成するユーザ画像に基づく画像解析情報、
　センサー情報解析部の生成するセンサー情報解析情報、
　少なくともこれらのいずれかの情報に基づいて取得するユーザの満足状態を示す情報である請求項９に記載の情報処理装置。
　前記情報処理装置は、さらに、
　表示部に表示した発話まとめリストに含まれる複数の発話対応ノード中、情報処理装置が実行中の発話対応ノードの強調表示処理を実行する表示情報生成部を有する請求項１に記載の情報処理装置。
　前記情報処理装置は、さらに、
　取得可能な外部の発話まとめリストを取得して、表示部に表示する請求項１に記載の情報処理装置。
　前記学習処理部は、
　コンテキスト情報に応じて、まとめ対象のユーザ発話を選択して発話まとめリストを生成する請求項１に記載の情報処理装置。
　ユーザ端末と、データ処理サーバを有する情報処理システムであり、
　前記ユーザ端末は、
　ユーザ発話を入力する音声入力部を有し、
　前記データ処理サーバは、
　前記ユーザ端末から受信する前記ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部は、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理システム。
　前記ユーザ端末は、
　前記発話まとめリストを表示部に表示する請求項１４に記載の情報処理システム。
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、ユーザ発話の学習処理を行う学習処理部を有し、
　前記学習処理部が、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理方法。
　ユーザ端末と、データ処理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
　前記ユーザ端末が、
　ユーザ発話を入力する音声入力処理を実行し、
　前記データ処理サーバが、
　前記ユーザ端末から受信する前記ユーザ発話の学習処理を実行し、
　前記学習処理において、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成する情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、ユーザ発話の学習処理を行う学習処理部を有し、
　前記プログラムは、前記学習処理部に、
　複数の異なる処理要求に対応する複数のユーザ発話をまとめた発話まとめリストを生成させるプログラム。