WO2018043112A1

WO2018043112A1 - 情報提示装置、および情報提示方法

Info

Publication number: WO2018043112A1
Application number: PCT/JP2017/029341
Authority: WO
Inventors: 真里斎藤; 広岩瀬; 真一河野
Original assignee: ソニー株式会社
Priority date: 2016-08-29
Filing date: 2017-08-15
Publication date: 2018-03-08
Also published as: CN109643224A; US20190180733A1; JPWO2018043112A1; US10878799B2; EP3506083A1; EP3506083A4

Abstract

本技術は、音声として出力される提示情報をユーザに理解し易くすることができるようにする情報提示装置、および情報提示方法に関する。本技術の一側面である情報提示装置は、ユーザに対して提示するための提示情報を取得する取得部と、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、前記サポート情報に対応して合成された音声を第１のエージェントの発言として提示する提示部とを備える。本技術は、例えば、ロボット、サイネージ装置、カーナビゲーション装置、見守りシステム、動画再生装置等に適用できる。

Description

情報提示装置、および情報提示方法

　本技術は、情報提示装置、および情報提示方法に関し、特に、音声出力の要点を明示的に提示できるようにした情報提示装置、および情報提示方法に関する。

　従来、文字情報を読み上げる技術、すなわち、文字情報に対応する音声を合成して出力することによりユーザに提示する技術が存在する。

　ただし、人が読むことを前提として書かれている新聞の記事等に対応する音声を合成して出力する場合、その音声出力は平坦なものとなってしまい、どこが要点であるのかをユーザが理解しづらい問題があった。

　そこで、従来、文字情報に基づいて音声出力を行う場合にユーザがより理解し易くなる方法が提案されている。具体的には、言葉を話すキャラクタ（以下、エージェントと称する）を画面上に表示させ、文字情報の内容に合わせてエージェントが人間のような感情を表現しながら音声出力を行う方法（例えば、特許文献１参照）が提案されている。また、書き言葉から成る文字情報を話し言葉に変換してから読み上げる方法（例えば、特許文献２参照）が提案されている。

特表２００３－５０９９７６号公報特開２０００－３３９２５０号公報

　エージェントが感情を表現しながら話す方法では、話の要点を明示的に表すものではなくユーザがエージェントの表情からそれを読み取る必要があり、依然として、要点等が理解しづらいことがあった。

　話し言葉に変換して読み上げる方法では、書き言葉を読み上げるよりは理解し易いものの、やはり要点等が理解しづらいことがあった。

　本技術はこのような状況に鑑みてなされたものであり、音声として出力される提示情報をユーザに理解し易くするものである。

　本技術の一側面である情報提示装置は、ユーザに対して提示するための提示情報を取得する取得部と、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、前記サポート情報に対応して合成された音声を第１のエージェントの発言として提示する提示部とを備える。

　前記提示部は、前記第１のエージェントのキャラクタ像を表示することにより、前記サポート情報に対応して合成された音声を前記第１のエージェントの発言として出力することができる。

　前記生成部は、さらに、前記提示情報に対応する音声を合成することができ、前記提示部は、さらに、前記提示情報に対応して合成された音声を第２のエージェントの発言として出力することができる。

　前記提示部は、前記第２のエージェントのキャラクタ像を表示することにより、前記提示情報に対応して合成された音声を前記第２のエージェントの発言として出力することができる。

　本技術の一側面である情報提示装置は、取得された前記提示情報を解析する解析部をさらに備えることができ、前記生成部は、前記提示情報の解析結果に基づき、前記サポート情報を生成することができる。

　本技術の一側面である情報提示装置は、ユーザの状態を検出する検出部をさらに備えることができ、前記提示部は、検出された前記ユーザの状態に応じて、前記サポート情報に対応して合成された音声を第１のエージェントの発言として出力することができる。

　前記検出部は、さらにユーザの属性を検出することができ、前記提示部は、検出された前記ユーザの属性に応じて、前記サポート情報に対応して合成された音声を第１のエージェントの発言として出力することができる。

　前記生成部は、前記提示情報に対する感情語を含む前記サポート情報を生成することができる。

　前記生成部は、前記提示情報の要点を含む前記サポート情報を生成することができる。

　前記生成部は、前記提示情報の内容に対する質問を含む前記サポート情報を生成することができる。

　前記生成部は、前記提示情報に関連するユーザ情報を含む前記サポート情報を生成することができる。

　前記生成部は、前記提示情報に関連する映像を説明する説明文に基づいて前記サポート情報を生成することができる。

　前記生成部は、前記第１のエージェントの発言として提示する前記サポート情報に対し、前記第２のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成することができ、前記提示部は、さらに、前記応答情報に対応して合成された音声を第２のエージェントの発言として出力することができる。

　前記生成部は、前記第２のエージェントの発言として提示した前記提示情報に対するユーザからの発言に対し、前記第２のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成することができ、前記提示部は、さらに、前記応答情報に対応して合成された音声を第２のエージェントの発言として出力することができる。

　本技術の一側面である情報提示方法は、情報提示装置による、ユーザに対して提示するための提示情報を取得する取得ステップと、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成ステップと、前記サポート情報に対応して合成された音声を第１のエージェントの発言として提示する提示ステップとを含む。

　本技術の一側面においては、ユーザに対して提示するための提示情報が取得され、取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報が生成され、生成された前記サポート情報に対応する音声が合成され、前記サポート情報に対応して合成された音声が第１のエージェントの発言として提示される。

　本技術の一側面によれば、音声として出力される提示情報をユーザに理解し易くすることができる。

サポート情報として感情語を提示する例を示す図である。サポート情報として要点を復唱する例を示す図である。サポート情報として要点が回答となる質問を提示する例を示す図である。サポート情報として要点が回答となる質問を提示する例を示す図である。サポート情報として関連するユーザの情報を提示する例を示す図である。サポート情報として関連するユーザの情報を提示する例を示す図である。本技術を適用した情報提示装置の構成例を示すブロック図である。提示情報の解析の一例を示す図である。静的情報提示処理を説明するフローチャートである。動的情報提示処理を説明するフローチャートである。情報提示装置をサイネージ装置に適用した応用例を示す図である。サイネージ装置が動的にサポート提示を変更する例を示す図である。サイネージ装置が動的にサポート提示を変更する例を示す図である。情報提示装置をカーナビゲーション装置に適用した場合のサポート情報の例を示す図である。ＶＱＡ技術を説明するための図である。情報提示装置を遠隔家族の見守りシステムに適用した場合のサポート情報の例を示す図である。遠隔家族の家の撮像した映像の例を示す図である。情報提示装置を動画教材の再生装置に適用した場合のサポート情報の例を示す図である。情報提示装置を動画教材の再生装置に適用した場合のサポート情報の例を示す図である。汎用のコンピュータの構成例を示すブロック図である。

　以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

　＜本技術の概要説明＞
　始めに、本技術の概要について説明する。本技術は、文字情報（以下、提示情報と称する）に対応する音声をユーザに提示するものであり、言葉を話す２種類のエージェント（メインエージェントとサブエージェント）が設定される。

　メインエージェントは、提示情報に対応する音声を話し、サブエージェントは、メインエージェントに対する所謂、合いの手のように、提示情報に基づいて生成されるサポート情報に対応する音声を話すようにする。ここで、サポート情報とは、提示情報に対するユーザの理解を深めたり、関心を引いたりするためのものである（詳細後述）。

　ただし、サブエージェントによるサポート情報の音声は、ユーザの状態に拘わりなく常に出力する場合（静的情報提示処理）と、ユーザの状態に応じて出力を開始、終了する場合（動的情報提示処理）のいずれかに設定できるようにする。

　両エージェントはディスプレイに表示され、音声出力の内容に合わせて各種の表現動作を行う（身振り手振りを加えて話す、驚く、喜ぶ、悲しむ、がっかりする等の感情を表す身振り、手振り、顔の表情等を変化させる）。

　両エージェントは、ユーザが区別できるように、声質を換えたり、話し方を換えたり、一方の音声を左側のスピーカから、他方の音声を右側のスピーカから出力したりする。また、両エージェントの体形、服装等の外観を変えてもよい。さらに、例えば、明るいニュースははしゃいだ話し方、暗いニュースは落ち着いた話し方にする等、提示情報およびサポート情報の内容に応じて話し方を変えてもよい。また、さらに、両エージェントを複数用意し、提示情報およびサポート情報の内容に応じてエージェントを変更してもよい。

　なお、両エージェントは、それぞれ１体ずつに限るものではなく２体以上存在してもよい。例えば、１体のメインエージェントと２体以上のサブエージェントを同時に登場させてもよい。

　また、ディスプレイに両エージェントの一方だけを表示するようにしてもよい。その場合、例えば、ディスプレイにメインエージェントを表示せずに提示情報を表示してその音声を出力し、サブエージェントだけを表示させて、サポート情報に対応する音声を出力するようにしてもよい。

　さらに、ディスプレイに両エージェントを表示せず、提示情報とサポート情報を表示して、それぞれに対応する音声を出力するようにしてもよい。

　上述したように、本技術ではエージェントを表示するとともに、その音声を出力するので、例えば、テレビジョン受像機やタブレット型ＰＣ等のように、少なくともスピーカとディスプレイを備える装置への適用が想定される。ただし、本技術はディスプレイを備えていない装置にも適用できる。また、例えば、本技術をロボットに適用して１台のロボットにメインエージェントとサブエージェントの役割を演じさせたり、複数のロボットに適用してあるロボットにはメインエージェントを、他のロボットにはサブエージェントの役割を演じさせたりすることができる。

　＜サブエージェントがサポート情報として感情語を提示する例＞
　図１は、サブエージェント１２がサポート情報として感情語を提示する例を示している。

　同図の例では、メインエージェント１１が話す提示情報「東京の桜は来週満開だって」が解析され、その解析結果に応じて感情語を含むサポート情報「楽しそうだね」が生成され、サブエージェント１２の音声として出力される。感情語を含むサポート情報の音声を出力することにより、提示情報に対してユーザの関心を引く効果が期待できる。なお、感情語の代わりに感嘆詞（へえ、わあ等）を用いてもよい。

　＜サブエージェントがサポート情報として要点を復唱する例＞
　図２は、サブエージェントがサポート情報として提示情報の要点を復唱する例を示している。

　同図の例では、メインエージェント１１が話す提示情報「来月初旬に東京の桜が満開になるよ。今年の人出は去年より多くなりそうだよ」が解析され、その解析結果に応じて要点（いまの場合、来月初旬に満開）が抽出され、抽出された要点を含むサポート情報「来月初旬に満開なんだね」が生成され、サブエージェント１２の音声として復唱される。なお、抽出された要点の言葉を倒置してサポート情報「満開になるのは来月初旬なんだね」を生成するようにしてもよい。サポート情報として要点を復唱することにより、ユーザの理解をより深める効果が期待できる。

　＜サブエージェントがサポート情報として要点が回答となる質問を提示する例＞
　図３および図４は、サブエージェントがサポート情報として提示情報の要点が回答となる質問を提示する例を示している。サポート情報としての質問は、５Ｗ１Ｈ（when,where,who,what,why,how）の中から要点に応じて選択される。

　図３の例では、メインエージェント１１が話す提示情報「東京の桜は来週満開だって」が解析され、その解析結果に応じて要点（いまの場合、来週）が抽出され、抽出された要点が回答となるサポート情報として質問「いつ？」が選択され、サブエージェント１２の音声として出力される。さらに、サブエージェント１２からの質問に答えるようにメインエージェント１１から「来週だよ」の音声が出力される。

　図４の例では、メインエージェント１１が話す提示情報「今週末、ＡＢＣ公園で花火大会があるよ」が解析され、その解析結果に応じて要点（いまの場合、ＡＢＣ公園）が抽出され、抽出された要点が回答となるサポート情報として質問「どこで？」が選択され、サブエージェント１２の音声として出力される。さらに、サブエージェント１２からの質問に答えるようにメインエージェント１１から「ＡＢＣ公園だよ」の音声が出力される。

　サブエージェント１２がサポート情報として要点が回答となる質問を行うことにより、メインエージェント１１が提示情報の要点を繰り返し話すことになるので、ユーザの理解をより深めるとともに、要点の聞き逃しを防ぐ効果が期待できる。

　なお、サブエージェント１２が質問を行う前にユーザからの同様の質問を行う発声が検知された場合、ユーザの質問に対してメインエージェント１１が音声により回答することもできる。

　すなわち、ユーザの反応にメインエージェント１１が反応するようにしてもよい。この場合、ユーザは疑問点や聞き逃した言葉をメインエージェント１１に尋ね、その回答を得ることができるので、ユーザの理解をより深めるとともに、要点の聞き逃しを防ぐ効果が期待できる。

　＜サブエージェントがサポート情報として関連するユーザの情報を提示する例＞
　図５および図６は、サブエージェントがサポート情報として提示情報に関連するユーザの情報を提示する例を示している。提示情報に関連するユーザの情報は、ユーザＤＢ上から検索されるものとする。なお、ユーザＤＢには、ユーザのスケジュール、メール、アドレス帳、作成文書、検索履歴、閲覧履歴、入力文字、音楽、画像、動画等が登録されているものとする。

　図５の例では、メインエージェント１１が話す提示情報「東京の桜は来週満開だって。お花見する人が増えそうだよ。」が解析され、重要な単語（いまの場合、お花見）が抽出されてユーザＤＢ上で検索が行われる。抽出された重要な単語がユーザＤＢに登録されている場合には、その検索結果に基づきサポート情報「去年はＸＸ公園にお花見に行ったね」が生成され、その音声がサブエージェント１２から出力される。

　なお、重要な単語に関連する音楽や効果音を再生したり、画像や動画を表示したりしてもよい。

　図６の例では、メインエージェント１１が話す提示情報「先週、Brexitが決まったね。」が解析され、その解析結果に応じて重要な単語（いまの場合、Brexit）が抽出されてユーザＤＢ上から検索される。ユーザＤＢに抽出された重要な単語が登録されていない場合には、その重要な単語を質問するサポート情報「Brexitってなに？」が生成され、サブエージェント１２から出力される。

　さらに、ユーザＤＢに登録されていない重要な単語（いまの場合、Brexit）がインターネット上のWikiPedia等で検索され、その検索結果に基づく提示情報「英国がＥＵを離脱することだよ。国民投票で決まったんだ」が生成されて、その音声がサブエージェント１２からの質問に答えるようにメインエージェント１１から出力される。

　サブエージェントがサポート情報として提示情報に関連するユーザの情報を話すことにより、提示情報に対してユーザの関心を引く効果が期待できる。また、ユーザが知らない単語の意味を教えることができ、ユーザの満足度を上げる効果が期待できる。

　なお、サポート情報の例は上述したものにかぎられるものではない。また、上述したサポート情報の例は、適宜組み合わせることが可能である。

　＜本技術の実施の形態である情報提示装置の構成例＞
　次に、図７は、本技術の実施の形態である、上述した様々な例を実現する情報提示装置の構成例を示している。

　この情報提示装置２０は、提示情報取得部２１、提示情報解析部２２、ユーザＤＢ２３、エージェント発話制御部２４、表現ＤＢ２５、ユーザ状態処理部２６、ディスプレイ２７、スピーカ２８、マイク２９、およびセンサ３０を備える。

　提示情報取得部２１は、例えば、インターネット上の所定のサーバからユーザに音声として提示するため提示情報（テキストデータ）を取得して提示情報解析部２２に供給する。提示情報解析部２２は、提示情報に対して例えば自然言語解析等の解析を行い、その解析結果をエージェント発話制御部２４に出力する。

　ユーザＤＢ２３には、ユーザのスケジュール、メール、アドレス帳、作成文章、検索履歴、閲覧履歴、入力文字等が登録されているものとする。

　エージェント発話制御部２４は、メインエージェント１１およびサブエージェント１２の音声を制御する。すなわち、提示情報に対応する音声を合成してメインエージェント１１の音声としてスピーカ２８から出力させる。また、提示情報の解析結果に基づきサポート情報を生成してそれに対応する音声を合成し、サブエージェント１２の音声としてスピーカ２８から出力させる。

　さらに、上述した例に示されたように、サブエージェント１２の発言（質問等）に対するメインエージェント１１の応答となる応答情報を生成し、その音声を合成してスピーカ２８から出力させる。

　なお、提示情報、サポート情報、および応答情報に対応する音声は、それぞれ表現ＤＢ２５を参照して、その表現方法を変更することができる。

　さらに、エージェント発話制御部２４は、メインエージェント１１およびサブエージェント１２の表示を制御する。具体的には、ディスプレイ２７にメインエージェント１１およびサブエージェント１２を表示させ、音声出力に合わせて各種の表現動作（身振り手振りを加えて話す、驚く、がっかりする等）を実行させる。

　表現ＤＢ２５には、メインエージェント１１とサブエージェント１２に適用するための、例えば、性別、年齢、職業、出身地等の違いに応じた様々な話し方や表現動作が登録されている。エージェント発話制御部２４は、表現ＤＢ２５を参照して、メインエージェント１１およびサブエージェント１２の音声を生成することができ、両エージェントに各種の表現動作を実行させることができる。ユーザは、音声を聞くことにより、それがメインエージェント１１のものであるか、サブエージェント１２のものであるかを区別することができる。

　ユーザ状態処理部２６は、マイク２９から入力されるユーザの発声と、センサ３０から入力される映像等に基づき、ユーザの状態（提示情報に対する反応の程度、反応の頻度、表情等を指す）を識別し、識別結果をエージェント発話制御部２４に通知する。

　ディスプレイ２７は、エージェント発話制御部２４からの制御に従い、メインエージェント１１およびサブエージェント１２の画像を表示する。スピーカ２８は、エージェント発話制御部２４からの制御に従い、メインエージェント１１およびサブエージェント１２の音声を出力する。

　マイク２９は、ユーザの発声や情報提示装置２０の周囲の音声を収集してユーザ状態処理部２６に出力する。センサ３０は、ユーザや情報提示装置２０の周囲の映像を撮像してユーザ状態処理部２６に出力する。

　なお、上述した情報提示装置２０の構成要素のうち、ディスプレイ２７、スピーカ２８、マイク２９、およびセンサ３０については、ユーザの近傍に配置する必要があるものの、これらの全てが必ずしも一筐体内に収める必要はない。すなわち、例えば、ディスプレイ２７とスピーカ２８をそれぞれ別の筐体に収めてもよい。

　さらに、情報提示装置２０の構成要素のうち、ディスプレイ２７、スピーカ２８、マイク２９、およびセンサ３０以外のものについては、それらが互いに通信可能な任意の場所に配置するようにしてもよい。例えば、インターネット上のいわゆるクラウドサーバに配置してもよい。

　＜提示情報の解析の一例＞
　次に、提示情報解析部２２による提示情報の解析と、エージェント発話制御部２４によるサポート情報の生成と、サポート情報としてのサブエージェント１２からの質問やユーザからの質問に対して回答するメインエージェント１１の発言の例について説明する。

　図８は、提示情報解析部２２による提示情報の解析の一例を示している。同図に示されるように、提示情報解析部２２に提示情報が供給されると、自然言語解析によって構造分解が行われる。その結果が、エージェント発話制御部２４に通知され、各文節の係り受けと格（時間格、場所格、主格、対象格、目的格、原因格等）に基づき、メインエージェント１１とサブエージェント１２（またはユーザ）との対話（質問と回答）が生成される。

　図８の例では、提示情報「5月29日の日曜日にXYZ競技場でサッカーリーグ第１ステージ第１４節の試合が行われ、暫定首位を走るチーム川崎はチーム磐田に相手のオウンゴールで挙げた得点が決勝点となり１対0で勝ちました。」が取得されると構造分解が行われる。そして、提示情報の５Ｗ１Ｈ等として「（いつ）5月29日の日曜日」、「（どこで）XYZ競技場」、「（だれが）チーム川崎」、「（何を）チーム磐田に勝った」、「（どのように）相手のオウンゴールで挙げた得点が決勝点となり１対0です」の対話が生成される。

　＜情報提示装置２０による静的提示処理について＞
　次に、図９は、情報提示装置２０による静的情報提示処理を説明するフローチャートである。

　静的情報提示処理は、ユーザの状態に拘わりなく、提示情報の音声の出力の進行に合わせて、サポート情報の音声を出力する処理である。

　ステップＳ１において、提示情報取得部２１は、例えば、インターネット上の所定のサーバから提示情報を取得して提示情報解析部２２に供給する。ステップＳ２において、提示情報解析部２２は、提示情報を解析し、その解析結果をエージェント発話制御部２４に出力する。ステップＳ３において、エージェント発話制御部２４は、提示情報の解析結果に基づきサポート情報を生成する。

　ステップＳ４において、エージェント発話制御部２４は、提示情報に対応する音声を合成してメインエージェント１１の音声としてスピーカ２８から出力させる。ステップＳ５において、エージェント発話制御部２４は、サポート情報に対応する音声を合成してサブエージェント１２の音声としてスピーカ２８から出力させる。

　ステップＳ６において、エージェント発話制御部２４は、提示情報およびサポート情報に対応する音声の出力が終了したかを判定し、終了したと判定するまで処理をステップＳ４に戻して、ステップＳ４乃至Ｓ６の処理を繰り返す。そして、提示情報およびサポート情報に対応する音声の出力が終了したと判定した場合、該静的情報提示処理を終了する。

　該静的情報提示処理によれば、単にメインエージェント１１が提示情報の音声を話すだけでなく、サブエージェント１２がサポート情報の音声を話すので、提示情報に対するユーザの理解をより深めることが可能となる。

　＜情報提示装置２０による動的提示処理について＞
　次に、図１０は、情報提示装置２０による動的情報提示処理を説明するフローチャートである。

　動的情報提示処理は、ユーザの状態に応じて、提示情報の音声の出力の進行に合わせて、サポート情報の音声を出力する処理である。

　ステップＳ１１において、提示情報取得部２１は、例えば、インターネット上の所定のサーバから提示情報を取得して提示情報解析部２２に供給する。ステップＳ１２において、提示情報解析部２２は、提示情報を解析し、その解析結果をエージェント発話制御部２４に出力する。ステップＳ１３において、エージェント発話制御部２４は、提示情報の解析結果に基づきサポート情報を生成する。なお、サポート情報の生成は、後述するステップＳ１６にてサポート情報に対応する音声の出力を開始する場合に実行するようにしてもよい。

　ステップＳ１４において、エージェント発話制御部２４は、提示情報に対応する音声を合成してメインエージェント１１の音声としてスピーカ２８から出力させる。

　ステップＳ１５においては、エージェント発話制御部２４は、ユーザ状態処理部２６からユーザの状態を表すユーザ状態情報を取得する。ステップＳ１６において、エージェント発話制御部２４は、ユーザ状態情報が表わすユーザの状態に応じて、サポート情報に対応する音声を合成してサブエージェント１２の音声としてスピーカ２８から出力させる。

　ここで、ユーザの状態とは、メインエージェント１１の音声による提示情報に対する反応の程度、反応の頻度、表情等を指し、提示情報に対するユーザの注意がそれたときに、サポート情報に対応する音声の出力を開始するようにする。そして、提示情報に対するユーザの注意が戻ったときに、サポート情報に対応する音声の出力を停止するようにする。

　なお、例えば、提示情報の音声の出力を開始してから所定の時間が経過する等、ユーザの状態以外の条件に応じて、サポート情報に対応する音声の出力を制御してもよい。

　ステップＳ１７において、エージェント発話制御部２４は、提示情報に対応する音声の出力が終了したかを判定し、終了したと判定するまで処理をステップＳ１４に戻して、ステップＳ１４乃至Ｓ１７の処理を繰り返す。そして、提示情報に対応する音声の出力が終了したと判定した場合、該動的情報提示処理を終了する。

　該動的情報提示処理によれば、単にメインエージェント１１が提示情報の音声を話すだけでなく、ユーザの状態に対応して、サブエージェント１２がサポート情報の音声を話し出すので、提示情報に対するユーザの理解をより深めることができるとともに、提示情報に対してユーザの注意や興味を引く効果が期待できる。

　＜情報提示装置２０の応用例＞
　以下、情報提示装置２０の様々な応用例について説明する。

　＜サイネージ装置への適用＞
　図１１は、情報提示装置２０を例えば観光施設等に設置する案内用のサイネージ装置５０に適用した応用例であり、複数のユーザ６１および６２によって使用される場合を示している。

　この場合、サイネージ装置５０は、ユーザ６１および６２の状態や属性（大人と子供、男性と女性、親と子等）を識別して、動的にサポート情報を変更することができる。

　図１２および図１３は、図１１に示されたサイネージ装置５０がユーザの反応の有無に応じて、動的に提示する情報を変更する例を示している。ここで、ユーザの反応があった場合とは、例えば、ユーザが画面に近づいたり、顔を向けたり、目を見開いたりする動作が検出されたことを指す。

　図１２の例では、ユーザ６１および６２を区別せず、反応の有無だけが検出される。そして、メインエージェント１１の音声として提示情報「この施設では、科学の発見や最新技術を紹介しているよ」が出力され、提示情報の音声に対してユーザの反応があった場合、サブエージェント１２の音声としてサポート情報「最新の技術ってどんなものがあるのかな？」が出力され、さらに、メインエージェント１１の音声として情報「最新のロボットとゲーム対戦できるよ」が出力される。

　反対に、ユーザ６１および６２の反応がない場合、サブエージェント１２の音声としてサポート情報「ほかに何かウリがある？」が出力され、さらに、メインエージェント１１の音声として情報「実はショップで買える科学グッズが面白いよ」が出力される。

　図１２の例によれば、ユーザの反応の有無に応じ、動的にサポート情報を変更することができ、それに応じてメインエージェント１１が話す情報も変更することができる。よって、ユーザの反応がある場合には、その情報を詳細に伝えることができ、ユーザの反応がない場合には、他の話題を伝えることができ、結果的にユーザの関心を引く効果が期待できる。

　図１３の例では、ユーザ６１および６２を区別して、その属性（同図の例では、大人と子供）と反応の有無が検出される。そして、メインエージェント１１の音声として提示情報「この施設では、科学の発見や最新技術を紹介しているよ」が出力され、それに対して大人のユーザ６１の反応があった場合、サブエージェント１２の音声として大人向けのサポート情報「どんな内容なのかな？」が出力され、さらに、メインエージェント１１の音声として大人向けの情報「ＡＡ技術やＢＢ素材の仕組みについて解説するよ」が出力される。

　また、子供のユーザ６２の反応があった場合、サブエージェント１２の音声として子供向けのサポート情報「どんなふうに楽しめるの？」が出力され、さらに、メインエージェント１１の音声として子供向けの情報「ＣＣを作って遊ぶコーナーがあるよ」が出力される。

　図１３の例によれば、ユーザの属性（同図の例では、大人と子供）を区別してそれぞれの反応の有無が検出され、大人のユーザ６１に反応があった場合と、子供のユーザ６２に反応があった場合とで、動的にサポート情報を変更することができ、それに応じてメインエージェント１１が話す情報も変更することができる。これにより、属性の異なるユーザが同時に存在する場合にも、結果的に両ユーザの関心を引く効果が期待できる。

　なお、図示は省略するが、大人のユーザ６１に反応がない場合と、子供のユーザ６２に反応がない場合とで、動的にサポート情報を変更し、それに応じてメインエージェント１１が話す情報も変更するようにすることも可能である。

　＜カーナビゲーション装置への適用＞
　次に、図１４は、情報提示装置２０をカーナビゲーション装置に適用した応用例におけるサポート情報の例を示している。

　図１４の例では、メインエージェント１１の音声として提示情報「５００ｍ先右折です。」が出力される。また、提示情報から間もなく右折が行われることが判明され、それを支援するためにサブエージェント１２の音声としてサポート情報「対向車は混雑し始めているよ。」が出力される。また、サポート情報としては近隣の施設の紹介として「ＸＹシェフのレストランがあるよ」が出力されたり、注意喚起として「歩行者の飛び出し注意」が出力されたりする。上述した近隣の施設の紹介は、例えばGPSに基づく位置情報や、撮像された車外の映像内の看板等に基づいて情報検索が行われることにより実現される。上述した注意喚起は、ユーザ（運転者）の運転歴や運転時の視線等を分析したり、撮像された車外の映像を解析したりした結果から実現される。

　なお、サポート情報の生成については、カーナビゲーション装置が搭載されている車両から運転中に車外を撮影した、例えば図１５に示されるような映像に対してＶＱＡ技術を適用することにより生成される文書に基づいて行うようにしてもよい。ここで、ＶＱＡ技術とは、映像内に写っている被写体を検出して、その説明文を生成する技術である。

　図１５は、車両から撮影される車外の映像の一例を示している。この映像には、横断歩道、対向車線、対向車、信号、歩行者、看板、住宅等が写っている。この映像にＶＱＡ技術を適用した場合、例えば「画面縦方向中程に横方向に横断歩道が存在する。横断歩道の右側に歩行者がいて横断しそう。横断歩道の上方に信号が存在し、緑色に点灯している。画面横方向中央からやや右側に対向車線が存在し、対向車が向かってきている。画面左側、横断歩道の先には看板が存在する。画面右側、歩行者の先には住宅が存在する。」が生成される。この文書を用いれば、例えば、自走車線や対向車線の交通量を監視したり、歩行者の横断を予測したりすることができるので、ユーザ（運転者）にとって有効なサポート情報を音声として出力することが可能となる。

　＜見守りシステムへの適用＞
　次に、図１６は、情報提示装置２０を遠隔家族の見守りシステムに適用した応用例におけるサポート情報の例を示している。ここで、遠隔家族とは、家で留守番をしている子供や、独居老人等を指す。

　図１６の例では、メインエージェント１１が話す提示情報「今日は、６時に起床して、...」が解析され、その解析結果に応じて感情語を含むサポート情報「いつもよりのんびりしていたみたいだね」が生成され、サブエージェント１２の音声として出力される。

　なお、メインエージェント１１が話す提示情報については、遠隔家族の家を撮像している映像に対してＶＱＡ技術を適用することにより生成される文書に基づいて生成される。

　図１７は、遠隔家族の家の中を撮像している映像の例を示している。例えば、同図Ａに示されるようにリビングの入り口を撮像し、その映像を解析したり、ＶＱＡ技術を適用したりすれば、リビングへの出入り回数を記録できる。また、同図Ｂに示されるように、台所を撮像し、その映像を解析したり、ＶＱＡ技術を適用したりすれば、料理時間帯を記録できる。さらに、同図Ｃに示されるようにリビングを撮像し、その映像を解析したり、ＶＱＡ技術を適用したりすれば、ソファーに座っている時間を記録できる。また、いずれの映像も、解析したり、ＶＱＡ技術を適用したりすれば、遠隔家族の転倒等の危険を監視することできる。

　そして、遠隔家族の家を撮像している映像から危険な事象が検出された場合、映像に対してＶＱＡ技術を適用することにより生成される文書に基づいてサポート情報が生成され、サブエージェント１２の音声として「大変！リビングで倒れているよ」や「３日間外出していないようです」等が出力される。

　上述したように、情報提示装置２０を遠隔家族の見守りシステムに適用すれば、ユーザは、平常時には遠隔家族の様子を音声で分かり易く知ることができる。また、異常発生時には、音声によって発生している異常の具体的な内容を知ることができる。

　＜動画教材への適用＞
　次に、図１８および図１９は、情報提示装置２０を動画教材の再生装置に適用した応用例におけるサポート情報の例を示している。

　図１８の例では、メインエージェント１１は登場せず、１体のサブエージェント１２が登場する。ただし、サブエージェント１２は画面上に表示してもよいし、しなくてもよい。そして、動画の中に実際に登場する人物（いまの場合、講義を行う講師）が話す説明「これはＡＡであり、ＢＢの働きがあります」が提示情報とされ、これが解析され、その解析結果に応じてユーザが疑問に思いそうな言葉（いまの場合、ＢＢの働き）が抽出され、抽出された言葉を説明するためのサポート情報「ＢＢの働きってｂｂｂすることだね」が生成され、サブエージェント１２の音声として出力される。

　なお、ユーザが疑問に思いそうな言葉については、提示情報の解析結果から抽出する以外に、例えば、当該講義に対する過去の質問履歴から予め収集しておいてもよい。その場合、ユーザが疑問に思いそうな言葉を説明するためのサポート情報についても予め生成しておけばよい。また、ユーザが疑問に思った言葉をリアルタイムに収集するようにしてもよい。

　図１８の例によれば、ユーザ自身が疑問な言葉を質問しなくてもサブエージェント１２が、それを解説してくれるので、講義内容に対するユーザの理解を深める効果が期待できる。

　図１９の例では、メインエージェント１１は登場せず、２体のサブエージェント１２－１および１２－２が登場する。ただし、サブエージェント１２－１および１２－２は画面上に表示してもよいし、しなくてもよい。そして、メインエージェント１１は登場せず、動画の中に実際に登場する人物（いまの場合、講義を行う講師）が話す説明「これはＡＡであり、ＢＢの働きがあります」が提示情報とされ、これが解析され、その解析結果に応じてユーザが疑問に思いそうな言葉（いまの場合、ＢＢの働き）が抽出され、抽出された言葉を含む質問のサポート情報「ＢＢの働きってなにかな？」がサブエージェント１２－１の音声として出力される。さらに、抽出された言葉を説明するためのサポート情報「ｂｂｂすることだよ」が生成され、サブエージェント１２－２の音声として出力される。

　なお、ユーザが疑問に思いそうな言葉については、図１８の例と同様に、例えば、当該講義に対する過去の質問履歴から予め収集しておいてもよい。その場合、ユーザが疑問に思いそうな言葉を説明するためのサポート情報についても予め生成しておけばよい。また、ユーザが疑問に思った言葉をリアルタイムに収集するようにしてもよい。

　図１９の例によれば、ユーザ自身が疑問な言葉を質問しなくてもサブエージェント１２－１がそれを質問し、サブエージェント１２－２が解説してくれるので、講義内容に対するユーザの理解を深める効果が期待できる。

　＜上述した一連の処理をソフトウェアにより実行する場合について＞
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図２０は、上述した情報提示装置２０による一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。

　入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。

　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　本技術は以下のような構成も取ることができる。
（１）
　ユーザに対して提示するための提示情報を取得する取得部と、
　取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、
　前記サポート情報に対応して合成された音声を第１のエージェントの発言として提示する提示部と
　を備える情報提示装置。
（２）
　前記提示部は、前記第１のエージェントのキャラクタ像を表示することにより、前記サポート情報に対応して合成された音声を前記第１のエージェントの発言として出力する
　前記（１）に記載の情報提示装置。
（３）
　前記生成部は、さらに、前記提示情報に対応する音声を合成し、
　前記提示部は、さらに、前記提示情報に対応して合成された音声を第２のエージェントの発言として出力する
　前記（１）または（２）に記載の情報提示装置。
（４）
　前記提示部は、前記第２のエージェントのキャラクタ像を表示することにより、前記提示情報に対応して合成された音声を前記第２のエージェントの発言として出力する
　前記（３）に記載の情報提示装置。
（５）
　取得された前記提示情報を解析する解析部をさらに備え、
　前記生成部は、前記提示情報の解析結果に基づき、前記サポート情報を生成する
　前記（１）から（４）のいずれかに記載の情報提示装置。
（６）
　ユーザの状態を検出する検出部をさらに備え、
　前記提示部は、検出された前記ユーザの状態に応じて、前記サポート情報に対応して合成された音声を第１のエージェントの発言として出力する
　前記（１）から（５）のいずれかに記載の情報提示装置。
（７）
　前記検出部は、さらにユーザの属性を検出し、
　前記提示部は、検出された前記ユーザの属性に応じて、前記サポート情報に対応して合成された音声を第１のエージェントの発言として出力する
　前記（６）に記載の情報提示装置。
（８）
　前記生成部は、前記提示情報に対する感情語を含む前記サポート情報を生成する
　前記（１）から（７）のいずれかに記載の情報提示装置。
（９）
　前記生成部は、前記提示情報の要点を含む前記サポート情報を生成する
　前記（１）から（７）のいずれかに記載の情報提示装置。
（１０）
　前記生成部は、前記提示情報の内容に対する質問を含む前記サポート情報を生成する
　前記（１）から（７）のいずれかに記載の情報提示装置。
（１１）
　前記生成部は、前記提示情報に関連するユーザ情報を含む前記サポート情報を生成する
　前記（１）から（７）のいずれかに記載の情報提示装置。
（１２）
　前記生成部は、前記提示情報に関連する映像を説明する説明文に基づいて前記サポート情報を生成する
　前記（１）から（７）のいずれかに記載の情報提示装置。
（１３）
　前記生成部は、前記第１のエージェントの発言として提示する前記サポート情報に対し、前記第２のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
　前記提示部は、さらに、前記応答情報に対応して合成された音声を第２のエージェントの発言として出力する
　前記（３）から（１２）のいずれかに記載の情報提示装置。
（１４）
　前記生成部は、前記第２のエージェントの発言として提示した前記提示情報に対するユーザからの発言に対し、前記第２のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
　前記提示部は、さらに、前記応答情報に対応して合成された音声を第２のエージェントの発言として出力する
　前記（３）から（１２）のいずれかに記載の情報提示装置。
（１５）
　情報提示装置の情報提示方法において、
　前記情報提示装置による、
　　ユーザに対して提示するための提示情報を取得する取得ステップと、
　　取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成ステップと、
　　前記サポート情報に対応して合成された音声を第１のエージェントの発言として提示する提示ステップと
　を含む情報提示方法。

　１１　メインエージェント，　１２　サブエージェント，　２０　情報提示装置，　２１　提示情報取得部，　２２　提示情報解析部，　２３　ユーザＤＢ，　２４　エージェント発話制御部，　２５　表現ＤＢ，　２６　ユーザ状態処理部，　２７　ディスプレイ，　２８　スピーカ，　２９　マイク，　３０　センサ，　５０　サイネージ装置，　１００　コンピュータ，　１０１　CPU

Claims

　ユーザに対して提示するための提示情報を取得する取得部と、
　取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成部と、
　前記サポート情報に対応して合成された音声を第１のエージェントの発言として提示する提示部と
　を備える情報提示装置。
　前記提示部は、前記第１のエージェントのキャラクタ像を表示することにより、前記サポート情報に対応して合成された音声を前記第１のエージェントの発言として出力する
　請求項１に記載の情報提示装置。
　前記生成部は、さらに、前記提示情報に対応する音声を合成し、
　前記提示部は、さらに、前記提示情報に対応して合成された音声を第２のエージェントの発言として出力する
　請求項２に記載の情報提示装置。
　前記提示部は、前記第２のエージェントのキャラクタ像を表示することにより、前記提示情報に対応して合成された音声を前記第２のエージェントの発言として出力する
　請求項３に記載の情報提示装置。
　取得された前記提示情報を解析する解析部をさらに備え、
　前記生成部は、前記提示情報の解析結果に基づき、前記サポート情報を生成する
　請求項２に記載の情報提示装置。
　ユーザの状態を検出する検出部をさらに備え、
　前記提示部は、検出された前記ユーザの状態に応じて、前記サポート情報に対応して合成された音声を第１のエージェントの発言として出力する
　請求項２に記載の情報提示装置。
　前記検出部は、さらにユーザの属性を検出し、
　前記提示部は、検出された前記ユーザの属性に応じて、前記サポート情報に対応して合成された音声を第１のエージェントの発言として出力する
　請求項６に記載の情報提示装置。
　前記生成部は、前記提示情報に対する感情語を含む前記サポート情報を生成する
　請求項２に記載の情報提示装置。
　前記生成部は、前記提示情報の要点を含む前記サポート情報を生成する
　請求項２に記載の情報提示装置。
　前記生成部は、前記提示情報の内容に対する質問を含む前記サポート情報を生成する
　請求項２に記載の情報提示装置。
　前記生成部は、前記提示情報に関連するユーザ情報を含む前記サポート情報を生成する
　請求項２に記載の情報提示装置。
　前記生成部は、前記提示情報に関連する映像を説明する説明文に基づいて前記サポート情報を生成する
　請求項２に記載の情報提示装置。
　前記生成部は、前記第１のエージェントの発言として提示する前記サポート情報に対し、前記第２のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
　前記提示部は、さらに、前記応答情報に対応して合成された音声を第２のエージェントの発言として出力する
　請求項３に記載の情報提示装置。
　前記生成部は、前記第２のエージェントの発言として提示した前記提示情報に対するユーザからの発言に対し、前記第２のエージェントによる応答の発言として提示する応答情報を生成して、前記応答情報に対応する音声を合成し、
　前記提示部は、さらに、前記応答情報に対応して合成された音声を第２のエージェントの発言として出力する
　請求項３に記載の情報提示装置。
　情報提示装置の情報提示方法において、
　前記情報提示装置による、
　　ユーザに対して提示するための提示情報を取得する取得ステップと、
　　取得された前記提示情報に基づき、前記提示情報とともにユーザに提示するためのサポート情報を生成し、生成した前記サポート情報に対応する音声を合成する生成ステップと、
　　前記サポート情報に対応して合成された音声を第１のエージェントの発言として提示する提示ステップと
　を含む情報提示方法。