WO2020100647A1 - 情報伝達装置および情報伝達方法 - Google Patents

Abstract

情報伝達装置は、音声出力部（１４）による音声出力を許可する第１モードまたは音声出力を禁止する第２モードを指令するモード指令部（２４）と、エージェントの顔画像を含むエージェント画像が表示されるように表示部（１１）の表示画像を制御する画像制御部（２５）と、ユーザへの情報の出力の要否を判定する出力判定部（２３）と、を備える。画像制御部（２５）は、モード指令部（２４）により第２モードが指令されているとき、音声入力部（１３）によりユーザの発話による音声が入力されると、第１顔画像を有する第１エージェント画像が表示される一方、モード指令部（２４）により第２モードが指令されているとき、音声入力部（１３）によりユーザの発話による音声が入力されずに出力判定部（２３）により情報の出力が必要と判定されると、第２顔画像を有する第２エージェント画像が表示されるように表示画像を制御する。

Description

情報伝達装置および情報伝達方法

　本発明は、音声や表示によりユーザに情報を伝達する情報伝達装置および情報伝達方法に関する。

　従来、画面上に表示されるエージェントを介してユーザに情報を伝達するようにした装置が知られている（例えば特許文献１参照）。この特許文献１記載の装置では、画面上に表示されるキャラクタ型のエージェントとユーザとの対話により得られるユーザの応答情報から、エージェントの表示上の振る舞いを変更してユーザに対し情報を提示する。

特開２００５－１９６６４５号公報

　ところで、ユーザにとってエージェントと対話することが好ましくない状況が存在し得るが、上記特許文献１記載の装置では、そのような状況においてユーザに適切に情報を伝達することが困難である。

　本発明の一態様である情報伝達装置は、音声を出力する音声出力部と、画像を表示する表示部と、ユーザの発話による音声を入力する音声入力部と、音声出力部による音声出力を許可する第１モードまたは音声出力を禁止する第２モードを指令するモード指令部と、モード指令部により第１モードが指令されているとき、音声入力部により入力されたユーザの発話に対応する音声を出力するように音声出力部を制御する音声制御部と、エージェントの顔画像を含むエージェント画像が表示されるように表示部の表示画像を制御する画像制御部と、ユーザへの情報の出力の要否を判定する出力判定部と、を備える。画像制御部は、モード指令部により第２モードが指令されているとき、音声入力部によりユーザの発話による音声が入力されると、第１顔画像を有する第１エージェント画像が表示される一方、モード指令部により第２モードが指令されているとき、音声入力部によりユーザの発話による音声が入力されずに出力判定部により情報の出力が必要と判定されると、第１顔画像とは異なる表情の第２顔画像を有する第２エージェント画像が表示されるように表示画像を制御する。

　本発明の他の態様は、表示部を介して情報を伝達する情報伝達方法であって、コンピュータが、音声出力を許可する第１モードまたは音声出力を禁止する第２モードを指令し、第１モードが指令されているとき、ユーザの発話に対応する音声を出力するように音声出力部を制御し、エージェントの顔画像を含むエージェント画像が表示されるように表示部に表示される表示画像を制御し、ユーザへの情報の出力の要否を判定することを含む。表示画像を制御することは、第２モードが指令されているとき、ユーザの発話による音声が入力されると、第１顔画像を有する第１エージェント画像が表示される一方、第２モードが指令されているとき、音声入力部によりユーザの発話による音声が入力されずに情報の出力が必要と判定されると、第１顔画像とは異なる表情の第２顔画像を有する第２エージェント画像が表示されるように表示画像を制御することを含む。

　本発明によれば、ユーザと対話することが好ましくない状況において、エージェント画像の表示を介してユーザに適切に情報を伝達することができる。

本発明の実施形態に係る情報伝達装置を有する情報伝達システムの概略構成を示す図。 図１のユーザ端末に表示されるアバタ画像の一例を示す図。 本実施形態に係る情報伝達装置を構成するユーザ端末の制御構成を示すブロック図。 図１のユーザ端末に表示されるアバタ画像の表情の変化の一例を示す図。 図３のコントローラで実行される処理の一例を示すフローチャート。

　以下、図１～図５を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係る情報伝達装置を有する情報伝達システム１００の概略構成を示す図である。図１に示すように、情報伝達システム１００は、ユーザ１が携帯するユーザ端末１０と、サーバ装置３０とを有する。

　ユーザ端末１０とサーバ装置３０とは、インターネット網や携帯電話網等に代表される公衆無線通信網を含むネットワーク３に接続され、ネットワーク３を介して互いに通信可能である。なお、ネットワーク３には、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）等も含まれる。

　ユーザ端末１０は、ユーザ１により携帯して使用されるスマートフォンやタブレット端末、携帯電話、さらにはウェアラブル端末等、モニタやディスプレイなどの表示部を有する各種携帯端末により構成される。図１には、電話機能を有し、全体が略矩形の薄型に形成されたスマートフォンによりユーザ端末１０を構成した例が示される。ユーザ端末１０はユーザ固有の端末であり、ユーザ端末１０には、情報伝達システム１００を利用するユーザ１に紐づけられた識別ＩＤ（ユーザＩＤ）が付与される。

　ユーザ端末１０は、ディスプレイ１１と、ボタン群１２と、マイク１３と、スピーカ１４と、カメラ１５と、通信ユニット１６と、ＧＰＳ受信機１７と、アクチュエータ１８と、コントローラ２０と、を有する。

　ディスプレイ１１は、液晶ディスプレイ、有機ＥＬディスプレイ、無機ＥＬディスプレイ等の表示デバイスを備える。ディスプレイ１１は全体が略矩形状に構成され、ディスプレイ１１に文字、記号、図形等の各種画像が表示される。ディスプレイ１１は、例えばタッチパネルにより構成され、各種情報を入力する入力部としても機能する。なお、ディスプレイ１１の配置および形状は図１のものに限定されない。

　ボタン群１２は、ユーザ１により操作される複数のボタン１２ａ～１２ｃを有し、ボタン１２ａ～１２ｃの操作に応じて各種指令が入力される。いずれかのボタン（例えばボタン１２ａ）は、例えばマナーモードを指令および解除するマナーモードボタンとして構成される。なお、ボタン群１２を構成するボタンの個数、形状、配置は上述したものに限らない。

　マイク１３は、ユーザ１の発話を音声信号として取得する音声入力部を構成する。マイク１３が取得した信号は、例えばＡ／Ｄ変換器を介し音声データとしてコントローラ２０に入力される。

　スピーカ１４は、コントローラ２０から送信される音声信号を音声に変換して出力する音出力部を構成する。スピーカ１４は、通話時に通話相手の声を出力する。各種音声メッセージ、着信音、音楽等をスピーカ１４から出力することもできる。

　カメラ１５は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を有し、ディスプレイ１１に面する人や物を撮影するインカメラである。ディスプレイ１１の裏面にバックカメラを設けることもできる。なお、カメラ１５の配置や個数は上述したものに限定されない。

　通信ユニット１６は、ネットワーク３を介して無線により通信を行う。ネットワーク３を介さずに通信を行うこともできる。

　ＧＰＳ受信機１７は、複数のＧＰＳ衛星からの測位信号を受信し、受信した測位信号に基づいてユーザ端末１０の絶対位置（緯度、経度など）を測定する。

　アクチュエータ１８は、ユーザ端末１０の筐体に振動を与えるバイブレータなどにより構成される。アクチュエータ１８は、マナーモード時に電話やメールの着信があったこと等をユーザ１に通知する必要があるときに、作動する。

　コントローラ２０は、動作回路としてのＣＰＵなどの演算部と、ＲＯＭ，ＲＡＭなどの記憶部と、その他の周辺回路（インターフェース回路等）とを有するマイクロコンピュータを含んで構成される。コントローラ２０の機能的構成については後述する。

　サーバ装置３０は、機能的構成として、通信部３１と、ユーザ情報取得部３２と、画像信号生成部３３と、記憶部３４とを有する。

　通信部３１は、ネットワーク３を介してユーザ端末１０と通信を行う。ユーザ情報取得部３２は、ユーザ端末１０からユーザ情報を取得する。取得した情報は、ユーザＩＤに対応付けて記憶部３４に記憶される。ユーザ情報にはユーザ１の趣味や食べ物の好み等の嗜好情報が含まれる。嗜好情報はユーザ固有の情報であり、ユーザ１が発した音声やユーザ１に出力する音声等に含まれるキーワードやタッチパネル（ディスプレイ１１）から入力される入力情報、ディスプレイ１１に表示される出力情報等に基づいて、各ユーザ１に対応する嗜好情報が判断される。

　画像信号生成部３３は、各ユーザ１に対応するアバタ画像（図２参照）を決定し、アバタ画像に対応する画像信号を生成する。この場合、まず、記憶部３４に記憶されたユーザ情報に基づいて、ユーザ１の性格を数値化する。例えば、ユーザ１の行動力、社交性、協調性、思いやりなどの複数の性格パラメータ毎に、それらの程度（行動力の程度、社交性の程度等）をそれぞれ数値化して表す。そして、性格パラメータの数値の分布を考慮して、ディスプレイ１１に表示されるアバタ画像を決定し、そのアバタ画像に対応する画像信号を生成する。生成された画像信号は、通信部３１を介して、対応するユーザ端末１０に送信される。

　図２は、ディスプレイ１１に表示されるアバタ画像４０の一例を示す図である。アバタ画像４０は、ユーザ１の分身として擬人化されたアバタの画像であり、所定のキャラクタまたはエージェントの形態で表される。特に、本実施形態では、キャラクタの顔画像としてアバタ画像４０が表される。より具体的には、キャラクタの目と眉毛と口とをそれぞれ模した形態によりアバタ画像４０が表示される。

　アバタ画像４０は、ユーザ毎に異なるユーザ固有の画像であり、ユーザ１の性格を良好に反映したユーザ１の分身としてのアバタの形態を表す画像である。このため、ユーザ１はアバタ画像４０に親近感を持ちやすい。本実施形態では、特定のユーザ１のアバタ画像４０を、ユーザ端末１０の使用状況に応じて変更する。なお、アバタ画像４０の形態を、ユーザ端末１０を介しユーザ１が好みに応じて設定することもできる。

　図３は、本実施形態に係る情報伝達装置としてのユーザ端末１０の制御構成を示すブロック図である。図３に示すように、コントローラ２０には、マイク１３と、カメラ１５と、通信ユニット１６と、ＧＰＳ受信機１７と、マナーモードボタン１２ａとからの信号が入力される。コントローラ２０のＣＰＵは、これらの入力信号に基づいて所定の処理を実行し、スピーカ１４とディスプレイ１１とアクチュエータ１８とに制御信号を出力する。

　コントローラ２０は、機能的構成として、信号入力部２１と、周辺環境推定部２２と、出力判定部２３と、音声制御部２４と、画像制御部２５と、アクチュエータ制御部２６と、記憶部２７とを有する。

　信号入力部２１は、マイク１３とカメラ１５とＧＰＳ受信機１７とマナーモードボタン１２ａとからの信号を入力するとともに、通信ユニット１６を介して受信したサーバ装置３０からの信号、例えばサーバ装置３０から送信される、アバタ画像４０に対応する画像信号を入力する。

　周辺環境推定部２２は、ＧＰＳ受信機１７からの信号に基づいてユーザ端末１０の周辺環境を推定する。この推定は、スピーカ１４から音声を出力することが妥当か否か、すなわち、ユーザ１がユーザ端末１０をマナーモードにすべき環境にいるか否かを判定するために用いられる。周辺環境推定部２２は、マイク１３やカメラ１５が取得した信号に基づいて周辺環境を推定することもできる。

　出力判定部２３は、ユーザ１に情報を通知する必要があるか否かを判定する。例えば、通信ユニット１６を介してユーザ端末１０に電話やメールの着信があったとき、あるいは通信ユニット１６を介してユーザ端末１０に各種サーバからプッシュ通知があったとき、その旨をユーザ１に通知する必要があると判定する。

　音声制御部２４は、マナーモードボタン１２ａの操作によりマナーモードが指令されているか否かを判定する。マナーモードが指令されているときは（マナーモード時）、出力判定部２３によりユーザ１に情報を通知する必要があると判定されたときであっても、スピーカ１４からの音声出力を禁止する。したがって、例えば電話の着信があってもスピーカ１４から音声は出力されない。一方、マナーモードが解除されているときは（非マナーモード時）、スピーカ１４からの音声出力を許可する。したがって、例えば電話の着信があると、スピーカ１４から音声（着信音）が出力される。

　また、音声制御部２４は、マナーモードボタン１２ａの操作の有無に拘らず、周辺環境推定部２２により推定された周辺環境と、記憶部２７に記憶されたユーザ情報とに基づいてユーザ端末１０をマナーモードにすべきか否かを判定する。そして、マナーモードにすべきと判定すると、ユーザ端末１０を自動的にマナーモードに設定する。なお、周辺環境推定部２２により推定された周辺環境とユーザ情報とに応じてマナーモードを解除すべきか否かを判定し、マナーモードを解除すべきと判定すると、自動的にマナーモードを解除するように構成することもできる。

　さらに音声制御部２４は、非マナーモード時に、ユーザ１の質問に対する回答や提案、ユーザ１の回答に対するさらなる質問等を含む音声を、スピーカ１４から出力させることもできる。すなわち、ユーザ１と対話を行うように音声を出力することができる。この場合、音声制御部２４は、記憶部２７の辞書データベース（不図示）に登録された単語を参照することで、マイク１３を介して入力されたユーザ１からの音声信号を認識する。例えば、ユーザ１の発話によるユーザ端末１０に対する質問や回答を認識する。次いで、認識された音声の内容に対応する応答内容を記憶部２７の対話データベース（不図示）から抽出し、応答メッセージを生成する。このとき、記憶部２７に記憶されたユーザ情報（嗜好情報等）に基づいて情報の絞り込みを行い、絞り込んだ情報を含むような応答メッセージを生成する。そして、応答メッセージに対応する音声を出力するようにスピーカ１４を制御する。なお、ユーザ１からの音声信号をサーバ装置３０に送信するとともに、ユーザ１の嗜好情報を考慮した応答メッセージをサーバ装置３０が生成し、これをユーザ端末１０が受信してスピーカ１４から出力させるようにしてもよい。

　さらにまた、音声制御部２４は、マナーモード時にマイク１３やカメラ１５が取得した信号に基づいて、ユーザ１からユーザ端末１０への問いかけの有無を判定する。より詳しくは、音声制御部２４は、記憶部２７の辞書データベースを参照してユーザ１から入力された音声信号に対応する単語を特定するとともに、特定された単語が、予め辞書データベースに登録された複数の問いかけの単語のいずれかにあたるか否かを判定し、これにより問いかけの有無を判定する。そして、ユーザ１から問いかけがあると判定されると、マナーモード時であっても、問いかけに対する応答の音声をスピーカ１４から出力させる。この場合、マナーモードを一時的に解除して、スピーカ１４からは問いかけに対する応答のみを出力させる。なお、マナーモードを一時的に解除するのではなく、マナーモードボタン１２ａが操作されたときと同様にマナーモードを解除してもよい。

　画像制御部２５は、ディスプレイ１１の表示画像を制御する。例えば、サーバ装置３０から送信された画像信号に対応するアバタ画像４０が表示されるように、ディスプレイ１１に制御信号を出力する。アバタ画像４０は、ユーザ１の性格に対応する画像であるが、ユーザ端末１０の使用状況に応じてアバタ画像４０の表情が変化する。

　図４は、ディスプレイ１１に表示されるアバタ画像４０の表情の変化の一例を示す図である。図４では、タイプＡ～タイプＤの４つの表情のアバタ画像４０（４０Ａ～４０Ｄ）が示される。タイプＡのアバタ画像４０Ａは、例えばユーザ端末１０が待ち受け状態であるときの画像、すなわち通常時の画像である。アバタ画像４０Ａは、平常時の標準的な表情によって表される。

　タイプＢのアバタ画像４０Ｂは、例えばマナーモードが解除された非マナーモード（通常モード）において、着信音を模した音声（例えば「ツーツー」などの音声）をアバタがユーザ１に対し発するときの画像であり、スピーカ１４から音声が発せられるのに合わせてアバタ画像４０Ｂの口が動く。非マナーモード時だけでなく、マナーモード時にユーザ１からの問いかけに応答してスピーカ１４から音声が出力されるときも、タイプＢのアバタ画像４０Ｂが表示される。

　タイプＣのアバタ画像４０Ｃは、例えばマナーモードにおいて、電話やメールの着信があったことをユーザ１に通知するときの画像である。ユーザ１に伝えたい情報があるが音声を出力できないため、アバタ画像４０Ｃは、困ったような表情の画像となる。

　複数のユーザ１をそれぞれ第１ユーザ１Ａ、第２ユーザ１Ｂとし、各ユーザ１Ａ，１Ｂがそれぞれ固有のユーザ端末１０Ａ，１０Ｂを有するとき、ユーザ端末１０Ａ，１０Ｂに表示されるアバタ画像４０は互いに異なる。例えば、タイプＣのアバタ画像４０Ｃは、第１ユーザ１Ａのユーザ端末１０Ａに表示されるアバタの画像である。これに対し、タイプＤのアバタ画像４０Ｄは、タイプＣが表示されるときと同様の状況における第２ユーザ１Ｂのユーザ端末１０Ｂに表示されるアバタの画像である。タイプＤのアバタ画像４０Ｄは、タイプＣのアバタ画像４０Ｃとは異なり、怒ったような表情の画像で表される。

　タイプＣとタイプＤとでアバタ画像４０Ｃ，４０Ｄの形態（画像の表情）が異なるのは、ユーザ１Ａ，１Ｂの性格が互いに異なるからである。すなわち、サーバ装置３０の画像信号生成部３３は、各ユーザ１Ａ，１Ｂの性格を考慮して画像信号を生成する。このため、ユーザ端末１０Ａ，１０Ｂが互いに同一の使用状況（例えばマナーモード時）であり、アバタ画像４０の種類が同一（同一キャラクタの顔画像）であったとしても、表示されるアバタ画像４０の表情がユーザ端末１０Ａ，１０Ｂ毎に異なる。

　これによりマナーモード時に電話やメールの着信があったことを、各ユーザ１Ａ，１Ｂに良好に通知することができる。つまり、困った表情とした方が伝わりやすいユーザ１Ａに対してはアバタ画像４０Ｃを表示させ、怒った表情とした方が伝わりやすいユーザ１Ｂに対してはアバタ画像４０Ｄを表示させるように構成することで、画像表示を介してユーザ１Ａ，１Ｂに情報を良好に伝達することができる。

　アクチュエータ制御部２６は、マナーモード時に出力判定部２３がユーザ１に情報を通知する必要があると判定すると、アクチュエータ１８に制御信号を出力し、ユーザ端末１０を振動させる。これによりユーザ１は電話の着信等があったことを容易に気付くことができる。アクチュエータ１８は、ユーザ端末１０の設定変更により常にオフ状態とすることもできる。また、非マナーモード時に着信音の出力と同時にアクチュエータ１８を作動させることもできる。

　図５は、予め図３の記憶部２７に記憶されたプログラムに従い、コントローラ２０のＣＰＵで実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えばユーザ端末１０の電源オンにより開始され、所定周期で繰り返される。ユーザ端末１０の電源がオンすると、ユーザ端末１０とサーバ装置３０との間で通信が開始され、サーバ装置３０は、ユーザＩＤに対応する複数のアバタ画像４０（例えば第１ユーザ１Ａに対応するアバタ画像４０Ａ～４０Ｃ）を決定するとともに、複数のアバタ画像４０に対応する画像信号をユーザ端末１０に送信する。ユーザ端末１０は、この画像信号を記憶部２７に記憶した状態で図５の処理を開始する。

　まず、ステップＳ１で、マナーモードボタン１２ａの操作により手動で、あるいは周辺環境に応じて自動でマナーモードに設定されたか否かを判定する。ステップＳ１で否定されるとステップＳ２に進み、マイク１３やカメラ１５が取得した信号に基づいて、ユーザ１からユーザ端末１０に対し問いかけがあるか否かを判定する。ステップＳ２で肯定されるとステップＳ５に進み、否定されるとステップＳ３に進む。ステップＳ３では、ディスプレイ１１に制御信号を出力し、例えば図４のタイプＡのアバタ画像４０Ａを表示させる。

　一方、ステップＳ１で肯定されるとステップＳ４に進み、ステップＳ２と同様、マイク１３やカメラ１５が取得した信号に基づいて、ユーザ１からユーザ端末１０に対し問いかけがあるか否かを判定する。ステップＳ４で肯定されるとステップＳ５に進み、スピーカ１４に制御信号を出力し、問いかけに対する応答の音声をスピーカ１４から出力させる。次いで、ステップＳ６で、ディスプレイ１１に制御信号を出力し、例えば図４のタイプＢのアバタ画像４０Ｂを表示させる。

　これに対し、ステップＳ４で否定されるとステップＳ７に進み、通信ユニット１６を介して受信した信号に基づいて、ユーザ端末１０に電話の着信あり等の情報を通知（伝達）する必要があるか否か、すなわちユーザ１への通知の要否を判定する。ステップＳ７で否定されると、ステップＳ３に進み、例えばタイプＡのアバタ画像４０Ａをディスプレイ１１に表示させる。なお、タイプＡ～タイプＣ以外のアバタ画像４０を表示させるようにしてもよい。

　ステップＳ７で肯定されると、ステップＳ８に進み、アクチュエータ１８に制御信号を出力し、ユーザ端末１０を振動させる。これによりユーザ１は、着信があったことを認識することができる。次いで、ステップＳ９で、ディスプレイ１１に制御信号を出力し、例えば図４のタイプＣのアバタ画像４０Ｃを表示させる。これによりユーザ１は、画像表示によっても着信等があったことを認識することができる。この場合、文字や記号ではなくアバタ画像４０の表情の変化によってユーザ１に情報が伝達されるため、ユーザ１はユーザ端末１０から快適なサービスを受けることができ、ユーザ端末１０の使用に対する高い満足感が得られる。

　本実施形態によれば以下のような作用効果を奏することができる。
（１）情報伝達装置としてのユーザ端末１０は、音声を出力するスピーカ１４と、画像を表示するディスプレイ１１と、ユーザ１の発話による音声を入力するマイク１３と、マナーモードボタン１２ａ等からの信号に基づきスピーカ１４からの音声出力を許可する通常モード（非マナーモード）または音声出力を禁止するマナーモードを指令するとともに、非マナーモードが指令されているとき、マイク１３により入力されたユーザ１の発話に対応する音声を出力するようにスピーカ１４を制御する音声制御部２４と、エージェント（アバタ）の顔画像を含むアバタ画像４０が表示されるようにディスプレイ１１の表示画像を制御する画像制御部２５と、ユーザ１への情報の出力の要否を判定する出力判定部２３と、を備える（図３）。画像制御部２５は、音声制御部２４によりマナーモードが指令されているとき、マイク１３からユーザ１の発話による音声（例えばユーザ端末１０への問いかけの音声）が入力されると、例えば図４のタイプＢの表情のアバタ画像４０Ｂが表示される一方、音声制御部２４によりマナーモードが指令されているとき、マイク１３からユーザ１の発話による音声が入力されずに、出力判定部２３により情報の出力が必要と判定されると、例えば図４のタイプＣの表情のアバタ画像４０Ｃが表示されるように表示画像を制御する（図５）。

　これにより、マナーモード時にユーザ１から問いかけがあった場合と、ユーザ１からの問いかけはないが着信等があった旨をユーザ１に通知する必要がある場合とで、アバタ画像４０の態様（画像の表情）が変化する。このため、マナーモード時において着信等があった旨を、スピーカ１４から音声を出力することなく、ユーザ１に適切に伝達することができる。すなわち、表情の変化はアバタの感情を表すのに適しており、ユーザ１にアバタの感情の変化を伝えることで、ユーザ１は、例えば緊急性を要する通知があった旨を容易かつ正確に認識することが可能である。また、ユーザ１は、ユーザ端末１０を介してアバタと対話することが可能であり、アバタに対し親近感を持つようになる。そして、そのアバタ画像４０を用いてユーザ１に対し通知するため、ユーザ１の快適性が高まる。

（２）情報伝達装置としてのユーザ端末１０は、ユーザ１の嗜好情報を含むユーザ情報を記憶する記憶部２７およびサーバ装置３０の記憶部３４をさらに備える（図１，３）。音声制御部２４は、マナーモード時であっても、マイク１３を介してユーザの発話による音声が入力されると、記憶されたユーザ情報に基づいて、マイク１３により入力されたユーザ１の発話に対応する音声を出力するようにスピーカ１４を制御する。マナーモード時に音声が出力されると、ユーザ１はびっくりする可能性があるが、本実施形態では、ユーザ１から問いかけがあったときに、マナーモード時に音声が出力されるように構成するため、音声出力に対しユーザ１が驚くことはない。

（３）アバタ画像４０Ｂ，４０Ｃは、記憶されたユーザ情報に基づくユーザ１に固有の画像である。したがって、異なる性格のユーザ１Ａ，１Ｂに対しそれぞれ異なるアバタ画像（例えば図４の４０Ｃ，４０Ｄ）が表示されるようになり、ユーザ１のアバタに対する親近感が一層高まる。

（４）情報伝達装置としてのユーザ端末１０は、周辺環境を推定する周辺環境推定部２２をさらに備える（図３）。音声制御部２４は、記憶されたユーザ情報と周辺環境推定部２２により推定された周辺環境とに基づいて、音声出力の許可または禁止を指令する。これによりマナーモードボタン１２ａを操作することなく、自動的にマナーモードに設定されるため、音声出力が好ましくない状況でアバタ画像４０を介して発話の音声が出力されることがない。

（５）情報伝達装置としてのユーザ端末１０は、振動発生用のアクチュエータ１８と、マナーモード時に、出力判定部２３により情報の出力が必要と判定されると、振動を発生するようにアクチュエータ１８を制御するアクチュエータ制御部２６と、をさらに備える（図３）。これによりユーザ１は、マナーモード時に着信等があった旨を容易に認識することができる。

（６）本実施形態に係る情報伝達方法は、ディスプレイ１１を介して情報を伝達する情報伝達方法であって、コンピュータ（コントローラ２０）が、音声出力を許可する非マナーモードまたは音声出力を禁止するマナーモードを指令し（ステップＳ１）、非マナーモードが指令されているとき、ユーザ１の発話に対応する音声を出力するようにスピーカ１４を制御し（ステップＳ５）、エージェントの顔画像を含むアバタ画像４０が表示されるようにディスプレイ１１の表示画像を制御し（ステップＳ３，ステップＳ６，ステップＳ９）、ユーザ１への情報の出力の要否を判定することを含む（ステップＳ７）。表示画像を制御することは、マナーモードが許可されているときに、ユーザ１の発話による音声が入力されると、タイプＢのアバタ画像４０Ｂが表示される一方、マナーモードが指令されているとき、ユーザ１の発話による音声が入力されずに、情報の出力が必要と判定されると、タイプＣのアバタ画像４０Ｃが表示されるように表示画像を制御することを含む（図５）。このようにアバタ画像４０の表示（表情）の変化を介して、マナーモード時にユーザ１に着信あり等の情報を的確に伝達することができる。

　なお、上記実施形態では、マナーモードボタン１２ａの操作、または周辺環境推定部２２により推定された周辺環境とユーザ情報とに基づいて、音声制御部２４が音声出力を許可する非マナーモード（第１モード）または音声出力を禁止するマナーモード（第２モード）を指令するようにしたが、モード指令部の構成はこれに限らない。周辺環境推定部２２により推定された周辺環境のみに基づいて第１モードまたは第２モードを指令するようにしてもよい。音声を出力する音声出力部としてのスピーカ１４の構成、画像を表示する表示部としてのディスプレイ１１の構成、およびユーザ１の発話による音声を入力する音声入力部としてのマイク１３の構成は、いかなるものでもよい。

　上記実施形態では、電話やメールの着信等があったときに出力判定部２３がユーザ１への情報の出力が必要と判定するようにしたが、出力判定部の構成はこれに限らない。例えば緊急警報等を受信したときにも、ユーザへの情報の出力が必要と判定してもよい。電話やメールの着信等があったときに常にユーザ１への情報の出力が必要と判定するのではなく、電話やメールの相手に応じて情報の出力が必要と判定してもよい。着信後に相手からのメッセージが録音されたときに、情報の出力が必要と判定してもよい。コントローラ２０が、録音されたメッセージやメールの内容から、緊急性が高い情報を受信したか否かを判定し、緊急性が高い情報を受信したときに、情報の出力が必要と判定してもよい。

　上記実施形態では、ユーザ１の嗜好情報を含むユーザ情報を、ユーザ端末１０の記憶部２７とサーバ装置３０の記憶部３４とに記憶するようにしたが、ユーザ端末１０の記憶部２７のみに記憶するようにしてもよく、ユーザ情報記憶部の構成は上述したものに限らない。上記実施形態では、ユーザ情報に基づいて、マイク１３から入力されたユーザ１の発話に対応する音声を出力するようにスピーカ１４を制御したが、音声制御部の構成は上述したものに限らない。

　上記実施形態では、画像制御部２５からの指令により、エージェントの顔画像を含むエージェント画像の一例としてアバタ画像４０を表示するようにした。より具体的には、マナーモード時にユーザ１の発話による音声（ユーザ端末１０への問いかけの音声）が入力されると、第１顔画像を有する第１エージェント画像としてタイプＢのアバタ画像４０Ｂを、マナーモード時にユーザ１の発話による音声が入力されずにユーザ１への情報の出力が必要と判定されると、第２顔画像を有する第２エージェント画像としてタイプＣのアバタ画像４０Ｃを表示するようにした。また、マナーモード時にユーザ１の発話による音声が入力されずにユーザ１への情報の出力が不要と判定されると、第３顔画像を有する第３エージェント画像としてタイプＡのアバタ画像４０Ａを表示するようにした。しかしながら、第１顔画像、第１顔画像とは異なる表情の第２顔画像、および第１顔画像、第２顔画像とは異なる第３顔画像の形態はいかなるものでもよい。顔画像だけでなく身体の形態を表す画像を、第１エージェント画像、第２エージェント画像および第３エージェント画像として表示するようにしてもよい。第３エージェント画像を通常モード時のアバタ画像４０Ａと同一の画像としたが、アバタ画像４０Ａと異なる画像としてもよい。上記実施形態では、マナーモード時にアバタと対話する場合と、非マナーモード時にアバタと対話する場合とで、同一のアバタ画像４０Ｂが表示されるようにしたが、互いに異なるアバタ画像４０が表示されるようにしてもよい。したがって、画像制御部の構成は上述したものに限らない。

　上記実施形態では、マナーモード時に着信等があったときに振動用のアクチュエータ（振動アクチュエータ）１８を作動するようにしたが、アクチュエータ制御部２６の構成はこれに限らない。振動アクチュエータとアクチュエータ制御部とを省略することもできる。上記実施形態では、ユーザ端末１０とサーバ装置３０とにより情報伝達システム１００を構成したが、サーバ装置３０の機能をユーザ端末１０に設け、サーバ装置３０を省略することもできる。ユーザ端末単独で情報伝達システムを構成することができる。

　以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１０　ユーザ端末、１１　ディスプレイ、１２ａ　マナーモードボタン、１３　マイク、１４　スピーカ、１６　通信ユニット、１８　アクチュエータ、２０　コントローラ、２２　周辺環境推定部、２３　出力判定部、２４　音声制御部、２５　画像制御部、２６　アクチュエータ制御部、２７　記憶部、３０　サーバ装置、３２　ユーザ情報取得部、３３　画像信号生成部、３４　記憶部、１００　情報伝達システム

Claims (6)

1. 　音声を出力する音声出力部と、
   　画像を表示する表示部と、
   　ユーザの発話による音声を入力する音声入力部と、
   　前記音声出力部による音声出力を許可する第１モードまたは音声出力を禁止する第２モードを指令するモード指令部と、
   　前記モード指令部により前記第１モードが指令されているとき、前記音声入力部により入力されたユーザの発話に対応する音声を出力するように前記音声出力部を制御する音声制御部と、
   　エージェントの顔画像を含むエージェント画像が表示されるように前記表示部の表示画像を制御する画像制御部と、
   　ユーザへの情報の出力の要否を判定する出力判定部と、
   を備え、
   　前記画像制御部は、前記モード指令部により前記第２モードが指令されているとき、前記音声入力部によりユーザの発話による音声が入力されると、第１顔画像を有する第１エージェント画像が表示される一方、前記モード指令部により前記第２モードが指令されているとき、前記音声入力部によりユーザの発話による音声が入力されずに前記出力判定部により情報の出力が必要と判定されると、前記第１顔画像とは異なる表情の第２顔画像を有する第２エージェント画像が表示されるように表示画像を制御することを特徴とする情報伝達装置。
2. 　請求項１に記載の情報伝達装置において、
   　ユーザの嗜好情報を含むユーザ情報を記憶するユーザ情報記憶部をさらに備え、
   　前記音声制御部は、前記モード指令部により前記第２モードが指令されているときであっても、前記音声入力部によりユーザの発話による音声が入力されると、前記ユーザ情報記憶部に記憶されたユーザ情報に基づいて前記音声入力部により入力されたユーザの発話に対応する音声を出力するように前記音声出力部を制御することを特徴とする情報伝達装置。
3. 　請求項２に記載の情報伝達装置において、
   　前記第１エージェント画像および前記第２エージェント画像は、前記ユーザ情報記憶部に記憶されたユーザ情報に基づくユーザに固有の画像であることを特徴とする情報伝達装置。
4. 　請求項２または３に記載の情報伝達装置において、
   　周辺環境を推定する周辺環境推定部をさらに備え、
   　前記モード指令部は、前記ユーザ情報記憶部に記憶されたユーザ情報と前記周辺環境推定部により推定された周辺環境とに基づいて、前記第１モードまたは前記第２モードを指令することを特徴とする情報伝達装置。
5. 　請求項１～４のいずれか１項に記載の情報伝達装置において、
   　振動アクチュエータと、
   　前記モード指令部により前記第２モードが指令されているときに、前記出力判定部により情報の出力が必要と判定されると、振動を発生するように前記振動アクチュエータを制御するアクチュエータ制御部と、をさらに備えることを特徴とする情報伝達装置。
6. 　表示部を介して情報を伝達する情報伝達方法であって、コンピュータが、
   　音声出力を許可する第１モードまたは音声出力を禁止する第２モードを指令し、
   　前記第１モードが指令されているとき、ユーザの発話に対応する音声を出力するように音声出力部を制御し、
   　エージェントの顔画像を含むエージェント画像が表示されるように前記表示部に表示される表示画像を制御し、
   　ユーザへの情報の出力の要否を判定することを含み、
   　前記表示画像を制御することは、前記第２モードが指令されているとき、ユーザの発話による音声が入力されると、第１顔画像を有する第１エージェント画像が表示される一方、前記第２モードが指令されているとき、音声入力部によりユーザの発話による音声が入力されずに情報の出力が必要と判定されると、前記第１顔画像とは異なる表情の第２顔画像を有する第２エージェント画像が表示されるように前記表示画像を制御することを含む情報伝達方法。

Images