JP7263957B2 - 情報装置、自動設定方法及び自動設定プログラム - Google Patents

Description

本発明は、情報装置、自動設定方法及び自動設定プログラムに関する。

人間の多様な感情を検出し、この感情に応じて、コンピュータ側から情報を出力する対話装置や、人間の音声を分析してその人間の感情を表示する感情分析装置が開示されている（特許文献１、２参照）。また、近年は、人間の感情を認識して、会話の内容を変えるロボットなどが提案されている。

特開平０８－３３９４４６号公報 特開２００４－３１７８２２号公報

従来、コンピュータ等の情報装置の設定の変更は、ユーザ自身が行っていた。しかし、情報装置の設定の変更には、ある程度の知識が必要とされるため、情報装置の設定にあまり詳しくないユーザは、自身が望む設定にうまく調整できない。また、より好ましい設定があったとしても、ユーザがそれに気付かず又は変更操作を面倒だと考えて、最初にユーザ自身が行った設定のまま使用し続けることがある。また、情報装置の使用環境とその時のユーザの気分や感情等によっても、ユーザにとって最適な設定は異なる。しかし、情報装置の設定が、情報装置の個々の使用環境におけるユーザの感情ごとに自動的に変化することはなかった。そのため、情報装置の設定が、ユーザ自身の操作によらず、使用環境とユーザの感情に応じて、ユーザが望む設定に自動的に調整される技術が望まれている。

本発明は、上記に鑑みてなされたものであり、使用環境とユーザの感情に応じて設定を自動的に調整する情報装置、自動設定方法及び自動設定プログラムを提供することを目的とする。

本発明に係る情報装置は、動作調整値に基づいて動作を行う動作部と、周囲の環境情報を検出する環境認識部と、ユーザの感情情報を検出する感情認識部と、前記環境認識部で検出した前記環境情報と、前記感情認識部で検出した前記感情情報とに基づいて、前記動作調整値を設定する設定調整部と、を備える。

本発明に係る自動設定方法は、動作調整値に基づいて動作部の動作を行うことと、周囲の環境情報を検出することと、ユーザの感情情報を検出することと、検出した前記環境情報と前記感情情報とに基づいて、前記動作調整値を設定することとを含む。

本発明に係る自動設定プログラムは、動作調整値に基づいて動作部の動作を行う処理と、周囲の環境情報を検出する処理と、ユーザの感情情報を検出する処理と、検出した前記環境情報と前記感情情報とに基づいて、前記動作調整値を設定する処理とをコンピュータに実行させる。

本発明によれば、使用環境とユーザの感情に応じて情報装置の設定を自動的に調整することができる。

図１は、本発明の第１実施形態に係る情報装置の一例を示す模式図である。 図２は、上記情報装置の制御部の一例を示す機能ブロック図である。 図３は、上記情報装置の感情認識部の一例を示す機能ブロック図である。 図４は、上記情報装置の表示部に顔画像が表示される場合の一例を示す図である。 図５は、上記情報装置の表示部に顔画像が表示される場合の他の例を示す図である。 図６は、上記情報装置の記憶部に記憶される感情情報のデータと設定に関するデータとが関連付けられたデータテーブルの一例を示す図である。 図７は、上記情報装置自体又は各種アプリの起動時の動作の一例を示すフローチャートである。 図８は、上記情報装置自体又は各種アプリの起動後の動作の一例を示すフローチャートである。 図９は、本発明の第２実施形態に係る情報装置の一例を示す機能ブロック図である。 図１０は、上記第２実施形態に係る情報装置の感情認識部の一例を示す機能ブロック図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、下記実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

［第１実施形態］
図１は、本発明の第１実施形態に係る情報装置の一例を示す模式図である。図１に示す情報装置１００は、筐体１０と、表示部２０と、音声入力部３０と、音声出力部４０と、タッチパネル入力部５０と、通信部６０（通信部のうちの接続線）と、制御部７０と、画像入力部９０とを備える。情報装置１００としては、例えばスマートフォン、タブレット型コンピュータ、ノート型コンピュータ、デスクトップ型コンピュータ、ナビゲーション装置、電子書籍リーダ、腕時計型ウェアラブルデバイス、音響・映像機器、家庭用ゲーム機、携帯型ゲーム機、コミュニケーション用ロボット等、各種の通信可能な電子機器が挙げられる。

筐体１０は、表示部２０、音声入力部３０、音声出力部４０、タッチパネル入力部５０、通信部６０、制御部７０及び画像入力部９０の各部を保持する。表示部２０は、画像、映像等の情報を表示可能であり、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の表示パネルにより構成される。音声入力部３０は、例えばマイク等により構成される。音声出力部４０は、例えばスピーカ等により構成される。タッチパネル入力部５０は、表示部２０上に配置され、ユーザが表示部２０に表示された情報に対する入力や選択等の操作を行う場合に使用する。例えば、視聴可能な映画の候補が複数ある場合に、情報装置１００が映画の候補を表示部２０に表示し、ユーザが表示部２０上のタッチパネル入力部５０をタッチすることにより所望の映画を選択することも可能である。通信部６０は、ネットワークＮＷとの間で情報の送信及び受信を行う。ネットワークＮＷとしては、インターネット、イントラネット等の各種のネットワーク等が挙げられる。画像入力部９０は、例えばカメラ等により構成される。画像入力部９０は、ビデオカメラとしても使用可能である。ここで、音声入力部３０、音声出力部４０及び画像入力部９０は、上記の通り筐体１０に保持されてもよいし、筐体１０とは別個に設けられてもよい。例えば、音声入力部３０、音声出力部４０及び画像入力部９０は、情報装置１００と連携したワイヤレスのマイク、スピーカ又はヘッドホン、及びカメラ等でもよい。

図２は、情報装置１００の制御部７０の一例を示す機能ブロック図である。制御部７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて構成され、情報装置１００の全体の制御を行う。

制御部７０は、演算処理部７１と、表示制御部７２と、音声認識部７３と、音声合成部７４と、感情認識部７５と、感情制御部７６と、タイミング発生部７８と、タイマ７９と、モード切替制御部８０と、顔画像発生部８２と、記憶部８３と、画像認識部９１とを有する。

演算処理部７１は、各種の演算を行う。演算処理部７１は、後述するように、感情認識部７５の検出結果に応じた情報装置１００の動作調整値（設定値）を記憶部８３から取得して設定する設定調整部としての機能を有する。表示制御部７２は、表示部２０の表示動作を制御する。音声認識部７３は、音声入力部３０から入力された音声データを認識し、所定の言葉を判別する。音声認識部７３は、例えば音声認識ソフトウェア、音声認識用辞書データ等を有する。音声合成部７４は、音声合成ソフトウェア、音声データ等を有する。音声合成部７４は、例えば人間が話す声を合成可能である。

感情認識部７５は、音声入力部３０から入力された音声により、感情情報を検出する。図３は、感情認識部７５の一例を示す機能ブロック図である。図３に示すように、感情認識部７５は、韻律的特徴量検出部７５ａと、感情分析部７５ｂとを有する。韻律的特徴量検出部７５ａは、音声入力部３０に入力される音声信号から韻律的特徴量を検出する。感情分析部７５ｂは、検出された韻律的特徴量に基づいて、喜怒哀楽、驚き等の度合いを数値で出力する。本実施形態において、感情分析部７５ｂは、喜び、悲しみ、及び怒りの３種類を検出するものとする。つまり、感情認識部７５において検出される感情情報は、例えば、感情の種類（喜び、悲しみ、怒り）と、感情の種類ごとの感情の度合いの値と、を含む。感情の具体的な検出方法については、公知の技術を適宜用いることができる。

感情制御部７６は、感情認識部７５の検出結果に基づいて、所定の感情状態を形成する。例えば、感情制御部７６は、会話モード時に、音声合成部７４が合成する音声の抑揚や内容、顔画像発生部８２が表示部２０に表示させる顔画像の表情等を設定する。

タイミング発生部７８は、例えばタイマ７９を用いて時間を計測する。タイミング発生部７８は、情報装置１００の各種アプリケーション（以下、アプリ）の処理や画面の切り替わりのタイミング及び／又は再生中のコンテンツの切れ目のタイミング等を検出する。

モード切替制御部８０は、ユーザとの間で情報のやり取りを行うための情報を表示部２０及び音声出力部４０の少なくとも一方に出力する第１モードと、ネットワークからの情報を表示部２０及び音声出力部４０の少なくとも一方に出力する第２モードとを切り替えて行う。第１モードは、例えばユーザが情報装置１００に対して話しかけを行い、情報装置１００がユーザの話しかけに対して返答する会話モードを含む。第２モードは、ネットワークＮＷを介して取得される情報を表示する情報表示モードを含む。顔画像発生部８２は、会話モード時に表示部２０に顔画像を表示させる。

図４及び図５は、会話モード時に情報装置１００の表示部２０に顔画像が表示される場合の例を示す図である。図４に示すように、表示部２０に目と口のみが表示されてもよい。この場合、目と口を強調することができる。また、図５に示すように、表示部２０に顔の輪郭を含めた状態で表示されてもよい。この場合、会話モードが実際の会話の状態に近い感覚となり、感情移入しやすい。なお、顔画像の表示態様は、上記の２種類に限定されず、他の態様であってもよい。会話モードでは、このような顔画像の表示態様を切り替えることにより、使いやすく、楽しい情報装置１００を実現できる。

記憶部８３は、各種の情報を記憶する。図６は、記憶部８３に記憶される感情情報のデータと設定に関するデータとが関連付けられたデータテーブル８６の一例を示す図である。図６に示すように、本実施形態では、データテーブル８６は、例えば映画、スポーツ、会話など、各種アプリや表示されるコンテンツの内容などにより、個別の配列（例えば、レコード及びフィールド）を持っている。感情情報のデータ及び設定に関するデータは、情報装置１００の起動時に、制御部７０のＲＡＭに読み出され、動作中に変更され、プログラム終了時にストレージに書き戻される。それぞれのＲＡＭ上のデータの配置は任意であるが、配列として管理される。

本実施形態では、情報表示モード時において、映画を再生する時に使用されるデータを例に説明する。記憶部８３は、映画を再生する時の調整項目として、表示部２０の輝度、表示部２０のコントラスト、音声出力部４０の音声レベル、音声出力部４０の音声トーン及び感情表現に関するデータを記憶する。

本実施形態では、周囲の環境状態を測定・検出し、その時のユーザの感情を認識する。その環境におけるユーザの感情が向上する（例えば、楽しい気持ちが高くなる）設定を検索しながらより良い設定に変更し、その設定値と設定履歴を記憶する。ユーザの感情の高揚を大きく喜怒哀楽に分類し、各種アプリや表示されるコンテンツの種類によって、高揚させる感情の種類を変えても良い。例えば、情報装置１００は、表示部２０に映画を表示する場合、楽しい映画であればユーザの楽しい気持ちが大きくなるような設定とし、悲しい映画であればユーザの悲しい気持ちが大きくなる設定とする。このように、視聴する映画の種類や内容等によってもユーザの感情は変化するため、記憶部８３は、データテーブル８６において、ユーザが視聴する映画ごとに感情情報のデータと設定に関するデータとを記憶する。

輝度の場合、周囲の明るさをレベル１～５の５段階に分けている。周囲の明るさは、画像入力部９０の入力のレベルを読み取ることで得られる。また、映像信号のＡＧＣ（自動利得制御）が動作している場合には、その制御信号のレベルが周囲の明るさを示すことになる。そして、レベルごとに感情状態（検出感情）のパラメータを有する。図６では、レベル１～５の各々において、感情状態のパラメータとしてａ～ｅの５つの値を示している。本実施形態では、感情状態のパラメータは、「楽しい」、「悲しい」又は「怒り」の度合いを示しており、ユーザの気分が良いか良くないかを示している。また、感情状態のパラメータごとに設定値が割り当てられている。図６では、感情状態のパラメータａ～ｅに対して、設定値としてＡ～Ｅの５つの値が割り当てられている。また、過去に感情が向上した時の輝度の設定値が、設定履歴１として記憶されている。初期状態では設定履歴１として記憶されている値が設定値として選択される。設定履歴２については後段で説明する。

コントラストの場合、輝度の場合と同様、周囲の明るさをレベル１～５の５段階に分けている。他の構成については、輝度の場合と一緒である。音声レベル及び音声トーンの場合、周囲の騒音をレベル１～５の５段階に分けている。他の構成については、輝度の場合と一緒である。感情表現の場合、環境パラメータに依存せず、感情認識部７５において検出された感情情報に対応する設定値を保存している。

画像認識部９１は、画像入力部９０から入力された画像データを認識し、画像や動画から特徴をつかみ、対象物を識別する。画像認識部９１は、例えば画像認識ソフトウェア、画像認識用辞書データ等を有する。

次に、上記のように構成された情報装置１００の動作について説明する。図７は、情報装置１００自体又は各種アプリの起動時の動作の一例を示すフローチャートである。本実施形態では、映画の再生用のアプリの起動時の動作を例に説明する。図７に示すように、演算処理部７１は、ユーザが表示部２０に表示された映画の再生用のアプリを選択した時に当該アプリを起動する（ステップＳ１０１）。

次に、音声認識部７３及び画像認識部９１は、音声入力部３０及び画像入力部９０を用いて周囲の環境情報を検出する（ステップＳ１０２）。例えば、画像認識部９１は、画像入力部９０を用いて周囲の明るさを測定する。画像認識部９１は、画像認識により画像の中央にユーザを認識した場合には、ユーザを除いた周囲の明るさを測定する。また、音声認識部７３は、音声入力部３０を用いて周囲の騒音を測定する。このとき、音声認識部７３は、ユーザと音声対話中ではない状態でのマイク入力レベルを測定する。

次に、感情認識部７５は、音声入力部３０に入力される音声信号に基づいて感情認識を行い、感情情報を検出する（ステップＳ１０３）。本実施形態では、モード切替制御部８０は、対話モードとして情報表示モード中に一時的に会話モードに切り替える。演算処理部７１は、この対話モードにおいて簡易的にユーザとの対話を行う。感情認識部７５は、この対話時のユーザの音声に基づいて感情認識を行う。感情認識を行った後、モード切替制御部８０は、対話モードを終了し、情報表示モードに戻す。ここで、環境情報と感情情報の検出を完了する。

次に、演算処理部７１は、環境情報と感情情報に基づいて各種設定の調整を行う（ステップＳ１０４）。具体的には、演算処理部７１は、周囲の明るさとユーザの感情状態（検出感情）を基に、記憶部８３に記憶されたデータテーブル８６の中から、最も適当であった設定値を取得して設定する。例えば、演算処理部７１は、表示部２０の輝度について、周囲の明るさがレベル２であり、その時の感情状態（検出感情）のパラメータがｃであったとすると、データテーブル８６の中からパラメータｃに対応する設定履歴１として記憶されている値ｃ１を設定値とする。ここで、演算処理部７１は、記憶部８３に記憶されたデータテーブル８６の中に、設定履歴１が存在しない場合には、表示部２０の輝度の中央値を設定値とする。

演算処理部７１は、表示部２０のコントラストについても上記表示部２０の輝度と同様に設定する。また、演算処理部７１は、音声出力部４０の音声レベル及び音声出力部４０の音声トーンについては周囲の騒音レベルとユーザの感情状態を基に、記憶部８３に記憶されたデータテーブル８６の中から、最も適当であった設定値を取得して設定する。また、感情表現は、会話モードの時に、表示部２０に表示する顔画像の感情表現をどのように設定するか決めるものである。感情表現については、ユーザの感情状態（検出感情）のみに基づいて設定する。演算処理部７１は、ユーザの感情状態を基に、記憶部８３に記憶されたデータテーブル８６の中から、最も適当であった感情表現の設定値を取得して感情制御部７６に通知する。感情制御部７６は、演算処理部７１から通知された感情表現の設定値に基づいて、音声合成部７４が合成する音声や、表示部２０に表示する顔画像の感情表現を、ユーザが明るい気持ちの時には明るく対応し、悲しい気持ちの時には静かな対応をするように設定する。演算処理部７１は、データテーブル８６においてこれらの設定値を更新する（ステップＳ１０５）。

最後に、演算処理部７１は、表示部２０の輝度、表示部２０のコントラスト、音声レベル、音声トーン及び感情表現の５項目全ての設定処理が完了したかを確認する（ステップＳ１０６）。演算処理部７１は、５項目全ての設定処理が未完了である場合（ステップＳ１０６でＮｏ）、未完了の残りの項目の設定処理を行う（ステップＳ１０４に戻る）。演算処理部７１は、５項目全ての設定処理が完了した場合（ステップＳ１０６でＹｅｓ）、一連の処理を終了する。

図８は、情報装置１００自体又は各種アプリの起動後（稼働中）の動作の一例を示すフローチャートである。図７に示す情報装置１００自体又は各種アプリの起動時には、演算処理部７１は、記憶部８３に記憶されたデータテーブル８６の中から、最も適当であった設定値を取得して設定する。その後、図８に示す情報装置１００自体又は各種アプリの稼働中には、演算処理部７１は、所定のタイミングで試験的に設定を微小量変化させてみて、微小量変化させた設定に対してユーザの感情がどのように変化したかを分析し、その分析結果に応じて設定の調整とその時の設定値の保存を行う。

本実施形態では、映画の再生用のアプリの稼働中の動作を例に説明する。図８に示すように、タイミング発生部７８は、稼働中のアプリや表示されるコンテンツについて、タイミングの検出を行う（ステップＳ２０１）。タイミング発生部７８は、例えばアプリの処理や画面の切り替わりのタイミング、映画の再生開始／終了のタイミング、映画の再生中にポーズ（中断）や早送り／早戻し等の操作が入ったタイミング等を検出する。これらの検出処理については、アプリのプログラムや情報装置１００のＯＳ（オペレーティングシステム）にタイミング検出用プログラムを組み込んでおくことで実施可能である。

次に、演算処理部７１は、タイミング発生部７８が検出したタイミングにおいて、設定を調整して現在の設定から微小量変化させる（ステップＳ２０２）。例えば、演算処理部７１は、上記５項目の所定のパラメータを現在の設定値より１段階大きい値又は小さい値に設定する。次に、演算処理部７１は、音声入力部３０や画像入力部９０を用いて周囲の環境情報を検出する（ステップＳ２０３）。次に、感情認識部７５は、音声入力部３０に入力される音声信号に基づいて感情認識を行い、感情情報を検出する（ステップＳ２０４）。次に、演算処理部７１は、検出された感情情報に基づいて、感情レベルが向上したか否かを判定する（ステップＳ２０５）。

演算処理部７１は、感情レベルが向上したと判定した場合（ステップＳ２０５でＹｅｓ）には、その時の設定値（今回の設定値）をそのまま正式に採用して、データテーブル８６において設定値を今回の設定値に更新する（ステップＳ２０６）。また、演算処理部７１は、データテーブル８６において「設定履歴１」を今回の設定値に更新する（ステップＳ２０７）。すなわち、演算処理部７１は、上記５項目について、感情レベルが上がった場合にはその時の設定値をデータテーブル８６の設定値と「設定履歴１」に書き込む。次にステップＳ２０１に戻り、感情レベルが向上しなくなるまで（ステップＳ２０５でＮｏとなるまで）、ステップＳ２０１からステップＳ２０７を繰り返す。この時、設定値の調整方向（設定値を大きい値にするか小さい値にするか）は同一方向とする。

一方、演算処理部７１は、感情レベルが低下したと判定した場合（ステップＳ２０５でＮｏ）、その時の設定値（今回の設定値）を記録に残すため、データテーブル８６において「設定履歴２」を今回の設定値に更新し（ステップＳ２０８）、演算処理部７１は、今回の設定値を、微小量変化させる前の元の値である前回の設定値に戻す（ステップＳ２０９）。

演算処理部７１は、設定値の調整方向を変更済みか否かを判定する（ステップＳ２１０）。演算処理部７１は、設定値の調整方向を変更済みでない場合（ステップＳ２１０でＮｏ）、設定値の調整方向を変更する（ステップＳ２１１）。具体的には、前回の調整が設定値を大きくする方向であった場合には、設定値を小さくする方向に変更する。前回の調整が設定値を小さくする方向であった場合には、設定値を大きくする方向に変更する。次にステップＳ２０１に進む。ステップＳ２０２では変更された調整方向に設定値を変更し、ステップＳ２０３以降に進む。

演算処理部７１は、設定値の調整方向を変更済みの場合（ステップＳ２１０でＹｅｓ）、上記５項目全ての設定処理が完了したかを確認する（ステップＳ２１２）。演算処理部７１は、５項目全ての設定処理が未完了である場合（ステップＳ２１２でＮｏ）、未完了の残りの項目の設定処理を行う（ステップＳ２０１に戻る）。演算処理部７１は、５項目全ての設定処理が完了した場合（ステップＳ２１２でＹｅｓ）、一連の処理を終了する。

この結果、記憶部８３に記憶されたデータテーブル８６の設定値および「設定履歴１」には、現状で最も感情が向上した状態の設定値が残る。また、「設定履歴２」には「設定履歴１」の設定値に対し、感情レベルが低かった際の設定値が残ることになる。

「設定履歴１」、「設定履歴２」は、次に設定を変更するときの変化させる方向を決めるために参考となるデータとなる。つまり設定レベルを高くしたために感情が下がったか、低くしたために感情が下がったかにより次に設定すべき調整方向が決定される。

以上のように、本実施形態に係る情報装置１００は、ネットワークＮＷに接続して情報を取得する情報装置１００であって、周囲の環境情報を検出する音声認識部７３及び画像認識部９１と、ユーザの感情情報を検出する感情認識部７５と、環境情報ごとに感情情報と設定値とを関連付けて記憶する記憶部８３と、感情認識部７５の検出結果に応じた設定値を記憶部８３から選択して設定する演算処理部７１とを備える。

この構成では、使用環境ごとに、感情認識部７５においてユーザの感情を検出し、検出したユーザの感情に基づいた設定値を自動的に選択して設定することができる。これにより、使用環境とユーザの感情に応じた設定に自動的に調整することが可能な情報装置１００を実現することができる。

［第２実施形態］
図９は、本発明の第２実施形態に係る情報装置１００Ａの一例を示す機能ブロック図である。図９に示すように、情報装置１００Ａは、上記実施形態の情報装置１００の構成に加えて表情分析部８４を有し、感情認識部７５の代わりに感情認識部８５を有している。表情分析部８４は、画像入力部９０に入力されるユーザの顔画像等の画像に基づいて、ユーザの表情を分析する。表情分析部８４は、例えば画像処理を行い、画像処理の結果を用いて表情分析を行う公知のソフトウェア等を用いて形成される。また、感情認識部８５は、音声入力部３０に入力される音声信号及び表情分析部８４の分析結果（表情分析結果）に基づいて感情認識を行い、ユーザの感情を示す感情情報を検出する。

図１０は、感情認識部８５の一例を示す機能ブロック図である。感情認識部８５は、韻律的特徴量検出部８５ａと、感情分析部８５ｂと、総合分析部８５ｃとを有する。韻律的特徴量検出部８５ａ及び感情分析部８５ｂは、第１実施形態で説明した韻律的特徴量検出部７５ａ及び感情分析部７５ｂと同様である。すなわち、韻律的特徴量検出部８５ａは、音声入力部３０に入力される音声信号から韻律的特徴量を検出する。感情分析部８５ｂは、検出された韻律的特徴量に基づいて、喜怒哀楽、驚き等の度合いを数値で出力する。総合分析部８５ｃは、感情分析部８５ｂの分析結果と、表情分析部８４の分析結果とに基づいて、ユーザの感情を総合的に分析する。例えば、それぞれの分析結果が示す各感情に係数を設定して乗算し、これらを加算して音声及び表情を含めた総合的な算出値を求める。ここで、総合分析部８５ｃは、音声入力しかない場合には感情分析部８５ｂの分析結果のみを用いてユーザの感情を分析してもよいし、画像入力しかない場合には表情分析部８４の分析結果のみを用いてユーザの感情を分析してもよい。すなわち、総合分析部８５ｃは、ユーザの音声と表情とのうち少なくとも一方に基づいて当該ユーザの感情を分析するものであればよい。したがって、感情認識部８５において検出される感情情報は、例えば、感情の種類（喜び、悲しみ、怒り）と、感情の種類ごとの感情の度合いの値と、を含む。演算処理部７１は、感情認識部８５において検出された感情情報と記憶部８３に記憶されたデータテーブル８６に基づいて、設定を自動的に調整する。

上記のように構成された情報装置１００Ａ自体又は各種アプリの起動時、図７に示すステップＳ１０３において、感情認識部８５は、音声入力部３０に入力される音声信号及び表情分析部８４の分析結果のうち少なくとも一方に基づいて感情認識を行い、感情情報を検出する（ステップＳ１０３）。本実施形態では、モード切替制御部８０は、対話モードとして情報表示モード中に一時的に会話モードに切り替える。演算処理部７１は、この対話モードにおいて簡易的に情報装置１００Ａとユーザの対話を行う。感情認識部８５は、対話時のユーザの音声や表情に基づいて感情認識を行う。感情認識を行った後、モード切替制御部８０は、対話モードを終了し、情報表示モードに戻す。すなわち、ユーザの音声と表情との少なくとも一方に基づいて感情認識を行う。その他の動作については、図７に示す通りである。

また、情報装置１００Ａ自体又は各種アプリの稼働中、図８に示すステップＳ２０３～Ｓ２０５において、演算処理部７１は、音声入力部３０及び画像入力部９０を用いて周囲の環境情報を検出する（ステップＳ２０３）。次に、感情認識部８５は、音声入力部３０に入力される音声信号及び表情分析部８４の分析結果のうち少なくとも一方に基づいて感情認識を行い、感情情報を検出する（ステップＳ２０４）。次に、演算処理部７１は、感情認識部８５で検出された感情情報に基づいて、ユーザの感情の変化、例えば感情レベルの上下を確認する（ステップＳ２０５）。すなわち、ユーザの音声と表情との少なくとも一方に基づいてユーザの感情の変化を確認する。その他の動作については、図８に示す通りである。

このように、本実施形態に係る情報装置１００Ａは、ユーザの声を入力可能な音声入力部３０とユーザの顔画像を入力可能な画像入力部９０との両方を備え、感情認識部８５が、音声入力部３０に入力されるユーザの声と画像入力部９０に入力される顔画像とのうち少なくとも一方に基づいて、感情情報を検出する構成であってもよい。これにより、ユーザの感情をより高精度に認識し、より適正に使用環境とユーザの感情に応じた設定に調整することができる。

［変形例］
上記の実施形態では、情報装置１００又は１００Ａは音声入力部３０や画像入力部９０を用いてユーザの感情情報を検出しているが、さらにユーザが表示部２０上のタッチパネル入力部５０をタッチするタイミングや強さ等からユーザの感情情報を検出してもよい。また、情報装置１００又は１００Ａは、自身と連携する他のセンサ群も用いてユーザの感情情報を検出してもよい。例えば、情報装置１００又は１００Ａは、自身に搭載されたジャイロスコープや慣性計測装置（ＩＭＵ）等を用いて、ユーザが情報装置１００又は１００Ａを感情的に激しく揺さぶっていること等を検出することで、ユーザの感情情報を検出してもよい。

また、情報装置１００及び１００Ａは、表示部２０及びタッチパネル入力部５０を備えていなくてよい。例えば、情報装置１００及び１００Ａは、タッチパネル入力部５０の代わりに、物理的なキーパッドやキーボード等の入力装置を使用してもよい。また、情報装置１００及び１００Ａがコミュニケーション用ロボットである場合、表示部２０に表示させる顔画像の代わりに、顔に相当する機能や身振りで感情を表現してもよい。

また、図７に示すステップＳ１０６及び図８に示すステップＳ２１２において、演算処理部７１は、表示部２０の輝度、表示部２０のコントラスト、音声レベル、音声トーン及び感情表現の５項目全ての設定処理を行うようにしているが、実際には特定の項目のみの設定処理を行うようにしてもよい。例えば、演算処理部７１は、周囲の明るさの低下とユーザの感情レベルの低下とを検出した時に表示部２０の輝度及びコントラストの設定処理を行い、周囲の騒音の増大とユーザの感情レベルの低下とを検出した時に音声レベル及び音声トーンの設定処理を行うようにしてもよい。

以上説明したように、本発明に係る情報装置は、動作調整値に基づいて動作を行う動作部と、周囲の環境情報を検出する環境認識部と、ユーザの感情情報を検出する感情認識部と、環境認識部で検出した環境情報と、感情認識部で検出した感情情報とに基づいて、動作調整値を設定する設定調整部と、を備える。ここで、動作部は、上記の表示部２０、音声出力部４０及び制御部７０に相当する。環境認識部は、上記の音声認識部７３及び画像認識部９１に相当する。感情認識部は、上記の感情認識部７５又は感情認識部８５に相当する。設定調整部は、上記の演算処理部７１に相当する。動作調整値は、上記の表示部２０の輝度、表示部２０のコントラスト、音声出力部４０の音声レベル、音声出力部４０の音声トーンについての各設定値に相当する。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、動作調整値に基づいて動作を行う動作部として、表示部２０及び音声出力部４０を例に挙げて説明したが、これに限定されない。動作部は、情報装置１００の他の部分であってもよい。

また、例えば、上記実施形態では、環境情報と、感情情報と、動作調整値とを関連付けて記憶する記憶部８３を有する構成を例に挙げて説明したが、これに限定されない。例えば、環境情報、感情情報及び動作調整値が例えば外部の記憶部に記憶される構成であり、情報装置１００、１００Ａが当該外部の記憶部に通信等によってアクセスする構成としてもよい。

ＮＷ…ネットワーク、１０…筐体、２０…表示部、３０…音声入力部、４０…音声出力部、５０…タッチパネル入力部、６０…通信部、７０…制御部、７１…演算処理部、７２…表示制御部、７３…音声認識部、７４…音声合成部、７５，８５…感情認識部、７５ａ, ８５ａ…韻律的特徴量検出部、７５ｂ，８５ｂ…感情分析部、７６…感情制御部、７８…タイミング発生部、７９…タイマ、８０…モード切替制御部、８２…顔画像発生部、８３…記憶部、８４…表情分析部、８５ｃ…総合分析部、８６…データテーブル、９０…画像入力部、９１…画像認識部、１００，１００Ａ…情報装置

Claims (6)

1. 動作調整値に基づいて動作を行う動作部と、
   周囲の環境情報を検出する環境認識部と、
   ユーザの感情情報を検出する感情認識部と、
   前記環境認識部で検出した前記環境情報と、前記感情認識部で検出した前記感情情報とに基づいて、前記動作調整値を設定する設定調整部と、
   を備え、
   前記環境認識部で検出した前記環境情報と、前記感情認識部で検出した前記感情情報と、前記設定調整部で設定した前記動作調整値とを関連付けて記憶する記憶部を更に備え、
   前記設定調整部は、起動時に、前記環境認識部で検出した前記環境情報と前記感情認識部で検出した前記感情情報とに基づいて、前記記憶部から前記動作調整値を取得して設定する
   情報装置。
2. 前記設定調整部は、起動後に所定のタイミングで、設定された前記動作調整値を変化させ、前記感情認識部で検出した前記感情情報の変化を検出する、請求項１に記載の情報装置。
3. 前記感情情報は、ユーザの感情の度合いを含み、
   前記設定調整部は、前記環境認識部で検出した前記感情の度合いが前回の設定時に検出した前記感情の度合いに比べて向上した場合に、今回の設定で得られる前記動作調整値を設定値とし、前記設定値とした前記動作調整値を前記感情情報と関連付けて第１設定履歴として前記記憶部に記憶する、請求項２に記載の情報装置。
4. 前記感情情報は、ユーザの感情の度合いを含み、
   前記設定調整部は、前記環境認識部で検出した前記感情の度合いが前回の調整時に検出した前記感情の度合いに比べて低下した場合には、前記動作調整値を前記感情情報と関連付けて第２設定履歴として前記記憶部に記憶するとともに、前回の前記動作調整値を設定値とする、請求項２または３に記載の情報装置。
5. 動作調整値に基づいて動作部の動作を行うことと、
   周囲の環境情報を検出することと、
   ユーザの感情情報を検出することと、
   検出した前記環境情報と前記感情情報とに基づいて、前記動作調整値を設定することと
   を含み、
   検出された前記環境情報と、検出された前記感情情報と、設定された前記動作調整値とを関連付けて記憶部に記憶することを更に含み、
   前記動作調整値を設定する場合、起動時に、検出された前記環境情報と検出された前記感情情報とに基づいて、前記記憶部から前記動作調整値を取得して設定する
   自動設定方法。
6. 動作調整値に基づいて動作部の動作を行う処理と、
   周囲の環境情報を検出する処理と、
   ユーザの感情情報を検出する処理と、
   検出した前記環境情報と前記感情情報とに基づいて、前記動作調整値を設定する処理と
   をコンピュータに実行させ、
   検出された前記環境情報と、検出された前記感情情報と、設定された前記動作調整値とを関連付けて記憶部に記憶する処理を更にコンピュータに実行させ、
   前記動作調整値を設定する処理では、起動時に、検出された前記環境情報と検出された前記感情情報とに基づいて、前記記憶部から前記動作調整値を取得して設定する
   自動設定プログラム。

Images