JP6212525B2 - ネットワークシステム、機器、およびサーバ - Google Patents

Description

本発明は、メッセージを出力するためのネットワークシステム、機器、およびサーバに関する。

従来から、ユーザに対してメッセージを出力する家電が知られている。たとえば、特開２０１４−９８９６２号公報（特許文献１）には、行動制御装置、行動制御方法、および制御プログラムが開示されている。特開２０１４−９８９６２号公報（特許文献１）によると、エージェントサーバは、ユーザに対して設定された対ユーザ感情情報と、掃除ロボットの属性を示すものとしてユーザと独立に設定され、更新の対象となる気分情報とに基づいて、対ユーザ感情情報および気分情報に応じた行動を決定する行動決定部と、該行動を実行する出力情報作成部とを備えている。

特開２０１４−９８９６２号公報

従来よりも適切なメッセージを出力するための技術が求められている。そこで、本発明の目的は、従来よりもさらに適切なメッセージをユーザに対して出力することができるネットワークシステム、機器、およびサーバを提供することにある。

この発明のある態様に従うと、スピーカとマイクとを含む機器と、前記機器に関する操作情報に基づいて前記機器の気分を判断し、前記機器で取得された音声に基づいてユーザの気分を判断し、少なくとも前記機器の気分と前記ユーザの気分とに基づいて、前記機器が発する音声を決定するサーバとを備える、ネットワークシステムが提供される。

好ましくは、前記サーバは、前記機器で取得された音声に含まれるユーザの口調に基づいて前記ユーザの気分を判断する。

好ましくは、前記サーバは、前記ユーザの前記機器に関する経験にも基づいて、前記機器が発する音声を決定する。

好ましくは、前記サーバは、前記機器が動作命令を実行中であるか否かにも基づいて、前記機器が発する音声を決定する。

好ましくは、前記サーバは、前記機器の利用頻度にも基づいて、前記機器が発する音声を決定する。

好ましくは、前記サーバは、前記機器に関する最新の操作情報と、前記機器に関する過去の操作情報と、から前記機器の気分を判断する。

この発明の別の局面に従うと、機器が提供される。機器は、スピーカと、マイクと、前記機器に関する操作情報に基づいて前記機器の気分を判断し、前記マイクを介して取得された音声に基づいてユーザの気分を判断し、少なくとも前記機器の気分と前記ユーザの気分とに基づいて、前記スピーカに音声を出力させるためのプロセッサとを備える。

この発明の別の局面に従うと、複数の機器と通信するための通信インターフェイスと、前記複数の機器の各々に関する操作情報に基づいて前記機器の気分を判断し、前記機器で取得された音声に基づいてユーザの気分を判断し、少なくとも前記機器の気分と前記ユーザの気分とに基づいて出力音声を決定し、前記通信インターフェイスを介して前記出力音声を前記機器に出力させるためのプロセッサとを備えるサーバとを備える。

以上のように、この発明によれば、従来よりも適切なメッセージを出力することができるネットワークシステム、機器、およびサーバが提供される。

第１の実施の形態にかかるネットワークシステム１の全体構成と４つの動作概要の例とを示すイメージ図である。 第１の実施の形態にかかる電気機器２００のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかるサーバ１００のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかるユーザ気分データベース１２１のデータ構造を示すイメージ図である。 第１の実施の形態にかかるユーザ経験データベース１２２のデータ構造を示すイメージ図である。 第１の実施の形態にかかる電気機器気分データベース１２３のデータ構造を示すイメージ図である。 第１の実施の形態にかかる電気機器２００の気分の決定方法を示すイメージ図である。 第１の実施の形態にかかる電気機器メッセージデータベース１２４のデータ構造を示すイメージ図である。 第１の実施の形態にかかる電気機器２００のユーザが電気機器２００の取り扱いに慣れていない場合の初心者用メッセージデータベース１２５のデータ構造を示すイメージ図である。 第１の実施の形態にかかる電気機器２００のユーザが電気機器２００の取り扱いに慣れている場合の経験者用メッセージデータベース１２６のデータ構造を示すイメージ図である。 第１の実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。 第２の実施の形態にかかる冷蔵庫のＪＯＢメッセージデータベース１２７１のデータ構造を示すイメージ図である。 第２の実施の形態にかかる電子レンジのＪＯＢメッセージデータベース１２７２のデータ構造を示すイメージ図である。 第２の実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。 第３の実施の形態にかかる利用頻度データベース１２８のデータ構造を示すイメージ図である。 第３の実施の形態にかかる高頻度用メッセージデータベース１２９のデータ構造を示すイメージ図である。 第５の実施の形態にかかる電気機器２００の気分の決定方法を示すイメージ図である。 第６の実施の形態にかかるユーザの気分と家電の気分とポイントとの対応関係を示すイメージ図である。 第８の実施の形態にかかる電気機器２００と４つの動作概要の例とを示すイメージ図である。 第８の実施の形態にかかる電気機器２００の情報処理を示すフローチャートである。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜ネットワークシステムの全体構成＞

まず、図１を参照して、本実施の形態にかかるネットワークシステム１の全体構成について説明する。なお、図１は、本実施の形態にかかるネットワークシステム１の全体構成と４つの動作概要の例とを示すイメージ図である。

図１を参照して、本実施の形態にかかるネットワークシステム１は、主に、電気機器２００の音声制御をするためのサービスを提供するためのサーバ１００と、電気機器２００としての冷蔵庫と、それらの装置間の通信を実現するためのインターネットなどのネットワークとを含む。

なお、以下では、電気機器２００としての冷蔵庫について説明を行うが、電気機器２００は、冷蔵庫の限らず、電子レンジ・空気清浄機・エアコン・洗濯機・自走式掃除機・照明機器などの家電、テレビ、ハードディスクレコーダ、音楽プレーヤーなどのＡＶ（オーディオ・ビジュアル）機器、太陽光発電気、インターホン、給湯器、カメラ、照明器具などの住宅設備、などであってもよい。

サーバ１００は、インターネットなどのネットワークを介して冷蔵庫などの電気機器２００と接続される。たとえば、サーバ１００は、インターネットを介して電気機器が受け付けた音声データを受信して、当該音声データに対する返答用の音声データを電気機器へ送信する。また、たとえば、サーバ１００は、図示しないスマートフォンやパーソナルコンピュータなどの通信端末からの命令を受け付けて、インターネットを介して電気機器２００を制御したり、逆に電気機器２００からデータを取得して通信端末に電気機器２００に関する情報を提供したりしてもよい。

電気機器２００は、ユーザの自宅やオフィスなどに配置される。電気機器２００は、上記のとおり、コントローラ、優先／無線ルータおよびインターネットなどを介してサーバ１００とデータをやり取りする。
＜ネットワークシステムの動作概要＞

次に、図１を参照しながら、本実施の形態にかかるネットワークシステム１の動作概要について説明する。

まず、本実施の形態においては、サーバ１００は、電気機器２００がそれまでに受け付けた操作命令の履歴情報や実行した動作の履歴情報を蓄積している。

そして、電気機器２００は、ユーザから受け付けた音声のデータをサーバ１００に送信する。

サーバ１００は、蓄積されている電気機器２００がそれまでに受け付けた命令や実行した動作の履歴に基づいて電気機器２００の気分を決定する。たとえば、適度に電気機器２００が利用されている場合には電気機器２００は気分が良いと判断され、電気機器２００があまり利用されていない場合や誤った使用が多い場合などには電気機器２００は気分が悪いと判断される。

また、サーバ１００は、ユーザからの音声データに基づいてユーザの気分を決定する。たとえば、優しい音声を受け付けた場合にはユーザの気分が良いと判断され、ぶっきらぼうな音声を受け付けた場合にはユーザの気分が悪いと判断される。なお、サーバ１００は、語尾や語頭を含むメッセージの内容や、メッセージの抑揚などに基づいて、ユーザの気分を判断する。つまり、本実施の形態においては、サーバ１００は、ユーザの口調に基づいてユーザの気分を判断する。

そして、サーバ１００は、電気機器２００の気分とユーザの気分とに基づいて、ユーザのメッセージに対する応答メッセージを作成する。電気機器２００は、サーバ１００からのデータに基づいて、ユーザに応答メッセージを出力する。

具体的には、図１（ａ）に示すように、ユーザが、「食品登録お願いね。」と優しいメッセージの音声を入力すると、電気機器２００は当該音声データをサーバ１００に送信する。サーバ１００は、音声データに基づいてユーザの気分がよいと判断し、優しいメッセージに対応する親しみやすいメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「今日は何かな？」というメッセージを出力する。なお、電気機器２００の気分が悪い場合は、「はいはい。」というメッセージを出力する。

また、図１（ｂ）に示すように、ユーザが、「卵入れたよ。」と優しいメッセージの音声を入力すると、電気機器２００は当該音声データをサーバ１００に送信する。サーバ１００は、音声データに基づいてユーザの気分がよいと判断し、優しいメッセージに対応する親しみやすいメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「オッケー！」というメッセージを出力する。なお、電気機器２００の気分が悪い場合は、「はいはい。」というメッセージを出力する。

なお、電気機器２００が冷蔵庫の場合は、電気機器２００の気分がよく、ユーザの気分もよい場合は、今日の天気や、占い結果などを出力してもよい。あるいは、電気機器２００が電子レンジの場合は、電気機器２００の気分がよく、ユーザの気分もよい場合は、季節に応じたおすすめ料理や調理方法などを出力してもよい。

一方、図１（ｃ）に示すように、ユーザが、「食品登録」とぶっきらぼうなメッセージの音声を入力すると、電気機器２００は当該音声データをサーバ１００に送信する。サーバ１００は、音声データに基づいてユーザの気分が悪いと判断し、ぶっきらぼうなメッセージに対応する通常の敬語のメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「解りました。」という他人行儀なメッセージを出力する。

また、図１（ｄ）に示すように、ユーザが、「卵覚えろ」とぶっきらぼうなメッセージの音声を入力すると、電気機器２００は当該音声データをサーバ１００に送信する。サーバ１００は、音声データに基づいてユーザの気分が悪いと判断し、ぶっきらぼうなメッセージに対応する通常の敬語のメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「解りました。」という他人行儀なメッセージを出力する。

このように、本実施の形態にかかるネットワークシステム１では、優しいメッセージを入力すると親しみ易い返答が出力され、ぶっきらぼうなメッセージを入力すると他人行儀な返答が出力される。より詳細には、ユーザの気分が良いと判断される場合は、電気機器２００の気分に応じた複数種類の様々な親しみ易いメッセージが電気機器２００から出力され、ユーザが電気機器２００との会話を楽しめる可能性が高まる。一方、ユーザの気分が悪いと判断される場合は、電気機器２００の気分に関わらず少ない種類の通常メッセージが電気機器２００から出力され、ユーザが気分を害する可能性を低減することができる。つまり、本実施の形態にかかるネットワークシステムは、従来よりも適切なメッセージをユーザに対して出力することができるものである。

以下では、このような機能を実現するためのネットワークシステム１について詳細に説明する。
＜電気機器２００のハードウェア構成＞

まず先に、電気機器２００のハードウェア構成の一態様について説明する。図２は、本実施の形態にかかる電気機器２００のハードウェア構成を表わすブロック図である。

図２を参照して、電気機器２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、各種ライト２３０と、各種スイッチ２４０と、通信インターフェイス２６０と、機器駆動部２７０と、マイク２８０と、スピーカ２９０とを含む。

プロセッサ２１０は、メモリ２２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、電気機器２００の各部を制御する。すなわち、プロセッサ２１０は、メモリ２２０に格納されているプログラムを実行することによって、後述する各種の処理を実現する。

メモリ２２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read-Only Memory）、フラッシュメモリーなどによって実現される。なお、メモリ２２０は、インターフェイスを介して利用される、ＵＳＢ（Universal Serial Bus）（登録商標）メモリ、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ハードディスク、ＩＣ（Integrated Circuit）カード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）などの記憶媒体などによっても実現される。

メモリ２２０は、プロセッサ２１０によって実行されるプログラムや、プロセッサ１１０によるプログラムの実行により生成されたデータ、スイッチ２４０から入力されたデータ、サーバ１００から受信したデータ、などを記憶する。メモリ２２０は、複数種類の音声データを蓄積していてもよい。そして、プロセッサ２１０が、サーバ１００からの指定命令に対応する音声データに基づいて、指定された音声をスピーカ２９０から出力するものであってもよい。

ライト２３０は、プロセッサ２１０からの信号によって点灯・点滅・消灯することによって、電気機器２００の各種の状態を外部に伝える。

スイッチ２４０は、ユーザからの命令を受け付けて、当該命令をプロセッサ２１０に入力する。

通信インターフェイス２６０は、プロセッサ２１０からのデータ、たとえば、受け付けた音声のデータ、電気機器２００の状態、電気機器２００がユーザからリモコンを介して受け付けた命令など、をインターネット、無線付きアダプタ、ルータなどを介してサーバ１００に送信する。通信インターフェイス２６０は、インターネット、無線付きアダプタ、ルータなどを介してサーバ１００からのデータ、たとえば、電気機器２００にて出力すべき音声のデータ、スマートフォンなどの通信端末からの制御命令などを受信してプロセッサ２１０に受け渡す。

機器駆動部２７０は、プロセッサ２１０からの制御命令に基づいて、モータ、アクチュエータ、センサ、スピーカなどを制御することによって、電気機器２００の主要な役割を果たす。

マイク２８０は、外部から入力された音声を、音声信号に変更して、プロセッサ２１０に入力する。

スピーカ２９０は、プロセッサ２１０からの音声信号に基づいて、外部に向けて音声を出力する。
＜サーバ１００のハードウェア構成＞

次に、ネットワークシステム１を構成するサーバ１００のハードウェア構成の一態様について説明する。なお、図３は、本実施の形態にかかるサーバ１００のハードウェア構成を表わすブロック図である。

図１０を参照して、サーバ１００は、主たる構成要素として、プロセッサ１１０と、メモリ１２０と、通信インターフェイス１６０とを含む。

プロセッサ１１０は、メモリ１２０あるいは外部の記憶媒体に記憶されているプログラムを実行することによって、サーバ１００の各部を制御する。すなわち、プロセッサ１１０は、メモリ１２０に格納されているプログラムを実行することによって、後述する各種の処理を実現する。

メモリ１２０は、各種のＲＡＭ、各種のＲＯＭ、フラッシュメモリーなどによって実現される。メモリ１２０は、プロセッサ１１０によって実行されるプログラムや、プロセッサ１１０によるプログラムの実行により生成されたデータ、スイッチやキーボードから入力されたデータ、電気機器２００から受信したデータ、ユーザ気分データベース１２１、ユーザ経験データベース１２２、電気機器気分データベース１２３、電気機器メッセージデータベース１２４、初心者用メッセージデータベース１２５、経験者用メッセージデータベース１２６、電気機器２００毎の過去に受け付けた操作命令の履歴や電気機器２００毎の過去の動作履歴などを記憶する。

図４は、本実施の形態にかかるユーザ気分データベース１２１のデータ構造を示すイメージ図である。図４を参照して、ユーザ気分データベース１２１は、ユーザの気分毎に、当該気分を表すキーワードを格納する。これによって、プロセッサ１１０は、ユーザ気分データベース１２１を参照することによって、入力されたユーザ音声に含まれるキーワードからユーザの気分を判断することが可能になる。

なお、本実施の形態においては、ユーザの気分毎に、複数のメッセージが登録されている。しかしながら、ユーザの気分毎に、メッセージの語頭や語尾が登録されていてもよいし、メッセージの抑揚やメッセージのリズムが登録されていてもよい。

図５は、本実施の形態にかかるユーザ経験データベース１２２のデータ構造を示すイメージ図である。図５を参照して、ユーザ経験データベース１２２は、ユーザが電気機器２００の操作に慣れているかいないか毎に、あるいは初心者であるか経験者であるか毎に、当該判断の基準、すなわち条件を示すデータを格納する。これによって、プロセッサ１１０は、ユーザ経験データベース１２２を参照することによって、ユーザの電気機器２００に対する過去の操作に基づいて、ユーザが電気機器２００の操作に慣れているか否かを判断することができる。

図６は、本実施の形態にかかる電気機器気分データベース１２３のデータ構造を示すイメージ図である。図６を参照して、電気機器気分データベース１２３は、電気機器２００の気分を判定するための要因毎に、判定条件と、当該判定条件が満たされた場合のポイントと、を格納する。これによって、プロセッサ１１０は、判定条件が満たされた要因のポイントを足し合わせることにより、電気機器２００の気分を決定することができる。

より詳細には、本実施の形態においては、以下のようにして電気機器２００の気分を決定する。なお、図７は、本実施の形態にかかる電気機器２００の気分の決定方法を示すイメージ図である。

図６と図７を参照して、サーバ１００のプロセッサ１１０は、電気機器２００に対する過去の操作情報や電気機器２００の過去の動作履歴に基づいて、電気機器気分データベース１２３の要因毎に、判定条件が満たされるか否かを判断する。そして、プロセッサ１１０は、判定条件が満たされた要因のポイントに、所定の重みづけａ，ｂ，ｃを付して、それらを足し合わせる。

そして、プロセッサ１１０は、合計がプラスである場合は、電気機器２００は気分が「良い」と判断する。プロセッサ１１０は、合計がゼロである場合は、電気機器２００は気分が「普通」と判断する。プロセッサ１１０は、合計がマイナスである場合は、電気機器２００は気分が「悪い」ものと判断する。ただし、後述するように、電気機器２００の気分の判断には他の手法を用いてもよい。

図８は、本実施の形態にかかる電気機器メッセージデータベース１２４のデータ構造を示すイメージ図である。図８を参照して、電気機器メッセージデータベース１２４は、電気機器２００の気分毎に、出力されるメッセージの特徴を格納する。これによって、プロセッサ１１０は、電気機器２００の気分に合わせて、適切なメッセージを電気機器２００から出力させることができるようになる。

図９は、本実施の形態にかかる電気機器２００のユーザが電気機器２００の取り扱いに慣れていない場合の初心者用メッセージデータベース１２５のデータ構造を示すイメージ図である。図９を参照して、初心者用メッセージデータベース１２５は、電気機器２００の気分およびユーザの気分毎に、出力されるべきメッセージを格納する。これによって、プロセッサ１１０は、電気機器２００の気分とユーザの気分とに合わせて、適切なメッセージを電気機器２００に送信することができるようになる。本実施の形態においては、電気機器２００の取り扱いに慣れていないユーザに対しては、家電の気分に関わらずに出力メッセージを決定する。これによって、慣れていないユーザが多様なメッセージによって混乱する可能性を低減することができる。

図１０は、本実施の形態にかかる電気機器２００のユーザが電気機器２００の取り扱いに慣れている場合の経験者用メッセージデータベース１２６のデータ構造を示すイメージ図である。図１０を参照して、経験者用メッセージデータベース１２６は、電気機器２００の気分およびユーザの気分毎に、出力されるメッセージを格納する。これによって、プロセッサ１１０は、電気機器２００の気分と、ユーザの気分とに合わせて、適切なメッセージを電気機器２００から出力させることができるようになる。本実施の形態においては、電気機器２００の取り扱いに慣れているユーザに対しては、家電の気分に応じて多くの種類の出力メッセージを決定する。これによって、電気機器２００の取り扱いに慣れているユーザが、電気機器２００が出力するメッセージに飽きてしまう可能性を低減することができる。

図３に戻って、通信インターフェイス１６０は、プロセッサ１１０からのデータ、たとえば電気機器２００にて出力されるべき音声のデータや他の制御命令など、をインターネット、キャリア網、無線付きアダプタ、ルータなどを介して通信端末３００および電気機器２００に送信する。通信インターフェイス１６０は、インターネット、キャリア網、無線付きアダプタ、ルータなどを介して通信端末および電気機器２００からのデータ、たとえば電気機器２００に入力されたユーザの音声のデータや電気機器２００の状態を示す情報など、を受信してプロセッサ１１０に受け渡す。
＜サーバ１００のプロセッサ１１０の動作概要＞

次に、図１１を参照しながら、本実施の形態にかかるサーバ１００の情報処理について説明する。なお、図１１は、本実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。

本実施の形態にかかるネットワークシステム１では、電気機器２００毎に、過去の操作履歴が、サーバ１００のメモリ１２０またはアクセス可能な他のデータベースに蓄積されている。

まず、電気機器２００のプロセッサ２１０が、マイク２８０を介して受け付けた音声を、通信インターフェイス２６０を介してサーバ１００に送信する。そして、サーバ１００が電気機器２００から音声データを受信した際に、プロセッサ１１０が以下の処理を実行する。

サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、電気機器２００から音声データを受け付ける（ステップＳ１０２）。

プロセッサ１１０は、図６および図７に示したように、電気機器気分データベース１２３を参照しながら、過去の電気機器２００の動作に基づいて、電気機器２００の気分を決定する（ステップＳ１０４）。

プロセッサ１１０は、過去の電気機器２００の動作に基づいて、ユーザ経験データベース１２２を参照して、電気機器２００のユーザの習熟度も決定する（ステップＳ１０８）。

プロセッサ１１０は、ユーザ気分データベース１２１を参照しながら、受信した音声データに基づいて、電気機器２００のユーザの現在の気分を判断する（ステップＳ１１０）。

プロセッサ１１０は、電気機器２００のユーザの習熟度と、電気機器２００の気分とユーザの気分とに基づいて、初心者用メッセージデータベース１２５または経験者用メッセージデータベース１２６を参照して、電気機器２００が出力すべき音声メッセージを作成する（ステップＳ１１２）。

そして、プロセッサ１１０は、通信インターフェイス１６０を介して、電気機器２００に音声メッセージのデータを送信する（ステップＳ１１４）。

これによって、電気機器２００では、プロセッサ２１０が、通信インターフェイス２６０を介してサーバ１００から音声メッセージのデータを受信する。プロセッサ２１０は、受信したデータに基づいて、スピーカ２９０にメッセージを出力させる。

以上のように、本実施の形態においては、ユーザの気分が良い場合、電気機器２００の気分が良い場合、ユーザの経験が豊富である場合には、電気機器２００は相対的に親しみ易い様々なメッセージを出力する。逆に、ユーザの気分が悪い場合、電気機器２００の気分が悪い場合、ユーザの経験が浅いである場合には、電気機器２００は通常の敬語のメッセージやぶっきらぼうなメッセージを出力する。その結果、従来よりも適切なメッセージが電気機器２００から出力されるようになる。
＜第２の実施の形態＞

第１の実施の形態においては、ユーザの気分と家電の気分とユーザの習熟度とに基づいて電気機器２００からの出力音声が決定されるものであった。しかしながら、本実施の形態のように、電気機器２００が別の動作を実行中であるか否かに応じても、電気機器２００からの出力音声を変えるものであってもよい。

なお、以下では、本実施の形態にかかるネットワークシステム１の全体構成や、各装置のハードウェア構成については、第１の実施の形態にかかるそれらと同様であるため説明を繰り返さない。そして以下では、第１の実施の形態と大きく異なる部分について説明する。

サーバ１００のメモリ１２０は、電気機器２００としての冷蔵庫に関して、図１２に示すようなＪＯＢメッセージデータベース１２７１を記憶する。冷蔵庫用のＪＯＢメッセージデータベース１２７１は、食品登録処理あるいは買い物メモ登録処理を実行中であるか否かと、ユーザの習熟度毎と、に応じて出力すべきメッセージを格納する。これによって、プロセッサ１１０は、ユーザの気分と家電の気分とユーザの習熟度とに加えて、電気機器２００が何らかの動作を実行中であるか否かに応じても、出力メッセージを変化させることできるため、ユーザに飽きさせない、より状況に応じたメッセージを出力することが可能になる。

あるいは、サーバ１００のメモリ１２０は、電気機器２００としての電子レンジに関して、図１３に示すようなＪＯＢメッセージデータベース１２７２を記憶してもよい。電子レンジ用のＪＯＢメッセージデータベース１２７２の場合は、メニュー検索処理あるいは調理設定処理を実行中であるか否かと、ユーザの習熟度毎と、に応じて出力すべきメッセージを格納する。
＜サーバ１００のプロセッサ１１０の動作概要＞

次に、本実施の形態にかかるサーバ１００の情報処理について説明する。なお、図１４は、本実施の形態にかかるサーバ１００の情報処理を示すフローチャートである。

本実施の形態にかかるネットワークシステム１に関しても、電気機器２００毎に、過去の操作履歴が、サーバ１００のメモリ１２０またはアクセス可能な他のデータベースに蓄積されている。

まず、電気機器２００のプロセッサ２１０が、マイク２８０を介して受け付けた音声を、通信インターフェイス２６０を介してサーバ１００に送信する。このとき、本実施の形態においては、電気機器２００のプロセッサ２１０は、電気機器２００が動作を実行中の場合には、実行中の動作を示す情報もサーバ１００に送信する。そして、サーバ１００が電気機器２００から音声データと実行中の動作の情報を受信した際に、プロセッサ１１０が以下の処理を実行する。

サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、電気機器２００から音声データを受け付ける（ステップＳ２０２）。

プロセッサ１１０は、図６および図７に示したように、電気機器気分データベース１２３を参照しながら、過去の電気機器２００の動作に基づいて、電気機器２００の気分を決定する（ステップＳ２０４）。

プロセッサ１１０は、対象となる電気機器２００が何らかの動作を実行中であるか否かを判断する（ステップＳ２０６）。

プロセッサ１１０は、過去の電気機器２００の動作に基づいて、ユーザ経験データベース１２２を参照して、電気機器２００のユーザの習熟度も決定する（ステップＳ２０８）。

プロセッサ１１０は、ユーザ気分データベース１２１を参照しながら、受信した音声データに基づいて、電気機器２００のユーザの現在の気分を判断する（ステップＳ２１０）。

プロセッサ１１０は、電気機器２００がＪＯＢを実行中であるか否かと、電気機器２００のユーザの習熟度と、電気機器２００の気分とユーザの気分とに基づいて、ＪＯＢメッセージデータベース１２７や他のメッセージデータベース１２５・１２６を参照して、電気機器２００が出力すべき音声メッセージを作成する（ステップＳ２１２）。

そして、プロセッサ１１０は、通信インターフェイス１６０を介して、電気機器２００に音声メッセージのデータを送信する（ステップＳ２１４）。

これによって、電気機器２００では、プロセッサ２１０が、通信インターフェイス２６０を介してサーバ１００から音声メッセージのデータを受信する。プロセッサ２１０は、受信したデータに基づいて、スピーカ２９０にメッセージを出力させる。
＜第３の実施の形態＞

第１および第２の実施の形態においては、ユーザの気分と家電の気分とユーザの習熟度と何らかの別の動作を実行中であるか否かとに基づいて電気機器２００からの出力音声が決定されるものであった。しかしながら、本実施の形態のように、電気機器２００の利用頻度に応じても、電気機器２００からの出力音声を変えるものであってもよい。

なお、以下では、本実施の形態にかかるネットワークシステム１の全体構成や、各装置のハードウェア構成については、第１の実施の形態にかかるそれらと同様であるため説明を繰り返さない。そして以下では、第１の実施の形態と大きく異なる部分について説明する。

サーバ１００のメモリ１２０は、電気機器２００としての冷蔵庫に関して、図１５に示すような利用頻度データベース１２８を記憶する。利用頻度データベース１２８は、利用頻度が多いか否かを判断するための条件を格納する。これによって、プロセッサ１１０は、ユーザの気分と家電の気分とユーザの習熟度とＪＯＢ実行中であるか否かとに加えて、電気機器２００の利用頻度に応じても、出力メッセージを変化させることできるため、ユーザに飽きさせない、より状況に応じたメッセージを出力することが可能になる。

そして、本実施の形態においては、メモリ１２０は、初心者用メッセージデータベース１２５と経験者用メッセージデータベース１２６とに加えて、高頻度用メッセージデータベース１２９を格納する。

プロセッサ１１０は、図１４のステップＳ２１２において、電気機器２００がＪＯＢを実行中であるか否かと、電気機器２００のユーザの習熟度と、電気機器２００の気分とユーザの気分と、電気機器２００の利用頻度とに基づいて、メッセージデータベース１２５・１２６・１２７１・１２７２・１２８を参照して、電気機器２００が出力すべき音声メッセージを作成する。

本実施の形態においては、電気機器２００の利用頻度に基づいて、電気機器２００からの出力メッセージを決定するものであるが、電気機器２００とユーザとの会話の頻度に基づいて出力メッセージを決定するものであってもよい。

なお、電気機器２００の利用頻度や会話頻度は、電気機器２００の気分を決定するためのサブの要因であってもよいし、電気機器２００の気分と同等のレベルの判断要因であってもよい。
＜第４の実施の形態＞

第１から第３の実施の形態においては、図６および図７に示すように、サーバ１００のプロセッサ１１０は、合計がプラスである場合に電気機器２００は気分が「良い」と判断し、合計がゼロである場合に電気機器２００は気分が「普通」と判断し、合計がマイナスである場合に電気機器２００は気分が「悪い」ものと判断するものであった。

しかしながら、本実施の形態においては、プロセッサ１１０は、合計が第１の所定のポイント、たとえば３ポイント以上である場合は、電気機器２００は気分が「良い」と判断する。プロセッサ１１０は、合計が第１の所定のポイントよりも小さく、第２の所定のポイント、たとえばマイナス３ポイントよりも大きい場合は、電気機器２００は気分が「普通」と判断する。プロセッサ１１０は、合計が第２の所定のポイント以下である場合は、電気機器２００は気分が「悪い」ものと判断する。
＜第５の実施の形態＞
あるいは、以下の方法に基づいて、サーバ１００のプロセッサ１１０は、電気機器２００の気分を判断してもよい。なお、図１７は、本実施の形態にかかる電気機器２００の気分の決定方法を示すイメージ図である。

図６と図１７とを参照して、サーバ１００のプロセッサ１１０は、電気機器２００に対する過去の操作情報や電気機器２００の過去の動作履歴に基づいて、電気機器気分データベース１２３の要因毎に、判定条件が満たされるか否かを判断する。そして、プロセッサ１１０は、判定条件が満たされた要件のポイントに、所定の重みづけａ，ｂ，ｃを付して、それらを足し合わせて合計ポイントを計算する。

ここで、本実施の形態においては、プロセッサ１１０が、メモリ１２０に、過去の所定の期間、たとえば直近７２時間における電気機器２００の合計ポイントの履歴を格納している。プロセッサ１１０は、過去の所定の期間、たとえば直近７２時間における電気機器２００の合計ポイントの平均値を計算する。

プロセッサ１１０は、今回計算した結果である合計ポイントが、平均値よりも大きい場合は、電気機器２００は気分が「良い」と判断する。プロセッサ１１０は、合計ポイントが平均値と同じである場合は、電気機器２００は気分が「普通」と判断する。プロセッサ１１０は、合計ポイントが平均値よりも小さい場合は、電気機器２００は気分が「悪い」ものと判断する。

あるいは、プロセッサ１１０は、今回計算した結果である合計ポイントが、平均値よりも所定のポイント、たとえば３ポイント以上大きい場合は、電気機器２００は気分が「良い」と判断する。プロセッサ１１０は、合計ポイントが平均値よりも所定のポイント、たとえば３ポイント以上小さい場合は、電気機器２００は気分が「悪い」と判断する。プロセッサ１１０は、それ以外の場合、たとえば合計ポイントが平均値から所定の範囲内である場合、電気機器２００は気分が「普通」と判断する。
＜第６の実施の形態＞

第１〜第５の実施の形態においては、サーバ１００のプロセッサ１１０は、メッセージデータベース１２５・１２６・１２７１・１２７２・１２８などに基づいて、電気機器２００からの出力メッセージを作成するものであった。しかしながら、メモリ１２０は、電気機器２００で入力メッセージ毎に、出力メッセージの複数の候補とそれらのポイントとの対応関係を格納してもよい。

そして、図１８に示すように、プロセッサ１１０が、ユーザの気分と、家電の気分と、に基づいたポイントを計算し、当該ポイントに対応する出力メッセージを電気機器２００に送信するものであってもよい。

あるいは、メモリ１２０が、入力メッセージ毎に、出力メッセージの複数の候補と後述する合計ポイントとの対応関係と、ユーザの気分とポイントとの対応関係と、家電の気分とポイントとの対応関係と、ユーザの習熟度とポイントとの対応関係と、ＪＯＢ実行中であるか否かとポイントとの対応関係と、電気機器２００の利用頻度とポイントとの対応関係と、を格納してもよい。そして、プロセッサ１１０が、ユーザの気分に応じたポイントと、家電の気分に応じたポイントと、ユーザの習熟度に応じたポイントと、ＪＯＢ実行中であるか否かに応じたポイントと、電気機器２００の利用頻度に応じたポイントと、の合計ポイントを計算し、当該合計ポイントに対応する出力メッセージを電気機器２００に送信するものであってもよい。
＜第７の実施の形態＞

第１〜第６の実施の形態においては、サーバ１００のプロセッサ１１０が、通信インターフェイス１６０を介して、電気機器２００に音声データを送信し、電気機器２００が音声データを出力するものであった。しかしながら、予め、電気機器２００のメモリ２２０が、複数種類の音声データを格納してもよい。そして、サーバ１００のプロセッサ１１０は、通信インターフェイス１６０を介して、出力すべき音声データの種類を指定するデータを電気機器２００に送信する。電気機器２００のプロセッサ２１０は、指定された音声データをメモリ２２０から読みだして、スピーカ２９０に音声を出力させる。
＜第８の実施の形態＞

第１〜第７の実施の形態においては、サーバ１００が、電気機器２００に入力された音声に基づいて、電気機器２００で出力されるべき音声を決定・作成するものであった。しかしながら、電気機器２００自身が、入力された音声に基づいて音声を決定・作成・出力してもよい。すなわち、電気機器２００が、サーバ１００の役割の一部を有するものであってもよい。
＜電気機器２００の動作概要＞

図１９を参照して、本実施の形態にかかる電気機器２００の動作概要について説明する。なお、以下では、電気機器２００としての冷蔵庫について説明を行うが、電気機器２００は、冷蔵庫の限らず、空気清浄機・エアコン・電子レンジ・洗濯機・自走式掃除機・照明機器などの家電、テレビ、ハードディスクレコーダ、音楽プレーヤーなどのＡＶ（オーディオ・ビジュアル）機器、太陽光発電気、インターホン、給湯器、カメラ、照明器具などの住宅設備、などであってもよい。

まず、本実施の形態においては、電気機器２００は、それまでに受け付けた操作命令の履歴情報や実行した動作の履歴情報を蓄積している。

電気機器２００は、ユーザから音声の入力を受け付けると、蓄積されている電気機器２００がそれまでに受け付けた命令や実行した動作の履歴に基づいて電気機器２００の気分を決定する。たとえば、適度に電気機器２００が利用されている場合には電気機器２００は気分が良いと判断され、電気機器２００があまり利用されていない場合や誤った使用が多い場合などには電気機器２００は気分が悪いと判断される。

また、電気機器２００は、ユーザからの音声データに基づいてユーザの気分を決定する。たとえば、優しい音声を受け付けた場合にはユーザの気分が良いと判断され、ぶっきらぼうな音声を受け付けた場合にはユーザの気分が悪いと判断される。なお、電気機器２００は、語尾や語頭を含むメッセージの内容や、メッセージの抑揚などに基づいて、ユーザの気分を判断する。つまり、本実施の形態においては、電気機器２００は、ユーザの口調に基づいてユーザの気分を判断する。

そして、電気機器２００は、電気機器２００の気分とユーザの気分とに基づいて、ユーザのメッセージに対する応答メッセージを作成する。電気機器２００は、応答メッセージを出力する。

具体的には、図１（ａ）に示すように、ユーザが、「食品登録お願いね。」と優しいメッセージの音声を入力すると、電気機器２００は音声データに基づいてユーザの気分がよいと判断し、優しいメッセージに対応する親しみやすいメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「今日は何かな？」というメッセージを出力する。なお、電気機器２００の気分が悪い場合は、「はいはい。」というメッセージを出力する。

また、図１（ｂ）に示すように、ユーザが、「卵入れたよ。」と優しいメッセージの音声を入力すると、電気機器２００は音声データに基づいてユーザの気分がよいと判断し、優しいメッセージに対応する親しみやすいメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「オッケー！」というメッセージを出力する。なお、電気機器２００の気分が悪い場合は、「はいはい。」というメッセージを出力する。

なお、電気機器２００が冷蔵庫の場合は、電気機器２００の気分がよく、ユーザの気分もよい場合は、今日の天気や、占い結果などを出力してもよい。あるいは、電気機器２００が電子レンジの場合は、電気機器２００の気分がよく、ユーザの気分もよい場合は、季節に応じたおすすめ料理や調理方法などを出力してもよい。

一方、図１（ｃ）に示すように、ユーザが、「食品登録」とぶっきらぼうなメッセージの音声を入力すると、電気機器２００は音声データに基づいてユーザの気分が悪いと判断し、ぶっきらぼうなメッセージに対応する通常の敬語のメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「解りました。」という他人行儀なメッセージを出力する。

また、図１（ｄ）に示すように、ユーザが、「卵覚えろ」とぶっきらぼうなメッセージの音声を入力すると、電気機器２００は音声データに基づいてユーザの気分が悪いと判断し、ぶっきらぼうなメッセージに対応する通常の敬語のメッセージを電気機器２００に送信する。たとえば、電気機器２００は、「解りました。」という他人行儀なメッセージを出力する。

このように、本実施の形態にかかる電気機器２００は、優しいメッセージを入力すると親しみ易い返答が出力され、ぶっきらぼうなメッセージを入力すると他人行儀な返答が出力される。より詳細には、ユーザの気分が良いと判断される場合は、電気機器２００の気分に応じた複数種類の様々な親しみ易いメッセージが電気機器２００から出力され、ユーザが電気機器２００との会話を楽しめる可能性が高まる。一方、ユーザの気分が悪いと判断される場合は、電気機器２００の気分に関わらず少ない種類の通常メッセージが電気機器２００から出力され、ユーザがより気分を害する可能性を低減することができる。つまり、従来よりも適切なメッセージをユーザに対して出力することができるネットワークシステム、機器、およびサーバが提供される。

以下では、このような機能を実現するための電気機器２００について詳細に説明する。
＜電気機器２００のハードウェア構成＞

まず先に、電気機器２００のハードウェア構成の一態様について説明する。図２を参照して、電気機器２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、各種ライト２３０と、各種スイッチ２４０と、通信インターフェイス２６０と、機器駆動部２７０と、マイク２８０と、スピーカ２９０とを含む。なお、ハードウェア自体は、第１の実施の形態のそれらと同様であるためここでは説明を繰り返さない。

本実施の形態にかかるメモリ２２０は、プロセッサ２１０によって実行されるプログラムや、プロセッサ１１０によるプログラムの実行により生成されたデータ、スイッチ２４０から入力されたデータ、サーバ１００から受信したデータ、に加えて、ユーザ気分データベース１２１、ユーザ経験データベース１２２、電気機器気分データベース１２３、電気機器メッセージデータベース１２４、初心者用メッセージデータベース１２５、経験者用メッセージデータベース１２６、電気機器２００毎の過去に受け付けた操作命令の履歴や電気機器２００毎の過去の動作履歴などを記憶する。なお、それぞれのデータは、第１の実施の形態のそれらと同様であるためここでは説明を繰り返さない。

ライト２３０は、プロセッサ２１０からの信号によって点灯・点滅・消灯することによって、電気機器２００の各種の状態を外部に伝える。

スイッチ２４０は、ユーザからの命令を受け付けて、当該命令をプロセッサ２１０に入力する。

通信インターフェイス２６０は、プロセッサ２１０からのデータ、たとえば、機器の状態および機器がユーザからリモコンを介して受け付けた命令など、をインターネット、無線付きアダプタ、ルータなどを介してサーバ１００に送信する。通信インターフェイス２６０は、インターネット、無線付きアダプタ、ルータなどを介してサーバ１００からのデータ、たとえばスマートフォンなどの通信端末からの制御命令および閲覧命令を受信してプロセッサ２１０に受け渡す。

機器駆動部２７０は、プロセッサ２１０からの制御命令に基づいて、モータ、アクチュエータ、センサ、スピーカなどを制御することによって、電気機器２００の主要な役割を果たす。

マイク２８０は、外部から入力された音声を、音声信号に変更して、プロセッサ２１０に入力する。

スピーカ２９０は、プロセッサ２１０からの音声信号に基づいて、外部に向けて音声を出力する。
＜電気機器２００のプロセッサ２１０の動作概要＞

次に、図２０を参照しながら、本実施の形態にかかる電気機器２００の情報処理について説明する。なお、図２０は、本実施の形態にかかる電気機器２００の情報処理を示すフローチャートである。

まず、本実施の形態においては、電気機器２００の過去の操作命令履歴や動作履歴が、電気機器２００自身のメモリ２２０またはアクセス可能な他のデータベースに蓄積されている。

そして、電気機器２００のプロセッサ２１０が、マイク２８０を介して音声を受け付ける（ステップＳ８０２）。

プロセッサ２１０は、図６および図７に示したように、電気機器気分データベース１２３を参照しながら、過去の電気機器２００の動作に基づいて、電気機器２００の気分を決定する（ステップＳ８０４）。

プロセッサ２１０は、過去の電気機器２００の動作に基づいて、ユーザ経験データベース１２２を参照して、電気機器２００のユーザの習熟度も決定する（ステップＳ８０８）。

プロセッサ２１０は、ユーザ気分データベース１２１を参照しながら、入力された音声データに基づいて、電気機器２００のユーザの現在の気分を判断する（ステップＳ８１０）。

プロセッサ２１０は、電気機器２００のユーザの習熟度と、電気機器２００の気分とユーザの気分とに基づいて、初心者用メッセージデータベース１２５または経験者用メッセージデータベース１２６を参照して、電気機器２００が出力すべき音声メッセージを作成する（ステップＳ８１２）。

そして、プロセッサ２１０は、作成した音声データに基づいて、スピーカ２９０にメッセージを出力させる（ステップＳ８１４）。
＜第９の実施の形態＞

第１〜７の実施の形態においては、サーバ１００が、電気機器２００に入力された音声に基づいて、電気機器２００で出力されるべき音声を決定・作成するものであった。また、第８の実施の形態においては、電気機器２００自身が、入力された音声に基づいて音声を決定・作成・出力してもよい。

しかしながら、サーバ１００と電気機器２００との役割分担は、上記の実施の形態のものに限らず、一部をサーバ１００が担い、一部を電気機器２００が担ってもよい。そして、サーバ１００の役割に関しても、１つのサーバ１００が上記の役割を担ってもよいし、複数のサーバやデータベースが役割を分担して上記のサービスを提供するものであってもよい。
＜その他の応用例＞

本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
＜まとめ＞

以上、第１〜第７の実施の形態およびその応用例においては、スピーカ２９０とマイク２８０とを含む機器２００と、機器２００に関する操作情報に基づいて機器２００の気分を判断し、機器２００で取得された音声に基づいてユーザの気分を判断し、少なくとも機器２００の気分とユーザの気分とに基づいて、機器２００が発する音声を決定するサーバ１００とを備える、ネットワークシステム１が提供される。

特に、サーバ１００は、機器２００で取得された音声に含まれるユーザの口調に基づいてユーザの気分を判断することが好ましい。

特に、サーバ１００は、ユーザの機器２００に関する経験にも基づいて、機器が発する音声を決定することが好ましい。

特に、サーバ１００は、機器２００が動作命令を実行中であるか否かにも基づいて、機器が発する音声を決定することが好ましい。

特に、サーバ１００は、機器２００の利用頻度にも基づいて、機器２００が発する音声を決定することが好ましい。

特に、サーバ１００は、機器２００に関する最新の操作情報と、機器２００に関する過去の操作情報と、から機器２００の気分を判断することが好ましい。

また、第８および第９の実施の形態およびその応用例においては、機器２００が提供される。機器２００は、スピーカ２９０と、マイク２８０と、機器２００に関する操作情報に基づいて機器２００の気分を判断し、マイク２８０を介して取得された音声に基づいてユーザの気分を判断し、少なくとも機器２００の気分とユーザの気分とに基づいて、スピーカ２９０に音声を出力させるためのプロセッサ２１０とを備える。

また、第１〜第７の実施の形態およびその応用例においては、複数の機器２００と通信するための通信インターフェイス１６０と、複数の機器２００の各々に関する操作情報に基づいて機器２００の気分を判断し、機器２００で取得された音声に基づいてユーザの気分を判断し、少なくとも機器２００の気分とユーザの気分とに基づいて出力音声を決定し、通信インターフェイス１６０を介して出力音声を機器２００に出力させるためのプロセッサ１１０とを備えるサーバ１００とを備える。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ ：ネットワークシステム
１００ ：サーバ
１１０ ：プロセッサ
１２０ ：メモリ
１２１ ：ユーザ気分データベース
１２２ ：ユーザ経験データベース
１２３ ：電気機器気分データベース
１２４ ：電気機器メッセージデータベース
１２５ ：初心者用メッセージデータベース
１２６ ：経験者用メッセージデータベース
１２７１ ：ＪＯＢメッセージデータベース
１２７２ ：ＪＯＢメッセージデータベース
１２８ ：利用頻度データベース
１２９ ：高頻度用メッセージデータベース
１６０ ：通信インターフェイス
２００ ：電気機器
２１０ ：プロセッサ
２２０ ：メモリ
２３０ ：ライト
２４０ ：スイッチ
２６０ ：通信インターフェイス
２７０ ：機器駆動部
２８０ ：マイク
２９０ ：スピーカ
３００ ：通信端末

Claims (8)

1. スピーカとマイクとを含む機器と、
   前記機器に対する過去のユーザのアクションに関する要因に対する現在のユーザのアクションに関する要因の相対的な関係に基づいて前記機器の気分としての第１の情報を特定し、前記機器で取得された音声に基づいてユーザの気分を特定し、少なくとも前記第１の情報と前記ユーザの気分とに基づいて、前記機器が発する音声を決定するサーバとを備える、ネットワークシステム。
2. 前記サーバは、前記機器で取得された音声に含まれるユーザの口調に基づいて前記ユーザの気分を判断する、請求項１に記載のネットワークシステム。
3. 前記サーバは、前記ユーザの前記機器に関する経験にも基づいて、前記機器が発する音声を決定する、請求項１または２に記載のネットワークシステム。
4. 前記サーバは、前記機器が動作命令を実行中であるか否かにも基づいて、前記機器が発する音声を決定する、請求項１または２のいずれか１項に記載のネットワークシステム。
5. 前記サーバは、
   前記機器が動作命令を実行中である場合に、前記ユーザが前記機器を利用した経験が多いか少ないかに基づいて、前記機器が発する音声を決定し、
   前記機器が動作命令を実行中でない場合に、前記第１の情報と前記ユーザの気分とに基づいて、前記機器が発する音声を決定する、請求項４に記載のネットワークシステム。
6. 前記サーバは、前記機器の利用頻度にも基づいて、前記機器が発する音声を決定する、請求項１から５のいずれか１項に記載の通信端末。
7. 機器であって、
   スピーカと、
   マイクと、
   前記機器に対する過去のユーザのアクションに関する要因に対する現在のユーザのアクションに関する要因の相対的な関係に基づいて前記機器の気分としての第１の情報を特定し、前記マイクを介して取得された音声に基づいてユーザの気分を特定し、少なくとも前記第１の情報と前記ユーザの気分とに基づいて、前記スピーカに音声を出力させるためのプロセッサとを備える、機器。
8. 複数の機器と通信するための通信インターフェイスと、
   前記複数の機器の各々に対する過去のユーザのアクションに関する要因に対する現在のユーザのアクションに関する要因の相対的な関係に基づいて前記機器の気分としての第１の情報を特定し、前記機器で取得された音声に基づいてユーザの気分を特定し、少なくとも前記第１の情報と前記ユーザの気分とに基づいて出力音声を決定し、前記通信インターフェイスを介して前記出力音声を前記機器に出力させるためのプロセッサとを備える、サーバ。

Images