JP6767206B2 - Response system - Google Patents

Response system Download PDF

Info

Publication number
JP6767206B2
JP6767206B2 JP2016168262A JP2016168262A JP6767206B2 JP 6767206 B2 JP6767206 B2 JP 6767206B2 JP 2016168262 A JP2016168262 A JP 2016168262A JP 2016168262 A JP2016168262 A JP 2016168262A JP 6767206 B2 JP6767206 B2 JP 6767206B2
Authority
JP
Japan
Prior art keywords
user
response
voice
server
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016168262A
Other languages
Japanese (ja)
Other versions
JP2018036397A (en
Inventor
福田　康
康 福田
優 西島
優 西島
吉田　隆彦
隆彦 吉田
吉村　敏一
敏一 吉村
英満 南田
英満 南田
佳代 福田
佳代 福田
武史 河津
武史 河津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2016168262A priority Critical patent/JP6767206B2/en
Publication of JP2018036397A publication Critical patent/JP2018036397A/en
Application granted granted Critical
Publication of JP6767206B2 publication Critical patent/JP6767206B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ユーザの所定の行為に対する応答動作を機器に実行させる応答システム等に関する。 The present invention relates to a response system or the like that causes a device to perform a response operation to a predetermined action of a user.

ユーザの所定の行為に対する応答動作を機器に実行させる応答システムが従来から知られている。例えば、下記の特許文献１には、電子機器のコントロールにおいてユーザをサポートするエージェントシステムが開示されている。このシステムでは、音声で入力されたユーザの指示をサーバに送り、サーバが対応動作を導き出して、端末がサーバからの動作指示に基づいてキャラクタの動作を画面に表示する。 A response system that causes a device to perform a response operation to a predetermined action of a user has been conventionally known. For example, Patent Document 1 below discloses an agent system that supports a user in controlling an electronic device. In this system, a user's instruction input by voice is sent to the server, the server derives a corresponding operation, and the terminal displays the character's operation on the screen based on the operation instruction from the server.

特開２０１３−１６４７９３号公報（２０１３年８月２２日公開）Japanese Unexamined Patent Publication No. 2013-164793 (published on August 22, 2013)

しかしながら、ユーザの所定の行為に対する応答動作を機器に実行させる応答システムには、改善の余地がある。本発明は、前記の問題点に鑑みてなされたものであり、その目的は、従来よりも改善された応答システム等を実現することにある。 However, there is room for improvement in the response system that causes the device to perform a response operation to a predetermined action of the user. The present invention has been made in view of the above problems, and an object of the present invention is to realize an improved response system or the like as compared with the conventional case.

上記の課題を解決するために、本発明に係る応答システムは、ユーザの所定の行為に対する応答動作を実行可能な複数の機器と、該機器による応答動作を制御するサーバとを含む応答システムであって、複数のユーザそれぞれに応じたキャラクタが設定されており、上記サーバは、所定の行為を行ったユーザを識別し、上記識別されたユーザに対して設定されたキャラクタを選択し、上記サーバは、複数の上記機器の中から上記応答動作を実行させる応答機器を選択し、上記サーバが選択した上記応答機器は、上記サーバの制御に従って、上記選択されたキャラクタにて上記応答動作を実行する、構成である。 In order to solve the above problems, the response system according to the present invention is a response system including a plurality of devices capable of performing a response operation to a predetermined action of a user and a server for controlling the response operation by the devices. Characters corresponding to each of the plurality of users are set, the server identifies the user who has performed a predetermined action, selects the character set for the identified user, and the server selects the character set for the identified user. selects a response device to perform the response operation from the plurality of the devices, the response device which the server selected in accordance with the control of the server, executes the response operation at above SL selected key Yarakuta It is a configuration.

また、上記の課題を解決するために、本発明に係る応答システムは、ユーザの所定の行為に対する応答動作を実行可能な複数の機器と、該機器による応答動作を制御するサーバとを含む応答システムであって、上記サーバは、複数の上記機器の中から上記応答動作を実行させる応答機器を選択し、上記サーバが選択した上記応答機器は、上記サーバの制御に従って、上記ユーザに応じた所定のキャラクタにて上記応答動作を実行し、上記サーバは、上記ユーザの所在に応じて、複数の上記機器の中から上記応答動作を実行させる応答機器を選択し、複数の上記機器には、携帯型の機器と据え置き型の機器とが含まれており、上記サーバは、上記ユーザが上記据え置き型の機器が設置されているエリアに居ることが検出された場合には、該据え置き型の機器を上記応答機器として選択する、構成である。Further, in order to solve the above problems, the response system according to the present invention is a response system including a plurality of devices capable of executing a response operation to a predetermined action of the user and a server for controlling the response operation by the devices. The server selects a response device for executing the response operation from the plurality of devices, and the response device selected by the server is determined according to the user according to the control of the server. The character executes the response operation, the server selects a response device to execute the response operation from the plurality of devices according to the location of the user, and the plurality of devices are portable. The server includes the device and the stationary device, and when it is detected that the user is in the area where the stationary device is installed, the server uses the stationary device as described above. It is a configuration to be selected as a response device.

本発明の上記各態様によれば、従来よりも改善された応答システムや機器を実現することができるという効果を奏する。 According to each of the above aspects of the present invention, it is possible to realize an improved response system or device as compared with the conventional one.

本発明の実施形態１に係るサーバおよび機器の要部構成の一例を示すブロック図である。It is a block diagram which shows an example of the main part structure of the server and the apparatus which concerns on Embodiment 1 of this invention. 上記サーバおよび上記機器を含む執事提供システムの概要を示す図である。It is a figure which shows the outline of the butler providing system including the said server and the said device. キャラクタ管理情報の一例を示す図である。It is a figure which shows an example of the character management information. 機器管理情報の一例を示す図である。It is a figure which shows an example of the device management information. 執事を呼び出すユーザの発話を、２つの機器が検出した場合に、サーバがユーザの発話に応答させる機器を選択した例を示す図である。It is a figure which shows the example which selected the device which makes the server respond to the user's utterance when two devices detect the utterance of the user who calls a butler. 執事を呼び出すユーザの発話を複数の機器が検出し、検出した各発話における音声の音量に差異があった場合の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the processing when a plurality of devices detect the utterance of the user who calls a butler, and there is a difference in the volume of voice in each detected utterance. 執事を呼び出すユーザの発話を複数の機器が検出し、検出した各発話における音声の音量に差異がなかった場合の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the processing when a plurality of devices detect the utterance of the user who calls a butler, and there is no difference in the volume of voice in each detected utterance. 照明装置の稼働状態に応じて、発話させる機器を選択する例を示す図である。It is a figure which shows the example which selects the device to make an utterance according to the operating state of a lighting device. 執事の提供先の機器を変更した例を示す図である。It is a figure which shows the example which changed the device which the butler provides. ２人のユーザからの執事の呼び出しを検出したサーバが、一方のユーザの執事により機器に発話させる例を示す図である。It is a figure which shows the example which the server which detected the call of the butler from two users makes a device speak by the butler of one user. ユーザＡおよびユーザＢが執事を呼び出す発話を同時に検出し、検出した各発話における音声の音量に差異があった場合の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the processing when the utterance which a user A and the user B call a butler are detected at the same time, and there is a difference in the volume of voice in each detected utterance. ユーザＡおよびユーザＢが執事を呼び出す発話を同時に検出し、検出した各発話における音声の音量に差異がなかった場合の処理の一例を示すフローチャートである。It is a flowchart which shows an example of the processing when the utterance which a user A and the user B call a butler are detected at the same time, and there is no difference in the volume of voice in each detected utterance. ユーザＡに対応する執事ａに、ユーザＣへのお遣いを行わせた例を示す図である。It is a figure which shows the example which made the butler a corresponding to the user A send to the user C. 執事に人探しを行わせた例を示す図である。It is a figure which shows an example which made a butler search for a person. ユーザの嗜好を学習する処理の一例を示すフローチャートである。It is a flowchart which shows an example of the process which learns a user's taste.

〔実施形態１〕
本発明の一実施形態について図１〜図１５に基づいて説明する。まず、図２に基づいて本実施形態に係る執事提供システム（応答システム）１００の概要を説明する。執事提供システム１００は、ユーザに応じたキャラクタを有する仮想的な執事（以下、単に執事と記載する）により、該ユーザに情報を提供したり、該ユーザによる機器の操作をサポートしたりするサービスを提供するシステムである。 [Embodiment 1]
An embodiment of the present invention will be described with reference to FIGS. 1 to 15. First, an outline of the butler providing system (response system) 100 according to the present embodiment will be described with reference to FIG. The butler providing system 100 provides a service of providing information to the user and supporting the operation of the device by the user by a virtual butler having a character according to the user (hereinafter, simply referred to as a butler). It is a system to provide.

〔システムの概要〕
図２に示す執事提供システム１００は、機器２ａ〜２ｅを含む。なお、機器２ａ〜２ｅを区別する必要がない場合には、単に機器２と記載する。機器２は、ユーザの所定の行為に対する応答動作を実行可能な機器である。そして、執事提供システム１００は、ユーザが所定の行為を行った場合に、クラウド上の各種サービスにより、該ユーザの執事に応じた応答動作を機器２に実行させる。これにより、ユーザは機器２を介して自身の執事と対話したり、執事によって機器２の動作制御を行ったりすることができる。 [System overview]
The butler providing system 100 shown in FIG. 2 includes devices 2a to 2e. When it is not necessary to distinguish the devices 2a to 2e, it is simply described as the device 2. The device 2 is a device capable of performing a response operation to a predetermined action of the user. Then, when the user performs a predetermined action, the butler providing system 100 causes the device 2 to perform a response operation according to the user's butler by various services on the cloud. As a result, the user can interact with his / her own butler through the device 2 and control the operation of the device 2 by the butler.

なお、以下では、上記所定の行為および上記応答動作が音声による発話である例を説明するが、上記所定の行為および上記応答動作は、音声による発話に限られない。上記所定の行為は、ユーザが実行可能な行為であり、かつ機器２またはクラウド上のサービスにより検出可能な行為であればよい。また、上記応答動作は、機器２が実行可能な動作であればよい。 In the following, an example in which the predetermined action and the response action are voice utterances will be described, but the predetermined action and the response action are not limited to voice utterances. The predetermined action may be an action that can be executed by the user and can be detected by the device 2 or the service on the cloud. Further, the response operation may be any operation that can be executed by the device 2.

機器２ａ〜２ｅのうち、機器２ａは、ユーザと執事とのインターフェースとしての機能を主機能とする装置である。一方、機器２ｂ、２ｃ、および２ｅは家庭内の電気機器、すなわち家電である。具体的には、機器２ｂは空気調和機（エアコン）、機器２ｃは冷蔵庫、機器２ｅは洗濯機である。また、機器２ｄは、携帯型の端末装置であり、具体的にはスマートフォンである。機器２ｂ〜２ｅはユーザと執事とのインターフェースとしての機能が副機能である。機器２ａ〜２ｃ、２ｅは、家庭内のネットワーク（例えば家庭内ＬＡＮ：Local Area Network）に接続されており、機器２ａ〜２ｃ、２ｅ間で相互に通信することが可能である。また、機器２ａ〜２ｃ、２ｅは、ＡＰ（アクセスポイント）を介して家庭外のネットワークに接続することが可能である。機器２ｄは、ＡＰを介して家庭内外のネットワークに接続することが可能であると共に、例えばBluetooth（登録商標）等を利用した近距離通信により、機器２ａ〜２ｃ、２ｅと直接に通信することも可能である。 Of the devices 2a to 2e, the device 2a is a device whose main function is a function as an interface between the user and the butler. On the other hand, the devices 2b, 2c, and 2e are electric devices in the home, that is, home appliances. Specifically, the device 2b is an air conditioner (air conditioner), the device 2c is a refrigerator, and the device 2e is a washing machine. Further, the device 2d is a portable terminal device, specifically a smartphone. The devices 2b to 2e have a secondary function as an interface between the user and the butler. The devices 2a to 2c and 2e are connected to a home network (for example, a home LAN: Local Area Network), and the devices 2a to 2c and 2e can communicate with each other. In addition, the devices 2a to 2c and 2e can be connected to a network outside the home via an AP (access point). The device 2d can be connected to a network inside and outside the home via an AP, and can also directly communicate with the devices 2a to 2c and 2e by short-range communication using, for example, Bluetooth (registered trademark). It is possible.

クラウド上には、執事提供サービス、外部情報サービス、音声データ作成サービス、および音声認識サービスが存在している。これらのサービスは、インターネット等の通信ネットワークを介して利用することができると共に、携帯電話網の基地局を介して利用することもできる。執事提供サービスは、ユーザに執事を提供するサービスであり、執事提供システム１００の中核となるサービスである。外部情報サービスは、外部情報を提供するサービスであり、執事によってユーザに外部情報を提供する際に利用される。音声データ作成サービスは、音声データを作成するサービスであり、執事の発話音声を作成する際に利用される。音声認識サービスは、ユーザの発した音声を音声認識して、その結果を出力するサービスであり、執事提供サービスにおいてユーザの発話内容に応じた処理を実行するために利用される。 Butler-provided services, external information services, voice data creation services, and voice recognition services exist on the cloud. These services can be used via a communication network such as the Internet, and can also be used via a base station of a mobile phone network. The butler providing service is a service that provides a butler to a user, and is a core service of the butler providing system 100. The external information service is a service that provides external information, and is used when a butler provides external information to a user. The voice data creation service is a service for creating voice data, and is used when creating a butler's utterance voice. The voice recognition service is a service that recognizes the voice uttered by the user and outputs the result, and is used in the butler providing service to execute processing according to the content of the utterance of the user.

執事提供システム１００を利用するユーザは、執事を利用する際、機器２に向かって執事を呼び出すメッセージを発話すればよい。ユーザの発話した音声は、機器２を介して執事提供サービスに送られる。次に、執事提供サービスは、ユーザの音声の音声認識結果から、執事の呼び出しが行われたと判定し、ユーザに応じたキャラクタの執事の音声で機器２に発話させる。上記の通り、音声認識は音声認識サービスを利用して行うことができ、ユーザに応答するための音声は音声データ作成サービスを利用して作成することができる。 When using the butler, the user who uses the butler providing system 100 may utter a message calling the butler toward the device 2. The voice spoken by the user is sent to the butler-provided service via the device 2. Next, the butler providing service determines that the butler has been called from the voice recognition result of the user's voice, and causes the device 2 to speak with the voice of the character butler according to the user. As described above, the voice recognition can be performed by using the voice recognition service, and the voice for responding to the user can be created by using the voice data creation service.

また、執事の応答に利用される機器（応答機器）２が表示部を備えている場合、執事提供システム１００は、表示部に執事のシンボルとして予め設定された画像を表示してもよい。これにより、執事が応答していることをユーザに明示的に示すことができる。例えば、図２の例では、機器２ａが表示部２６を備えている。そして、この表示部２６には、シンボル３０ａおよび３０ｂが表示されている。シンボル３０ａおよび３０ｂは形状が何れも環状であり同形状であるが、模様が相違している。また、機器２ｄの表示部にはシンボル３０ｃが表示されている。シンボル３０ｃは球状のシンボルである。これらシンボル３０ａ〜３０ｃは、それぞれ別の執事に対応しており、色または形状の少なくとも何れかが相違している。なお、シンボル３０ａ〜３０ｃを区別する必要がない場合には、単にシンボル３０と記載する。 When the device (response device) 2 used for the butler's response is provided with a display unit, the butler providing system 100 may display a preset image as a butler's symbol on the display unit. This allows the user to be explicitly shown that the butler is responding. For example, in the example of FIG. 2, the device 2a includes a display unit 26. The symbols 30a and 30b are displayed on the display unit 26. The symbols 30a and 30b are both annular in shape and have the same shape, but the patterns are different. Further, the symbol 30c is displayed on the display unit of the device 2d. The symbol 30c is a spherical symbol. These symbols 30a-30c correspond to different butlers, and differ in at least one of the colors or shapes. When it is not necessary to distinguish the symbols 30a to 30c, it is simply described as the symbol 30.

〔要部構成〕
次に、執事提供システム１００に含まれるサーバ１および機器２の構成を図１に基づいて説明する。図１は、サーバ１、機器２ａ、および機器２ｂの要部構成の一例を示すブロック図である。なお、図２の機器２ｃ、２ｅ、後述する図８の機器２ｆ、および後述する図１５の機器２ｇは何れも機器２ｂと同様の構成である。また、図２の機器２ｄは、図１の機器２ｂと同様の構成を備えていると共に、表示部２６と表示制御部２０３を備えている。 [Main part composition]
Next, the configurations of the server 1 and the device 2 included in the butler providing system 100 will be described with reference to FIG. FIG. 1 is a block diagram showing an example of a main configuration of the server 1, the device 2a, and the device 2b. The devices 2c and 2e of FIG. 2, the device 2f of FIG. 8 described later, and the device 2g of FIG. 15 described later all have the same configuration as the device 2b. Further, the device 2d of FIG. 2 has the same configuration as the device 2b of FIG. 1, and also includes a display unit 26 and a display control unit 203.

（サーバの構成）
サーバ１は、執事提供サービスを提供するサーバであり、サーバ１の各部を統括して制御する制御部１０、サーバ１が使用する各種データを記憶する記憶部１１、およびサーバ１が他の装置と通信するための通信部１２を備えている。また、制御部１０には、キャラクタ制御部１０１ａ、キャラクタ制御部１０１ｂ、キャラクタ選択部１０２、機器選択部１０３、および音声解析部１０４が含まれている。なお、キャラクタ制御部１０１ａとキャラクタ制御部１０１ｂを区別する必要のないときは、キャラクタ制御部１０１と記載する。そして、記憶部１１には、キャラクタ管理情報１１１および機器管理情報１１２が格納されている。 (Server configuration)
The server 1 is a server that provides a butler-provided service, and the control unit 10 that controls and controls each part of the server 1, the storage unit 11 that stores various data used by the server 1, and the server 1 are other devices. A communication unit 12 for communication is provided. Further, the control unit 10 includes a character control unit 101a, a character control unit 101b, a character selection unit 102, a device selection unit 103, and a voice analysis unit 104. When it is not necessary to distinguish between the character control unit 101a and the character control unit 101b, the character control unit 101 is referred to as the character control unit 101. The character management information 111 and the device management information 112 are stored in the storage unit 11.

キャラクタ制御部１０１は、ユーザに応じた所定のキャラクタにて機器２に応答動作を実行させるものであり、キャラクタ制御部１０１ａと、キャラクタ制御部１０１ｂは、それぞれ異なるユーザに応じた異なるキャラクタにて機器２に応答動作を実行させる。具体的には、キャラクタ制御部１０１ａは、執事ａのキャラクタにて機器２に応答動作を実行させ、キャラクタ制御部１０１ｂは、執事ｂのキャラクタにて機器２に応答動作を実行させる。執事ａおよび執事ｂのキャラクタがどのようなキャラクタであるかは、キャラクタ管理情報１１１にて規定されている。キャラクタ制御部１０１は、人工知能により実現することもできる。この場合、各キャラクタ制御部１０１は、各ユーザに専用の人工知能であるとも言える。なお、サーバ１は、キャラクタ制御部１０１を３つ以上備えていてもよい。 The character control unit 101 causes the device 2 to execute a response operation with a predetermined character according to the user, and the character control unit 101a and the character control unit 101b use different characters according to different users. Let 2 execute the response operation. Specifically, the character control unit 101a causes the device 2 to execute the response operation by the character of the butler a, and the character control unit 101b causes the device 2 to execute the response operation by the character of the butler b. What kind of character the butler a and the butler b are are is defined in the character management information 111. The character control unit 101 can also be realized by artificial intelligence. In this case, it can be said that each character control unit 101 is artificial intelligence dedicated to each user. The server 1 may include three or more character control units 101.

キャラクタ選択部１０２は、機器２に応答動作を実行させる際のキャラクタを何れの執事のキャラクタとするかを選択する。より詳細には、キャラクタ選択部１０２は、音声解析部１０４が取得した音声解析結果に従って発話したユーザを識別して、該ユーザに対応する執事のキャラクタを選択する。例えば、ユーザＡと執事ａが対応付けられている場合、キャラクタ選択部１０２は、上記音声解析結果から、発話したユーザがユーザＡであると判定した場合には、執事ａのキャラクタを選択する。そして、キャラクタ選択部１０２は、選択したキャラクタに対応するキャラクタ制御部１０１を有効化する。 The character selection unit 102 selects which butler's character is the character for causing the device 2 to execute the response operation. More specifically, the character selection unit 102 identifies the user who has spoken according to the voice analysis result acquired by the voice analysis unit 104, and selects the character of the butler corresponding to the user. For example, when the user A and the butler a are associated with each other, the character selection unit 102 selects the character of the butler a when it is determined from the voice analysis result that the user who has spoken is the user A. Then, the character selection unit 102 activates the character control unit 101 corresponding to the selected character.

機器選択部１０３は、複数の機器２の中から、応答動作を実行させる機器（応答機器）２を選択する。機器選択部１０３がどのような機器２を選択候補とし、その選択候補の中からどのような基準で機器２を選択するかについては後述する。 The device selection unit 103 selects a device (response device) 2 to execute a response operation from the plurality of devices 2. What kind of device 2 is selected by the device selection unit 103 as a selection candidate, and what criteria the device 2 is selected from the selection candidates will be described later.

音声解析部１０４は、ユーザの発話した音声の音声解析結果を取得する。音声解析は、音声認識サービス（図２参照）に行わせてもよいし、音声解析部１０４が行ってもよい。音声解析結果には、発話された語句を示す語句情報や、発話者の声紋を示す声紋情報、音声の音量を示す音量情報等が含まれていてもよい。 The voice analysis unit 104 acquires the voice analysis result of the voice spoken by the user. The voice analysis may be performed by the voice recognition service (see FIG. 2) or by the voice analysis unit 104. The voice analysis result may include word / phrase information indicating the spoken word / phrase, voiceprint information indicating the voiceprint of the speaker, volume information indicating the volume of the voice, and the like.

キャラクタ管理情報１１１は、各キャラクタ制御部１０１が応答動作を実行させる際のキャラクタを管理するための情報であり、各キャラクタがどのようなキャラクタであるかを示す情報を含む。キャラクタ管理情報１１１の詳細は図３に基づいて後述する。 The character management information 111 is information for managing a character when each character control unit 101 executes a response operation, and includes information indicating what kind of character each character is. The details of the character management information 111 will be described later based on FIG.

機器管理情報１１２は、機器２を管理するための情報である。機器管理情報１１２の詳細は図４に基づいて後述する。 The device management information 112 is information for managing the device 2. Details of the device management information 112 will be described later with reference to FIG.

（機器の構成）
機器２ａは、機器２ａの各部を統括して制御する制御部２０ａ、機器２ａが使用する各種データを記憶する記憶部２１、および機器２ａが他の装置と通信するための通信部２２を備えている。また、ユーザの音声入力を受け付ける音声入力部２３、音声を出力する音声出力部２４、機器２ａの周囲のユーザを検出するユーザ検出部２５、および画像を表示する表示部２６を備えている。そして、制御部２０には、音声取得部（通知部）２０１、音声出力制御部（応答部）２０２、および表示制御部（応答部）２０３が含まれている。 (Device configuration)
The device 2a includes a control unit 20a that controls each part of the device 2a, a storage unit 21 that stores various data used by the device 2a, and a communication unit 22 for the device 2a to communicate with other devices. There is. Further, it includes a voice input unit 23 that receives a user's voice input, a voice output unit 24 that outputs voice, a user detection unit 25 that detects users around the device 2a, and a display unit 26 that displays an image. The control unit 20 includes a voice acquisition unit (notification unit) 201, a voice output control unit (response unit) 202, and a display control unit (response unit) 203.

音声取得部２０１は、音声入力部２３を介してユーザの発話した音声（正確には音声入力部２３がユーザの発話した音声を電気信号に変換することによって生成された音声データ）を取得する。そして、音声取得部２０１は、取得した音声データを、通信部２２を介してサーバ１に送信する。つまり、音声取得部２０１は、ユーザの発話を検出して、ユーザの発話が行われたことをサーバ１に通知する。なお、音声取得部２０１は、ユーザ検出部２５がユーザを検出している期間に、音声入力部２３を動作させて音声を取得し、ユーザ検出部２５がユーザを検出していない期間には音声入力部２３を動作停止させてもよい。 The voice acquisition unit 201 acquires the voice spoken by the user via the voice input unit 23 (more accurately, the voice data generated by the voice input unit 23 converting the voice spoken by the user into an electric signal). Then, the voice acquisition unit 201 transmits the acquired voice data to the server 1 via the communication unit 22. That is, the voice acquisition unit 201 detects the user's utterance and notifies the server 1 that the user's utterance has been made. The voice acquisition unit 201 operates the voice input unit 23 to acquire voice during the period when the user detection unit 25 detects the user, and the voice acquisition unit 25 acquires the voice during the period when the user detection unit 25 does not detect the user. The operation of the input unit 23 may be stopped.

音声出力制御部２０２は、サーバ１の制御に従って、ユーザに応じた所定のキャラクタにて、該ユーザの発話に応答する音声を音声出力部２４に出力させる。つまり、音声出力制御部２０２は、ユーザの発話に対する応答動作を該ユーザに応じた所定のキャラクタにて実行する。出力させる音声（正確には音声データ）は、通信部２２を介してサーバ１または音声データ作成サービス（図２参照）から取得することができる。なお、音声出力制御部２０２は、出力させる音声を生成してもよいし、出力させる音声を予め記憶部２１に記憶しておき、記憶部２１から読み出した音声を音声出力部２４に出力させてもよい。 According to the control of the server 1, the voice output control unit 202 causes the voice output unit 24 to output a voice that responds to the user's utterance with a predetermined character according to the user. That is, the voice output control unit 202 executes a response operation to the user's utterance with a predetermined character corresponding to the user. The voice to be output (to be exact, voice data) can be acquired from the server 1 or the voice data creation service (see FIG. 2) via the communication unit 22. The voice output control unit 202 may generate the voice to be output, or the voice to be output may be stored in the storage unit 21 in advance, and the voice read from the storage unit 21 may be output to the voice output unit 24. May be good.

表示制御部２０３は、表示部２６に画像を表示させる。例えば、表示制御部２０３は、サーバ１の指示に従って、シンボル３０（図２参照）を表示部２６に表示させる。シンボル３０は、ユーザ毎の所定のキャラクタに固有の画像であるから、表示制御部２０３も、音声出力制御部２０２と同様に、ユーザの発話に対する応答動作を該ユーザに応じた所定のキャラクタにて実行していると言える。シンボル３０の画像は、サーバ１から通信部２２を介して取得することができる。なお、シンボル３０の画像を予め記憶部２１に記憶しておき、記憶部２１から読み出したシンボル３０の画像を表示部２６に表示させてもよい。 The display control unit 203 causes the display unit 26 to display an image. For example, the display control unit 203 causes the display unit 26 to display the symbol 30 (see FIG. 2) according to the instruction of the server 1. Since the symbol 30 is an image unique to a predetermined character for each user, the display control unit 203 also performs a response operation to the user's utterance with a predetermined character according to the user, similarly to the voice output control unit 202. It can be said that it is running. The image of the symbol 30 can be acquired from the server 1 via the communication unit 22. The image of the symbol 30 may be stored in the storage unit 21 in advance, and the image of the symbol 30 read from the storage unit 21 may be displayed on the display unit 26.

一方、機器２ｂは、表示部２６を備えておらず、機能部２７を備えている点、ユーザ検出部２５を備えていない点、および制御部２０ａの代わりに制御部２０ｂを備えている点で機器２ａと相違している。また、制御部２０ｂは、表示制御部２０３を含まず、動作制御部（応答部）２０４を含む点が制御部２０ａとの相違点である。機能部２７は、機器２ｂの主機能を実現するためのものである。例えば、図２の機器２ｂは、空気調和機（エアコン）であるから、機能部２７は冷暖房等の機能を実現するためのハードウェアである。そして、動作制御部２０４は、機能部２７の動作を制御するものである。動作制御部２０４も、音声出力制御部２０２と同様に、ユーザの発話に対する応答動作を該ユーザに応じた所定のキャラクタにて実行してもよい。例えば、機器２ｂが人型のロボットであり、機能部２７に該ロボットの手足等を駆動する駆動部が含まれている場合、動作制御部２０４はキャラクタに応じて異なる動きで機能部２７の駆動部を動作させてもよい。 On the other hand, the device 2b is not provided with the display unit 26 and is provided with the functional unit 27, is not provided with the user detection unit 25, and is provided with the control unit 20b instead of the control unit 20a. It is different from the device 2a. Further, the control unit 20b is different from the control unit 20a in that the display control unit 203 is not included and the operation control unit (response unit) 204 is included. The functional unit 27 is for realizing the main function of the device 2b. For example, since the device 2b in FIG. 2 is an air conditioner (air conditioner), the functional unit 27 is hardware for realizing functions such as heating and cooling. The operation control unit 204 controls the operation of the function unit 27. Similar to the voice output control unit 202, the operation control unit 204 may also execute a response operation to the user's utterance with a predetermined character corresponding to the user. For example, when the device 2b is a humanoid robot and the functional unit 27 includes a driving unit for driving the limbs of the robot, the motion control unit 204 drives the functional unit 27 with different movements depending on the character. The unit may be operated.

なお、図２の機器２ｄのように、複数の通信手段を備えた機器２であれば、各通信手段に対応する通信部（ネットワークインターフェースコントローラ）をそれぞれ備えていてもよい。例えば、Ｗｉ−Ｆｉ（登録商標）により通信するための通信部と、Bluetooth（登録商標）により通信するための通信部とを備えていてもよい。また、図１の機器２ａはユーザ検出部２５を備えているが、ユーザ検出部２５を備えていることは必須ではない。 If the device 2 is provided with a plurality of communication means as in the device 2d of FIG. 2, a communication unit (network interface controller) corresponding to each communication means may be provided. For example, it may be provided with a communication unit for communicating by Wi-Fi (registered trademark) and a communication unit for communicating by Bluetooth (registered trademark). Further, although the device 2a in FIG. 1 includes a user detection unit 25, it is not essential that the device 2a includes the user detection unit 25.

〔キャラクタ管理情報〕
キャラクタ管理情報１１１は、例えば図３のような情報であってもよい。図３は、キャラクタ管理情報１１１の一例を示す図である。図３のキャラクタ管理情報１１１は、キャラクタの識別子であるキャラクタＩＤに対し、当該キャラクタのキャラクタ名、音声設定、表示設定、キャラクタ情報、ユーザ名、およびユーザ情報を対応付けた情報である。 [Character management information]
The character management information 111 may be, for example, the information shown in FIG. FIG. 3 is a diagram showing an example of the character management information 111. The character management information 111 of FIG. 3 is information in which the character ID, which is the identifier of the character, is associated with the character name, voice setting, display setting, character information, user name, and user information of the character.

キャラクタ制御部１０１は、これらの情報に従って機器２を動作させる。例えば、図示の例において、キャラクタＩＤがCHA0001のキャラクタにより機器２を発話させる場合、キャラクタ制御部１０１は、音声設定に規定されている「女声015」で特定される音声を音声データ作成サービス（図２参照）に作成させる。また、キャラクタ制御部１０１は、この音声で発話させるメッセージを、キャラクタ情報に規定されている「陽気」に対応するメッセージとする。なお、「陽気」、「クール」等のキャラクタに対応するメッセージは予め定めておけばよく、このメッセージは音声設定とキャラクタとの組み合わせに応じて予め定めておいてもよい。また、キャラクタ制御部１０１は、シンボル３０を機器２に表示させるときには、表示設定に規定された色および形状のシンボル３０を表示させる。 The character control unit 101 operates the device 2 according to this information. For example, in the illustrated example, when the device 2 is uttered by a character whose character ID is CHA0001, the character control unit 101 provides a voice data creation service for the voice specified by the “female voice 015” defined in the voice setting (FIG. 2) to create it. Further, the character control unit 101 sets the message to be uttered by this voice as a message corresponding to "cheerfulness" defined in the character information. The message corresponding to the character such as "cheerful" or "cool" may be predetermined, and this message may be predetermined according to the combination of the voice setting and the character. Further, when the character control unit 101 displays the symbol 30 on the device 2, the character control unit 101 displays the symbol 30 having the color and shape specified in the display setting.

さらに、図３のキャラクタ管理情報１１１には、ユーザ名が含まれている。これにより、発話されたユーザ名から、該ユーザ名に対応するキャラクタを特定することや、機器２に発話させるメッセージにユーザ名を含めること等が可能になる。また、図３のキャラクタ管理情報１１１には、ユーザ情報が含まれている。ユーザ情報としては、該ユーザ情報に対応付けられているユーザ名のユーザに関連する情報が登録される。例えば、図示の例では、ユーザＡのユーザ情報として、冷房設定温度を２８℃とした場合に、ユーザＡがまだ少し暑いと発話したことを示す情報が登録されている。このようなユーザ情報を参照することにより、ユーザに応じた設定で機器２を動作させたり、ユーザの嗜好に合った発話を機器２に行わせたりすることが可能になる。 Further, the character management information 111 in FIG. 3 includes a user name. This makes it possible to identify the character corresponding to the user name from the spoken user name, include the user name in the message to be spoken by the device 2, and the like. Further, the character management information 111 in FIG. 3 includes user information. As the user information, information related to the user with the user name associated with the user information is registered. For example, in the illustrated example, information indicating that the user A has spoken that it is still a little hot when the cooling set temperature is set to 28 ° C. is registered as the user information of the user A. By referring to such user information, it is possible to operate the device 2 with settings according to the user and to have the device 2 make an utterance that suits the user's taste.

〔機器管理情報〕
機器管理情報１１２は、例えば図４のような情報であってもよい。図４は、機器管理情報１１２の一例を示す図である。図４の機器管理情報１１２は、機器２の識別子である機器ＩＤに対し、当該機器の機器名、設置場所、近隣機器、およびユーザ名を対応付けた情報である。設置場所は、機器２が設置されている場所を示し、例えば機器２が設置されている部屋を示す情報を設置場所として登録しておいてもよい。近隣機器は、機器２の近隣に設置されている機器を示している。近隣機器は、機器２であってもよいし、機器２以外の機器であってもよい。例えば、機器２の配置されている部屋に居るユーザが、機器２を見たときに、その視界に入る程度に機器２と近接した機器を近隣機器としてもよい。 [Device management information]
The device management information 112 may be information as shown in FIG. 4, for example. FIG. 4 is a diagram showing an example of the device management information 112. The device management information 112 of FIG. 4 is information in which the device ID, which is the identifier of the device 2, is associated with the device name, installation location, neighboring device, and user name of the device. The installation location indicates a location where the device 2 is installed, and for example, information indicating a room in which the device 2 is installed may be registered as the installation location. The neighboring device indicates a device installed in the vicinity of the device 2. The neighboring device may be the device 2 or a device other than the device 2. For example, when a user in a room in which the device 2 is arranged sees the device 2, a device close to the device 2 so as to be in the field of view may be set as a neighboring device.

これらの情報を参照することにより、機器選択部１０３は、適切な機器２を選択することができる。例えば、ユーザが機器名を指定して執事を呼び出した場合には、機器選択部１０３は、機器管理情報１１２の機器名を参照して、該機器名の機器２を選択することができる。また、詳細は後述するが、機器管理情報１１２を参照して、１つの部屋につき１つの機器２を選択することや、近隣機器の稼働状態に応じて機器２を選択することや、所定のユーザに対応付けられた機器２を選択すること等も可能である。 By referring to this information, the device selection unit 103 can select an appropriate device 2. For example, when the user specifies the device name and calls the butler, the device selection unit 103 can select the device 2 with the device name by referring to the device name of the device management information 112. Further, as will be described in detail later, referring to the device management information 112, selecting one device 2 per room, selecting the device 2 according to the operating state of a neighboring device, and determining a predetermined user. It is also possible to select the device 2 associated with.

〔機器選択の例〕
サーバ１は、ユーザの所定の行為に対する応答動作を実行可能な機器２が複数ある場合、その中から応答動作を実行させる機器２を選択する。これについて、図５に基づいて説明する。図５は、執事を呼び出すユーザの発話を、機器２ｂおよび機器２ｃの両方が検出した場合に、サーバ１がユーザの発話に応答させる機器２として機器２ｂを選択した例を示す図である。 [Example of device selection]
When there are a plurality of devices 2 capable of executing a response operation to a predetermined action of the user, the server 1 selects the device 2 to execute the response operation from among the plurality of devices 2. This will be described with reference to FIG. FIG. 5 is a diagram showing an example in which the server 1 selects the device 2b as the device 2 to respond to the user's utterance when both the device 2b and the device 2c detect the utterance of the user who calls the butler.

図示の例では、ユーザが、該ユーザの執事である執事ａに頼みたいことがある旨の発話をしており、機器２ｂおよび機器２ｃの両方がこの発話の音声を検出してサーバ１に送信している。そして、サーバ１は、機器２ｂから受信した音声と、機器２ｃから受信した音声とをそれぞれ解析して、機器２ｂおよび機器２ｃのうち、ユーザの上記発話に応答させる機器２を選択する。なお、この選択における選択基準については後述する。 In the illustrated example, the user has made an utterance that he / she may want to ask the butler a who is the user's butler, and both the device 2b and the device 2c detect the voice of this utterance and transmit it to the server 1. are doing. Then, the server 1 analyzes the voice received from the device 2b and the voice received from the device 2c, respectively, and selects the device 2 from the device 2b and the device 2c to respond to the user's utterance. The selection criteria for this selection will be described later.

図示の例では、サーバ１は、機器２ｃを選択して、機器２ｃに発話指示を送信している。そして、機器２ｃは、この発話指示に従い、執事ａのキャラクタにてユーザに応答している。このように、ユーザの声が複数の機器２に検出された場合であっても、そのうち１つによりユーザへの応答が行われるので、ユーザは応答音声を聞き取りやすく、また執事ａが複数存在するかのような印象をユーザに与えずに済む。 In the illustrated example, the server 1 selects the device 2c and transmits the utterance instruction to the device 2c. Then, the device 2c responds to the user with the character of the butler a according to this utterance instruction. In this way, even when the user's voice is detected by the plurality of devices 2, one of them responds to the user, so that the user can easily hear the response voice and there are a plurality of butlers a. It is not necessary to give the user such an impression.

これに対し、〔先行技術文献〕に記載した特許文献１の技術では、ユーザが音声入力した指示を、複数の端末が検出する場合などは想定されておらず、このような場合にどのような処理を行うべきかについても当然記載されていない。よって、仮に、特許文献１の技術において、ユーザが音声入力した指示を複数の端末が検出したとすれば、各端末において同じキャラクタの動作が表示されて、ユーザが混乱するおそれがある。 On the other hand, in the technique of Patent Document 1 described in [Prior Art Document], it is not assumed that a plurality of terminals detect an instruction input by a user by voice, and what kind of case is used in such a case. Of course, there is no mention of whether processing should be performed. Therefore, if, in the technique of Patent Document 1, a plurality of terminals detect an instruction input by a user by voice, the operation of the same character may be displayed on each terminal, and the user may be confused.

〔処理の流れ（複数の機器がユーザの発話を検出した場合）〕
続いて、執事を呼び出すユーザの発話を複数の機器２が検出した場合の処理の流れを図６および図７に基づいて説明する。図６は、執事を呼び出すユーザの発話を複数の機器２が検出し、検出した各発話における音声の音量に差異があった場合の処理の一例を示すフローチャートである。また、図７は、執事を呼び出すユーザの発話を複数の機器２が検出し、検出した各発話における音声の音量に差異がなかった場合の処理の一例を示すフローチャートである。 [Processing flow (when multiple devices detect user utterances)]
Subsequently, the processing flow when the plurality of devices 2 detect the utterance of the user who calls the butler will be described with reference to FIGS. 6 and 7. FIG. 6 is a flowchart showing an example of processing when a plurality of devices 2 detect utterances of a user who calls a butler and there is a difference in the volume of voice in each of the detected utterances. Further, FIG. 7 is a flowchart showing an example of processing when a plurality of devices 2 detect utterances of a user who calls a butler and there is no difference in the volume of voice in each of the detected utterances.

図６の例では、機器２ａの音声取得部２０１がユーザの発話を検知し（Ｓ３１）、該発話の音声である音声Ａと機器２ａの機器ＩＤとをサーバ１に送信する（Ｓ３２）。同様に、機器２ｂの音声取得部２０１がユーザの上記発話を検知し（Ｓ５１）、該発話の音声である音声Ｂと機器２ｂの機器ＩＤとをサーバ１に送信する（Ｓ５２）。なお、音声Ａの元になったユーザの発話と、音声Ｂの元になったユーザの発話とは、同じ発話である。つまり、ユーザの１つの発話を機器２ａが検出して得た音声が音声Ａであり、該発話を機器２ｂが検出して得た音声が音声Ｂである。 In the example of FIG. 6, the voice acquisition unit 201 of the device 2a detects the user's utterance (S31), and transmits the voice A, which is the voice of the utterance, and the device ID of the device 2a to the server 1 (S32). Similarly, the voice acquisition unit 201 of the device 2b detects the user's utterance (S51), and transmits the voice B, which is the voice of the utterance, and the device ID of the device 2b to the server 1 (S52). The utterance of the user who is the source of the voice A and the utterance of the user who is the source of the voice B are the same utterances. That is, the voice obtained by detecting one utterance of the user by the device 2a is the voice A, and the voice obtained by detecting the utterance by the device 2b is the voice B.

サーバ１は、機器２ａが送信した音声Ａおよび機器ＩＤを受信する。そして、サーバ１の音声解析部１０４は、受信した音声Ａを解析する（Ｓ１１）。また、音声解析部１０４は、機器２ｂから受信した音声Ｂについても解析する（Ｓ１２）。図２に基づいて説明したように、音声の解析は音声認識サービスを利用して行ってもよい。ここでは、音声の内容（音声に含まれる語句）の解析、声紋の解析、および音声の音量の解析を行うとする。 The server 1 receives the voice A and the device ID transmitted by the device 2a. Then, the voice analysis unit 104 of the server 1 analyzes the received voice A (S11). The voice analysis unit 104 also analyzes the voice B received from the device 2b (S12). As described with reference to FIG. 2, voice analysis may be performed using a voice recognition service. Here, it is assumed that the content of the voice (words and phrases contained in the voice) is analyzed, the voiceprint is analyzed, and the volume of the voice is analyzed.

上述のように、音声Ａの元になったユーザの発話と、音声Ｂの元になったユーザの発話とは、同じ発話であるから、Ｓ１１とＳ１２の解析結果は、音量の解析結果である音量情報を除いて基本的に同一となる。この場合、機器選択部１０３は、上記音量情報に基づいて音声Ａの音量が音声Ｂの音量よりも大きいか否かを判定する（Ｓ１３）。 As described above, since the utterance of the user who is the source of voice A and the utterance of the user who is the source of voice B are the same utterance, the analysis results of S11 and S12 are the analysis results of the volume. It is basically the same except for the volume information. In this case, the device selection unit 103 determines whether or not the volume of the voice A is higher than the volume of the voice B based on the volume information (S13).

機器選択部１０３は、音声Ａの音量が音声Ｂの音量よりも大きいと判定した場合（Ｓ１３でＹＥＳ）、機器２ａを選択する。また、キャラクタ選択部１０２は、Ｓ１１の解析結果に基づいて執事を選択し、選択した執事に対応するキャラクタ制御部１０１を有効化する。例えば、キャラクタ選択部１０２は、Ｓ１１における声紋の解析結果から、執事を呼び出したユーザがユーザＡであると判定した場合、ユーザＡに対応する執事ａを制御するキャラクタ制御部１０１ａを有効化する。そして、有効化されたキャラクタ制御部１０１ａは、機器２ａを介したユーザとの対話を開始する（Ｓ１４）。 When the device selection unit 103 determines that the volume of the voice A is louder than the volume of the voice B (YES in S13), the device selection unit 103 selects the device 2a. Further, the character selection unit 102 selects a butler based on the analysis result of S11, and activates the character control unit 101 corresponding to the selected butler. For example, when the character selection unit 102 determines from the analysis result of the voiceprint in S11 that the user who called the butler is the user A, the character selection unit 102 activates the character control unit 101a that controls the butler a corresponding to the user A. Then, the activated character control unit 101a starts a dialogue with the user via the device 2a (S14).

この後、機器２ａの音声出力制御部２０２は、キャラクタ制御部１０１ａの制御に従って、音声出力部２４からユーザに対する発話の音声を出力する（Ｓ３３）。また、図示していないが、キャラクタ制御部１０１ａは、機器２ａに執事ａのシンボル３０ａを表示するように指示してもよく、この指示を受信した機器２ａの表示制御部２０３は表示部２６にシンボル３０ａを表示させてもよい。なお、以下で説明する各例においても、機器２にユーザへの応答を行わせる際にはシンボル３０を表示させてもよい。 After that, the voice output control unit 202 of the device 2a outputs the voice of the utterance to the user from the voice output unit 24 according to the control of the character control unit 101a (S33). Further, although not shown, the character control unit 101a may instruct the device 2a to display the symbol 30a of the butler a, and the display control unit 203 of the device 2a that receives this instruction causes the display unit 26 to display the symbol 30a. The symbol 30a may be displayed. In each of the examples described below, the symbol 30 may be displayed when the device 2 is made to respond to the user.

一方、機器選択部１０３は、音声Ａの音量が音声Ｂの音量よりも大きくはないと判定した場合（Ｓ１３でＮＯ）、音声Ｂの音量が音声Ａの音量よりも大きいか否かを判定する（Ｓ１５）。この判定において、音声Ｂの音量が音声Ａの音量よりも大きいと判定した場合（Ｓ１５でＹＥＳ）、機器選択部１０３は、機器２ｂを選択する。また、キャラクタ選択部１０２は、Ｓ１２の解析結果に基づいてキャラクタを選択する。そして、キャラクタ選択部１０２が選択したキャラクタに対応するキャラクタ制御部１０１が、機器２ｂを介したユーザとの対話を開始する（Ｓ１６）。この場合、機器２ｂの音声出力制御部２０２は、キャラクタ制御部１０１ａの制御に従って、音声出力部２４からユーザに対する発話の音声を出力する（Ｓ５３）。この際にシンボル３０ａを表示させてもよいことはＳ３３で説明した通りである。 On the other hand, when the device selection unit 103 determines that the volume of the voice A is not louder than the volume of the voice B (NO in S13), the device selection unit 103 determines whether the volume of the voice B is louder than the volume of the voice A. (S15). In this determination, when it is determined that the volume of the voice B is higher than the volume of the voice A (YES in S15), the device selection unit 103 selects the device 2b. Further, the character selection unit 102 selects a character based on the analysis result of S12. Then, the character control unit 101 corresponding to the character selected by the character selection unit 102 starts a dialogue with the user via the device 2b (S16). In this case, the voice output control unit 202 of the device 2b outputs the voice of the utterance to the user from the voice output unit 24 according to the control of the character control unit 101a (S53). At this time, the symbol 30a may be displayed as described in S33.

一方、機器選択部１０３が音声Ａの音量と音声Ｂの音量とに差異がないと判定した場合（Ｓ１５でＮＯ）、処理は図７のＳ１７に進む。なお、音量の差が所定の下限値未満であれば、音量に差異がないと判定すればよい。図７のＳ１７では、キャラクタ選択部１０２は、Ｓ１１またはＳ１２の解析結果に基づいてキャラクタを選択する。そして、キャラクタ選択部１０２が選択したキャラクタに対応するキャラクタ制御部１０１ａが、機器２ａに発話指示を送信する（Ｓ１７）。この発話指示は、上記選択したキャラクタによる発話を指示するものであり、発話されるメッセージは、機器２ａがユーザの意図した機器２であるか否かを問うものである。例えば、上記メッセージは、「機器２ａから対応させて頂きますが、よろしいでしょうか？」のようなメッセージであってもよい。 On the other hand, when the device selection unit 103 determines that there is no difference between the volume of the voice A and the volume of the voice B (NO in S15), the process proceeds to S17 of FIG. If the difference in volume is less than a predetermined lower limit, it may be determined that there is no difference in volume. In S17 of FIG. 7, the character selection unit 102 selects a character based on the analysis result of S11 or S12. Then, the character control unit 101a corresponding to the character selected by the character selection unit 102 transmits an utterance instruction to the device 2a (S17). This utterance instruction instructs the utterance by the selected character, and the uttered message asks whether or not the device 2a is the device 2 intended by the user. For example, the above message may be a message such as "I will respond from device 2a, is that okay?"

次に、機器２ａの音声出力制御部２０２は、キャラクタ制御部１０１ａの制御に従って、音声出力部２４から上記メッセージを音声出力する（Ｓ４１）。そして、音声取得部２０１は、上記メッセージに対して回答したユーザの発話を検知し（Ｓ４２）、この音声と機器２ａの機器ＩＤとをサーバ１に送信する（Ｓ４３）。 Next, the voice output control unit 202 of the device 2a outputs the above message by voice from the voice output unit 24 according to the control of the character control unit 101a (S41). Then, the voice acquisition unit 201 detects the utterance of the user who responded to the above message (S42), and transmits this voice and the device ID of the device 2a to the server 1 (S43).

サーバ１の音声解析部１０４は、機器２ａから受信した上記音声を解析し（Ｓ１８）、機器選択部１０３はこの解析結果に基づいて、選択した機器２ａが正しかったか否か、つまり機器２ａがユーザの意図した機器２であるか否かを判定する（Ｓ１９）。例えば、機器選択部１０３は、ユーザの発話に肯定的な語句が含まれている場合には正しかったと判定し、否定的な語句や他の機器２を指定する語句が含まれている場合には誤りであったと判定してもよい。具体例を挙げれば、機器選択部１０３は、解析の結果に、「よい」、「正しい」等の語が含まれていた場合には、正しかったと判定してもよい。一方、「違う」、「空気調和機」等の語が含まれていた場合には、誤りであったと判定してもよい。 The voice analysis unit 104 of the server 1 analyzes the voice received from the device 2a (S18), and the device selection unit 103 determines whether or not the selected device 2a is correct based on the analysis result, that is, the device 2a is the user. It is determined whether or not the device 2 is intended by (S19). For example, the device selection unit 103 determines that the user's utterance was correct when the user's utterance contained a positive phrase, and when the user's utterance contained a negative phrase or a phrase designating another device 2, the device selection unit 103 determined that the utterance was correct. It may be determined that it was an error. To give a specific example, the device selection unit 103 may determine that the analysis result is correct when words such as "good" and "correct" are included. On the other hand, if words such as "different" and "air conditioner" are included, it may be determined that the error was made.

機器選択部１０３が、選択した機器２ａが正しかったと判定した場合（Ｓ１９でＹＥＳ）、キャラクタ制御部１０１ａは、機器２ａを介したユーザとの対話を継続する（Ｓ２０）。一方、機器選択部１０３は、選択した機器２ａは誤りであったと判定した場合（Ｓ１９でＮＯ）、ユーザに応答させる機器２を機器２ｂに変更する。この際、キャラクタ制御部１０１ａは、機器２ａに執事ａのシンボル３０ａを表示させていた場合には、該シンボル３０ａの表示を終了させる。この際、キャラクタ制御部１０１ａは、シンボル３０ａをフェードアウトさせる演出を行ってもよい。これにより、執事ａが機器２ａから立ち去ったかのような感覚をユーザに与えることができる。また、キャラクタ制御部１０１ａは、機器２ｂにシンボル３０ａの表示を指示してもよい。これにより、機器２ｂが表示部を備えている場合には、該表示部にシンボル３０ａを表示させることができる。またこの際、キャラクタ制御部１０１ａは、機器２ｂが備えている表示部にシンボル３０ａをフェードインさせる演出を行ってもよい。これにより、執事ａが機器２ｂに到来したかのような感覚をユーザに与えることができる。これらの演出は、以下の各例におけるシンボル３０の表示開始、および表示終了時にも適用できる。なお、執事ａが単体であるとユーザに認識させるため、複数の機器２に同時にシンボル３０ａが表示されないようにすることが好ましい。 When the device selection unit 103 determines that the selected device 2a is correct (YES in S19), the character control unit 101a continues the dialogue with the user via the device 2a (S20). On the other hand, when the device selection unit 103 determines that the selected device 2a is an error (NO in S19), the device selection unit 103 changes the device 2 to be made to respond to the user to the device 2b. At this time, if the device 2a is displaying the symbol 30a of the butler a, the character control unit 101a ends the display of the symbol 30a. At this time, the character control unit 101a may perform an effect of fading out the symbol 30a. As a result, the user can be given the feeling that the butler a has left the device 2a. Further, the character control unit 101a may instruct the device 2b to display the symbol 30a. As a result, when the device 2b is provided with a display unit, the symbol 30a can be displayed on the display unit. At this time, the character control unit 101a may perform an effect of fading in the symbol 30a to the display unit provided in the device 2b. As a result, the user can be given the feeling that the butler a has arrived at the device 2b. These effects can also be applied at the start and end of the display of the symbol 30 in each of the following examples. In order to make the user recognize that the butler a is a single unit, it is preferable not to display the symbol 30a on the plurality of devices 2 at the same time.

また、機器選択部１０３は、複数の機器２によって音声が同時に認識された回数が所定回数（例えば５回）以上であるか否かを判定する（Ｓ２１）。ここで機器選択部１０３が所定回数以上であると判定した場合（Ｓ２１でＹＥＳ）、キャラクタ制御部１０１ａは、執事を呼び出す発話を行う際に、機器２を指定することを薦めるメッセージの発話指示を機器２ｂに送信する（Ｓ２２）。そして、機器２ｂの音声出力制御部２０２は、キャラクタ制御部１０１ａの制御に従って、音声出力部２４から上記メッセージを音声出力する（Ｓ６１）。 Further, the device selection unit 103 determines whether or not the number of times the voice is simultaneously recognized by the plurality of devices 2 is a predetermined number of times (for example, 5 times) or more (S21). Here, when the device selection unit 103 determines that the number of times is equal to or greater than the predetermined number of times (YES in S21), the character control unit 101a gives an utterance instruction of a message recommending that the device 2 be specified when the butler is called. It is transmitted to the device 2b (S22). Then, the voice output control unit 202 of the device 2b outputs the above message by voice from the voice output unit 24 according to the control of the character control unit 101a (S61).

上記メッセージは、例えば「お呼び出しの際に機器名を仰って頂けると嬉しいです」のようなメッセージであってもよい。このようなメッセージを発話させることにより、複数の機器２がユーザの声を検出しやすいような状況（複数の機器２が近接して配置されている、ユーザの声が大きい等）においても、ユーザの意図する機器２を介したユーザとの対話を成立させやすくなる。ユーザが機器名を発話した場合、音声解析により、その機器名の機器２を特定し、該機器２に発話させることができるからである。 The above message may be, for example, a message such as "I would be grateful if you could ask for the device name when calling." By uttering such a message, even in a situation where a plurality of devices 2 can easily detect the user's voice (a plurality of devices 2 are arranged close to each other, the user's voice is loud, etc.), the user It becomes easy to establish a dialogue with the user through the device 2 intended by. This is because when the user speaks the device name, the device 2 with the device name can be identified by voice analysis and the device 2 can speak.

一方、機器選択部１０３が所定回数未満であると判定した場合（Ｓ２１でＮＯ）、キャラクタ制御部１０１ａは、上記メッセージは発話させることなく、機器２ｂを介したユーザとの対話を開始する（Ｓ２３）。なお、図６のＳ１３でＹＥＳと判定された場合、およびＳ１５においてＹＥＳと判定された場合においても、図７のＳ２１の処理を実行してもよい。そして、所定回数以上であると判定した場合には、上記メッセージを機器２ａまたは機器２ｂに発話させてもよい。 On the other hand, when the device selection unit 103 determines that the number of times is less than the predetermined number (NO in S21), the character control unit 101a starts a dialogue with the user via the device 2b without uttering the above message (S23). ). The process of S21 of FIG. 7 may be executed even when YES is determined in S13 of FIG. 6 and YES is determined in S15. Then, when it is determined that the number of times is equal to or greater than the predetermined number of times, the above message may be spoken to the device 2a or the device 2b.

また、ユーザの発話を検出した機器２が３つ以上である場合には、機器選択部１０３は各機器２が検出した音声の音量情報を参照して、最も大きい音量を示す音量情報に対応する機器２を選択する。この場合、機器選択部１０３は、音量情報の示す音量が、複数の機器２間で差異がないと判定した場合には、当該複数の機器２の何れかを選択して、Ｓ１７以降の処理を実行する。 When the number of devices 2 that have detected the user's utterance is three or more, the device selection unit 103 refers to the volume information of the voice detected by each device 2 and corresponds to the volume information indicating the loudest volume. Select device 2. In this case, when the device selection unit 103 determines that the volume indicated by the volume information does not differ between the plurality of devices 2, the device selection unit 103 selects one of the plurality of devices 2 and performs the processing after S17. Execute.

また、上記ではメッセージを機器２に音声出力させる例を説明したが、メッセージをユーザに通知する態様はこの例に限られない。例えば、ユーザの発話した音声を検出した機器２以外の機器（他の機器２であってもよいし、それ以外の機器であってもよい）に上記メッセージを音声出力させてもよい。また、例えば、上記メッセージを機器２または他の機器に表示させることによってユーザに通知してもよい。 Further, although the example of causing the device 2 to output the message by voice has been described above, the mode of notifying the user of the message is not limited to this example. For example, the above message may be output by voice to a device other than the device 2 (which may be another device 2 or a device other than the device 2) that has detected the voice spoken by the user. Further, for example, the user may be notified by displaying the above message on the device 2 or another device.

〔機器選択の他の例〕
機器選択部１０３は、機器２と関連する他の機器の稼働状態に応じて、発話させる機器２を選択してもよい。これについて、図８に基づいて説明する。図８は、照明装置の稼働状態に応じて、発話させる機器２を選択する例を示す図である。 [Other examples of device selection]
The device selection unit 103 may select the device 2 to be uttered according to the operating state of another device related to the device 2. This will be described with reference to FIG. FIG. 8 is a diagram showing an example of selecting the device 2 to be uttered according to the operating state of the lighting device.

図示の例では、室内に照明装置３ａおよび照明装置３ｂが配置されている。そして、照明装置３ａが照明するエリアにはテレビジョン受像機である機器２ｆが配置されており、照明装置３ｂが照明するエリアには機器２ａが配置されている。そして、ユーザは、執事ａを呼び出すための発話を行っており、この発話の音声が機器２ｆを介してサーバ１に送信されると共に、機器２ａを介してサーバ１に送信されている。 In the illustrated example, the lighting device 3a and the lighting device 3b are arranged in the room. The device 2f, which is a television receiver, is arranged in the area illuminated by the lighting device 3a, and the device 2a is arranged in the area illuminated by the lighting device 3b. Then, the user is making an utterance to call the butler a, and the voice of this utterance is transmitted to the server 1 via the device 2f and is also transmitted to the server 1 via the device 2a.

この例においても、図５の例と同様に、ユーザの１つの発話を複数の機器２が検出しているから、機器選択部１０３は、何れかの機器２を選択する。具体的には、図８の例では、機器選択部１０３は、照明装置３ａから、該照明装置３ａの稼働状態を示す稼働情報を取得すると共に、照明装置３ｂから、該照明装置３ｂの稼働状態を示す稼働情報を取得している。図示の例では、照明装置３ａは点灯しているから、照明装置３ａから取得した稼働情報は点灯中であることを示す情報となる。一方、照明装置３ｂは点灯していないから、照明装置３ｂから取得した稼働情報は点灯していないことを示す情報となる。この場合、機器選択部１０３は、発話させる機器２として、点灯中の照明装置３ａが照明するエリアに配置されている機器２ｆを選択する。これにより、キャラクタ制御部１０１ａは、機器２ｆにシンボル３０ａを表示させると共に、ユーザに対して執事ａによる発話を行わせる。 In this example as well, as in the example of FIG. 5, since the plurality of devices 2 detect one utterance of the user, the device selection unit 103 selects any device 2. Specifically, in the example of FIG. 8, the device selection unit 103 acquires the operation information indicating the operating state of the lighting device 3a from the lighting device 3a, and the operating state of the lighting device 3b from the lighting device 3b. The operation information indicating is acquired. In the illustrated example, since the lighting device 3a is lit, the operation information acquired from the lighting device 3a is information indicating that the lighting device 3a is lit. On the other hand, since the lighting device 3b is not lit, the operation information acquired from the lighting device 3b is information indicating that the lighting device 3b is not lit. In this case, the device selection unit 103 selects the device 2f arranged in the area illuminated by the lit lighting device 3a as the device 2 to be uttered. As a result, the character control unit 101a causes the device 2f to display the symbol 30a and causes the user to speak by the butler a.

なお、機器２が何れの照明装置の照明するエリアに配置されているかは、例えば機器管理情報１１２に予め登録しておけばよい。また、複数の照明装置が点灯状態にある場合には、点灯した順序や点灯継続時間等に応じて、何れの照明装置の照明するエリアに配置された機器２を選択するかを決定してもよい。例えば、先に点灯した照明装置の照明するエリアに配置された機器２を選択してもよいし、点灯継続時間がより長い照明装置の照明するエリアに配置された機器２を選択してもよい。この他、予め機器２に優先順位を設定しておき、優先順位がより高い機器２を選択してもよい。 It should be noted that which lighting device the device 2 is arranged in the illuminated area may be registered in advance in, for example, device management information 112. Further, when a plurality of lighting devices are in a lighting state, even if it is determined which lighting device is arranged in the illuminated area according to the lighting order, lighting duration, and the like. Good. For example, the device 2 arranged in the illuminated area of the lighting device lit earlier may be selected, or the device 2 arranged in the illuminated area of the illuminating device having a longer lighting duration may be selected. .. In addition, the device 2 may have a priority set in advance, and the device 2 having a higher priority may be selected.

この他にも、例えば、テレビジョン受像機や、空気調和機（エアコン、加湿器、除湿器等）のように、稼働時にユーザが近くに居ることが多い機器（機器２であってもよいし他の機器であってもよい）が稼働している場合に、該機器の近隣機器に設定されている機器２を優先して選択してもよい。あるいは、上記のような稼働中の機器と設置場所（設置されている部屋）が同じである機器２を優先して選択してもよい。さらに、機器選択部１０３は、複数の機器２の稼働状態に応じて機器２を選択してもよい。これにより、稼働中の機器２や、稼働中の機器２の近く、あるいは稼働中の機器２と同じ部屋に配置された機器２を選択することができる。また、例えば充電中の機器２や、ユーザが使用中の機器２を選択対象から除外することもできる。これにより、機器２の充電や、ユーザによる機器２の使用（例えばテレビ番組などの視聴）が、執事による発話で妨げられることを防ぐことができる。 In addition to this, for example, a device (equipment 2 may be used) such as a television receiver or an air conditioner (air conditioner, humidifier, dehumidifier, etc.) in which the user is often nearby during operation. When (may be another device) is in operation, the device 2 set as a neighboring device of the device may be preferentially selected. Alternatively, the device 2 having the same installation location (installed room) as the operating device as described above may be preferentially selected. Further, the device selection unit 103 may select the device 2 according to the operating state of the plurality of devices 2. As a result, it is possible to select the device 2 in operation, the device 2 located near the device 2 in operation, or in the same room as the device 2 in operation. Further, for example, the device 2 being charged or the device 2 being used by the user can be excluded from the selection target. This makes it possible to prevent the charging of the device 2 and the use of the device 2 by the user (for example, viewing a TV program or the like) from being hindered by the utterance by the butler.

また、機器選択部１０３は、ユーザの発話内容に応じて機器２を選択してもよい。例えば、ユーザが特に意味のない発話（例えばつぶやき）を行った場合には、ユーザの近くにある機器２を選択してもよい。この場合、例えば、上述の例のように、検出した音声の音量が最も大きかった機器２をユーザの近くにある機器２として選択してもよい。また、ユーザが特に意味のない発話を行った場合には、キャラクタ制御部１０１は、ユーザに要件を尋ねるメッセージを機器２に発話させてもよいし、要件とは関係のない、ユーザとの対話のための発話を行わせてもよい。 Further, the device selection unit 103 may select the device 2 according to the utterance content of the user. For example, when the user makes a meaningless utterance (for example, a tweet), the device 2 near the user may be selected. In this case, for example, as in the above example, the device 2 having the loudest detected voice volume may be selected as the device 2 near the user. Further, when the user makes an utterance that has no particular meaning, the character control unit 101 may cause the device 2 to utter a message asking the user for the requirement, or a dialogue with the user that has nothing to do with the requirement. May be made to speak for.

なお、機器選択部１０３は、ユーザが発話した語句に、用事の依頼に関する所定の語句が含まれていない場合には、その発話を意味のない発話として扱えばよい。上記所定の語句としては、例えば、図１３に基づいて後述する例における「伝言」や、図１４に基づいて後述する例における「探して」等の他、空気調和機（エアコン、加湿器、除湿器等）を動作させるトリガとなる「暑い」、「寒い」、「乾燥」等が挙げられる。また、「テレビの電源をつけて」等のように、機器２を指定する語句をユーザが発話した場合には、機器選択部１０３は、その発話を機器２の動作制御を依頼する発話として扱ってもよい。 If the word or phrase spoken by the user does not include a predetermined word or phrase related to the request for errand, the device selection unit 103 may treat the utterance as a meaningless utterance. The predetermined words and phrases include, for example, "message" in the example described later based on FIG. 13, "search" in the example described later based on FIG. 14, and an air conditioner (air conditioner, humidifier, dehumidifier). Examples include "hot", "cold", and "dry" that trigger the operation of the vessel. Further, when the user utters a phrase specifying the device 2 such as "Turn on the power of the TV", the device selection unit 103 treats the utterance as an utterance requesting the operation control of the device 2. You may.

ユーザが執事に用事を依頼する発話を行った場合には、機器選択部１０３は、その用事に関連した機器２を選択してもよい。例えば、ユーザが依頼した用事が、家電である機器２に所定の動作を実行させることである場合、当該機器２を選択してもよい。例えば、空気調和機（エアコン）の設定温度の変更を依頼された場合には、空気調和機（エアコン）である機器２ｂを選択し、テレビジョン受像機の音量変更を依頼された場合には、テレビジョン受像機である機器２ｆを選択してもよい。依頼した用事に関連した機器２には、ユーザが注目している可能性が高いので、このような機器２を選択することにより、機器２を介したユーザとの対話が成立しやすくなる。なお、ユーザが執事に用事を依頼する発話を行った場合であっても、例えばその用事に関連した機器２を認識することができない等により、そのような機器２選択することができないときには、ユーザの近くにある機器２等を選択してもよい。そして、キャラクタ制御部１０１は、ユーザに要件を尋ねるメッセージを該機器２に発話させてもよい。 When the user makes an utterance requesting a butler to do business, the device selection unit 103 may select the device 2 related to the business. For example, when the business requested by the user is to cause the device 2 which is a home appliance to perform a predetermined operation, the device 2 may be selected. For example, when a request is made to change the set temperature of an air conditioner (air conditioner), the device 2b which is an air conditioner (air conditioner) is selected, and when a request is made to change the volume of the television receiver, the device 2b is selected. The device 2f, which is a television receiver, may be selected. Since there is a high possibility that the user is paying attention to the device 2 related to the requested errand, selecting such a device 2 makes it easier to establish a dialogue with the user via the device 2. Even if the user makes an utterance requesting an errand to the butler, if the device 2 related to the errand cannot be recognized, for example, the user cannot select such a device 2. You may select the device 2 or the like near the. Then, the character control unit 101 may cause the device 2 to utter a message asking the user for the requirements.

また、機器選択部１０３は、ユーザの発話を複数の機器２が検出した場合、それら複数の機器２のうち、電源に接続されている機器２を、バッテリで駆動する機器２よりも優先して選択してもよい。これにより、ユーザは、バッテリの消耗を気にすることなく機器２を介して執事と対話することができる。なお、バッテリで駆動する機器であるか、電源に接続して使用する機器であるかは、例えば機器管理情報１１２に予め記述しておいてもよい。 Further, when the plurality of devices 2 detect the user's utterance, the device selection unit 103 gives priority to the device 2 connected to the power supply among the plurality of devices 2 over the device 2 driven by the battery. You may choose. As a result, the user can interact with the butler through the device 2 without worrying about the battery consumption. Whether the device is battery-powered or connected to a power source may be described in advance in, for example, device management information 112.

この他にも、機器選択部１０３は、例えば、各種センサの検出結果を取得し、該検出結果に基づいて機器２を選択してもよい。機器２の選択に利用可能なセンサとしては、例えば人感センサ、照度センサ、加速度センサ、ドアなどの開閉を検出するセンサ等が挙げられる。このようなセンサは、機器２が備えていてもよいし、他の機器が備えていてもよく、単体で配置されていてもよい。人感センサを利用する場合、該センサにて検出したユーザの近くの機器２を選択することができる。また、照度センサを利用する場合、周囲が明るく、周囲にユーザが居る可能性の高い機器２を選択したり、逆に周囲が暗く、周囲にユーザが居る可能性の低い機器２を選択対象から除外したりすることができる。加速度センサや、ドアなどの開閉を検出するセンサを利用する場合、ユーザが携帯している機器２や、ユーザが操作中である機器２を選択することができる。 In addition to this, the device selection unit 103 may acquire detection results of various sensors and select the device 2 based on the detection results, for example. Examples of the sensor that can be used for selecting the device 2 include a motion sensor, an illuminance sensor, an acceleration sensor, a sensor that detects the opening / closing of a door, and the like. Such a sensor may be provided by the device 2, may be provided by another device, or may be arranged as a single unit. When using a motion sensor, a device 2 near the user detected by the sensor can be selected. Further, when using the illuminance sensor, the device 2 having a bright surroundings and a high possibility of having a user in the surroundings is selected, or conversely, the device 2 having a dark surroundings and a low possibility of having a user in the surroundings is selected from the selection targets. It can be excluded. When using an acceleration sensor or a sensor that detects the opening / closing of a door or the like, the device 2 carried by the user or the device 2 being operated by the user can be selected.

また、機器選択部１０３は、複数種類の情報に基づいて機器２を選択してもよい。例えば、センサの検出結果と、ユーザの発話内容の解析結果との双方に基づいて機器２を選択してもよいし、さらに他の機器の稼働情報についても考慮して機器２を選択してもよい。様々な情報を考慮して選択することにより、より適切な機器２を選択することが可能になる。 Further, the device selection unit 103 may select the device 2 based on a plurality of types of information. For example, the device 2 may be selected based on both the detection result of the sensor and the analysis result of the utterance content of the user, or the device 2 may be selected in consideration of the operation information of other devices. Good. By selecting in consideration of various information, it becomes possible to select a more appropriate device 2.

なお、上記では、ユーザの発話した音声を検出した機器２を選択候補として、この選択候補の中から機器２を選択する例を説明したが、音声解析結果を用いずに機器２を選択する場合には、ユーザの発話した音声を検出していない機器２も選択候補に含めてもよい。例えば、ユーザの発話した音声を検出した機器２と同じ部屋に配置されている機器２や、ユーザの発話した音声を検出した機器２の近隣機器に設定されている機器２を選択候補に含めてもよい。 In the above, an example of selecting the device 2 from the selection candidates with the device 2 that has detected the voice spoken by the user as a selection candidate has been described, but when the device 2 is selected without using the voice analysis result. The device 2 that has not detected the voice spoken by the user may also be included in the selection candidates. For example, a device 2 located in the same room as the device 2 that detects the voice spoken by the user and a device 2 set as a neighboring device of the device 2 that detects the voice spoken by the user are included in the selection candidates. May be good.

〔機器変更の例〕
サーバ１は、執事を提供する対象とする機器２を選択した後で変更することもできる。これについて、図９に基づいて説明する。図９は、執事ｃの提供先を機器２ｄから機器２ａに変更した例を示す図である。 [Example of equipment change]
The server 1 can also be changed after selecting the device 2 for which the butler is to be provided. This will be described with reference to FIG. FIG. 9 is a diagram showing an example in which the supply destination of the butler c is changed from the device 2d to the device 2a.

同図の（ａ）の例では、ユーザＣが機器２ｄに対して、執事ｃに明日の天気を問う発話を行っている。そして、サーバ１はこの発話に応じて、機器２ｄに執事ｃのシンボル３０ｃを表示させると共に、機器２ｄに執事ｃによるメッセージ、具体的には明日の天気をユーザＣに通知するメッセージを発話させている。なお、サーバ１は、明日の天気等のように、サーバ１が保有していない情報については、図２に示した外部情報サービスから取得する。 In the example of (a) in the figure, the user C makes an utterance to the device 2d asking the butler c about the weather tomorrow. Then, in response to this utterance, the server 1 causes the device 2d to display the symbol 30c of the butler c, and causes the device 2d to utter a message by the butler c, specifically, a message notifying the user C of tomorrow's weather. There is. Note that the server 1 acquires information that the server 1 does not have, such as tomorrow's weather, from the external information service shown in FIG.

この後、ユーザＣが帰宅して家の中で発話すると、同図の（ｂ）に示すように、機器２ｄは検出した音声をサーバ１に送信する。ここで、上記音声を受信したサーバ１では、機器選択部１０３が、ユーザＣが帰宅したことを検出し、機器２ｄではなく、家の中に設置されている機器２ａを執事ｃの提供先として選択する。これにより、機器２ａが、シンボル３０ｃを表示すると共に、執事ｃによるメッセージを発話している。つまり、図１２の例では、機器選択部１０３は、ユーザが家の中、すなわち据え置き型の機器２ａが設置されているエリアに居ることを検出したときには、執事ｃの提供先として、携帯型の機器２ｄよりも、据え置き型の機器２ａを優先して選択している。これにより、機器２ｄのバッテリの消費を抑えることができる、また、ユーザは、機器２ｄを把持していなくとも執事ｃとの対話が可能となる。 After that, when the user C returns home and speaks in the house, the device 2d transmits the detected voice to the server 1 as shown in (b) of the figure. Here, in the server 1 that has received the above voice, the device selection unit 103 detects that the user C has returned home, and instead of the device 2d, the device 2a installed in the house is used as the provider of the butler c. select. As a result, the device 2a displays the symbol 30c and utters a message by the butler c. That is, in the example of FIG. 12, when the device selection unit 103 detects that the user is in the house, that is, in the area where the stationary device 2a is installed, the device selection unit 103 serves as the butler c as a portable device. The stationary device 2a is preferentially selected over the device 2d. As a result, the battery consumption of the device 2d can be suppressed, and the user can interact with the butler c even if he / she does not hold the device 2d.

なお、ユーザが家の中に居ることを判定する手法は特に限定されない。例えば、自宅の位置を予めユーザに登録させておくと共に、機器２ｄの位置情報をサーバ１に送信させ、該位置情報が示す位置が、予め登録された自宅位置である場合にユーザが家の中に居ると判定してもよい。また、例えば機器２ｄが家庭内ＬＡＮに接続されていることを検出した場合や、機器２ｄが充電器に接続されていることを検出した場合に、ユーザが家の中に居ると判定してもよい。この他にも、機器２ａまたは家の中に設置されている他の機器（機器２であってもそれ以外の機器であってもよい）が人感センサ等によりユーザの存在を検出した場合や、ユーザの発話を検出した場合に、ユーザが家の中に居ると判定してもよい。 The method for determining that the user is in the house is not particularly limited. For example, when the user is made to register the home position in advance and the position information of the device 2d is transmitted to the server 1, and the position indicated by the location information is the pre-registered home position, the user is in the house. You may decide that you are in. Further, for example, when it is detected that the device 2d is connected to the home LAN or when the device 2d is detected to be connected to the charger, even if it is determined that the user is in the house. Good. In addition to this, when the device 2a or another device installed in the house (which may be the device 2 or another device) detects the presence of the user by a motion sensor or the like. , When the user's utterance is detected, it may be determined that the user is in the house.

さらに、機器２ｄとの無線通信の電波強度が大きい機器２は、機器２ｄの近くに配置されており、かつこれらの機器の間に電波を遮断する壁等が存在しないと考えられる。このため、家の中に配置されている機器２と機器２ｄとの無線通信の電波強度が所定値以上となったときに、ユーザが家の中に居ると判定してもよい。また、家の中に複数の機器２が配置されている場合、機器選択部１０３は、それらの機器２のうち、機器２ｄとの無線通信の電波強度の大きさが大きい機器２を優先して選択するようにしてもよい。 Further, it is considered that the device 2 having a high radio wave strength for wireless communication with the device 2d is arranged near the device 2d, and there is no wall or the like for blocking the radio wave between these devices. Therefore, it may be determined that the user is in the house when the radio wave intensity of the wireless communication between the device 2 and the device 2d arranged in the house becomes a predetermined value or more. Further, when a plurality of devices 2 are arranged in the house, the device selection unit 103 gives priority to the device 2 having a large radio field intensity of wireless communication with the device 2d among the devices 2. You may choose.

また、機器選択部１０３は、機器２を選択して、該機器２による発話が行われた後、該発話に対するユーザの応答が検出されない場合に、機器２を変更してもよい。そして、機器２を変更する場合、所定の優先順位に従って順次機器２を変更してもよい。例えば、機器選択部１０３は、ユーザが所持している可能性の高い携帯型の機器２を最初に選択し、所定時間が経過してもユーザの応答がなければ、稼働中の機器２を次に選択してもよい。稼働中の機器２が複数存在する場合、テレビジョン受像機等のユーザの注目を集めやすい機器２をまず選択し、次に空気調和機等の目立つ位置に配置されている機器２を選択してもよい。そして、所定数の機器２に発話させてもユーザの応答がなければ、再度携帯型の機器２を選択して、該機器２が再度発話するようにしてもよい。また、優先順位の他の例として、最優先の機器２を稼働中の機器２とし、以下、稼働中の機器２の近隣機器となっている機器２、稼働中の機器２と設置場所（部屋）が同じ機器２、稼働中ではないが目立つ機器２（例えば空気調和機等）といった順位が挙げられる。 Further, the device selection unit 103 may change the device 2 when the device 2 is selected and the user's response to the utterance is not detected after the utterance is performed by the device 2. Then, when changing the device 2, the device 2 may be changed in sequence according to a predetermined priority. For example, the device selection unit 103 first selects the portable device 2 that is likely to be possessed by the user, and if there is no response from the user even after a predetermined time has elapsed, the device 2 in operation is next. You may choose to. When there are a plurality of devices 2 in operation, first select the device 2 that easily attracts the user's attention such as a television receiver, and then select the device 2 that is arranged in a prominent position such as an air conditioner. May be good. Then, if there is no response from the user even if a predetermined number of devices 2 speak, the portable device 2 may be selected again so that the device 2 speaks again. Further, as another example of the priority, the highest priority device 2 is set as the operating device 2, and hereinafter, the device 2 which is a neighboring device of the operating device 2, the operating device 2 and the installation location (room). ) Is the same equipment 2, and equipment 2 that is not in operation but stands out (for example, an air conditioner) can be ranked.

〔執事選択の例〕
サーバ１は、複数のユーザからの執事の呼び出しを検出した場合、何れかのユーザの執事を選択して、その執事のキャラクタで機器２に応答させる。これについて、図１０に基づいて説明する。図１０は、２人のユーザからの執事の呼び出しを検出したサーバ１が、一方のユーザの執事により機器２ｂに発話させる例を示す図である。 [Example of butler selection]
When the server 1 detects a butler's call from a plurality of users, it selects one of the users' butlers and causes the device 2 to respond with the character of the butler. This will be described with reference to FIG. FIG. 10 is a diagram showing an example in which the server 1 that has detected a butler's call from two users causes the device 2b to speak by the butler of one user.

図示の例では、ユーザＡは、該ユーザの執事である執事ａに冷房運転の開始を指示する発話をしている。一方、ユーザＢは、該ユーザの執事である執事ｂに今日のスケジュールの通知を指示する発話をしている。これらの発話の音声は、何れも機器２ｂが検出してサーバ１に送信している。そして、サーバ１は、ユーザＡの音声と、ユーザＢの音声とをそれぞれ解析して、機器２ｂによる応答の際に適用するキャラクタ（応答キャラクタ）を選択する。なお、キャラクタの選択基準については後述する。 In the illustrated example, the user A makes an utterance instructing the butler a, who is the user's butler, to start the cooling operation. On the other hand, the user B makes an utterance instructing the butler b, who is the user's butler, to notify the schedule of today. The voices of these utterances are all detected by the device 2b and transmitted to the server 1. Then, the server 1 analyzes the voice of the user A and the voice of the user B, respectively, and selects a character (response character) to be applied when the device 2b responds. The character selection criteria will be described later.

図示の例では、サーバ１は、執事ａのキャラクタを選択して、機器２ｂに発話指示を送信している。そして、機器２ｂは、この発話指示に従い、執事ａのキャラクタにてユーザに応答している。また、サーバ１は、選択しなかった執事ｂによる発話が、この後で行われることを示すメッセージも機器２ｂに発話させている。これにより、ユーザＡと執事ａとの対話の後で、機器２ｂを介して執事ｂとの対話を行うことができることをユーザにＢに認識させることができる。 In the illustrated example, the server 1 selects the character of the butler a and transmits the utterance instruction to the device 2b. Then, the device 2b responds to the user with the character of the butler a according to this utterance instruction. The server 1 also causes the device 2b to utter a message indicating that the utterance by the butler b who has not been selected will be performed after that. As a result, the user can be made to recognize that the dialogue with the butler b can be performed via the device 2b after the dialogue between the user A and the butler a.

なお、ユーザＢの声が届く範囲に他の機器２が存在する場合には、当該他の機器２を介してユーザＢと執事ｂとを対話させてもよい。ただし、ユーザＢが話し掛けた機器２ｂとは異なる機器２がユーザＢに応答した場合、ユーザＢが混乱したり、応答に気づかなかったりする可能性があるから、機器２ｂを介してユーザＢと執事ｂとを対話させることが好ましい。 If another device 2 is within the reach of the user B's voice, the user B and the butler b may interact with each other via the other device 2. However, if a device 2 different from the device 2b spoken by the user B responds to the user B, the user B may be confused or may not notice the response. Therefore, the butler and the user B via the device 2b may be confused. It is preferable to have a dialogue with b.

〔処理の流れ（複数のユーザが同時に執事を呼び出した場合）〕
続いて、複数のユーザが同時に執事を呼び出した場合の処理の流れを図１１および図１２に基づいて説明する。図１１は、ユーザＡおよびユーザＢが執事を呼び出す発話を同時に検出し、検出した各発話における音声の音量に差異があった場合の処理の一例を示すフローチャートである。また、図１２は、ユーザＡおよびユーザＢが執事を呼び出す発話を同時に検出し、検出した各発話における音声の音量に差異がなかった場合の処理の一例を示すフローチャートである。 [Process flow (when multiple users call the butler at the same time)]
Subsequently, the flow of processing when a plurality of users call the butler at the same time will be described with reference to FIGS. 11 and 12. FIG. 11 is a flowchart showing an example of processing when user A and user B simultaneously detect utterances calling a butler and there is a difference in the volume of voice in each of the detected utterances. Further, FIG. 12 is a flowchart showing an example of processing when the utterances in which the user A and the user B call the butler are simultaneously detected and there is no difference in the volume of the voice in each of the detected utterances.

図１１の例では、機器２の音声取得部２０１がユーザＡの発話を検知し（Ｓ９１）、該発話の音声である音声Ａと機器２の機器ＩＤとをサーバ１に送信する（Ｓ９２）。また、音声取得部２０１は、ユーザＢの発話を検知し（Ｓ９３）、該発話の音声である音声Ｂと機器２の機器ＩＤとをサーバ１に送信する（Ｓ９４）。 In the example of FIG. 11, the voice acquisition unit 201 of the device 2 detects the utterance of the user A (S91), and transmits the voice A, which is the voice of the utterance, and the device ID of the device 2 to the server 1 (S92). Further, the voice acquisition unit 201 detects the utterance of the user B (S93), and transmits the voice B, which is the voice of the utterance, and the device ID of the device 2 to the server 1 (S94).

サーバ１の音声解析部１０４は、上記音声Ａを解析する（Ｓ７１）と共に、上記音声Ｂを解析する（Ｓ７２）。そして、キャラクタ選択部１０２は、上記解析の結果から、音声Ａが執事ａの呼び出しを求めるものであり、音声Ｂが執事ｂの呼び出しを求めるものであることを特定する。そして、キャラクタ選択部１０２は、Ｓ７１およびＳ７２の解析結果に基づいて、音声Ａの音量が音声Ｂの音量よりも大きいか否かを判定する（Ｓ７３）。なお、音量の大小関係の判定処理は、図６と同様であるからここでは説明を省略する。 The voice analysis unit 104 of the server 1 analyzes the voice A (S71) and analyzes the voice B (S72). Then, the character selection unit 102 identifies from the result of the above analysis that the voice A requests the call of the butler a and the voice B requests the call of the butler b. Then, the character selection unit 102 determines whether or not the volume of the voice A is higher than the volume of the voice B based on the analysis results of S71 and S72 (S73). Since the process for determining the volume relationship is the same as in FIG. 6, the description thereof will be omitted here.

キャラクタ選択部１０２は、音声Ａの音量が音声Ｂの音量よりも大きいと判定した場合（Ｓ７３でＹＥＳ）、音声Ａに対応するユーザＡに対応する執事ａのキャラクタを選択する。そして、執事ａに対応するキャラクタ制御部１０１ａが、機器２を介したユーザとの対話を開始する（Ｓ７４）。この場合、機器２の音声出力制御部２０２は、キャラクタ制御部１０１ａの制御に従って、音声出力部２４からユーザに対する発話の音声を出力する（Ｓ９５）。 When the character selection unit 102 determines that the volume of the voice A is higher than the volume of the voice B (YES in S73), the character selection unit 102 selects the character of the butler a corresponding to the user A corresponding to the voice A. Then, the character control unit 101a corresponding to the butler a starts a dialogue with the user via the device 2 (S74). In this case, the voice output control unit 202 of the device 2 outputs the voice of the utterance to the user from the voice output unit 24 according to the control of the character control unit 101a (S95).

一方、キャラクタ選択部１０２は、音声Ａの音量が音声Ｂの音量よりも大きくはないと判定した場合（Ｓ７３でＮＯ）、音声Ｂの音量が音声Ａの音量よりも大きいか否かを判定する（Ｓ７５）。この判定において、音声Ｂの音量が音声Ａの音量よりも大きいと判定した場合（Ｓ７５でＹＥＳ）、キャラクタ選択部１０２は、ユーザＢに対応する執事ｂのキャラクタを選択する。そして、執事ｂに対応するキャラクタ制御部１０１ｂが、機器２を介したユーザとの対話を開始する（Ｓ７６）。この場合、機器２の音声出力制御部２０２は、キャラクタ制御部１０１ｂの制御に従って、音声出力部２４からユーザに対する発話の音声を出力する（Ｓ９５）。 On the other hand, when the character selection unit 102 determines that the volume of the voice A is not louder than the volume of the voice B (NO in S73), the character selection unit 102 determines whether the volume of the voice B is louder than the volume of the voice A. (S75). In this determination, when it is determined that the volume of the voice B is higher than the volume of the voice A (YES in S75), the character selection unit 102 selects the character of the butler b corresponding to the user B. Then, the character control unit 101b corresponding to the butler b starts a dialogue with the user via the device 2 (S76). In this case, the voice output control unit 202 of the device 2 outputs the voice of the utterance to the user from the voice output unit 24 according to the control of the character control unit 101b (S95).

一方、キャラクタ選択部１０２が音声Ａの音量と音声Ｂの音量とに差異がないと判定した場合（Ｓ７５でＮＯ）、処理は図１２のＳ７７に進む。なお、音量の差が所定の下限値未満であれば、音量に差異がないと判定すればよい。図１２のＳ７７では、キャラクタ選択部１０２は、Ｓ７１の解析結果に基づいて執事ａのキャラクタを選択し、キャラクタ制御部１０１ａが、機器２に発話指示を送信する（Ｓ７７）。この発話指示は、執事ａのキャラクタによる発話を指示するものであり、発話されるメッセージは、執事ａがユーザの意図した執事であるか否か、すなわち選択したキャラクタの適否を問うものである。例えば、上記メッセージは、「Ａさんの執事の執事ａです。複数の方から執事の呼び出しがありましたが、私でよろしいでしょうか？」のようなメッセージであってもよい。 On the other hand, when the character selection unit 102 determines that there is no difference between the volume of the voice A and the volume of the voice B (NO in S75), the process proceeds to S77 in FIG. If the difference in volume is less than a predetermined lower limit, it may be determined that there is no difference in volume. In S77 of FIG. 12, the character selection unit 102 selects the character of the butler a based on the analysis result of S71, and the character control unit 101a transmits a utterance instruction to the device 2 (S77). This utterance instruction instructs the character of the butler a to utter, and the message to be uttered asks whether the butler a is the butler intended by the user, that is, the suitability of the selected character. For example, the above message may be a message such as "Mr. A's butler's butler a. There were calls from multiple people, but is it okay with me?"

次に、機器２の音声出力制御部２０２は、キャラクタ制御部１０１ａの制御に従って、音声出力部２４から上記メッセージを音声出力する（Ｓ１０１）。そして、音声取得部２０１は、上記メッセージに対して回答したユーザの発話を検知し（Ｓ１０２）、この音声と機器２の機器ＩＤとをサーバ１に送信する（Ｓ１０３）。 Next, the voice output control unit 202 of the device 2 outputs the above message by voice from the voice output unit 24 according to the control of the character control unit 101a (S101). Then, the voice acquisition unit 201 detects the utterance of the user who responded to the above message (S102), and transmits this voice and the device ID of the device 2 to the server 1 (S103).

サーバ１の音声解析部１０４は、機器２から受信した上記音声を解析し（Ｓ７８）、キャラクタ選択部１０２はこの解析結果に基づいて、選択した執事ａが正しかったか否か、つまり執事ａがユーザの意図した執事であるか否かを判定する（Ｓ７９）。例えば、キャラクタ選択部１０２は、ユーザの発話に肯定的な語句が含まれている場合には正しかったと判定し、否定的な語句や他の執事を指定する語句が含まれている場合には誤りであったと判定してもよい。具体例を挙げれば、キャラクタ選択部１０２は、解析の結果に、「よい」、「正しい」等の語が含まれていた場合には、正しかったと判定してもよい。一方、「違う」、「執事ｂ」、「ユーザＢ」等の語が含まれていた場合には、誤りであったと判定してもよい。 The voice analysis unit 104 of the server 1 analyzes the above voice received from the device 2 (S78), and the character selection unit 102 determines whether or not the selected butler a is correct based on the analysis result, that is, the butler a is the user. It is determined whether or not the butler is the intended butler (S79). For example, the character selection unit 102 determines that the user's utterance was correct when it contained a positive phrase, and made an error when it contained a negative phrase or a phrase designating another butler. It may be determined that it was. To give a specific example, the character selection unit 102 may determine that the analysis result is correct when words such as "good" and "correct" are included. On the other hand, if words such as "different", "butler b", and "user B" are included, it may be determined that the error has occurred.

キャラクタ選択部１０２が執事ａは正しかったと判定した場合（Ｓ７９でＹＥＳ）、キャラクタ制御部１０１ａは、執事ａのキャラクタによるユーザとの対話を継続する（Ｓ８０）。一方、音声解析部１０４は、執事ａが誤りであったと判定した場合（Ｓ７９でＮＯ）、Ｓ７２の解析結果に基づいて執事ｂを選択し、執事ｂに対応するキャラクタ制御部１０１ｂを有効化し、執事ａに対応するキャラクタ制御部１０１ａは無効化する。キャラクタ制御部１０１ａは、機器２に執事ａのシンボル３０ａを表示させていた場合には、無効化される際に、該シンボル３０ａの表示を終了させる。 When the character selection unit 102 determines that the butler a is correct (YES in S79), the character control unit 101a continues the dialogue with the user by the character of the butler a (S80). On the other hand, when the voice analysis unit 104 determines that the butler a is incorrect (NO in S79), the voice analysis unit 104 selects the butler b based on the analysis result of S72, activates the character control unit 101b corresponding to the butler b, and activates the character control unit 101b. The character control unit 101a corresponding to the butler a is invalidated. If the device 2 is displaying the symbol 30a of the butler a, the character control unit 101a ends the display of the symbol 30a when it is invalidated.

次に、キャラクタ選択部１０２は、複数のユーザが執事を呼び出す音声を同時に認識した回数が所定回数（例えば５回）以上であるか否かを判定する（Ｓ８１）。キャラクタ選択部１０２は、所定回数以上であると判定した場合（Ｓ８１でＹＥＳ）、キャラクタ制御部１０１ｂは、執事を呼び出す発話を行う際に、執事すなわちユーザに応答するキャラクタを指定することを薦めるメッセージの発話指示を機器２に送信する（Ｓ８２）。そして、機器２の音声出力制御部２０２は、キャラクタ制御部１０１ｂの制御に従って、音声出力部２４から上記メッセージを音声出力する（Ｓ１０１）。 Next, the character selection unit 102 determines whether or not the number of times a plurality of users simultaneously recognize the voice calling the butler is a predetermined number of times (for example, 5 times) or more (S81). When the character selection unit 102 determines that the number of times is equal to or greater than a predetermined number (YES in S81), the character control unit 101b recommends that the butler, that is, the character responding to the user be specified when making an utterance to call the butler. The utterance instruction of is transmitted to the device 2 (S82). Then, the voice output control unit 202 of the device 2 outputs the above message by voice from the voice output unit 24 according to the control of the character control unit 101b (S101).

上記メッセージは、例えば「お呼び出しの際にユーザ名か執事名を仰って頂けると嬉しいです」のようなメッセージであってもよい。このようなメッセージを発話させることにより、機器２が複数のユーザの声を検出しやすいような状況（複数のユーザが集う場所に機器２が配置されている等）においても、適切な執事によりユーザへの応答を行うことが可能になる。ユーザがユーザ名や執事名を発話した場合、音声解析によってそのユーザ名または執事名に対応する執事を特定することができ、執事が特定できた場合には、その執事のキャラクタを優先して選択することができるからである。つまり、キャラクタ選択部１０２は、図１１のＳ７３の処理を行う前に、音声Ａおよび音声Ｂの何れかに、執事を特定可能な情報（執事名やユーザ名）が含まれているか否かを判定してもよい。そして、含まれていると判定した場合には、当該情報で特定される執事のキャラクタを選択してもよい。なお、上記情報が何れの音声にも含まれていないと判定した場合や、上記情報が両方の音声に含まれており、かつ各情報が示す執事が異なっていると判定した場合には、Ｓ７３の処理に進めばよい。 The above message may be, for example, a message such as "I would be grateful if you could ask for your user name or butler's name when calling." By uttering such a message, even in a situation where the device 2 can easily detect the voices of a plurality of users (such as the device 2 being arranged in a place where a plurality of users gather), the user by an appropriate butler. It becomes possible to make a response to. When the user speaks the user name or butler name, the butler corresponding to the user name or butler name can be identified by voice analysis, and if the butler can be identified, the character of the butler is preferentially selected. Because it can be done. That is, before performing the process of S73 in FIG. 11, the character selection unit 102 determines whether or not any of the voice A and the voice B contains information (butler name or user name) that can identify the butler. You may judge. Then, if it is determined that the character is included, the butler character specified by the information may be selected. If it is determined that the above information is not included in any of the voices, or if it is determined that the above information is included in both voices and the butler indicated by each information is different, S73 You can proceed to the processing of.

Ｓ８１において、音声解析部１０４が所定回数未満であると判定した場合（Ｓ８１でＮＯ）、キャラクタ制御部１０１ｂは、執事を指定することを薦める上記メッセージは発話させることなく、機器２を介したユーザとの対話を開始する（Ｓ８３）。なお、図１１のＳ７３でＹＥＳと判定された場合、およびＳ７５においてＹＥＳと判定された場合においても、図１２のＳ８１の処理を実行してもよい。そして、所定回数以上であると判定した場合には、執事を指定することを薦める上記メッセージを機器２ａまたは機器２ｂに発話させてもよい。 In S81, when the voice analysis unit 104 determines that the number of times is less than the predetermined number (NO in S81), the character control unit 101b recommends that the butler be designated, and the user via the device 2 does not utter the above message. Start a dialogue with (S83). The process of S81 of FIG. 12 may be executed even when YES is determined in S73 of FIG. 11 and YES is determined in S75. Then, when it is determined that the number of times is equal to or greater than the predetermined number of times, the device 2a or the device 2b may be made to utter the above message recommending that the butler be designated.

また、３人以上のユーザの発話を検出した場合には、キャラクタ選択部１０２は各ユーザの発話した音声の音量情報を参照して、最も大きい音量を示す音量情報に対応するユーザに対応するキャラクタを選択する。この場合、キャラクタ選択部１０２は、音量情報の示す音量が、複数のユーザ間で差異がないと判定した場合には、当該複数のユーザの何れかに対応するキャラクタを選択して、Ｓ７７以降の処理を実行する。 When the utterances of three or more users are detected, the character selection unit 102 refers to the volume information of the voice uttered by each user, and the character corresponding to the user corresponding to the volume information indicating the loudest volume. Select. In this case, when the character selection unit 102 determines that there is no difference in the volume indicated by the volume information among the plurality of users, the character selection unit 102 selects a character corresponding to any of the plurality of users, and S77 or later. Execute the process.

また、上記ではメッセージを機器２に音声出力させる例を説明したが、メッセージをユーザに通知する態様はこの例に限られない。例えば、ユーザの発話した音声を検出した機器２以外の機器（他の機器２であってもよいし、それ以外の機器であってもよい）に上記メッセージを音声出力させてもよい。また、例えば、上記メッセージを機器２または他の機器に表示させることによってユーザに通知してもよい。 Further, although the example of causing the device 2 to output the message by voice has been described above, the mode of notifying the user of the message is not limited to this example. For example, the above message may be output by voice to a device other than the device 2 (which may be another device 2 or a device other than the device 2) that has detected the voice spoken by the user. Further, for example, the user may be notified by displaying the above message on the device 2 or another device.

〔執事選択の他の例〕
キャラクタ選択部１０２は、ユーザの発話内容に応じてキャラクタを選択してもよい。例えば、ユーザＡが執事に用事を依頼する発話を行い、一方ユーザＢが特に意味のない発話を行った場合には、キャラクタ選択部１０２は、ユーザＡに対応する執事ａのキャラクタを選択してもよい。また、例えばユーザＡの発話に「急ぎ」、「至急」、「すぐに」等の緊急性の高さを示す語句が含まれており、一方ユーザＢの発話にはこのような語句が含まれていない場合には、キャラクタ選択部１０２は、ユーザＡに対応する執事ａのキャラクタを選択してもよい。 [Other examples of butler selection]
The character selection unit 102 may select a character according to the content of the user's utterance. For example, when the user A makes an utterance requesting the butler to do business, while the user B makes a meaningless utterance, the character selection unit 102 selects the character of the butler a corresponding to the user A. May be good. Further, for example, the utterance of the user A includes words and phrases indicating a high degree of urgency such as "urgent", "urgent", and "immediately", while the utterance of the user B includes such words and phrases. If not, the character selection unit 102 may select the character of the butler a corresponding to the user A.

〔執事によるお遣い〕
執事提供システム１００では、ユーザは、執事に他のユーザへのお遣いを行わせることもできる。これについて、図１３に基づいて説明する。図１３は、ユーザＡに対応する執事ａに、ユーザＣへのお遣いを行わせた例を示す図である。なお、本例におけるお遣いは、ユーザＣにユーザＡからのメッセージを伝えることである。 [Butler's money]
In the butler providing system 100, the user can also make the butler make a payment to another user. This will be described with reference to FIG. FIG. 13 is a diagram showing an example in which the butler a corresponding to the user A is made to send money to the user C. The message in this example is to convey a message from user A to user C.

同図の（ａ）の例では、ユーザＡ（第１のユーザ）が執事ａに対し、ユーザＣへの伝言を依頼する発話（所定の行為）を行っている。そして、機器２ａを介してこの発話の音声を受信したサーバ１では、キャラクタ選択部１０２が、上記音声の音声認識結果に基づき、ユーザＡの執事ａに対応するキャラクタ制御部１０１ａを有効化する。また、キャラクタ制御部１０１ａは、上記音声認識結果に基づき、伝言を依頼する発話が行われたと判定する。なお、伝言を依頼する発話が行われたか否かは、発話内容に所定のキーワード（この例では「伝言」とユーザ名）が含まれているか否かで判定することができる。 In the example (a) of the figure, the user A (first user) makes an utterance (predetermined act) requesting the butler a to send a message to the user C. Then, in the server 1 that receives the voice of this utterance via the device 2a, the character selection unit 102 activates the character control unit 101a corresponding to the butler a of the user A based on the voice recognition result of the voice. Further, the character control unit 101a determines that the utterance requesting a message has been made based on the voice recognition result. It should be noted that whether or not an utterance requesting a message has been made can be determined by whether or not a predetermined keyword (in this example, "message" and user name) is included in the utterance content.

伝言を依頼する発話が行われたと判定したキャラクタ制御部１０１ａは、機器２ａに執事ａのシンボル３０ａを表示させると共に、依頼を受け付けた旨の発話を行わせ、また伝言するメッセージ（以下、伝言メッセージと記載）の入力を促す発話を行わせている。この後、図示していないが、ユーザは伝言メッセージを発話し、サーバ１はこの伝言メッセージを、機器２ａを介して取得する。なお、ユーザの発話を複数の機器２が検出した場合、それらの機器２の中から機器選択部１０３が１つの機器２を選択し、キャラクタ制御部１０１ａが該機器２に発話させる。 The character control unit 101a, which determines that the utterance requesting the message has been made, causes the device 2a to display the symbol 30a of the butler a, makes the utterance to the effect that the request has been accepted, and sends a message (hereinafter, a message message). The utterance that prompts the input of) is made. After that, although not shown, the user utters a message, and the server 1 acquires the message via the device 2a. When a plurality of devices 2 detect a user's utterance, the device selection unit 103 selects one device 2 from those devices 2, and the character control unit 101a causes the device 2 to speak.

次に、伝言メッセージを取得したサーバ１では、執事ａに対応するキャラクタ制御部１０１ａが、機器２ａに対し、シンボル３０ａの表示を終了するように指示する。これにより、同図の（ｂ）に示すように、機器２ａの表示制御部２０３はシンボル３０ａの表示を終了する。 Next, in the server 1 that has acquired the message, the character control unit 101a corresponding to the butler a instructs the device 2a to end the display of the symbol 30a. As a result, as shown in (b) of the figure, the display control unit 203 of the device 2a ends the display of the symbol 30a.

続いて、機器選択部１０３は、伝言の通知先であるユーザＣ（第２のユーザ）に対応付けられた機器２ｄを、ユーザＡからの伝言の依頼に対する応答動作を実行させる機器として選択する。なお、伝言の通知先は、ユーザＡの発話した音声の音声認識結果から特定することが可能である。 Subsequently, the device selection unit 103 selects the device 2d associated with the user C (second user) who is the notification destination of the message as the device for executing the response operation in response to the message request from the user A. The notification destination of the message can be specified from the voice recognition result of the voice spoken by the user A.

そして、キャラクタ制御部１０１ａは、機器２ｄに対し、執事ａのシンボル３０ａの表示指示を送信すると共に、ユーザＡからの伝言がある旨のメッセージの発話指示を送信する。この指示を受信した機器２ｄでは、表示制御部２０３がシンボル３０ａを表示させ、音声出力制御部２０２が上記メッセージを音声出力させる。この音声出力は、ユーザＣに対応する執事ｃではなく、ユーザＡに対応する執事ａのキャラクタにて行われる。 Then, the character control unit 101a transmits a display instruction of the symbol 30a of the butler a to the device 2d, and also transmits an utterance instruction of a message indicating that there is a message from the user A. In the device 2d that has received this instruction, the display control unit 203 displays the symbol 30a, and the voice output control unit 202 outputs the above message by voice. This audio output is performed not by the butler c corresponding to the user C, but by the character of the butler a corresponding to the user A.

この後、図示していないが、キャラクタ制御部１０１ａは、ユーザＡから受け付けた伝言メッセージを機器２ｄに発話させ、発話終了後、シンボル３０ａの表示を終了させる。また、図示していないが、伝言メッセージの発話を終了した後、キャラクタ制御部１０１ａは、機器２ａにシンボル３０ａを再度表示させると共に、ユーザＣへの伝言が完了した旨のメッセージを発話させてもよい。 After that, although not shown, the character control unit 101a causes the device 2d to speak the message message received from the user A, and after the utterance is completed, the display of the symbol 30a is terminated. Further, although not shown, after the utterance of the message message is finished, the character control unit 101a may display the symbol 30a again on the device 2a and utter a message to the effect that the message to the user C is completed. Good.

なお、伝言メッセージの通知先とする機器２は、ユーザＣに関連する機器であればよく、ユーザＣの携帯端末である機器２ｄに限られない。例えば、キャラクタ制御部１０１ａは、図４に示すような機器管理情報１１２を参照して、ユーザＣが対応付けられている機器２を特定し、該機器２を伝言メッセージの通知先としてもよい。また、ユーザＣが対応付けられている機器２が複数ある場合には、キャラクタ制御部１０１ａは所定の優先順位に従って、通知先の機器２を決定してもよい。優先順位は、ユーザＣへの通知が成功する可能性が高い機器２が優先して通知先となるように設定しておくことが好ましい。例えば、ユーザＣが個人で利用する部屋に設置されている機器２や、ユーザＣが個人で利用する携帯端末である機器２ｄの優先順位を最も高く設定し、複数のユーザで共用する機器２の優先順位はそれよりも低く設定してもよい。 The device 2 to be notified of the message is not limited to the device 2d, which is the mobile terminal of the user C, as long as it is a device related to the user C. For example, the character control unit 101a may refer to the device management information 112 as shown in FIG. 4 to identify the device 2 to which the user C is associated, and use the device 2 as the notification destination of the message. Further, when there are a plurality of devices 2 to which the user C is associated, the character control unit 101a may determine the device 2 to be notified according to a predetermined priority. It is preferable that the priority is set so that the device 2 having a high possibility of succeeding in notifying the user C is given priority as the notification destination. For example, the device 2 installed in the room used by the user C or the device 2d which is the mobile terminal used by the user C personally has the highest priority and is shared by a plurality of users. The priority may be set lower than that.

また、近くにユーザＣまたは他のユーザが存在する可能性の高い機器２を通知先の機器２としてもよい。例えば、機能部２７を動作させている機器２、または近隣の機器が動作中である機器２が配置されている部屋にはユーザが存在する可能性が高いので、このような部屋に配置されている機器２を通知先の機器２としてもよい。ただし、冷蔵庫や洗濯機等のような、動作中にユーザが近くに居る必要のない機器２は、動作中であっても通知先の機器２としないことが好ましい。このような機器２については、該機器２に対してユーザが操作（例えば冷蔵庫の扉を開く、洗濯機の備える操作ボタンを操作する等）を行っていることが検知されたときに通知先の機器２とすることが好ましい。また、このような機器２と同じ部屋に配置されている他の機器２を通知先の機器２としてもよい。 Further, the device 2 that is likely to have the user C or another user nearby may be the device 2 to be notified. For example, since there is a high possibility that a user exists in a room in which a device 2 operating the functional unit 27 or a device 2 in which a nearby device is operating is arranged, the user is likely to be present in such a room. The device 2 may be the device 2 to be notified. However, it is preferable that the device 2 such as a refrigerator or a washing machine, which does not require the user to be nearby during operation, is not the device 2 to be notified even during operation. With respect to such a device 2, when it is detected that the user is performing an operation on the device 2 (for example, opening the door of the refrigerator, operating an operation button provided on the washing machine, etc.), the notification destination is It is preferably the device 2. Further, another device 2 arranged in the same room as the device 2 may be used as the notification destination device 2.

また、通知先の機器２に発話させたが、該発話に対するユーザからの応答が検出されない場合、機器選択部１０３は、他の機器２を通知先として決定し、キャラクタ制御部１０１ａは該機器２からユーザへの通知を行ってもよい。そして、通知先の機器２を変更して該機器２から発話させる処理は、ユーザからの応答が検出されるまで繰り返してもよい。また、所定回数通知先の機器２を変更しても、ユーザからの応答が検出されない場合には、機器２ａを介して、ユーザＣが見つからなかった旨のメッセージをユーザＡに通知してもよい。 Further, when the notification destination device 2 is made to speak, but the response from the user to the utterance is not detected, the device selection unit 103 determines another device 2 as the notification destination, and the character control unit 101a determines the device 2 as the notification destination. May notify the user from. Then, the process of changing the notification destination device 2 and causing the device 2 to speak may be repeated until a response from the user is detected. Further, if the response from the user is not detected even if the device 2 of the notification destination is changed a predetermined number of times, the user A may be notified of the message that the user C was not found via the device 2a. ..

この他にも、ユーザからの応答が検出されない場合には、機器選択部１０３は、例えばユーザＣに対応付けられていない機器２を通知先に決定し、キャラクタ制御部１０１ａは該機器２にユーザＣの所在を問うメッセージを出力させてもよい。この場合、該機器２の周囲に居るユーザがユーザＣの所在を知っていれば、その所在を示す発話が行われ、機器選択部１０３は、この発話の解析結果に基づいて、ユーザＣの近くの機器２を通知先に決定することができる。 In addition to this, when the response from the user is not detected, the device selection unit 103 determines, for example, the device 2 not associated with the user C as the notification destination, and the character control unit 101a determines the user to the device 2. A message asking the whereabouts of C may be output. In this case, if the user around the device 2 knows the location of the user C, an utterance indicating the location is made, and the device selection unit 103 is near the user C based on the analysis result of this utterance. Device 2 can be determined as the notification destination.

〔執事による人探し〕
執事提供システム１００では、ユーザは、執事に人探しを行わせることもできる。これについて、図１４に基づいて説明する。図１４は、執事に人探しを行わせた例を示す図である。なお、同図では図示を省略しているが、機器２の発話はサーバ１により制御される。 [Searching for people by a butler]
In the butler providing system 100, the user can also make the butler search for a person. This will be described with reference to FIG. FIG. 14 is a diagram showing an example of having a butler search for a person. Although not shown in the figure, the utterance of the device 2 is controlled by the server 1.

図１４の例において、部屋Ａには機器２ａが配置されており、部屋Ｂには機器２ｂと機器２ｆが配置されている。機器２ｆはテレビジョン受像機である。また、部屋Ｃには機器２ｅが配置されている。部屋Ａに居るユーザはユーザＡであり、部屋Ｃに居るユーザはユーザＤである。 In the example of FIG. 14, the device 2a is arranged in the room A, and the device 2b and the device 2f are arranged in the room B. The device 2f is a television receiver. Further, the device 2e is arranged in the room C. The user in room A is user A, and the user in room C is user D.

同図の（ａ）において、部屋Ａに居るユーザＡ（第１のユーザ）は、機器２ａに対して、ユーザＤ（第２のユーザ）を探すことを執事ａに指示する発話を行っている。そして、機器２ａを介してこの発話の音声を受信したサーバ１では、キャラクタ選択部１０２が、上記音声の音声認識結果に基づき、執事ａに対応するキャラクタ制御部１０１ａを有効化する。また、キャラクタ制御部１０１ａは、上記音声認識結果に基づき、人探しを依頼する発話が行われたと判定する。なお、人探しを依頼する発話が行われたか否かは、発話内容に所定のキーワード（この例では「探して」とユーザ名）が含まれているか否かで判定することができる。 In (a) of the figure, the user A (first user) in the room A makes an utterance instructing the butler a to search for the user D (second user) to the device 2a. .. Then, in the server 1 that receives the voice of this utterance via the device 2a, the character selection unit 102 activates the character control unit 101a corresponding to the butler a based on the voice recognition result of the voice. Further, the character control unit 101a determines that the utterance requesting the person search has been made based on the voice recognition result. It should be noted that whether or not an utterance requesting a person search has been made can be determined by whether or not a predetermined keyword (in this example, "search" and the user name) is included in the utterance content.

人探しを依頼する発話が行われたと判定したキャラクタ制御部１０１ａは、機器２ａに執事ａのシンボル３０ａを表示させると共に、依頼を受け付けた旨の発話を行わせている。また、人探しの指示を受け付けた場合、機器選択部１０３は、機器管理情報１１２において、探す対象となっているユーザに対応付けられた機器２を、人探しの発話を行わせる機器２として選択する。 The character control unit 101a, which determines that the utterance requesting the search for a person has been made, causes the device 2a to display the symbol 30a of the butler a and makes the utterance to the effect that the request has been accepted. Further, when the instruction for searching for a person is received, the device selection unit 103 selects the device 2 associated with the user to be searched for as the device 2 for making the utterance for searching for a person in the device management information 112. To do.

機器選択部１０３は、探す対象となっているユーザに対応付けられた全ての機器２を選択してもよいが、人探しの指示を受け付けた機器２ａが配置されている部屋（本例では部屋Ａ）に配置されている機器２は、選択対象から除外することが好ましい。人探しの指示を受け付けた機器２ａのある部屋Ａには、ユーザＡが探しているユーザＤは当然いないと考えられるためである。 The device selection unit 103 may select all the devices 2 associated with the user to be searched for, but the room in which the device 2a that receives the instruction to search for a person is arranged (in this example, the room). The device 2 arranged in A) is preferably excluded from the selection target. This is because it is considered that the user D that the user A is looking for is not naturally in the room A where the device 2a that receives the instruction to search for a person is located.

また、機器選択部１０３は、探す対象となっているユーザに対応付けられた機器２が複数あり、当該複数の機器２に、配置されている部屋（エリア）が異なる機器２が含まれている場合には、配置されている部屋が異なる複数の機器２を選択することが好ましい。言い換えれば、機器選択部１０３は、複数の部屋に配置された機器２をそれぞれ選択することが好ましく、この場合、各部屋について選択する機器２は１つとすることが好ましい。これにより、各部屋におけるユーザＤの存否を速やかに確認することが可能になる。また、異なる部屋に配置されている機器２に同時に人探しの発話を行わせたとしても、執事ａが同時に複数出現したことはユーザＡにもユーザＤにも認識されないので、執事ａが一人であるという各ユーザのイメージを壊さずに済む。 Further, the device selection unit 103 has a plurality of devices 2 associated with the user to be searched for, and the plurality of devices 2 include devices 2 having different rooms (areas). In this case, it is preferable to select a plurality of devices 2 having different rooms. In other words, the device selection unit 103 preferably selects the devices 2 arranged in the plurality of rooms, and in this case, it is preferable that the device 2 is selected for each room. This makes it possible to quickly confirm the existence or nonexistence of the user D in each room. Further, even if the devices 2 arranged in different rooms are made to speak for searching for a person at the same time, neither the user A nor the user D recognizes that a plurality of butlers a appear at the same time, so that the butler a alone. You don't have to destroy each user's image of being there.

本例では、機器選択部１０３は、人探しの発話を行わせる機器２として、部屋Ｂの機器２ｆと、部屋Ｃの機器２ｅを選択したとする。なお、部屋Ｂにある機器２ｂと機器２ｆの何れを選択するかを決定する基準は特に限定されない。例えば、表示部を備えている機器２を優先して選択してもよいし、テレビジョン受像機のように、ユーザの注目しやすい位置に配置されている機器２を優先して選択してもよい。 In this example, it is assumed that the device selection unit 103 selects the device 2f in the room B and the device 2e in the room C as the device 2 for making a person-searching utterance. The criteria for determining whether to select the device 2b or the device 2f in the room B is not particularly limited. For example, the device 2 provided with the display unit may be preferentially selected, or the device 2 arranged at a position easily noticed by the user, such as a television receiver, may be preferentially selected. Good.

そして、キャラクタ制御部１０１ａは、機器２ａにシンボル３０ａの表示を終了するように指示する。また、キャラクタ制御部１０１ａは、選択された機器２ｆと機器２ｅのそれぞれに、ユーザＡがユーザＤを探していることを示すメッセージを発話するように指示する。さらに、キャラクタ制御部１０１ａは、表示部を備えた機器２ｆにはシンボル３０ａを表示するように指示する。 Then, the character control unit 101a instructs the device 2a to end the display of the symbol 30a. Further, the character control unit 101a instructs each of the selected device 2f and device 2e to utter a message indicating that the user A is looking for the user D. Further, the character control unit 101a instructs the device 2f provided with the display unit to display the symbol 30a.

これにより、同図の（ｂ）に示すように、機器２ａの表示制御部２０３はシンボル３０ａの表示を終了し、代わりに機器２ｆの表示制御部２０３がシンボル３０ａの表示を開始する。そして、機器２ｆおよび機器２ｅの音声出力制御部２０２が上記メッセージを音声出力させる。この音声出力は、何れもユーザＡに対応する執事ａのキャラクタにて行われる。このとき、キャラクタ制御部１０１ａは、機器２ｆと機器２ｅのそれぞれから同時に上記メッセージを発話させてもよい。 As a result, as shown in (b) of the figure, the display control unit 203 of the device 2a ends the display of the symbol 30a, and instead, the display control unit 203 of the device 2f starts the display of the symbol 30a. Then, the voice output control unit 202 of the device 2f and the device 2e outputs the above message by voice. This audio output is performed by the character of the butler a corresponding to the user A. At this time, the character control unit 101a may utter the above message from each of the device 2f and the device 2e at the same time.

本例では、同図の（ｂ）に示すように、ユーザＤは、機器２ｅの発話したメッセージを聞き、部屋Ｃに居る旨発話している。機器２ｅの音声取得部２０１はこの発話の音声をサーバ１に送信し、サーバ１の音声解析部１０４は、この発話の音声を解析する。そして、キャラクタ制御部１０１ａは、この音声の解析結果から、ユーザＤが部屋Ｃに居ると特定する。 In this example, as shown in (b) of the figure, the user D hears the message spoken by the device 2e and speaks that he / she is in the room C. The voice acquisition unit 201 of the device 2e transmits the voice of this utterance to the server 1, and the voice analysis unit 104 of the server 1 analyzes the voice of this utterance. Then, the character control unit 101a identifies that the user D is in the room C from the analysis result of this voice.

この後、図示していないが、キャラクタ制御部１０１ａは、機器２ｆにシンボル３０ａの表示を終了させると共に、機器２ａに、シンボル３０ａを表示させると共に、ユーザＤが部屋Ｃに居る旨のメッセージを発話させる。これにより、ユーザＡにユーザＤの所在を認識させることができる。 After that, although not shown, the character control unit 101a ends the display of the symbol 30a on the device 2f, causes the device 2a to display the symbol 30a, and utters a message indicating that the user D is in the room C. Let me. As a result, the user A can be made to recognize the location of the user D.

なお、上記では、部屋に配置されている据え置き型の機器２を選択する例を説明したが、携帯端末等のように、携帯型の機器２を選択してもよい。ただし、このような機器２は、個人が所持するものであるから、その機器２の所持者以外のユーザを探す場合には、この点を踏まえたメッセージを発話させることが好ましい。例えば、上記の例において、ユーザＣの所持する機器２ｄに発話させる場合、そのメッセージは、ユーザＡがユーザＤを探していること、およびユーザＤの所在を知っている場合には部屋Ａに居るユーザＡに連絡して欲しいこと等を示すものとしてもよい。また、各部屋の機器２に発話させたが、探しているユーザの応答がなかった場合に、部屋には配置されない機器２に人探しのメッセージを発話させてもよい。 In the above description, an example of selecting the stationary device 2 arranged in the room has been described, but the portable device 2 may be selected like a mobile terminal or the like. However, since such a device 2 is owned by an individual, it is preferable to utter a message based on this point when searching for a user other than the owner of the device 2. For example, in the above example, when the device 2d possessed by the user C is made to speak, the message is in the room A if the user A is looking for the user D and knows the whereabouts of the user D. It may indicate that the user A is requested to be contacted. Further, if the device 2 in each room is made to speak, but the user who is looking for does not respond, the device 2 not arranged in the room may be made to speak a message for searching for a person.

〔学習〕
サーバ１のキャラクタ制御部１０１は、ユーザの嗜好を学習する。これにより、ユーザが執事を使い込んでいくうちに、該ユーザの嗜好に合った適切な応答を機器２に実行させることができるようになっていく。これについて、図１５に基づいて説明する。図１５は、ユーザの嗜好を学習する処理の一例を示すフローチャートである。なお、同図では、ユーザが空気調和機（エアコン）である機器２ｂに対して、「寒い」と発話し、この発話の音声がサーバ１に送信された場合の処理を示している。 [Learning]
The character control unit 101 of the server 1 learns the user's preference. As a result, as the user uses the butler, the device 2 can be made to execute an appropriate response that suits the user's taste. This will be described with reference to FIG. FIG. 15 is a flowchart showing an example of a process of learning a user's preference. Note that the figure shows the processing when the user speaks "cold" to the device 2b, which is an air conditioner (air conditioner), and the voice of this utterance is transmitted to the server 1.

サーバ１の音声解析部１０４は、この発話の音声を解析し、キャラクタ選択部１０２は、この解析の結果に応じたキャラクタ制御部１０１を有効化する。そして、有効化されたキャラクタ制御部１０１は、上記の解析結果に応じた機器２の運転を開始させる。具体的には、上述のように、ユーザは「寒い」と発話しているから、キャラクタ制御部１０１は、空気調和機（エアコン）である機器２ｂ（応答機器）に暖房運転（応答動作）の開始を指示する。ユーザの嗜好を学習する前であれば、暖房の設定温度は標準的な暖房の設定温度とすればよい。 The voice analysis unit 104 of the server 1 analyzes the voice of this utterance, and the character selection unit 102 activates the character control unit 101 according to the result of this analysis. Then, the activated character control unit 101 starts the operation of the device 2 according to the above analysis result. Specifically, as described above, since the user speaks "cold", the character control unit 101 performs a heating operation (response operation) on the device 2b (response device) which is an air conditioner (air conditioner). Instruct to start. Before learning the user's preference, the set temperature for heating may be a standard set temperature for heating.

また、暖房運転を行うと室内が乾燥するため、キャラクタ制御部１０１は、加湿器である機器２ｇ（共働機器）に加湿運転の開始を指示する（Ｓ１１１）。ユーザの嗜好を学習する前であれば、加湿の設定湿度は標準的な加湿の設定湿度とすればよい。さらに、キャラクタ制御部１０１は、運転を開始したことをユーザに通知するメッセージを機器２ｂに発話させてもよい。また、運転開始前に、運転の開始の可否をユーザに問うメッセージを機器２ｂに発話させ、この発話に対して肯定的なユーザの回答が検出された場合に、運転を開始してもよい。執事が一人であるというユーザのイメージを壊さないよう、メッセージを発話させる機器は、機器２ｂおよび機器２ｇの何れか一方とすることが望ましい。 Further, since the room becomes dry when the heating operation is performed, the character control unit 101 instructs the device 2g (cooperative device), which is a humidifier, to start the humidification operation (S111). Before learning the user's preference, the set humidity for humidification may be the standard set humidity for humidification. Further, the character control unit 101 may cause the device 2b to utter a message notifying the user that the operation has started. Further, before the start of operation, the device 2b may be made to utter a message asking the user whether or not to start the operation, and when a positive user's answer to this utterance is detected, the operation may be started. It is desirable that the device that utters the message be either device 2b or device 2g so as not to destroy the user's image that the butler is alone.

なお、ユーザがどのような発話を行ったときに、どのような機器２にどのような運転を行わせるかは、予め定めておけばよい。例えば、ユーザの発話に「暑い」等の語が含まれている場合には機器２ｂに冷房運転を行わせ、「むしむしする」、「蒸し暑い」等の語句が含まれている場合には機器２ｂに除湿運転を行わせてもよい。この他にも、例えば「空気がカラカラ」、「空気が乾燥」等の語句が含まれている場合には機器２ｇに加湿運転を行わせてもよい。これにより、ユーザは運転内容や、運転の設定などを指定することなく、自身が感じていることをそのまま口に出すだけで、自身の感覚に応じた適切な運転を機器２に行わせることができる。 It should be noted that what kind of utterance the user makes and what kind of operation the device 2 is to perform may be determined in advance. For example, if the user's utterance contains words such as "hot", the device 2b is allowed to perform cooling operation, and if words such as "mushy" and "steamy" are included, the device 2b is operated. May be dehumidified. In addition to this, when words such as "air is dry" and "air is dry" are included, the device 2g may be subjected to a humidifying operation. As a result, the user can make the device 2 perform an appropriate driving according to his / her own feeling by simply saying what he / she feels without specifying the driving content or the driving setting. it can.

運転開始指示を受信した機器２ｂでは、動作制御部２０４が、該指示に従って機能部２７に運転を開始させる（Ｓ１３１）。本例の機器２ｂにおける運転は暖房運転である。同様に、運転開始指示を受信した機器２ｇにおいても、動作制御部２０４が、該指示に従って機能部２７に運転を開始させる（Ｓ１５１）。本例の機器２ｇにおける運転は加湿運転である。 In the device 2b that has received the operation start instruction, the operation control unit 204 causes the function unit 27 to start the operation according to the instruction (S131). The operation in the device 2b of this example is a heating operation. Similarly, in the device 2g that has received the operation start instruction, the operation control unit 204 causes the function unit 27 to start the operation according to the instruction (S151). The operation in the device 2g of this example is a humidifying operation.

キャラクタ制御部１０１は、運転開始指示を送信した後、所定時間が経過すると、運転内容の調整の要否を確認するメッセージを発話するように機器２ｂに指示する（Ｓ１１２）。このメッセージは、例えば「お部屋の温度および湿度はいかがしょうか」等のメッセージであってもよい。なお、運転開始指示を送信した後、所定時間が経過したときに上記のようなメッセージを発話させる代わりに、運転開始時に、運転内容の変更が必要な場合にはその旨の発話を行うように促すメッセージを発話させてもよい。例えば、運転開始時に「運転内容の変更が必要でしたら教えて下さい」と発話させておけば、ユーザは運転内容に関する要望を発話するので、この発話に基づいて運転内容を調整することができる。 After transmitting the operation start instruction, the character control unit 101 instructs the device 2b to utter a message confirming the necessity of adjusting the operation content when a predetermined time elapses (S112). This message may be, for example, a message such as "How about the temperature and humidity of the room?" In addition, instead of uttering the above message when a predetermined time has passed after sending the operation start instruction, if it is necessary to change the operation content at the start of operation, utter to that effect. You may utter a urging message. For example, if the user utters "Please tell me if the driving content needs to be changed" at the start of operation, the user utters a request regarding the driving content, and the driving content can be adjusted based on this utterance.

発話指示を受信した機器２ｂでは、音声出力制御部２０２が、音声出力部２４に上記メッセージを音声出力させる（Ｓ１３２）。そして、機器２ｂの音声取得部２０１は、音声入力部２３を介して入力されるユーザの発話を検知し（Ｓ１３３）、該発話の音声と機器２ｂの機器ＩＤとを、通信部２２を介してサーバ１に送信する（Ｓ１３４）。この音声は、Ｓ１３１で開始させた暖房運転、およびＳ１５１で開始させた加湿運転の少なくとも何れかに対するユーザの反応の内容を示している。つまり、これらのステップでは、音声取得部２０１は、ユーザの反応の内容をサーバ１に通知している。 In the device 2b that has received the utterance instruction, the voice output control unit 202 causes the voice output unit 24 to output the above message by voice (S132). Then, the voice acquisition unit 201 of the device 2b detects the user's utterance input via the voice input unit 23 (S133), and transmits the voice of the utterance and the device ID of the device 2b via the communication unit 22. It is transmitted to the server 1 (S134). This voice indicates the content of the user's reaction to at least one of the heating operation started in S131 and the humidification operation started in S151. That is, in these steps, the voice acquisition unit 201 notifies the server 1 of the content of the user's reaction.

サーバ１は、機器２ｂが送信した音声および機器ＩＤを受信し、音声解析部１０４は、受信した音声を解析する（Ｓ１１３）。そして、キャラクタ制御部１０１は、上記解析の結果に基づいて、発話者を特定する（Ｓ１１４）と共に、運転内容の調整が必要であるか否かを判定する（Ｓ１１５）。例えば、キャラクタ制御部１０１は、ユーザの発話に「ちょうどいい」、「快適」等の肯定的な語句が含まれている場合には調整不要と判定してもよい。一方、「まだちょっと寒い」、「まだかなり乾いている」等の改善を要求する語句が含まれている場合には調整要と判定してもよい。 The server 1 receives the voice transmitted by the device 2b and the device ID, and the voice analysis unit 104 analyzes the received voice (S113). Then, the character control unit 101 identifies the speaker based on the result of the above analysis (S114), and determines whether or not the operation content needs to be adjusted (S115). For example, the character control unit 101 may determine that adjustment is not necessary when the user's utterance contains positive words such as "just right" and "comfort". On the other hand, if a phrase requesting improvement such as "still a little cold" or "still quite dry" is included, it may be determined that adjustment is necessary.

キャラクタ制御部１０１は、運転内容の調整要と判定した場合（Ｓ１１５でＹＥＳ）、機器２ｂおよび機器２ｇに運転内容の変更を指示する（Ｓ１１６）。例えば、「まだちょっと寒い」と発話された場合には、キャラクタ制御部１０１は、機器２ｂに暖房運転の設定温度を上げるように指示してもよい。また、例えば「まだかなり乾いている」と発話された場合には、キャラクタ制御部１０１は、機器２ｇに加湿運転の設定湿度を上げるように指示してもよい。さらに、「ちょっと」、「かなり」等の修飾語に応じて、調整の程度を変えてもよい。 When the character control unit 101 determines that it is necessary to adjust the operation content (YES in S115), the character control unit 101 instructs the device 2b and the device 2g to change the operation content (S116). For example, when the utterance "still a little cold" is spoken, the character control unit 101 may instruct the device 2b to raise the set temperature for the heating operation. Further, for example, when it is uttered that "it is still considerably dry", the character control unit 101 may instruct the device 2g to raise the set humidity of the humidifying operation. Furthermore, the degree of adjustment may be changed according to modifiers such as "a little" and "quite".

そして、運転内容の変更指示を受信した機器２ｂでは、動作制御部２０４が、該指示に従って機能部２７に運転内容を変更させる（Ｓ１３５）。同様に、上記指示を受信した機器２ｇにおいても、動作制御部２０４が、上記指示に従って機能部２７に運転内容を変更させる（Ｓ１５２）。このように、ユーザの発話に基づいて運転内容を調整していくことにより、ユーザが好む設定で複数の機器２を同時に動作させることができる。なお、Ｓ１１３の解析結果に応じて、機器２ｂおよび機器２ｇの何れか一方の運転内容を変更してもよい。また、本例では、動作制御部２０４による運転内容を変更する例を説明するが、音声出力制御部２０２による音声出力の内容や、表示制御部２０３による表示出力の内容を変更させてもよい。 Then, in the device 2b that has received the operation content change instruction, the operation control unit 204 causes the function unit 27 to change the operation content according to the instruction (S135). Similarly, in the device 2g that has received the above instruction, the operation control unit 204 causes the function unit 27 to change the operation content according to the above instruction (S152). In this way, by adjusting the operation content based on the user's utterance, it is possible to operate the plurality of devices 2 at the same time with the settings preferred by the user. The operation content of either the device 2b or the device 2g may be changed according to the analysis result of S113. Further, in this example, an example of changing the operation content by the operation control unit 204 will be described, but the content of the voice output by the voice output control unit 202 and the content of the display output by the display control unit 203 may be changed.

キャラクタ制御部１０１は、Ｓ１１６で運転内容の変更を指示した後、またはＳ１１５で運転内容の調整が不要であると判定した場合（Ｓ１１５でＮＯ）、ユーザによって発話されたキーワードを、Ｓ１１４で特定した発話者と対応付けて記憶する（Ｓ１１７）。例えば、図３のキャラクタ管理情報１１１では、このようなキーワードおよび該キーワードを検出したときの運転内容を示す情報ユーザ情報として含んでいる。このように、キャラクタ制御部１０１は、上記キーワードをユーザおよび運転内容と対応付けてキャラクタ管理情報１１１に記憶してもよい。また、ユーザの周囲の環境情報（例えば室温や気温、季節、時刻等）についても併せて記憶してもよい。このようにして記憶した情報は、ユーザの嗜好を示す嗜好情報であると言える。この後処理はＳ１１２に戻る。なお、キーワードを記憶する代わりに、Ｓ１１５で運転内容の調整が不要と判定したときの運転内容を記憶してもよい。 After instructing the change of the operation content in S116, or when it is determined in S115 that the adjustment of the operation content is unnecessary (NO in S115), the character control unit 101 identifies the keyword uttered by the user in S114. It is stored in association with the speaker (S117). For example, the character management information 111 of FIG. 3 includes such a keyword and information user information indicating the driving content when the keyword is detected. In this way, the character control unit 101 may store the keyword in the character management information 111 in association with the user and the driving content. In addition, environmental information around the user (for example, room temperature, temperature, season, time, etc.) may also be stored. It can be said that the information stored in this way is preference information indicating the preference of the user. This post-processing returns to S112. Instead of storing the keyword, the operation content when it is determined in S115 that the adjustment of the operation content is unnecessary may be stored.

〔学習内容に基づく制御〕
上記のような処理により、機器２に動作を実行させた際の、該動作に対するユーザの反応の内容を記憶しておくことにより、キャラクタ制御部１０１は、次回以降に機器２を動作させるときには、上記反応の内容に応じて上記動作の内容を変更することができる。これにより、各機器２の動作制御部２０４は、変更後の内容の動作を機能部２７に実行させるので、上記のような調整を行うことなく、ユーザが好む動作を各機器２に実行させることができる。なお、ユーザの反応の内容に応じて、何れか一方の機器２の動作内容を変更してもよい。 [Control based on learning content]
By storing the content of the user's reaction to the operation when the device 2 is executed by the above processing, the character control unit 101 can operate the device 2 from the next time onward. The content of the above operation can be changed according to the content of the above reaction. As a result, the operation control unit 204 of each device 2 causes the function unit 27 to execute the operation of the changed content, so that each device 2 can execute the operation preferred by the user without making the above adjustments. Can be done. The operation content of either device 2 may be changed according to the content of the user's reaction.

例えば、過去に機器２ｂに設定温度２５℃で暖房運転を行わせ、機器２ｇに設定湿度５０％で加湿運転を行わせたときに、ユーザが寒いし乾燥していると発話していたとする。ここで、キャラクタ制御部１０１は、ユーザの「寒い」との発話に応じて、暖房運転と加湿運転を行わせる場合には、機器２ｂに暖房運転を行わせる際の設定温度を２５℃よりも高くし、機器２ｇに加湿運転を行わせる際の設定湿度を５０％よりも高くしてもよい。これにより、機器２ｂの被空調空間をユーザが快適に感じる温度および湿度とすることができる。 For example, suppose that in the past, when the device 2b was heated at a set temperature of 25 ° C. and the device 2g was humidified at a set humidity of 50%, the user said that it was cold and dry. Here, when the character control unit 101 causes the heating operation and the humidifying operation to be performed in response to the user's utterance of "cold", the set temperature at the time of causing the device 2b to perform the heating operation is set to be higher than 25 ° C. The humidity may be set higher than 50% when the device 2 g is subjected to the humidification operation. As a result, the air-conditioned space of the device 2b can be set to a temperature and humidity that the user feels comfortable with.

〔複数の執事による学習〕
上記の例において、ユーザが複数居る場合、各ユーザに対応する執事のそれぞれによって、各ユーザの嗜好が学習される。例えば、ユーザＡとユーザＢが１つの部屋にいて、各ユーザがそれぞれ「暑い」と発話した場合、各音声を機器２が検出してサーバ１に送信する。 [Learning by multiple butlers]
In the above example, when there are a plurality of users, the preference of each user is learned by each of the butlers corresponding to each user. For example, when the user A and the user B are in one room and each user utters "hot", the device 2 detects each voice and transmits the voice to the server 1.

サーバ１の音声解析部１０４は、各音声を解析し、ユーザＡとユーザＢが「暑い」と発話したことを特定する。そして、キャラクタ選択部１０２は、ユーザＡに対応する執事ａを制御するキャラクタ制御部１０１ａと、ユーザＢに対応する執事ｂを制御するキャラクタ制御部１０１ｂを有効化する。この場合、何れのユーザも、冷房運転開始のキーワードである「暑い」を発話しているから、キャラクタ制御部１０１ａおよびキャラクタ制御部１０１ｂの何れも冷房運転を行うことを決定する。なお、空気調和機（エアコン）である機器２ｂへの冷房運転の開始指示の送信は、キャラクタ制御部１０１ａおよびキャラクタ制御部１０１ｂの何れか一方が行えばよい。また、運転開始時には、運転内容の変更が必要な場合にはその旨の発話を行うように促すメッセージを機器２に発話させてもよい。このメッセージは、各執事のそれぞれによって発話させてもよいし、一方の執事のみに発話させてもよい。 The voice analysis unit 104 of the server 1 analyzes each voice and identifies that the user A and the user B have spoken as "hot". Then, the character selection unit 102 activates the character control unit 101a that controls the butler a corresponding to the user A and the character control unit 101b that controls the butler b corresponding to the user B. In this case, since all the users are uttering "hot", which is the keyword for starting the cooling operation, both the character control unit 101a and the character control unit 101b decide to perform the cooling operation. Either one of the character control unit 101a and the character control unit 101b may transmit the cooling operation start instruction to the device 2b which is an air conditioner (air conditioner). Further, at the start of operation, if it is necessary to change the operation content, the device 2 may be made to utter a message prompting the utterance to that effect. This message may be uttered by each butler, or by only one butler.

運転開始後、ユーザＡが運転内容の調整を求める発話を行った場合、キャラクタ制御部１０１ａは、上述のようにして該発話内容に応じた運転内容の調整を行う。また、ユーザによって発話されたキーワードを、該ユーザおよび運転内容と対応付けて記憶する。一方、ユーザＢが運転内容の調整を求める発話を行った場合、キャラクタ制御部１０１ｂが、該発話内容に応じた運転内容の調整を行う。また、ユーザによって発話されたキーワードを、該ユーザおよび運転内容と対応付けて記憶する。このような調整により、各ユーザの好みに応じた運転内容で機器２を動作させることができる。 After the start of the operation, when the user A makes an utterance requesting adjustment of the operation content, the character control unit 101a adjusts the operation content according to the utterance content as described above. In addition, the keyword uttered by the user is stored in association with the user and the driving content. On the other hand, when the user B makes an utterance requesting adjustment of the driving content, the character control unit 101b adjusts the driving content according to the utterance content. In addition, the keyword uttered by the user is stored in association with the user and the driving content. By such adjustment, the device 2 can be operated according to the operation content according to each user's preference.

なお、ユーザＡとユーザＢとで快適な温度が異なる場合等には、ユーザＡとユーザＢの双方の満足度が高くなるように運転内容を調整することが好ましい。例えば、ユーザＡが「暑い」と発話し、ユーザＢが「ちょうどいい」と発話した場合、冷房運転の設定温度は変えずに、風向がユーザＡに向くように調整してもよい。なお、ユーザＡの位置は、室内の機器（機器２であってもよいし他の機器であってもよい）が人感センサ等で検出してサーバ１に通知する、あるいはユーザが自身の位置を示す発話を行う等によって特定可能である。 When the comfortable temperature differs between the user A and the user B, it is preferable to adjust the operation content so that the satisfaction of both the user A and the user B is high. For example, when the user A utters "hot" and the user B utters "just right", the wind direction may be adjusted to face the user A without changing the set temperature of the cooling operation. The position of the user A may be detected by a device in the room (which may be the device 2 or another device) with a motion sensor or the like and notified to the server 1, or the user may use his / her own position. It can be specified by making an utterance indicating.

また、ユーザＡおよびユーザＢのうちユーザＡが「二人とも暑い」と発話した場合、キャラクタ制御部１０１ａは、機器２にもう一人のユーザが誰であるかを問うメッセージを発話させてもよい。このメッセージに対し、ユーザＡがもう一人のユーザがユーザＢである旨の発話を行えば、キャラクタ選択部１０２はこの発話内容の解析結果に基づいてキャラクタ制御部１０１ｂも有効化することができる。 Further, when the user A of the user A and the user B utters "both are hot", the character control unit 101a may cause the device 2 to utter a message asking who the other user is. .. If the user A utters to the effect that the other user is the user B in response to this message, the character selection unit 102 can also enable the character control unit 101b based on the analysis result of the utterance content.

上記のような処理により、機器２に動作を実行させた際の、該動作に対するユーザの反応の内容を、ユーザ毎に記憶しておくことにより、キャラクタ制御部１０１は、次回以降に機器２を動作させるときには、ユーザ毎に上記動作の内容を変更することができる。つまり、キャラクタ制御部１０１は、ユーザが「暑い」等の機器２を動作させる契機となる発話を行った場合に、そのユーザが過去に上記動作に対する要望を発話していれば、その要望の内容に応じて上記動作の内容を変更してもよい。 By storing the content of the user's reaction to the operation when the device 2 is executed by the above processing for each user, the character control unit 101 can use the device 2 from the next time onward. At the time of operation, the content of the above operation can be changed for each user. That is, when the character control unit 101 makes an utterance that triggers the operation of the device 2 such as "hot", if the user has made a request for the above operation in the past, the content of the request The content of the above operation may be changed according to the above.

〔ユーザ認識の学習〕
上記では、声紋に基づいてユーザ認識する例を説明したが、キャラクタ選択部１０２は、発話内容や声のトーン等に基づいてユーザ認識して、該判定結果に応じたキャラクタを選択してもよい。この場合、キャラクタ制御部１０１は、選択されたキャラクタにて機器２に応答させる際に、該キャラクタの正否を問うメッセージを出力させてもよい。これにより、ユーザ認識結果が正しかったか否かを判定することができる。 [Learning of user recognition]
In the above, the example of user recognition based on the voiceprint has been described, but the character selection unit 102 may perform user recognition based on the utterance content, voice tone, etc., and select a character according to the determination result. .. In this case, when the character control unit 101 responds to the device 2 with the selected character, the character control unit 101 may output a message asking whether the character is correct or not. Thereby, it can be determined whether or not the user recognition result is correct.

また、キャラクタ選択部１０２は、発話内容や声のトーンを示す音声解析結果と、ユーザ認識結果の正否を示す情報とを対応付けて記憶してもよい。キャラクタ選択部１０２は、このような情報を参照することにより、ユーザ認識に有効な発話内容や声のトーンを特定して、次回以降のユーザ認識精度を向上させることができる。 Further, the character selection unit 102 may store the voice analysis result indicating the utterance content and the tone of the voice in association with the information indicating the correctness of the user recognition result. By referring to such information, the character selection unit 102 can identify the utterance content and voice tone that are effective for user recognition, and can improve the user recognition accuracy from the next time onward.

〔実施形態２〕
上記実施形態では、ユーザの音声による発話を検出して、該発話に対する応答を機器２に行わせる例を示したが、検出の対象となるユーザの行為は音声による発話に限られない。例えば、サーバ１は、ジェスチャ等のユーザの所作を検出して、該所作に対する応答動作を機器２に実行させてもよい。また、検出の対象となるユーザの行為は、タッチパネルやキーボード等の入力装置で検出してもよい。つまり、検出の対象となるユーザの行為は、入力装置に対する入力操作であってもよい。 [Embodiment 2]
In the above embodiment, an example is shown in which the utterance by the user's voice is detected and the device 2 is made to respond to the utterance, but the action of the user to be detected is not limited to the voice utterance. For example, the server 1 may detect a user's action such as a gesture and cause the device 2 to perform a response operation to the action. Further, the action of the user to be detected may be detected by an input device such as a touch panel or a keyboard. That is, the action of the user to be detected may be an input operation to the input device.

また、ユーザの行為に対して機器２に実行させる応答動作は音声出力や機器２の機能部２７の運転制御に限られない。例えば、機器２が表示部を備えている場合、上記応答動作は、上記表示部への文字や画像の表示であってもよい。また、例えば機器２がＳＮＳ（Social Networking Service）等にメッセージを投稿する機能を備えている場合には、上記応答動作はメッセージの投稿であってもよい。 Further, the response operation to be executed by the device 2 in response to the user's action is not limited to the voice output and the operation control of the functional unit 27 of the device 2. For example, when the device 2 includes a display unit, the response operation may be the display of characters or images on the display unit. Further, for example, when the device 2 has a function of posting a message to an SNS (Social Networking Service) or the like, the response operation may be a message posting.

〔実施形態３〕
上記各実施形態では、１つのサーバ１を用いる例を説明したが、サーバ１の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。 [Embodiment 3]
In each of the above embodiments, an example in which one server 1 is used has been described, but each function of the server 1 may be realized by an individual server. When applying a plurality of servers, each server may be managed by the same business operator or may be managed by different business operators.

また、サーバ１の機能の一部を機器２に持たせてもよい。例えば、機器２に音声解析部を設けて、該音声解析部が得た音声解析結果をサーバ１に送信する構成としてもよい。また、この場合、機器２が上記音声解析結果に基づいて、ユーザに応答するキャラクタを選択してもよい。ただし、執事が一人であるとのユーザのイメージを壊さないようにするため、選択したキャラクタで応答することの可否を機器２がサーバ１に問い合せるようにし、サーバ１の制御により複数の機器２が同じキャラクタで発話しないように調整することが好ましい。 Further, the device 2 may have a part of the functions of the server 1. For example, the device 2 may be provided with a voice analysis unit, and the voice analysis result obtained by the voice analysis unit may be transmitted to the server 1. Further, in this case, the device 2 may select a character that responds to the user based on the voice analysis result. However, in order not to destroy the user's image that there is only one butler, the device 2 inquires the server 1 whether or not to respond with the selected character, and the plurality of devices 2 are controlled by the server 1. It is preferable to adjust so that the same character does not speak.

また、上記各実施形態では、サーバ１が執事による発話を行わせる機器２を変更しているが、複数の機器２間で通信することにより、執事による発話を行わせる機器２を変更してもよい。例えば、図９の（ｂ）の例において、機器２ｄは、ユーザＣの発話を検出したときに、機器２ａとの無線通信の電波強度が所定値以上となっていれば、機器２ａに執事ｃのキャラクタで応答するように指示してもよい。 Further, in each of the above embodiments, the device 2 in which the server 1 makes the butler speak is changed, but even if the device 2 in which the butler makes the utterance is changed by communicating between the plurality of devices 2. Good. For example, in the example of FIG. 9B, when the device 2d detects the utterance of the user C, if the radio wave intensity of the wireless communication with the device 2a is equal to or higher than a predetermined value, the device 2a is a butler c. You may instruct to respond with the character of.

〔ソフトウェアによる実現例〕
サーバ１および機器２の制御ブロック（特に制御部１０および制御部２０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。 [Example of realization by software]
The control blocks (particularly the control unit 10 and the control unit 20) of the server 1 and the device 2 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by a CPU (Central Processing Unit). ) May be realized by software.

後者の場合、サーバ１および機器２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the server 1 and the device 2 are a CPU that executes instructions of a program that is software that realizes each function, and a ROM (Read Only Memory) in which the program and various data are readablely recorded by a computer (or CPU). ) Or a storage device (these are referred to as "recording media"), a RAM (Random Access Memory) for developing the above program, and the like. Then, the object of the present invention is achieved by the computer (or CPU) reading the program from the recording medium and executing the program. As the recording medium, a "non-temporary tangible medium", for example, a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. Further, the program may be supplied to the computer via an arbitrary transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is embodied by electronic transmission.

〔まとめ〕
本発明の態様１に係る応答システム（執事提供システム１００）は、ユーザの所定の行為に対する応答動作を実行可能な複数の機器（２）と、該機器による応答動作を制御するサーバ（１）とを含む応答システムであって、上記サーバは、複数の上記機器の中から上記応答動作を実行させる応答機器を選択し、上記サーバが選択した上記応答機器は、上記サーバの制御に従って、上記ユーザに応じた所定のキャラクタにて上記応答動作を実行する。 [Summary]
The response system (butler providing system 100) according to the first aspect of the present invention includes a plurality of devices (2) capable of executing a response operation to a predetermined action of the user, and a server (1) that controls the response operation by the devices. The server selects a response device for executing the response operation from the plurality of devices, and the response device selected by the server is used by the user according to the control of the server. The above response operation is executed by the corresponding predetermined character.

上記の構成によれば、サーバは、複数の機器の中から応答動作を実行させる応答機器を選択し、該応答機器は、ユーザに応じた所定のキャラクタにて応答動作を実行する。よって、ユーザに応じたキャラクタによる応答動作が複数の機器で行われて、ユーザが応答動作の一部を認識できなかったり、ユーザが混乱したりすることを避けることができる。したがって、従来よりも改善された応答システムを実現することができるという効果を奏する。 According to the above configuration, the server selects a response device to execute the response operation from a plurality of devices, and the response device executes the response operation with a predetermined character according to the user. Therefore, it is possible to prevent the user from not being able to recognize a part of the response operation or the user being confused because the response operation by the character according to the user is performed by the plurality of devices. Therefore, there is an effect that an improved response system can be realized.

本発明の態様２に係る応答システムは、上記態様１において、上記所定の行為は、音声による発話であり、上記サーバは、ユーザの音声による発話を複数の上記機器が検出した場合に、各機器が検出した発話の音声解析結果に応じて、上記発話を検出した上記機器の中から上記応答機器を選択してもよい。該構成によれば、ユーザがどのような発話を行ったか、あるいはどのように発話を行ったか等に応じた適切な機器を応答機器として選択することが可能である。 In the response system according to the second aspect of the present invention, in the first aspect, the predetermined action is a voice utterance, and the server detects each device when a plurality of the above devices detect the user's voice utterance. The response device may be selected from the devices that have detected the utterance according to the voice analysis result of the utterance detected by. According to the configuration, it is possible to select an appropriate device as a response device according to what kind of utterance the user has made, how the utterance has been made, and the like.

本発明の態様３に係る応答システムは、上記態様２において、上記音声解析結果は、上記機器が検出した上記音声の音量を示す音量情報を含み、上記サーバは、上記音量情報の示す音量が、複数の上記機器の間で差異があると判定した場合には、最も大きい音量を示す音量情報に対応する上記機器を上記応答機器として選択し、上記音量情報の示す音量が、複数の上記機器の間で差異がないと判定した場合には、当該複数の機器の何れかを上記応答機器として選択すると共に、該選択した応答機器がユーザの意図した機器であるか否かを問うメッセージを上記ユーザに通知してもよい。 In the response system according to the third aspect of the present invention, in the second aspect, the voice analysis result includes the volume information indicating the volume of the voice detected by the device, and the server has the volume indicated by the volume information. When it is determined that there is a difference among the plurality of the above-mentioned devices, the above-mentioned device corresponding to the volume information indicating the loudest volume is selected as the above-mentioned response device, and the volume indicated by the above-mentioned volume information is the same as the above-mentioned devices. If it is determined that there is no difference between the two devices, one of the plurality of devices is selected as the response device, and the user sends a message asking whether the selected response device is the device intended by the user. May be notified to.

ユーザがある機器に向かって発話した場合、その機器が検出する音声の音量は、他の機器が検出する音声の音量より大きくなる可能性が高い。このため、音量に応じて機器を選択する上記構成によれば、ユーザの意図に適合した機器を選択することができる。ただし、各機器が検出した音量に差異がないことも考えられる。そこで、上記の構成によれば、音量が複数の機器の間で差異がないと判定した場合には、当該複数の機器の何れかを応答機器として選択すると共に、該選択した応答機器がユーザの意図した機器であるか否かを問うメッセージをユーザに通知する。これにより、音量が複数の機器の間で差異がない場合にも応答機器を自動で選択することができると共に、選択した応答機器がユーザの意図した機器ではない場合に、機器を変更する機会をユーザに与えることができる。 When a user speaks to a device, the volume of voice detected by that device is likely to be louder than the volume of voice detected by another device. Therefore, according to the above configuration in which the device is selected according to the volume, the device suitable for the user's intention can be selected. However, it is possible that there is no difference in the volume detected by each device. Therefore, according to the above configuration, when it is determined that there is no difference in volume among the plurality of devices, one of the plurality of devices is selected as the response device, and the selected response device is the user. Notify the user of a message asking if the device is the intended device. This makes it possible to automatically select a response device even when there is no difference in volume among multiple devices, and also gives an opportunity to change the device when the selected response device is not the device intended by the user. Can be given to the user.

本発明の態様４に係る応答システムは、上記態様２または３において、上記サーバは、ユーザの音声による発話を複数の上記機器が検出した回数が所定回数以上である場合には、上記所定の行為の実行時に応答機器を指定することを薦めるメッセージを上記ユーザに通知してもよい。 In the response system according to the fourth aspect of the present invention, in the second or third aspect, when the server detects a user's voice utterance more than a predetermined number of times, the predetermined action is performed. The above user may be notified of a message recommending that a response device be specified at the time of execution of.

複数の機器が近接して配置されている場合等には、ユーザの発話を複数の機器が検出することが頻繁に生じる可能性がある。そこで、上記の構成によれば、ユーザの音声による発話を複数の機器が検出した回数が所定回数以上である場合には、所定の行為の実行時に応答機器を指定することを薦めるメッセージをユーザに通知する。これにより、複数の機器が近接して配置されている場合等においても、ユーザの指定した応答機器をスムーズに選択することが可能になる。 When a plurality of devices are arranged close to each other, it is possible that the plurality of devices frequently detect the user's utterance. Therefore, according to the above configuration, when a plurality of devices detect a user's voice utterance more than a predetermined number of times, a message recommending that a response device be specified at the time of executing a predetermined action is sent to the user. Notice. This makes it possible to smoothly select the response device specified by the user even when a plurality of devices are arranged close to each other.

本発明の態様５に係る応答システムは、上記態様１から４の何れかにおいて、上記サーバは、複数の上記機器の少なくとも何れかの稼働状態、および複数の上記機器の少なくとも何れかと関連する他の機器の稼働状態、の少なくとも何れかに応じて上記応答機器を選択してもよい。 In the response system according to the fifth aspect of the present invention, in any one of the first to fourth aspects, the server is the operating state of at least one of the plurality of the above devices, and the other related to at least one of the plurality of the above devices. The above response device may be selected according to at least one of the operating states of the device.

上記の構成によれば、ユーザの状態に応じた適切な応答機器を選択することが可能になる。機器の稼働状態からは、ユーザの状態が推測できるためである。例えば、テレビジョン受像機等が稼働しているときには、その周囲にユーザが存在すると推測できるため、該テレビジョン受像機やその周囲の機器を応答機器として選択することにより、ユーザに応答動作を認識させることができる。 According to the above configuration, it is possible to select an appropriate response device according to the user's condition. This is because the user's state can be inferred from the operating state of the device. For example, when a television receiver or the like is operating, it can be inferred that a user exists around the television receiver. Therefore, by selecting the television receiver or a device around the television receiver as a response device, the user recognizes the response operation. Can be made to.

本発明の態様６に係る応答システムは、上記態様１から５の何れかにおいて、上記サーバは、上記ユーザの所在に応じて、複数の上記機器の中から上記応答動作を実行させる応答機器を選択してもよい。該構成によれば、ユーザの所在に応じた適切な機器を選択することが可能になる。 In the response system according to the sixth aspect of the present invention, in any one of the first to fifth aspects, the server selects a response device that executes the response operation from the plurality of devices according to the location of the user. You may. According to the configuration, it becomes possible to select an appropriate device according to the location of the user.

本発明の態様７に係る応答システムは、上記態様６において、複数の上記機器には、携帯型の機器と据え置き型の機器とが含まれており、上記サーバは、上記ユーザが上記据え置き型の機器が設置されているエリアに居ることが検出された場合には、該据え置き型の機器を上記応答機器として選択してもよい。 In the response system according to the seventh aspect of the present invention, in the sixth aspect, the plurality of the above devices include a portable device and a stationary device, and the server is such that the user is the stationary type. When it is detected that the device is in the area where the device is installed, the stationary device may be selected as the response device.

上記の構成によれば、ユーザが据え置き型の機器が設置されているエリアに居ることが検出された場合には、該据え置き型の機器を応答機器として選択する。これにより、ユーザが据え置き型の機器が設置されているエリアに居るときには、携帯型の機器に応答動作を実行させないので、携帯型の機器のバッテリの消費を抑えつつ、据え置き型の機器に応答動作を実行させることができる。 According to the above configuration, when it is detected that the user is in the area where the stationary device is installed, the stationary device is selected as the response device. As a result, when the user is in the area where the stationary device is installed, the portable device is not made to perform the response operation. Therefore, the response operation is performed to the stationary device while suppressing the battery consumption of the portable device. Can be executed.

本発明の態様８に係る機器（２）は、ユーザの所定の行為に対して応答動作を実行可能な複数の機器と、該機器による応答動作を制御するサーバ（１）とを含む応答システム（執事提供システム１００）に含まれる機器であって、上記所定の行為を検出して、該所定の行為が行われたことを上記サーバに通知する通知部（音声取得部２０１）と、複数の上記機器の中から自機が上記サーバにより上記応答動作を実行する応答機器に選択された場合に、上記ユーザに応じた所定のキャラクタにて上記応答動作を実行する応答部（音声出力制御部２０２、表示制御部２０３、動作制御部２０４）と、を備えている。 The device (2) according to the eighth aspect of the present invention is a response system (2) including a plurality of devices capable of performing a response operation to a predetermined action of the user and a server (1) that controls the response operation by the device. A device included in the butler providing system 100), which is a notification unit (voice acquisition unit 201) that detects the predetermined action and notifies the server that the predetermined action has been performed, and a plurality of the above. A response unit (voice output control unit 202,) that executes the response operation with a predetermined character according to the user when the own device is selected as a response device that executes the response operation by the server from among the devices. It includes a display control unit 203 and an operation control unit 204).

上記の構成によれば、複数の機器の中から自機がサーバにより応答機器に選択された場合に、ユーザに応じた所定のキャラクタにて応答動作を実行する。よって、ユーザが応答動作の一部を認識できなかったり、ユーザが混乱したりすることを避けることができる。したがって、従来よりも改善された機器を実現することができるという効果を奏する。 According to the above configuration, when the own device is selected as the response device by the server from a plurality of devices, the response operation is executed with a predetermined character according to the user. Therefore, it is possible to prevent the user from not being able to recognize a part of the response operation or the user being confused. Therefore, there is an effect that an improved device can be realized.

本発明の態様９に係る応答システム（執事提供システム１００）は、ユーザの所定の行為に対して応答動作を実行可能な機器（２）と、該機器による応答動作を制御するサーバ（１）とを含む応答システムであって、上記サーバは、複数のユーザが上記所定の行為を行ったことを検出した場合、複数のユーザのそれぞれに対応付けられた所定のキャラクタのうち、複数の上記ユーザの何れかに対応するキャラクタである応答キャラクタを選択し、上記機器は、上記サーバの制御に従って、上記応答キャラクタにて上記応答動作を実行してもよい。 The response system (deacon providing system 100) according to the ninth aspect of the present invention includes a device (2) capable of executing a response operation to a predetermined action of the user, and a server (1) that controls the response operation by the device. In the response system including, when the server detects that a plurality of users have performed the above-mentioned predetermined actions, among the predetermined characters associated with each of the plurality of users, the plurality of the above-mentioned users A response character, which is a character corresponding to any of the above, may be selected, and the device may execute the response operation with the response character under the control of the server.

上記の構成によれば、複数のユーザが所定の行為を行ったことを検出した場合、複数のユーザのそれぞれに対応付けられた所定のキャラクタのうち、複数の上記ユーザの何れかに対応する応答キャラクタを選択する。そして、機器は、この応答キャラクタにて応答動作を実行する。よって、複数の応答キャラクタによる応答動作が同時に行われて、ユーザが応答動作の一部を認識できなかったり、ユーザが混乱したりすることを避けることができる。したがって、従来よりも改善された応答システムを実現することができるという効果を奏する。 According to the above configuration, when it is detected that a plurality of users have performed a predetermined action, a response corresponding to any of the plurality of users among the predetermined characters associated with each of the plurality of users Select a character. Then, the device executes a response operation with this response character. Therefore, it is possible to prevent the user from not being able to recognize a part of the response operation or the user being confused because the response operation by the plurality of response characters is performed at the same time. Therefore, there is an effect that an improved response system can be realized.

本発明の態様１０に係る応答システムは、上記態様９において、上記所定の行為は、音声による発話であり、上記サーバは、複数のユーザの音声による発話を検出した場合に、検出した発話の音声解析結果に応じて上記応答キャラクタを選択してもよい。該構成によれば、ユーザがどのような発話を行ったか、あるいはどのように発話を行ったか等に応じた適切な応答キャラクタを選択することが可能になる。 In the response system according to the tenth aspect of the present invention, in the ninth aspect, the predetermined action is a voice utterance, and when the server detects a voice utterance of a plurality of users, the voice of the detected utterance is heard. The above response character may be selected according to the analysis result. According to the configuration, it is possible to select an appropriate response character according to what kind of utterance the user has made, how the user has made an utterance, and the like.

本発明の態様１１に係る応答システムは、上記態様１０において、上記音声解析結果は、上記機器が検出した上記音声の音量を示す音量情報を含み、上記サーバは、上記音量情報の示す音量が、複数の上記発話の間で差異があると判定した場合には、最も大きい音量を示す音量情報に対応する上記ユーザに対応するキャラクタを上記応答キャラクタとして選択し、上記音量情報の示す音量が、複数の上記発話の間で差異がないと判定した場合には、複数の上記ユーザの何れかに対応するキャラクタを上記応答キャラクタとして選択すると共に、該選択した応答キャラクタがユーザの意図したキャラクタであるか否かを問うメッセージを上記ユーザに通知してもよい。 In the response system according to the eleventh aspect of the present invention, in the tenth aspect, the voice analysis result includes the volume information indicating the volume of the voice detected by the device, and the server has the volume indicated by the volume information. When it is determined that there is a difference between the plurality of utterances, the character corresponding to the user corresponding to the volume information indicating the loudest volume is selected as the response character, and the volume indicated by the volume information is plural. If it is determined that there is no difference between the above utterances, a character corresponding to any of the plurality of users is selected as the response character, and whether the selected response character is the character intended by the user. The above user may be notified of a message asking whether or not.

応答動作を機器に行わせる意図で発話するユーザは、その機器に向かって発話する可能性が高いと考えられる。このため、複数のユーザが発話した場合に、機器が検出する音声の音量は、上記のような意図を有するユーザの発話する音声の音量が、他のユーザの発話する音声の音量より大きくなる可能性が高い。このため、音量に応じて応答キャラクタを選択する上記構成によれば、ユーザの意図に適合した応答キャラクタを選択することができる。ただし、機器が検出した音量に差異がないことも考えられる。そこで、上記の構成によれば、音量に差異がないと判定した場合には、応答キャラクタを選択すると共に、該選択した応答キャラクタがユーザの意図したキャラクタであるか否かを問うメッセージをユーザに通知する。これにより、音量に差異がない場合にも応答キャラクタを自動で選択することができると共に、選択した応答キャラクタがユーザの意図したキャラクタではない場合に、キャラクタを変更する機会をユーザに与えることができる。 It is considered that a user who speaks with the intention of causing the device to perform a response operation is likely to speak toward the device. Therefore, when a plurality of users speak, the volume of the voice detected by the device may be higher than the volume of the voice spoken by the user having the above intention as the volume of the voice spoken by the other user. Highly sexual. Therefore, according to the above configuration for selecting the response character according to the volume, it is possible to select the response character that matches the user's intention. However, it is possible that there is no difference in the volume detected by the device. Therefore, according to the above configuration, when it is determined that there is no difference in volume, a response character is selected and a message asking whether or not the selected response character is the character intended by the user is sent to the user. Notice. As a result, the response character can be automatically selected even when there is no difference in volume, and the user can be given an opportunity to change the character when the selected response character is not the character intended by the user. ..

本発明の態様１２に係る応答システムは、上記態様１０または１１において、上記サーバは、複数のユーザの音声による発話を検出した回数が所定回数以上である場合には、上記所定の行為の実行時に応答キャラクタを指定することを薦めるメッセージを上記ユーザに通知してもよい。 In the response system according to the 12th aspect of the present invention, in the 10th or 11th aspect, when the server detects the voice utterances of a plurality of users more than a predetermined number of times, when the predetermined action is executed. The above user may be notified of a message recommending that a response character be specified.

機器が複数のユーザが集う場所に配置されている場合等には、複数のユーザの発話を機器が検出することが頻繁に生じる可能性がある。そこで、上記の構成によれば、複数のユーザの音声による発話を機器が検出した回数が所定回数以上である場合には、所定の行為の実行時に応答キャラクタを指定することを薦めるメッセージをユーザに通知する。これにより、上記のような場合においても、ユーザの指定した応答キャラクタをスムーズに選択することが可能になる。 When the device is arranged in a place where a plurality of users gather, the device may frequently detect the utterance of a plurality of users. Therefore, according to the above configuration, when the device detects utterances by voices of a plurality of users more than a predetermined number of times, a message recommending that a response character be specified at the time of executing a predetermined action is sent to the user. Notice. As a result, even in the above case, the response character specified by the user can be smoothly selected.

本発明の態様１３に係る機器（２）は、ユーザの所定の行為に対して応答動作を実行可能な機器と、該機器による応答動作を制御するサーバとを含む応答システム（執事提供システム１００）に含まれる機器であって、複数のユーザが上記所定の行為を行ったことを検出して、該所定の行為が行われたことを上記サーバに通知する通知部（音声取得部２０１）と、上記サーバの制御に従って、複数の上記ユーザのそれぞれに対応付けられた所定のキャラクタのうち、複数の上記ユーザの何れかに対応するキャラクタである応答キャラクタにて上記応答動作を実行する応答部（音声出力制御部２０２、表示制御部２０３、動作制御部２０４）と、を備えている。 The device (2) according to the thirteenth aspect of the present invention is a response system (butler providing system 100) including a device capable of performing a response operation to a predetermined action of the user and a server for controlling the response operation by the device. A notification unit (voice acquisition unit 201) that detects that a plurality of users have performed the predetermined action and notifies the server that the predetermined action has been performed. A response unit (voice) that executes the response operation with a response character that is a character corresponding to any of the plurality of users among predetermined characters associated with each of the plurality of users under the control of the server. It includes an output control unit 202, a display control unit 203, and an operation control unit 204).

上記の構成によれば、複数のユーザが所定の行為を行ったことを検出してサーバに通知する。そして、上記サーバの制御に従って、複数のユーザのそれぞれに対応付けられた所定のキャラクタのうち、複数のユーザの何れかに対応する応答キャラクタにて応答動作を実行する。よって、複数の応答キャラクタによる応答動作を同時に行うことで、ユーザが応答動作の一部を認識できなかったり、ユーザが混乱したりすることを避けることができる。したがって、従来よりも改善された機器を実現することができるという効果を奏する。 According to the above configuration, it detects that a plurality of users have performed a predetermined action and notifies the server. Then, according to the control of the server, the response operation is executed by the response character corresponding to any of the plurality of users among the predetermined characters associated with each of the plurality of users. Therefore, by performing the response operation by the plurality of response characters at the same time, it is possible to prevent the user from not being able to recognize a part of the response operation or the user being confused. Therefore, there is an effect that an improved device can be realized.

本発明の態様１４に係る応答システム（執事提供システム１００）は、ユーザの所定の行為に対する応答動作を実行可能な複数の機器（２）と、該機器による応答動作を制御するサーバ（１）とを含む応答システムであって、上記サーバは、第１のユーザが所定の行為を行ったことに応じて、複数の上記機器のうち第２のユーザに対応付けられた機器を、上記応答動作を実行させる応答機器として選択し、上記サーバが選択した上記応答機器は、上記サーバの制御に従って、上記第１のユーザに応じた所定のキャラクタにて上記応答動作を実行する。 The response system (butler providing system 100) according to aspect 14 of the present invention includes a plurality of devices (2) capable of performing a response operation to a predetermined action of the user, and a server (1) that controls the response operation by the devices. In the response system including the above, the server performs the above-mentioned response operation on the device associated with the second user among the plurality of the above-mentioned devices in response to the first user performing a predetermined action. The response device selected as the response device to be executed and selected by the server executes the response operation with a predetermined character according to the first user under the control of the server.

上記の構成によれば、第１のユーザが所定の行為を行ったことに応じて、第１のユーザに応じた所定のキャラクタにて応答動作を機器が実行するが、この機器は第２のユーザに対応付けられた機器である。よって、応答動作を第２のユーザに対して行わせることが可能になると共に、その応答動作が、第１のユーザの所定の行為に起因していることを第２のユーザに認識させることが可能になる。したがって、従来よりも改善された応答システムを実現することができるという効果を奏する。 According to the above configuration, in response to the first user performing a predetermined action, the device executes a response operation with a predetermined character corresponding to the first user, but this device is a second device. A device associated with a user. Therefore, it is possible to make the second user perform the response operation, and to make the second user recognize that the response operation is caused by a predetermined action of the first user. It will be possible. Therefore, there is an effect that an improved response system can be realized.

本発明の態様１５に係る応答システムは、上記態様１４において、上記所定の行為は、上記第２のユーザへの伝言を指示する行為であり、上記応答動作は、上記第１のユーザから上記第２のユーザへの伝言メッセージを出力する動作であってもよい。 In the response system according to the fifteenth aspect of the present invention, in the fourteenth aspect, the predetermined act is an act of instructing a message to the second user, and the response operation is from the first user to the second user. It may be an operation of outputting a message message to the user of 2.

上記の構成によれば、第１のユーザは、第２のユーザへの伝言を指示する行為を実行することにより、第１のユーザに応じた所定のキャラクタにて、第２のユーザへの伝言メッセージを機器に出力させることができる。よって、第１のユーザは、人に伝言を依頼するような感覚で第２のユーザに伝言することができ、第２のユーザは、人から伝言を受けるような感覚で機器から伝言を受けることができる。 According to the above configuration, the first user executes an act of instructing a message to the second user to send a message to the second user with a predetermined character corresponding to the first user. The message can be output to the device. Therefore, the first user can send a message to the second user as if requesting a message from a person, and the second user receives a message from the device as if receiving a message from a person. Can be done.

本発明の態様１６に係る応答システムは、上記態様１４において、上記所定の行為は、上記第２のユーザを探すことを指示する行為であり、上記応答動作は、上記第２のユーザを探していることを示すメッセージを出力する動作であってもよい。 In the response system according to the 16th aspect of the present invention, in the 14th aspect, the predetermined act is an act of instructing to search for the second user, and the response operation is an act of instructing to search for the second user. It may be an operation of outputting a message indicating that the system is present.

上記の構成によれば、第１のユーザは、第２のユーザを探すことを指示する行為を実行することにより、第１のユーザに応じた所定のキャラクタにて、第２のユーザを探していることを示すメッセージを機器に出力させることができる。よって、第１のユーザは、機器のある場所まで足を運ぶことなく、第２ユーザを探すことができる。また、第２のユーザを探していることを示すメッセージは、第１のユーザに応じた所定のキャラクタにて出力されるので、第２のユーザは、自分を探しているのが第１のユーザであることを認識することが可能である。 According to the above configuration, the first user searches for the second user with a predetermined character corresponding to the first user by executing the act of instructing to search for the second user. A message indicating that the device is available can be output to the device. Therefore, the first user can search for the second user without visiting the place where the device is located. Further, since the message indicating that the user is looking for the second user is output with a predetermined character corresponding to the first user, the second user is looking for the first user. It is possible to recognize that.

本発明の態様１７に係る応答システムは、上記態様１６において、上記サーバは、上記第２のユーザに対応付けられた機器が複数あり、当該複数の機器に、配置されているエリアが異なる機器が含まれている場合には、配置されているエリアが異なる複数の機器を上記応答機器として選択してもよい。 In the response system according to the 17th aspect of the present invention, in the 16th aspect, the server has a plurality of devices associated with the second user, and the plurality of devices have devices having different areas. If it is included, a plurality of devices having different arranged areas may be selected as the response device.

上記の構成によれば、配置されているエリアが異なる複数の機器を応答機器として選択するので、各エリアにおいて、第２のユーザを探していることを示すメッセージを機器に出力させることができる。これにより、第２のユーザを速やかに探し出すことが可能になる。また、１つのエリアからは１つの応答機器を選択するので、第１のユーザに応じた所定のキャラクタが、単体のキャラクタであるとの第２のユーザのイメージを壊すこともない。 According to the above configuration, since a plurality of devices having different arranged areas are selected as the response devices, it is possible to make the devices output a message indicating that a second user is being searched for in each area. This makes it possible to quickly find the second user. Further, since one response device is selected from one area, the image of the second user that the predetermined character corresponding to the first user is a single character is not destroyed.

本発明の態様１８に係る機器は、第１のユーザの所定の行為に対する応答動作を実行可能な複数の機器（２）と、該機器による応答動作を制御するサーバ（１）とを含む応答システム（執事提供システム１００）に含まれる、上記第１のユーザとは異なる第２のユーザに対応付けられた機器であって、自機が上記サーバにより、上記応答動作を実行する応答機器に選択された場合に、上記第１のユーザに応じた所定のキャラクタにて、上記第２のユーザに対して上記応答動作を実行する応答部（音声出力制御部２０２、表示制御部２０３、動作制御部２０４）を備えている。 The device according to aspect 18 of the present invention is a response system including a plurality of devices (2) capable of performing a response operation to a predetermined action of a first user, and a server (1) that controls the response operation by the device. A device included in the (butler providing system 100) that is associated with a second user different from the first user, and the own device is selected by the server as a response device that executes the response operation. In this case, the response unit (voice output control unit 202, display control unit 203, operation control unit 204) that executes the response operation to the second user with a predetermined character corresponding to the first user. ) Is provided.

上記の構成によれば、第２のユーザに対して応答動作を実行するが、この応答動作の際のキャラクタは第１のユーザに応じた所定のキャラクタである。よって、この応答動作が、第１のユーザの所定の行為に起因していることを第２のユーザに認識させることが可能になる。したがって、従来よりも改善された機器を実現することができるという効果を奏する。 According to the above configuration, the response operation is executed for the second user, and the character at the time of this response operation is a predetermined character according to the first user. Therefore, it is possible to make the second user recognize that this response operation is caused by a predetermined action of the first user. Therefore, there is an effect that an improved device can be realized.

本発明の態様１９に係る応答システム（執事提供システム１００）は、ユーザが所定の行為を行ったことに応じて、該所定の行為に対する応答動作を機器（２）に実行させるサーバ（１）と、上記ユーザに応じた所定のキャラクタにて上記応答動作を実行する上記機器とを含む応答システムであって、上記サーバは、過去に上記機器に上記応答動作を実行させた際の、該応答動作に対する上記ユーザの反応の内容に応じて上記応答動作の内容を変更し、上記機器は、上記サーバによる変更後の内容の上記応答動作を実行する。 The response system (butler providing system 100) according to the 19th aspect of the present invention includes a server (1) that causes the device (2) to execute a response operation to the predetermined action in response to the user performing the predetermined action. , A response system including the device that executes the response operation with a predetermined character according to the user, and the server performs the response operation when the device is made to execute the response operation in the past. The content of the response operation is changed according to the content of the reaction of the user to the above, and the device executes the response operation of the content after the change by the server.

上記の構成によれば、過去に応答動作を実行させた際のユーザの反応の内容に応じて応答動作の内容を変更するので、応答動作の内容をユーザの嗜好に応じたものとすることが可能になる。したがって、従来よりも改善された応答システムを実現することができるという効果を奏する。 According to the above configuration, since the content of the response operation is changed according to the content of the reaction of the user when the response operation is executed in the past, the content of the response operation can be set according to the preference of the user. It will be possible. Therefore, there is an effect that an improved response system can be realized.

本発明の態様２０に係る応答システムは、上記態様１９において、上記機器を複数含み、上記サーバは、複数の上記機器の中から、上記応答動作を実行させる応答機器と、上記応答機器と共に動作させる共働機器とを選択し、過去に上記応答機器に上記応答動作を実行させると共に、上記共働機器を動作させた際の、上記ユーザの反応の内容に応じて、上記応答動作および上記共働機器の動作の少なくとも何れかの内容を変更してもよい。 The response system according to the 20th aspect of the present invention includes a plurality of the above-mentioned devices in the above-mentioned aspect 19, and the server is operated together with the above-mentioned response device and the above-mentioned response device from among the plurality of the above-mentioned devices. The response operation and the synergism are performed according to the content of the reaction of the user when the response device is selected and the response device is operated in the past. At least one of the operations of the device may be changed.

上記の構成によれば、応答機器と共働機器とを動作させることができる。これにより、応答機器による応答動作を補完するような動作を共働機器に実行させることも可能になる。例えば、応答動作として空気調和機（エアコン）に暖房運転を行わせると共に、該暖房運転にて乾燥する空気を共働機器として選択した加湿器で加湿することも可能になる。そして、応答機器の応答動作および共働機器の動作の少なくとも何れかの内容をユーザの嗜好に応じたものとすることが可能になる。 According to the above configuration, the response device and the synergistic device can be operated. This also makes it possible for the synergistic device to perform an operation that complements the response operation by the response device. For example, it is possible to have the air conditioner (air conditioner) perform a heating operation as a response operation, and to humidify the air to be dried in the heating operation with a humidifier selected as a cooperating device. Then, at least one of the contents of the response operation of the response device and the operation of the synergistic device can be made according to the preference of the user.

本発明の態様２１に係る応答システムは、上記態様１９において、上記サーバは、上記所定の行為を行ったユーザを識別し、該ユーザが過去に上記応答動作に反応したユーザである場合に、該反応の内容に応じて上記応答動作の内容を変更してもよい。該構成によれば、ユーザに応じて応答動作の内容を変更することができる。 In the response system according to the 21st aspect of the present invention, in the 19th aspect, the server identifies a user who has performed the predetermined action, and when the user is a user who has responded to the response operation in the past, the server The content of the response operation may be changed according to the content of the reaction. According to the configuration, the content of the response operation can be changed according to the user.

本発明の態様２２に係る機器（２）は、ユーザが所定の行為を行ったことに応じて、該所定の行為に対する応答動作を機器に実行させるサーバ（１）と、上記ユーザに応じた所定のキャラクタにて上記応答動作を実行する上記機器とを含む応答システム（執事提供システム１００）に含まれる機器であって、上記応答動作を実行した際の、該応答動作に対する上記ユーザの反応の内容を上記サーバに通知する通知部（音声取得部２０１）と、上記サーバが、上記通知した反応の内容に応じて上記応答動作の内容を変更した場合に、変更後の内容の上記応答動作を実行する応答部（音声出力制御部２０２、表示制御部２０３、動作制御部２０４）と、を備えている。 The device (2) according to the aspect 22 of the present invention includes a server (1) that causes the device to execute a response operation to the predetermined action in response to the user performing a predetermined action, and a predetermined device (1) according to the user. A device included in a response system (butler providing system 100) including the device that executes the response operation with the character of, and the content of the user's reaction to the response operation when the response operation is executed. When the notification unit (voice acquisition unit 201) that notifies the server and the server change the content of the response operation according to the content of the notified reaction, the response operation with the changed content is executed. A response unit (voice output control unit 202, display control unit 203, operation control unit 204) is provided.

上記の構成によれば、過去に応答動作を実行させた際のユーザの反応の内容に応じて応答動作の内容を変更するので、応答動作の内容をユーザの嗜好に応じたものとすることが可能になる。したがって、従来よりも改善された機器を実現することができるという効果を奏する。 According to the above configuration, since the content of the response operation is changed according to the content of the reaction of the user when the response operation is executed in the past, the content of the response operation can be set according to the preference of the user. It will be possible. Therefore, there is an effect that an improved device can be realized.

本発明の各態様に係る上記機器は、コンピュータによって実現してもよく、この場合には、コンピュータを上記機器が備える各部（ソフトウェア要素）として動作させることにより上記機器をコンピュータにて実現させる機器の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The device according to each aspect of the present invention may be realized by a computer. In this case, the device that realizes the device by the computer by operating the computer as each part (software element) provided in the device. A control program and a computer-readable recording medium on which it is recorded also fall within the scope of the present invention.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention. Furthermore, new technical features can be formed by combining the technical means disclosed in each embodiment.

１ サーバ
２ 機器
３ 照明装置（他の機器）
１００ 執事提供システム（応答システム）
２０１ 音声取得部（通知部）
２０２ 音声出力制御部（応答部）
２０３ 表示制御部（応答部）
２０４ 動作制御部（応答部） 1 Server 2 Equipment 3 Lighting equipment (other equipment)
100 Butler provision system (response system)
201 Voice acquisition unit (notification unit)
202 Audio output control unit (response unit)
203 Display control unit (response unit)
204 Operation control unit (response unit)

Claims (8)

ユーザの所定の行為に対する応答動作を実行可能な複数の機器と、該機器による応答動作を制御するサーバとを含む応答システムであって、
複数のユーザそれぞれに応じたキャラクタが設定されており、
上記サーバは、所定の行為を行ったユーザを識別し、上記識別されたユーザに対して設定されたキャラクタを選択し、
上記サーバは、複数の上記機器の中から上記応答動作を実行させる応答機器を選択し、
上記サーバが選択した上記応答機器は、上記サーバの制御に従って、上記選択されたキャラクタにて上記応答動作を実行する、ことを特徴とする応答システム。 A response system including a plurality of devices capable of performing a response operation to a predetermined action of a user and a server that controls the response operation by the device.
Characters are set according to each of multiple users,
The server identifies the user who has performed the predetermined action, selects the character set for the identified user, and selects the character.
The server selects a response device to execute the response operation from the plurality of devices, and selects the response device to execute the response operation.
Response system the response device the server is selected, the following control of the server, executes the response operation at above SL selected key Yarakuta, characterized in that. 上記所定の行為は、音声による発話であり、
上記サーバは、ユーザの音声による発話を複数の上記機器が検出した場合に、各機器が検出した発話の音声解析結果に応じて、上記発話を検出した上記機器の中から上記応答機器を選択する、ことを特徴とする請求項１に記載の応答システム。 The above-mentioned prescribed act is a voice utterance,
When a plurality of the above devices detect an utterance by the user's voice, the server selects the above response device from the above devices that have detected the utterance according to the voice analysis result of the utterance detected by each device. The response system according to claim 1, wherein the response system is characterized by the above. 上記音声解析結果は、上記機器が検出した上記音声の音量を示す音量情報を含み、
上記サーバは、
上記音量情報の示す音量が、複数の上記機器の間で差異があると判定した場合には、最も大きい音量を示す音量情報に対応する上記機器を上記応答機器として選択し、
上記音量情報の示す音量が、複数の上記機器の間で差異がないと判定した場合には、当該複数の機器の何れかを上記応答機器として選択すると共に、該選択した応答機器がユーザの意図した機器であるか否かを問うメッセージを上記ユーザに通知する、ことを特徴とする請求項２に記載の応答システム。 The voice analysis result includes volume information indicating the volume of the voice detected by the device.
The above server
When it is determined that the volume indicated by the volume information is different among the plurality of devices, the device corresponding to the volume information indicating the loudest volume is selected as the response device.
When it is determined that the volume indicated by the volume information does not differ between the plurality of devices, one of the plurality of devices is selected as the response device, and the selected response device is the user's intention. The response system according to claim 2, wherein a message asking whether or not the device is used is notified to the user. 上記サーバは、ユーザの音声による発話を複数の上記機器が検出した回数が所定回数以上である場合には、上記所定の行為の実行時に応答機器を指定することを薦めるメッセージを上記ユーザに通知する、ことを特徴とする請求項２または３に記載の応答システム。 When the number of times a plurality of the above-mentioned devices detect a user's voice utterance is a predetermined number of times or more, the above-mentioned server notifies the above-mentioned user of a message recommending that a response device be specified at the time of executing the above-mentioned predetermined action. The response system according to claim 2 or 3, characterized in that. 上記サーバは、複数の上記機器の少なくとも何れかの稼働状態、および複数の上記機器の少なくとも何れかと関連する他の機器の稼働状態、の少なくとも何れかに応じて上記応答機器を選択する、ことを特徴とする請求項１から４の何れか１項に記載の応答システム。 The server selects the response device according to at least one of the operating states of at least one of the plurality of the devices and the operating state of another device related to at least one of the plurality of the devices. The response system according to any one of claims 1 to 4, wherein the response system is characterized. 上記サーバは、上記ユーザの所在に応じて、複数の上記機器の中から上記応答動作を実行させる応答機器を選択する、ことを特徴とする請求項１から５の何れか１項に記載の応答システム。 The response according to any one of claims 1 to 5, wherein the server selects a response device that executes the response operation from the plurality of devices according to the location of the user. system. 複数の上記機器には、携帯型の機器と据え置き型の機器とが含まれており、
上記サーバは、上記ユーザが上記据え置き型の機器が設置されているエリアに居ることが検出された場合には、該据え置き型の機器を上記応答機器として選択する、ことを特徴とする請求項６に記載の応答システム。 The plurality of above devices include portable devices and stationary devices.
6. The server is characterized in that, when it is detected that the user is in the area where the stationary device is installed, the server selects the stationary device as the response device. The response system described in. ユーザの所定の行為に対する応答動作を実行可能な複数の機器と、該機器による応答動作を制御するサーバとを含む応答システムであって、A response system including a plurality of devices capable of performing a response operation to a predetermined action of a user and a server that controls the response operation by the device.
上記サーバは、複数の上記機器の中から上記応答動作を実行させる応答機器を選択し、The server selects a response device to execute the response operation from the plurality of devices, and selects the response device to execute the response operation.
上記サーバが選択した上記応答機器は、上記サーバの制御に従って、上記ユーザに応じた所定のキャラクタにて上記応答動作を実行し、The response device selected by the server executes the response operation with a predetermined character according to the user according to the control of the server.
上記サーバは、上記ユーザの所在に応じて、複数の上記機器の中から上記応答動作を実行させる応答機器を選択し、The server selects a response device to execute the response operation from the plurality of devices according to the location of the user, and selects the response device to execute the response operation.
複数の上記機器には、携帯型の機器と据え置き型の機器とが含まれており、The plurality of above devices include portable devices and stationary devices.
上記サーバは、上記ユーザが上記据え置き型の機器が設置されているエリアに居ることが検出された場合には、該据え置き型の機器を上記応答機器として選択する、ことを特徴とする応答システム。The server is a response system characterized in that, when it is detected that the user is in an area where the stationary device is installed, the stationary device is selected as the response device.
JP2016168262A 2016-08-30 2016-08-30 Response system Active JP6767206B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016168262A JP6767206B2 (en) 2016-08-30 2016-08-30 Response system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016168262A JP6767206B2 (en) 2016-08-30 2016-08-30 Response system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020156390A Division JP7077375B2 (en) 2020-09-17 2020-09-17 Response system

Publications (2)

Publication Number Publication Date
JP2018036397A JP2018036397A (en) 2018-03-08
JP6767206B2 true JP6767206B2 (en) 2020-10-14

Family

ID=61565777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016168262A Active JP6767206B2 (en) 2016-08-30 2016-08-30 Response system

Country Status (1)

Country Link
JP (1) JP6767206B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002062A (en) * 2020-09-17 2021-01-07 シャープ株式会社 Responding system

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6659514B2 (en) 2016-10-12 2020-03-04 東芝映像ソリューション株式会社 Electronic device and control method thereof
JP2019175432A (en) * 2018-03-26 2019-10-10 カシオ計算機株式会社 Dialogue control device, dialogue system, dialogue control method, and program
CN111656314A (en) * 2018-04-11 2020-09-11 海信视像科技股份有限公司 Electronic apparatus and control method thereof
JP7038208B2 (en) * 2018-06-18 2022-03-17 株式会社Ｎｔｔドコモ Service provider
WO2020031292A1 (en) * 2018-08-08 2020-02-13 株式会社ウフル Voice ai model switching system, voice ai model switching method, and program
KR20230145521A (en) * 2018-08-23 2023-10-17 구글 엘엘씨 Regulating assistant responsiveness according to characteristics of a multi-assistant environment
CN109391528A (en) * 2018-08-31 2019-02-26 百度在线网络技术（北京）有限公司 Awakening method, device, equipment and the storage medium of speech-sound intelligent equipment
JP2020042074A (en) * 2018-09-06 2020-03-19 トヨタ自動車株式会社 Voice interactive device, voice interactive method, and voice interactive program
JP7192348B2 (en) * 2018-09-25 2022-12-20 富士フイルムビジネスイノベーション株式会社 Control device, control system and program
JP7202836B2 (en) * 2018-10-12 2023-01-12 日立グローバルライフソリューションズ株式会社 communication system
JP7145502B2 (en) * 2018-12-28 2022-10-03 パナソニックＩｐマネジメント株式会社 CONTROLLER, LIGHTING SYSTEM, LIGHTING CONTROL METHOD AND PROGRAM
WO2020149031A1 (en) * 2019-01-16 2020-07-23 ソニー株式会社 Response processing device and response processing method
JP7253975B2 (en) * 2019-05-20 2023-04-07 三菱電機株式会社 Notification system
JP7269812B2 (en) * 2019-07-18 2023-05-09 東芝ライフスタイル株式会社 Home appliances
JP7373386B2 (en) * 2019-12-19 2023-11-02 東芝ライフスタイル株式会社 Control device
KR20220041413A (en) * 2020-09-25 2022-04-01 삼성전자주식회사 Electronic apparatus and control method thereof
CN115035894B (en) * 2020-12-01 2023-06-06 华为技术有限公司 Equipment response method and device
KR20230086500A (en) * 2021-12-08 2023-06-15 엘지전자 주식회사 Artificial intelligence device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3838029B2 (en) * 2000-12-18 2006-10-25 セイコーエプソン株式会社 Device control method using speech recognition and device control system using speech recognition
JP2002351489A (en) * 2001-05-29 2002-12-06 Namco Ltd Game information, information storage medium, and game machine
JP2003108362A (en) * 2001-07-23 2003-04-11 Matsushita Electric Works Ltd Communication supporting device and system thereof
JP2008065420A (en) * 2006-09-05 2008-03-21 Matsushita Electric Ind Co Ltd Voice guide system
WO2015174172A1 (en) * 2014-05-13 2015-11-19 シャープ株式会社 Control device and message output control system
JP6523654B2 (en) * 2014-10-22 2019-06-05 シャープ株式会社 Speech information notification system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002062A (en) * 2020-09-17 2021-01-07 シャープ株式会社 Responding system

Also Published As

Publication number Publication date
JP2018036397A (en) 2018-03-08

Similar Documents

Publication Publication Date Title
JP6767206B2 (en) Response system
JP7077375B2 (en) Response system
CN210325195U (en) Loudspeaker device with vertically oriented housing
JP7198861B2 (en) Intelligent assistant for home automation
KR102543693B1 (en) Electronic device and operating method thereof
CN106257355B (en) Equipment control method and controller
CN106297781B (en) Control method and controller
CN109791762B (en) Noise Reduction for Voice Interface Devices
US10861449B2 (en) Information processing device and information processing method
US10212040B2 (en) Troubleshooting voice-enabled home setup
US20170289582A1 (en) Device control method and electric device
US11031008B2 (en) Terminal device and method for controlling thereof
US10176807B2 (en) Voice setup instructions
JP2022502713A (en) Systems and methods for customizing portable natural language processing interfaces for electrical equipment
CN111508483A (en) Equipment control method and device
CN110415694A (en) A kind of method that more intelligent sound boxes cooperate
KR20200098856A (en) Apparatus and method for managing schedule in electronic device
CN110546627A (en) Video integration with home assistants
KR20210116897A (en) Method for contolling external device based on voice and electronic device thereof
CN106571143B (en) control method and device of intelligent equipment
JP2023113694A (en) Learning device, communication system, learning method, and learning program
US11818820B2 (en) Adapting a lighting control interface based on an analysis of conversational input
JP6698428B2 (en) Network system, information processing method, and server
US20230085087A1 (en) Voice-Controlled Smart Device and Method of Use Thereof
WO2022044695A1 (en) Environmental control system, environmental control device, environmental control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200917

R150 Certificate of patent or registration of utility model

Ref document number: 6767206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150